使用Jieba进行分词及词性标注

1、首先下载结巴分词
https://github.com/fxsjy/jieba
或者直接安装

easy_install jieba
pip install jieba

2、写几行测试代码

#!usr/bin/python
#encoding=utf-8

import jieba.posseg as postag

words = postag.cut("别让别人告诉你你成不了才,即使是我也不行。\
如果你有梦想的话,就要去捍卫它。\
那些一事无成的人想告诉你你也成不了大器。\
如果你有理想的话,就要去努力实现。\
就这样。");
for w in words:
  print(w.word, "/", w.flag, " ", end="")

3、测试结果

别 / d  让 / v  别人 / r  告诉 / v  你 / r  你 / r  成不了 / l  才 / d  , / x
即使 / c  是 / v  我 / r  也 / d  不行 / v  。 / x  如果 / c  你 / r  有 / v  梦
想 / n  的话 / u  , / x  就要 / d  去 / v  捍卫 / v  它 / r  。 / x  那些 / r
一事无成 / i  的 / uj  人想 / n  告诉 / v  你 / r  你 / r  也 / d  成不了 / l
大器 / n  。 / x  如果 / c  你 / r  有 / v  理想 / n  的话 / u  , / x  就要 / d
  去 / v  努力实现 / nr  。 / x  就 / d  这样 / r  。 / x