Category Archives: NLP

Windows下编译word2vec

Posted on by — 2 Comments ↓

首先要声明，如果条件允许，不要在windows下做类似的事情，我这里是在折腾。

如果只需要下载代码，相应的代码，我已经上传了github，可以在这里下载到：
word2vec_win32

编译工具为：VS2013

具体的做法为：

1、到google code下载代码https://code.google.com/p/word2vec/

2、根据makefile，创建VS2013工程

3、进行调整，保证编译成功
3.1、所有c文件，添加下面的宏定义

#define _CRT_SECURE_NO_WARNINGS

3.2、将部分const修改为define，比如

    #define MAX_STRING 100

3.3、用_aligned_malloc函数，替换posix_memalign函数

    #define posix_memalign(p, a, s) (((*(p)) = _aligned_malloc((s), (a))), *(p) ?0 :errno)

3.4、下载windows下的pthread库，pthreads-win32，并修改include及link配置

3.5、编译成功

4、可执行文件说明
word2vec：词转向量，或者进行聚类
word2phrase：词转词组，用于预处理，可重复使用（运行一遍则生成2个词的短语，运行两遍则形成4个词的短语）
compute-accuracy：校验模型精度
distance：输入一个词A，返回最相近的词（A=》？）
word-analogy：输入三个词A，B，C，返回（如果A=》B，C=》？）

5、进行测试
5.1下载测试资料
http://mattmahoney.net/dc/text8.zip

5.2建立模型

>word2vec -train text8 -output vectors.bin -cbow 1 -size 200 -window 8 -negative 25 -hs 0 -sample 1e-4 -threads 20 -binary 1 -iter 15
Starting training using file text8
Vocab size: 71291
Words in train file: 16718843
Alpha: 0.000005  Progress: 100.10%  Words/thread/sec: 13.74k

5.3校验模型精度

>compute-accuracy vectors.bin 30000 < questions-word
s.txt
capital-common-countries:
ACCURACY TOP1: 80.83 %  (409 / 506)
Total accuracy: 80.83 %   Semantic accuracy: 80.83 %   Syntactic accuracy: -1.#J
 %
capital-world:
ACCURACY TOP1: 62.65 %  (884 / 1411)
Total accuracy: 67.45 %   Semantic accuracy: 67.45 %   Syntactic accuracy: -1.#J
 %
currency:
ACCURACY TOP1: 23.13 %  (62 / 268)
Total accuracy: 62.01 %   Semantic accuracy: 62.01 %   Syntactic accuracy: -1.#J
 %
city-in-state:
ACCURACY TOP1: 46.85 %  (736 / 1571)
Total accuracy: 55.67 %   Semantic accuracy: 55.67 %   Syntactic accuracy: -1.#J
 %
family:
ACCURACY TOP1: 77.45 %  (237 / 306)
Total accuracy: 57.31 %   Semantic accuracy: 57.31 %   Syntactic accuracy: -1.#J
 %
gram1-adjective-to-adverb:
ACCURACY TOP1: 19.44 %  (147 / 756)
Total accuracy: 51.37 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 19.44
 %
gram2-opposite:
ACCURACY TOP1: 24.18 %  (74 / 306)
Total accuracy: 49.75 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 20.81
 %
gram3-comparative:
ACCURACY TOP1: 64.92 %  (818 / 1260)
Total accuracy: 52.74 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 44.75
 %
gram4-superlative:
ACCURACY TOP1: 39.53 %  (200 / 506)
Total accuracy: 51.77 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 43.81
 %
gram5-present-participle:
ACCURACY TOP1: 40.32 %  (400 / 992)
Total accuracy: 50.33 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 42.91
 %
gram6-nationality-adjective:
ACCURACY TOP1: 84.46 %  (1158 / 1371)
Total accuracy: 55.39 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 53.88
 %
gram7-past-tense:
ACCURACY TOP1: 39.79 %  (530 / 1332)
Total accuracy: 53.42 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 51.00
 %
gram8-plural:
ACCURACY TOP1: 61.39 %  (609 / 992)
Total accuracy: 54.11 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 52.38
 %
gram9-plural-verbs:
ACCURACY TOP1: 33.38 %  (217 / 650)
Total accuracy: 53.01 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 50.86
 %
Questions seen / total: 12227 19544   62.56 %

5.4查找关系最近的单词

>distance vectors.bin
Enter word or sentence (EXIT to break): china

Word: china  Position in vocabulary: 486

                                              Word       Cosine distance
------------------------------------------------------------------------
                                            taiwan              0.649276
                                             japan              0.624836
                                            hainan              0.567946
                                          kalmykia              0.562871
                                             tibet              0.562600
                                               prc              0.553833
                                              tuva              0.553255
                                             korea              0.552685
                                           chinese              0.545661
                                            xiamen              0.542703
                                              liao              0.542607
                                             jiang              0.540888
                                         manchuria              0.540783
                                             wuhan              0.537735
                                            yunnan              0.535809
                                             hunan              0.535770
                                          hangzhou              0.524340
                                              yong              0.523802
                                           sichuan              0.517254
                                         guangdong              0.514874
                                             liang              0.511881
                                               jin              0.511389
                                             india              0.508853
                                          xinjiang              0.505971
                                         taiwanese              0.503072
                                              qing              0.502909
                                          shanghai              0.502771
                                          shandong              0.499169
                                           jiangxi              0.495940
                                           nanjing              0.492893
                                         guangzhou              0.492788
                                              zhao              0.490396
                                          shenzhen              0.489658
                                         singapore              0.489428
                                             hubei              0.488228
                                            harbin              0.488112
                                          liaoning              0.484283
                                          zhejiang              0.484192
                                            joseon              0.483718
                                          mongolia              0.481411
Enter word or sentence (EXIT to break):

5.5根据A=>B，得到C=>？

>word-analogy vectors.bin
Enter three words (EXIT to break): china beijing canada

Word: china  Position in vocabulary: 486

Word: beijing  Position in vocabulary: 3880

Word: canada  Position in vocabulary: 474

                                              Word              Distance
------------------------------------------------------------------------
                                           toronto              0.624131
                                          montreal              0.559667
                                            mcgill              0.519338
                                           calgary              0.518366
                                           ryerson              0.515524
                                            ottawa              0.515316
                                           alberta              0.509334
                                          edmonton              0.498436
                                           moncton              0.488861
                                            quebec              0.487712
                                          canadian              0.475655
                                      saskatchewan              0.460744
                                       fredericton              0.460354
                                           ontario              0.458213
                                       montrealers              0.435611
                                         vancouver              0.429893
                                         saskatoon              0.416954
                                            dieppe              0.404408
                                           iqaluit              0.401143
                                         canadians              0.398137
                                          winnipeg              0.397547
                                            labatt              0.393893
                                              city              0.386245
                                      bilingualism              0.386245
                                          columbia              0.384754
                                        provincial              0.383439
                                             banff              0.382603
                                             metro              0.382367
                                            molson              0.379343
                                           nunavut              0.375992
                                             montr              0.373883
                                      francophones              0.373512
                                         brunswick              0.364261
                                          manitoba              0.360447
                                               bec              0.359977
                                       francophone              0.358556
                                             leafs              0.353035
                                        ellensburg              0.352787
                                           curling              0.351973
                                               cdn              0.347580
Enter three words (EXIT to break):

5.6进行聚类，输出结果（classes为0时，就是向量输出了）

>word2vec -train text8 -output classes.txt -cbow 1 -size 200 -window 8 -negative 25 -hs 0 -sample 1e-4 -threads 20 -iter 15 -classes 500
Starting training using file text8
Vocab size: 71291
Words in train file: 16718843
Alpha: 0.000005  Progress: 100.10%  Words/thread/sec: 14.72k

5.7原来程序中，还有三个测试脚本，是处理词组的，由于要用到linux命令sed，awk等，大家还是到Cygwin或MinGW下运行吧

分词及词性标注总结

Posted on by — No Comments ↓

近期，尝试了各类的分词及词性标注工具，包括如下软件：

工具 中英文支持 其他说明
中科院的ICTCLAS 中英 CPP，多语言接口
清华大学的THULANC 中，英较差 多语言支持
哈工大的LTP 中 CPP，多语言接口
复旦的FudanDNN 中 Java
东北大学的NiuParser 中，英较差 CPP
斯坦福的Stanford 中英 Java
Ansj 中 Java
Jieba 中 Python
Word 中 Java
HanLP 中 Java
LingPipe 英，中较差 Java
OpenNLP 英 Java
NLTK 英 Python
Gate 英 Java，GUI，但不太符合程序员思维逻辑
lucene-analyzers-smartcn 中 Java，只分词，不标词性

此外，还有几个工具，由于时间关系，没有进行测试，有兴趣的话可以看一下：
mmseg4j
paoding
jcseg
IK-Analyzer

总结如下：
1、无论是英文还是中文，其分词及标注词性的技术已经相对比较成熟；
2、英文和中文完全是两个体系，中文还是国内做的好一些
3、算法是公开的，因此很多时候，模型库比算法要一些
4、模型库够用就好，不是越大越好。尤其是特定语境下的模型库，自己训练的会更好用
5、英文的模型库比国内好太多了，看着好羡慕啊
6、希望国内的科研可以更有套路、更有组织、更专业化一些

使用Word进行分词及词性标注

Posted on by — No Comments ↓

1、下载Jar或源码
https://github.com/ysc/word/

2、写一些代码

public static void tag(String sentence) throws Exception {
        List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.BidirectionalMaximumMatching);
        PartOfSpeechTagging.process(words);
        System.out.println(words);
    	/*
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.BidirectionalMaximumMinimumMatching);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.BidirectionalMinimumMatching);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.FullSegmentation);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.MaximumMatching);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.MaxNgramScore);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.MinimalWordCount);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.MinimumMatching);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.PureEnglish);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.ReverseMaximumMatching);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.ReverseMinimumMatching);
    	*/
    }

4、输入
zh.txt

别让别人告诉你你成不了才，即使是我也不行。
如果你有梦想的话，就要去捍卫它。
那些一事无成的人想告诉你你也成不了大器。
如果你有理想的话，就要去努力实现。
就这样。

5、输出
zhout.txt

[别让/i, 别人/r, 告诉/v, 你/r, 你/r, 成不了/l, 才/d, 即使/c, 是/v, 我/r, 也/d, 不行/v, 如果/c, 你/r, 有/v, 梦想/n, 的话/u, 就要/d, 去/v, 捍卫/v, 它/r, 那些/r, 一事无成/l, 的/uj, 人/n, 想/v, 告诉/v, 你/r, 你/r, 也/d, 成不了/l, 大器/n, 如果/c, 你/r, 有理想/i, 的话/u, 就要/d, 去/v, 努力实现/nr, 就这样/i]

使用HanLP进行分词及词性标注

Posted on by — No Comments ↓

1、下载Jar、配置文件及训练库
http://hanlp.linrunsoft.com/services.html

2、修改配置文件中的根目录，到训练库的根目录

3、写一些代码

	public static void tag(String sentence) throws Exception {
		List<Term> terms = StandardTokenizer.segment(sentense);
		System.out.println(terms);

		//terms = NLPTokenizer.segment(sentense);
		//System.out.pr1intln(terms);
		
		//terms = IndexTokenizer.segment(sentense);
		//System.out.println(terms);
		
		//terms = SpeedTokenizer.segment(sentense);
		//System.out.println(terms);
		
		//terms = new NShortSegment().seg(sentense);
		//System.out.println(terms);
		
		//terms = new DijkstraSegment().seg(sentense);
		//System.out.println(terms);
        }

4、输入
zh.txt

别让别人告诉你你成不了才，即使是我也不行。
如果你有梦想的话，就要去捍卫它。
那些一事无成的人想告诉你你也成不了大器。
如果你有理想的话，就要去努力实现。
就这样。

5、输出
zhout.txt

[别/d, 让/v, 别人/rr, 告诉/v, 你/rr, 你/rr, 成不了/l, 才/d, ，/w, 即使/c, 是/vshi, 我/rr, 也/d, 不行/a, 。/w, 如果/c, 你/rr, 有/vyou, 梦想/n, 的/ude1, 话/n, ，/w, 就要/d, 去/vf, 捍卫/v, 它/rr, 。/w, 那些/rz, 一事无成/vl, 的/ude1, 人/n, 想/v, 告诉/v, 你/rr, 你/rr, 也/d, 成不了/l, 大/a, 器/ng, 。/w, 如果/c, 你/rr, 有/vyou, 理想/n, 的话/udh, ，/w, 就要/d, 去/vf, 努力/ad, 实现/v, 。/w, 就/d, 这样/rzv, 。/w]

使用Ansj进行分词及词性标注

Posted on by — No Comments ↓

1、下载源码或Jar包
https://github.com/NLPchina/ansj_seg
http://maven.nlpcn.org/org/ansj/ansj_seg/

2、下载训练库，并解压到项目根目录
http://maven.nlpcn.org/down/

3、写一些代码

	public static void tag(String sentence) throws Exception {
	    //下载训练库
	    //DownLibrary.main(args);
		
	    //List<Term> termsA = BaseAnalysis.parse(sentence);
	    //System.out.println(termsA);
	    //List<Term> termsB = ToAnalysis.parse(sentence);
	    //System.out.println(termsB);
	    List<Term> termsC = NlpAnalysis.parse(sentence);
	    System.out.println(termsC);
	    //List<Term> termsD = IndexAnalysis.parse(sentence);
	    //System.out.println(termsD);
	}

4、输入
zh.txt

别让别人告诉你你成不了才，即使是我也不行。
如果你有梦想的话，就要去捍卫它。
那些一事无成的人想告诉你你也成不了大器。
如果你有理想的话，就要去努力实现。
就这样。

5、输出
zhout.txt

[别让/nrf, 别人/r, 告诉/v, 你/r, 你/r, 成不了/l, 才/d, ，/w, 即使/c, 是/v, 我/r, 也/d, 不行/a, 。/w, 如果/c, 你/r, 有/v, 梦想/n, 的话/udh, ，/w, 就要/d, 去/v, 捍卫/v, 它/r, 。/w, 那些/r, 一事无成/i, 的/uj, 人/n, 想/v, 告诉/v, 你/r, 你/r, 也/d, 成不了/l, 大器/n, 。/w, 如果/c, 你/r, 有/v, 理想/n, 的话/udh, ，/w, 就要/d, 去/v, 努力/ad, 实现/v, 。/w, 就/d, 这样/r, 。/w]

使用Jieba进行分词及词性标注

Posted on by — No Comments ↓

1、首先下载结巴分词
https://github.com/fxsjy/jieba
或者直接安装

easy_install jieba
pip install jieba

2、写几行测试代码

#!usr/bin/python
#encoding=utf-8

import jieba.posseg as postag

words = postag.cut("别让别人告诉你你成不了才，即使是我也不行。\
如果你有梦想的话，就要去捍卫它。\
那些一事无成的人想告诉你你也成不了大器。\
如果你有理想的话，就要去努力实现。\
就这样。");
for w in words:
  print(w.word, "/", w.flag, " ", end="")

3、测试结果

别 / d  让 / v  别人 / r  告诉 / v  你 / r  你 / r  成不了 / l  才 / d  ， / x
即使 / c  是 / v  我 / r  也 / d  不行 / v  。 / x  如果 / c  你 / r  有 / v  梦
想 / n  的话 / u  ， / x  就要 / d  去 / v  捍卫 / v  它 / r  。 / x  那些 / r
一事无成 / i  的 / uj  人想 / n  告诉 / v  你 / r  你 / r  也 / d  成不了 / l
大器 / n  。 / x  如果 / c  你 / r  有 / v  理想 / n  的话 / u  ， / x  就要 / d
  去 / v  努力实现 / nr  。 / x  就 / d  这样 / r  。 / x

使用LingPipe进行分词及词性标注

Posted on by — No Comments ↓

1、首先下载LinePipe
http://alias-i.com/lingpipe/

2、测试例子
en.txt

Don't ever let somebody tell you you can't do something, not even me. 
You got a dream, you gotta protect it. 
People can’t do something themselves, they wanna tell you you can’t do it. 
If you want something, go get it. 
Period.

3、运行gui_pos_en_general_brown.bat

4、测试结果
enpos.txt

<?xml version="1.0" encoding="GBK"?><output><s i="0"><token pos="np">Don</token><token pos="'">'</token><token pos="ql">t</token> <token pos="rb">ever</token> <token pos="vb">let</token> <token pos="pn">somebody</token> <token pos="vb">tell</token> <token pos="ppo">you</token> <token pos="ppss">you</token> <token pos="md">can</token><token pos="'">'</token><token pos="rbt">t</token> <token pos="do">do</token> <token pos="pn">something</token><token pos=",">,</token> <token pos="*">not</token> <token pos="vb">even</token> <token pos="ppo">me</token><token pos=".">.</token></s> 
<s i="1"><token pos="ppss">You</token> <token pos="vbd">got</token> <token pos="at">a</token> <token pos="nn">dream</token><token pos=",">,</token> <token pos="ppss">you</token> <token pos="vbn">gotta</token> <token pos="vb">protect</token> <token pos="ppo">it</token><token pos=".">.</token></s> 
<s i="2"><token pos="nns">People</token> <token pos="md">can</token><token pos="nil">’</token><token pos="nil">t</token> <token pos="do">do</token> <token pos="pn">something</token> <token pos="ppls">themselves</token><token pos=",">,</token> <token pos="ppss">they</token> <token pos="vb">wanna</token> <token pos="vb">tell</token> <token pos="ppo">you</token> <token pos="ppss">you</token> <token pos="md">can</token><token pos="nil">’</token><token pos="nil">t</token> <token pos="do">do</token> <token pos="ppo">it</token><token pos=".">.</token></s> 
<s i="3"><token pos="cs">If</token> <token pos="ppss">you</token> <token pos="vb">want</token> <token pos="pn">something</token><token pos=",">,</token> <token pos="vb">go</token> <token pos="vb">get</token> <token pos="ppo">it</token><token pos=".">.</token></s> 
<s i="4"><token pos="nn">Period</token><token pos=".">.</token></s></output>

使用Stanford套件进行分词及词性标注

Posted on by — No Comments ↓

1、首先下载两个工具，分别是分词工具及标定工具
Stanford Word Segmenter
Stanford POS Tagger
http://nlp.stanford.edu/software/
需要安装JDK8的哦。

2、测试例子
en.txt

Don't ever let somebody tell you you can't do something, not even me. 
You got a dream, you gotta protect it. 
People can’t do something themselves, they wanna tell you you can’t do it. 
If you want something, go get it. 
Period.

zh.txt

别让别人告诉你你成不了才，即使是我也不行。
如果你有梦想的话，就要去捍卫它。
那些一事无成的人想告诉你你也成不了大器。
如果你有理想的话，就要去努力实现。
就这样。

3、执行语句

segment.bat ctb zh.txt GBK 0 > zhws.txt
segment.bat ctb en.txt GBK 0 > enws.txt

stanford-postagger models/chinese-distsim.tagger zhws.txt > zhpos.txt
stanford-postagger models/english-bidirectional-distsim.tagger enws.txt > enpos.txt

4、测试结果
enpos.txt

Do_VB n't_RB ever_RB let_VB somebody_NN tell_VB you_PRP you_PRP ca_MD n't_RB do_VB something_NN ,_, not_RB even_RB me_PRP ._.
You_PRP got_VBD a_DT dream_NN ,_, you_PRP got_VBD ta_RB protect_VB it_PRP ._.
People_NNS can_MD '_POS t_NN do_VBP something_NN themselves_PRP ,_, they_PRP wan_VBP na_TO tell_VB you_PRP you_PRP can_MD '_POS t_NN do_VBP it_PRP ._.
If_IN you_PRP want_VBP something_NN ,_, go_VB get_VB it_PRP ._.
Period_NN ._.

zhpos.txt

别#AD 让#VV 别人#NN 告诉#VV 你#PN 你#PN 成不了#AD 才#AD ，#PU 即使#CS 是#VC 我#PN 也#AD 不#AD 行#VV 。#PU
如果#CS 你#PN 有#VE 梦想#NN 的话#SP ，#PU 就要#AD 去#VV 捍卫#VV 它#PN 。#PU
那些#DT 一事无成#VV 的#DEC 人#NN 想#VV 告诉#VV 你#PN 你#PN 也#AD 成#VV 不了#AD 大器#NN 。#PU
如果#CS 你#PN 有理想#VV 的话#SP ，#PU 就要#AD 去#VV 努力#AD 实现#VV 。#PU
就#AD 这样#VA 。#PU

使用OpenNLP进行分词及词性标注

Posted on by — No Comments ↓

1、下载OpenNLP
http://opennlp.apache.org/maven-dependency.html

2、下载模型文件
http://opennlp.sourceforge.net/models-1.5/

3、编码进行分词并标记

package com.neohope.opennlp.test;

import java.io.File;
import java.io.IOException;
import java.io.StringReader;

import opennlp.tools.cmdline.PerformanceMonitor;
import opennlp.tools.cmdline.postag.POSModelLoader;
import opennlp.tools.postag.POSModel;
import opennlp.tools.postag.POSSample;
import opennlp.tools.postag.POSTaggerME;
import opennlp.tools.tokenize.WhitespaceTokenizer;
import opennlp.tools.util.ObjectStream;
import opennlp.tools.util.PlainTextByLineStream;

public class TestIt {

	@SuppressWarnings("deprecation")
	public static void POSTag() throws IOException {
		POSModel model = new POSModelLoader()
				.load(new File("en-pos-maxent.bin"));
		PerformanceMonitor perfMon = new PerformanceMonitor(System.err, "sent");
		POSTaggerME tagger = new POSTaggerME(model);

		String input = "Don't ever let somebody tell you you can't do something, not even me. "
				+ "You got a dream, you gotta protect it. "
				+ "People can’t do something themselves, they wanna tell you you can’t do it. "
				+ "If you want something, go get it. " + "Period.";
		ObjectStream<String> lineStream = new PlainTextByLineStream(
				new StringReader(input));

		perfMon.start();
		String line;
		while ((line = lineStream.read()) != null) {

			String whitespaceTokenizerLine[] = WhitespaceTokenizer.INSTANCE
					.tokenize(line);
			String[] tags = tagger.tag(whitespaceTokenizerLine);

			POSSample sample = new POSSample(whitespaceTokenizerLine, tags);
			System.out.println(sample.toString());

			perfMon.incrementCounter();
		}
		perfMon.stopAndPrintFinalResult();
	}

	public static void main(String[] args) throws IOException {
		POSTag();
	}
}

4、输出结果

Don't_NNP ever_RB let_VB somebody_NN tell_VB you_PRP you_PRP can't_MD do_VB something,_RB not_RB even_RB me._RBR You_PRP got_VBD a_DT dream,_NN you_PRP gotta_VBP protect_VB it._PRP People_NNS can’t_MD do_VB something_NN themselves,_, they_PRP wanna_MD tell_VB you_PRP you_PRP can’t_MD do_VB it._PRP If_IN you_PRP want_VBP something,_NN go_VB get_VB it._PRP Period._.

使用ICTCLAS进行分词及词性标注

Posted on by — No Comments ↓

1、测试例子
en.txt

Don't ever let somebody tell you you can't do something, not even me. 
You got a dream, you gotta protect it. 
People can’t do something themselves, they wanna tell you you can’t do it. 
If you want something, go get it. 
Period.

zh.txt

别让别人告诉你你成不了才，即使是我也不行。
如果你有梦想的话，就要去捍卫它。
那些一事无成的人想告诉你你也成不了大器。
如果你有理想的话，就要去努力实现。
就这样。

2、输出结果
enout.txt

Don/n  't/wyy   ever/d   let/v   somebody/r   tell/v   you/rzt   you/rzt   can/vyou   't/wyy   do/vyou   something/r   ,/wd   not/d   even/d   me/rzt   ./wj   
You/rzt   got/v   a/rzv   dream/n   ,/wd   you/rzt   gotta/vd   protect/v   it/rzt   ./wj   
People/n   can’t/n   do/vyou   something/r   themselves/rzv   ,/wd   they/rzt   wanna/v   tell/v   you/rzt   you/rzt   can’t/n   do/vyou   it/rzt   ./wj   
If/c   you/rzt   want/v   something/r   ,/wd   go/v   get/v   it/rzt   ./wj   
Period/n   ./wj

zhout.txt

别/d   让/v   别人/rr   告诉/v   你/rr   你/rr   成/v   不/d   了/ule   才/d   ，/wd   即使/c   是/vshi   我/rr   也/d   不行/a   。/wj   
如果/c   你/rr   有/vyou   梦想/n   的/ude1   话/n   ，/wd   就要/d   去/vf   捍卫/v   它/rr   。/wj   
那些/rz   一事无成/vl   的/ude1   人/n   想/v   告诉/v   你/rr   你/rr   也/d   成/v   不/d   了/ule   大器/n   。/wj   
如果/c   你/rr   有/vyou   理想/a   的/ude1   话/n   ，/wd   就要/d   去/vf   努力/ad   实现/v   。/wj   
就/p   这样/rzv   。/wj