智客公社

标题: NLP自然言语处理中英文分词工具集锦与基本运用引见 [打印本页]

作者: 落幕之后有彩虹 时间: 2019-5-31 12:50
标题: NLP自然言语处理中英文分词工具集锦与基本运用引见

[attach]149983[/attach]

一、中文分词工具

（1）Jieba

[attach]149984[/attach]

（2）snowNLP分词工具

[attach]149985[/attach]

（3）thulac分词工具

[attach]149986[/attach]

（4）pynlpir 分词工具

[attach]149987[/attach]

（5）StanfordCoreNLP分词工具

1.from stanfordcorenlp import StanfordCoreNLP

2.with StanfordCoreNLP(r'E:\Users\Eternal Sun\PycharmProjects\1\venv\Lib\stanford-corenlp-full-2018-10-05', lang='zh') as nlp:

3. print("stanfordcorenlp分词：\n",nlp.word_tokenize(Chinese))

（6）Hanlp分词工具

[attach]149988[/attach]

分词结果如下：

[attach]149989[/attach]

二、英文分词工具

1. NLTK：

[attach]149990[/attach]

二者之间的区别在于，假如先分句再分词，那么将保留句子的独立性，即生成结果是一个二维列表，而对于直接分词来说，生成的是一个直接的一维列表，结果如下：

[attach]149991[/attach]

2. SpaCy：

[attach]149992[/attach]

3. StanfordCoreNLP：

[attach]149993[/attach]

分词结果

[attach]149994[/attach]

作者: 天天来来看看 时间: 2019-5-31 20:19
支持支持再支持

作者: 〃阿酱mmmmmmmm 时间: 2019-6-1 20:06
高手云集果断围观

作者: 1楚河汉界1 时间: 2019-6-2 16:58
珍爱生命，果断回帖。

欢迎光临智客公社 (http://bbs.cnaiplus.com/)