Py之SnowNLP：SnowNLP中文處理包的簡(jiǎn)介、安裝、使用方法、代碼實(shí)現(xiàn)之詳細(xì)攻略

SnowNLP的簡(jiǎn)介

? ? ? ? ?snowNLP是國(guó)人開發(fā)的python類庫(kù)，可以方便的處理中文文本內(nèi)容，是受到了TextBlob的啟發(fā)而寫的。

snownlp主要可以進(jìn)行中文分詞（算法是Character-Based Generative Model）、詞性標(biāo)注、情感分析、文本分類（原理是樸素貝葉斯）、轉(zhuǎn)換拼音、繁體轉(zhuǎn)簡(jiǎn)體、提取文本關(guān)鍵詞（原理TextRank）、提取摘要（原理TextRank）、分割句子、文本相似（原理BM25）。官網(wǎng)還有更多關(guān)于該庫(kù)的介紹。

• 中文分詞（Character-Based Generative Model）
• 詞性標(biāo)注（TnT?3-gram 隱馬）
• 情感分析（現(xiàn)在訓(xùn)練數(shù)據(jù)主要是買賣東西時(shí)的評(píng)價(jià)，所以對(duì)其他的一些可能效果不是很好，待解決）
• 文本分類（Naive Bayes）
• 轉(zhuǎn)換成拼音（Trie樹實(shí)現(xiàn)的最大匹配）
• 繁體轉(zhuǎn)簡(jiǎn)體（Trie樹實(shí)現(xiàn)的最大匹配）
• 提取文本關(guān)鍵詞（TextRank算法）
• 提取文本摘要（TextRank算法）
• tf，idf
• Tokenization（分割成句子）
• 文本相似（BM25）
• 支持python3（感謝erning）

github:SnowNLP: Simplified Chinese Text Processing
snownlp pypi

SnowNLP的安裝

pip install snownlp

?

SnowNLP的使用方法

文章推薦

NLP之TEA：基于SnowNLP實(shí)現(xiàn)自然語言處理之對(duì)輸入文本進(jìn)行情感分析(分詞→詞性標(biāo)注→情感分析→測(cè)試)

關(guān)于訓(xùn)練

現(xiàn)在提供訓(xùn)練的包括分詞，詞性標(biāo)注，情感分析，而且都提供了我用來訓(xùn)練的原始文件 以分詞為例 分詞在snownlp/seg目錄下

from snownlp import seg
seg.train('data.txt')
seg.save('seg.marshal')
# from snownlp import tag
# tag.train('199801.txt')
# tag.save('tag.marshal')
# from snownlp import sentiment
# sentiment.train('neg.txt', 'pos.txt')
# sentiment.save('sentiment.marshal')