如何用R做文本挖掘

1、要分析文本内容，最常见的分析方法是提取文本中的词语，并统计频率。频率能反映词语在文本中的重要性，一般越重要的词语，在文本中出现的次数就会越多。词语提取后，还可以做成词云，让词语的频率属性可视化，更加直观清晰。比如下图：

3、说说Rwordseg，这是一个R环境下的中文分词工具，引用了Ansj包，Ansj是一个开源的java中文分词工具，基于中科院的ictclas中文分词算法，采用隐马尔科夫模型（HMM）。Rwordseg牛逼的地方三点，一是分词准确，二是分词速度超快，三是可以导入自定义词库，有意思的是还可以导入搜狗输入法的细胞词库（sqel格式），想想细胞词库有多庞大吧，这个真是太厉害了。分词的语法。很简单，一个函数就搞定了，看下面：segmentCN("待分析文件的完整路径",returnType="tm")注意：R中的路径用"\\"分割文件夹。参数returnType表示返回的分词格式是按空格间隔的格式。执行完成后，会自动在相同目录生成一个"待分析文件名. .segment.txt"的文本文件，打开可以看到是酱紫：

5、最后，就是画成词云。R有工具可以画词云，当然互联网上有不少网站可以在线制作词云，做得也很漂亮，有兴趣可以去找找，我这里只谈R中的方法：安装并装载画词云的工具包wordcloud：library(wordcloud)读取已经统计好词频的文件：mydata<-read.table("已统计好词频的文本文件的完整路径",head=TRUE)设置一个颜色系：mycolors <- brewer.pal(8,"Dark2")画图：wordcloud(mydata$词汇,mydata$词频,random.order=FALSE,random.color=FALSE,colors=mycolors,family="myFont3")