ss = "aa"if not isinstance(ss,unicode): ss = ss.decode('utf-8')print type(ss)将str类型转换成utf8再比较
给两个示列文本 一个是jieba分词好的txt示列,一个是stopword的txt
最复杂的就是这一行了： (word for word in jieba.cut(line,HMM=True)if word not in stop and len(word.strip())>1) jieba.cut(line)将一行字符串，分割成一个个单词 word for word in jieba.cut(line,HMM=True)是一个Python的表理解，相当于fo...
把语料从数据库提取出来以后就要进行分词啦,我是在linux环境下做的,先把jieba安装好,然后找到内容是build jieba PKG-INFO setup.py test的那个文件夹(我...
最复杂的就是这一行了: (word for word in jieba.cut(line,HMM=True)if word not in stop and len(word.strip())>1) jieba.cut(line)将一行...