中文词频统计及词云制作
1.中软国际华南区技术总监曾老师还会来上两次课,同学们希望曾老师讲些什么内容?
直接教我们使用python做更厉害的大程序
2.中文分词
- 下载一中文长篇小说,并转换成UTF-8编码。
- 使用jieba库,进行中文词频统计,输出TOP20的词及出现次数。
(**两项选做,此次作业要求不能雷同。)
import jieba we=open('abc.txt','r').read() wa=jieba.cut(we) news=list(wa) dic={} exp={'','。','“','”','、',',','\n','》','《',' ',':','?','-'} keys=set(news)-exp for i in keys: dic[i]=news.count(i) a=list(dic.items()) a.sort(key=lambda x:x[1],reverse=True) for i in range(20): print(a[i])
3.**排除一些无意义词、合并同一词。
{'说话', '眼圈', '编辑', '都', '数目', '不妨', '气倒', '跳', '面', '机锋', '一会儿', '死', '就', '把', '还', '来', '私奔', '干坏事', '问', '还有', '再不去', '然', '做事', '信', '力争', '一字', '这事', '哪一天', '商量', '不痛不痒', '时', '知道', '打电话', '交代', '身体', '辞', '得来', '眼睫毛', '一壁', '静睡', '你', '祭', '爷儿俩', '点', '别', '奶奶', '不会', '脸长', '报馆', '徒乱人意', '应该', '皱眉', '昨天', '准要', '放', '见证', '当局', '股东', '留学', '当心', '你好', '姑爷', '进门', '逼', '晚饭', '鬼', '节枝', '计较', '男', '传说', '告诉', '是', '斗鸡', '抽屉', '心跳', '你方', '偷', '外面', '冲', '旧历', '总算', '也许', '定', '正要', '则', '听', '深明大义', '里', '会理', '离馆', '一个', '儿子', '家', '—', '仿佛', '了', '气节', '家养', '昨天晚上', '打死', '’', '愿意', '大事', '又', '留点', '月', '毒死', '杀死', '吃', '拉', '英文歌', '睡熟', '王先生', '圣诞夜', '多些', '瞒', '闹翻', '足智多谋', '往往', '失声', '我通', '牵线', '办公', '希望', '问鸿渐', '解释', '经验', '得', '事', '学生', '照', '太太', '要', '当', '回乡', '唉', '瘦', '回家', '立着', '脸说', '回来', '方面', '一定', '第一个', '不便', '不必', '调', '重托', '看', '一句', '先生', '带上', '盖', '气', '有事', '不', '送阅', '安慰', '事情', '鼻息', '对付', '有', '空得', '脸皮', '千方百计', '寒喧', '没', '凑个', '半年', '出', '万万', '不能', '总编辑', '跟着', '呕气', '一番', '免得', '性急', '那些', '造成', '一路', '叫', '酸', '起来', '溜掉', '酪', '孑身', '右脚', '塞', '脸上', '笑', '抑制', '呢', '通知', '入世', '听里', '腿', '橘子', '出来', '简单', '暧胃', '最早', '也', '正', '从此', '真', '走', '他近', '饭', '学', '直接', '何必', '爹爹', '讲', '暂时', '谋事', '比', '省事', '多年', '明白', '没工夫', '多多益善', '那么', '心痛', '不合', '无可挽回', '家里', '副刊', '不好', '往来', '人', '微窘', '辞职信', '走来', '几百句', '并', '没有', '跟', '大', '下去', '从小', '勉强', '大家', '地笑', '收买', '管理', '开口', '只是', '挥拳', '还是', '冬至', '呈', '便', '事忙', '象', '一切', '第一次', '李妈', '随口', '今天', '鸿渐', '办公室', '薪水', '大哥', '敌伪', '表白', '他敢', '说', '早已', '坐位', '先', '驴子', '工夫', '租界', '溜', '接', '自', '么', '劝服', '劝鸿渐', '不要', '事要', '重要', '分晓', '董事会', '美国', '咱们', '当天', '他们', '好不好', '提出', '在', '时候', '丈夫', '笑痛', '美丽', '办', '因为', '怏怏', '母亲', '经济', '同意', '以后', '慷慨', '鸦雀无声', '眼泪', '上', '以为', '一趟', '书面', '心里', '才', '必有', '定神', '假使', '出面', '两团', '开', '向', '做菜', '怦怦', '冠', '不像', '一', '这儿', '窘道', '只有', '不久', '吵', '做个', '和', '柔嘉', '那天', '满不在乎', '的', '再说', '另生', '可能', '不过', '律师', '爸爸', '方针', '两种', '反而', '!', '大有', '正在', '可替', '洗脸', '什么', '做', '方', '挨', '怄气', '老太太', '一一', '夺眶而出', '出门', '哄', '借口', '家务', '办不到', '作势', '三闾', '饭碗', '认为', '老', '上床', '表情', '迎上去', '二', '回家路上', '人来', '看清', '暗笑', '抚慰', '有人', '很', '过', '全要', '半碗', '浴室', '刚', '热水袋', '下午', '藏', '表示', '更', '羹饭', '现在', '先到', '姑母', '亲自', '听到', '讨', '难为情', '一到', '下楼', '猜出', '低头', '不踏贱', '以去', '自己', '老太爷', '说句', '间', '几句', '同时', '顺便', '辛楣', '早点', '减少', '至少', '发行人', '不景气', '当然', '气坏', '别忘了', '言论', '似的', '年轻', '姐姐', '瞧', '为', '真是', '以来', '回答', '早晨', '职位', '苦', '感化', '卤莽', '一声', '许多', '占', '像', '男人', '烧', '有的是', '编者', '红', '不用', '名字', '站', '国外', '换人', '答应', '地', '漱口', '可能性', '高兴', '从此以后', '层出不穷', '警告', '不懂事', '明天', '举动', '爹', '少说几句', '没再理', '得出', '偏要', '脸红', '苦笑', '三弟', '辩护', '提', '睡', '重顿', '失业', '晚上', '三', '老丈', '主人', '再', '惊问', '老二', '这是', '宴会', '怎样', '还要', '感情', '既然如此', '喜欢', '立刻', '不先', '收到', '不如', '滋润', '听见', '出路', '同去', '诗礼人家', '前面', '印象', '决不', '坐', '准辞', '丑', '三代', '保全', '尽', '‘', '女孩子', '冷笑', '但', '同', '找', '激烈', '小姐', '除掉', '空着', '沈', '你家', '忘', '不肯', '调匀', '回嘴', '漱过', '机关', '上楼去', '反正', '怎么', '来看', '吃坏', '明早', '背', '拍电报', '熬不住', '铁青', '漠然', '近来', '饿', '推开', ';', '轻松', '留', '懊悔', '做梦', '不回', '大学', '委任', '时间', '随手', '回辛楣', '吃醋', '借', '走得', '不到', '乖', '快乐', '不再', '不去', '下个', '汉奸', '缘故', '请教', '厌恶', '单独', '坍', '政治性', '拿糖作醋', '风声', '太', '幸而', '急欲', '热心', '嘴馋', '这位', '埋怨', '虽非', '对', '分不出', '欺负', '平时', '河水不犯井水', '决心', '我要', '何况', '毛病', '公婆', '替人', '最', '早', '东西', '*', '三句话', '椅子', '所以', '稀客', '去', '哪', '想不出', '撩拨', '等', '结果', '快', '照准', '来说', '教书', '不许', '觉得', '亲手做', '上门', '她们', '便宜', '为什么', '夹袋', '怕', '我们', '黯', '台', '田地', '笑了笑', '说完', '她', '随', '小孩子', '路', '忽然', '早发', '说不出', '只好', '私人', '当初', '随时', '以外', '夺口', '一路上', '否则', '凄', '资料室', '女人', '见', '这个', '替', '消息', '待', '狗', '躺下去', '各人', '国内新闻', '进', '讲讲', '合则', '就算', '大人', '总', '一着', '道歉', '这种', '参禅', '一点', '地说', '他会', '继续', '管', '翁', '中饭', '闭眼', '打了个', '正义', '鼻梁', '忙', '看看', '折扣', '这次', '用', '叮嘱', '热闹', '菜', '在家', '他', '到', '好', '余地', '我', '不敢', '丈人', '毕业', '请', '偏偏', '辞职', '逃出来', '难民', '回去', '个', '一点点', '写', '吃饭', '已', '给', '吃亏', '贪小', '以及', '脸', '利而', '遯', '准备', '可以', '去职', '痛快', '苦劝', '空口', '宁可', '大义', '只', '多', '吃些', '陪', '当时', '泛泛', '这', '批准', '商量一下', '道', '挽留', '相处', '皱一皱', '罢', '电话', '讨论', '夫妇', '而', '用人', '坏', '媳妇', '新闻', '上公', '恨不能', '耳朵', '老家', '赞成', '你们', '成天', '并且', '父亲', '回身', '骂', '胃痛', '被', '皮鞋', '坏到', '找条', '棉花', '毒药', '劝', '不争气', '口角', '话', '着', '当夜', '事实上', '新娘', '敢', '口', '下帖子', '莽撞', '哼', '贵人', '风头', '下全', '恐吓信', '门', '不来', '怪', '其余', '尽力', '原意', '为了', '想', '撵走', '正人', '结束', '七点钟', '不是', '此处'}
4. **使用wordcloud库绘制一个词云。