【大数据部落】文本挖掘:LDA模型对公号文章主题分析

原文:https://mp.weixin.qq.com/s/v*nUf7FaEFEagQ5v0aBPig

 

 【大数据部落】文本挖掘:LDA模型对公号文章主题分析

案例2

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

早在1995年比尔·盖茨就在《未来之路》里说过:未来没有配套智能家居的房子,就是毛坯房。当你还在纠结“人工智能”安利值不值得吃,最近不少朋友家里又出现智能门锁,相比传统门锁来说,究竟能有多智能?

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

早在1995年比尔·盖茨就在《未来之路》里说过:未来没有配套智能家居的房子,就是毛坯房。现在人们生活越来越便捷,人们也更加倾向于智能化家居,当你还在纠结“人工智能”安利值不值得吃,最近不少朋友家里又出现智能门锁,相比传统门锁来说,究竟能有多智能?

tecdat研究人员对各大电商平台海量用户的评价数据进行分析,得出智能门锁剁手攻略。

1

语义透镜

顾客满意度和关注点

我们对于评价数据进行LDA建模,就是从语料库中挖掘出不同主题并进行分析,换言之,LDA提供了一种较为方便地量化研究主题的机器学习方法。

我们使用最大似然估计进行最优化主题个数的选取。当主题个数定为20的时候,似然估计数最大,即留言板数据分为20个主题的可能性比较大。将模型生成的20个主题中的高频词取出。

图表1

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

根据各个主题的高频关键词,大概可以将顾客关注点分成5个部分:商家品牌、价格质量、客服师傅、使用便捷性和包装物流。从上图,我们发现用户关注的点主要集中在客服对商品问题的耐心解答,师傅对门锁安装的指导以及包装和物流上。

我们也发现不少顾客的评论反映出智能门锁的便捷性(e.g.不用带钥匙)和先进(e.g.指纹识别度高)。同时我们没有发现安全性相关的高频词汇。

2

顾客抱怨

质量、客服服务和物流

接下来,我们对不同价格和主题的顾客抱怨率进行比较。

图表2

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

从价格方面我们发现价格低于2000的智能门锁购买量最多,同时抱怨率也较高,根据关注点来看,顾客抱怨点主要集中在商品质量和客服的耐心程度。购买量位于第二的价格是高于4000的区间,整体抱怨率最低。购买量位于第三的是2000-3000区间,该区间顾客抱怨点主要集中在商家品牌与物流。最后是3000-4000区间,该区间顾客抱怨点主要集中在价格质量与物流。同时反映出顾客对智能门锁价格有较高心理预期,主要抱怨点在质量、客服服务和物流上。

3

自营非自营

价格和满意度

图表3

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

从左图可以看出自营和非自营商品在顾客满意度上相差不大,非自营商品的满意度要略高于自营商品。同时可以看到大于4000区间的顾客满意度最高,且都是非自营商品。

从右图中,我们可以看到满意度关于价格的回归预测结果。图中红线表示的是自营商品,在3000以下的区间,价格越高,满意度反而下降,高于3000的区间中,价格越高,满意度越高。在非自营商品中,3000以下的价格区间中,价格和满意度关系不明显,高于3000的价格区间中,价格越高,满意度越高。

从前文中,我们发现价格低于3000的商品抱怨率最低的点在于便捷和使用高效,因此给人的感觉性价高,满意度较高,而价格接近3000时,顾客对客服、物流、质量等预期更高,因此容易成为抱怨的重灾区。当价格接近和高于4000时,商品的品牌、质量往往又得到保证,因此满意度又上升。

案例3 

随着网民规模的不断扩大,互联网不仅是传统媒体和生活方式的补充,也是民意凸显的地带。领导*参与网络问政的制度化正在成为一种发展趋势,这种趋势与互联网发展的时代需求是分不开的。

人民网《地方领导留言板》是备受百姓瞩目的民生栏目,也是人民网品牌栏目,被称为“社情民意的集散地、亲民爱民的回音壁”。

基于以上背景,tecdat研究人员对北京留言板里面的留言数据进行分析,探索网民们在呼吁什么。

1

数量与情感

朝阳区群众最活跃

图表

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

从上图可以看出不同地区留言板的情感倾向分布,总的来说,负面情感留言数目和积极情感相差不多,负面情感留言较多,占比46%,积极情感留言占比42%,中立情感的留言占比11%。

从地区来看,活跃在各大媒体的“朝阳区群众”留言数目也是最多的,其次是海淀区,昌平区。因此,从情感分布来看大部分留言还是在反应存在的问题,而不是一味赞美或者灌水。

2

主题分析

外地户口问题呼声最高

接下来,我们对于语料进行LDA建模,就是从语料库中挖掘出不同主题并进行分析,换言之,LDA提供了一种较为方便地量化研究主题的机器学习方法。

我们使用最大似然估计进行最优化主题个数的选取。当主题个数定为20的时候,似然估计数最大,即留言板数据分为20个主题的可能性比较大。将模型生成的20个主题中的前五个高频词取出,如下表所示。

图表

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

然后我们将占比最高的前六个主题与它们的情感倾向进行分析。

图表

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

从上图可以看出大家关于6大主题的讨论:

主题1反应孩子,外地户口办理的问题是最多的,反应了外地落户北京相关的难题(e.g.父母在京工作20多年,儿女上学却因户口问题不能进入好的高校就读)。

主题2是反应环境改造及棚户改造(e.g.棚户房屋破旧、墙面潮湿、上下水管道老化腐烂现象严重经常造成跑冒滴漏,遇到雨雪天气,道路积水、泥泞不堪,大院居民尤其是老人小孩出行非常不便)。

主题3是反应高考和医保(e.g.外地人衷心的希望*能关注一下孩子在北京的高考问题)。

主题4是汽车摇号政策(e.g.现行的摇号方案是不可行,治标不治本.有的摇号是一个人摇不上,全家人都出动;有的是想买车根本摇不号;有的是不想买车就摇上了)。

主题5是反应工资和租房问题(e.g.我是外地退休教师。因为孩子在北京工作,故到北京帮助孩子料理家务,以支持孩子工作。因为北京房价昂贵,我们买不起大房,三代人只能挤着住。我想问问市长,我们是否也能住公租房)。

主题6是违法建筑(e.g.XX雅苑许多一层业主私搭乱建成风,且物业无能,造成极大的安全隐患)。

3

地区、主题与情感得分

接下来我们分析了不同主题和地区的情感倾向分布。从下图可以看出,主题3高考和医保、主题6 违法建筑、主题13教育拆迁的留言内容中积极情感占较大比例。

图表

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

我们发现在不同主题中情感得分最高的地区中海淀区最多,其次是朝阳区和大兴区。同时也可以发现,情感得分最高的是在主题11居民生活下的朝阳区留言内容。总的来说,根据积极情感的内容分布来看,主题3高考和医保、主题6 违法建筑、主题13教育拆迁的留言内容中表现出较好的反馈。

 

案例1 

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

当手机称为人们的随身设备,改变人们的通讯习惯时,“公众号”这一种新媒体形式渗透进人们的生活。处在社交媒体时代,公众号推送已然成为我们获取信息的一个重要途径。

自然而然,软文营销成为新媒体的主要广告手段和创收形式。阅读量和点赞数无疑是衡量一篇公众号文章推广效果最直接的指标,而什么样的公众号文章最容易获得人们的关注呢?

 利用文本挖掘手段,深度挖掘三大娱乐公众号的16年度的历史文章,用 LDA 模型提取主题,发现最“吸睛”的话题模式,指导公众号打好推广的“组合拳”。

解读脉络

■娱乐公众号都在聊些什么?

■哪些话题、哪些明星最受娱乐公众号的青睐?热门话题中谁是头条MVP?

■话题与涉及明星等因素是否显著影响文章点击热度?

公众号都在讨论哪些话题?

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

从以上词云图可以看出公众号话题反映出来的数据现象:恋情绯闻、运动健身、私人感情生活、颜值相关联的内容提及率非常高;(微博/网红/直播等)从这些高频词可以发现,借助社交媒体平台“网红”达到了非常可观的影响力。

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

■ 数据统计:来自tecdat数据分析平台

■ 讨论度计算:在微信渠道中,主题被提及到的总文章数量。

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

从提及高频主题可以看出,自 2016 年 1 月 22 日至 2016年 12 月 18 日之间各个时间段,公众号对于各个话题均有不同数量的报导内容。根据每条公众号所匹配的各个主题,其数量从多到少依次为话题:演技评论、恋情绯闻、微博爆料、男神颜值、感情生活、颜值、电视剧、综艺、吃吃吃拍拍拍、私人生活、离婚八卦、演唱会、造型、网红、电影票房、家庭、直播、运动健身、投资经济、相声。

热门话题

我们基于这段周期微信公号平台数据来看,筛选出热门话题发现:

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

公众号最喜欢讨论的主题是演技(话题 13)、感情绯闻(话题 2)、微博话题爆料(话题 1)以及颜值(话题 8)。

提及“演技”占 9.1%;

提及“感情绯闻”占 8.8%;

提及“微博爆料”等占 8.4%;

提及“颜值”等占 7.8%;

这四个话题的讨论度占据了总话题讨论度的 34%。

谁是公众号最青睐的明星?

当从数据中提取公众号最频繁提到的明星时,发现无论是从上面最热的 4 个话题中提取(选取被提到次数大于 4000次的明星),还是从所有话题中提取(选取被提到次数大于9000次的明星),最受公众号青睐的 10 个明星都分别为:范冰冰、胡歌、黄晓明、霍建华、李易峰、林心如、文章、杨幂、杨洋与赵丽颖。包括与其他明星一起被提到的话题,这十个明星就占据了总话题量的 68.56%。

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

■ 数据统计:来自tecdat数据分析平台

■ 讨论度计算:在微信渠道中,主题被提及到的总文章数量。

最热的十位明星一般出现在哪些话题中

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

在案例所包括的时间内,娱乐圈出了许多爆炸新闻,例如:“霍建华(HJH)和林心如(LXR)公布恋情、大婚”等。因此,霍建华与林心如频繁出现感情绯闻类的话题中。

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

从最热的十位明星最频繁出现在的话题,我们发现,最常出现在微博话题爆料的明星是杨幂和刘亦菲,大约为 59.12%;占据感情绯闻话题(话题 2)大的明星是霍建华与林心如,大约为 41.76%;胡歌、霍建华和杨洋占据男神颜值榜话题(话题 8)的 42.5%;而频繁出现在演技话题(话题 13)中的明星是胡歌、刘亦菲和杨幂,大约为 42.55%。

热门主题+热门明星+原创性的组合拳

数据观察之后,我们发现话题主要涉及微博爆料、恋情绯闻、网红等。以范冰冰、胡歌、霍建华为代表的十位明星成为娱乐公众号关注的焦点。

主题-明星组合(例如:颜值-胡歌)成为各大公众号的老生常谈。原创性和热门明星成为点击量的保证,而不同主题之间也表现出明显的差异。

主题类别与涉及明星之间存在交叉效应,热门主题+热门明星的组合带来了阅读量、点赞量的显著提升,最易获得订阅读者支持。

经营公众号的推广业务,需要娱乐公众号紧追微博爆料、家庭、离婚娱乐、演技评论等保证流量的话题,尤其是几位热门明星的相关娱乐新闻。此外,原创性也是公众号持续获得关注的重要因素。

 大数据部落——中国专业的第三方数据服务提供商,提供定制化的一站式数据挖掘和统计分析咨询服务

统计分析和数据挖掘咨询服务 :y0.cn/teradat(咨询服务请联系官网客服

【大数据部落】文本挖掘:LDA模型对公号文章主题分析QQ:3025393450

 

【服务场景】  

 

  

科研项目;

      

公司项目外包。

【大数据部落】提供定制化的一站式数据挖掘和统计分析咨询服务

【大数据部落】文本挖掘:LDA模型对公号文章主题分析

分享最新的大数据资讯,每天学习一点数据分析,让我们一起做有态度的数据人【大数据部落】文本挖掘:LDA模型对公号文章主题分析

微信客服号:lico_9e

QQ交流群:186388004

 

【大数据部落】文本挖掘:LDA模型对公号文章主题分析