Python爬虫实战简单分析 某乎用户粉丝
开发工具
Python版本:3.6.4
相关模块:
pyecharts模块;
requests模块;
jieba模块;
fake_useragent模块;
以及一些Python自带的模块。
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
额外说明:
pyecharts模块安装时请依次执行以下命令:
pip install echarts-countries-pypkg
pip install echarts-china-provinces-pypkg
pip install echarts-china-cities-pypkg
pip install pyecharts
原理简介
感觉很多爬过知乎的人应该都知道,知乎有三个常用的API接口,如下图所示:
因为是随便玩玩的,所以本文只用了第三个接口来获取指定用户的粉丝信息,信息包括用户昵称、标题、性别、回答问题的数量等。然后再利用pyecharts等库对数据进行简单的可视化分析。
顺便提一下,那些号称用python爬了几十万知乎用户信息的,用的大多都是这三个接口+Scrapy框架。以后有时间我也来过把瘾试一试。T_T
That’s all.
完整源代码:Python 教程/工具/方法/解疑+V:itz992
结果展示
爬虫部分:
修改下图中的用户为需要爬取的用户:
在cmd窗口运行 “Zhihu_Spider.py” 文件即可。
注意,这里的用户指代url_token,比如:
运行截图: