两步安装python scrapy
关于用python写爬虫程序
我准备用scrapy这个框架,感觉会省事
1.关于scrapy的安装
第一步:先去安装Twisted (找到和你python版本一致的Twisted版本,注意是32位还是64位)
我用的是3.6版本的,64位的。
在cmd里面输入pip install +Twisted的下载路径 (可以复制)
安装
安装成功
- 再输入pip install scrapy
安装成功
这是比较简便的安装方法,不用去安装lxml, cssselect,之类乱七八糟的包,害我浪费了很多时间。日他哥的。
接下来就可以用scrapy开始写爬虫啦