Scrapy爬虫学习(一)
使用Scrapy爬虫需要依赖比较多的库,所以在使用之前要把环境配置好
Lxml库
这是学习爬虫最基础的库了,应该不用多说。
zope.interface库
这个库直接使用命令提示符安装,在命令提示符界面输入:pip3 install zope.interface。
pyOpenSSL库
这个和上面的一样,直接在命令提示符界面输入:pip3 install pyOpenSSL。
twisted库
这个库不能通过pip安装,需要进入http://www.lfd.uci.edu/~gohlke/pythonlibs/下载至本地(注意选择与本机相对应的版本)
安装whl需要wheel库,之前学习爬虫时已经安装了wheel库,所以跳过。
下载后进入存放whl的文件夹,我这里是放在H盘的根目录。
打开命令提示符输入h:(大小写都行),进入H盘。
进入后输入pip3 install Twisted-18.7.0-cp36-cp36m-win_amd64.whl(后面是文件名)。
等待安装完成即可。
pywin32
跟twisted的安装方法一样,但是在导入的时候会出错,需要在你python的安装目录下找到包的文件夹。
将这两个文件复制到C:\Windows\System32下
Scrapy库
以上的库安装完了以后,通过PIP安装Scrapy爬虫框架
在命令提示符界面输入:pip3 install scrapy
至此,所有的库安装完毕。