scrapy爬虫环境部署

1、安装python3

Python官方下载链接：https://www.python.org/downloads/windows/根据系统版本选择合适的python3安装，此处选择： Windows x86-64 executable installer


然后点击install，等待安装完成后，进入python3安装目录。如果之前安装过其他版本的python,例如python2,这样就会产生版本冲突，为了分清python安装版本，此处将python.exe复制一份将其命名为python3，这样就可以使用python3命令

测试安装：win键+R键打开命令行输入python3

若显示命令不存在则重启电脑，继续测试（同上方法）原因：python环境变量没有生效

2,安装scrapy

2.1,安装lxml
pip3 install lxml

可以根据提示升级pip,输入python3 -m pip install --upgrade pip
如果pip更新出现错误如下

使用管理员权限命令提示符再次使用上述命令python3 -m pip install --upgrade pip更新
更新测试：查看pip版本
2.2安装Twisted
根据python版本下载相对应的twisted，例如以上下载python38,下面就选择Twisted-20.3.0-cp38-cp38-win_amd64.whl
链接：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

下载完成后，命令行进入下载目录，输入pip3 install Twisted-20.3.0-cp38-cp38-win_amd64.whl

2.3安装scrapy
pip3 install scrapy

若出现由于网速下载超时的问题
错误省略，最后一行提示错误如下：

则输入命令pip3 --default-timeout=100000 install -U scrapy
结果最后如下：