window10系统 64位 Python3.7安装Scrapy教程

安装scrapy过程中会出现各种包安装错误,是因为scrapy的安装依赖于其他环境,所以,在安装scrapy之前,要先安装以下几个包:
wheel
Pywin32
lxml
twisted
安装步骤如下:
1、首先要有pip工具和python IDLE(我的是python3.7,64 位),
2、升级pip工具:以管理员身份运行cmd,输入python -m pip install --upgrade pip
3、安装wheel,有了wheel就可以离线安装各种模块了:以管理员身份运行cmd,输入pip install wheel
4、安装pywin32:到https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/ 页面,往下翻,有pywin32的链接,我下载的是pywin32-221.win-amd64-py3.7.exe版本(pywin32的版本要与python的版本对应,py后面就是版本号,而且要对应自己的电脑位,我的是64位,python3.7,所以下载pywin32-221.win-amd64-py3.7.exe),下载完后,执行文件pywin32-221.win-amd64-py2.7.exe,安装完成后,win+R进入命令行,输入python回车,在python命令行下输入:import win32com,如果没有提示错误,则证明安装成功
5、安装pyOpenSSL:以管理员身份运行cmd,输入pip install pyopenssl,即可安装成功。
6、安装lxml:从这开始可以参考scrapy的官网,了解情况。
scrapy的官网链接:https://doc.scrapy.org/en/master/intro/install.html#installing-scrapy
打开后,往下滑,你会看到:
window10系统 64位 Python3.7安装Scrapy教程
也就是说这里面涉及到的东西你都需要安装,
点击lxml,下载lxml-4.5.0-cp37-cp37m-win_amd64.whl,注意选择对应版本(**这里cp后面是python版本,amd后面是位数(32或64),我这里是3.7系列,64bit,**所以我这里相对应的版本是lxml-4.5.0-cp37-cp37m-win_amd64.whl
下载后,打开文件,
window10系统 64位 Python3.7安装Scrapy教程
在空白处,按住shift+鼠标右键,选择在此处打开命令窗口,在打开的命令窗口中输入:pip install lxml-4.5.0-cp37-cp37m-win_amd64.whl即可安装成功。
7、安装Twisted:打开链接:https://pypi.org/project/Twisted/#files
window10系统 64位 Python3.7安装Scrapy教程
window10系统 64位 Python3.7安装Scrapy教程
选择对应版本(**这里cp后面是python版本,amd后面是位数(32或64),我这里是3.7系列,64bit,**所以我这里相对应的版本是Twisted-18.9.0-cp37-cp37m-win_amd64.whl):
window10系统 64位 Python3.7安装Scrapy教程
下载完成后,打开文件夹:
window10系统 64位 Python3.7安装Scrapy教程
在空白处,按住shift+鼠标右键,选择在此处打开命令窗口,在打开的命令窗口中输入:pip install Twisted-19.10.0-cp37-cp37m-win_amd64.whl即可安装成功。
8、安装Zope.interface:以管理员身份运行cmd,输入pip install Zope.interface
9、此时,所有准备都完成了,win+R打开命令行窗口,输入pip install Scrapy,即可安装成功,若还出错,进行如下操作:
pip install时发生raise ReadTimeoutError(self._pool, None, ‘Read timed out.’)的解决方案
window10系统 64位 Python3.7安装Scrapy教程
解决方案:更换安装源(推荐使用豆瓣源)
pip install -i https://pypi.douban.com/simple <需要安装的包>
比如:
pip install -i https://pypi.douban.com/simple requests
这里我们输入pip install -i https://pypi.douban.com/simple Scrapy,便不会出错了。成功界面如下:
window10系统 64位 Python3.7安装Scrapy教程
测试:
“Win+R”进入命令行窗口,输入python,
输入以下命令,若无报错,即安装成功:
Import pywin32
Import pyOpenSSL
Import Lxml
Import Twisted
Import Scrapy