python scrapy 安装出现的问题
python scrapy 安装出现的问题
scrapy安装需要几个重要的包支持
-
wheel 模块:用于安装。.whl 格式文件
安装使用:pip install wheel -
lxml 库:用来做xpath提取
安装使用:pip install lxml
以上两个都是比较好安装的,下面安装的都可能出现一些问题
pywin32 模块:调用WindowsAPI 捕获窗口等一些功能
本模块安装有两种方法:1、通过 pip install pywin32 方法安装
2、通过下载适合自己python版本的pywin32版本进行安装
(下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/ )
例如:小弟使用的是python 3.6.5,下载 pywin32-220-cp36-cp36m-win-amd64.whl
下载后在文件所在文件夹路径下执行 pip install 文件名 进行操作
Twisted 模块: 网络编程框架
本模块安装也有两种方法:1、通过 pip install Twisted 方法安装
2、通过下载适合自己python版本和Windows系统版本的Twisted版本
(下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/ )
例如:小弟使用的是python3.6.5,下载Twisted-17.9.0-cp36-cp36m-win32.whl
下载后在文件所在目录下执行 pip install 文件名 进行安装操作
亲测如果网络好的话使用第一种方法比较高效
在安装pywin32 和 Twisted 两个模块时可能出现以下错误
这是安装Twisted 和 pywin32 都可能出现的错误,错误原因是红的报错位置的上一句
error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: ‘http://landinghub.visualstudio.com/visual-cpp-build-tools’
这句报错是因为Windows 自己系统的问题,需要安装 Visual C++14.0
解决方法:https://support.microsoft.com/zh-cn/help/2977003/the-latest-supported-visual-c-downloads 下载Visual C++ 14.0 进行安装
但是小弟并未在其上面找到合适的版本,是在其他地方下载了一个Visual C++ 14.0
以下是小弟的Baidu云盘
链接:https://pan.baidu.com/s/1CqCPrZuNiTxZDMZEHs_Qww
提取码:jare
里面包含Twisted - 17.9.0-cp36 的32位和64位版本和VC++ 14.00
在VC++ 14.0 安装完成之后,可以安装Twisted 和 pywin32 两个模块应该可以成功安装
安装成功就会显示 successfully
在上述四个模块安装完成之后,就可以安装scrapy了
安装使用:pip install scrapy
安装成功会显示 successfully
测试是否安装成功:在cmd命令行中输入 scrapy,不报错则为成功
安装成功后在一个文件夹路径下启动cmd,在cmd中输入命令:Scrapy startproject filename
则会在当前文件夹下创建一个filename的文件夹,这就是 scrapy 框架创建的文件
以上就是小弟我在安装scrapy是出现的错误,写出来供大家参考。谢谢
– 希厌 –