scrapy1__安装(有些坑需要了解)
1.安装scrapy前提
- scrapy依赖的一些包:
lxml:一种高效的XML和HTML解析器,
PARSEL:一个HTML / XML数据提取库,基于上面的lxml,
w3lib:一种处理URL和网页编码多功能辅助
twisted,:一个异步网络框架
cryptography and pyOpenSSL,处理各种网络级安全需求
- 以上包需要的最低版本:
Twisted 14.0
lxml 3.4
pyOpenSSL 0.14
来自此处
2. 安装scrapy
3.(我遇到的)报错:Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools
4.解决办法如下
-
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载下载twisted对应版本的whl文件
2. 安装 pip install whl文件的完整路径名pip install F:\谷歌下载\Twisted-18.9.0-cp37-cp37m-win_amd64.whl
3. pip install Scrapy即可成功