亲身经历——下载Scrapy
下载Scrapy
Scrapy 是一套基于基于Twisted的异步处理框架,纯python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片等等。
首先 使用我们的pip命令对Scrapy进行下载
正常应该是不会出错的,作者前几天刚刚升级到2004版本,很多东西都没配置,所以:
错误:需要Microsoft Visual C ++ 14.0
微笑,Visual Studio Installer
打开下载的文件自动安装了一些必要的组件,在打开的窗口中选中第二个选项卡”单个组件“ 在里面查看
Scrapy官网
作者不服啊,直接上官网
https://pypi.org/project/Scrapy/#files
还是官网这方便 体积还小,但是……
Twisted
继续官网
好像看到点希望
建议直接网址
……
最后又回到原点。。
最后成功
推荐一个网站,提供最新的包
难顶,安装个包这么心累,整理一下 发在百度云吧。
- https://www.lfd.uci.edu/~gohlke/pythonlibs/ 这个是作者最后下载包的地方 ,这边提供最新的包。
- 链接: https://pan.baidu.com/s/1hNAKYKoJMKrOlHmJATQSrg 提取码: 48x8,这里只有
其他的版本的需要大家自己去下载了。
安装好了后 直接pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ scrapy即可