Python3 --- Scrapy安装
安装方式一:
如果使用的是PyCharm则File-->Settings-->Project Interpreter,选择绿色加号搜索Scrapy安装即可,如下图:
这里需要注意Manage Repositories可以配置成:
- https://pypi.douban.com/simple/
- http://mirrors.aliyun.com/pypi/simple/
安装方式二:
现在可以通过本地安装实现,安装步骤如下:
1、下载与系统对应的whl文件(下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/)
2、通过pip install XXX.whl安装
在安装的过程中会遇到各种坑,列举如下:
坑一:
You are using pip version 9.0.1, however version 10.0.1 is available. You should consider upgrading via the 'python -m pip install --upgrade pip' command.
解决方法:
这里其实说的很明显,需要你升级pip执行python -m pip install --upgrade pip,这里要特别注意如果一旦执行中途出差,一定要删除已有的pip-10.0.1.dist-info
坑二:(我用的是python36,自己的错误信息忘记保存了,这里的错误信息是网上找的)
Command "d:\python\python27\python.exe -u -c "import setuptools, tokenize;__file
__='c:\\users\\admini~1\\appdata\\local\\temp\\pip-build-9gywq7\\Twisted\\setup.
py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\
n');f.close();exec(compile(code, __file__, 'exec'))" install --record c:\users\a
dmini~1\appdata\local\temp\pip-_jok3e-record\install-record.txt --single-version
-externally-managed --compile" failed with error code 1 in c:\users\admini~1\app
data\local\temp\pip-build-9gywq7\Twisted\
解决方法:
1、下载Twisted(下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/),注意下载的版本与环境一致即可
2、通过pip install TwistedXXX.whl安装
坑三:
万恶的Read Time Out
这个。。。。。。遇到了就只有喝杯咖啡,玩玩手机
参考资料:
Scrapy爬虫入门教程七 Item Loaders(项目加载器)
Scrapy爬虫入门教程九 Item Pipeline(项目管道)
Scrapy爬虫入门教程十 Feed exports(导出文件)
Scrapy爬虫入门教程十一 Request和Response(请求和响应)
Scrapy爬虫入门教程十二 Link Extractors(链接提取器)