基于Python2.7的Scrapy安装步骤
之前由于要写一些网络爬虫,于是选择了Python Scrapy这个框架,个人感觉功能还是非常强大的。当时安装可能是运气较好,没费什么周折就成功了,但是最近由于重装Windows,不得已要重新配置环境,发现废了不少时间,因此在这里记录一下最终安装成功的步骤。
由于楼主的系统安装了Anaconda,有自带的Python2.7,于是就基于该环境开始安装,按照网上的各种教程,乱七八糟装了一堆依赖库,结果貌似装成功了,但是运行代码各种出错,解决了一些问题后还是出错,最后的错误都看不懂是什么,果断放弃,选择重新安装。
但是这是系统有conda自带的python,怎么才能重新装一个python环境而又不影响Anaconda呢?楼主是这么解决的,在电脑的环境变量里移除conda中python的路径,然后将新的python路径添加进来就OK了。
系统为Win10 64位系统,具体安装步骤如下:
一.安装python2.7
选择版本:python-2.7.12.amd64.msi
由于python2.7自带pip和easy_install工具,所以无需自己安装。
二.添加python2.7的环境变量
三.安装zope.interface
选择版本:zope.interface-4.4.0-py2.7-win-amd64.egg
验证:import zope.interface
四.安装pywin32
安装版本:pywin32-220.win-amd64-py2.7.exe
验证:import win32com
在这里要特别注意,直接点击运行.exe文件可能会安装失败,解决方法:以管理员身份打开cmd命令窗口,进入到该安装文件所在路径下进行安装,亲测有效。
五.安装pyOpenSSL
验证:import OpenSSL
安装版本:pyOpenSSL-0.13.1.win-amd64-py2.7.exe
六.安装Twisted
安装版本:Twisted-15.2.0.win-amd64-py2.7.exe
验证:import twisted
七.安装lxml
安装版本:lxml-3.2.4.win-amd64-py2.7.exe
验证:import lxml
八.安装scrapy
如果以上各依赖库都安装好且import 成功,则可以安装scrapy,使用命令:pip install scrapy
验证:在cmd中输入scrapy,显示下图所示信息则表示安装成功:
要注意的是选择安装的各项依赖库一定要和自己的系统保持一致,不能随意乱撞,否则容易出错。
(Scrapy安装官方文档)