【问题】pyspider安装过程的一些问题
第一个问题:
环境信息为windows10 64位,原生python3.6环境,没有使用anaconda,使用pip install pyspider报egg错误
解决方法:
1. 安装wheel
pip install wheel
2. 下载pycurl
地址在这里:https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
3. 安装对应的版本amd为64位的
pip install 刚才下载的文件的绝对路径
4. 继续完成pyspider安装
pip install pyspider
5. 进入到某个目录,使用
pyspider all
启动pyspider
天真的我以为到这里就OK了
但是在开开心心创建第一个项目的时候,运行解析第二页
遇到了第二个问题:
python已停止工作
此时我的内心是崩溃的
解决办法:
换成32位的Python
参考链接:
https://segmentfault.com/q/1010000006658325/a-1020000006659824
一顿操作,搞定了32的python
重新安装了pyspider
然后启动pyspider的时候!!!!
又报了第三个错误:某Win32 DLL不存在
又是一顿操作,stackoverflow上给出了重新安装pywin32的方法
然后我并没有按照着做,为了个Pyspider折腾坏其他依赖库就麻烦了
还是用虚拟机吧
最后的最后,我在windows上卸载了python环境,安装了一个anaconda,然后使用第一步的方法安装了pyspider,总算没有报错了
然后撸了个脚本,抓了一大波宅男女神的图
暂时告一段落