安装pyspider步骤及遇到的坑和解决方案
pyspider安装步骤及问题解决
1、 在anaconda prompt中输入pip install --user pyspider
2、 下载phantomjs(对应系统版本)##用户界面localhost:5000
3、 解压后将phantomjs.exe复制到python的Scripts文件夹下
4、 在cmd中启动pyspider all
坑一:python3.7不兼容pyspider问题(出现占用关键字的问题)
解决方案:Python 3.5中引入了async和await,它们在Python 3.7中成为关键字。
所以需要替换一下关键字。
分别在run.py、fetcher /tornado_fetcher.py、webui/app.py,ctrl+f查找async替换掉就可以了
坑二:关键字替换过多,在文件tornado_fetcher.py中替换了类名中的async
解决方法:改回文件中的四处async注意大小写
坑三:wsgidav3.X版本不支持,改成2X版本
解决方法:在cmd中输入:
pip uninstall wsgidav
python -m pip install wsgidav==2.4.1