scrapy.shell 碰到503的错误
这几天刚刚学习scrapy的时候，有的时候想用scrapy.shell验证一下xpath的正确性，方便点，但经常遇到503的错误，所以总结一下：
打开cmd直接输入scrapy.shell，
就会报错503
所以我们需要这样做，进入项目的spiders文件夹
然后就ok了
但是在这之前，我们还需要设置一些东西，进入你要爬的网站，比如http://www.xicidaili.com/nn/ 然后F12打开开发者工具，在network里找到第一个
把USER_AGENT放到settings.py里去
这样就不会报503的错误了
当然。如果你只是想简单的scrapy shell一下，那么直接在scrapy shell -s USER_AGENT='Mozilla/5.0' +url 就OK了
转载请注明出处