scrapy遇到的坑

记录一下今天用scrapy遇到的坑,本来在本机上测试是可以正常运行的,

scrapy遇到的坑

scrapy遇到的坑

而发布到linux测试环境,居然没有爬取到任何结果,运行结果如下图,

 scrapy遇到的坑scrapy遇到的坑

以前并没有遇到这种情况,如果有报错至少有个大概的解决方向,没报错让人感到无从下手,后来想到,这个爬虫和之前的不同之处是使用了xpath,想到这个我赶紧查看了下安装包,果然,服务器和本机是不同的,于是我将两个版本统一,然而,问题还是没有解决,,


 之后我想,是不是因为Linux的系统与windows的不一致导致没有解析到数据,然后我单独将解析代码单独拿出来测试,果然,没有解析到任何数据,终于找到了突破口,后面的事情就好办了,通过抽丝剥茧,终于找到了问题,如图

scrapy遇到的坑scrapy遇到的坑

就是这几行代码导致,本来是通过"\n"切割数据,没想到同样的代码,居然因为运行环境的不同,运行结果不同,测试如下

scrapy遇到的坑

scrapy遇到的坑scrapy遇到的坑

scrapy遇到的坑

很明显,linux自动忽略了第一个空格,实在想不明白居然会有这样的问题,不过,这样让我更加加深了对linux,和windows系统的区别