pycharm 添加 scrapy 自定义调试 debug

在本地开发过程中,如果想要对 scrapy 的某个 spider 进行调试,可以手动添加调试器:

pycharm 添加 scrapy 自定义调试 debug
如果这个界面为空,可以右键直接执行当前 spider ,然后会出现类似的配置;再点击 Edit Configurations 即可
pycharm 添加 scrapy 自定义调试 debug

配置界面:
pycharm 添加 scrapy 自定义调试 debug

主要分三步走,首先找到 scrapy 安装的路径
第一步,添加 scrapy 脚本路径
找到 scrapy 脚本所在路径
在 linux 系统中使用如下命令:(前提:pip 已经安装 scrapy,且命令能正常使用)
which scrapy

where scrapy
windows 中使用如下命令:
where scrapy

结果如下:
(base) > $ where scrapy
/anaconda3/bin/scrapy
添加在 1 script path 中
第二步,添加 命令 参数
注意:不同的 spider 或不同的命令行都要在这里修改才能生效
比如,导出数据到 json 文件中
crawl douban -o douban.json
第三步,添加工作路径
命令执行的路径,一般来说在 scrapy 跟路径执行即可,可以理解为在跟路径下执行此命令。
这里添加了 spider 所在路径