Eclipse集成Scrapy配置调试

Eclipse中安装PyDev插件后可以使用Eclipse开发Python,下面列出,如何在Eclipse中开发调试scrapy项目。

下面假设我们已配置完并可用环境,包括:安装Python环境、Eclipse集成PyDev插件、安装scrapy环境。

(1)新建scrapy项目。选择一个文件夹下,按住Shift并右键【在此处打开命令窗口(w)】,在dos上运行scrapy startproject tutorial,创建一个 tutorial工程,如图。

Eclipse集成Scrapy配置调试

创建成功后,目录如下

Eclipse集成Scrapy配置调试

(2)Eclipse中新建Python项目。并把(1)中新建的tutorial项目复制到Eclipse中新建的工程下,并新建一个Python启动文件如下图cmdline.py用于启动scrapy项目,其中argv第三个参数为启动爬虫的名字。如下图

[python] view plain copy
  1. ''''' 
  2. Created on 2015-8-28 
  3.  
  4. @author: songhw 
  5. '''  
  6. import scrapy.cmdline  
  7.   
  8. if __name__ == '__main__':  
  9.     scrapy.cmdline.execute(argv=['scrapy','crawl','dmoz'])  

Eclipse集成Scrapy配置调试

(3)配置Debug参数。打开Debug Configurations按钮,新建一个PythonRun项目,并配置如下图:

Eclipse集成Scrapy配置调试

(4)点击Debug进行调试。

Eclipse集成Scrapy配置调试


源码用例见附件