Question

如何在eclipse中使用scrapy

Answer 1

一、创建项目
如果安装了最新的pydev，创建一个新项目会有三个选项，这里直接选择一个普通的python项目即可，此时查看项目目录，目录项只有两个工程文件。
<img data-rawheight="52" data-rawwidth="131" src="https://pic2.zhimg.com/defe3f4b4379ba8007e5be1b1ce07dd5_b.jpg" class="content_image" width="131">
此时，需要使用scrapy命令创建一个scrapy项目到这个目录下，当然也可以把一个现有的工程拷贝到这里。
我这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。
此时如果运行这个项目会报错如图：
<img data-rawheight="507" data-rawwidth="419" src="https://pic1.zhimg.com/003efc0f452637a1560ba73b1e0741b4_b.jpg" class="content_image" width="419">

二、配置Debug Configurations
1、进入run——>Debug Configurations-——>Main
name中输入这个配置的名称；
Projecct选择你的Scrapy项目
Main Module 中填入scrapy库下的cmdline.py文件
2、进入run——>Debug Configurations-——>Arguments
在Program arguments中输入 crawl example，需要注意这个example是你的爬虫的名称
这个名字并不是你的项目名称，而是在你所写的类似于xxxSpider()类中的name的值。
在Working directory中选择other 选择你的爬虫工作目录
如图：
<img data-rawheight="283" data-rawwidth="599" src="https://pic1.zhimg.com/1bf1440891107de4a64fcaa66fec1294_b.jpg" class="origin_image zh-lightbox-thumb" width="599" data-original="https://pic1.zhimg.com/1bf1440891107de4a64fcaa66fec1294_r.jpg"><img data-rawheight="426" data-rawwidth="582" src="https://pic4.zhimg.com/32fe68dab4bd890e5bff75b2b2c39d5f_b.jpg" class="origin_image zh-lightbox-thumb" width="582" data-original="https://pic4.zhimg.com/32fe68dab4bd890e5bff75b2b2c39d5f_r.jpg">

配置完成，点击Debug按钮，如果能正常显示类似于下面的信息则说明配置成功。
2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished)
2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats:

唯一麻烦一点的就是每次debug都需要通过run进行，而不能使用鼠标右键运行。

至此eclipse + pydev开发环境debug Scrapy就全部完成了。