《八爪鱼采集器》如何自定义抓取数据

步骤1：创建采集任务

1）进入主界面，选择“自定义模式”

 

2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”

 

步骤2：创建翻页循环

1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。网页打开后，下拉页面，找到并点击“更多短评”按钮，选择“点击该链接”

 

2）将页面下拉到底部，点击“下页”按钮，在右侧的操作提示框中，选择“更多操作”

 

3）选择“循环点击单个链接”，以建立一个翻页循环

 

步骤3：创建列表循环并提取数据

1）移动鼠标，选中页面里的第一条电影评论区块。系统会识别此区块中的子元素，在操作提示框中，选择“选中子元素”

 

2）系统会自动识别出页面中的其他同类元素，在操作提示框中，选择“选中全部”，以建立一个列表循环

 

3）我们可以看到，页面中第一条电影评论区块的所有元素均被选中，变为绿色。选择“采集以下数据”

 

4）选中字段，点击垃圾桶图标，可删除不需要的字段

 

5）字段选择完成后，选中相应的字段，可以进行字段的自定义命名。完成后，点击左上角的“保存并启动”

 

6）选择“启动本地采集”

 

步骤4：数据采集及导出

1）采集完成后，会跳出提示，选择“导出数据”。选择“合适的导出方式”，将采集好的数据导出

 

2）这里我们选择excel作为导出为格式，数据导出后如下图

 

注意事项

 

• 说明：在未登录状态下，豆瓣电影短评只可翻页8次，采集160条左右的数据。如果想采集第8页以后的短评，需要在八爪鱼流程图中增加一个登录步骤（先登录豆瓣账号，再进行短评采集）。

• 如果觉得对您有些用处，就请点个赞或者收藏一下吧，谢谢。