八爪鱼爬取网页数据案例+图解
近半个月来进行了一个乏味且没有任何技术含量的工作,就是大数据前期的数据爬去工作。今天就给大家简单例举一下八爪鱼试用版的使用,以便新人使用参考。
1.首先确认要爬取的网址,复制到下列输入框(这里说明一下,本人使用的是流程图模式,个人觉得流程图模式比较好上手,容易修改xpath)
2.以csdn官网的招聘为例,首先看一下列表内容(有用的内容包括:列表信息、详情信息、翻页)。接下来就围绕这几个内容项进行简单的爬取
(1)实现自动翻页
(2)实现列表元素获取,这样就实现java中所谓的两层for循环,第一个for循环循环列表页的内容,第二个for循环循环页数,这样就实现了爬取每一页的列表信息
(3)打开流程图看一下具体流程
(4)最后在提取数据时添加需要提取的项
(5)时间可以改时间格式
(6)获取页面网址
(7)点击此链接--》获取页面详情、html
(8)大概主要的就这集中,然后进行本地采集