爬取数据不是非要Python

最近有朋友问是否可以不用Python编程就能爬取数据并分析,想起来正好之前写了一篇文章,关于Web Scraper的使用,由于之前忘记标记原创,今天就再发一次。

本文背景

宝器想做头发了!

宝器想做头发了!

.....

别想歪,是去美容美发!

爬取数据不是非要Python

准备问一下上铺老王成都哪几家理发店比较好?怎么预约联系方式呀?地址在哪里呢?贵不贵?(毕竟不是每个人都能享受Tony老师的手活

如果你也有这样这样的问题,不慌,请看本文正文,一起愉快的去看一下做头发要经过的步骤~

首先

打开屌丝必备之美团,然后找到酒店菜单栏.......

下面的美发一栏。爬取数据不是非要Python 

爬取数据不是非要Python

打开了吧,打开之后会有下面这样的一个图

爬取数据不是非要Python

啊呸!打开错了,应该是这样一个界面图:

爬取数据不是非要Python

你会发现上面的理发店信息数据中只有店名,人均消费这些,但是如果想看更详细的比如电话?比如营业时间怎么办呢?

必须再次点击上图某家店logo(带有二级链接,点击会跳转到下一级页面),打开之后就可以看到对应的每一家理发店更详细的信息了。

爬取数据不是非要Python

接下来就要思考一个问题,如何针对这种多级跳转链接、多元素(字段)抓取数据呢?

我还真..............................................不是不知道~

爬取数据不是非要Python

NOW

愉快的给大家安利一波插件,No BB,Show 工具!Show 方法!

第一步,下载安装Web Scraper。

第二步,安装好之后在第一个链接界面按住F12,创建一个站点。

爬取数据不是非要Python

第三步,添加一个选择器类型为Link选择器,注意,一定要选择Link选择器!

爬取数据不是非要Python

第四步,在二级链接界面同样按F12打开Web Scraper,添加一个element(元素)选择器(母选择器是link选择器)。

爬取数据不是非要Python

第五步,添加一个text选择器(母选择器是element选择器)选择所有你想要的字段信息,比如电话,比如地址,如下:

爬取数据不是非要Python

总结,这篇文章可能是针对有一定爬虫基础知识同学,如果不太懂上面的一些概念(比如元素、选择器等),建议简单阅读一下Web Scraper 官方文档。

你最终会得到如下树形逻辑图(核心思想),其中箭头部分所指就是你要的每一个字段信息。

爬取数据不是非要Python

Last,show 结果:

爬取数据不是非要Python

最后

今天出去忙了一天,这篇文章连夜赶出来的,现在的感觉欲仙欲死,抗不住,分析部分下次再做了。

这里的主要核心是利用Web Scraper插件实现了多级链接跳转、多元素字段的抓取,核心是要理解中间的树形图部分。