想学爬虫的,看过来~

咪哥杂谈

想学爬虫的,看过来~

本篇阅读时间约为 3 分钟。

1

前言

平时我有个习惯,就是要经常去 github 上看看有哪些开源项目热门起来了。

那今天就给大家推荐一个近期比较火热,极其友好的爬虫开源项目。

极其友好,特指对小白极其友好~面向小白的爬虫小例子非常经典,并且其中涉及了一些淘宝,豆瓣等大型网站。

且不论技术细节是怎么实现的,如果对电商等平台有数据需要,并且对爬虫技术非常感兴趣的小伙伴,可以参考借鉴,那么废话不多说,带大家来看下,下面进入正题。

2

项目介绍

迄今为止,北京时间 2020年04月25日。此项目 star 数已有 8k+。

想学爬虫的,看过来~

想学爬虫的,看过来~

简单的看下目录,有些小例子确实很吸引人:

想学爬虫的,看过来~

天天基金,天猫商品,微信读书,看上去都是比较实用的"小工具"。

此项目友好就友好在,这里的每个目录,作者以文章的形式详细的讲解了技术细节,代码细节。

有的是用抓包得到的接口,有的是用 selenium 动态模拟,有的是用 requests 库模拟请求.....

善用 github 进行学习检索,也是一项必备技能!

这里教对技术感兴趣的同学一个小技巧,一个是平时没事可以逛逛 github 热榜,还有一个就是可以 follow 某个语言领域的大神开源作者。

因为 github 的 profile 信息主页,是以一种瀑布流形式的信息进行推送刷新。当你关注的作者有更新,提交,创建项目,或是star,fork了项目,这些动态都会在你的主页进行显示的,如下图:

想学爬虫的,看过来~

3

结语

好久没有给大家推荐学习资料了,所以写了这么一篇推荐资料文!

如果想解锁本开源项目更多内容,扫描下方二维码进行查看(扫完会跳转到开源项目主页):

想学爬虫的,看过来~

文字链接:https://github.com/shengqiangzhang/examples-of-web-crawlers

题图 - pexels - malcolm garret


往期精彩回顾

推荐个网站!

这样的搜索姿势,真是爽爆了!!~

想学爬虫的,看过来~