爬虫入门到入土(一)爬虫原理和网页构造
爬虫原理和网页构造
网络连接
爬虫需要了解关于网络连接的知识不多,只需要知道最基本的连接原理即可
如下图所示:
在客户端点开一个连接就会向服务器发送出一个请求,服务器就会向客户端返回相应的文件。
比如上网买东西。你下单了,就是发送一个请求(请求里携带着你的地址系信息)给仓库,仓库就会发送相应的货物给你。
爬虫原理
1.模拟计算器对服务器发起Request请求
2.接收服务器端的Response内容并解析、提取所需的信息
多页面爬虫流程
有时候,我们所需要的信息不在同一个页面,而是分布在多个页面。当这些页面的URL存在一定的规律时,可以用到多页面爬虫。
多页面爬虫流程:
1.观察各页面的URL特点,构建出URL列表
URL:URL是统一资源定位符,对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。就像是路径一样, 在电脑上程序访问文件需要提供路径,只不过这些路径是在互联网上。
2.循环遍历URL列表,并调用爬虫函数
3.解析、提取所需的信息
4.存储
跨页面爬虫流程
当这些页面的URL不存在着明显规律的时候,就要考虑跨页面爬虫流程。假如你在网页上看小说,你想把正本小说爬下来慢慢看,但是呢章节与章节之间的URL肯定是不同的,这个时候你要做的是找到下一章的链接。爬了第一章,就能解析出第二章的链接,以此类推。
这些内容现在过于抽象,下面的博客会详细说明的。
网页构造(有网页基础的可不看)
在这里我强烈推荐大家安装Chrome,这是爬虫绕不过的坎(当然啦,Firefox也行。但用Chrome的人多,那就说明相应的教程多。)
如何查看网页的构造?鼠标右键->检查 或者 按下F12
这样就能查看网页构造了。
当然,现在不需要太多了解,只需知道怎么查看网页构造就可以了。
下一个博客将会讲最简单的爬虫程序。