基本抓取网页

1.get 方法

 

 

2.post 方法

 

Python学习交流群：548377875

使用代理 IP

在开发爬虫过程中经常会遇到 IP 被封掉的情况，这时就需要用到代理 IP；

在 urllib2 包中有 ProxyHandler 类，通过此类可以设置代理访问网页，如下代码片段：

 

Cookies 处理

cookies 是某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据 (通常经过加密)，python 提供了 cookielib 模块用于处理 cookies，cookielib 模块的主要作用是提供可存储 cookie 的对象，以便于与 urllib2 模块配合使用来访问 Internet 资源.

代码片段：

 

关键在于 CookieJar()，它用于管理 HTTP cookie 值、存储 HTTP 请求生成的 cookie、向传出的 HTTP 请求添加 cookie 的对象。整个 cookie 都存储在内存中，对 CookieJar 实例进行垃圾回收后 cookie 也将丢失，所有过程都不需要单独去操作。

手动添加 cookie

 

伪装成浏览器

某些网站反感爬虫的到访，于是对爬虫一律拒绝请求。所以用 urllib2 直接访问网站经常会出现 HTTP Error 403: Forbidden 的情况

对有些 header 要特别留意，Server 端会针对这些 header 做检查

1. User-Agent 有些 Server 或 Proxy 会检查该值，用来判断是否是浏览器发起的 Request
2. Content-Type 在使用 REST 接口时，Server 会检查该值，用来确定 HTTP Body 中的内容该怎样解析。

这时可以通过修改 http 包中的 header 来实现，代码片段如下

 

页面解析

对于页面解析最强大的当然是正则表达式，这个对于不同网站不同的使用者都不一样，就不用过多的说明。

 

其次就是解析库了，常用的有两个 lxml 和 BeautifulSoup。

对于这两个库，我的评价是，都是 HTML/XML 的处理库，Beautifulsoup 纯 python 实现，效率低，但是功能实用，比如能用通过结果搜索获得某个 HTML 节点的源码；lxmlC 语言编码，高效，支持 Xpath

验证码的处理

对于一些简单的验证码，可以进行简单的识别。本人也只进行过一些简单的验证码识别。但是有些反人类的验证码，比如 12306，可以通过打码平台进行人工打码，当然这是要付费的。

gzip 压缩

有没有遇到过某些网页，不论怎么转码都是一团乱码。哈哈，那说明你还不知道许多 web 服务具有发送压缩数据的能力，这可以将网络线路上传输的大量数据消减 60% 以上。这尤其适用于 XML web 服务，因为 XML 数据 的压缩率可以很高。

但是一般服务器不会为你发送压缩数据，除非你告诉服务器你可以处理压缩数据。

于是需要这样修改代码：

 

这是关键: 创建 Request 对象，添加一个 Accept-encoding 头信息告诉服务器你能接受 gzip 压缩数据

然后就是解压缩数据：

 

多线程并发抓取

单线程太慢的话，就需要多线程了，这里给个简单的线程池模板 这个程序只是简单地打印了 1-10，但是可以看出是并发的。

虽然说 python 的多线程很鸡肋，但是对于爬虫这种网络频繁型，还是能一定程度提高效率的。