《PYTHON3网络爬虫开发实践》——第三章 基本库的使用

第三章 基本库的使用

• urllib库，有了它，我们只需要关心请求的链接是什么，需要传的参数是什么，以及如何设置可选的请求头就好了，不用深入到底层去了解它到底是怎样传输和通信的。有了它，两行代码就可以完成一个请求和响应的处理过程，得到网页内容。

  urllib是Python内置的HTTP请求库。包含4个模块。

  1. request

     1. urlopen()。利用它模仿浏览器的一个请求发起过程，还带有处理授权验证、重定向、浏览器cookies以及其他内容。

        

        

        • 如果想给链接传递一些参数，该怎么实现呢？看一下urlopen()函数的API

          

          除了第一个参数可以传递URL之外，还可以传递其他内容，比如data（附加数据），timeout（超时时间）等。

        • 知识点太细了，等用得到再回来看。

     2. request

        1. 我们知道利用urlopen()方法 可以实现最基本请求的发起，但这几个简单的参数并不足以构建一个完整的请求。如果请求中需要加入Headers等信息，就可以利用更强大的Request类来构建。

           我们依然是用ur lopen()方法来发送这个请求，只不过这次该方法的参数不再是URL,而是一个Request类型的对象。通过构造这个数据结构，一方面我们可以将请求独立成一个对象，另一方面可更加丰富和灵活地配置参数。

           下面的示例展示了Request怎样通过参数来构造：

           

           

           这里我們通过4个参数构造了一个请求，其中url即请求URL, headers 中指定了User-Agent 和Host,参数data用urlencode()和bytes()方法转成字节流。另外，指定了请求方式カPOST。

     3. 高级用法

        在上面的过程中，我们虽然可以构造请求，但是对于一些更高级的操作(比如Cookies 处理、代理设置等),我们该怎么办呢?
        就需要更强大的工具Handler登场了。简而言之，我们可以把它理解为各种处理器，有专门处理登录验证的，有处理Cookies的，有处理代理设置的。利用它们，我们几乎可以做到HTTP请求中所有的事情。
        首先，介绍一下urllib.request模块里的BaseHandler类，它是所有其他Handler的父类，它提供了最基本的方法，例如default_ open()、 protocol_ request()等 。
        接下来，就有各种Handler子类继承这个BaseHandler类，举例如下。

        • HTTPDefaultErrorHandler:用于处理HTTP响应错误，错误都会抛出HTTPError类型的异常。
        • HTTPRedirectHandler:用于处理重定向。
        • HTTPCookieProcessor:用于处理Cookies。
        • ProxyHandler:用于设置代理，默认代理为空。
        • HTTPPasSWordMgr:用于管理密码，它维护了用户名和密码的表。
        • HTTPBasicAuthHandler:用于管理认证，如果一个链接打开时需要认证，那么可以用它来解决认证问题。

        验证

        有些网站在打开时会弹出提示框，直接提示输入用户名和密码，验证成功后才能查看页面。

        

        借助HTTPBasicAuthHandler就可以完成。

        

        首先实例化HTTPBasicAuthHandler对象，其参数是HTTPPasswordMgrWithDefaultRealm对象，它利用add_password()添加进去用户名和密码，这样就建立了一个处理验证的Handler。

        接下来，利用这个Handler并使用build_ opener()方法构建 一个Opener,这个Opener在发送请求时就相当于已经验证成功了。
        接下来，利用Opener的open()方法打开链接，就可以完成验证了。这里获取到的结果就是验证后的页面源码内容。

        代理

        

        这里我们在本地搭建了一个代理，它运行在9743端口上。
        这里使用了ProxyHandler, 其参数是一一个字典，键名是协议类型(比如HTTP或者HTTPS等),键值是代理链接，可以添加多个代理。
        然后，利用这个Handler 及build_ opener()方法构造一个 Opener,之后发送请求即可。

        • 利用代码将网站的cookies获取下来

          

  2. error

     1. URLError

        打开一个不存在的页面，照理来说应该会报错，但是我们捕获了URLError这个异常，程序没有直接报错，而是输出了Not Found，这样通过如上操作，我们就可以避免程序异常终止，同时异常得到了有效处理。

        

     2. HTTPError

        是URLError的子类，专门用来处理HTTP请求错误。包含code、reason、Headers三个属性。

        先捕获子类的错误，再捕获父类的错误。

        

  3. parse

     1. urlparse()

        该方法可以实现URL的识别和分段。

        

        可以看到，返回结果是一个ParseResult类型的对象，它包含6个部分，分别是scheme、netloc、path、params、query和fragment。

        可以发现，urlparse()方法将其拆分成了6个部分。大体观察可以发现，解析时有特定的分隔符。比如，????/前面的就是scheme,代表协议;第一个/符号前面便是netloc,即域名，后面是path,即访问路径;分号;前面是params,代表参数;问号?后面是查询条件query,一般用作GET类型的URL;井号#后面是锚点，用于直接定位页面内部的下拉位置。
        所以，可以得出一个标准的链接格式，具体如下:
        scheme://netloc/path; params ?query#fragment
        一个标准的URL都会符合这个规则，利用urlparse()方法可以将它拆分开来。

        • urlparse()方法的API用法

          

     2. urlunparse()

        与urlparse()相对立。实现的是URL的构造。它接受的参数是一个可迭代对象，但是长度必须是6，否则会抛出参数数量不足或者过多的问题。

        

     3. urlsplit()

        和urlparse()方法相似。只不过它不再单独解析params这一部分，只返回5个结果，params会合并到path中。

        

        返回结果是SplitResult，它也是一个元组类型，既可以用属性获取值，也可以用索引来获取。

     4. urlunsplit()

        与urlunparse()类似，将链接各个部分组合成完整链接。传入的参数也是一个可迭代对象，例如列表、元组等，长度必须为5

        

     5. urljoin()

        urljoin()能轻松的实现链接的解析、拼合与生成，而不是前提的链接必须有特定长度且每一部分都要清晰分开。

        但是urljoin()它会分析链接，提取需要的部分合成新连接。

        

     6. urlencode()

        为了更方便的构造参数，先用字典来表示，要转化为URL的参数时，只需要调用该方法即可。

        

     7. parse_qs()

        如果我们有一串GET请求参数，利用parse_qs()方法，就可以将它转回字典。

        

     8. parse_qsl()

        它用于将参数转化为元组组成的列表。

        

     9. quote()

        该方法可以将内容转化为URL编码的格式

        

     10. unquote()

         进行URL解码

         

  4. robotparser

     • Robots协议

       Robots协议也称作爬虫协议、机器人协议，用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个加做robots.txt的文本文件，放在网站的根目录下。

       当搜索爬虫访问一个站点时，会先检查是否存在robots.txt，如果存在，会根据其中定义的爬取范围来爬取。

       

       这实现了对所有搜索爬虫只允许爬取public目录。与index.php、index.html、index.jsp放在一起。

     • 爬虫名称

       

     • robotparser

       使用robotparser模块来解析robots.txt。该模块提供了一个类RobotFileParser，它可以根据某网站的robots.txt文件来判断一个爬取爬虫是否有权限来爬取这个网页。只需要在构造方法里传入robots.txt的链接即可。

       

urllib库正式告一段落，接下来学习requests库，233333

• 在处理网页验证和Cookies时，需要写Opener和Handler来处理，不太方便，为了更加方便地实现这些操作，就有了更为强大的库requests,有了它，Cookies 、登录验证、代理设置等操作都不是事儿。

requests

• GET请求

  • 基本实例

  

  如果想直接解析返回结果，得到一个字典格式的话，可以直接调用json()方法，就可以将返回结果是JSON格式的字符串转化为字典。

  

  • 抓取网页

    需要加入headers信息，其中包含了User-Agent字段信息，也就是浏览器标示信息，如果不加这个，知乎会禁止抓取。

    

    

  • 抓取二进制数据

    以GitHub的站点图标为例

    

    前两行是r.text，最后一行是r.content，结果会乱码。

    

    但是可以将提取出来的图片保存下来

    

    运行结束，会在文件夹中出现名为favicon.ico的图标。

  • 添加headers

    如果不传递headers，就不能正常请求

    

    但如果加上headers并加上User-Agent信息，就没问题了。

    

    

• POST请求

  

  

  其中form部分就是提交的数据，这就证明POST请求成功发送了。

• 响应

  

  

  输出status_ code 属性得到状态码，输出headers 属性得到响应头，输出cookies属性得到Cookies,输出url属性得到URL,输出history属性得到请求历史。

  

• 高级用法

  基本用法：GET、POST请求以及Response对象。

  高级用法：文件上传、Cookies设置、代理设置等。

  1. 文件上传

     须注意：favicon.ico需要和当前脚本在同一目录下。

     

     

  2. Cookies

     

     

     也可以复制Chrome里的cookies到Headers里，来维持登陆状态。

     

     会发现结果中包含了登陆后的结果，证明登陆成功。

     

     也可以设置cookies参数，不过相对繁琐。

     

  3. 会话维持

     利用Session,可以做到模拟同一个会话而不用担心Cookies的问题。它通常用于模拟登录成功之后再进行下一步的操作。Session在平常用得非常广泛，可以用于模拟在一个浏览器中打开同一站点的不同页面。

     在requests中，如果直接利用get()或post()等方法的确可以做到模拟网页的请求，但是这实际上是相当于不同的会话，也就是说相当于你用了两个浏览器打开了不同的页面。
     设想这样一个场景，第一个请求利用post()方法登录了某个网站，第二次想获取成功登录后的自己的个人信息，你又用了一次get()方法去请求个人信息页面。实际上,这相当于打开了两个浏览器，是两个完全不相关的会话，能成功获取个人信息吗?那当然不能。
     有小伙伴可能说了,我在两次请求时设置一样的cookies不就行了?可以，但这样做起来显得很烦琐，我们有更简单的解决方法。
     其实解决这个问题的主要方法就是维持同一个会话，也就是相当于打开一个新的浏览器选项卡而不是新开一一个浏览器。但是我又不想每次设置cookies,那该怎么办呢?这时候就有了新的利器-Session 对象。利用它，我们可以方便地维护一一个会话，而且不用担心cookies的问题，它会帮我们自动处理好。

     

     

  4. SSL证书验证

     12306的证书会出现验证错误，因为默认verify是True，会自动验证，把它设置为false即可。

     

  5. 代理设置

     对于某些网站，在测试的时候请求几次，能正常获取内容。但是一-旦开始大规模爬取，对于大规模且频繁的请求，网站可能会弹出验证码，或者跳转到登录认证页面，更甚者可能会直接封禁客户端的IP,导致-定时间段内无法访问。那么，为了防止这种情况发生，我们需要设置代理来解决这个问题，这就需要用到proxies参数。

  6. 超时设置

     在本机网络状况不好或者服务器网络响应太慢甚至无响应时,我们可能会等待特别久的时间才可能收到响应，甚至到最后收不到响应而报错。为了防止服务器不能及时响应,应该设置一个超时时间，即超过了这个时间还没有得到响应，那就报错。这需要用到timeout参数。这个时间的计算是发出请求到服务器返回响应的时间。

     

  7. 身份认证

     requests自带的身份认证功能。

     

     当然还有其他的认证方式，此处略。

  8. Prepared Request

• requests的官方文档：http://docs.python-requests.org/

• 终于要开始学习正则表达式了，23333

正则表达式：也就是用一定的规则将特定的文本提取出来。

• eg：匹配一个正则表达式 [a-zA-z]+://[^\s]*

• 正则表达式常用的匹配规则

  

  Python的re库提供了整个正则表达式的实现。在Python中写正则表达式几乎都用这个库。

• match

  第一个参数传入要匹配的正则表达式，第二个参数传入要匹配的字符串。

  match()方法会从字符串的起始位置匹配正则表达式，如果成功则返回结果；否则返回None。

  

  • 示例中正则表达式解析

    ^Hello\s\d\d\d\s\d{4}\s\W{10}
    用它来匹配这个长字符串。开头的^是匹配字符串的开头，也就是以Hello开头;然后\s匹配空白字符，用来匹配目标字符串的空格; \d 匹配数字，3个\d匹配123;然后再写1个\s匹配空格;后面还有4567,我们其实可以依然用4个\d来匹配，但是这么写比较烦琐，所以后面可以跟{4}以代表匹配前面的规则4次，也就是匹配4个数字;然后后面再紧接1个空白字符，最后\W{10}匹配10个字
    母及下划线。我们注意到，这里其实并没有把目标字符串匹配完，不过这样依然可以进行匹配，只不过匹配结果短一点而已。

  • SRE_Match对象，证明匹配成功。

    该对象有两个方法：gropu()方法可以输出匹配到的内容，结果是Hello 123 4567 World_This

    span()方法可以输出匹配的范围，结果是（0，25），是结果字符串在原字符串中的位置范围。

• 正则表达式——匹配目标

  如果想从字符串中提取一部分内容，可以使用()括号将想提取的子字符串括起来。()实际上标记了一个子表达式的开始和结束位置，被标记的每个子表达式会依次对应每一个分组， 调用group()方法传入分组的索引即可获取提取的结果。

  

  

• 正则表达式——通用匹配

  .*（点星）（点）可以匹配任意字符（除换行符）。（星）代表匹配前面的字符无限次，所以它们组合在一起就可以匹配任意字符了，最后加一个结尾字符串就好了。

  

  

• 正则表达式——贪婪与非贪婪

  • 贪婪：.*

  • 非贪婪：.*?

  在做匹配的时候，字符串中间尽量使用非贪婪匹配，即.*?，以免出现匹配结果缺失的请况。

  如果匹配的结果在字符串结果，.*?就有可能匹配不到任何内容了，因为它会匹配尽可能少的字符。（P156）

• 正则表达式——修饰符

  当要匹配的字符串有换行符的时候，就匹配不到结果了，只需要在末尾加一个re.S，即可修正这个错误。

  这个re.S在网页匹配中经常用到。因为HTML节点经常会有换行，加上它，就可以匹配节点与节点之间的换行了。

  

  

• 正则表达式——转义字符

  如果要匹配的字符串里本身就有.，就需要使用转义匹配了，在前面加反斜线转义一下即可。

  

  

• 正则表达式——search()

  match()方法是从字符串的开头开始匹配的，一旦开头不匹配，那么整个匹配就失败了。所以这时就可以使用另外一个方法search()方法，它在匹配时会扫描整个字符串，然后返回第一个成功匹配的结果。

  因此，为了匹配方便，我们可以尽量使用search()方法。

  

  • 正则表达式Demo

  

  要提取class="active"里的singer和歌名

  

• 正则表达式——findall()

  如果只是获取第一个内容，可以用search()方法，当需要提取多个内容时，可以用findall()方法，返回的列表中的每个元素多事元组类型。

  

  

• 正则表达式——sub()

  除了使用正则表达式提取信息外，还需要借助它来修改文本。

  第一个参数是正则表达式，第二个参数是要替换的字符串，第三个参数是原字符串。

  

• 正则表达式——compile()

  这个方法可以将正则字符串编译成正则表达式对象，以便在后面的匹配中复用。

  想将3个日期中的时间去掉，可以借助sub()方法，此时可以借助compile()方法将正则表达式编译成一个正则表达式对象，以便复用。

  

  

3.4 抓取猫眼电影排行

• 思路：网址为https://maoyan.com/board/4，点开第二页为https://maoyan.com/board/4?offset=10，由此可以总结出规律,offset代表偏移量值,如果偏移量为n,则显示的电影序号就是n+1到n+10,每页显示10个。所以，如果想获取TOP100电影，只需要分开请求10次，而10次的offset参数分别设置为0、10、20…90即可，这样获取不同的页面之后，再用正则表达式提取出相关信息，就可以得到TOP100的所有电影信息了。

• 一个正则表达式可以匹配一个电影的结果，里面匹配了7个信息。用findall()方法提取出所有的内容。

• ① 本节目标。 ② 安装依赖库。 ③ 抓取分析。 ④ 抓取首页。 ⑤ 正则提取。 ⑥ 写入文件。 ⑦ 整合代码。 ⑧ 分页爬取。 ⑨ 运行结果。

  '''
  抓取猫眼电影排行
  '''
  import requests
  import json
  from requests.exceptions import RequestException
  import re
  import time
  
  # 抓取首页
  def get_one_page(url):
      try:
          headers = {
          'User-Agent': 'Mozilla/5.0(Macintosh; Inter Mac OS X 10_13_3) AppleWebKit/537.36(KHTML, like Gecko) Chrome/65.0.3323.162. Safari/537.36'
          }
          response = requests.get(url, headers=headers)
          if response.status_code == 200:
              return response.text
          return None
      except RequestException:
          return None
          
  def parse_one_page(html):
      pattern = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>', re.S)
      items = re.findall(pattern, html)
      for item in items:
          yield {
              'index':item[0],
              'image':item[1],
              'title':item[2].strip(),
              'actor':item[3].strip()[3:],
              'time':item[4].strip()[5:],
              'score':item[5] + item[6]
          }
      
  def write_to_file(content):
      with open('MaoYanTop100.txt', 'a', encoding='utf-8') as f:
          f.write(json.dumps(content, ensure_ascii=False)+'\n')
          
  def main(offset):
      url = 'http://maoyan.com/board/4?offset=' + str(offset)
      html = get_one_page(url)
      for item in parse_one_page(html):
          print(item)
          write_to_file(item)
  
  if __name__ == '__main__':
      for i in range(10):
          main(offset=i * 10)
          time.sleep(1)