超简单Python爬取当当网图书排行信息

本文使用 Requests 库和 Python 爬取当当网图书畅销榜，
难点是正则表达式的选取。

• match：从首字母开始匹配，string 如果包含 pattern 子串，则匹配成功，返回 Match 对象，失败则返回 None，若要完全匹配，pattern 要以 $ 结尾。
• search：匹配整个字符串，若 string 中包含 pattern 子串，则返回 Match 对象，否则返回 None，如果string中存在多个 pattern 子串，只返回第一个。
• findall：匹配整个字符串，返回 string 中所有与 pattern 相匹配的全部字串，返回形式为列表，若没有匹配则返回空列表。

view-source:http://bang.dangdang.com/books/bestsellers/1-1

import requests
import re
import json


def main(page):
    url = 'http://bang.dangdang.com/books/fivestars/1-' + str(page)
    html = request_dandan(url)
    items = parse_result(html)

    for item in items:
        write_item_to_file(item)


def request_dandan(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
    except requests.RequestException:
        return None


def parse_result(html):
    pattern = re.compile('<li>.*?list_num.*?(\d+).</div>.*?<img src="(.*?)".*?class="name".*?title="(.*?)">.*?class="star">.*?class="tuijian">(.*?)</span>.*?class="publisher_info">.*?target="_blank">(.*?)</a>.*?class="biaosheng">.*?<span>(.*?)</span></div>.*?<p><span\sclass="price_n">&yen;(.*?)</span>.*?</li>',re.S)
    items = re.findall(pattern,html)
    for item in items:
        yield {
            'range': item[0],
            'iamge': item[1],
            'title': item[2],
            'recommend': item[3],
            'author': item[4],
            'times': item[5],
            'price': item[6]
        }


def write_item_to_file(item):
    print('开始写入数据 ===> ' + str(item))
    with open('book.txt', 'a', encoding='UTF-8') as f:
        f.write(json.dumps(item, ensure_ascii=False) + '\n')


if __name__ == '__main__':
    for i in range(1, 26):
        main(i)