这周除了备战二级口译之外，阅读并实践了下崔神的《Python3网络爬虫开发实战》，试了下猫眼的排行榜数据和头条街拍图片的抓取和保存，充分感受到了python大法的强悍之处。作为一名python小小白和入坑区块链两年半的小韭菜，出于好奇心爬了下CoinMarketCap上的历史记录，代码虽短，情深可长，保存在****上，说不定以后的以后用得上哈哈哈~之后如果学了数据分析，会把爬出来的数据拿来练习练习！

提醒，要导入的包如下（要记得安装连接MongoDB吼吼）：

import random #用于生成随机数
import time #用于打印系统时间
from pyquery import PyQuery as pq #用于解析提取所需数据
import requests #用于获取网页源码
from fake_useragent import UserAgent #用于随机生成user-agent
from openpyxl import workbook  # 写入Excel表所用
from openpyxl import load_workbook  # 读取Excel表所用
import os #用于指定保存路径
import re #用于提取信息
import pymongo #用于保存数据到mongodb中

第一步：抓“历史记录”主页的核心内容——日期

每页数据的url规律是https://coinmarketcap.com/zh/historical/+日期，比如2019年3月3日的数据页url是https://coinmarketcap.com/zh/historical/20190303/，因此，我们需要到“历史记录”页面拿到日期列表。

01.获取网页源代码

def get_one_page(url): #参数为"历史记录"主页的url链接
    #为了不轻易被网站管理人员发现是爬虫，就伪装user-agent，模拟真实的浏览器去抓服务器响应的内容
    ua = UserAgent()
    headers = {"User-Agent": ua.random}
    #构造请求头并得到服务器响应结果
    response=requests.get(url,headers=headers)
    #如果响应结果的状态码为200，说明正常访问，否则返回none
    if response.status_code==200:
        #返回响应内容，即网页源代码
        return  response.text #
    return None

02.观察源代码并获取所需数据

可以发现，我们所需要的日期数据就在row节点下的href的属性值中，只要获取到href再提取下数据就可以拿到日期了。

def getUrlData(html):
    #记得导入pyquery库
    doc = pq(html)
    #定位到row节点的a标签
    page = doc('.row a')
    #遍历提取href属性值，并添加到hisdate列表中
    hisdate=[]
    for data in page.items():
        date=data.attr('href')
        hisdate.append(date)

    return hisdate

#清洗日期数据，获得读取数据的日期
def cleanUrlData(list):
    #定义一个空列表用于存放清洗后的干净数据
    clurldata=[]
    #遍历找到任何符合以/zh/historical/开头的字符串，然后去掉所有非数字，留下的数字便是我们要的数据
    for data in list:
        if data.startswith('/zh/historical/'):
            clurldata.append(re.sub("\D", "", data))
    return clurldata #获取到的干净数据可以存到文档中，之后直接读取文件就行，我比较懒，直接返回过去，使得每次运行的时候都要先到主页再去分页提取数据，不过，因为日期会更新，所以，看个人喜好啦

第二步:获取每页数据，观察并提取所需数据，清洗后保存

#获取每页数据，并保存
def getData(clurldata):
    #定义url的起始部分
    start_url='https://coinmarketcap.com/zh/historical/'
    #这里临时定义了一个temp列表，是因为运行过程中，因为访问频率经常被服务器禁了，没有去搞代理池的咕凉我于是只能出此下策，哪里被禁了就把日期改成最后搞定的那一天的日期，然后重新运行（比较傻的方法了吼吼吼）
    temp=clurldata[clurldata.index('20140803')+1:]
    #然后继续从被打断的部分开始抓
    for end_url in temp:
        #构造最后的html网页
        final_url=start_url+end_url
        #获得网页源码
        final_html=get_one_page(final_url)
        #因为发现每个数字货币的信息都是tr节点开始，因此node在之前全局变量定义：node='tr'
        doc = pq(final_html)
        page = doc.find(node)

        #想把数据分列保存在excel里，因此建立对应的列表，每读一页数据重置一次
        index = []
        symbol = []
        name = []
        marketcap = []
        price = []
        #因为越到后面，每页的数据量较多，实际分析用不上，就定义count，最多只获取前100的数字货币
        count=0
        #开始遍历提取这一页的每个数字货币的数据
        for data in page.items():
            dict = {}
            inx = data.find('.text-center').text() #排名
            syb = data.find('.currency-symbol.visible-xs').text() #数字货币简写
            nm = data.find('.currency-name-container.link-secondary').text()#数字货币名称
            mcap = re.sub(",", "", str(data.find('.no-wrap.market-cap.text-right').text())[1:])#首先去掉开头的美元符号$，再用re库去掉逗号（清洗数据）
            pri = re.sub(",", "", str(data.find('.price').text())[1:])#一样先去掉开头的美元符号$，再用re库去掉逗号（清洗数据）
            #一个个添加到列表中（用于excel保存）
            index.append(inx)
            symbol.append(syb)
            name.append(nm)
            marketcap.append(mcap)
            price.append(pri)
            #添加到字典中（用于MongoDB保存）
            dict['index'] = inx
            dict['symbol'] = syb
            dict['name'] = nm
            dict['marketcap'] = mcap
            dict['price'] = pri
            dict['date'] = end_url
            #取前100数据，太多分析价值不大
            count+=1
            if count==101:
                break

            # 一条一条地写进mongodb数据库中
            collection.insert_one(dict)
        print(end_url)

        #写进excel表格中
        wb = workbook.Workbook()  # 创建Excel对象
        ws = wb.active  # 获取当前正在操作的表对象
        # 写进excel
        for i in range(len(index)):
            ws.append([index[i], symbol[i], name[i], marketcap[i], price[i],end_url])
        #保存的路径和名称
        wb.save(data_path+os.path.sep+end_url+ '.xlsx')
        print(end_url,'excel success')

        #sleep下下，防止被禁，输出下时间，可以稍微了解下实际的随机等待时间
        print("Start : %s" % time.ctime())
        time.sleep(random.randint(15, 20))
        print("End : %s" % time.ctime())

酱紫就完成数据的抓取啦~有些地方写得比较笨吼吼~刚入门python一周的咕凉我很多用法还不太熟悉，希望有更好的解决方法的大神多多指教吼吼~去健身啦啦啦~春天到啦，要减肥啦~咕凉我要瘦瘦瘦！

附上完整代码：

import json
import random
import time
from pyquery import PyQuery as pq
import requests
from fake_useragent import UserAgent
from openpyxl import workbook  # 写入Excel表所用
from openpyxl import load_workbook  # 读取Excel表所用
import os
import re
import pymongo

client=pymongo.MongoClient(host='localhost',port=27017)
db=client.test
collection=db.coinmarketcap
hisdate=[]
node='tr' #目标信息所在节点
data_path= 'CoinMarketCap'+ os.path.sep +'excel'
#如果没有该路径，就自动生成对应文件夹
if not os.path.exists(data_path):
    os.makedirs(data_path)

def get_one_page(url): #参数为"历史记录"主页的url链接
    #为了不轻易被网站管理人员发现是爬虫，就伪装user-agent，模拟真实的浏览器去抓服务器响应的内容
    ua = UserAgent()
    headers = {"User-Agent": ua.random}
    #构造请求头并得到服务器响应结果
    response=requests.get(url,headers=headers)
    #如果响应结果的状态码为200，说明正常访问，否则返回none
    if response.status_code==200:
        #返回响应内容，即网页源代码
        return  response.text #
    return None

#获取后半截url数据
def getUrlData(html):
    #记得导入pyquery库
    doc = pq(html)
    #定位到row节点的a标签
    page = doc('.row a')
    #遍历提取href属性值，并添加到hisdate列表中
    for data in page.items():
        date=data.attr('href')
        hisdate.append(date)

    return hisdate

#清洗日期数据，获得后续读取数据的日期
def cleanUrlData(list):
    #定义一个空列表用于存放清洗后的干净数据
    clurldata=[]
    #遍历找到任何符合以/zh/historical/开头的字符串，然后去掉所有非数字，留下的数字便是我们要的数据
    for data in list:
        if data.startswith('/zh/historical/'):
            clurldata.append(re.sub("\D", "", data))
    return clurldata

#获取每页数据，并保存
def getData(clurldata):
    #定义url的起始部分
    start_url='https://coinmarketcap.com/zh/historical/'
    #这里临时定义了一个temp列表，是因为运行过程中，因为访问频率经常被服务器禁了，没有去搞代理池的咕凉我于是只能出此下策，哪里被禁了就把日期改成最后搞定的那一天的日期
    temp=clurldata[clurldata.index('20150118')+1:]
    #然后继续从被打断的部分开始抓
    for end_url in temp:
        #构造最后的html网页
        final_url=start_url+end_url
        #获得网页源码
        final_html=get_one_page(final_url)
        #因为发现每个数字货币的信息都是tr节点开始，因此node在之前全局变量定义：node='tr'
        doc = pq(final_html)
        page = doc.find(node)

        #想把数据分列保存在excel里，因此建立对应的列表，每读一页数据重置一次
        index = []
        symbol = []
        name = []
        marketcap = []
        price = []
        #因为越到后面，每页的数据量较多，实际分析用不上，就定义count，最多只获取前100的数字货币
        count=0
        #开始遍历提取这一页的每个数字货币的数据
        for data in page.items():
            dict = {}
            inx = data.find('.text-center').text() #排名
            syb = data.find('.currency-symbol.visible-xs').text() #数字货币简写
            nm = data.find('.currency-name-container.link-secondary').text()#数字货币名称
            mcap = re.sub(",", "", str(data.find('.no-wrap.market-cap.text-right').text())[1:])#首先去掉开头的美元符号$，再用re库去掉逗号（清洗数据）
            pri = re.sub(",", "", str(data.find('.price').text())[1:])#一样先去掉开头的美元符号$，再用re库去掉逗号（清洗数据）
            #一个个添加到列表中（用于excel保存）
            index.append(inx)
            symbol.append(syb)
            name.append(nm)
            marketcap.append(mcap)
            price.append(pri)
            #添加到字典中（用于MongoDB保存）
            dict['index'] = inx
            dict['symbol'] = syb
            dict['name'] = nm
            dict['marketcap'] = mcap
            dict['price'] = pri
            dict['date'] = end_url
            #取前100数据，太多分析价值不大
            count+=1
            if count==101:
                break

            # 一条一条地写进mongodb数据库中
            collection.insert_one(dict)
        print(end_url)

         #写进excel表格中
        wb = workbook.Workbook()  # 创建Excel对象
        ws = wb.active  # 获取当前正在操作的表对象
        # 写进excel
        for i in range(len(index)):
            ws.append([index[i], symbol[i], name[i], marketcap[i], price[i],end_url])

        wb.save(data_path+os.path.sep+end_url+ '.xlsx')
        print(end_url,'excel success')

        #sleep下下，防止被禁，输出下时间，可以稍微了解下实际的随机等待时间
        print("Start : %s" % time.ctime())
        time.sleep(random.randint(15, 20))
        print("End : %s" % time.ctime())



if __name__ == '__main__':
    url = 'https://coinmarketcap.com/zh/historical/'
    html = get_one_page(url)
    getData(cleanUrlData(getUrlData(html)))
    # print(html)