requests、beautifulsoup爬取页面总结

requests-BeautifulSoup-re
**************************************************

-------------------选择器----------------------
<html>.css('a::attr(href)').extract()

print('a::href="http://blog.****.net/qq_33993724" ') #引号括起来
----
<tag>(..)等价于 <tag>.find_all(..)

print('<a>(href="http://blog.****.net/qq_33993724")') #引号括起来

soup(..)等价于 soup.find_all(..)

print(soup("a")[:3])

soup.find_all(string = "basic ") #全文搜索 basic关键字

for tag in soup.find_all(True): #打印所以标签
print(tag.name)
----------------正则表达式----------------
rst = re.search(r'[1-9]\d{5}','BIT 100081') #筛选邮编地址
等价于：
pat = re.compile(r'[1-9]\d{5}')
rst = pat.search('BIT 100081')

------

.group的编号：
编号为0的group，始终代表匹配的整个字符串；
你在正则表达式内所看到的，通过括号括起来的group，编号分别对应着1,2,3，…

-----------经典例子-------------
try:
    kv = {"User-Agent":"Mozilla/5.0"} #指定headers
    r = requests.get(url,timeout=30,headers=kv)
    r.raise_for_status() #不是200，抛出异常
    r.encoding = r.apparent_encoding #判断页面编码
except:
    print("failed")

print(r.request.url)
print(r.status_code)
print(r.encoding)
print(r.apparent_encoding)
print(r.headers)
print(r.text[：300]) #r.text字符串类型,字符串截取

soup = BeautifulSoup(r.text,"html.parser")
print(soup) #soup类型：<class 'bs4.BeautifulSoup'>
print(soup.find("div"))