requests和BeautifulSoup一些细节

requests

  • requests得到的内容如果是json格式可以直接使用.json方法获取json串。
  • requests的post方法可以发送data同时也可以发送json。

BeautifulSoup

  • 对于如下图的结构
    requests和BeautifulSoup一些细节
    可以看到最外层的ul下面是由多个li标签组成,而li标签里面又有多个li标签,如果想拿到所有的最外层li,可以使用find_all,但是需要加recursive=False参数,否则会拿到所有的li。
  • 对于一个父节点father而言,可以使用for child in father:的方法对father的直接子节点遍历。