python爬虫——提取抓取内容（5）XPath的简单使用
一.XML基本概念
1.XML是什么?
- XML 指可扩展标记语言（EXtensible Markup Language）
- XML 是一种标记语言，很类似 HTML
- XML 的设计宗旨是传输数据，而非显示数据
- XML 标签没有被预定义。您需要自行定义标签。
- XML 被设计为具有自我描述性。
- XML 是 W3C 的推荐标准
2.XML 与 HTML 的主要差异
- XML 不是 HTML 的替代。
- XML 和 HTML 为不同的目的而设计：
- XML 被设计为传输和存储数据，其焦点是数据的内容。
- HTML 被设计用来显示数据，其焦点是数据的外观。
- HTML 旨在显示信息，而 XML 旨在传输信息
内容参考：https://www.w3school.com.cn/xml/index.asp
二.XPthon基本概念
1.XPath是什么？
XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。
- XPath 使用路径表达式在 XML 文档中进行导航
- XPath 包含一个标准函数库
- XPath 是 XSLT 中的主要元素
- XPath 是一个 W3C 标准
2.XPath节点
在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档节点（或称为根节点）。
我主要学习前三种：元素，属性，文本
3.节点关系
- 父（Parent）
每个元素以及属性都有一个父。
- 子（Children）
元素节点可有零个、一个或多个子。
- 同胞（Sibling）
拥有相同的父的节点
- 先辈（Ancestor）
某节点的父、父的父，等等。
- 后代（Descendant）
某个节点的子，子的子，等等。
4.选取节点
XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。
下面列出了常用的路径表达式：
| 表达式 | 描述 |
|---|---|
| nodename | 选取此节点的所有子节点 |
| / | 从根节点选取 |
| // | 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置 |
| ./ | 从当前节点开始向下查找 |
| . . | 选取当前节点的父节点 |
| @ | 选取属性 |
5.谓语（Predicates）
- 谓语用来查找某个特定的节点或者包含某个指定的值的节点。
- 谓语被嵌在方括号中。
| 路径表达式 | 结果 |
|---|---|
| /bookstore/book[1] | 选取属于 bookstore 子元素的第一个 book 元素。 |
| /bookstore/book[last()] | 选取属于 bookstore 子元素的最后一个 book 元素。 |
| /bookstore/book[last()-1] | 选取属于 bookstore 子元素的倒数第二个 book 元素。 |
| /bookstore/book[position()< 3] | 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。 |
| //title[@lang] | 选取所有拥有名为 lang 的属性的 title 元素。 |
| //title[@lang=‘eng’] | 选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。 |
6.选取未知节点
- XPath 通配符可用来选取未知的 XML 元素。
| 通配符 | 描述 |
|---|---|
| * | 匹配任何元素节点。 |
| @* | 匹配任何属性节点。 |
| node() | 匹配任何类型的节点。 |
内容参考：https://www.w3school.com.cn/xpath/xpath_syntax.asp
三.安装谷歌浏览器插件
网盘地址：链接：https://pan.baidu.com/s/1hGgbvfdTeZfR0oBn3p_2QA
提取码：kw68
- 1).在chrome右上角找到选项–》更多工具–》扩展程序。把crx文件拖拽，即可安装， 如果安装成功右上角都会有一个小叉叉。
- 2).如果安装失败，则打开开发者模式，再次拖拽安装。
- 3）.如果2）也失败，请将crx文件后缀修改为rar解压，点击开发者模式的 加载已解压的扩展程序，选择解压后的文件夹，点击确定
如果安装成功右上角都会有一个小叉叉
点击小叉叉会有黑框出现
测试：
查询前后对比：
四.XPath的简单使用
1.属性定位
1.1匹配搜索的文本框： //input[@id="kw"]
1.2匹配‘“百度一下”，要把属性值写全：//input[@class="btn self-btn bg s_btn"]
2.层级定位和索引定位结合使用（索引从1开始）
1.1匹配‘百度首页’：
先匹配：//div[@id="head"]节点
再匹配第五个div标签：//div[@id="head"]/div[5]
再匹配上一个标签下的第二div标签：//div[@id="head"]/div[5]/div[2]最后匹配上一个标签下的第第一个a标签：
//div[@id="head"]/div[5]/div[2]/a[1]
还有很多种表示方法，这里就不一一列举了。
3.逻辑运算
1.1 找出图中的文本框(如果一个条件不足以找出则可以用and再连接一个条件)：input[@class="s_ipt" and @name="wd"]
4.模糊匹配
1.1contains函数
(1)匹配图中的文本框：//input[contains(@class,"s")] 所有的input，有class属性，并且属性中带有s的节点
1.2starts-with函数
匹配图中的文本框：//input[starts-with(@class,"s")]所有的input，有class属性，并且属性以s开头