Python3爬虫从零开始:库的安装
抓取网页之后下一步就是从网页中提取信息。提取方式有很多种,可以利用正则表达式进行提请,但是相对而言比较麻烦繁琐。现在有很多强大的解析库供我们使用,如lxml,Beautiful Soupp,pyquery等。本节对其安装进行介绍。
lxml的安装
lxml支持HTML和XML的解析,支持XPath解析方式。
在Windos下直接利用pip安装,执行命令行命令:
pip3 install lxml
Beautiful Soup的安装
Beautiful Suop是Python的一个HTML或XML的解析库,我们可以用它来方便地从网页中提取数据。它的HTML和XML解析器是依赖于lxml库的,所以在此之前需要确保已经成功安装好了lxml库。
依旧是pip安装:
pip3 install beautifulsoup4
pyquery的安装
pyquery提供了和jQuery类似的语法来解析HTML文档,支持CSS选择器。
pip3 install pyquery
tesserocr的安装
爬虫过程中难免遇到各种各样的验证码,而大多数验证码还是图形验证码,这时候可以用OCR(Optical Character Recognition)来识别。
tesserocr是Python的一个OCR识别库,但其实是对tesseract坐的一层Python API封装,所以它的核心是tesseract。因此,在此之前需要安装tesseract。
tesseract下载地址:https://digi.bib.uni-mannheim.de/tesseract/
文件名中带dev的为开发版本,不带的为稳定版本。这里我下载了不带dev的3.05版本。
下载好后勾选上Additional language data(download)选项来安装OCR识别语言的支持包。其他的一路Next就OK。
最后,安装tesserocr即可:
pip3 install tesserocr pillow
安装好的各种库,最后在python目录下\Lib\site-packages中可以查看到。
Mysql的安装
这里安装Mysql参照教程:https://blog.csdn.net/qq_37350706/article/details/81707862