纯小白Python爬取东方财富网研报内容并通过机器学习的SVM模型进行文本分析(二)

上文介绍了基本爬虫的一些工作内容和原理和urllib.request库和Requests库,但是我此时还没有开始真正的爬取,在学习完上述内容后,我看了《Python网络数据采集》这本书,了解了正则表达式等内容,同时发现了更好用的几个库,首先是Beautifulsoup这个库。我先把这个库的基本内容放上来,以下是我在挺崔庆才老师讲课的时候留下的学习笔记,直接复制了
Beautifulsoup:灵活又方便的网页解析库,处理高效,支持多种解释器,利用它可以不编写正则表达式来实现网页信息抓取
纯小白Python爬取东方财富网研报内容并通过机器学习的SVM模型进行文本分析(二)
在学习完Beautifulsoup之后,我正式开始了爬取研报,但是所有的都可以爬到,唯独研报的那个链接爬不到,我搜索了很多资料才意识到,网页分为静态网页和动态渲染网页,Beautifulsoup只能抓取静态网页,而对于动态网页抓取,我学习了Selenium这个库纯小白Python爬取东方财富网研报内容并通过机器学习的SVM模型进行文本分析(二)
在使用这个库的时候,需要环境配置,最暴力的方法放在了图片开头,简单实用。
学习到这里,基本就可以进行爬取了,后面一节我会讲一下一些我遇到的额外内容,有兴趣可以看一下。