提取网页中动态加载的内容
在ywbd网站上爬取指定关键字内容。
网页源代码与用chrome审查内容不同，查看网页源代码，发现浏览器对源代码动态渲染加载过得到我们所见的网页。与很多爬虫教学视频不同，这个网址有以下几个问题：
1、查找后左边这个文件的response中有我需要的网址，但是他每次的callback都不相同。
2、左边这个文件headers中的URL我用浏览器打不开，提取出该字段也没用。 ———————————————————————————————————————— 解决办法 1、采用selenium动态加载网页内容并提取出所需要的网址。 参考网址http://www.jsphp.net/python/show-24-270-1.html
http://www.jsphp.net/python/show-24-270-1.html
2、执行源代码中的脚本程序
https://www.zhihu.com/question/64414811/answer/294149258执行脚本程序
。最后得到动态加载后的文本text内容，采用正则表达式
pattern="http[\\s\\S]*?htm"
提取出网页。