请求Javascript修改的源代码请求

问题描述:

如果已经问过这个问题,表示歉意但是从我的研究来看,在这种情况下没有关于使用请求的问题。请求Javascript修改的源代码请求

我试图访问的HTML页面是使用Javascript,许多元素是从不同的Javascript静态文件创建/添加。 Chrome的inspect元素提供了最终的正确HTML,但requests.get只返回不受任何静态文件影响的HTML:requests.get("https://website.com").text

有没有什么方法可以在执行Javascript后加载网页HTML?我试图避免Selenium性能较慢。

+2

您需要在某些无头驱动程序中执行JS代码才能获得最终的HTML,但在请求库本身中无法获得此代码 –

+1

您也可以尝试发送假冒为旧浏览器的头文件,网站以简化的脚本迎合他们。 – Artyer

+1

如果你想运行js,恐怕你无法避免使用'Selenium'。也许你可以使用ajax api(检查xhr流量)或'反向'js。如果你分享的网址,我可以看看。 –

使用请求,你只能得到URL指定的资源(在你的案例中是'text/html')。要解决所有依赖关系,请尝试使用Jsdom包(https://www.npmjs.com/package/jsdom)。

+0

我很抱歉,但我没有使用node.js,是否有任何已知的替代python? – ShellRox