Http请求返回只是一个HTML注释
问题描述:
我用下面的代码,使我的客户的网站的请求(http://unionmangas.com/leitor/Kuroko_no_Basket/275):Http请求返回只是一个HTML注释
Document document = Jsoup.connect(url).get();
Elements pageElements = document.select("div.item > img.img-responsive");
但是我从get()
得到的唯一回应是:
<!--bool(false)
-->
如果我使用Postman(Chrome应用程序)这样的工具,结果是一样的。我如何获取打开使用浏览器时呈现的HTML?
答
的user agent
字符串添加到您的请求(我使用FF,但你应该使用相同的字符串作为自己的浏览器) -
Document document = Jsoup.connect(url)
.userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0")
.get();
现在document.html()
包含页面的HTML
。
我已经尝试使用适用于Android用户代理的Chrome浏览器以及您的用户代理。我得到的全部是'
' –那很奇怪。在'get'声明后,我做了'System.out.println(document.html());'并获得了整个页面。它开始是这样的 -
? 但它继续 - meta charset =“utf-8”> 等等上... – TDG