Java爬虫绕过爬虫限制
JavaNet可以 伪装成浏览器 进行访问网站 从而可以绕过爬虫限制
HttpConnection conn=(HttpConnection)url.openConnection();
conn.setRequestMethod("get/post");
conn.setRequestProperty(key,value) 如图UserAgent为key 后面的字符串为value
最后再通过io流 进行读取信息 分析信息，存储信息
JavaNet可以 伪装成浏览器 进行访问网站 从而可以绕过爬虫限制
HttpConnection conn=(HttpConnection)url.openConnection();
conn.setRequestMethod("get/post");
conn.setRequestProperty(key,value) 如图UserAgent为key 后面的字符串为value
最后再通过io流 进行读取信息 分析信息，存储信息