js注入+chrome插件爬虫

转载请注明原创

 本例以http://www.biqugexsw.com/30_30505/为例

 页面如下

  

 

（1）什么是js注入

   首先观察控制台例子的控制台，发现所有的链接在.linsmain下

   

   在console.log下输入

Var s=$(".listmain a");

for(var i=0;i<s.length;i++){console.log($(s[i]).attr("href"))}

便能获得所有链接

这就是简单的js注入

（2）python爬虫

  Python简单便捷为爬虫首选语言

  爬取（1）中的内容并用正则表达式处理

 

开始爬取单章内容，以http://www.biqugexsw.com/30_30505/13935714.html

为例

 

在观察

http://www.biqugexsw.com/30_30505/13935714.html

的控制台

 

对比之后发现因为这个网站做过反爬虫处理，具体的小说文字被隐藏，关于如何做反反爬虫处理有很多方法，以下只说其中的js注入反反爬虫处理

（3）反反爬虫

在这之前需要理清一下思路

第一现在需要的是控制台底下的这些源码利用console.log注入js可以获取

第二将获取的文字存储到本地，js很难实现这样的功能，那么需要一种可以存储文件的语言，php，python，java都可以，本例以java为例子

第三js如何和java通信，以把获得到的文字发个java，java进行存储

本例以ajax为例

第一已经实现，第二需要建立一个web项目

 

将js获得文字ajax发给java

var vals=$("#content").text();

var names=$(".content h1").text();

$.ajax({

type:"POST",

url:"http://localhost:8080/jjs/index",

data:{"va":vals,"names":names},

success:function(es){}

});

再在java里获得

 

如何将字符存储为txt自行百度

（4）批量注入

经过（3）已经可以单张小说爬下来，但是一个小说有很多章，不可能打开一个页面console注入一下，所以要批量注入，批量注入需要解决的问题

第一需要打开不同的页面获取不同的内容然后发个java存储

第二打开的页面较多，会导致浏览器卡死

解决第一个问题需要引入一个工具，浏览器插件（chrome）

在chrome浏览器输入

chrome://extensions/

会进入插件页面，本例以360极速浏览器为例

 

浏览器插件开发请转

http://open.chrome.360.cn/extension_dev/devtools.html

新建一个目录如下

 

manifest.json：

 

Content_script属性为注入配置

Matches为访问哪些链接时注入

Js为注入的文件，注入了jq和ch.js

Ch.js这里写打开页面所做的操作

 

发送本界面的文字，并在两秒后关闭

1. html 主程序入口，批量打开链接

 

需要导入批量打开的链接fileList.txt

 

fileList.txt中内容为单章的链接，利用定时器2s打开一个页面

fileList.txt可用python生成

 

插件开发完毕之后，在浏览器安装本插件

 

选择加载已解压的扩展程序，选择插件文件，就将插件安装成功了

打开1.html，加载fileList.txt，点击开始

 

每2s弹出一个窗口此时会发送ajax请求

 

Java会将存储为文件

 

（5）集中批量发送请求是一种网络攻击行为，慎用