网络编程(三)URL爬虫原理
URL和URI的概念
URI(Uniform resource identifier)统一资源标识符,用来唯一的标识一个资源
URL(Uniform resource Locator)统一资源定位符,他是一种具体的URI
统一资源定位符,由四部分组成:协议、存放资源的主机域名、端口号和资源文件名
URL是指向互联网 资源 的指针
资源可以是简单的目录或文件,也可以是对更为复杂对象的引用,例如对数据库或搜索引擎的查询
URL的构建
常用的为:
URL(URL context, String spec) //相对路径构建
一个例子:
public static void main(String[] args) throws MalformedURLException {
/**
* URL组成 协议、存放资源的主机域名、端口号和资源文件名
* http 协议 www.baidu.com:80 主机域名 80端口 index.jsp资源
*/
//绝对路径创建
URL url1 = new URL("http://www.baidu.com:80/index.jsp");
System.out.println(url1.toString());
//相对路径创建
URL url = new URL("http://www.baidu.com:80");
URL url2 = new URL(url,"/login.html");
System.out.println(url2.toString());
}
输出:
http://www.baidu.com:80/index.jsp
http://www.baidu.com:80/login.html
URL的常用方法
另一个例子:
public static void main(String[] args) throws MalformedURLException {
//绝对路径创建
URL url = new URL("http://www.baidu.com:80/index.jsp#aa?dmcId=1");
System.out.println(url.toString());
System.out.println("协议:" + url.getProtocol());
System.out.println("主机名:" + url.getHost());
System.out.println("端口:" + url.getPort());
System.out.println("资源:" + url.getFile());
System.out.println("相对路径资源:" + url.getPath());
System.out.println("锚点:" + url.getRef()); //锚点 #aa
System.out.println("有锚点时参数:" + url.getQuery()); //存在锚点返回null 不存在锚点返回参数
url = new URL("http://www.baidu.com:80/index.jsp?dmcId=1");
System.out.println("无锚点时参数:" + url.getQuery());
}
输出:
http://www.baidu.com:80/index.jsp#aa?dmcId=1
协议:http
主机名:www.baidu.com
端口:80
资源:/index.jsp
相对路径资源:/index.jsp
锚点:aa?dmcId=1
有锚点时参数:null
无锚点时参数:dmcId=1
利用URL进行文件读取
URL url = new URL("http://www.baidu.com");
InputStream is = url.openStream();
//用UTF-8进行解码
BufferedReader reader = new BufferedReader(
new InputStreamReader(is,"utf-8"));
String msg = null;
while(null != (msg = reader.readLine())){
System.out.println(msg);
}
reader.close();
}
输出:百度首页的源码
将结果存储到本地
public static void readrUrl() throws Exception{
URL url = new URL("http://www.baidu.com");
InputStream is = url.openStream();
File file = new File("d:\\baidu.html");
FileOutputStream os = new FileOutputStream(file);
//用UTF-8进行解码
BufferedReader reader = new BufferedReader(
new InputStreamReader(is,"utf-8"));
BufferedWriter bw = new BufferedWriter(
new OutputStreamWriter(os,"utf-8"));
String msg = null;
while(null != (msg = reader.readLine())){
bw.append(msg);
bw.newLine();
}
bw.flush();
bw.close();
reader.close();
}
自学笔记,多有不足!!!!