HTTP基础与DNS分析
1. http协议基础
(1) HTTP名词解释
Web 使用一种名为 HTTP(HyperText Transfer Protocol, 超文本传输协议)的协议作为规范, 完成从客户端到服务器端等一系列运作流程。 而协议是指规则的约定。可以说,Web是建立在HTTP 协议上通信的。
*HTTP 通常被译为超文本传输协议,但这种译法并不严谨。严谨的译名应该为“超文本转移协议”。
(2) 网络基础 TCP/IP
通常使用的网络(包括互联网) 是在 TCP/IP 协议族的基础上运作的。 而 HTTP 属于它内部的一个子集。a. TCP/IP 协议族
协议中存在各式各样的内容。从电缆的规格到IP地址的选定方法、寻找异地用户的方法、双方建立通信的顺序, 以及 Web 页面显示需要处理的步骤,等等。像这样把与互联网相关联的协议集合起来总称为 TCP/IP。也有说法认为,TCP/IP 是指 TCP 和 IP 这两种协议。还有一种说法认为,TCP/IP是在IP协议的通信过程中,使用到的协议族的统称。
b. TCP/IP 的分层管理
把 TCP/IP 层次化是有好处的。比如,如果互联网只由一个协议统筹,某个地方需要改变设计时,就必须把所有部分整体替换掉。而分层之后只需把变动的层替
掉即可。把各层之间的接口部分规划好之后,每个层次内部的设计就能够*改动了。
TCP/IP 协议族各层的作用如下:
应用层应用层决定了向用户提供应用服务时通信的活动。TCP/IP 协议族内预存了各类通用的应用服务。比如,FTP(FileTransfer Protocol,文件传输协议)和 DNS(Domain Name System,域名系统)服务就是其中两类。HTTP 协议也处于该层。
传输层
传输层对上层应用层,提供处于网络连接中的两台计算机之间的数据传输。在传输层有两个性质不同的协议:TCP(Transmission Control Protocol,传输控制协议)和 UDP(User Data Protocol,用户数据报协议)。
网络层(又名网络互连层)
网络层用来处理在网络上流动的数据包。数据包是网络传输的最小数据单位。该层规定了通过怎样的路径(所谓的传输路线)到达对方计算机,并把数据包传送给对方。与对方计算机之间通过多台计算机或网络设备进行传输时,网络层所起的作用就是在众多的选项内选择一条传输路线。链路层(又名数据链路层,网络接口层)
用来处理连接网络的硬件部分。包括控制操作系统、硬件的设备驱动、NIC(Network Interface Card,网络适配器,即网卡),及光纤等物理可见部分(还包括连接器等一切传输媒介)。硬件上的范畴均在链路层的作用范围之内。c. TCP/IP 通信传输流
利用 TCP/IP 协议族进行网络通信时,会通过分层顺序与对方进行通信。发送端从应用层往下走,接收端则往应用层往上走。如下图:图2
发送端在层与层之间传输数据时, 每经过一层时必定会被打上一个该层所属的首部信息。 反之, 接收端在层与层传输数据时, 每经过一层时会把对应的首部消去。
(3) 与HTTP关系密切的协议:IP、TCP和DNS
a. 负责传输的IP协议
按层次分,IP(Internet Protocol)网际协议位于网络层。 InternetProtocol这个名称可能听起来有点夸张, 但事实正是如此, 因为几乎所有使用网络的系统都会用到 IP 协议。 TCP/IP 协议族中的 IP 指的就是网际协议, 协议名称中占据了一半位置,其重要性可见一斑。 可能有人会把“IP”和“IP 地址”搞混, “IP”其实是一种协议的名称。
IP 协议的作用是把各种数据包传送给对方。 而要保证确实传送到对方那里, 则需要满足各类条件。 其中两个重要的条件是 IP 地址和 MAC地址(Media Access Control Address) 。IP 地址指明了节点被分配到的地址, MAC 地址是指网卡所属的固定地址。 IP 地址可以和 MAC 地址进行配对。 IP 地址可变换, 但 MAC地址基本上不会更改。
使用 ARP 协议凭借 MAC 地址进行通信IP 间的通信依赖 MAC 地址。 在网络上, 通信的双方在同一局域网(LAN) 内的情况是很少的, 通常是经过多台计算机和网络设备中转才能连接到对方。 而在进行中转时, 会利用下一站中转设备的 MAC地址来搜索下一个中转目标。 这时, 会采用 ARP 协议(AddressResolution Protocol) 。 ARP 是一种用以解析地址的协议, 根据通信方的 IP 地址就可以反查出对应的 MAC 地址。没有人能够全面掌握互联网中的传输状况在到达通信目标前的中转过程中, 那些计算机和路由器等网络设备只能获悉很粗略的传输路线。
这种机制称为路由选择(routing) , 有点像快递公司的送货过程。 想要寄快递的人, 只要将自己的货物送到集散中心, 就可以知道快递公司是否肯收件发货, 该快递公司的集散中心检查货物的送达地址, 明确下站该送往哪个区域的集散中心。 接着, 那个区域的集散中心自会判断是否能送到对方的家中。
b. 确保可靠性的 TCP 协议
按层次分, TCP 位于传输层, 提供可靠的字节流服务。所谓的字节流服务(Byte Stream Service) 是指, 为了方便传输, 将大块数据分割成以报文段(segment) 为单位的数据包进行管理。 而可靠的传输服务是指, 能够把数据准确可靠地传给对方。 一言以蔽之,TCP 协议为了更容易传送大数据才把数据分割, 而且 TCP 协议能够确认数据最终是否送达到对方。确保数据能到达目标
为了准确无误地将数据送达目标处, TCP 协议采用了三次握手(three-way handshaking) 策略。 用 TCP 协议把数据包送出去后, TCP不会对传送后的情况置之不理, 它一定会向对方确认是否成功送达。21握手过程中使用了 TCP 的标志(flag) —— SYN(synchronize) 和ACK(acknowledgement)。详情可以查看文章。
c. 负责域名解析的 DNS 服务
DNS(Domain Name System) 服务是和 HTTP 协议一样位于应用层的协议。 它提供域名到 IP 地址之间的解析服务。计算机既可以被赋予 IP 地址, 也可以被赋予主机名和域名。 比如www.hackr.jp。
用户通常使用主机名或域名来访问对方的计算机, 而不是直接通过 IP地址访问。 因为与 IP 地址的一组纯数字相比, 用字母配合数字的表示形式来指定计算机名更符合人类的记忆习惯。但要让计算机去理解名称, 相对而言就变得困难了。 因为计算机更擅长处理一长串数字。为了解决上述的问题, DNS 服务应运而生。 DNS 协议提供通过域名查找 IP 地址,或逆向从 IP 地址反查域名的服务。
2. Http 协议图解
Open System Interconnection的缩写,意为开放式系统互联。
OSI与TCP/IP的对应关系。
OSI七层的图解
3. DNS解析实例
我们的例子一访问www.baidu.com为例(使用wireshark进行解析)。首先我们打开wireshark,配置DNS过滤条件,然后ping www.baidu.com。查看wireshare的捕获情况
首先查看上面共红色框中的第一条请求,是查询DNS的请求
如果图我们可以看到上面有五条记录。对应关系如下:
Frame
第一层显示的是FrameXXX(xxx为帧号),这一级别没有对应某层具体的协议,而是对本条消息的一个概括性总结,描述了一些有用的概括性信息。如下图中描述,当前发送的数据包的长度,使用的协议是什么?这个和后面的几层有关系的,而且也可以看到红色框中包含的是当前包的所有信息,所以这一层并不是知道具体的某一层。Ethernet II(物理层和数据链路层)
以太网是当今现有局域网采用的最通用的通信协议标准。该标准定义了在局域网中采用的电缆类型和信号处理方法。这里对应的是物理层和数据链路层。如果观察仔细的话可以查看上图OSI七层图解。可以看到最下面物理层的第二条线就是以太网帧,可以看到,这条线直达到IP。这里可以看到对应的以太网首部(以太网中MAC地址,也称物理地址)的信息,而且红色框中表示的是这一层的头部包装的是mac地址的信息。这样和我们之前说的TCP通信传输流对应上了。
IP层(网络层)
网络协议位于网络层,处理分组交换网中的路由选择,分组传输。前面我们在介绍IP协议的时候:IP 协议的作用是把各种数据包传送给对方。 而要保证确实传送到对方那里, 则需要满足各类条件。 其中两个重要的条件是 IP 地址和 MAC地址(Media Access Control Address) 。上面我们得到了MAC地址,这里我们就需要得到IP地址。UDP层(传输层)
是一个简单的面向数据报的运输层协议。UDP不提供可靠性,它只是把应用程序传给IP层的数据报发送出去,但是并不能保证它们能到达目的地。由于UDP在传输数据报前不用在客户和服务器之间建立一个连接,且没有超时重发等机制,故而传输速度很快。至于TCP的会在后续文章。现在我们得到了IP地址,接着我们就需要拿到端口号了。DNS查询(应用层)
DNS是一个应用层协议,基于TCP/IP传输,一般的DNS报文传输层是UDP报文。在之前的这么多努力之后终于要发送DNS查询的相关信息了。
DNS查询(返回包)
现在我们看一下第二条数据,也就是DNS查询之后返回的结果,结果遇上面的分析类似,相关的mac,ip地址调换,因为这是从目的地发送回来的,我们这里只看一下DNS返回的时候情况。从下图中可以看到首相将www,baidu.com解析到www.a.shifen.com,然后在将www.a.shifen.com解析到两个IP地址。www.a.shifen.com: 这是dns解析过程中,www.baidu.com作为cname记录(相当于别名),在dns服务器中配置了www.baidu.com到www.a.shifen.com的映射记录。而www.a.shifen.com是作为A(address)记录,映射到了真实的IP信息。
Address记录就是把一个域名解析到一个IP地址(Address,特制数字IP地址),而CNAME记录就是把域名解析到另外一个域名。
4. DNS查找顺序
找缓存
浏览器缓存:
操作系统缓存:
路由缓存:
找本机的hosts文件
Windows host文件路径: C:\WINDOWS\system32\drivers\etc\hosts (修改之后不能保存,可以copy一份到桌面,修改之后,在替换掉原路径下的文件就可以了)
找DNS服务器
ISP的DNS服务器:
根服务器:
参考:
https://blog.****.net/ahafg/article/details/51035691
https://blog.****.net/u011414200/article/details/47945661
https://www.cnblogs.com/geaozhang/p/7010353.html