RTMP---RTMP实现细节

RTMP协议

RTMP是Real Time Messaging Protocol(实时消息传输协议)的首字母缩写。该协议基于TCP,是一个协议族,包括RTMP基本协议及RTMPT/RTMPS/RTMPE等多种变种。RTMP是一种设计用来进行实时数据通信的网络协议,主要用来在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信。
  RTMP协议是一个互联网五层体系结构中应用层的协议。RTMP协议中基本的数据单元称为消息(Message)。当RTMP协议在互联网中传输数据的时候,消息会被拆分成更小的单元,称为块(Chunk)。

一、定义

  • 1、Payload(载荷):包含于一个数据包中的数据,例如音频采样或者视频压缩数据。
  • 2、Packet(数据包):一个数据包由固定头和载荷数据构成。一些底层协议可能会要求对数据包进行封装。
  • 3、Port(端口):TCP/IP使用小的正整数对端口进行标识。OSI传输层使用的运输选择器 (TSEL) 相当于端口。
  • 4、Transport address(传输地址):用以识别传输层端点的网络地址和端口的组合,例如一个IP地址和一个TCP端口。
  • 5、Message stream(消息流):通信中消息流通的一个逻辑通道。
  • 6、Message stream ID(消息流ID):每个消息有一个关联的ID,使用ID可以识别出该消息属于哪个消息流。
  • 7、Chunk(块):消息的一段。消息在网络发送之前被拆分成很多小的部分。块按照时间戳的顺序进行端到端的传输。
  • 8、Chunk stream(块流):通信中允许块流向一个特定方向的逻辑通道。块流可以从客户端流向服务器,也可以从服务器流向客户端。
  • 9、Chunk stream ID(块流 ID):每个块有一个关联的ID,使用ID可以识别出该块属于哪个块流。
  • 10、Multiplexing(合成):将独立的音频/视频数据合成为一个连续的音频/视频流,这样就可以同时发送视频和音频了。
  • 11、DeMultiplexing(分解):Multiplexing 的逆向处理,将交叉的音频和视频数据还原成原始音频和视频数据的格式。
  • 12、Remote Procedure Call(RPC 远程方法调用):允许客户端或服务器调用对端的一个子程序或者程序的请求。
  • 13、Metadata(元数据):关于数据的描述。比如电影的 metadata 包括电影标题、持续时间、创建时间等等。
  • 14、Application Instance (应用实例):应用实例运行于服务器上,客户端可连接这个实例并发送连接请求,连接服务器。
  • 15、Action Message Format (AMF,操作消息格式):AMF是Adobe独家开发出来的通信协议,它采用二进制压缩,序列化、反序列化、传输数据,从而为Flash 播放器与Flash Remoting网关通信提供了一种轻量级的、高效能的通信方式。如下图所示。

AMF的初衷只是为了支持Flash ActionScript的数据类型,目前有两个版本:AMF0和AMF3。AMF从Flash MX时代的AMF0发展到现在的AMF3。AMF3用作Flash Playe 9的ActionScript 3.0的默认序列化格式,而AMF0则用作旧版的ActionScript 1.0和2.0的序列化格式。在网络传输数据方面,AMF3比AMF0更有效率。AMF3能将int和uint对象作为整数(integer)传输,并且能序列化 ActionScript 3.0才支持的数据类型, 比如ByteArray,XML和Iexternalizable。

二、RTMP规范简单分析
  RTMP协议是一个互联网TCP/IP五层体系结构中应用层的协议。RTMP协议中基本的数据单元称为消息(Message)。当RTMP协议在互联网中传输数据的时候,消息会被拆分成更小的单元,称为消息块(Chunk)。

1.消息

消息是RTMP协议中基本的数据单元。不同种类的消息包含不同的Message Type ID,代表不同的功能。RTMP协议中一共规定了十多种消息类型,分别发挥着不同的作用。例如,

Message Type ID:
1-7的消息用于协议控制,这些消息一般是RTMP协议自身管理要使用的消息,用户一般情况下无需操作其中的数据。
8-9的消息分别用于传输音频和视频数据
15-20的消息用于发送AMF编码的命令,负责用户与服务器之间的交互,比如播放,暂停等等。

消息首部(Message Header)有四部分组成:
  1、消息类型Message Type ID
  2、消息长度Payload Length
  3、时间戳Timestamp
  4、消息所属媒体流Stream ID
  RTMP---RTMP实现细节

2.消息块Chunk(网络上传输的形式)

在网络上传输数据时,消息需要被拆分成较小的数据块,才适合在相应的网络环境上传输。
RTMP协议中规定,消息在网络上传输时被拆分成消息块(Chunk)。
消息块首部(Chunk Header)结构有:
 1、Chunk Basic Header
 2、本块负载所属消息的Chunk Message Header
 3、当时间戳溢出时才出现的Extended Timestamp

RTMP---RTMP实现细节

3.消息分块(massage????chunk)

在消息被分割成几个消息块的过程中,消息负载部分(Message Body)被分割成大小固定的数据块(默认是128字节,最后一个数据块可以小于该固定长度),并在其首部加上消息块首部(Chunk Header),就组成了相应的消息块。RTMP---RTMP实现细节
 RTMP传输媒体数据的过程中,发送端首先把媒体数据封装成消息,然后把消息分割成消息块,最后将分割后的消息块通过TCP协议发送出去。接收端在通过TCP协议收到数据后,首先把消息块重新组合成消息,然后通过对消息进行解封装处理就可以恢复出媒体数据。

三、RTMP流媒体播放过程

本文描述了从打开一个RTMP流媒体到视音频数据开始播放的全过程。
  注意:RTMP中的逻辑结构
  RTMP协议规定,播放一个流媒体有两个前提步骤:第一步,建立一个网络连接(NetConnection);第二步,建立一个网络流(NetStream)。其中,网络连接代表服务器端应用程序和客户端之间基础的连通关系。网络流代表了发送多媒体数据的通道。服务器和客户端之间只能建立一个网络连接,但是基于该连接可以创建很多网络流。他们的关系如图所示:
  RTMP---RTMP实现细节
 1.简要介绍
  播放一个RTMP协议的流媒体需要经过以下几个步骤:握手,建立连接,建立流,播放。RTMP连接都是以握手作为开始的。建立连接阶段用于建立客户端与服务器之间的“网络连接”;建立流阶段用于建立客户端与服务器之间的“网络流”;播放阶段用于传输视音频数据。
  2.握手(HandShake)
  一个RTMP连接以握手开始,双方分别发送大小固定的三个数据块
  a.握手开始于客户端发送C0、C1块。服务器收到C0或C1后发送S0和S1。
  b.当客户端收齐S0和S1后,开始发送C2。当服务器收齐C0和C1后,开始发送S2。
  c.当客户端和服务器分别收到S2和C2后,握手完成。

RTMP---RTMP实现细节
3.建立网络连接(NetConnection)
  a.客户端发送命令消息中的“连接”(connect)到服务器,请求与一个服务应用实例建立连接。
  b.服务器接收到连接命令消息后,发送确认窗口大小(Window Acknowledgement Size)协议消息到客户端,同时连接到连接命令中提到的应用程序。
  c.服务器发送设置带宽(Set Peer Bandwidth)协议消息到客户端。
  d.客户端处理设置带宽协议消息后,发送确认窗口大小(Window Acknowledgement Size)协议消息到服务器端。
  e.服务器发送用户控制消息中的“流开始”(Stream Begin)消息到客户端。
  f.服务器发送命令消息中的“结果”(_result),通知客户端连接的状态。
  RTMP---RTMP实现细节
  4.建立网络流(NetStream)
  a.客户端发送命令消息中的“创建流”(createStream)命令到服务器端。
  b.服务器端接收到“创建流”命令后,发送命令消息中的“结果”(_result),通知客户端流的状态。
  RTMP---RTMP实现细节
      建立流

5.播放(Play)
  a.客户端发送命令消息中的“播放”(play)命令到服务器。
  b.接收到播放命令后,服务器发送设置块大小(ChunkSize)协议消息。
  c.服务器发送用户控制消息中的“streambegin”,告知客户端流ID。
  d.播放命令成功的话,服务器发送命令消息中的“响应状态”NetStream.Play.Start & NetStream.Play.reset,告知客户端“播放”命令执行成功。
  e.在此之后服务器发送客户端要播放的音频和视频数据。
  RTMP---RTMP实现细节
  播放流