H264 profile 及帧类型介绍

1. h264 profile:

h264 分为三种profile

基准档次：baseline profile;

主要档次：main profile;

扩展档次：extended profile（常见无high profile）;

在H.264的SPS中，第一个字节表示profile_idc，根据profile_idc（通过wireshark 抓包可见）的值可以确定码流符合哪一种档次。判断规律为：

profile_idc = 66 → baseline profile;

profile_idc = 77 → main profile;

profile_idc = 88 → extended profile;

H264 profile 及帧类型介绍

在新版的标准中，还包括了High、High 10、High 4:2:2、High 4:4:4、High 10 Intra、High 4:2:2 Intra、High 4:4:4 Intra、CAVLC 4:4:4 Intra等，每一种都由不同的profile_idc表示。

2. 常用帧类型：

SPS: Sequence Paramater Set，又称作序列参数集。其包括图像的分辨率等信息。基中 pic_width_in_mbs_minus1 ， pic_height_in_mbs_minus1，这两个参数分别表示图像的宽和高，为宏块（16x16）为单位的值减1。因此，实际的宽为 (pic_width_in_mbs_minus1 +1)*16 ，高为（pic_height_in_mbs_minus1+1）*16

PPS: 图像参数集Picture Paramater Set ,

I : 关键帧

P: 前向搜索帧/前向预测帧，以I帧预测P帧

B: 双向搜索帧/双向内插帧，由I帧、P帧预测B帧

一段视频必须要有sps, pps 帧，否则无法解码播放。如果视频的开始部分无sps ,pps帧除了用ffplay（支持跳帧），一般的播放器无法解码播放。

3. RTP 传输H264

RTP 包如下所示：

RTSP/1.0 200 OK

CSeq: 4

x-Accept-Dynamic-Rate: 1

Content-Base: rtsp://192.168.3.146:554/cam/realmonitor?channel=1&subtype=0&unicast=true&proto=Onvif/

Cache-Control: must-revalidate

Content-Length: 693

Content-Type: application/sdp

v=0

o=- 2251938965 2251938965 IN IP4 0.0.0.0

s=Media Server

c=IN IP4 0.0.0.0

t=0 0

a=control:*

a=packetization-supported:DH

a=rtppayload-supported:DH

a=range:npt=now-

m=video 0 RTP/AVP 96

a=control:trackID=0

a=framerate:25.000000

a=rtpmap:96 H264/90000

a=fmtp:96 packetization-mode=1;profile-level-id=4D002A;sprop-parameter-sets=Z00AKpWoHgCJ+WbgICAgQAA=,aO48gAA=

a=recvonly

m=audio 0 RTP/AVP 97

a=control:trackID=1

a=rtpmap:97 MPEG4-GENERIC/16000

a=fmtp:97 streamtype=5;profile-level-id=1;mode=AAC-hbr;sizelength=13;indexlength=3;indexdeltalength=3;config=1408

a=recvonly

m=application 0 RTP/AVP 107

a=control:trackID=4

a=rtpmap:107 vnd.onvif.metadata/90000

a=recvonly

用RTP传输H264的时候,根据sdp协议描述,其中有两项:Sequence Parameter Sets (SPS) 和Picture Parameter Set (PPS)需要用到, 那么这两项从哪里获取呢?答案是从H264码流中获取.在H264码流中,都是以"0x00 0x00 0x01"或者"0x00 0x00 0x00 0x01"为开始码的,找到开始码之后,使用开始码之后的第一个字节的低5位判断帧类型是否为7(sps)或者8(pps)即data[4] & 0x1f == 7 || data[4] & 0x1f == 8.然后对获取的nal去掉开始码之后进行base64编码,得到的信息就可以用于sdp.sps和pps需要用逗号分隔开来（上面标记为红色部分的字段）。

NALU的第1个字节是NUAL类型字节，其格式如下

|0 |1 |2 |3 |4 |5 |6 |7 |

|F |NRI|Type |

F: 1 bit forbidden_zero_bit H.264规范声明值设置为1表示语法违例

NRI: 2 bit nal_ref_idc 表示NALU的优先级。0--3，取值越大，该NALU越重要，需要优先保护

00值表示该NALU不用于帧间图像预测重构参考图像，可以丢弃不用冒参考图像完整性风险。

如果NALU是参考帧slice、PPS、SPS时，该值必须大于0

Type: 5 bit nal_unit_type 表示NALU载荷类型，类型值定义如下

0：未定义

1：非IDR图像不采用数据划分片段

2：非IDR图像采用数据划分片段A部分

3：非IDR图像采用数据划分片段B部分

4：非IDR图像采用数据划分片段C部分

5：IDR图像片段

6：补充增强信息 SEI

7：序列参数集 SPS

8：图像参数集 PPS

9：分隔符

10：序列结束符

11：流结束符

12：填充数据

13：序列参数集扩展

14：带前缀的NALU

15：子序列参数集

16-18：保留

19：不采用数据划分的辅助编码图像片段

20：编码片段扩展

21-23：保留

24-31：未定义

4. H264 流分析工具

1. Elecard StreamEye 系列

2. H264BSAnalyzer（开源）

https://github.com/latelee/H264BSAnalyzer

特性：

support different NAL display, including VPS, SPS, PPS, SEI, AUD, Slice.
support hex data display for NAL.
support displaying detail information using cursor up and down.
support different color for different slice, with frame number.
auto parse file name.
support file name suffix:
- H.264 format file: .h264,.h264, .avc
- H.265 format file: .h26, .h265, .hevc
- auto decide format acording file content if no name suffix specify listing above.
support playing H.264、H.265 bitstream video file.
pause, stop, play frame by frame for video file.
support saving for RGB(24bit) and YUV(yuv420p) file, BMP, JPEG (picture) file.
support saving for AVI, MP4, MOV format file.

H264 profile 及帧类型介绍

1. h264 profile:

2. 常用帧类型：

3. RTP 传输H264

4. H264 流分析工具

相关推荐