简单、高效、易用的全平台(Windows/Linux/ARM/Android/iOS)RTMP直播推送库EasyRTMP视频硬编码的流程解析

所谓硬编码,我的理解就是硬件加速编码,intel硬编码是使用其集显中的视频编解码模块加速,同理nvidia硬编码使用nvidia显卡中的视频编解码模块进行加速。在命令行中使用 ffmpeg -hwaccels 可以查看ffmpeg支持的硬件加速方法。

因为项目需要,在研发RTMP推流组件的EasyRTMP中很多用户咨询关于音视频硬解码的流程,便于组件的集成,今天大家介绍流程如下。

关于RTMP推流组件

EasyRTMP是一套调用简单、功能完善、运行高效稳定的RTMP推流功能组件,经过多年客户实战和线上运行打造,支持RTMP推送断线重连、环形缓冲、智能丢帧、网络事件回调,支持Windows、Linux、ARM、Android、iOS平台,支持市面上绝大部分的RTMP流媒体服务器,能够完美应用于各种行业的直播需求,手机直播、桌面直播、摄像机直播、课堂直播等方面。结合EasyDSS流媒体服务器,为开发者提供专业、稳定的直播推流、转码、分发服务,全面满足低超低延迟、超高画质、超大并发访问量的要求。

简单、高效、易用的全平台(Windows/Linux/ARM/Android/iOS)RTMP直播推送库EasyRTMP视频硬编码的流程解析

 

提出问题:

EasyRTMP-iOS介绍下视频硬编码的简单流程。

分析问题:

H.264 HWEncoder.m文件实现了视频的硬编码功能。

解决问题:

iOS处理音频的库是VideoToolbox,视频硬编码的流程如下:

1、-initVideoToolBox中调用
VTCompressionSessionCreate创建编码session,并调用VTSessionSetProperty设置参数:

简单、高效、易用的全平台(Windows/Linux/ARM/Android/iOS)RTMP直播推送库EasyRTMP视频硬编码的流程解析

 

再调用VTCompressionSessionPrepareToEncodeFrames开始编码:

简单、高效、易用的全平台(Windows/Linux/ARM/Android/iOS)RTMP直播推送库EasyRTMP视频硬编码的流程解析

 

2、将获取到摄像头的视频帧,传入-encode:
调用VTCompressionSessionEncodeFrame传入需要编码的视频帧:

简单、高效、易用的全平台(Windows/Linux/ARM/Android/iOS)RTMP直播推送库EasyRTMP视频硬编码的流程解析

 

3、每一帧视频编码完成后会调用预先设置的编码函数didCompressH264,处理关键帧,以及取得PPS和SPS,由H264Packet来处理:

 

简单、高效、易用的全平台(Windows/Linux/ARM/Android/iOS)RTMP直播推送库EasyRTMP视频硬编码的流程解析

4、调用VTCompressionSessionCompleteFrames完成编码,然后销毁session:VTCompressionSessionInvalidate,释放session。

 

简单、高效、易用的全平台(Windows/Linux/ARM/Android/iOS)RTMP直播推送库EasyRTMP视频硬编码的流程解析