HI3516DV300/HI3519AV100/HI3559AV100 实现RTSP/RTMP视频流实时识别YOLOV3 识别速度12帧/S
ps:做技术真是太难了????
本教程是基于yolov3在硬件实现硬件的实时视频处理!
不是SAMPLE中的处理单张图片照片!
未采用opencv库,数据处理全部采用硬件加速!
直接对摄像头数据直接进行图像识别!
HI3516 识别速度 8帧/S
HI3519 识别速度 12帧/S
教程目的: 在硬件实现视频流实时识别,将深度学习落地于实战项目中。
实现原理:
- VPSS 使用3路,部分芯片VPSS CH0 不支持缩小,为保证输出帧率,保留第一路不使用。
- VPSS CH1 当作 yolov3 的检测输入识别结果经过OVERLAY叠加到VENC中
- VPSS CH2 实现720P视频输出,经过RTSP/RTMP/VO 实时查看。
一 YOLOV3 训练
二 YOLOV3 格式转换
a. 因为NNIE只支持CAFFE格式的转换,所以先将weights 文件转换为caffe文件darknet2caffe cfg/yolov3.cfg weights/yolov3.weights prototxt/yolov3.prototxt caffemodel/yolov3.caffemodel
b 将转换好的caffe文件生成 NNIE识别的WK文件
先修改 yolov3-voc.prototxt 文件,确保转换成功
input: “data”
input_shape {
dim: 1
dim: 3
dim: 416
dim: 416
} - 修改转换 in