HI3516DV300/HI3519AV100/HI3559AV100 实现RTSP/RTMP视频流实时识别YOLOV3 识别速度12帧/S

ps:做技术真是太难了????

本教程是基于yolov3在硬件实现硬件的实时视频处理!
不是SAMPLE中的处理单张图片照片!
未采用opencv库,数据处理全部采用硬件加速!
直接对摄像头数据直接进行图像识别!
HI3516 识别速度 8帧/S
HI3519 识别速度 12帧/S

教程目的: 在硬件实现视频流实时识别,将深度学习落地于实战项目中。

实现原理:

  1. VPSS 使用3路,部分芯片VPSS CH0 不支持缩小,为保证输出帧率,保留第一路不使用。
  2. VPSS CH1 当作 yolov3 的检测输入识别结果经过OVERLAY叠加到VENC中
  3. VPSS CH2 实现720P视频输出,经过RTSP/RTMP/VO 实时查看。
    HI3516DV300/HI3519AV100/HI3559AV100 实现RTSP/RTMP视频流实时识别YOLOV3 识别速度12帧/S
    一 YOLOV3 训练
    二 YOLOV3 格式转换
    a. 因为NNIE只支持CAFFE格式的转换,所以先将weights 文件转换为caffe文件
    darknet2caffe cfg/yolov3.cfg weights/yolov3.weights prototxt/yolov3.prototxt caffemodel/yolov3.caffemodel
    b 将转换好的caffe文件生成 NNIE识别的WK文件
    先修改 yolov3-voc.prototxt 文件,确保转换成功
    input: “data”
    input_shape {
    dim: 1
    dim: 3
    dim: 416
    dim: 416
    }
  4. 修改转换 in