ISP 图像成像过程和常见问题解决方法

/**

* @author wangdaopo

* @email [email protected]

场景
- 宽动态（WDR）【明暗交替环境】
- 强光抑制【低照明环境下抓拍】
- 背景光补偿【抓拍黑暗环境下细节信息】

“采集”就是对颜色空间进行采样与存储。

视频在采集阶段的颜色空间表达方式，和其采样及存储的方式。并且通过对物理采集中的变焦、曝光概念的初识，理解了视频采集设备的重要性。

如果采集后的视频已经在YUV阶段进行了一部分压缩，为了兼顾画质和传输稳定性，压缩可以从两方面着手，即：空间冗余：根据局部相关性，时间冗余：连续的画面之间存在着空间的连续性

如何利用时间冗余和空间冗余压缩视频呢？这就需要用到预测编码IPB帧与GOP。

ISP 图像成像过程和常见问题解决方法

1）ISP 图像成像过程

3A技术能够很好的保障图像精准的色彩还原度，呈现完美的日夜监控效果。
- 利用了AF自动对焦算法
  - 通过既得图像对比度移动镜头使图像对比度达到最大。
    - 自动对焦技术就是通过调整聚焦镜头的位置获得最高的图像频率成分，得到更高的图像对比度。其中，获得最佳的对焦点是一个不断积累的过程，它通过比较每一帧图像的对比度从而获得镜头移动范围内最大的对比度点，进而确定对焦距离。
- AE自动曝光算法
  - 将根据可用的光源条件自动设置曝光值。
    - 根据测光系统所测得的被摄画面的曝光值，按照厂家生产时所设定的快门及光圈曝光组合，自动地设定快门速度和光圈值。
- AWB自动白平衡算法
  - 根据光源条件调整图片颜色的保真程度。物体在不同光线照射下会出现不同程度的色差，一般将一幅图像的整体色差信号用作色温数据，
减去参考暗电流信号
计算每个像素对应的亮度矫正值
必须在颜色插补之前进行坏点的消除。
颜色插值
- 借助这个像素点周围的颜色对它进行插值(填充)另外的两种颜色
处理过程中引入的噪声，对图像进行去噪处理
针对不同色温条件下，抵消偏色
人类眼睛可见光的频谱响应度与元件频谱对RGB 值颜色会存在偏差
- 通过一个3x3 的颜色变化矩阵来进行颜色矫正。
色彩空间转换：在传输和存储上可以节省带宽和存储空间
然后输出 YUV(或者 RGB) 格式的数据，再通过 I/O 接口传输到 CPU 中处理。

2）常见问题解决方法

问题：在室内开灯场景下，屏幕闪烁。解决：确认屏幕亮度是否为100，若不是则配为100；仍然闪烁则打开抗闪功能，配置抗闪频率为交流电频率

问题：在没有开灯场景下，屏幕依旧闪烁。解决：确认屏幕亮度是否为100，若不是则配为100；适当调节AE模块的u8Speed和u8Tolerance参数

问题：图像从暗到亮的时间过长解决：调节AE模块的u8Speed和u16BlackSpeedBias参数

问题：人脸图像过暗解决：配置AE模块的enAEStrategyMode参数为AE_EXP_LOWLIGHT_PRIOR模式，同时增大u16HistRatioSlop的值；适当调节gamma参数；也调用海思提供的API 设置图像权重；wdr模式下还可调节曝光比和曝光时间范围。

问题：图像过曝解决：（1）在光线条件良好情况下，确认是否开启抗闪功能，尤其是室外，若开启则关闭抗闪；（2）确认曝光时间范围是否合理，调节曝光时间范围参数，减小最小曝光时间；（3）wdr模式下则减小最小曝光比参数；（4）确认图像权重配置表是否合理，不能全为0。

问题：视频图像边缘出现虚边解决：主要是sharpen的边缘锐化强度过大，可以调节EdgeFiltStr 、EdgeFreq、EdgeStr这几个参数，优先调节增大前面两个参数，还不行再调最后那个参数。

问题：帧率在30帧，在低照度下依旧有拖影解决：这个主要调节3DNR参数，尤其是运动相关的参数，消除拖影后稍微调节sharpen、NR，适当提高清晰度，降低噪声

问题：图像噪点过多解决：首先确认曝光时间范围的最大值是否过小（30帧下最大曝光时间为33306），如果太小则增大曝光时间最大值；确认模拟、数字、ISP三个增益大小，适当降低增益，调节顺序为ISP–数字—模拟（模拟增益带来的噪声最小），同时适当减小AE的u8Compensation亮度补偿参数，开启海思ISP后端去噪算法模块，增强去噪强度；若还无法去除增益，可调用HI_MPI_ISP_GetPubAttr(ViPipe, &pstPubAttr); 和 HI_MPI_ISP_SetPubAttr( ViPipe, &pstPubAttr); 这两个API适当降低帧率（人脸识别最低帧率为6fps）。

问题：图像亮度不够解决：确认曝光时间范围的最小值是否过小（30帧下最大曝光时间为33306），如果太小则增大曝光时间最小值；提高AE的u8Compensation亮度补偿参数；调节gamma等亮度相关参数；适当增加增益，调节顺序为模拟—数字-- ISP（模拟增益带来的噪声最小）。

问题：图像不清晰解决：首先确认镜头焦距是否调到最优，确认焦距是否打在想要的物体的位置上；调节gamma、sharpen等相关IPM参数。调节顺序为曝光时间—模拟增益—数字增益—ISP数字增益（不调节光圈的情况）。增益带来最大问题是噪声（通常是亮度噪声、随机噪声），所以后端需要去噪。例如在帧率为30fps下，每帧图像的显示时间最大为33.333ms，除去最小的显示时间以及一些必要等待时间，一帧图像最大曝光时间约为33.3ms，

参考：https://blog.****.net/qq_32896111/article/details/99643494

ISP 图像成像过程和常见问题解决方法

相关推荐