机器视觉算法与应用:2.3 摄像机
2.3 摄像机
摄像机作用:将通过镜头聚焦于像平面的光线生成图像。
数字传感器技术:
1、电荷耦合器件CCD(charge coupled device)
2、互补金属氧化半导体CMOS(complementary metal oxide semiconductor)
3、CCD与CMOS主要区别:读出结构(从芯片中读取数据的方式)不同。
2.3.1 CCD传感器
线阵传感器
功能:只能生成一个像素高度的图像。
要求:
1、为获取二维图像,线阵传感器必须相对于被测物运动。
2、为获取矩形像素,传感器必须与被测物平面平行,与运动方向垂直。
3、为获得方形像素,线采集频率必须与传感器分辨率,摄像机和被测物间相对运动匹配。
4、若运动速度是变化的,则需要通过编码器触发传感器采集每行图像。
5、若传感器与运动方向不匹配,则需要使用摄像机标定来确保测量精度。
6、要求非常强的照明,线读出时间在10~200kHz之间,每行的曝光时间被限制。
7、要求镜头光圈使用较小f值,景深被严重限制。
全帧转移面阵传感器
优点:
1、全帧转移面帧传感器填充因子(像素光敏感区域与整个靶面之比)达100%,可使像素的光灵敏度最大化,图像失真最小化。
缺点:
1、存在拖影现象,需加上机械快门或利用闪光灯来避免。下层像素读出时传感器还在曝光并产生电荷,而上层像素读出时会经过下层像素,多出的电荷会造成场景信息的积累,从而产生拖影。
帧转移传感器
优点:
1、填充因子可达100%,而且不需要机械快门或闪光灯。
缺点:
1、存在残留的拖影。虽然从光敏感传感器到光疲敝存储阵列,电荷转移速度快,时间短,但传感器依然在曝光。
2、成本高,需要两个传感器。
行间转移传感器
优点:
1、无拖影,不需要机械快门和闪光灯。
缺点:
1、填充因子可能低至20%,图像失真会增加,需在加上微镜头。移位寄存器会在传感器上占据空间,使得填充因子过低。
CCD传感器存在的问题:
1、高光溢出效应。当积累的电荷超出光电探测器的容量时,电荷会溢出到相邻的光电探测器中,使得图像中亮的区域被显著放大。
解决方法:
1、在传感器上增加溢流沟道(测溢流沟道和垂直溢流沟道)。
模拟CCD摄像机常用读出模式:
1、隔行扫描。CCD传感器读出时需两次曝光,若被测物在两次曝光之间移动,图像会出现锯齿
2、逐行扫描。采集运动物体图像时必须用逐行扫描。
2.3.2 CMOS传感器
缺点:
1、填充因子很低,需使用微镜。放大器和行列选择电路占据像素的大部分面积。
优点:
1、容易读出图像的矩形感兴趣区域。
2、可在传感器上实现并行模数转换。
3、读出速度快。
曝光方式:
1、行曝光。第一行与最后一行存在很大采集时差,采集运动物体图像时会变形。
2、全局曝光。传感器对应的每个像素都需要一个存储区,会降低填充因子。采集运动物体图像时需使用全局曝光。
2.3.3 彩色摄像机
1、灰度是入射光(传感器可响应的所有波长的光)积累后按传感器光谱响应的结果。
2、单芯片摄像机在传感器前加上彩色滤镜阵列(CFA)使得一定范围内的到达每个光电探测器。
3、Bayer滤镜阵列采样1/4红色、1/2绿色、1/4蓝色。加上抗图像失真滤光片避免由于红绿蓝颜色不均造成严重图像失真,通过颜色插值(如双线性或双三次插值)重建少采样部分以得到传感器全分辨率下的彩色图像。
4、三芯片摄像机利用分光器或棱镜将通过镜头的光线分成三束,在三个传感器前加上对应红绿蓝滤光片。三芯片摄像机可以克服单芯片摄像机图像失真问题,但成本高,需要三个传感器。
5、典型彩色CCD传感器对近红外敏感,需加上红外滤光片防止图像产生不希望看到的颜色。
2.3.4 传感器尺寸
1、传感器的尺寸大约是传感器标称尺寸的2/3,传感器的宽度大约是传感器标称尺寸的1/2。
2、镜头尺寸不能小于传感器实际使用大小,否则传感器外围没有光线到达。
3、图像大小一定,传感器分辨率越高,像素间距越小。
4、分辨率常用百万像素表示,分辨率越高,帧率和行频越低。
2.3.5 摄像机性能
图像灰度值产生过程:
1、曝光时,个光子落到传感器的区域内;
2、对于CCD产生个电子-空穴对,对于CMOS消灭个电子-空穴对;
3、电子-空穴对形成电荷转化为电压;
4、电压放大后通过模数转换数字化产生灰度值。
随机噪声:
1、光子噪声(光子的随时间不一致性)。光子不是等时间间隔到达传感器,而是按泊松分布模型的随机分布到达。
2、复位噪声。读出时像素电荷不能完成复位,可使用双采样(读出的电压-读出后像素中的电压)去除。
3、暗电流噪声。热也会产生电子-空穴,可对摄像机制冷来消除。
4、本底噪声(暗噪声)。即使没有光线也会有的噪声。
5、入量化噪声。电压通过模数转换器转化为数字引起的噪声。
信噪比:
动态范围:
不均匀性:
1、不均匀性属于系统误差,有时也称空间噪声或模式噪声,与随机噪声相比不能通过时间平均来消除。
2、暗信号不均匀性:暗信号对于每个像素可能不一致。
3、光响应不均匀性:像素对于光的响应对于每个像素来说是不同的。
4、CMOS传感器比CCD传感器经常表现出明显较大的不均匀性,因为CMOS传感器每个像素都有放大器,故需要不同的增益和补偿。