python+opencv 混合高斯模型进行背景建模提取前景的代码实现 有效果视频和详细代码
混合高斯模型的基本原理:
图像运动估计是计算机视觉中重要的部分,如何准确的在背景中提取出我们想要的目标是识别的关键。
运动物体的检测分为两种情况:第一种是摄像头静止,目标在运动,背景也相对静止。例如大部分的固定摄像头拍摄到的画面;第二种是摄像头运动,目标静止或者运动,这种情况比较复杂。例如航拍画面,人拿着摄像机录像等。
第一种情况,由于摄像头静止,所以背景相对来说是不变的,那么如果目标在运动,将某一帧图像减去背景图像,理论上来说就可以得到前景图像了。但是由于光线或者其他原因,背景中每个像素点的灰度值并不是固定不变的,它会随着环境变换而变化,但是背景的像素灰度值变换是具有一定规律的,如下图所示:
将图像中的某一像素点提取出来,其灰度值变换如上图所示,将其迭代起来,会符合高斯分布。
如果某一像素值 I(x,y,t)-u > 3o 则认为前景,否则认为是背景
但是,由于环境或者变化的光线影响,像素的变化规律不一定只符合一种高斯函数,可能是多个高斯函数的叠加,于是有了混合高斯模型的概念。
任何一种分布函数都可以看做是多个高斯分布的组合:
混合高斯模型进行背景建模的基本思想:
首先初始化预先定义的几个高斯模型,对高斯模型中的参数进行初始化,并求出之后将要用到的参数。其次,对于每一帧中的每一个像素进行处理,看其是否匹配某个模型,若匹配,则将其归入该模型中,并对该模型根据新的像素值进行新,若不匹配,则以该像素建立一个高斯模型,初始化参数,代替原有模型中最不可能的模型。最后选择前面几个最有可能的模型作为背景模型,为背景目标提取做铺垫。
1.每个新像素值Xt同当前K个模型按下式进行比较,直接找到匹配新像素值的分布模型,即同该模型的均值偏差在2.5σ内:
2.如果所匹配的模式符合背景要求,则该像素属于背景,否则属于前景。
3.各个模式权值按如下方式进行更新,其中a是学习速率,对于匹配的模式Mk,t=1,否则Mk,t=0,然后各模式的权重进行归一化:
4.未匹配模式的均值μ和标准差σ不变,匹配模式的参数按照如下更新:
5.如果,第一步中没有任何模式匹配,则权重最小的模式被替换,即该模式的均值为当前像素值,标准差为初始较大值,权重为较小值。
6.各模式根据w/a^2按降序排列,权重大、标准差小的模式排列在前。
7.选前B个模式作为背景,B满足下式,参数T表示背景所占的比例:
以下是代码实现
import numpy as np
import cv2
import time
import datetime
colour=((0, 205, 205),(154, 250, 0),(34,34,178),(211, 0, 148),(255, 118, 72),(137, 137, 139))#定义矩形颜色
cap = cv2.VideoCapture("vtest.avi") #参数为0是打开摄像头,文件名是打开视频
fgbg = cv2.createBackgroundSubtractorMOG2()#混合高斯背景建模算法
fourcc = cv2.VideoWriter_fourcc(*'XVID')#设置保存图片格式
out = cv2.VideoWriter(datetime.datetime.now().strftime("%A_%d_%B_%Y_%I_%M_%S%p")+'.avi',fourcc, 10.0, (768,576))#分辨率要和原视频对应
while True:
ret, frame = cap.read() #读取图片
fgmask = fgbg.apply(frame)
element = cv2.getStructuringElement(cv2.MORPH_CROSS, (3, 3)) # 形态学去噪
fgmask = cv2.morphologyEx(fgmask, cv2.MORPH_OPEN, element) # 开运算去噪
_ ,contours, hierarchy = cv2.findContours(fgmask.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) #寻找前景
count=0
for cont in contours:
Area = cv2.contourArea(cont) # 计算轮廓面积
if Area < 300: # 过滤面积小于10的形状
continue
count += 1 # 计数加一
print("{}-prospect:{}".format(count,Area),end=" ") #打印出每个前景的面积
rect = cv2.boundingRect(cont) #提取矩形坐标
print("x:{} y:{}".format(rect[0],rect[1]))#打印坐标
cv2.rectangle(frame,(rect[0],rect[1]),(rect[0]+rect[2],rect[1]+rect[3]),colour[count%6],1)#原图上绘制矩形
cv2.rectangle(fgmask,(rect[0],rect[1]),(rect[0]+rect[2],rect[1]+rect[3]),(0xff, 0xff, 0xff), 1) #黑白前景上绘制矩形
y = 10 if rect[1] < 10 else rect[1] # 防止编号到图片之外
cv2.putText(frame, str(count), (rect[0], y), cv2.FONT_HERSHEY_COMPLEX, 0.4, (0, 255, 0), 1) # 在前景上写上编号
cv2.putText(frame, "count:", (5, 20), cv2.FONT_HERSHEY_COMPLEX, 0.6, (0, 255, 0), 1) #显示总数
cv2.putText(frame, str(count), (75, 20), cv2.FONT_HERSHEY_COMPLEX, 0.6, (0, 255, 0), 1)
print("----------------------------")
cv2.imshow('frame', frame)#在原图上标注
cv2.imshow('frame2', fgmask) # 以黑白的形式显示前景和背景
out.write(frame)
k = cv2.waitKey(30)&0xff #按esc退出
if k == 27:
break
out.release()#释放文件
cap.release()
cv2.destoryAllWindows()#关闭所有窗口