2、基于内容视觉信息检索的基本技术

基于内容视觉信息检索的基本技术

一、基本工作框架和功能模块

2、基于内容视觉信息检索的基本技术

介于信息用户和多媒体数据库之间的一种信息服务系统。

查询模块:对用户提供多样的查询手段,以支持用户根据不同应用进行各种类型的查询工作。用户要进行查询,现提出要求条件,这些要求条件主要基于对图像内容的描述。

描述模块:将用户的查询要求转换为对图像内容的比较抽象的计算机可以识别的内部表达和描述。通过对图像分析,从而以一定的、计算机可以方便表达对数据结构建立对图像内容的描述。在图像数据库建库时也需要对这个模块每幅图像进行描述。

匹配模块:对被查询图像和图像数据库中的图像都建立表达描述,所以将对查询图的描述与图像数据库中的被查询图的描述进行内容匹配和比较就可以确定它们在内容上的一致性和相似性。

提取模块:如果事先对图像数据库建立了索引,这样在提取时就可以提高效率。

验证模块:帮助验证提取模块输出的图像是否满足用户要求。根据目前技术水平和设备条件,在自动查询和提取 的基础上用户还需有最后验证结果的手段。如果验证效果不满意,新一轮的查询可通过修改查询条件而重新开始。

二、图像检索技术

1、查询方法:利用采样图像、范例图像、局部图像、图标、利用概括描述;

2、描述模块及技术:分析思路,内容表达和描述(逻辑层,物理层)

3、匹配模块和技术:检索中的匹配,关心排序,不一定非常完全匹配;匹配的计量,测度距离(自相似,最小性,对称,三角不等性)

4、提取模块和技术:用户要求准确查询(复制件),范围查询(参数或特征满足一定取值范围的),要求K-最近邻的查询()

5、验证模块和技术:提取结果是否满足用户要求需要借助验证模块来进行检验,提取结果是让用户观察的,用户的判断是最后的裁决。用户在检索环节中起到主动作用,是用户启动查询,确定搜索方向的。验证界面还应该能提供各种反馈、细化或再组查询准则的能力。

三、视频检索技术

1、视频查询和访问:查询(抽象--与视频内容相关的概念;具体--运动、目标纹理和颜色等特征。),访问(结构层--帧图像、镜头、片段、情节、场景;内容层--不同等光照条件,诸如颜色、纹理、形状等感知条件,各种感知性质的聚类区域,目标的位置和识别结果)。

2、视频组织和描述: