基于内容特征的图像和视频检索系统 笔记1

 

 

1、现有的基于内容的多媒体检索系统有

研究型：Photobook，Cypress，VisualSeek

商用的：QBIC ， Virage

 

目前已完成的分镜头技术有：

(1)AVI格式视频文件的分镜头。

(2)MPEC,-I格式视频文件的分镜头。

 

基于内容的图像检索绝不是简单的相似图像的查找，它包括图像分类、图像处理、视觉特征提取、数据库生成与管理、多维度索引、用户接口等许多过程和模块。

 

 

2、视频数据分镜头技术

 

镜头变换是指一段连续图像序列变换到另一段连续视频图像序列，其中包括镜头的突变——镜头切换(Cut)和渐变——淡人／淡出(fade in／fade out)、隐现(Dissolve)、滑人(Wipe)等。它们都是由视频剪辑形成的，镜头变换的最基本任务之一就是将这一类经过剪辑的视频分解为镜头。

 

目前，分镜头技术主要有以下几种。

a、直接像素或直方图比较法，即对全解压缩的帧图像数据通过帧间比较的方法来识别镜头的突变和渐变。

b、利用压缩数据中的某些特征如DCT系数和运动矢量等进行分段，可以大大减小计算量。

c、利用文本识别和视频的相近标题检索。

 

(1)突变镜头的识别：

突变镜头是由镜头的切换引起的，相应的在帧间比较直方图上会出现一个尖峰(Peak)。可以采用两个相邻帧的彩色直方图的差值检测突变镜头，当差值大于某一阈值时判断产生了镜头突变。为了防止大运动引起的误判，采用了改进的方法——改用特定帧数内的直方图差值的最大值与改大值的比作为检测值，取得了较好的效果。外，系统采用镜头最短帧数来避免亮度变化如闪光灯引起的镜头误分；

 

(2)渐变镜头的识别：

渐变镜头有淡人／淡出、隐现、滑入等剪辑技术。由于渐变镜头在帧间差别上并没有一个可检测的尖峰，因此比突变镜头的识别复杂。该系统采用十帧间直方图差值检测渐变镜头，首先分出突变镜头，然后在每个突变镜头的m帧内，对每10帧间的彩色直方图再进行比较，也就是比较m／lO遍，分割出渐变镜头；

 

(3)MPEG-I视频分镜头采用DI(Difference of I-picture)算法：

DI的含义是l图之问的差。首先对MPEG-I文件进行解码，只解出其中的I帧，然后将I帧解压成为256色的bmp图像。在bmp图的基础上以帧间的直方图差值为依据按上述方法检测出突变镜头和渐变镜头。但在—个镜头内有较大的动作时，会引起误判。

 

 

3、 色彩特征参数提取：

 

a．全局色彩特征

全局色彩=全区域的色彩参数值平均。即将区域的像素的红、绿、蓝三个参数值各按全区域取平均，得到一个平均的颜色。此方法实际上实现的是主色查询，忽略了图像的细节特征。

 

b．色彩的分布特性

色彩分布=全区域的色彩分布比例。即将区域的像素按颜色进行统计．得到颜色在该区域中的分布情况，再按各颜色在区域中的分布权重得出所谓主、次色彩。此时代表图像特征的色彩可以在图像中找到。由于人的肉眼分辨率有限，在选择两种以上的颜色作为主色(副主色)的情况下效果就可以接受了。但在这种方案下，色彩数量的选择非常关键，如果可选的数量太少就会有大量颜色无法表示，如果太多．用户可能无所适从。

 

c．色彩的分块特性

色彩分块=选定区域的色彩分布特性。即将区域按图像的具体情况分区，再计算出各分区的色彩平均分布特性，在各色彩参数中加上位置信息。前述两种方案非常直观，但都无法反映图像的空间特性。此种方案所提取的参数最多，颜色加位置可以提供更精确的匹配信鼠。但由于参数过多，导致匹既时的服制条件太多，能匹配的图像太少。

 

 

4、傅立叶描述符、距不变量、小波描述算子