MPEG-7与媒体资产检索

GOF/GOP颜色 纹理 边缘直方图同类纹理纹理浏览 形状 对象范围基于区域的形状基于轮廓的形状三维形状 运动 镜头运动对象运动轨迹参数运动运动速度位置 区域定位子时空定位子 其它 人脸描述子     每个描述子都定义了标准和非标准两个部分，标准部分定义了描述子的语法、语义及其二进制的表示法。而操作部分是非标准的部分，许多低层的特征(如颜色直方图等)都是可以自动抽取的，推荐使用的特征抽取及匹配算法都包含在非标准的部分。 2.2.2描述方案     描述方案(DS)定义了各组成部分之间的结构和语义关系，它由描述子(D)和描述方案(DS)组成，下面是在AV内容描述方案中常用到的几个概念： ● 语法结构：AV内容的物理和逻辑结构，如时间片断、空间区域的基础结构。
● 语义结构：语义含义的细分，如时间事件、空间对象结构。
● 语法语义链接：语法元素与语义元素间的结合。
一个顶层的AV描述方案往往是由多个描述方案组成：
● 一组语法结构描述方案(Syntactic structure DS)：即片断、区域、颜色、文本、运动等物理特征的描述。
● 一组语义结构描述方案(Semantic structure DS)：即对象、人物或事件等语义特征，如"进球"、"射门"、"广告"等。
● 语法语义链接描述方案(Syntactic-semantic links DS)：即语法元素和语义元素之间的关系。
● 摘要描述方案(Summary DS)：用于不同粒度间的浏览。
● 媒体信息描述方案(MetaInfo DS)：有关作者、出版者等信息的描述，包括内容描述方案、信用描述方案、创作目的描述方案、版权描述方案、出版描述方案等。
● 介质信息描述方案(MediaInfo DS)：有关存储介质的描述，如文件格式、存储介质、压缩格式、长度等。
● 模式描述方案(Model DS)：提供AV数据的分类方法的描述或当前AV内容和其它内容间的通信的不同方法。 图2是一个AV描述方案的结构描述： 2.2.3 DDL语言     DDL语言可以创建新的描述方案和描述子，也可以扩展或修改现有的描述方案。MPEG-7的DDL语言以XML语言为基础，但由于XML并不是专门用来作为AV内容描述语言来设计的，因此MPEG-7在XML的基础上作了进一步的扩展。MPEG-7的DDL语言主要包括以下几个部分： ● XML语言的结构部分
● XML语言的数据类型部分
● MPEG-7的扩展部分 DDL语言、描述方案、描述子之间的关系见图3。 3、 基于MPEG-7的媒体资产检索     检索是媒体资产管理系统中的重要环节，没有效的检索机制媒体资产管理也就没有意义了。基于MPEG-7建立起来的媒体资产管理系统不仅可以包含传统的视音频信息，还可将其它多媒体信息(如做宣传片时所建的3D模型等)纳入其中，并且可超越存储方式(无论是在线、近线还是离线)建立检索机制。 3.1基于MPEG-7的媒体资产管理系统的结构     虽然 MPEG-7描述不依赖于资料的编码表示，但是在某种程度上，该标准建立在MPEG-4之上，在MPEG-4中定义的表示方式也非常适合MPEG-7描述的建立。MPEG-4提供对视听资料以对象方式编码的方法，这些对象具有一定的时间(同步)和空间(空间位置和三维感受)关系。利用MPEG-4编码，将有可能把描述附加到场景中的元素(VOP)上。因此在媒体资产管理系统中，可将输入的视频编码成高、低两种码率的码流，高码率的可采用MPEG-2编码，用于编辑、下载、播出等；低码率的可采用MPEG-4编码，检索、浏览以及网络上的传输。MPEG-7描述建立在MPEG-4编码之上，MPEG-4编码与MPEG-2编码之间用EDL表链接。系统结构见图4。

《MPEG-7与媒体资产检索(第2页)》