传统的视频内容分析抽取客观存在的感知特征,而用户所消费的往往是语义内容,这就造成了计算机自动分析与用户需求之间的矛盾。多媒体信息系统领域专家把这种矛盾称为语义鸿沟。语义鸿沟是阻碍新一代视频应用的瓶颈问题。本文以体育视频为研究对象,从概念模型、技术框架、分析方法等方面系统地研究了视频低层特征与高层语义之间的关联,以跨越语义鸿沟获取体育视频的语义内容。 在体育比赛领域规则和视频拍摄编辑手法的基础上,本文定义了体育视频的基本语义单元BSU(Basic Semantic Unit),BSU是表征体育视频语义内容的基本单元。围绕BSU,本文提出了基于BSU的体育视频语义内容分析框架,进而重点研究了该框架下的伴随音轨BSU、场景BSU和事件BSU等各类BSU的语义内容分析,并设计实现了体育视频语义内容分析和摘要平台SCASP(Sports video Semantic Content Analysis and Summarization Platform)。论文的主要贡献体现在以下几个方面: ●提出了基于BSU的体育视频语义内容分析框架。这个框架包括两个部分:一是基于BSU的概念模型——BSUCN(Basic Semantic Unit Composite Network);定义基本语义单元之间的关系为BSURelation,BSUCN是由BSU和BSURelation组成的体育视频语义内容分析的网络;BSUCN将纷繁芜杂的语义理解问题转化为目标明确的BSU分类识别。另一是基于概率统计关联模型的技术框架;技术框架明确了体育视频语义内容分析的技术途径和基本方法论,指出BSU的语义内容分析是不确定性的分类识别问题,需要采用基于概率统计的模型实现低层特征与高层语义之间的关联。 ●提出了基于高斯混合模型的伴随音轨BSU语义内容分析方法。在基于BSU的体育视频语义内容分析框架基础上,运用高斯混合模型建模体育视频伴随音轨的语义类型,将伴随音轨BSU的语义内容分析转化为音频的语义分类与分段。 ●提出了基于隐马尔可夫模型的场景BSU语义内容分析方法。在基于BSU的体育视频语义内容分析框架基础上,运用隐马尔可夫模型建模体育视频视图与场景的统计时序关系,将场景BSU的语义内容分析转化为场景的语义分类与分割。 ●提出了基于贝叶斯网络的事件BSU的语义内容分析方法。在基于BSU的体育视频语义内容分析框架基础上,运用贝叶斯网络建模体育视频语义事件的多特征融合关系,将事件BSU的语义内容分析转化为基于概率统计模型的融合分析。 ●设计并实现了体育视频语义内容分析和摘要平台——SCASP,对基于BSU的体育视频语义内容分析框架和相关技术进行了应用和验证。 综上所述,本文提出了体育视频语义内容分析的概念、框架和方法,并通过设计实现SCASP,验证了本文的思路。这些研究为视频语义鸿沟问题提供了一定的解决之道,视频语义内容分析技术的不断发展和完善将使其在信息资源的管理和共享等领域发挥越来越大的作用。
