鲁棒的镜头边界检测与基于运动信息的视频摘要生成VIP免费

第22卷第6期2010年6月计算机辅助设计与图形学学报JournalofComputer—AidedDesign＆ComputerGraphicsVol|22NO．6June2O10鲁棒的镜头边界检测与基于运动信息的视频摘要生成张剑(浙江大学理学院数学系杭州310027)(zhangsdust@yahoo．corn．cn)摘要：根据基于内容的视频索引与检索等应用的需求，提出一种视频摘要生成方法．首先进行鲁棒的镜头边界检测，基于颜色直方图计算相邻帧间距离来进行初步检测，并通过分析帧间运动向量去除由相机运动引起的误检测；然后根据镜头的运动指示图将镜头分为静态镜头、包含对象运动的镜头和包含显著相机运动的镜头；最后提出镜头间基于多实例表示的距离度量方法以及聚类算法的初始化方法，采用核K均值算法对每类镜头进行聚类，抽取每类中最靠近类簇中心的镜头作为关键镜头，将关键镜头按时间序组合起来形成视频摘要．与已有方法相比，文中方法能进行更鲁棒的镜头边界检测，识别镜头中的运动信息，并对镜头分类后进行分别处理，从而增强视频摘要的信息概括能力．关键词：运动向量方向直方图；分块运动向量方向直方图；核K均值中图法分类号：TP391RobustShotBoundaryDetectionandVideoSummarizationBasedonMotionInformationZhangJian(DepartmentofMathematics，CollegeofScience，Z^ejiangUniversity，Hangzhou310027)Abstract：Anove1approachisproposedforvideosummarization．First，robustshotboundarydetectionisconductedbyevaluatingtheinter—framedistancebasedonimagecolorhistogramandbyremovingthefalsepositivebasedoncameramotionanalysis；then，eachshotisclassifiedasstationaryshot，shotwithobjectmotionandshotwithcameramotionbyanalyzingitsmotionindicatormap；wefinallyadaptwellinitializedkernelK——meansclusteringwithaproposedmulti——instancedistancemetrictOeachclassofshots．ThevideosummarizationiSconstructedbyextractingtheshotnearesttoclustercenterineachclusterandbyintegratingthemaccordingtotheiroccurringtimeinstanceintheoriginalvideo．Comparedwiththestate—of—artalgorithms，ourproposedapproachcandetectshotboundarieswithhigheraccuracy，classifytheshotsaccordingtomotioninformation，andbuildmoreinformativevideosummarizationbyabstractingeachclassofshotsrespectively．Keywords：motionvectordirectionalhistogram；blockwisedirectionalhistogramofmotionvectors；kernelK—means在基于内容的视频索引、视频检索和视频浏览等应用中，常常需要提取原始视频中有代表性的部分对视频进行表示，这种视频分析技术叫做视频摘要．从最后生成的内容来看，当前视频摘要技术主要包括2种模式：一种是直接从原始视频中抽取关键帧来表示视频并支持视频快速导航。；另一种是对视频做结构化分析，按照镜头、场景对视频做切分并消除冗余，并选择原始视频中有代表性的片段重新组成内容摘要”．Yahiaoui等Ⅲ基于底层特征对视频帧进行分类，收稿日期：20090710；修回日期：20091009．张剑(1978一)，男，博士，助理研究员，主要研究方向为模式分析、视频处理计算机辅助设计与图形学学报第22卷并用枚举的方式构造视频摘要．Ciocca等]通过视频帧的颜色直方图、小波统计特征和边缘方向直方图来选择关键帧组成视频摘要．Liu等。采用依赖于时间的视频摘要生成方法，根据原始视频的帧速率、每一帧在视频中的位置以及视频摘要的显示速度等因素选择关键帧．Guironnet等提取视频帧问的运动参数并对相机运动进行分类与描述，根据相机运动的连续性与幅度选择关键帧．Marat等提出一种视觉关注度模型来实现视频摘要，通过计算视频中的静态显著目标与动态显著目标，并基于此形成视频的关注度变化曲线，抽取曲线极大值处的视频帧作为关键帧．Drew等则提出用离散余弦变换对视频帧进行预处理，并基于多阶段层次化聚类方式提取关键帧．Avila等基于颜色直方图直接对视频帧聚类并选择关键帧，按照出现的时间序排列关键帧形成视频摘要．Ma等]根据视频中对象运动、相机运动、音频特征，结合人脸识别设计出一种用户关注度模...