1 图像序列分析 1 .1 运动估计 图像序列时空变化的一个重要起因为运动,包括摄像机运动和场景中的物体运动。这种三维运动通过投影到图像平面,形成二维运动,常常称为表观运动(apparent motion ),有时也称为光流(optical flow)。如何从视频序列的图像灰度和颜色信息估计出这个二维运动,即基于图像序列的运动建模和计算,是图像序列分析的重要内容之一。在视频处理与压缩以及计算机视觉中都有着重要的应用,例如在视频处理中,运动信息广泛用于运动补偿(motion-compensated)采样(制式转换)、滤波(去噪)、复原(去模糊)等。 首先,我们必须确定有关运动估计问题中的三个方面: 1. 模型选择:运动的表示及其支撑域(region of support)、观测模型,以及运动边缘与遮挡等建模。运动表示的核心为运动场的模型参数化,这些模型及其参数的选择往往与应用及场景对象有关 2. 估计准则:即运动估计中模型参数的优化准则,其形式多样,如最简单的为关于块的均方误差,更为复杂的包括贝叶斯准则或框架、马尔可夫随机场模型等 3. 搜索策略:即优化过程或方法,可以是确定性的或随机的。最简单的确定性方法有穷举方法和松弛迭代方法,另外还有条件迭代(iterated conditional modes – ICM)和最高置信优先(highest confidence first - HCF )方法;典型的随机方法为模拟退火(simulated annealing – SA)等 下面我们按问题的这三个方面进行探讨。 1 .1 .1 模型选择 1 .1 .1 .1 运动的表示 考虑一个物体点在三维空间中运动,设其在时刻 t 的位置(摄像机坐标系)为X(t)=(X(t),Y(t),Z(t))∈ℜ3,三维运动轨迹为一条四维时空曲线(X(t),t),对于任意两个时刻 t 和τ的物体点三维位移为Dt,τ(X)= X(τ)- X(t)。 图像采集系统将三维场景投影到一个二维图象平面上,图像坐标为x=(x ,y )∈Λ,其中Λ为图像采样网格。同样,二维运动轨迹为三维时空(x(t),t),二维位移为dt,τ(x)= x(τ)- x(t)。 由上述二维位移,有 ...))(())(()()(221+−+−+=tttttτττxxxx&&& 其中忽略高次项,得 221))(())(()()(ttttt−+−+≈τττxxxx&&& 《图像分析与理解》课件:图像序列分析 1 其中和分别为瞬间速度和加速度,u(x)和 v(x)分别为速度矢量的水平和垂直分量。若忽略加速度项,则 )](),([)()(xxxvxvut==&)(tx&& ())()()()(ttt−−≈ττxxx& 一般来说,一个运动场(motion field )由一个在连续...