【原创】电子稳像器工作原理

casevision501 · 发表于 2010-7-1 10:55:41

1 引言

VS8902

型电子稳像器采用的是一种基于特征点匹配的电子稳像算法。本公司开发的这种基于特征点匹配的电子稳像算法具有如下几个优点：

稳定精度高；

对抖动视频进行水平、垂直和旋转方向上的校正；

稳像算法的实现只使用参考帧和当前帧；

实时性高；

鲁棒性好；

本产品稳像算法的结构框图如图

1

所示。

图

1

基于特征点匹配的电子稳像算法的结构框架

Fig.1 The basic structure of stabilization algorithm with feature points matching

如图所示。预处理是稳像算法的初始化过程，是对视频数据进行属性等方面的分析，为后续稳像算法的实现和处理奠定基础。预处理实现的功能主要有：初始化

A/D

和

D/A

芯片、配置稳像系统的工作模式、建立稳像算法所需的缓冲区、检测视频数据的有无、识别输入视频信号的制式（

NTSC

制，

PAL

制信号）等。

运动估计是计算当前帧图像和参考帧图像相对运动关系的算法。在稳像算法中运动估计分为局部运动估计和全局运动估计。局部运动估计又分为特征点提取、特征点匹配、匹配验证三个步骤，来获取各个特征点的局部运动矢量。特征点提取采用

Harris

提取角点的算法，特征点匹配采用块匹配的方法，特征点验证主要采用距离约束的准则。全局运动估计是通过最小二乘法，根据特征点的局部运动矢量求出全局运动矢量。准确求取全局运动估计是电子稳像算法的基础。

运动滤波是把全局运动矢量分离成有意运动矢量和无意运动矢量，是稳像算法的难点和重点。若稳像后的图像无法保留摄像机自身的主运动，稳像效果会失真，稳像算法会无法执行，从而导致稳像算法失败。运动滤波直接决定稳像效果的好坏。本文的电子稳像系统采用

Kalman

滤波器。

运动补偿是就是对抖动图像做运动滤波输出结果的反向补偿，以便输出稳定或平滑的图像序列。运动补偿实质上就是对图像做平移、旋转和缩放处理。运动补偿的难点问题是算法的实时性和精度。图像的旋转是一种计算量很大，很耗时的运算，同时如果补偿的精度不高，会出去视频图像模糊的现象。本产品的电子稳像算法采用基于图像线性储存空间的快速旋转算法满足算法实时性的问题。

2

图像仿射方程的建立

建立合适的数学模型是开发视频算法的基础，建立什么样的数学模型决定了算法能实现的功能和算法的精度。本稳像算法采用的

Similarity

模型。这个图像运动模型可以实现图像平移、旋转和缩放的处理。

2.1 Similarity

模型

摄像机本身除平移运动外还可能发生旋转运动，例如：在车载摄像系统中，摄像机固定在车体上，在车辆行驶过程中，因为路面不平坦，车辆可能发生左右摇摆，从而使图像旋转。目前一般对绕光轴或者平行光轴的旋转运动进行研究。同时，在存在场景的缩放时，利用缩放因子

s

对缩放运动进行描述。由此，当图像可能发生平移、旋转、缩放运动时，可采用

Similarity

运动模型为：

(1)

式中

θ——

旋转角度；

s——

缩放因子；

——

某个像素点在参考帧的坐标；

——

同一像素点在当前第

K

帧的坐标；

——

相对于

的偏移量。

3

稳像算法中运动估计算法的研究

运动估计算法是稳像算法的第一步，也是基础。运动估计算法的好坏决定整个稳像算法的精度。运动估计算法的主要完成的任务是：根据当前帧与参考帧的图像信息求取两帧图像之间的运动信息。本文采用基于特征点匹配的运动估计算法，这种算法的优点是求取运动信息的精度高。

本产品基于特征点匹配的运动估计算法包括：局部运动估计和全局运动估计两个部分。局部运动估计是先求取当前帧中各特征点的运动参数，再从中提取全局运动特征点的过程。全局运动估计是根据当前帧中所有全局特征点的运动参数求取当前帧相对于参考帧的运动参数的过程。其中局部运动估计又包括：特征点提取，特征点匹配，特征点验证三个部分。基于特征匹配的运动估计算法的实现步骤如图

2

所示。

图

2

特征点匹配运动估计示意图

Fig.2 The schematic diagram of motion estimation with feature points matching

特征点提取是根据角点提取的算法求取当前帧中的所有特征点。特征点匹配是求取所有特征点运动参数的过程。特征点验证是求取误匹配点和局部特征点的过程。

特征点提取是提取当前帧中的特征点。目前，主要被利用的特征量有：角点、直边缘、曲边缘等局部特征和型心、表面积、惯量矩的长短轴等全局特征，其中角点是应用最广泛的一种图像特征。特征匹配结果的好坏，很大程度上取决于角点的提取。本算法采用

Harris

算子提取当前帧中的角点量做为特征点，被提取出的特征点包含当前帧的大部分信息，他们的运动信息反映当前帧的运动信息。如图

2

所示稳像算法在当前帧中提取

N

个特征点。

在正确提取当前帧图像中的特征点之后，就要对所有提取出来的特征点做匹配搜索，求取每个特征点相对于参考帧的运动参数。这种匹配搜索与块匹配稳像算法的思想类似。匹配的方法有全搜索和局部搜索两种。全搜索匹配精度高但很耗时，部搜索精度低但实时性好。特征点匹配采用绝对误差和

(SAD)

的验证准则，这种验证准则便于计算和实现，而且精度也很高。所以本稳像算法采用全所搜方法和绝对误差和

(SAD)

的验证准则。特征点匹配将得到所有特征点的最佳匹配块和运动矢量，以及当前帧中特征点与参考帧中的对应的特征点构成一个特征点集对。

特征点验证时取出在特征点提取和特征点匹配的过程中产生的误匹配和局部特征点。由于运动的物体在当前帧中产生和消失，使特征点无法在参考帧中搜索到最佳匹配位置。同时在特征点提取过程中，将局部运动物体的特征点提取出来。这些误匹配的特征点和局部特征点的运动信息会严重影响运动估计的精度，必须将他们剔除。本稳像算法采用空间距离约束的思想剔除特征点中的误匹配点和局部特征点。特征点验证能提高本稳像算法精度和鲁棒性。

全局运动估计是采用最小二乘法的思想，通过局部运动估计求取出的全局特征点的运动信息，求取出当前帧与参考帧的相对运动信息。最小二乘法是根据算法是将前面求得的全局特征点对带入算法采用的数学模型并联立成一个超定方程组。这个超定方程组的解，就是全局运动矢量。

casevision501 · 发表于 2010-7-1 11:05:32

4

稳像算法中运动补偿算法的研究

在可以精确求解出当前帧相对于参考帧的运动矢量的基础上，如果图像序列不包含摄像机的主运动，根据求取的运动估计对抖动的图像做反向的运动补偿。这样便使当前帧图像补偿到参考帧图像的位置上，使两帧图像完全重合，消除了因抖动造成的视频抖动。这样就可以得到一个稳定的、静止的图像序列。

运动补偿需要对图像做平移和旋转处理。图像旋转处理需要对图像中每一个像素点进行多次的乘法和浮点运算。所以图像的旋转运算量很大，实行性很难保证。为了满足系统的实时性要求，本文采用了一种基于图像线性储存空间的旋转算法。在数据处理上采用图像分块处理和

PING-PONG

双缓冲方法以满足系统对实时性的要求。

5

稳像算法中运动滤波算法的研究

在很多情况下，摄像机是随载体平台一起运动的。这时不能直接根据运动估计求取的全局运动矢量进行运动补偿。为了在载体平台运动的过程中对抖动的图像进行稳像，只能去补偿载体抖动的那部分运动矢量，保留摄像机载体平台的自身主运动矢量。解决这个问题的方法就是把全局运动参数分离成有意运动矢量和无意运动矢量，并只对无意运动矢量进行补偿，而保留有意运动矢量，从而输出平滑的图像序列。

本文采取

Kalman

滤波实现分离有意运动矢量和无意运动矢量，这种滤波器的算法延迟很小。

5.1 Kalman

滤波公式

Kalman

滤波是以最小均方误差为准则的最佳线性滤波。是分线性运动中包含噪声的最有滤波器。

Kalman

滤波器的信号模型由状态方程和量测方程得到。系统离散时间模型为：

Kalman

滤波公式为

:

5.2

状态空间模型的确定

变量

△

x

，

△

y

描述的是图像序列帧间的平移运动，而平移运动源于摄像机的主动运动。这里假设摄像机的主动运动为恒速运动，即把摄像机的运动过程看成是一个一阶的线性系统，把摄像机的抖动视为一种噪声。我们要做的任务就是去除或滤掉这写噪声。一般地对恒速运动量测动态建模的方法是：假设它的速度变化为

△

v

，而

△

v

服从某种随机分布。

△

x

的状态空间模型为：

(8)

式中

ΔVχ—— Δχ

的变化量；

N(0,σχ)——

高斯白噪声。

我们

Δy

、

θ

两个分量都视做一个一阶线性系统夹杂着高斯白噪声。其状态空间的模型与

Δχ

完全相同。

所以主动运动的完整状态空间模型可写为：

(9)

其中

σθ

，

σχ

，

σy

是相互独立的。

6

总结

本产品采用一种基于特征匹配的电子稳像算法。该稳像算法采用特征量匹配的算法。在提取特征量时采用

Harris

算子提取角点的算法。

Harris

角点提取算法具有精度高、抗噪声能力强、稳定性好等特点。然后对所有的特征点采用

SAD

准则在参考帧中做全搜索，求取所有特征点的局部运动矢量。

SAD

准则运算速度快且匹配高，全搜索虽然计算量很大，但对于稳像这种需要大范围运动搜索的算法只能采用全搜索的策略，避免产生大量的误匹配以致稳像失败。可以根据特征点的约束结构来剔除误匹配点和图像中的局部特征点，保留全局特征点。将保留下来的全局特征点的运动参数带入最小二乘方程中，即可估计出最优全局运动矢量。最小二乘法估算出的全局运动参数准确、可靠。本算法采用快速的图像补偿算法，以图像快速旋转算法的为核心来实现的，可以在最短是的时间内去图像进行平移、旋转和缩放处理，同时有很好的实行性，完全满足稳像系统实时性的要求。

Kalman

是分离系统中噪声最优的滤波器。

Kalman

滤波器只需要前后两帧的数据，所以基本上不产生延迟，实时性很高。所以很适用于稳像算法，用来实时地分离有意运动矢量和无意运动矢量，达到平滑的稳像效果。

ysj1082002 · 发表于 2010-7-1 11:22:13

看过了，不错。

casevision501 · 发表于 2010-7-2 09:58:34

4 稳像算法中运动补偿算法的研究在可以精确求解出当前帧相对于参考帧的运动矢量的基础上，如果图像序列不包含摄像机的主运动，根据求取的运动估计对抖动的图像做反向的运动补偿。这样便使当前帧图像补偿到参考帧图像的位置上，使两帧图像完全重合，消除了因抖动造成的视频抖动。这样就可以得到一个稳定的、静止的图像序列。运动补偿需要对图像做平移和旋转处理。图像旋转处理需要对图像中每一个像素点进行多次的乘法和浮点运算。所以图像的旋转运算量很大，实行性很难保证。为了满足系统的实时性要求，本文采用了一种基于图像线性储存空间的旋转算法。在数据处理上采用图像分块处理和PING-PONG双缓冲方法以满足系统对实时性的要求。 5 稳像算法中运动滤波算法的研究在很多情况下，摄像机是随载体平台一起运动的。这时不能直接根据运动估计求取的全局运动矢量进行运动补偿。为了在载体平台运动的过程中对抖动的图像进行稳像，只能去补偿载体抖动的那部分运动矢量，保留摄像机载体平台的自身主运动矢量。解决这个问题的方法就是把全局运动参数分离成有意运动矢量和无意运动矢量，并只对无意运动矢量进行补偿，而保留有意运动矢量，从而输出平滑的图像序列。本文采取Kalman滤波实现分离有意运动矢量和无意运动矢量，这种滤波器的算法延迟很小。 5.1 Kalman滤波公式Kalman滤波是以最小均方误差为准则的最佳线性滤波。是分线性运动中包含噪声的最有滤波器。Kalman滤波器的信号模型由状态方程和量测方程得到。系统离散时间模型为： Kalman滤波公式为: 5.2 状态空间模型的确定变量△x，△y描述的是图像序列帧间的平移运动，而平移运动源于摄像机的主动运动。这里假设摄像机的主动运动为恒速运动，即把摄像机的运动过程看成是一个一阶的线性系统，把摄像机的抖动视为一种噪声。我们要做的任务就是去除或滤掉这写噪声。一般地对恒速运动量测动态建模的方法是：假设它的速度变化为△v，而△v服从某种随机分布。△x的状态空间模型为： (8)
式中ΔVχ—— Δχ的变化量； N(0,σχ)——高斯白噪声。我们 Δy、θ 两个分量都视做一个一阶线性系统夹杂着高斯白噪声。其状态空间的模型与 Δχ完全相同。所以主动运动的完整状态空间模型可写为： (9) 其中 σθ，σχ ，σy 是相互独立的。 6 总结本产品采用一种基于特征匹配的电子稳像算法。该稳像算法采用特征量匹配的算法。在提取特征量时采用Harris算子提取角点的算法。Harris角点提取算法具有精度高、抗噪声能力强、稳定性好等特点。然后对所有的特征点采用SAD准则在参考帧中做全搜索，求取所有特征点的局部运动矢量。SAD准则运算速度快且匹配高，全搜索虽然计算量很大，但对于稳像这种需要大范围运动搜索的算法只能采用全搜索的策略，避免产生大量的误匹配以致稳像失败。可以根据特征点的约束结构来剔除误匹配点和图像中的局部特征点，保留全局特征点。将保留下来的全局特征点的运动参数带入最小二乘方程中，即可估计出最优全局运动矢量。最小二乘法估算出的全局运动参数准确、可靠。本算法采用快速的图像补偿算法，以图像快速旋转算法的为核心来实现的，可以在最短是的时间内去图像进行平移、旋转和缩放处理，同时有很好的实行性，完全满足稳像系统实时性的要求。Kalman是分离系统中噪声最优的滤波器。Kalman滤波器只需要前后两帧的数据，所以基本上不产生延迟，实时性很高。所以很适用于稳像算法，用来实时地分离有意运动矢量和无意运动矢量，达到平滑的稳像效果。

kslc501 · 发表于 2010-7-3 12:33:52

还是登陆www.casevision.net上面的信息更多更全

casevision501 · 发表于 2010-7-5 09:41:43

1

．简介摄像机有时必须安装在有震动的环境中，如摄像机固定在建筑物或杆子上、安装在机器（如车、飞机、船等）、加热通风设备、空调、PTZ

云台等上，都必然存在机械震动，而且这些机械震动往往难以消除，机械震动会引起视频图像的抖动，尤其是在使用高倍放大的镜头情况下，轻微的机械震动都会引起图像的剧烈抖动，从而严重影响对视频的观察监视。

VS8902

电子稳像器通过图像处理算法来消除视频图像的各种抖动，从而提供高质量的清晰画面。电子稳像器会带来如下好处：

l

稳定的视频可以更好地表现图像细节，从而提高视频监视的质量

l

一般来说，图像抖动是非常令人生厌的，并极易引起视觉疲劳

l

稳定的图像为后端的数字视频记录设备提供了更有利于压缩的视频源。

VS8902

电子稳像器，使用高性能DSP

作为核心处理单元，在图像处理算法上采用Harris

角点、全精度运动估计及卡尔曼滤波技术，对图像的各种抖动进行计算并去除。从而实时实现了对图像的去抖处理。

VS8902

电子稳像器使用在前端设备（如彩色、黑白、红外、热成像等摄像机）和后端设备（如DVR

、矩阵切换器、显示器等）之间，它去除摄像机因机械震动而引起的图像抖动，为后端设备提供一个清晰的稳定的图像。

特征

VS8902

电子稳像器安装简单，在电气上它应该在摄像机和后端控制存储设备之间。它具有下面一些特点：

l

自动适应PAL/NTSC

制式的模拟摄像机。

l

校正图像的所有抖动：水平方向、垂直方向、旋转方向。

l

稳像算法的有效图象区域可以设置，以去除图像上OSD

对稳像效果的影响。

l

全实时：PAL

制25

帧/

秒，NTSC

制30

帧/

秒。

l

低延迟：延迟时间小于40ms

。

l

通过串口、简单的OSD

菜单或DIP

开关来设置参数和控制

l

固件的在线升级。

l

支持商用级、工业级和军用级工作温度范围。

应用场合

VS8902

电子稳像器，特别适合于下面的应用场合：

l

汽车、火车、船舶。

l

飞机和直升飞机。

l

无人驾驶的飞行器。

l

高的建筑物、桥梁、隧道。

l

多风的海岸边的监视。

l

因机器设备或空调而导致震动的工厂。

l

案装在柱子上或杆上的摄像机，如高速公路的交通监视。

2

．技术参数（1）

视频制式：自动检测适应PAL/NTSC

制式，输入：阻抗75

欧姆，峰峰值1V

。输出：阻抗75

欧姆，峰峰值1V

。

（2）

全实时：PAL

制25

帧/

秒，NTSC

制30

帧/

秒。

（3）

低延迟：延迟时间小于40ms

。

（4）

校正模式：X/Y

方向抖动校正，旋转抖动校正，以及这两种抖动的组合。

（5）

稳像算法的有效区域可以配置。以去除图像上叠加的OSD

对稳像效果的影响。

（6）

RS232/RS485

串口通讯，波特率可设置。

（7）

支持OSD

菜单、串行通讯、DIP

开关的设置。设置参数可存储与FALSH

中长期保存不丢失。

（8）

固件在线升级。

（9）

电源：DC12V

，

≤

1.0A

。

（10）

机械尺寸：见安装尺寸

（11）

环境温度

a)

工作温度：0

℃

～+90℃

（商用级）

；-45

℃

～+85℃

（扩展温度）

b)

存储温度：-55

℃

～+90℃

；

（12）

湿度：最大95%

，无霜

（13）

震动：正弦：10g

（15-2000Hz

）；随机：0.04g

2/Hz

（15-2000Hz

）

冲击：>30g

，11ms

，锯齿波。

上海凯视力成信息科技有限公司

http://www.casevision.net

电话： 021-65879969
传真： 021-65879965
公司E-mail：casevision@hotmail.com
市场部E-mail：market@casevision.net
手机：15921406693 肖先生
15921843435 陈先生
QQ： 1306856062、1398414363、623038119
地址：上海市虹口区东体育会路100弄1号501室

liuxunhao · 发表于 2010-7-5 10:06:10

比东

casevision501 · 发表于 2010-7-6 09:34:42

有兴趣的，可以直接联系我们公司的销售，或登录凯视力成公司网站

http://www.casevision.net/

casevision501 · 发表于 2010-7-7 09:41:12

具体的对比效果，可加QQ1306856062、1398414363、623038119

http://www.casevision.net

kslc501 · 发表于 2010-7-7 17:28:58

发个视频给大家看看

		自动登录	找回密码
密码			立即注册