目前智能摄像机的构成以及硬件技术已经相对稳定和成熟，要最终完成智能摄像机的监控任务和智能技术还需要软件功能的密切配合，高效的视频编解码技术以及有效的计算机视觉算法是智能摄像机的核心技术，为摄像机完成智能分析任务提供了重要的技术保障。由图1所示，从视频采集到智能结果结构化输出主要包括：运动目标提取、运动目标跟踪、运动目标分类和运动目标行为分析以及结构化描述等步骤。

图1  智能摄像机分析流程

1. 运动目标提取

运动目标提取是智能分析的准备工作，基于此项工作摄像机可以从图像序列中将变化区域从背景区域中提取出来，运动目标的有效提取将大大减少后续过程的运算量，对于后期的目标识别和行为分析具有重要意义，目前较为主流的方法有背景减除法、时间差分法和光流法，最经典的全局光流场计算方法是L-K (Lueas&Kanada)法和H-S(Hom&Schunck)法。

2. 运动目标跟踪

运动目标的跟踪，即通过目标的有效表达，在图像序列中寻找与目标模板最相似候选目标区位置的过程。简单说，就是在序列图像中为目标定位。运动目标的有效表达除了对运动目标建模外，目标跟踪中常用到的目标特性表达主要包括：视觉特征(图像边缘、轮廓、形状、纹理、区域)、统计特征(直方图、各种矩特征)、变换系数特征(傅里叶描绘子、自回归模型)、代数特征(图像矩阵的奇异值分解)等。除了使用单一特征外，也可通过融合多个特征来提高跟踪的可靠性，目前主流的方法有：基于区域匹配跟踪算法、基于轮廓匹配跟踪算法、基于特征匹配跟踪算法。

3. 运动目标分类

运动目标分类，顾名思义，从检测到的运动区域中将特定类型的物体提取出来，例如分类场景中的人、机动车、人群等不同的目标。目前比较主流的方法有基于运动特性的分类和基于形状信息的分类。

4. 运动目标行为分析

行为分析是智能摄像机的关键目标之一，也是视频监控在维护公共安全中的重点难点问题。行为分析涉及计算机视觉、模式识别、人工智能等多个领域。它是在对视频图像序列进行低级处理的基础上，通过分析处理监控场景的图像、视频，获取监控场景的信息或场景中运动目标的信息，进一步研究图像中各目标的性质以及相互之间的联系，从而得出对客观场景的解释和高层次的语义描述，经常借助于神经网络和决策树来进行行为分析。