动作识别计算机视觉技术深度解读之视频动作识别

2021-11-23 01:34

视频理解和识别是计算机视觉的基本任务之一。随着视频设备和网络的普及，视频理解越来越受到研究者的关注。识别视频中的动作是具有很高实际应用价值的挑战性任务之一。与图像相比，视频内容和背景更加复杂多变，不同的动作类别相似，而同一类别在不同环境下具有不同的特征。此外，拍摄带来的遮挡、抖动、角度变化等也给运动识别带来了进一步的困难。在实际应用中，准确的运动识别有助于舆情监控、广告以及许多其他与视频理解相关的任务。

与图像识别相比，视频分析需要更多的数据。在早期的数据集KTH、魏茨曼等，只有演员表演固定的动作，如散步、慢跑等。之后，UCF101等大规模数据集由网络视频组成，具体动作类别由志愿者手工标注。目前，研究人员已经发布了更大的数据集，例如，动力学包含数百个动作和数十万个视频。虽然与实际情况相比仍不全面，但对运动识别的研究也有很大帮助。

图1。运动学数据集的示例视频帧

目前常用的视频运动识别技术大致可以分为以下几类:

1.基于人工特征的视频运动识别

早期的运动识别主要基于感兴趣点的检测和表示。梯度直方图、时间空感兴趣点检测和光流直方图都用于提取图像和时间序列的特征表示。与图像相比，视频包含了大量的运动信息。为了更好地利用运动信息，恒等人提出了密集跟踪的特征，对光流中每个像素的特征进行集中提取和跟踪，编码后进行分类。然而，当面对大规模数据集时，这些特性缺乏一定的灵活性和可扩展性。

2.基于双流的神经网络

近年来，神经网络在图像识别和目标检测等计算机视觉任务中取得了几乎优越的成绩，研究人员越来越多地将神经网络用于视频任务。然而，将用于图像分类的神经网络直接应用于视频分类会忽略视频的时间特性，这对于视频分类尤为重要。为此，研究者提出了一种基于双流的运动识别方法。Simonyan等人提出了一种融合网络。本文首次将视频分为空和时间，将RGB图像和光流图像送入两个神经网络融合最终的分类结果。如图2所示，利用双流神经网络可以同时获得视频中人或物体的外观和运动信息，这种方法在当时的每个参考数据集上都达到了领先的识别水平。

图2。双流神经网络结构图

此后，许多研究对双流网络的框架进行了改进。例如，时间分段网络提出了一种能够捕获更长时间序列的网络结构。徐提出了基于密集扩展网络的框架，并讨论了空与时间分支的不同融合方式。

3.基于三维卷积的神经网络

除了双流网络，一些研究人员还将神经网络优化为视频的三维卷积神经网络，以捕获更多的时间空信息。如图3所示，Tran等人首次提出在视频运动识别中使用三维神经网络代替二维神经网络。此后，由于ResNet在图像识别任务中的良好效果，Hara等人提出了基于3D网络的ResNet，邱等人也提出了用模拟3D神经网络的伪3D网络。