视频技术理解

在学长的建议下,我开始了解视频动作识别领域的一些知识。

以博客和一些经典的论文为着手点。此外,针对学长推荐的视频,也做了简短的笔记。

王利民教授报告 20210106

题目:视频人体动作识别与检测:方法与数据

1. 视频动作理解

  • 丰富的应用场景
  • UCF 数据集
  • 相关任务
    • Video Action Recognition
    • Video Action Detection
      • 时序的detection
      • 空间的detection
        • 单帧 or Q
  • 研究视角
    • 视频表征技术
      • 时空特征的抽取(静态+动态)
    • 视频检测技术
      • 时序定位:镜头切换,边缘歧义
      • 空间定位:不同尺度,遮挡,效率
    • 视频学习算法
      • 视频表征的自监督学习
      • 动作检测的弱监督学习

2. 识别

  • 学术界数据集
  • 视频表征
    • Two-stream CNN(2014)
    • 3D CNN(2015)
    • Appearance & Relation Net(2018)
    • Non-local Net(2018)
    • Correlation Network(2020)
  • Outline
    • 视频识别模型
    • 视频检测框架
    • 视频自监督学习
  • Motivation
    • 设计模块插入现有的2D CNN
  • Enhance-and-Interact Scheme
    • 用motion强化重要的特征,相对弱化那些不重要的特征
    • 只需要motion时序变化
  • Pipeline模块
  • Experiments验证
  • Adaptive建模
  • Explicit Motion Modeling
  • Two-level Difference Modeling
  • Temporal Difference Module

3. 检测

  • Context-Aware RCNN
  • Rol Pooling vs. Crop + Classification

发表评论