在学长的建议下,我开始了解视频动作识别领域的一些知识。
以博客和一些经典的论文为着手点。此外,针对学长推荐的视频,也做了简短的笔记。
王利民教授报告 20210106
题目:视频人体动作识别与检测:方法与数据
1. 视频动作理解
- 丰富的应用场景
- UCF 数据集
- 相关任务
- Video Action Recognition
- Video Action Detection
- 时序的detection
- 空间的detection
- 单帧 or Q
- 研究视角
- 视频表征技术
- 时空特征的抽取(静态+动态)
- 视频检测技术
- 时序定位:镜头切换,边缘歧义
- 空间定位:不同尺度,遮挡,效率
- 视频学习算法
- 视频表征的自监督学习
- 动作检测的弱监督学习
- 视频表征技术
2. 识别
- 学术界数据集
- 视频表征
- Two-stream CNN(2014)
- 3D CNN(2015)
- Appearance & Relation Net(2018)
- Non-local Net(2018)
- Correlation Network(2020)
- Outline
- 视频识别模型
- 视频检测框架
- 视频自监督学习
- Motivation
- 设计模块插入现有的2D CNN
- Enhance-and-Interact Scheme
- 用motion强化重要的特征,相对弱化那些不重要的特征
- 只需要motion时序变化
- Pipeline模块
- Experiments验证
- Adaptive建模
- Explicit Motion Modeling
- Two-level Difference Modeling
- Temporal Difference Module
3. 检测
- Context-Aware RCNN
- Rol Pooling vs. Crop + Classification