头图

出品人:Towhee 技术团队 顾梦佳

为时空动作检测任务设计实时框架仍然是一个挑战。YOWOv2 提出了一种新颖的实时动作检测框架,利用三维骨干和二维骨干进行准确的动作检测。经过改进,YOWOv2 明显优于Y OWO,并且仍然可以保持实时检测。YOWOv2 在数据集 UCF101-24 上以超过 20 FPS 的速度实现了 87.0% 的视频帧 mAP 和 52.8% 的全视频 mAP。在数据集 AVA 上,YOWOv2 在提速 20 FPS 的同时实现了 21.7% 的视频帧 mAP。

图片

Overview of YOWOv2YOWOv2

旨在检测不同规模的动作目标。为此,它精心构建了一个简单高效的二维骨干,带有特征金字塔网络,以提取不同级别的分类特征和回归特征。对于三维主干,YOWOv2 采用现有的高效架构 3D CNN 来节省开发时间。通过结合不同尺寸的三维和二维骨干,YOWOv2 公开了一系列高效的实时动作检测预训练模型,包括 YOWOv2-Tiny、YOWOv2-Medium 和 YOWOv2-Large。另外,该框架还引入了流行的动态标签分配策略和anchor-free机制,使 YOWOv2 紧跟先进的目标检测模型架构设计。

相关资料:

代码地址:https://github.com/yjh0410/YOWOv2
论文链接:YOWOv2: A Stronger yet Efficient Multi-level Detection Framework for Real-time Spatio-temporal Action Detection


Zilliz
154 声望829 粉丝

Vector database for Enterprise-grade AI