Meta发布AI动画工具Animated Drawings

Meta AI Research、腾讯美国、MIT CSAIL和卡内基梅隆大学联合研究并发布了Animated Drawings，这是一款基于AI的工具，可以将手绘的类人角色转化为动画。

技术实现

Animated Drawings结合了多种技术来实现目标：

• 目标检测：预测包含角色的紧密边界框。
• 图像分割：将属于角色的像素与背景分离。
• 姿势估计：识别一系列骨骼关节。

通过这些技术，可以创建手绘角色的数字版本，并应用从人类表演者获取的预选运动数据，使用计算机图形技术进行动画制作。

研究背景与数据集

研究人员最初尝试从合成数据构建数据集失败后，开发了一个名为Animated Drawings Demo的Web工具，用于从创作者那里收集数据。最初目标是收集约10,000幅绘图，但由于用户反响热烈，最终收集了超过300万幅绘图，其中约200,000幅被纳入最终数据集。

研究成果

研究成果已在一篇被ACM Transactions on Graphics接受的论文中展示，并通过Meta开源了论文中描述的算法实现，供实验使用。

工具使用

Animated Drawings工具以Python编写，已在macOS Ventura 13.2.1和Ubuntu 18.04上测试。用户可以通过命令行轻松创建现有注释绘图的动画。例如：

from animated_drawings import render
render.start('./examples/config/mvc/interactive_window_example.yaml')

要使用额外的绘图，用户需要先进行注释，可以通过手动或使用脚本运行人形检测器和姿势估计器来完成。脚本依赖TorchServe，并可以使用提供的Dockerfile轻松部署。Meta提到，注释文件可能需要进行一些手动调整，为此容器中还提供了一个基于Web的工具。

动画制作

最后，角色可以使用BVH格式的运动剪辑进行动画制作。Meta提供了多种BVH动画，如跳跃、挥手等。用户还可以使用rokoko等工具从RGB视频创建额外的BVH动画。

未来改进

Animated Drawings只是基于AI的绘图到动画系统的初步尝试，存在多种改进可能性。研究人员提到，可以通过更好地处理对焦不足、失真、光照效果或阴影来改进分割，以及通过预动画分类人类角色来改进姿势估计和动画。