头图

自媒体运营、短视频带货、数字人直播,越来越多的场景中出现了 AI 数字人。

只需训练一段人物视频,再加上随机导入的音频,就能轻松制作出唇形同步的全新人物视频,利用「科技魔法」创造出专属的 AI 数字人分身!
自媒体运营、短视频带货、数字人直播,越来越多的场景中出现了 AI 数字人。

只需训练一段人物视频,再加上随机导入的音频,就能轻松制作出唇形同步的全新人物视频,利用「科技魔法」创造出专属的 AI 数字人分身!

图片

然而,要制作一个高质量的数字人分身并不简单。除了繁琐的环境配置、较高的硬件要求外,我们还得安装一大堆工具,比如 CUDA、VS Code、Anaconda 等,这些工具之间可能存在的版本冲突也让很多用户头疼不已。

对此,OpenBayes 平台上线了「GeneFace++ 数字人 Demo」教程,该教程为大家搭建好了环境,无需任何复杂的前期准备,点击克隆即可一键启动,效果非常真实!

公共教程地址:

https://go.openbayes.com/vbbmI
操作步骤

PART 1

前期准备 

准备一段 3-5 分钟的视频:

  • 画面清晰,正方形尺寸(最好为 512*512 大小);
  • 为了让模型能更好地提取背景,视频背景最好为纯色,无其他干扰因素;
  • 视频中的人物面部清晰且占比较大、正面、采集的画面最好在肩部以上,人物动作幅度不宜过大、也不宜过小;
  • 视频中的音频无杂音;
  • 视频名称命名最好为英文。
    注意:此视频将用于模型训练,视频质量越好,所得效果越好。因此,在数据准备部分多花费一些时间和精力是必要的。
    下图为视频画面示例:

自媒体运营、短视频带货、数字人直播,越来越多的场景中出现了 AI 数字人。

只需训练一段人物视频,再加上随机导入的音频,就能轻松制作出唇形同步的全新人物视频,利用「科技魔法」创造出专属的 AI 数字人分身!

图片

然而,要制作一个高质量的数字人分身并不简单。除了繁琐的环境配置、较高的硬件要求外,我们还得安装一大堆工具,比如 CUDA、VS Code、Anaconda 等,这些工具之间可能存在的版本冲突也让很多用户头疼不已。

对此,OpenBayes 平台上线了「GeneFace++ 数字人 Demo」教程,该教程为大家搭建好了环境,无需任何复杂的前期准备,点击克隆即可一键启动,效果非常真实!

公共教程地址:

https://go.openbayes.com/vbbmI
操作步骤

PART 1

前期准备 

准备一段 3-5 分钟的视频:

  • 画面清晰,正方形尺寸(最好为 512*512 大小);
  • 为了让模型能更好地提取背景,视频背景最好为纯色,无其他干扰因素;
  • 视频中的人物面部清晰且占比较大、正面、采集的画面最好在肩部以上,人物动作幅度不宜过大、也不宜过小;
  • 视频中的音频无杂音;
  • 视频名称命名最好为英文。
    注意:此视频将用于模型训练,视频质量越好,所得效果越好。因此,在数据准备部分多花费一些时间和精力是必要的。
    下图为视频画面示例:

图片

PART 2

Demo 运行阶段 

  1. 登录 https://openbayes.com/,在「公共教程」页面,选择「GeneFace++ 数字人 Demo」。

图片

2. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

图片

  1. 点击右下角「下一步:选择算力」。

图片

4. 跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长!
小贝总专属邀请链接(直接复制到浏览器打开):https://openbayes.com/console/signup?r=GraceXiii_W8qO

图片

5. 点击「继续执行」,等待分配资源,首次克隆需等待 3-5 分钟左右的时间。当状态变为「运行中」后,点击「打开工作空间」。

若超过 10 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。

图片

图片

图片

  1. 打开工作空间后,在启动页新建一个终端会话,然后在命令行里输入以下代码启动环境,复制粘贴即可。
conda env export -p /output/genefaceconda activate /output/geneface

图片

图片

  1. 稍等片刻,在终端中运行以下指令配置环境变量。
source bashrc

图片

  1. 稍等片刻,在命令行里输入以下代码,启动 WebUI**,等待大约 1 分钟。
/openbayes/home/start_web.sh

图片

9. 当命令行出现「Running on local URL: https://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可访问 GeneFace++ 界面。请注意,用户需在实名认证后才能使用 API 地址访问功能。

图片

PART 3

视频展示阶段 

1. 打开 GeneFace++ 界面后,导入提前准备好的视频,选择训练步数 「50000」,点击「Train」开始训练。

注意:此步骤需要等待 2 小时以上,期间可以 1-2 次检查训练是否正常运行,避免过程中断但仍持续等待造成的时间损失。 此处的训练步数「50000」是在默认情况下,如果 50000 步训练的结果很差,请更换训练数据重新训练。

图片

2. 当出现「Train Success」后,刷新 GeneFace++ 界面。
图片

  1. 在 GeneFace++ 界面选择相应模型。
  2. 在左侧上传音频,中间模块的参数部分先无需修改。
  • 右侧的模型选择音频驱动模型「model_ckpt_steps_400000.ckpt」。
  • 选择 5 万步下训练对应的躯干模型「model_ckpt_steps_50000.ckpt」。
  • 选择 5 万步下训练对应的头部模型「model_ckpt_steps_50000.ckpt」。

图片

图片

  1. 点击「Gnerate」,即可生成效果。

图片

5. 如果想要进一步训练。删除对应模型下的 head_done 文件夹、torso_done 文件夹。

图片

图片

6. 上传之前的训练视频,视频文件名称保持不变,调高训练步数,点击 「Train」进行训练。

图片

图片

  1. 训练结束后,在 GeneFace++ 界面,右侧的模型选择默认的音频驱动模型、15 万步下训练对应的躯干模型、15 万下训练对应的头部模型。点击「Gnerate」,即可生成最终效果。

新用户福利

  • 新用户注册:点击下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长,永久有效!

📢 小贝总专属邀请链接(直接复制到浏览器打开):

https://openbayes.com/console/signup?r=GraceXiii_W8qO 8u

使用过程遇到任何问题,欢迎扫码添加 OpenBayes 首席福利官小贝的微信哦,分分钟帮你解决! 

图片

PART 2

Demo 运行阶段 

  1. 登录 https://openbayes.com/,在「公共教程」页面,选择「GeneFace++ 数字人 Demo」。

图片

2. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

图片

  1. 点击右下角「下一步:选择算力」。

图片

4. 跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长!
小贝总专属邀请链接(直接复制到浏览器打开):https://openbayes.com/console/signup?r=GraceXiii_W8qO

图片

5. 点击「继续执行」,等待分配资源,首次克隆需等待 3-5 分钟左右的时间。当状态变为「运行中」后,点击「打开工作空间」。

若超过 10 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。

图片

图片

图片

  1. 打开工作空间后,在启动页新建一个终端会话,然后在命令行里输入以下代码启动环境,复制粘贴即可。
conda env export -p /output/genefaceconda activate /output/geneface

图片

图片

  1. 稍等片刻,在终端中运行以下指令配置环境变量。
source bashrc

图片

  1. 稍等片刻,在命令行里输入以下代码,启动 WebUI**,等待大约 1 分钟。
/openbayes/home/start_web.sh

图片

9. 当命令行出现「Running on local URL: https://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可访问 GeneFace++ 界面。请注意,用户需在实名认证后才能使用 API 地址访问功能。

图片

PART 3

视频展示阶段 

1. 打开 GeneFace++ 界面后,导入提前准备好的视频,选择训练步数 「50000」,点击「Train」开始训练。

注意:此步骤需要等待 2 小时以上,期间可以 1-2 次检查训练是否正常运行,避免过程中断但仍持续等待造成的时间损失。 此处的训练步数「50000」是在默认情况下,如果 50000 步训练的结果很差,请更换训练数据重新训练。

图片

2. 当出现「Train Success」后,刷新 GeneFace++ 界面。
图片

  1. 在 GeneFace++ 界面选择相应模型。
  2. 在左侧上传音频,中间模块的参数部分先无需修改。
  • 右侧的模型选择音频驱动模型「model_ckpt_steps_400000.ckpt」。
  • 选择 5 万步下训练对应的躯干模型「model_ckpt_steps_50000.ckpt」。
  • 选择 5 万步下训练对应的头部模型「model_ckpt_steps_50000.ckpt」。

图片

图片

  1. 点击「Gnerate」,即可生成效果。

图片

5. 如果想要进一步训练。删除对应模型下的 head_done 文件夹、torso_done 文件夹。

图片

图片

6. 上传之前的训练视频,视频文件名称保持不变,调高训练步数,点击 「Train」进行训练。

图片

图片

  1. 训练结束后,在 GeneFace++ 界面,右侧的模型选择默认的音频驱动模型、15 万步下训练对应的躯干模型、15 万下训练对应的头部模型。点击「Gnerate」,即可生成最终效果。

新用户福利

  • 新用户注册:点击下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长,永久有效!

📢 小贝总专属邀请链接(直接复制到浏览器打开):

https://openbayes.com/console/signup?r=GraceXiii_W8qO 8u

使用过程遇到任何问题,欢迎扫码添加 OpenBayes 首席福利官小贝的微信哦,分分钟帮你解决! 

图片

然而,要制作一个高质量的数字人分身并不简单。除了繁琐的环境配置、较高的硬件要求外,我们还得安装一大堆工具,比如 CUDA、VS Code、Anaconda 等,这些工具之间可能存在的版本冲突也让很多用户头疼不已。

对此,OpenBayes 平台上线了「GeneFace++ 数字人 Demo」教程,该教程为大家搭建好了环境,无需任何复杂的前期准备,点击克隆即可一键启动,效果非常真实!

公共教程地址:

https://go.openbayes.com/vbbmI
操作步骤

PART 1

前期准备 

准备一段 3-5 分钟的视频:

  • 画面清晰,正方形尺寸(最好为 512*512 大小);
  • 为了让模型能更好地提取背景,视频背景最好为纯色,无其他干扰因素;
  • 视频中的人物面部清晰且占比较大、正面、采集的画面最好在肩部以上,人物动作幅度不宜过大、也不宜过小;
  • 视频中的音频无杂音;
  • 视频名称命名最好为英文。
    注意:此视频将用于模型训练,视频质量越好,所得效果越好。因此,在数据准备部分多花费一些时间和精力是必要的。
    下图为视频画面示例:

图片

PART 2

Demo 运行阶段 

  1. 登录 https://openbayes.com/,在「公共教程」页面,选择「GeneFace++ 数字人 Demo」。

图片

2. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

图片

  1. 点击右下角「下一步:选择算力」。

图片

4. 跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长!
小贝总专属邀请链接(直接复制到浏览器打开):https://openbayes.com/console/signup?r=GraceXiii_W8qO

图片

5. 点击「继续执行」,等待分配资源,首次克隆需等待 3-5 分钟左右的时间。当状态变为「运行中」后,点击「打开工作空间」。

若超过 10 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。

图片

图片

图片

  1. 打开工作空间后,在启动页新建一个终端会话,然后在命令行里输入以下代码启动环境,复制粘贴即可。
conda env export -p /output/genefaceconda activate /output/geneface

图片

图片

  1. 稍等片刻,在终端中运行以下指令配置环境变量。
source bashrc

图片

  1. 稍等片刻,在命令行里输入以下代码,启动 WebUI**,等待大约 1 分钟。
/openbayes/home/start_web.sh

图片

9. 当命令行出现「Running on local URL: https://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可访问 GeneFace++ 界面。请注意,用户需在实名认证后才能使用 API 地址访问功能。

图片

PART 3

视频展示阶段 

1. 打开 GeneFace++ 界面后,导入提前准备好的视频,选择训练步数 「50000」,点击「Train」开始训练。

注意:此步骤需要等待 2 小时以上,期间可以 1-2 次检查训练是否正常运行,避免过程中断但仍持续等待造成的时间损失。 此处的训练步数「50000」是在默认情况下,如果 50000 步训练的结果很差,请更换训练数据重新训练。

图片

2. 当出现「Train Success」后,刷新 GeneFace++ 界面。
图片

  1. 在 GeneFace++ 界面选择相应模型。
  2. 在左侧上传音频,中间模块的参数部分先无需修改。
  • 右侧的模型选择音频驱动模型「model_ckpt_steps_400000.ckpt」。
  • 选择 5 万步下训练对应的躯干模型「model_ckpt_steps_50000.ckpt」。
  • 选择 5 万步下训练对应的头部模型「model_ckpt_steps_50000.ckpt」。

图片

图片

  1. 点击「Gnerate」,即可生成效果。

图片

5. 如果想要进一步训练。删除对应模型下的 head_done 文件夹、torso_done 文件夹。

图片

图片

6. 上传之前的训练视频,视频文件名称保持不变,调高训练步数,点击 「Train」进行训练。

图片

图片

  1. 训练结束后,在 GeneFace++ 界面,右侧的模型选择默认的音频驱动模型、15 万步下训练对应的躯干模型、15 万下训练对应的头部模型。点击「Gnerate」,即可生成最终效果。

新用户福利

  • 新用户注册:点击下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长,永久有效!

📢 小贝总专属邀请链接(直接复制到浏览器打开):

https://openbayes.com/console/signup?r=GraceXiii_W8qO 8u

使用过程遇到任何问题,欢迎扫码添加 OpenBayes 首席福利官小贝的微信哦,分分钟帮你解决! 

图片


OpenBayes
6 声望1 粉丝

贝式计算是中国领先的高性能计算服务提供商,通过为新一代异构芯片嫁接经典软件生态及机器学习模型,向工业企业及高效科研院所提供更加快速、易用的数据科学计算产品。