自媒体运营、短视频带货、数字人直播,越来越多的场景中出现了 AI 数字人。
只需训练一段人物视频,再加上随机导入的音频,就能轻松制作出唇形同步的全新人物视频,利用「科技魔法」创造出专属的 AI 数字人分身!
自媒体运营、短视频带货、数字人直播,越来越多的场景中出现了 AI 数字人。
只需训练一段人物视频,再加上随机导入的音频,就能轻松制作出唇形同步的全新人物视频,利用「科技魔法」创造出专属的 AI 数字人分身!
然而,要制作一个高质量的数字人分身并不简单。除了繁琐的环境配置、较高的硬件要求外,我们还得安装一大堆工具,比如 CUDA、VS Code、Anaconda 等,这些工具之间可能存在的版本冲突也让很多用户头疼不已。
对此,OpenBayes 平台上线了「GeneFace++ 数字人 Demo」教程,该教程为大家搭建好了环境,无需任何复杂的前期准备,点击克隆即可一键启动,效果非常真实!
公共教程地址:
https://go.openbayes.com/vbbmI
操作步骤
PART 1
前期准备
准备一段 3-5 分钟的视频:
- 画面清晰,正方形尺寸(最好为 512*512 大小);
- 为了让模型能更好地提取背景,视频背景最好为纯色,无其他干扰因素;
- 视频中的人物面部清晰且占比较大、正面、采集的画面最好在肩部以上,人物动作幅度不宜过大、也不宜过小;
- 视频中的音频无杂音;
- 视频名称命名最好为英文。
注意:此视频将用于模型训练,视频质量越好,所得效果越好。因此,在数据准备部分多花费一些时间和精力是必要的。
下图为视频画面示例:
自媒体运营、短视频带货、数字人直播,越来越多的场景中出现了 AI 数字人。
只需训练一段人物视频,再加上随机导入的音频,就能轻松制作出唇形同步的全新人物视频,利用「科技魔法」创造出专属的 AI 数字人分身!
然而,要制作一个高质量的数字人分身并不简单。除了繁琐的环境配置、较高的硬件要求外,我们还得安装一大堆工具,比如 CUDA、VS Code、Anaconda 等,这些工具之间可能存在的版本冲突也让很多用户头疼不已。
对此,OpenBayes 平台上线了「GeneFace++ 数字人 Demo」教程,该教程为大家搭建好了环境,无需任何复杂的前期准备,点击克隆即可一键启动,效果非常真实!
公共教程地址:
https://go.openbayes.com/vbbmI
操作步骤
PART 1
前期准备
准备一段 3-5 分钟的视频:
- 画面清晰,正方形尺寸(最好为 512*512 大小);
- 为了让模型能更好地提取背景,视频背景最好为纯色,无其他干扰因素;
- 视频中的人物面部清晰且占比较大、正面、采集的画面最好在肩部以上,人物动作幅度不宜过大、也不宜过小;
- 视频中的音频无杂音;
- 视频名称命名最好为英文。
注意:此视频将用于模型训练,视频质量越好,所得效果越好。因此,在数据准备部分多花费一些时间和精力是必要的。
下图为视频画面示例:
PART 2
Demo 运行阶段
- 登录 https://openbayes.com/,在「公共教程」页面,选择「GeneFace++ 数字人 Demo」。
2. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。
- 点击右下角「下一步:选择算力」。
4. 跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长!
小贝总专属邀请链接(直接复制到浏览器打开):https://openbayes.com/console/signup?r=GraceXiii_W8qO
5. 点击「继续执行」,等待分配资源,首次克隆需等待 3-5 分钟左右的时间。当状态变为「运行中」后,点击「打开工作空间」。
若超过 10 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。
- 打开工作空间后,在启动页新建一个终端会话,然后在命令行里输入以下代码启动环境,复制粘贴即可。
conda env export -p /output/genefaceconda activate /output/geneface
- 稍等片刻,在终端中运行以下指令配置环境变量。
source bashrc
- 稍等片刻,在命令行里输入以下代码,启动 WebUI**,等待大约 1 分钟。
/openbayes/home/start_web.sh
9. 当命令行出现「Running on local URL: https://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可访问 GeneFace++ 界面。请注意,用户需在实名认证后才能使用 API 地址访问功能。
PART 3
视频展示阶段
1. 打开 GeneFace++ 界面后,导入提前准备好的视频,选择训练步数 「50000」,点击「Train」开始训练。
注意:此步骤需要等待 2 小时以上,期间可以 1-2 次检查训练是否正常运行,避免过程中断但仍持续等待造成的时间损失。 此处的训练步数「50000」是在默认情况下,如果 50000 步训练的结果很差,请更换训练数据重新训练。
2. 当出现「Train Success」后,刷新 GeneFace++ 界面。
- 在 GeneFace++ 界面选择相应模型。
- 在左侧上传音频,中间模块的参数部分先无需修改。
- 右侧的模型选择音频驱动模型「model_ckpt_steps_400000.ckpt」。
- 选择 5 万步下训练对应的躯干模型「model_ckpt_steps_50000.ckpt」。
- 选择 5 万步下训练对应的头部模型「model_ckpt_steps_50000.ckpt」。
- 点击「Gnerate」,即可生成效果。
5. 如果想要进一步训练。删除对应模型下的 head_done 文件夹、torso_done 文件夹。
6. 上传之前的训练视频,视频文件名称保持不变,调高训练步数,点击 「Train」进行训练。
- 训练结束后,在 GeneFace++ 界面,右侧的模型选择默认的音频驱动模型、15 万步下训练对应的躯干模型、15 万下训练对应的头部模型。点击「Gnerate」,即可生成最终效果。
新用户福利
- 新用户注册:点击下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长,永久有效!
📢 小贝总专属邀请链接(直接复制到浏览器打开):
https://openbayes.com/console/signup?r=GraceXiii_W8qO 8u
使用过程遇到任何问题,欢迎扫码添加 OpenBayes 首席福利官小贝的微信哦,分分钟帮你解决!
PART 2
Demo 运行阶段
- 登录 https://openbayes.com/,在「公共教程」页面,选择「GeneFace++ 数字人 Demo」。
2. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。
- 点击右下角「下一步:选择算力」。
4. 跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长!
小贝总专属邀请链接(直接复制到浏览器打开):https://openbayes.com/console/signup?r=GraceXiii_W8qO
5. 点击「继续执行」,等待分配资源,首次克隆需等待 3-5 分钟左右的时间。当状态变为「运行中」后,点击「打开工作空间」。
若超过 10 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。
- 打开工作空间后,在启动页新建一个终端会话,然后在命令行里输入以下代码启动环境,复制粘贴即可。
conda env export -p /output/genefaceconda activate /output/geneface
- 稍等片刻,在终端中运行以下指令配置环境变量。
source bashrc
- 稍等片刻,在命令行里输入以下代码,启动 WebUI**,等待大约 1 分钟。
/openbayes/home/start_web.sh
9. 当命令行出现「Running on local URL: https://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可访问 GeneFace++ 界面。请注意,用户需在实名认证后才能使用 API 地址访问功能。
PART 3
视频展示阶段
1. 打开 GeneFace++ 界面后,导入提前准备好的视频,选择训练步数 「50000」,点击「Train」开始训练。
注意:此步骤需要等待 2 小时以上,期间可以 1-2 次检查训练是否正常运行,避免过程中断但仍持续等待造成的时间损失。 此处的训练步数「50000」是在默认情况下,如果 50000 步训练的结果很差,请更换训练数据重新训练。
2. 当出现「Train Success」后,刷新 GeneFace++ 界面。
- 在 GeneFace++ 界面选择相应模型。
- 在左侧上传音频,中间模块的参数部分先无需修改。
- 右侧的模型选择音频驱动模型「model_ckpt_steps_400000.ckpt」。
- 选择 5 万步下训练对应的躯干模型「model_ckpt_steps_50000.ckpt」。
- 选择 5 万步下训练对应的头部模型「model_ckpt_steps_50000.ckpt」。
- 点击「Gnerate」,即可生成效果。
5. 如果想要进一步训练。删除对应模型下的 head_done 文件夹、torso_done 文件夹。
6. 上传之前的训练视频,视频文件名称保持不变,调高训练步数,点击 「Train」进行训练。
- 训练结束后,在 GeneFace++ 界面,右侧的模型选择默认的音频驱动模型、15 万步下训练对应的躯干模型、15 万下训练对应的头部模型。点击「Gnerate」,即可生成最终效果。
新用户福利
- 新用户注册:点击下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长,永久有效!
📢 小贝总专属邀请链接(直接复制到浏览器打开):
https://openbayes.com/console/signup?r=GraceXiii_W8qO 8u
使用过程遇到任何问题,欢迎扫码添加 OpenBayes 首席福利官小贝的微信哦,分分钟帮你解决!
然而,要制作一个高质量的数字人分身并不简单。除了繁琐的环境配置、较高的硬件要求外,我们还得安装一大堆工具,比如 CUDA、VS Code、Anaconda 等,这些工具之间可能存在的版本冲突也让很多用户头疼不已。
对此,OpenBayes 平台上线了「GeneFace++ 数字人 Demo」教程,该教程为大家搭建好了环境,无需任何复杂的前期准备,点击克隆即可一键启动,效果非常真实!
公共教程地址:
https://go.openbayes.com/vbbmI
操作步骤
PART 1
前期准备
准备一段 3-5 分钟的视频:
- 画面清晰,正方形尺寸(最好为 512*512 大小);
- 为了让模型能更好地提取背景,视频背景最好为纯色,无其他干扰因素;
- 视频中的人物面部清晰且占比较大、正面、采集的画面最好在肩部以上,人物动作幅度不宜过大、也不宜过小;
- 视频中的音频无杂音;
- 视频名称命名最好为英文。
注意:此视频将用于模型训练,视频质量越好,所得效果越好。因此,在数据准备部分多花费一些时间和精力是必要的。
下图为视频画面示例:
PART 2
Demo 运行阶段
- 登录 https://openbayes.com/,在「公共教程」页面,选择「GeneFace++ 数字人 Demo」。
2. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。
- 点击右下角「下一步:选择算力」。
4. 跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长!
小贝总专属邀请链接(直接复制到浏览器打开):https://openbayes.com/console/signup?r=GraceXiii_W8qO
5. 点击「继续执行」,等待分配资源,首次克隆需等待 3-5 分钟左右的时间。当状态变为「运行中」后,点击「打开工作空间」。
若超过 10 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。
- 打开工作空间后,在启动页新建一个终端会话,然后在命令行里输入以下代码启动环境,复制粘贴即可。
conda env export -p /output/genefaceconda activate /output/geneface
- 稍等片刻,在终端中运行以下指令配置环境变量。
source bashrc
- 稍等片刻,在命令行里输入以下代码,启动 WebUI**,等待大约 1 分钟。
/openbayes/home/start_web.sh
9. 当命令行出现「Running on local URL: https://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可访问 GeneFace++ 界面。请注意,用户需在实名认证后才能使用 API 地址访问功能。
PART 3
视频展示阶段
1. 打开 GeneFace++ 界面后,导入提前准备好的视频,选择训练步数 「50000」,点击「Train」开始训练。
注意:此步骤需要等待 2 小时以上,期间可以 1-2 次检查训练是否正常运行,避免过程中断但仍持续等待造成的时间损失。 此处的训练步数「50000」是在默认情况下,如果 50000 步训练的结果很差,请更换训练数据重新训练。
2. 当出现「Train Success」后,刷新 GeneFace++ 界面。
- 在 GeneFace++ 界面选择相应模型。
- 在左侧上传音频,中间模块的参数部分先无需修改。
- 右侧的模型选择音频驱动模型「model_ckpt_steps_400000.ckpt」。
- 选择 5 万步下训练对应的躯干模型「model_ckpt_steps_50000.ckpt」。
- 选择 5 万步下训练对应的头部模型「model_ckpt_steps_50000.ckpt」。
- 点击「Gnerate」,即可生成效果。
5. 如果想要进一步训练。删除对应模型下的 head_done 文件夹、torso_done 文件夹。
6. 上传之前的训练视频,视频文件名称保持不变,调高训练步数,点击 「Train」进行训练。
- 训练结束后,在 GeneFace++ 界面,右侧的模型选择默认的音频驱动模型、15 万步下训练对应的躯干模型、15 万下训练对应的头部模型。点击「Gnerate」,即可生成最终效果。
新用户福利
- 新用户注册:点击下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长,永久有效!
📢 小贝总专属邀请链接(直接复制到浏览器打开):
https://openbayes.com/console/signup?r=GraceXiii_W8qO 8u
使用过程遇到任何问题,欢迎扫码添加 OpenBayes 首席福利官小贝的微信哦,分分钟帮你解决!
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。