中国风?古典系?AI中文绘图创作尝鲜!⛵

本文对百度开源的中文 AI 图像生成器 ERNIE 进行讲解,包括工具简介、通过Demo页面和API两种使用方式,以及使用中文提示词生成的图像效果。

💡 作者:韩信子@ShowMeAI
📘 深度学习实战系列https://www.showmeai.tech/tutorials/42
📘 本文地址https://www.showmeai.tech/article-detail/413
📢 声明:版权所有,转载请联系平台与作者并注明出处
📢 收藏ShowMeAI查看更多精彩内容

💡 引言

人工智能图像生成器现在风靡一时。虽然 📘Dall-E2、 📘MidJourney和 📘Stable Diffusion目前处于中心舞台,但是百度开发的开源 AI 图像生成器 📘ERNIE-ViLG 也在互联网上流传。

💡 ERNIE-ViLG 是什么

ERNIE 代表通过知识整合增强表示——视觉语言生成。它是一个统一的生成预训练框架,用于使用 Transformer 模型进行双向图像文本生成。

需要明确的是,ERNIE 并不是 Stable Duffusion 的一个变体版本,尽管这两种模型都是开源的。根据 📘ERNIE论文,ERNIE-ViLG 2.0 是一种改进的文本到图像扩散模型,具有知识增强的去噪专家组合,以结合有关视觉场景的额外知识,并在不同步骤中解耦去噪能力。

💡 ERNIE-ViLG 使用方法

现在可以通过 huggingface 免费访问该模型。我们可以在 📘ERNIE-ViLG Demo 查看工具实例。

界面非常简单:可以看到经典的提示框,各种艺术风格的选择,以及图像分辨率。在艺术风格方面,ERNIE 提供了一些有趣的选择。这让我想起了 📘Dream by WOMBO 中的一个类似功能。

让我们用提示“An astronaut riding a horse in space”来生成样本。

该应用程序生成六张分辨率为 1024x1024 的图像。

ERNIE 的研究人员声称,他们的方法比 Dall-E2 和 Stable Diffusion 产生更清晰、更自然的细节。

真的吗?现在让我们尝试将艺术风格更改为“油画”。

这些结果本身都非常惊艳。

质量上,ERNIE 可以与 Dall-E2 和 Stable Diffusion 相媲美。但是,它在一致性方面表现不佳,就像在上面提到的,其中两个结果中的马无处可寻。这可能是训练ERNIE的数据集较小所致。

不过,如果仔细考虑数据集的大小,训练了 14.5 亿张图像的 ERNIE 与 MidJourney、Google Parti 等大型竞争对手的差距并不大。

也许开发人员找到了一种优化算法的方法,使其能够在较小的数据集上运行良好。我假设如果模型是在更大的数据集上训练的,现有的限制就会消失。

需要特别注意的是,ERNIE 是用中文开发的。这意味着,在开始图像生成过程之前,必须将英文提示翻译成中文。当然,使用中文的宝宝可以尽情玩耍~

这里有更多示例结果。

上图提示文字:“戴眼镜的猫”风格“油画”

上图提示文字:“五官端正的绘画女生”

💡 API 访问 ERNIE-ViLG

您可以通过 API 访问 ERNIE。如果您想尝试使用 API,请按照这个 📘GitHub 上的指南进行操作。

示例 API 调用如下所示。

def generate_image(
          text_prompts:str,
          style: Optional[str] = "探索无限",
          topk: Optional[int] = 6,
          output_dir: Optional[str] = 'ernievilg_output')
  • text_prompts:输入提示
  • style :生成图像的风格
  • topk:生成图像的数量(最多 6 个)
  • output_dir:保存输出图像的目录

ERNIE 的使用指南还有一个建议列表,可帮助您找到结合使用样式和修饰符的最佳方式。

  • 【作图规则】Prompt构建是文本符合逻辑的组合,有序且丰富的描述可以不断提升画面效果
  • 【新手入门】不知如何输入Prompt?点击示例,体验文生图的魅力,参考教程,逐步进阶~
  • 【风格生成】试试添加 “国潮”、“国风”等,感受中国风的魅力
  • 【风格生成】试试混合两种代表性的风格,例如“赛博朋克,扁平化设计”、”皮克斯动画,赛博朋克”
  • 【人像生成】添加“仙鹤、月亮、楼阁、小屋、街道、玫瑰、机械”,画面会更饱满
  • 【人像生成】添加“精致面容、唯美、cg感、细节清晰“等,人物刻画会更细致
  • 【风格生成】添加“扁平化风格,logo”等,可以设计出各类图标等,例如 “猫猫头像,扁平化风格”
  • 【风格生成】指定颜色,或添加“烟雾缭绕”、“火焰”、“烟尘”、“花瓣”,生成画面的氛围感更饱满
  • 【创意生成】发挥想象力,例如:“中西混搭”、“泰迪熊唱京剧”、“米老鼠吃火锅”
  • 【风格生成】“水彩”,“水墨”与古诗组合,画面意境会有提升~
  • 【风格生成】想要日系头像和拟人化动物?试试关键词“日系手绘”、“治愈风”
  • 【风格生成】添加“pixiv”,生成二次元或者动漫的画质更惊艳

参考资料

推荐阅读

🌍 数据分析实战系列https://www.showmeai.tech/tutorials/40

🌍 机器学习数据分析实战系列https://www.showmeai.tech/tutorials/41

🌍 深度学习数据分析实战系列https://www.showmeai.tech/tutorials/42

🌍 TensorFlow数据分析实战系列https://www.showmeai.tech/tutorials/43

🌍 PyTorch数据分析实战系列https://www.showmeai.tech/tutorials/44

🌍 NLP实战数据分析实战系列https://www.showmeai.tech/tutorials/45

🌍 CV实战数据分析实战系列https://www.showmeai.tech/tutorials/46

🌍 AI 面试题库系列https://www.showmeai.tech/tutorials/48

1 声望
1 粉丝
0 条评论
推荐阅读
交互式仪表板!Python轻松完成!⛵
💡 作者:韩信子@ShowMeAI📘 数据分析实战系列:[链接]📘 本文地址:[链接]📢 声明:版权所有,转载请联系平台与作者并注明出处📢 收藏ShowMeAI查看更多精彩内容💡 引言在本篇内容中,ShowMeAI将给大家讲解使用 📘ipywid...

ShowMeAI阅读 930

SegmentFault 思否宣布将接入百度「文心一言」,提升开发者获取知识的效率
作为中国领先的新一代开发者社区,我们以「凝聚集体智慧,推动技术进步」为使命,长期关注前沿技术发展及产业应用。2023 年 2 月 11 日,ChatGPT for SegmentFault 浏览器插件上线,SegmentFault 成为了国内首个...

SegmentFault思否11阅读 3.1k评论 1

对 ChatGPT 做一次技术面试(ChatGPT 没能通过)
问:对一个系统的描述如下:系统中有大量注册用户,用户可以关注其他用户。用户可以发布消息,消息包含发布者、发布时间和可见性。消息的可见性可以是公开、不公开或仅对关注自己的用户可见。请设计这个系统的数...

捏造的信仰8阅读 1.6k评论 1

封面图
超详细的ChatGPT注册教程来了
最近一周,大家都在讨论ChatGPT,一些主流的技术社区更是将ChatGPT吹的神乎其技,那ChatGPT是什么呢?又能给我们带来哪些变化呢?。带着这些问题,我打算先注册并使用 ChatGPT,供想要体验 ChatGPT 的小伙伴们参考。

xiangzhihong4阅读 2.9k评论 3

使用 🧨 Diffusers 实现 ControlNet 高速推理
自从 Stable Diffusion 风靡全球以来,人们一直在寻求如何更好地控制生成过程的方法。ControlNet 提供了一个简单的迁移学习方法,能够允许用户在很大程度上自定义生成过程。通过 ControlNet,用户可以轻松地使用...

HuggingFace3阅读 1.2k

封面图
搭个ChatGPT算法模型,从哪开始?
最近 ChatGPT 很火,火到了各行各业。记得去年更多的还是码农最新体验后拿它搜代码,现在各行各业都进来体验,问它咋理财、怎么写报告和给小孩起名。😂 也因此让小傅哥在头条的一篇关于 ChatGPT 的文章都有了26万...

小傅哥6阅读 1.2k

封面图
Light·技术公益创造营,开营了!
第三届腾讯Light·技术公益创造营(简称“腾讯Light”),围绕数字时代下“未成年人心理健康”、“老年人用网安全”、“生物多样性保护”三大议题,号召社会各界人士打造技术公益多元解决方案,以共同解决更多的社会公共议...

SegmentFault思否3阅读 11.3k

1 声望
1 粉丝
宣传栏