AI 广告创意生产实践

1 什么是AI广告创意

首先介绍一下，传统的汽车广告创意制作过程，大致简化为6步：

1. 确定创意和概念：首先，确定广告的创意和概念。可以基于品牌价值观、产品特点或目标受众的需要，根据定位和目标，选择适当的场景、主题和情感来传达广告的信息。
2. 脚本和故事板编写：根据广告的创意和概念，编写脚本和故事板。脚本用于规划广告中的文字和对白内容，故事板则用于规划广告中每个场景的构图和视觉效果。
3. 场景选择和布置：根据广告的概念和故事板，选择合适的场景来拍摄广告。可以在户外道路上、城市街道上，或者在自然风景背景下进行拍摄。根据需要，进行场景布置和装饰，以营造出符合广告要求的环境。
4. 汽车准备和修饰：对要拍摄的汽车进行准备和修饰。这包括清洁车身、调整车灯和车轮，以确保汽车呈现最佳状态。根据广告概念，可能需要进行特殊的改装或增加附件，以突出汽车的特点。
5. 摄影师和团队组织：聘请专业摄影师和摄影团队来实施广告拍摄工作。他们会根据故事板，安排摄影角度、光线和构图，确保拍摄出理想的画面效果。
6. 拍摄和后期制作：进行广告的实际拍摄工作。摄影师根据计划，使用专业摄影设备和技术，拍摄各个场景和元素。拍摄完成后，进行后期制作，包括色彩校正、图像处理、文字和标语添加等，以达到最佳的视觉效果。

以上的整个过程都是人工处理，整个制作过程周期叫长，随着AI大模型的到来，越来越多的技术涌现出来，通过AI的能力帮助制作广告创意的过程即AI广告创意。AI广告创意制作中会把车、场景、故事线等融合在一起去整体加工渲染，产出符合预期的广告创意

2 为什么做AI广告创意

广告在样式、质量、效率、创新方面存在以下4项痛点，使用AIGC能力，通过AI文生图、图生图技术，结合模型训练和提示词优化，生产高质量汽车广告创意图片，提升广告CTR。

• 样式上，图片样式不够丰富
• 质量上，图片吸引力有提升空间
• 效率上，图片生产效率低
• 创新上，与竞品差异化不明显

3 如何做AI广告创意

3.1 AI广告创意产生的思路

1)、文生图的实现框架
文生图的原理是通过将文本信息、VAE解码器和U-Net结构结合起来，利用高斯噪声和对抗学习的方法，生成与真实图片相似的图片。与图像生成不同的是，文生图需要将文本信息转换为潜在向量，并通过VAE解码器和U-Net结构生成图片。在文生图中，VAE解码器的作用是将文本信息转换为潜在向量，U-Net结构则将潜在向量还原成与文本信息相关的图片。为了增加生成图片的多样性和随机性，需要在生成过程中加入高斯噪声，以确保生成的图片具有一定的变化和随机性。

2)、图生图的实现框架
图生图是一种基于生成对抗网络（GAN）的图像生成方法，其中VAE-Encoder、U-Net和VAE-Decoder是其核心组成部分。首先，将原始图片输入到VAE-Encoder中，将其转换为潜在向量。然后，将潜在向量输入到U-Net结构中，生成与原始图片相似的图片。最后，使用VAE-Decoder将生成的图片转换为与原始图片相似的图片，以达到更加逼真的效果。

3.2 AI广告创意的技术选型

经过对市面上各种制作图形的工具调研，各有优势和不足。

工具	Midjourney	Ps（beta）	StableDiffusion
优势	1、支持文生图、图生图；2、图像对比度高，色彩强烈，效果最佳；3、远程服务，对本地硬件要求不高	1、支持文生图生成创意；2、远程服务，对本地硬件要求不高	1、开源，版本更新迭代快，开源社区活跃，丰富的插件；2、支持扩展大模型以及Lora、embendding等小模型，有丰富的开源模型可用；3、免费，可以本地部署
不足	1、收费且无法在国内使用；2、只能使用自身的模型，不支持模型扩展，自带模型不支持国产车；	1、测试版本，收费，国内使用不便；2、需要对PS有一定的操作基础；3、不支持模型扩展，自带模型不支持国产车；	1、本地部署对硬件有要求门槛；2、安装以及使用复杂，需要一定的学习成本；

在以上对比介绍中，只有SD支持Lora模型训练，Lora是在不修改SD模型的前提下，利用少量数据训练出一种画风/IP/人物，实现定制化需求，所需的训练资源比训练SD模要小很多。Lora最初应用于NLP领域，用于微调GPT-3等模型（也就是ChatGPT的前生）。由于GPT参数量超过千亿，训练成本太高，因此Lora采用了一个办法，仅训练低秩矩阵（low rank matrics），使用时将Lora模型的参数注入（inject）SD模型，从而改变SD模型的生成风格，或者为SD模型添加新的人物/IP。

另外，在实验期间发现Midjourney产出2D创意效果最佳，但Midjourney支持的车型有限且不支持模型扩展，PS(beta) 在生成汽车类广告创意时存在汽车与背景融合问题，SD 虽然大模型支持的车型较少，但由于支持外部扩展Lora模型，所以决定使用如下方案用于广告创意，所以最终选取StableDiffusion

3.3 AI广告创意的模型训练

在生产制作过程中会出现车图和背景的车身颜色还原、细节、泛化等问题，针对模型的过拟合、泛化、权重问题，采用制定一套广告车型Lora模型训练的解决方案

3.4 AI广告创意生产架构

3.5 AI广告创意的制作步骤

AI 广告创意制作主要有两大阶段

• 训练 Lora 模型用于后续文生图绘图
• 采用训练好的Lora 模型进行绘图

下面对这两大阶段的具体制作步骤进行详细介绍：
训练 Lora 模型阶段
采用 Lora 模型来运用 AIGC 生成AI广告创意的过程抽象来讲，主要包括以下几个关键步骤：

• 数据收集和预处理：收集并筛选相关原车图，对这些原始图片素材进行清理，图像尺寸裁剪。
• 素材打标等工作: 主要是给图片素材人工打关键词标签，俗称：打tag。
• 模型训练和优化：运行Lora模型训练工具，将收集的数据进行训练和优化，提取设计特征和规律。
• 设计生成和编辑：基于训练好的模型以及SD整合的工具，进行AI生成设计作品，在过程中调整生成参数。

1)、准备数据集
素材收集阶段是非常关键的第一步，这个阶段包括准备数据集、收集相关原车图、筛选合适的图片素材，以及对这些原始图片素材进行清理和图像尺寸裁剪等工作。这个步骤环节中，主要是选择合适的原车图作为素材，我们要注意图片的质量和清晰度，以确保素材的可用性。

2)、数据打标签
打标签是SD绘图Lora训练中不可或缺的一步，它直接关系到模型的训练效果和最终性能。这主要是因为Lora 训练通常采用监督学习的方式，这意味着模型需要输入数据和对应的标签来学习如何将输入映射到正确的输出。标签为模型提供了学习的目标，帮助模型理解每个输入数据的正确输出应该是什么。

简单来说打标签，就是告诉AI画面有什么特征内容。打标签过程中可以借用一些图像标注工具来自动完成这一步，让工具根据输入准备好的图像集，为每一张图片进行一次图片内容欲读取，然后自动生成图片的内容描述标签。

标签内容实际是一个个英文单词按逗号分隔的组成的txt文本文件，上述图片中的txt文件都是tag文件，每一张图片都会产生一个这样的文件，而里面的内容示例如下：
Blue_01.txt 打标内容示例：
rongweid7, auto car, ground vehicle, blue car, front view, looking at viewer
具体打标签的工具我们可以借助WD14-Tagger工具来完成，其内置需要使用到wd-v1-4-convnextv2-tagger-v2模型，该模型可以对图片内容进行快速解析图像，并生成标签文件，下图是该工具打签界面示例。

3)、标签调整
这一个环节是对上述自动打标签的补充，因为 Lora 最终被使用的时候需要预设一些固定的业务提示词，来触发模型的调用，而上一步输出的标签内容中欠缺这一部分，或是对标签内容进行二次的编辑，我们都需要对标签进行调整。

我们可以借助BooruDatasetTagManager工具来进行二次统一编辑上述生成的tag文件，比如可以统一在标签文本中统一添加固定触发词，调整关键词的顺序等。

4)、训练参数配置
Lora训练是一种微调技术，用于在保持模型大部分权重不变的情况下，对模型进行特定领域的适应。Lora训练中常用的调整参数包括：

• 学习率（Learning Rate）：学习率决定了模型在训练过程中更新权重的幅度，合适的学习率对于模型的收敛速度和性能至关重要。
• 批量大小（Batch Size）：批量大小是指在每次迭代中用于训练的数据样本数量，批量大小影响模型的稳定性和内存消耗。
• 训练轮次（Number of Training Epochs）：训练轮次是指整个数据集被遍历训练的次数，增加训练轮次可以提高模型的性能，但也可能导致过拟合。
• Lora秩（Lora Rank）：Lora秩是Lora矩阵的秩，它决定了Lora适配层的复杂性。秩越大，适配层的表达能力越强，但也需要更多的计算资源。
• 随机失活（Dropout）：随机失活是一种在训练过程中随机丢弃神经元的技术，用于防止过拟合。
• Lora缩放因子（Lora Scale）：Lora缩放因子是一个超参数，用于控制Lora适配层对模型输出影响的强度。

这些参数需要根据具体的训练数据和目标进行调整，以找到最佳的模型性能。通常，这需要通过实验和验证集的性能评估来确定。下图是采用lora-scripts-gui这款开源训练工具进行Lora 训练的参数设置界面。

5)、模型训练
上述重要参数设置完成后，就可以向训练工具发起一次训练任务，一般训练的工具的都会提示训练次数、预计训练时长，以及集成tensorBoard通过图表的方式展示出训练过程，需要关注的训练指标有：

• 损失函数（Loss）：损失函数是衡量模型预测与实际标签之间差异的指标。常见的损失函数包括均方误差（MSE）、交叉熵损失（Cross-Entropy Loss）等。监控损失函数的变化可以帮助了解模型是否在收敛。
• 准确率（Accuracy）：准确率是指模型正确预测的比例。在分类任务中，准确率是一个重要的评估指标。在训练过程中，关注准确率的变化可以帮助了解模型的泛化能力。
• 学习率（Learning Rate）：学习率的变化可能会影响模型的收敛速度和性能。监控学习率可以帮助调整优化策略。
• 训练时间（Training Time）：训练时间对于资源分配和项目规划非常重要。监控训练时间可以帮助优化训练流程。
• 召回率（Recall）：在分类任务中，召回率是指模型正确识别正类样本的能力。关注召回率可以帮助了解模型对罕见类别的识别能力。
• 精确率（Precision）：精确率是指模型预测为正类的样本中实际为正类的比例。精确率可以帮助了解模型的预测可靠性。

6)、模型生产测试
对于一单车系的AI 广告创意制作，我们主要使用开源工具stable-diffusion-webui工具来进行最终的AI绘图。 为了能正常使用上述的LoRA模型，我们需要将训练好的模型文件放到指定的目录里面。

触发使用训练好的 Lora 模型仅需要将正向提示词中添加上指定的语法，就可以正常使用了。例如我们尝试为猛龙这款车生成AI广告创意，可以使用以下语法来进行触发LoRA模型来生成车图，以下图片是尝试使用预训练的LoRA生成一张创意图片示例。

4 AI广告创意应用场景

AI广告创意在各种应用场景中都能发挥重要作用，以下是使用的几个典型场景：
个性化推荐广告：根据用户的兴趣、行为和偏好等数据，利用 AI 算法分析和预测用户的需求，生成个性化的广告内容。例如，智能推荐相关产品或优惠活动。
智能搜索广告：结合搜索引擎和 AI 技术，根据用户的搜索关键词和意图，提供相关的广告内容。AI 可以通过分析大量的搜索数据和用户行为模式，精准匹配用户的搜索意图，展示与其需求相关的广告。
内容营销类创意：结合文章内容的中心思想，利用大模型训练的AI广告创意
AI 广告创意的应用场景还在不断扩展和创新。

5 AI广告创意后续的拓展

未来，AI创意还可以在以下场景和表现上继续拓展：
虚拟人物和角色创意：AI可以利用大量的图像、视频和文本数据，生成虚拟人物和角色，包括演员、模特、动漫形象等。这些虚拟人物可以具备各种特定的外貌、性格和风格，可以应用于广告、游戏、电影等领域，提供更多样化和个性化的创意选择。
创意与艺术的融合：AI技术可以与艺术家、设计师等合作，共同创作出独特而富有艺术感的广告创意。通过将AI的算法和创造力与人类的审美和情感相结合，创造出更具创意和艺术价值的广告作品。
实时和交互式广告创意：AI可以通过实时分析用户的行为和反馈数据，根据不同的情境和需求，生成实时的广告创意。同时，AI还可以与用户进行互动，根据用户的反馈和偏好，动态调整广告内容和形式，提供更加个性化和有趣的广告体验。
AI与创意团队的协作：AI可以成为创意团队的辅助工具，帮助团队快速生成、筛选和优化创意。AI可以通过学习和理解团队的工作方式和创意风格，提供相关的素材、灵感和建议，加速创意过程，提高效率和质量。
总的来说，未来AI创意将进一步拓展到更多领域和应用场景。AI技术的不断突破和创新，将为广告行业带来更多可能性和创意表现，提升广告的创意水平和效果。同时，AI创意也将与人类的创造力和想象力相结合，共同推动广告行业的发展和创新。