微软开源LMOps工具集，优化生成式AI模型输入提示

微软研究院开源了LMOps工具集，旨在优化生成式AI模型的文本输入提示。该工具集包括Promptist和Structured Prompting两项技术，分别用于优化文本到图像生成的提示和增强少样本学习提示。

Promptist：优化文本到图像生成提示

Promptist通过训练一个额外的语言模型来优化文本到图像生成的提示。研究团队首先使用监督学习对预训练的语言模型进行微调，然后通过强化学习进一步训练。强化学习的奖励函数基于CLIP模型对生成图像的“相关性和美学”进行评估。实验表明，人类评委在多数情况下更喜欢通过优化提示生成的图像。

Structured Prompting：增强少样本学习提示

Structured Prompting技术通过将大量示例分组并输入到语言模型中，解决了语言模型输入序列长度的限制。该技术将示例分组后，缓存语言模型注意力模块的隐藏键值向量，并在用户输入提示时将这些缓存向量注入到模型的隐藏层中。研究显示，该方法在多个自然语言处理任务上优于传统方法。

讨论与可用性

在Twitter上，有用户指出Structured Prompting技术不适用于OpenAI的封闭模型，但可以在开源模型如BLOOM或T5上实现。Structured Prompting的代码已在GitHub上开源，Promptist的在线演示可在HuggingFace上访问。LMOps仓库还提到，关于知识增强的研究“即将发布”。

总结

微软的LMOps工具集通过Promptist和Structured Prompting技术，分别优化了文本到图像生成的提示和增强少样本学习提示。这些技术通过微调和强化学习、缓存注意力向量等方法，显著提升了生成式AI模型的输出质量。相关代码和演示已公开，未来还将发布更多研究成果。