Google AI 开源 Mood Board Search：基于机器学习的主观图像搜索工具

Google AI 开源了一个名为 Mood Board Search 的新工具，该工具利用机器学习技术，帮助用户通过图像进行主观或概念性查询。以下是该工具的主要信息、关键技术和应用场景的总结。

主要功能

Mood Board Search 允许用户定义概念性和主观性的查询，例如“平和”或“美丽”，并在图像中进行搜索。它通过深度学习技术，支持类似图像搜索、对象检测、标签生成等功能，解决了如何定义和查询具有概念意图的图像这一主要挑战。

技术基础

该工具基于预训练的计算机视觉模型，如 GoogLeNet 和 MobileNet，并结合了一种称为 概念激活向量（Concept Activation Vectors, CAVs） 的机器学习方法。CAVs 用于衡量训练模型对用户提出的概念的敏感性。例如，通过 CAV 技术，可以量化条纹概念在斑马分类器中的重要性。

工作原理

Mood Board Search 使用 CAVs 来找到模型对用户创建的 Mood Board 的敏感性。每个 Mood Board 都会生成一个 CAV，即嵌入空间中的一个方向，工具会搜索图像数据集，找到与 CAV 最匹配的图像。此外，工具还进一步将数据集中的每张图像分割成 15 种不同的方式，以发现尽可能多的相关构图。

使用方式

使用 Mood Board Search 的图形用户界面非常直观。用户只需拖放少量代表其想传达概念的图像，工具即可返回最佳结果。为了获得更相关的结果，建议 Mood Board 中的图像在颜色、图案、纹理或构图上具有一致的视觉品质。

应用场景与反响

一些设计工作室，如 Morrama，对该工具表示兴奋，并期待能够使用它。Google AI 已将该工具的代码开源，供研究人员和开发者进一步贡献。此外，设计发明工作室 Nord Projects 开发了一款使用 Mood Board Search 的实验性应用程序。

总结

Mood Board Search 是一个创新的工具，通过结合深度学习和 CAV 技术，帮助用户进行主观和概念性的图像搜索。它的开源和易用性为设计师、研究人员和开发者提供了强大的工具，推动了创意表达和计算机视觉技术的发展。