传统的AI模型通常只处理一种类型的数据,如文本或图像。然而,现实世界中的数据通常是多模态的,包括文本、图像、音频、视频等。多模态大模型是一种人工智能模型,它可以根据多种类型的输入(例如文本、图像或视频)进行学习并产生输出。这意味着它可以理解和生成不同种类的数据,而不仅仅是单一模式的信息。
多模态大模型一览
在汽车垂类场景,单一的文本展示/问答无法满足用户,视觉内容的呈现可以更直接、高效的触达用户的需求。基于此,我们研发了多模态大模型,结合了文本、图片、视频等信息,让用户可以轻松可以获取有效信息。
多模态大模型可以基于文本问答模式的基础上,召回汽车之家更多专业、真实的图文和视频素材。纯文本问题可以解决用户在检索汽车价格、油耗、尺寸、参数等问题;当加入图片信息后可以解决用户在检索汽车外观、内饰、仪表盘、座椅等问题;当加入视频信息后可以检索汽车灯光效果、中控操作演示、舒适性等问题。
比如当我们使用大模型检索新款奔驰GLC和宝马X3大灯有什么区别?
语言大模型回答结果
多模态大模型回答结果
可以看出多模态大模型在文本展示的基础上,会增加视频的素材,可以使用户获取信息更直观、高效和具有吸引力。
多模态大模型相较于传统大模型使用方式一样,用户只需输入检索的问题,即可获得响应,当多模态大模型解析到用户的意图命中素材库中的图片和视频后,会进行召回展示。目前汽车之家多模态大模型包含结构化视频素材30万+,图片素材600万+;覆盖40+点位,1000+车型车系;融合参配、实测、解读、价格/销量等多维度信息;支持对比,任意组合一镜展示等能力。
汽车之家智能多模态交互框架
汽车之家多模态特征分析网络
多模态大模型应用的范围很多,如在大模型问答、视频生成等领域都可以发挥重要作用。在大模型问答方面可以通过召回图片、视频等素材提升用户互动和增加用户粘性。在AIGC视频生产方面,多模态大模型可以提供站内新车资讯、热点文章、双车对比文章,服务于内容生产,提升内容质量、解决内容供给不足等问题。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。