主要观点：

• 多模态 AI 能同时处理多种形式数据，使应用更自然，2023 年多模态 AI 市场规模达 12 亿美元且预计增长超 30%。
• 多模态 AI 增长依赖训练数据，其准确性等依赖数据集质量等，构建 AI 就绪数据集复杂。
• 多模态训练数据面临 8 大关键挑战，包括数据异质性与标准化、跨模态同步与对齐、语境细微差别与歧义、可扩展性与容量管理、质量保证与一致性、数据隐私与伦理考量、工具与平台限制、专业知识与资源可用性。

关键信息：

• 2023 年 GPT-4 是首个有效处理文本和图像的多模态大语言模型，GPT-4o Vision 能创建逼真交互。
• 多模态数据集包含多种数据类型，异质性影响各层管道，需标准化。
• 跨模态同步对齐需精确，否则影响性能，需同步多传感器标记。
• 捕捉语境细微差别有难度，易导致主观 sentiment 分析等问题，需专家服务。
• 多模态数据集规模大，需合适基础设施和工作流管理，如 scalable 存储等。
• 保持各模态标注质量难，需跨模态融合和严格 QA 流程。
• 敏感信息引发隐私伦理问题，需合规处理。
• 多数标注工具为单模态，导致工作流碎片化，需统一标注环境。
• 多模态标注需专业知识和资源，常面临资源短缺。

重要细节：

• 数据异质性导致 schema 定义不一致等问题，需专门服务提供商处理。
• 不同捕获率等加剧跨模态同步对齐挑战。
• 语境细微差别在 sarcasm 检测等中体现，需专家服务。
• 管理多模态数据复杂性需 scalable 存储等。
• 保持各模态标注质量需深专业知识和验证流程。
• 合规处理隐私伦理问题需严格协议等。
• 统一标注环境能提高效率减少误差。
• 多模态标注需专门培训和人才管理。