Kimi-Audio 是一个开源音频基础模型，专注于音频理解、生成和对话。该模型具有通用能力，能够处理多种音频处理任务，如语音识别、音频问答、音频字幕生成、语音情感识别、声音事件/场景分类和端到端语音对话。Kimi-Audio 经过大规模预训练，使用超过 1300 万小时的多样音频和文本数据。其新颖架构结合了连续声学和离散语义标记的混合音频输入，以及用于文本和音频标记生成的并行头部的LLM核心。Kimi-Audio-7B 是一个基础模型，需进行微调以用于下游任务。

关键点

• Kimi-Audio 是一个通用音频基础模型，支持多种音频处理任务。
• 该模型在多个音频基准测试中实现了最先进的性能。
• Kimi-Audio 经过大规模预训练，使用超过 1300 万小时的音频和文本数据。
• 该模型采用新颖的架构，结合混合音频输入和并行头部的LLM核心。
• Kimi-Audio-7B 是一个基础模型，需进行微调以用于特定任务。