Google I/O 2024 开发者大会：Chrome 将支持设备端大型语言模型

在Google I/O 2024开发者大会上，Google宣布正在努力将设备端大型语言模型（LLM）的支持变为现实，具体通过将其最小的Gemini模型——Gemini Nano引入Chrome浏览器。

设备端AI模型的挑战与优势

Chrome开发者Kenji Baheux和Alexandra Klepper指出，生成式AI需要使用比普通网页大千倍的模型，通常为几十到几百兆字节。这使得在设备端部署和运行AI模型变得相当困难。然而，设备端AI模型的优势包括：

• 更好的隐私保护：敏感数据无需离开用户设备。
• 降低延迟：提升用户体验。
• 离线访问：即使远程模型不可用，用户仍可使用AI功能。
• 混合计算模式：可以在设备端运行部分AI功能作为预览或减少频繁用户流程的远程推理成本。

Chrome的解决方案

为了克服模型大小和交付问题，Chrome工程师正在开发Web平台API和浏览器功能，旨在将AI模型（包括大型语言模型）直接集成到浏览器中。这包括Gemini Nano，这是Gemini家族中最高效的LLM版本，能够在大多数现代桌面和笔记本电脑上本地运行。

这一方法还带来了额外的好处：

• 易于部署：浏览器可以根据设备分发合适的模型并自动更新。
• 硬件优化：浏览器可以根据可用硬件使用GPU、NPU或回退到CPU。

Chrome的AI基础设施

Chrome开发者创建了专门的基础设施，用于访问设备端的基础和专家模型。目前，该基础设施用于支持“Help me write”实验功能，该功能旨在帮助用户开始写作或改进现有文本，使用Gemini模型。

任务API与模型微调

用户将主要通过任务API访问内置的AI功能，例如翻译API或摘要API。这些API旨在针对最适合的任务运行推理。

Chrome开发者表示，Gemini Nano最适合语言相关的用例，如摘要、改写或分类，但API将支持对其进行微调。微调是一种技术，可以在不专门为特定任务构建全新模型的情况下，使现有模型“专业化”。Chrome的API将支持低秩适应（LoRA）来调整模型的权重以提高性能。另一个可能引入Chrome的API是Prompt API，它支持向Gemini Nano发送用自然语言表达的任意任务。

开发者预览计划

开发者需要加入早期预览计划，以实验Chrome的新功能。