Azure AI Studio（国际版）模型目录中引入 Meta Llama 3模型

微软与 Meta 合作，在 Azure 国际版AI模型目录中引入 Meta Llama 3模型。

Meta-Llama-3 - 8B -Instruct 、Meta-Llama-3-70B-Instruct 预训练和指令微调模型是下一代Meta Llama 大语言模型，现已在 Azure 国际版 AI 模型目录上提供。

根据 Meta 的报告显示，在 Azure 国际版上使用 Meta Llama 3 模型对大量预训练数据进行训练后，开发人员明显可以感受到整体性能得到显著的提升。微软很高兴能成为 Meta 的启动合作伙伴，这意味着，当企业和开发人员在 Azure 国际版上使用 Meta Llama 3构建模型时，也将得到 Azure AI 提示流和 LangChain 等热门的大语言模型（LLM）开发工具的支持。

通过微软官方合作伙伴获取服务，可以合规、稳定地提供企业用户使用Llama 3、ChatGPT的可能，满足国内发票需求，同时也能解决连接不稳定/响应速度慢/并发配额低等问题。

01Meta Llama 3有哪些新功能？

Meta Llama 3包含预训练和指令微调语言模型，旨在处理各种用例。正如 Meta 公司称，Meta-Llama-3-8B、Meta-Llama-70B、Meta-Llama-3-8B-Instruct 和 Meta-Llama-3-70B-Instruct 模型在行业标准基准和高级功能方面都有显著改进，例如改进了推理能力。

此外，模型对后训练过程进行了重大改进，从而大大降低了错误拒绝率，并提高了模型响应的一致性和多样性。

Meta 公司称，Llama 3 不仅保留了其仅用于解码器的转换器架构，还包含了一个更高效的标记器，这也使得它的整体性能得到了显著提高。根据 Meta 的描述，这些模型的训练组合涉及数据并行化、模型并行化和流水线并行化，横跨两个专属设计的 24K GPU 集群，未来还计划扩展到可容纳 350K H100 GPU。

 Meta Llama 3的特点 
● 显著增加的训练tokens (15T) 允许 Meta Llama 3 模型能够更好地理解语言的复杂性。
● 扩展的上下文窗口（8K）使 Llama 2 的容量翻倍，使模型能够从长篇文章中获取更多信息，以进行明智的决策。
● 使用基于 Tiktoken 、词汇量为 128K 个tokens 的新标记器，可支持每个 token 编码更多字符。Meta 在英语和多语言基准测试中表现更好，巩固了其强大的多语言能力。了解有关新型 Llama 3 型号的更多信息。

🔗  https://ai.meta.com/blog/meta-llama-3/

 
应用场景 

● 推荐在计算资源有限的情况下使用 Meta-Llama-3-8B 预训练和指令微调模型，可提供更快的训练时间（适用于边缘设备）。它适用于文本摘要、分类、情感分析和翻译等用例。
● Meta-Llama-3-70B 预训练和指令微调模型针对内容创作和对话式人工智能，为更加细致的任务提供了更深层次的语言理解能力，例如那些需要细致的文本摘要、分类、语言建模、对话系统、代码生成和指令跟踪的研发和企业应用。

02扩展视野：Meta Llama 3现已作为 Azure 国际版 AI 模型即服务正式可用

2023年11月，我们在 Azure 国际版 AI 模型目录上推出了 Meta Llama 2模型，标志着我们首次尝试提供模型即服务（MaaS）。

随着对我们不断扩展的模型即服务产品的需求日益增长，企业和中小企业的众多 Azure 客户已在其组织内迅速开发、部署和运行了企业级生成式人工智能应用。

Llama 3的发布表明了我们的坚定承诺，即利用 Azure 国际版 AI 优化基础设施的规模、实现从开源到专有模型的全方位功能，并增强企业利用生成式 AI 技术构建未来的能力。

Azure 国际版 AI 提供各种先进且用户友好的模型，使客户能够基于应用需求选择最切合的。

在过去的六个月中，我们通过与领先的生成式人工智能模型提供商合作，并发布了 Microsoft Research 的 Phi-2，将模型目录扩展了七倍。

Azure 国际版 AI 模型目录允许开发人员从 1,600 多个基础模型中进行选择，包括来自 Meta、Cohere、Databricks、Deci AI、Hugging Face、Microsoft Research、Mistral AI、NVIDIA、OpenAI 和 Stability AI 等行业领导者的 LLMs 和 SLMs 模型。如此丰富的选择可确保 Azure 客户在 Azure 国际版 AI 模型目录上找到最适合其用例的模型。

03在 Azure 国际版 AI 模型即服务中使用 Meta Llama 3D 的优势是什么？

使用 Meta Llama 3模型的开发人员可以与 Azure AI Studio 国际版中的工具无缝配合，例如 Azure AI Content Safety、Azure AI 搜索和提示流，以增强道德和有效的 AI 实践。

以下是 Meta Llama 3 与 Azure、Azure 国际版 AI 和模型即服务（Models as a Service）顺利集成和强大支持系统的一些主要优势：

● 增强的安全性和合规性：Azure 非常重视数据隐私和安全性，采用微软的全面安全协议来保护客户数据。通过在 Azure AI Studio 国际版上使用 Meta Llama 3，企业可以放心运营，因为他们知道自己的数据始终运行在 Azure 云的安全范围内，从而提高了隐私保护和运营效率。
● 内容安全集成：客户可以将 Meta Llama 3 模型与 Azure AI Content Safety 提供的内容安全功能集成，从而实现更多负责任的人工智能实践。这种集成有助于开发更安全的 AI 应用，确保生成或处理的内容符合合规性和道德标准。
● 简化 LLM 流程评估：Azure 国际版 AI 的提示流允许评估流，这有助于开发人员通过计算指标来衡量 LLM 的输出与给定标准和目标的匹配程度。该功能对使用 Llama 3 创建的工作流非常有用；它可以使用 groundedness（基础性）等指标进行综合评估，该指标可以衡量模型在使用检索增强生成（RAG）模式时根据输入源做出响应的相关性和准确性。
● 客户端集成：您可以在各种客户端中使用 API 和密钥。在大语言模型（LLM）工具中使用提供的 API，如prompt flow、OpenAI、LangChain、LiteLLM、使用 curl 的 CLI 和 Python 网络请求。
● 简化部署和推理：开发人员可以通过带有按需付费推理 API 的模型即服务部署 Meta 模型，从而利用 Llama 3 的强大功能，而无需管理 Azure 环境中的底层基础设施。您可以在 Azure Marketplace 上查看 Meta-Llama-3-8B-Instruct 和 Meta-Llama-3-70B-Instruct 模型基于输入和输出 token 用量的定价。这些功能表明，Azure 致力于提供一个环境，让企业能够高效、负责任地利用 Llama 3 等人工智能技术的全部潜力，在推动创新的同时保持高标准的安全性和合规性。

04立即在 Azure 国际版 AI 模型即服务上使用 Meta Llama 3

要开始使用 Azure AI Studio 国际版并部署您的第一个模型，请按照以下详细步骤进行：

●熟悉环境：如果您是第一次使用 Azure AI Studio 国际版，请先阅读此文档，了解基础知识。
🔗  https://learn.microsoft.com/zh-cn/azure/ai-studio/what-is-ai-...
● 查找模型：使用过滤器选择 Meta 集合，或单击模型即服务公告卡上的“查看模型”按钮。
● 选择模型：从列表中打开Meta-Llama-3-70B文本模型。
● 部署模型：点击“部署”并选择按需付费（PAYG）的部署选项。
● 订阅并访问：订阅该服务以获得对模型的访问权限（需支付使用费），然后继续部署。 
● 探索 Playground：部署后，您将自动重定向到Playground。在这里，您可以探索模型的功能。
● 自定义设置：调整上下文或推理参数，以微调模型的预测以满足您的需求。
● 程序化访问：单击“查看代码”按钮获取API、密钥和代码片段。这样，您就能以编程方式访问和集成模型。
● 与工具集成：在大语言模型（LLM）工具中使用提供的 API，如 prompt flow、Semantic Kernel、LangChain 或其他任何支持 REST API 的工具，利用基于密钥的身份验证进行推断。 

05   展望未来最新 Meta Llama 3 模型的推出了坚定了我们扩展人工智能的使命。

随着我们不断创新和扩展模型目录，我们承诺提供易于访问、功能强大且高效的人工智能解决方案，通过从开源到专有的全系列模型选项，为开发人员和企业赋能。 

06   在 Azure 国际版上构建 Meta Llma 3

我们诚挚的邀请您，在 Azure 国际版 AI 模型目录中使用最新的 Meta Llama 3模型，并尝试将最先进的人工智能技术集成到您的应用中。 

07   常见问题解答在 Azure 国际版上使用 Meta Llama 3模型的费用是多少？

您需要根据提示（prompt）和完成令牌（completions tokens）的数量付费。

部署模型时，您可以在市场（Marketplace）报价详细信息信息中查看 Cohere 报价。您还可以在 Azure Marketplace 上找到定价：
●  Meta-Llama-3-8B-Instruct
🔗  https://aka.ms/azure-marketplace-offer-llama-3-8b-chat
●  Meta-Llama-3-70B-Instruct
🔗  https://aka.ms/azure-marketplace-offer-llama-3-70b-chat在单个端点后纵向扩展/缩减使用Llama 3模型需要 Azure 订阅中的 GPU 容量吗不需要，Llama 3模型是作为 API 提供的。Llama 3 已在 Azure Marketplace 上发布。

我可以直接从 Azure Marketplace 购买和使用 Llama 3 吗？

Azure Marketplace 支持 Llama 3 的购买和计费，但购买体验只能通过模型目录访问。尝试从Marketplace 购买 Llama 3模型将重定向您到 Azure AI Studio 国际版。

鉴于 Llama 3 是通过 Azure Marketplace 计费的，它是否会计入我的Azure消费承诺（也称为MACC）？

是的，Llama 3 是“符合 Azure 权益”的市场产品，具备 MACC 资格。

●  了解有关 MACC 的更多信息🔗  https://learn.microsoft.com/zhcn/marketplace/azure-consumptio... 

我的推理数据是否与 Meta 共享？

不会，微软不会与 Meta 共享任何推理请求或响应数据的内容。

Azure 国际版上的 Meta 模型有速率限制吗？

Meta 模型每分钟最多支持200,000个令牌和每分钟最多支持1,000个请求的限制。如果这不够，请联系Azure 客户支持。

Meta模型是否针对特定区域？

可以在 AI Studio 国际版项目中创建 Meta 模型 API 端点，并将其连接到 EastUS2 中的 Azure 机器学习工作区。基本上，只要在 EastUS2 中创建了 API，就可以在任何 Azure 区域使用它。

我可以微调 Meta Llama 3 模型吗？

暂时还不能。