在当今这个数据驱动的时代,机器学习模型的创建与部署已成为众多开发者关注的核心。本周Gpugeek面向模型开发者,上线了maas创建、部署模型功能。接下来,让我们一起来看看如何在Gpugeek上进行创建并部署模型,以及如何发布和调用其他开发者共享的模型吧!!!
一、Mass模型创建
Step 1 : 注册Gpugeek账号:点击下方链接,注册并登录GpuGeek云平台,点击左上方「模型市场」进入模型页面,点击头像进入模型创建页面
地址:https://gpugeek.com/login?type=register&source=wechat_gpugeek_01
Step 2 : 登录MAAS平台,进入【我的模型】页面,点击【创建模型】按钮,即可进入模型创建页面。
ps:我们为大家准备了操作指南可供参考哦
Step 3 : 填写基本信息
在模型创建页面,您需要填写模型的基本信息,包括模型名称和用户标识前缀。
模型名称建议使用英文或数字以及连接符‘-’进行命名,以确保兼容性和易读性。
用户标识前缀将作为模型名称的一部分,您可以在模型管理页面进行编辑,但每月仅支持变更一次。
Step 4 : 设置模型属性
接下来,您需要设置模型的属性。MAAS平台支持公开模型和私有模型两种类型。
公开模型面向所有人开放,任何人都可以进行体验或调用,并会向调用者收取一定的费用。而私有模型则仅供您自己查看和使用。
请注意!!!
每个模型在初始创建时,仅支持选择私有方式。完成模型推送并补充完善模型简介和README后,您才可以将模型编辑为公开状态。公开模型将经过后台审核,通常在1个工作日内完成,您可以随时查看审核状态。
Step 5 : 选择硬件
根据您的模型任务类型、参数量以及其他性能指标要求,为模型指定运行的硬件类型。选择合适的硬件可以确保模型的高效运行。完成以上设置后,点击【创建】按钮,即可完成模型创建。
Step 6 : 模型推送与信息完善
刚创建的模型暂时无法运行,需要通过模型推送工具Gear将您的自定义模型推送到MAAS平台。推送完成后,您需要完善模型信息,包括模型简介和README。模型简介应简明扼要地介绍模型特性,而README则应详细介绍模型的作用、使用方法、常见用例、使用限制、模型细节、应用场景、故障排除以及引文和致谢等信息。
您可以在已完成推送的模型体验区进行调用,并将最佳输出结果添加到示例中,以便其他用户快速了解模型的最佳用法和输出效果。
二、模型部署
Step 1 : 关于部署
模型部署是将个人公开模型或私有模型部署在GPU实例上,并设置自动扩缩容的范围。相比于直接调用公开模型API,部署服务更加稳定高效。它可以根据请求量大小自动调整算力资源,同时提供部署服务的运行监控,方便您随时掌握部署服务的运行状态。
Step 2 : 创建部署
访问【我的部署】页面,点击【创建部署】按钮,进入部署创建页面。在页面中填写部署名称,并选择要部署的模型名称和版本。请注意,官方的公开模型不支持部署。
Step 3 : 接下来,配置模型部署的实例类型、单个实例的GPU数量以及实例的自动扩缩容范围。根据您的需求填写相应的数值,以确保部署服务的稳定性和高效性。
Step 4 : 管理部署
部署创建完成后,您可以在【我的部署】页面查看部署列表,展示部署服务的名称和运行中的实例数量。点击部署服务进入详情页面,可以查看模型部署的体验区、API说明以及运行记录等信息。
在【设置】面板中,您可以修改部署服务的配置,包括名称、模型版本以及硬件配置。如果您需要临时调整部署服务的配置信息或暂停该部署服务,可以点击【禁用此部署】按钮。禁用操作预计在1分钟后生效,期间不会继续产生计费。如果您需要彻底删除部署服务,可以点击【删除部署】按钮,但请注意,服务一旦删除将无法恢复,请谨慎操作。
三、模型调用
多样化的模型调用方式:无论是公开模型,还是部署服务,均可以通过多种方式进行调用。为了满足不同用户的需求,平台提供了两种主要的模型调用方式:界面体验区和API调用。
Step 1 : 模型体验区
每个模型在平台上都有自己的体验区界面。通过直观的Web表单,您可以轻松填写模型请求参数,并即时查看输出结果。这种体验方式特别适合首次运行模型时,让您能够快速了解模型的效果。在后续稳定使用后,您还可以选择更加高效的API调用方式。
Step 2 : API调用
平台提供了丰富的API调用方式,包括HTTP、Node.js、Python等,确保您能够根据自己的技术栈选择最合适的方式。特别是针对文本对话类的模型,平台还支持OpenAI格式兼容,让您的迁移成本大大降低。
• 使用HTTP方式调用API:通过简单的curl命令,您可以快速发送请求并获取响应。
• 使用Python客户端调用API:平台提供了详细的Python代码示例,包括设置请求URL、请求头、请求参数以及发送POST请求等步骤,让您能够轻松上手。
• 使用Node.js客户端调用API:如果您更熟悉Node.js,平台同样提供了相应的代码示例,帮助您快速实现模型调用。
• OpenAI兼容模式:为了降低您的迁移成本,平台还支持OpenAI格式的兼容模式。只需安装指定版本的OpenAI模块,并初始化客户端,您就可以像使用OpenAI一样使用本平台的模型服务。
作为模型开发者,您不仅可以在平台上部署自己的模型,还可以选择将其公开发布。这样,其他用户就可以在平台上找到并使用您的模型,实现知识的共享与价值的传递。同时,您也可以浏览并部署其他人公开的模型,拓展自己的技术视野和应用场景。
MAAS平台为模型开发者提供了一个高效、便捷的创建与部署平台。平台以其简便的模型创建与部署流程、多样化的模型调用方式以及灵活的模型发布与共享机制,正逐渐成为模型开发者们的首选之地。无论您是初学者还是资深专家,都可以在这里找到适合自己的工具和资源,共同推动人工智能技术的进步与发展。
赶快加入我们,一起探索MAAS平台的无限可能吧!!!
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。