图片
(由SiliconCloud平台模型Flux.1生成)

​SiiconCloud是硅基流动推出的大模型云服务平台,通过集成SiiconCloud API,开发者和企业可以轻松地使用SiiconCloud平台上的大模型服务,以实现各种生成式AI相关的任务和功能,推动业务创新和增长。

​​为方便用户在各主流应用平台上接入SiliconCloud API,此前,《沉浸式翻译、Dify、NextChat“三连击”,B站Up主的SiliconCloud API接入实战》一文介绍了SiliconCloud在上述三个应用平台的接入步骤。这次,我们将手把手教你在OneAPI、LobeChat、MindSearch中配置SiliconCloud的API。

​​当然,无论在哪个平台配置SiliconCloud API,一个必备步骤是获取API密钥:首先,注册SiliconCloud(http://siliconflow.cn/zh-cn/siliconcloud)的账号(若已注册,可直接登录);完成注册后,点击右边栏“API密钥”创建API Key,并复制密钥,以备后续使用。

图片

在OneAPI中使用SiliconCloud​

OneAPI(https://github.com/songquanpeng/one-api)是一个可做API管理、派发以及账户计费等功能的开源项目,并且有非常方便的前端来修改配置。

​当你部署好OneAPI之后,可以通过“创建新的渠道”开始配置。由于OneAPI官方已接入硅基流动的SIliconCloud API,所以你可以在“类型”中直接选择“SIliconFlow”。“名称”可自行填入“SiliconFlow/SiliconCloud”。如果你对“分组”没有特别需求,可直接选择“default”。

图片

​然后,“模型”一栏可自行选择SiliconCloud已提供的所有模型。“密钥”部分填入你在SiliconCloud里获取到的API密钥。“代理”部分无需填写。提交后点击测试,它会按配置发一个简单的请求,配置正确会显示为下图所示。

图片

​至此,你就可以通过OneAPI使用SiliconCloud的API服务了。现在,你也可以在NextChat、LobeChat等应用平台调用OneAPI中接入的SiliconCloud API。

​​在LobeChat中使用SiliconCloud与NextChat类似,LobeChat(https://chat-preview.lobehub.com/)也是一个开源的AI聊天框架,支持诸多大模型API服务,用户可一键免费部署自己的AI应用程序。

​​实际上,LobeChat官方也接入了SiliconCloud的服务。

​​点击用户头像,你可以在应用设置的“语言模型”服务中打开SiliconFlow的服务,并填入从SiliconCloud平台创建的API密钥。随后,打开“客户端请求模式”即可。在模型列表中,共有27款模型可供选择。

图片

​设置完成后,返回LobeChat主界面,点击自定义助手即可选择使用SiliconCloud中的任一大模型服务。

图片

​在MindSearch中使用SiliconCloud

MindSearch(思·索,https://github.com/InternLM/MindSearch)是由书生·浦语研究团队提出的多智能体框架,它可以模拟人的思维过程,通过引入任务规划、任务拆解、大规模网页搜索、多源信息归纳总结等步骤,自主实现同时从上百个网页中进行信息搜集、整理。随着硅基流动的大模型API服务平台提供了免费的InternLM2.5-7B-Chat服务,MindSearch的部署与使用也就迎来了纯CPU版本,进一步降低了部署门槛。

部署MindSearch

调整MindSearch的配置接入SiliconCloud API(完全兼容OpenAI API接口)。在clone MindSearch到本地并安装相关依赖后(可参考 https://github.com/InternLM/MindSearch/blob/main/README.md),修改/path/to/MindSearch/mindsearch/models.py加上调用SiliconCloud API的相关配置。

配置如下:

internlm_silicon = dict(type=GPTAPI,
                        model_type='internlm/internlm2_5-7b-chat',                        
                        key=os.environ.get('SILICON_API_KEY', 'YOUR SILICON API KEY'),                        
                        openai_api_base='https://api.siliconflow.cn/v1/chat/completions',                        
                        meta_template=[                            
                                dict(role='system', api_role='system'),                            
                                dict(role='user', api_role='user'),                            
                                dict(role='assistant', api_role='assistant'),                            
                                dict(role='environment', api_role='system')                        
                        ],                        
                        top_p=0.8,                        
                        top_k=1,                        
                        temperature=0,                        
                        max_new_tokens=8192,                        
                        repetition_penalty=1.02,                        
                        stop_words=['<|im_end|>'])

加入这段配置后,开始执行相关指令启动MindSearch。

​​首先启动MindSearch后端:

# 指定硅基流动的 API Key
export SILICON_API_KEY=(填入在SiliconCloud创建的API密钥)
# 启动
python -m mindsearch.app --lang en --model_format internlm_silicon --search_engine DuckDuckGoSearch

​​然后启动MindSearch的前端。这里以Gradio前端为例,其他前端启动可以参考MindSearch的README。

python frontend/mindsearch_gradio.py

可以体验一下根据本文教程部署好的基于硅基流动SiliconCloud API的MindSearch服务:https://huggingface.co/spaces/SmartFlowAI/MindSearch_X_Silico...

图片

上传到HuggingFace Space你也可以选择部署到HuggingFace Space中。首先,在https://huggingface.co/new-space创建一个新的Space,配置如下图所示。

图片

​创建成功后,进入settings设置API Key。

图片

​然后选择New secrets,name一栏输入 SILICON_API_KEY,value一栏填入你的API Key。

图片

最后,你只需要把第二步中的mindsearch目录、requirements.txt和一个app.py一并上传上去就完成了。具体文件结构如下所示。(app.py内容详情请查看https://huggingface.co/spaces/SmartFlowAI/MindSearch_X_Silico...

图片

​特别预告​​

为了让用户更好地使用SiliconCloud InternLM API,书生大模型实战营第3期的彩蛋岛环节将分享以下课程:

【手把手带你使用InternLM实现谁是卧底游戏(基于SiliconCloud InternLM API)】
【如何使用纯CPU将MindSearch部署到HuggingFace(基于SiliconCloud InternLM API)】

欢迎感兴趣的朋友报名参与:https://www.wjx.cn/vm/PvefmG2.aspx?udsid=832803

图片

图片

让超级产品开发者实现“Token自由”

邀请新用户体验SiliconCloud,狂送2000万Token/人

邀请越多,Token奖励越多
siliconflow.cn/zh-cn/siliconcloud

加入用户交流群请后台私信


OneFlow
10 声望22 粉丝

★ OneFlow深度学习框架:github.com/Oneflow-Inc/oneflow ★ OF云平台:oneflow.cloud