(由SiliconCloud平台模型Flux.1生成)
SiiconCloud是硅基流动推出的大模型云服务平台,通过集成SiiconCloud API,开发者和企业可以轻松地使用SiiconCloud平台上的大模型服务,以实现各种生成式AI相关的任务和功能,推动业务创新和增长。
为方便用户在各主流应用平台上接入SiliconCloud API,此前,《沉浸式翻译、Dify、NextChat“三连击”,B站Up主的SiliconCloud API接入实战》一文介绍了SiliconCloud在上述三个应用平台的接入步骤。这次,我们将手把手教你在OneAPI、LobeChat、MindSearch中配置SiliconCloud的API。
当然,无论在哪个平台配置SiliconCloud API,一个必备步骤是获取API密钥:首先,注册SiliconCloud(http://siliconflow.cn/zh-cn/siliconcloud)的账号(若已注册,可直接登录);完成注册后,点击右边栏“API密钥”创建API Key,并复制密钥,以备后续使用。
在OneAPI中使用SiliconCloud
OneAPI(https://github.com/songquanpeng/one-api)是一个可做API管理、派发以及账户计费等功能的开源项目,并且有非常方便的前端来修改配置。
当你部署好OneAPI之后,可以通过“创建新的渠道”开始配置。由于OneAPI官方已接入硅基流动的SIliconCloud API,所以你可以在“类型”中直接选择“SIliconFlow”。“名称”可自行填入“SiliconFlow/SiliconCloud”。如果你对“分组”没有特别需求,可直接选择“default”。
然后,“模型”一栏可自行选择SiliconCloud已提供的所有模型。“密钥”部分填入你在SiliconCloud里获取到的API密钥。“代理”部分无需填写。提交后点击测试,它会按配置发一个简单的请求,配置正确会显示为下图所示。
至此,你就可以通过OneAPI使用SiliconCloud的API服务了。现在,你也可以在NextChat、LobeChat等应用平台调用OneAPI中接入的SiliconCloud API。
在LobeChat中使用SiliconCloud与NextChat类似,LobeChat(https://chat-preview.lobehub.com/)也是一个开源的AI聊天框架,支持诸多大模型API服务,用户可一键免费部署自己的AI应用程序。
实际上,LobeChat官方也接入了SiliconCloud的服务。
点击用户头像,你可以在应用设置的“语言模型”服务中打开SiliconFlow的服务,并填入从SiliconCloud平台创建的API密钥。随后,打开“客户端请求模式”即可。在模型列表中,共有27款模型可供选择。
设置完成后,返回LobeChat主界面,点击自定义助手即可选择使用SiliconCloud中的任一大模型服务。
在MindSearch中使用SiliconCloud
MindSearch(思·索,https://github.com/InternLM/MindSearch)是由书生·浦语研究团队提出的多智能体框架,它可以模拟人的思维过程,通过引入任务规划、任务拆解、大规模网页搜索、多源信息归纳总结等步骤,自主实现同时从上百个网页中进行信息搜集、整理。随着硅基流动的大模型API服务平台提供了免费的InternLM2.5-7B-Chat服务,MindSearch的部署与使用也就迎来了纯CPU版本,进一步降低了部署门槛。
部署MindSearch
调整MindSearch的配置接入SiliconCloud API(完全兼容OpenAI API接口)。在clone MindSearch到本地并安装相关依赖后(可参考 https://github.com/InternLM/MindSearch/blob/main/README.md),修改/path/to/MindSearch/mindsearch/models.py加上调用SiliconCloud API的相关配置。
配置如下:
internlm_silicon = dict(type=GPTAPI,
model_type='internlm/internlm2_5-7b-chat',
key=os.environ.get('SILICON_API_KEY', 'YOUR SILICON API KEY'),
openai_api_base='https://api.siliconflow.cn/v1/chat/completions',
meta_template=[
dict(role='system', api_role='system'),
dict(role='user', api_role='user'),
dict(role='assistant', api_role='assistant'),
dict(role='environment', api_role='system')
],
top_p=0.8,
top_k=1,
temperature=0,
max_new_tokens=8192,
repetition_penalty=1.02,
stop_words=['<|im_end|>'])
加入这段配置后,开始执行相关指令启动MindSearch。
首先启动MindSearch后端:
# 指定硅基流动的 API Key
export SILICON_API_KEY=(填入在SiliconCloud创建的API密钥)
# 启动
python -m mindsearch.app --lang en --model_format internlm_silicon --search_engine DuckDuckGoSearch
然后启动MindSearch的前端。这里以Gradio前端为例,其他前端启动可以参考MindSearch的README。
python frontend/mindsearch_gradio.py
可以体验一下根据本文教程部署好的基于硅基流动SiliconCloud API的MindSearch服务:https://huggingface.co/spaces/SmartFlowAI/MindSearch_X_Silico...
上传到HuggingFace Space你也可以选择部署到HuggingFace Space中。首先,在https://huggingface.co/new-space创建一个新的Space,配置如下图所示。
创建成功后,进入settings设置API Key。
然后选择New secrets,name一栏输入 SILICON_API_KEY,value一栏填入你的API Key。
最后,你只需要把第二步中的mindsearch目录、requirements.txt和一个app.py一并上传上去就完成了。具体文件结构如下所示。(app.py内容详情请查看https://huggingface.co/spaces/SmartFlowAI/MindSearch_X_Silico...)
特别预告
为了让用户更好地使用SiliconCloud InternLM API,书生大模型实战营第3期的彩蛋岛环节将分享以下课程:
【手把手带你使用InternLM实现谁是卧底游戏(基于SiliconCloud InternLM API)】
【如何使用纯CPU将MindSearch部署到HuggingFace(基于SiliconCloud InternLM API)】
欢迎感兴趣的朋友报名参与:https://www.wjx.cn/vm/PvefmG2.aspx?udsid=832803
让超级产品开发者实现“Token自由”
邀请新用户体验SiliconCloud,狂送2000万Token/人
邀请越多,Token奖励越多
siliconflow.cn/zh-cn/siliconcloud
加入用户交流群请后台私信
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。