头图
  • 同步视频:BiliBili
  • LangChain官网示例大多是国外大模型平台,需要魔法环境,学习起来不方便
  • 提供几种解决方案

    • ollama部署本地大模型
    • 接入兼容OpenAI接口的国产大模型(阿里云、火山引擎、腾讯云等)
  • LangChain接入大模型

    • LangChain文档: Chat models
    • 该方式为厂商/社区适配的SDK,不如兼容OpenAI的方式方便

本地大模型

ollama

安装

  • Ollama 是一个开源项目,它允许用户在其本地计算机上运行大型语言模型(LLM)。
  • 官方文档

  • Ollama更多介绍可以看我之前的博客及视频:Ollama
# 下载大模型
ollama pull qwen2.5:latest
ollama pull qwen2.5:0.5b

LangChain接入

pip install langchain
pip install langchain-ollama
  • 代码
from langchain_ollama import ChatOllama

# 实例化
llm = ChatOllama(base_url="http://localhost:11434", model="qwen2.5:latest")

# 调用
result = llm.invoke("你好,怎么称呼?")
print(result)

兼容OpenAI接口

  • 由于OpenAi领先地位,大部分大模型都能兼容openai接口,一般更改下面几个参数就能完成接入

    • openai_api_base: 大模型平台API地址
    • openai_api_key: 平台密钥
    • model_name: 模型名称、接入点
  • LangChain官方文档:ChatOpenAI

阿里-百炼

准备

  • openai_api_base: "https://dashscope.aliyuncs.com/compatible-mode/v1"
  • openai_api_key

    • 获取路径: 阿里云控制台 > 阿里云百炼 > 右上角"人员"图标 > API-KEY
    • 阿里云文档: API key获取、API接口
  • model_name

    • 模型选择: 阿里云控制台 > 阿里云百炼 > 模型广场 > 找一个中意的模型
    • 阿里云文档: 模型价格表

LangChain接入

  • 安装依赖
pip install langchain
pip install langchain-openai
  • 代码
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    openai_api_base="https://dashscope.aliyuncs.com/compatible-mode/v1",
    openai_api_key="sk-xxx",    # app_key
    model_name="qwen-turbo",    # 模型名称
)

result = llm.invoke("你好,怎么称呼?")
print(result)

字节-火山方舟

准备

  • openai_api_base: "https://ark.cn-beijing.volces.com/api/v3"
  • openai_api_key

    • 获取路径: 火山引擎控制台 > 火山方舟 > API Key管理(左侧菜单)
    • 火山引擎文档: API Key 管理
  • model_name

    • 模型选择: 火山引擎控制台 > 火山方舟 > 在线推理 > 创建推理接入点
    • 火山引擎文档: 创建推理接入点

LangChain接入

  • 安装依赖
pip install langchain
pip install langchain-openai
  • 代码
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    openai_api_base="https://ark.cn-beijing.volces.com/api/v3",
    openai_api_key="xxx-xxx-xxx",    # app_key
    model_name="ep-xxx",    # 推理接入点
)

result = llm.invoke("你好,怎么称呼?")
print(result)

腾讯-混元

准备

  • openai_api_base: "https://api.hunyuan.cloud.tencent.com/v1"
  • openai_api_key

    • 获取路径: 腾讯云控制台 > 腾讯混元大模型 > API KEY管理 > 创建API KEY
    • 腾讯混元文档: 混元生文
  • model_name

LangChain接入

  • 安装依赖
pip install langchain
pip install langchain-openai
  • 代码
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    openai_api_base="https://api.hunyuan.cloud.tencent.com/v1",
    openai_api_key="sk-xxx",    # app_key
    model_name="hunyuan-pro",   # 模型名称
)

result = llm.invoke("你好,怎么称呼?")
print(result)

参考文档


言午日尧耳总
1 声望6 粉丝

不秃顶、不猝死,顺顺利利活到100可以吗?


« 上一篇
私有Docker仓库