LangChain接入本地/国产大模型

• 同步视频:BiliBili
• LangChain官网示例大多是国外大模型平台，需要魔法环境，学习起来不方便

• 提供几种解决方案

  • ollama部署本地大模型
  • 接入兼容OpenAI接口的国产大模型(阿里云、火山引擎、腾讯云等)

• LangChain接入大模型

  • LangChain文档: Chat models
  • 该方式为厂商/社区适配的SDK，不如兼容OpenAI的方式方便

本地大模型

ollama

安装

• Ollama 是一个开源项目，它允许用户在其本地计算机上运行大型语言模型（LLM）。

• 官方文档

  • Ollama官网
  • Ollama模型列表
• Ollama更多介绍可以看我之前的博客及视频：Ollama

# 下载大模型
ollama pull qwen2.5:latest
ollama pull qwen2.5:0.5b

• 验证ollama安装成功

  • 访问"http://ip:11434"，如 "http://localhost:11434"
  • 响应结果："Ollama is running"

• 验证ollama模型下载

  • 访问"http://ip:11434/api/tags"，如 "http://localhost:11434/api/tags"
  • 响应结果列出了已下载大模型列表

LangChain接入

• LangChain文档: ChatOllama
• 安装依赖

pip install langchain
pip install langchain-ollama

• 代码

from langchain_ollama import ChatOllama

# 实例化
llm = ChatOllama(base_url="http://localhost:11434", model="qwen2.5:latest")

# 调用
result = llm.invoke("你好，怎么称呼？")
print(result)

兼容OpenAI接口

• 由于OpenAi领先地位，大部分大模型都能兼容openai接口，一般更改下面几个参数就能完成接入

  • openai_api_base: 大模型平台API地址
  • openai_api_key: 平台密钥
  • model_name: 模型名称、接入点
• LangChain官方文档：ChatOpenAI

阿里-百炼

准备

• openai_api_base: "https://dashscope.aliyuncs.com/compatible-mode/v1"

• openai_api_key

  • 获取路径: 阿里云控制台 > 阿里云百炼 > 右上角"人员"图标 > API-KEY
  • 阿里云文档: API key获取、API接口

• model_name

  • 模型选择: 阿里云控制台 > 阿里云百炼 > 模型广场 > 找一个中意的模型
  • 阿里云文档: 模型价格表

LangChain接入

• 安装依赖

pip install langchain
pip install langchain-openai

• 代码

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    openai_api_base="https://dashscope.aliyuncs.com/compatible-mode/v1",
    openai_api_key="sk-xxx",    # app_key
    model_name="qwen-turbo",    # 模型名称
)

result = llm.invoke("你好，怎么称呼？")
print(result)

字节-火山方舟

准备

• openai_api_base: "https://ark.cn-beijing.volces.com/api/v3"

• openai_api_key

  • 获取路径: 火山引擎控制台 > 火山方舟 > API Key管理(左侧菜单)
  • 火山引擎文档: API Key 管理

• model_name

  • 模型选择: 火山引擎控制台 > 火山方舟 > 在线推理 > 创建推理接入点
  • 火山引擎文档: 创建推理接入点

LangChain接入

• 安装依赖

pip install langchain
pip install langchain-openai

• 代码

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    openai_api_base="https://ark.cn-beijing.volces.com/api/v3",
    openai_api_key="xxx-xxx-xxx",    # app_key
    model_name="ep-xxx",    # 推理接入点
)

result = llm.invoke("你好，怎么称呼？")
print(result)

腾讯-混元

准备

• openai_api_base: "https://api.hunyuan.cloud.tencent.com/v1"

• openai_api_key

  • 获取路径: 腾讯云控制台 > 腾讯混元大模型 > API KEY管理 > 创建API KEY
  • 腾讯混元文档: 混元生文

• model_name

  • 模型选择: 腾讯云控制台 > 腾讯混元大模型 > 资源包管理
  • 腾讯混元文档: 混元生文计费概述

LangChain接入

• 安装依赖

pip install langchain
pip install langchain-openai

• 代码

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    openai_api_base="https://api.hunyuan.cloud.tencent.com/v1",
    openai_api_key="sk-xxx",    # app_key
    model_name="hunyuan-pro",   # 模型名称
)

result = llm.invoke("你好，怎么称呼？")
print(result)

参考文档

• LangChain文档

  • Chat models

• OpenAI接口兼容文档

  • 阿里-百炼
  • 字节-火山方舟
  • 腾讯-混元
  • 百度-千帆
  • 清华智谱
  • 月之暗面-Kimi
  • 阶跃星辰

• 费用

  • 阿里-百炼
  • 字节-火山方舟
  • 腾讯-混元大模型
  • 百度-千帆