给Java同仁单点的AI"开胃菜"--搭建一个自己的本地问答系统

这是我参与创作者计划的第1篇文章

大家好，因为对AI大模型很感兴趣，相信很多兄弟们跟我一样，所以最近花时间了解了一些，有一些总结分享给大家，希望对各位有所帮助；

本文主要是目标是讲解如何在本地搭建一个简易的AI问答系统，主要用java来实现，也有一些简单的python知识；网上很多例子都是以 ChatGPT来讲解的，但因为它对国内访问有限制，OpeAi连接太麻烦，又要虚拟账号注册账号啥的，第一步就劝退了，所以选择了 llama和qwen替代，但是原理都是一样的；

AI 应用开发框架

（一）Langchain

官网：https://www.langchain.com/langchain

LangChain不是一个大数据模型，而是一款可以用于开发类似AutoGPT的AI应用的开发工具， LangChain****简化了LLM应用程序生命周期的各个阶段，且提供了开发协议、开发范式，并拥有相应的平台和生态；

LangChain 是一个由 Harrison Chase 创立的框架，专注于帮助开发者使用语言模型构建端到端的应用程序。它特别设计来简化与大型语言模型（LLMs）的集成，使得创建由这些模型支持的应用程序变得更加容易。LangChain 提供了一系列工具、组件和接口，可以用于构建聊天机器人、生成式问答系统、摘要工具以及其他基于语言的AI应用。

LangChain 的核心特性包括：

1.链式思维（Chains）： LangChain 引入了“链”（Chain）的概念，这是一系列可组合的操作，可以按顺序执行，比如从获取输入、处理数据到生成输出。链条可以嵌套和组合，形成复杂的逻辑流。

2.代理（Agents）：代理是更高级别的抽象，它们可以自主地决定如何使用不同的链条来完成任务。代理可以根据输入动态选择最佳行动方案。

3.记忆（Memory）： LangChain 支持不同类型的内存，允许模型保留历史对话或操作的上下文，这对于构建有状态的对话系统至关重要。

4.加载器和拆分器（Loaders and Splitters）：这些工具帮助读取和处理各种格式的文档，如PDF、网页、文本文件等，为模型提供输入数据。

5.提示工程（Prompt Engineering）： LangChain 提供了创建和管理提示模板的工具，帮助引导模型生成特定类型的内容。

6.Hub： LangChain Hub 是一个社区驱动的资源库，其中包含了许多预构建的链条、代理和提示，可以作为构建块来加速开发过程。

7.与外部系统的集成： LangChain 支持与外部数据源和API的集成，如数据库查询、知识图谱、搜索引擎等，以便模型能够访问更广泛的信息。

8.监控和调试工具：为了更好地理解和优化应用程序，LangChain 提供了日志记录和分析功能，帮助开发者追踪模型的行为和性能。

（二） LangChain4J

上面说的 LangChain 是基于python 开发的，而 LangChain4J 是一个旨在为 Java 开发者提供构建语言模型应用的框架。受到 Python 社区中 LangChain 库的启发，LangChain4J 致力于提供相似的功能，但针对 Java 生态系统进行了优化。它允许开发者轻松地构建、部署和维护基于大型语言模型的应用程序，如聊天机器人、文本生成器和其他自然语言处理（NLP）任务。

主要特点：

1.模块化设计：LangChain4J 提供了一系列可组合的模块，包括语言模型、记忆、工具和链，使得开发者可以构建复杂的语言处理流水线。

2.支持多种语言模型：LangChain4J 支持与各种语言模型提供商集成，如 Hugging Face、OpenAI、Google PaLM 等，使得开发者可以根据项目需求选择最合适的模型。

3.记忆机制：它提供了记忆组件，允许模型记住先前的对话历史，从而支持上下文感知的对话。

4.工具集成：LangChain4J 支持集成外部工具，如搜索API、数据库查询等，使得模型能够访问实时数据或执行特定任务。

5.链式执行：通过链式执行，可以将多个语言处理步骤链接在一起，形成复杂的处理流程，例如先分析用户意图，再查询数据库，最后生成回复。

主要功能：

1.LLM 适配器：允许你连接到各种语言模型，如 OpenAI 的 GPT-3 和 GPT-4，Anthropic 的 Claude 等。

2.Chains 构建：提供一种机制来定义和执行一系列操作，这些操作可以包括调用模型、数据检索、转换等，以完成特定的任务。

3.Agent 实现：支持创建代理（agents），它们可以自主地执行任务，如回答问题、完成指令等。

4.Prompt 模板：提供模板化的提示，帮助指导模型生成更具体和有用的回答。

5.工具和记忆：允许模型访问外部数据源或存储之前的交互记录，以便在会话中保持上下文。

6.模块化和可扩展性：使开发者能够扩展框架，添加自己的组件和功能。

本地问答系统搭建环境准备

（一）用 Ollama 启动一个本地大模型

1.下载安装 Ollma

2.ollama 是一个命令行工具，用于方便地在本地运行 LLaMA 系列模型和其他类似的 transformer 基础的大型语言模型。该工具简化了模型的下载、配置和推理过程，使得个人用户能够在自己的机器上直接与这些模型交互，而不需要直接接触复杂的模型加载和推理代码；

3.下载地址：https://ollama.com/，下载完成后，打开 Ollma，其默认端口为11334，浏览器访问：http://localhost:11434 ，会返回：Ollama is running，电脑右上角展示图标；

9c6e62c5e29b45119ef23663d9c07d3b~tplv-73owjymdk6-jj-mark-v1_0_0_0_0_5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5Lqs5Lic5LqR5byA5Y-R6ICF_q75.webp

1.下载大模型

2.安装完成后，通过命令行下载大模型，命令行格式：ollma pull modelName，如：ollma pull llama3；

3.大模型一般要几个G，需要等一会；个人建议至少下载两个， llama3、 qwen（通义千问），这两个都是开源免费的，英文场景用 llama3，中文场景用 qwen；

下载完成后，通过 ollma list 可以查看已下载的大模型；

bf2de2aa399143e5b48a8688e0e2bd0b~tplv-73owjymdk6-jj-mark-v1_0_0_0_0_5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5Lqs5Lic5LqR5byA5Y-R6ICF_q75.webp

1.启动大模型

确认下载完成后，用命令行：ollma run 模型名称，来启动大模型；启动后，可以立即输入内容与大模型进行对话，如下：

05c2eb54282d4e4c80305dec3f4e8dae~tplv-73owjymdk6-jj-mark-v1_0_0_0_0_5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5Lqs5Lic5LqR5byA5Y-R6ICF_q75.webp

（二）启动本地向量数据库 chromadb

Chroma 是一款 AI 原生开源矢量数据库，它内置了入门所需的一切，可在本地运行，是一款很好的入门级向量数据库。

1.安装：pip install chromadb ;

2.启动：chroma run ：

477b3b861d25498ea5ea7f6c6466ca6d~tplv-73owjymdk6-jj-mark-v1_0_0_0_0_5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5Lqs5Lic5LqR5byA5Y-R6ICF_q75.webp

用java 实现本地AI问答功能

（一）核心maven依赖：

<properties>
    <maven.compiler.source>8</maven.compiler.source>
    <maven.compiler.target>8</maven.compiler.target>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <langchain4j.version>0.31.0</langchain4j.version>
</properties>

<dependencies>
    <!--     langchain4j       -->
    <dependency>
        <groupId>dev.langchain4j</groupId>
        <artifactId>langchain4j-core</artifactId>
        <version>${langchain4j.version}</version>
    </dependency>
    <dependency>
        <groupId>dev.langchain4j</groupId>
        <artifactId>langchain4j</artifactId>
        <version>${langchain4j.version}</version>
    </dependency>
    <dependency>
        <groupId>dev.langchain4j</groupId>
        <artifactId>langchain4j-open-ai</artifactId>
        <version>${langchain4j.version}</version>
    </dependency>

    <dependency>
        <groupId>dev.langchain4j</groupId>
        <artifactId>langchain4j-embeddings</artifactId>
        <version>${langchain4j.version}</version>
    </dependency>
    <dependency>
        <groupId>dev.langchain4j</groupId>
        <artifactId>langchain4j-chroma</artifactId>
        <version>${langchain4j.version}</version>
    </dependency>

    <!--     ollama       -->
    <dependency>
        <groupId>dev.langchain4j</groupId>
        <artifactId>langchain4j-ollama</artifactId>
        <version>${langchain4j.version}</version>
    </dependency>

    <!--    chroma 向量数据库        -->
    <dependency>
        <groupId>io.github.amikos-tech</groupId>
        <artifactId>chromadb-java-client</artifactId>
        <version>0.1.5</version>
    </dependency>
    
</dependencies>

（二）代码编写：

加载本地文件作为本地知识库：

public static void main(String[] args) throws ApiException {
    //======================= 加载文件=======================
    Document document = getDocument("笑话.txt");
    
}


private static Document getDocument(String fileName) {
        URL docUrl = LangChainMainTest.class.getClassLoader().getResource(fileName);
        if (docUrl == null) {
            log.error("未获取到文件");
        }

        Document document = null;
        try {
            Path path = Paths.get(docUrl.toURI());
            document = FileSystemDocumentLoader.loadDocument(path);
        } catch (URISyntaxException e) {
            log.error("加载文件发生异常", e);
        }
        return document;
    }

1.拆分文件内容：

//======================= 拆分文件内容=======================
//参数：分段大小（一个分段中最大包含多少个token）、重叠度（段与段之前重叠的token数）、分词器（将一段文本进行分词，得到token）
DocumentByLineSplitter lineSplitter = new DocumentByLineSplitter(200, 0, new OpenAiTokenizer());
List<TextSegment> segments = lineSplitter.split(document);
log.info("segment的数量是: {}", segments.size());

//查看分段后的信息
segments.forEach(segment -> log.info("========================segment: {}", segment.text()));

1.文本向量化并存储到向量数据库：

//提前定义两个静态变量
private static final String CHROMA_DB_DEFAULT_COLLECTION_NAME = "java-langChain-database-demo";
private static final String CHROMA_URL = "http://localhost:8000";


//======================= 文本向量化=======================
OllamaEmbeddingModel embeddingModel = OllamaEmbeddingModel.builder()
        .baseUrl("http://localhost:11434")
        .modelName("llama3")
        .build();

//======================= 向量库存储=======================
Client client = new Client(CHROMA_URL);

//创建向量数据库
EmbeddingStore<TextSegment> embeddingStore = ChromaEmbeddingStore.builder()
        .baseUrl(CHROMA_URL)
        .collectionName(CHROMA_DB_DEFAULT_COLLECTION_NAME)
        .build();

segments.forEach(segment -> {
    Embedding e = embeddingModel.embed(segment).content();
    embeddingStore.add(e, segment);
});

1.向量库检索：

//======================= 向量库检索=======================
String qryText = "北极熊";
Embedding queryEmbedding = embeddingModel.embed(qryText).content();

EmbeddingSearchRequest embeddingSearchRequest = EmbeddingSearchRequest.builder().queryEmbedding(queryEmbedding).maxResults(1).build();
EmbeddingSearchResult<TextSegment> embeddedEmbeddingSearchResult = embeddingStore.search(embeddingSearchRequest);
List<EmbeddingMatch<TextSegment>> embeddingMatcheList = embeddedEmbeddingSearchResult.matches();
EmbeddingMatch<TextSegment> embeddingMatch = embeddingMatcheList.get(0);
TextSegment textSegment = embeddingMatch.embedded();
log.info("查询结果: {}", textSegment.text());

1.与LLM交互

//======================= 与LLM交互=======================
PromptTemplate promptTemplate = PromptTemplate.from("基于如下信息用中文回答:\n" +
        "{{context}}\n" +
        "提问:\n" +
        "{{question}}");
Map<String, Object> variables = new HashMap<>();
//以向量库检索到的结果作为LLM的信息输入
variables.put("context", textSegment.text());
variables.put("question", "北极熊干了什么");
Prompt prompt = promptTemplate.apply(variables);

//连接大模型
OllamaChatModel ollamaChatModel = OllamaChatModel.builder()
        .baseUrl("http://localhost:11434")
        .modelName("llama3")
        .build();

UserMessage userMessage = prompt.toUserMessage();
Response<AiMessage> aiMessageResponse = ollamaChatModel.generate(userMessage);
AiMessage response = aiMessageResponse.content();
log.info("大模型回答: {}", response.text());

（三）功能测试：

1.代码中用到 "笑话.txt" 是我随便从网上找的一段内容，大家可以随便输入点内容，为了给大家展示测试结果，我贴一下我文本内容：

有一只北极熊和一只企鹅在一起耍,
企鹅把身上的毛一根一根地拔了下来,拔完之后,对北极熊说:“好冷哦！”
北极熊听了，也把自己身上的毛一根一根地拔了下来，
转头对企鹅说：
”果然很冷！”

1.当我输入问题：“北极熊干了什么”，程序打印如下结果：

根据故事，北极熊把自己的身上的毛一根一根地拔了下来

结语

1.以上便是完成了一个超简易的AI问答功能，如果想搭一个问答系统，可以用Springboot搞一个Web应用，把上面的代码放到业务逻辑中即可；

2.langchain 还有其他很多很强大的能力，prompt Fomat、output Fomat、工具调用、memory存储等；

3.早点认识和学习ai，不至于被它取代的时候，连对手是谁都不知道；

参考资料：

给Java同仁单点的AI"开胃菜"--搭建一个自己的本地问答系统

这是我参与创作者计划的第1篇文章

相关概念了解：

（一）大语言模型 LLM

（二）Embedding

（三）向量数据库

（四）RAG

AI 应用开发框架

（一）Langchain

（二） LangChain4J

本地问答系统搭建环境准备

（一）用 Ollama 启动一个本地大模型

（二）启动本地向量数据库 chromadb

用java 实现本地AI问答功能

（一）核心maven依赖：

（二）代码编写：

（三）功能测试：

结语

参考资料：

京东云开发者

引用和评论

大数据从业者必知必会的Hive SQL调优技巧

ChatGPT

高质量代码的原则

Scrum 四个会议及正确召开方式

估算工作时间的 3 条规则（在软件开发项目中）

为什么说用户故事不适合表达需求

每一个前端，都要拥有属于自己的埋点库~

给Java同仁单点的AI"开胃菜"--搭建一个自己的本地问答系统

这是我参与创作者计划的第1篇文章

相关概念了解：

（一）大语言模型 LLM

（二）Embedding

（三）向量数据库

（四）RAG

AI 应用开发框架

（一）Langchain

（二） LangChain4J

本地问答系统搭建环境准备

（一）用 Ollama 启动一个本地大模型

（二）启动 本地向量数据库 chromadb

用java 实现 本地AI问答功能

（一）核心maven依赖：

（二）代码编写：

（三）功能测试：

结语

参考资料：

京东云开发者

引用和评论

大数据从业者必知必会的Hive SQL调优技巧

ChatGPT

高质量代码的原则

Scrum 四个会议及正确召开方式

估算工作时间的 3 条规则（在软件开发项目中）

为什么说用户故事不适合表达需求

每一个前端，都要拥有属于自己的埋点库~

（二）启动本地向量数据库 chromadb

用java 实现本地AI问答功能