实际应用中，这两种方案并不是要对立存在的，像永劫无间这种游戏的场景，用户要的是低延迟，无障碍交流。并且能够触发某些动作技能。这就非常适合使用成熟的 ASR 和 TTS 技术来负责音频的处理，而 LLM 就可以专门做用户意图的理解。

FastGPT是一个功能强大的平台，专注于知识库训练和自动化工作流程的编排。它提供了一个简单易用的可视化界面，支持自动数据预处理和基于Flow模块的工作流编排。FastGPT支持创建RAG系统，提供自动化工作流程等功能，使得构建和使用RAG系统变得简单，无需编写复杂代码。

标题取自 LLamaIndex，这个内容最早提出于今年 2 月份 LlamaIndex 官方博客。从 22 年 chatGpt 爆火，23 年大模型尝鲜，到 24 年真正用 AI 落地业务场景，业界普遍都发现了从 MVP 到 PMF 不是那么容易的，具体的原因有非常多，在 RAG 场景下，最主要的表现是企业的数据 _“垃圾进，垃圾出”_，如何利用好企业数据是提升 RA...

专业级语义搜索优化：利用 Cohere AI、BGE Re-Ranker 及 Jina Reranker 实现精准结果重排1. 简介1.1 RAG在说重排工具之前，我们要先了解一下 RAG。检索增强生成（RAG）是一种新兴的 AI 技术栈，通过为大型语言模型（LLM）提供额外的 “最新知识” 来增强其能力。基本的 RAG 应用包括四个关键技术组成部分：Embedding 模型...

该项目整合了编程、AI、产品设计、商业科技及个人成长等多领域的精华内容，源自顶尖技术企业和社群。借助先进语言模型技术，对精选文章进行高效摘要、专业评分及多语种翻译，实现了从初步评估到深入剖析，再到传播的全面自动化流程。通过引入Workflow平台，该项目显著提升了内容处理的速度与质量，为读者带来更加便捷、...

SearXNG与LLM强强联合：打造用户隐私保护的智能搜索解答流程，隐私无忧，搜索无忧SearXNG 是一个免费的互联网元搜索引擎，整合了各种搜索服务的结果。用户不会被跟踪，也不会被分析。github地址:[链接]项目地址:[链接]公共实例:[链接]功能特性自托管，可以私有化部署没有用户跟踪/没有分析可以自定义设置脚本和 cookies...

Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。通过 Xorbits Inference，可以轻松地一键部署你自己的模型或内置的前沿开源模型

以下是其主要特点和功能概述：简化部署：Ollama 目标在于简化在 Docker 容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。

本文介绍了五种加速在国内访问和下载 GitHub 的方法，包括：使用 Gitee 平台加速克隆代码、修改 hosts 文件、使用油猴脚本、通过在线镜像站点、以及使用 FastGithub 等加速工具。

Dify，一款引领未来的开源大语言模型（LLM）应用开发平台，革新性地融合了后端即服务(Backend as a Service,BaaS）与LLMOps的精髓，为开发者铺设了一条从创意原型到高效生产的快车道。其设计旨在打破技术壁垒，让非技术背景的用户也能轻松参与至AI应用的构思与数据运营之中，共同塑造智能未来。

告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验Huggingface国内开源镜像：[链接] 里面总结了很多下载的方法，下面进行一一讲解方法一：网页下载在模型主页的Files and Version中中可以获取文件的下载链接。无需登录直接点击下载，还可以复制下载链接，用其他下载工具下载。方法二：huggingface-cli(...

飞致云是中国领先的开源软件公司。飞致云旗下开源产品包括 1Panel 开源面板、JumpServer 开源堡垒机、DataEase 开源数据可视化分析工具、MeterSphere 开源测试工具、Halo 开源建站工具、MaxKB 开源知识库问答系统等，涵盖运维面板、运维审计、BI 分析、软件测试、CMS 建站、知识库问答等多个领域。飞致云旗下的开源项目...

MaxKB = Max Knowledge Base，是一款基于 LLM 大语言模型的开源知识库问答系统，旨在成为企业的最强大脑。它能够帮助企业高效地管理知识，并提供智能问答功能。想象一下，你有一个虚拟助手，可以回答各种关于公司内部知识的问题，无论是政策、流程，还是技术文档，MaxKB 都能快速准确地给出答案:比如公司内网如何访问、...

智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐Agent是以大模型为核心的智能体，通过与用户对话的形式，来完成各种任务，它很像一个“人”。如果和人做类比，它应该具备以下能力：Agent的各个要素各个子模块：1.对话式Agent1.1 月之暗面(Moonshot AI)-Kimi官方：[链接]Kimi 作为月之暗面科技有限...

国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]0. 大模型选择司南测评结果：SuperCLue测评结果：自2023年5月以来，全球及中国国内的大模型技术均展现出了强劲的发展势头，尤其是以GPT系列为代表的海外顶尖模型，历经了从GPT3.5到GPT4、GPT4-Turbo乃至GPT4o的多次迭代飞跃，持续推动AI技术...

初识langchain：LLM大模型+Langchain实战[qwen2.1、GLM-4]+Prompt工程1.大模型基础知识大模型三大重点：算力、数据、算法，ReAct （reason推理+act行动）--思维链Langchain会把上述流程串起来，通过chain把多个算法模型串联起来Langchain的 I/O系统，负责输入输出管理【文件形式加载提示词】LangChain优势简化开发流程：...

OSGraph (Open Source Graph) 是一个开源图谱关系洞察工具，基于GitHub开源数据全域图谱，实现开发者行为、项目社区生态的分析洞察。可以为开发者、项目Owner、开源布道师、社区运营等提供简洁直观的开源数据视图，帮助你和你的项目制作专属的开源名片、寻求契合的开发伙伴、挖掘深度的社区价值。

MetaGPT 以一条需求作为输入，并输出用户故事/竞争分析/需求/数据结构/API/文档等。内部而言，MetaGPT 包含产品经理/架构师/项目经理/工程师等角色。它为软件公司提供了整个流程，并精心制定了标准化操作流程（SOP）。“代码=SOP（团队）”是核心理念。我们将SOP转化为代码，并将其应用于由LLM（大型语言模型）组成的团队。

在学术探索的浩瀚星空中，机器人技术领域的璀璨明珠莫过于Agent技术的深入研究，这一领域历来是创新与突破的温床。回溯至大模型浪潮兴起之前，Agent技术的辉煌篇章便已悄然铺展，诸如Alphago这样的里程碑式案例，以其卓越的环境感知、精准决策与高效行动能力，生动诠释了Agent技术的闭环魅力。同时，DeepMind的Agent57在...

RPA：RPA(Robotic Process Automation) 即机器人流程自动化，是一种软件自动化技术。RPA 通过模仿人类在电脑上的手动操作，如打开网站、点击鼠标、键盘输入等，实现业务流程的自动化。RPA 系统可以自动处理大量重复的、基于规则的工作流程任务，例如在银行中，纸质文件输入、文件票据验证、从电子邮件和文件中提取数据、...

使用煤矿历史事故案例，事故处理报告、安全规程规章制度、技术文档、煤矿从业人员入职考试题库等数据，微调internlm2模型实现针对煤矿事故和煤矿安全知识的智能问答。

Chain-of-Thought(CoT)是一种改进的Prompt技术，目的在于提升大模型LLMs在复杂推理任务上的表现，如算术推理（arithmetic reasoning）、常识推理（commonsense reasoning）、符号推理（symbolic reasoning）。

LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战1.环境准备GPU设备: A10, 3090, V100, A100均可. {代码...} 2.推理加速vllm不支持bnb量化的模型. vllm支持的模型可以查看支持的模型.2.1 qwen-7b-chat {代码...} 2.2 流式输出 {代码...} 2.3 chatglm3 {代码...} 2.4 使用CLI {代码...} 2.5 微调后...

训练后的模型会用于推理或者部署。推理即使用模型用输入获得输出的过程，部署是将模型发布到恒定运行的环境中推理的过程。一般来说，LLM的推理可以直接使用PyTorch代码、使用VLLM/XInference/FastChat等框架，也可以使用llama.cpp/chatglm.cpp/qwen.cpp等c++推理框架。

大语言模型（LLM）评测是LLM开发和应用中的关键环节。目前评测方法可以分为人工评测和自动评测，其中，自动评测技术相比人工评测来讲，具有效率高、一致性好、可复现、鲁棒性好等特点，逐渐成为业界研究的重点。

Modelscope 是一个交互式智能体应用基于ModelScope-Agent，用于方便地创建针对各种现实应用量身定制智能体，目前已经在生产级别落地。AgentFabric围绕可插拔和可定制的LLM构建，并增强了指令执行、额外知识检索和利用外部工具的能力。AgentFabric提供的交互界面包括：

提示: 因为自我认知训练涉及到知识编辑, 建议对MLP加lora_target_modules. 你可以通过指定--lora_target_modules ALL在所有的linear层(包括qkvo以及mlp)加lora. 这通常是效果最好的.

SWIFT支持了开源模型，尤其是中小型模型（7B、14B等）对Agent场景的训练，并将loss-scale技术应用到agent训练中，使中小模型API Call能力更稳定，并支持使用单张商业级显卡进行Agent推理和部署，可以直接在生产场景中全链路闭环落地使用。

指令微调阶段使用了已标注数据。这个阶段训练的数据集数量不会像预训练阶段那么大，最多可以达到几千万条，最少可以达到几百条到几千条。指令微调可以将预训练的知识“涌现”出来，进行其他类型的任务，如问答类型的任务。一般指令微调阶段对于在具体行业上的应用是必要的，但指令微调阶段一般不能灌注进去新知识，而是将...

模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大...