专业级语义搜索优化：利用 Cohere AI、BGE Re-Ranker 及 Jina Reranker 实现精准结果重排1. 简介1.1 RAG在说重排工具之前，我们要先了解一下 RAG。检索增强生成（RAG）是一种新兴的 AI 技术栈，通过为大型语言模型（LLM）提供额外的 “最新知识” 来增强其能力。基本的 RAG 应用包括四个关键技术组成部分：Embedding 模型...

该项目整合了编程、AI、产品设计、商业科技及个人成长等多领域的精华内容，源自顶尖技术企业和社群。借助先进语言模型技术，对精选文章进行高效摘要、专业评分及多语种翻译，实现了从初步评估到深入剖析，再到传播的全面自动化流程。通过引入Workflow平台，该项目显著提升了内容处理的速度与质量，为读者带来更加便捷、...

SearXNG与LLM强强联合：打造用户隐私保护的智能搜索解答流程，隐私无忧，搜索无忧SearXNG 是一个免费的互联网元搜索引擎，整合了各种搜索服务的结果。用户不会被跟踪，也不会被分析。github地址:[链接]项目地址:[链接]公共实例:[链接]功能特性自托管，可以私有化部署没有用户跟踪/没有分析可以自定义设置脚本和 cookies...

Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。通过 Xorbits Inference，可以轻松地一键部署你自己的模型或内置的前沿开源模型

以下是其主要特点和功能概述：简化部署：Ollama 目标在于简化在 Docker 容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。

本文介绍了五种加速在国内访问和下载 GitHub 的方法，包括：使用 Gitee 平台加速克隆代码、修改 hosts 文件、使用油猴脚本、通过在线镜像站点、以及使用 FastGithub 等加速工具。

Dify，一款引领未来的开源大语言模型（LLM）应用开发平台，革新性地融合了后端即服务(Backend as a Service,BaaS）与LLMOps的精髓，为开发者铺设了一条从创意原型到高效生产的快车道。其设计旨在打破技术壁垒，让非技术背景的用户也能轻松参与至AI应用的构思与数据运营之中，共同塑造智能未来。

告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验Huggingface国内开源镜像：[链接] 里面总结了很多下载的方法，下面进行一一讲解方法一：网页下载在模型主页的Files and Version中中可以获取文件的下载链接。无需登录直接点击下载，还可以复制下载链接，用其他下载工具下载。方法二：huggingface-cli(...

飞致云是中国领先的开源软件公司。飞致云旗下开源产品包括 1Panel 开源面板、JumpServer 开源堡垒机、DataEase 开源数据可视化分析工具、MeterSphere 开源测试工具、Halo 开源建站工具、MaxKB 开源知识库问答系统等，涵盖运维面板、运维审计、BI 分析、软件测试、CMS 建站、知识库问答等多个领域。飞致云旗下的开源项目...

MaxKB = Max Knowledge Base，是一款基于 LLM 大语言模型的开源知识库问答系统，旨在成为企业的最强大脑。它能够帮助企业高效地管理知识，并提供智能问答功能。想象一下，你有一个虚拟助手，可以回答各种关于公司内部知识的问题，无论是政策、流程，还是技术文档，MaxKB 都能快速准确地给出答案:比如公司内网如何访问、...

智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐Agent是以大模型为核心的智能体，通过与用户对话的形式，来完成各种任务，它很像一个“人”。如果和人做类比，它应该具备以下能力：Agent的各个要素各个子模块：1.对话式Agent1.1 月之暗面(Moonshot AI)-Kimi官方：[链接]Kimi 作为月之暗面科技有限...

国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]0. 大模型选择司南测评结果：SuperCLue测评结果：自2023年5月以来，全球及中国国内的大模型技术均展现出了强劲的发展势头，尤其是以GPT系列为代表的海外顶尖模型，历经了从GPT3.5到GPT4、GPT4-Turbo乃至GPT4o的多次迭代飞跃，持续推动AI技术...

初识langchain：LLM大模型+Langchain实战[qwen2.1、GLM-4]+Prompt工程1.大模型基础知识大模型三大重点：算力、数据、算法，ReAct （reason推理+act行动）--思维链Langchain会把上述流程串起来，通过chain把多个算法模型串联起来Langchain的 I/O系统，负责输入输出管理【文件形式加载提示词】LangChain优势简化开发流程：...

OSGraph (Open Source Graph) 是一个开源图谱关系洞察工具，基于GitHub开源数据全域图谱，实现开发者行为、项目社区生态的分析洞察。可以为开发者、项目Owner、开源布道师、社区运营等提供简洁直观的开源数据视图，帮助你和你的项目制作专属的开源名片、寻求契合的开发伙伴、挖掘深度的社区价值。

MetaGPT 以一条需求作为输入，并输出用户故事/竞争分析/需求/数据结构/API/文档等。内部而言，MetaGPT 包含产品经理/架构师/项目经理/工程师等角色。它为软件公司提供了整个流程，并精心制定了标准化操作流程（SOP）。“代码=SOP（团队）”是核心理念。我们将SOP转化为代码，并将其应用于由LLM（大型语言模型）组成的团队。

在学术探索的浩瀚星空中，机器人技术领域的璀璨明珠莫过于Agent技术的深入研究，这一领域历来是创新与突破的温床。回溯至大模型浪潮兴起之前，Agent技术的辉煌篇章便已悄然铺展，诸如Alphago这样的里程碑式案例，以其卓越的环境感知、精准决策与高效行动能力，生动诠释了Agent技术的闭环魅力。同时，DeepMind的Agent57在...

RPA：RPA(Robotic Process Automation) 即机器人流程自动化，是一种软件自动化技术。RPA 通过模仿人类在电脑上的手动操作，如打开网站、点击鼠标、键盘输入等，实现业务流程的自动化。RPA 系统可以自动处理大量重复的、基于规则的工作流程任务，例如在银行中，纸质文件输入、文件票据验证、从电子邮件和文件中提取数据、...

使用煤矿历史事故案例，事故处理报告、安全规程规章制度、技术文档、煤矿从业人员入职考试题库等数据，微调internlm2模型实现针对煤矿事故和煤矿安全知识的智能问答。

Chain-of-Thought(CoT)是一种改进的Prompt技术，目的在于提升大模型LLMs在复杂推理任务上的表现，如算术推理（arithmetic reasoning）、常识推理（commonsense reasoning）、符号推理（symbolic reasoning）。

LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战1.环境准备GPU设备: A10, 3090, V100, A100均可. {代码...} 2.推理加速vllm不支持bnb量化的模型. vllm支持的模型可以查看支持的模型.2.1 qwen-7b-chat {代码...} 2.2 流式输出 {代码...} 2.3 chatglm3 {代码...} 2.4 使用CLI {代码...} 2.5 微调后...

训练后的模型会用于推理或者部署。推理即使用模型用输入获得输出的过程，部署是将模型发布到恒定运行的环境中推理的过程。一般来说，LLM的推理可以直接使用PyTorch代码、使用VLLM/XInference/FastChat等框架，也可以使用llama.cpp/chatglm.cpp/qwen.cpp等c++推理框架。

大语言模型（LLM）评测是LLM开发和应用中的关键环节。目前评测方法可以分为人工评测和自动评测，其中，自动评测技术相比人工评测来讲，具有效率高、一致性好、可复现、鲁棒性好等特点，逐渐成为业界研究的重点。

Modelscope 是一个交互式智能体应用基于ModelScope-Agent，用于方便地创建针对各种现实应用量身定制智能体，目前已经在生产级别落地。AgentFabric围绕可插拔和可定制的LLM构建，并增强了指令执行、额外知识检索和利用外部工具的能力。AgentFabric提供的交互界面包括：

提示: 因为自我认知训练涉及到知识编辑, 建议对MLP加lora_target_modules. 你可以通过指定--lora_target_modules ALL在所有的linear层(包括qkvo以及mlp)加lora. 这通常是效果最好的.

SWIFT支持了开源模型，尤其是中小型模型（7B、14B等）对Agent场景的训练，并将loss-scale技术应用到agent训练中，使中小模型API Call能力更稳定，并支持使用单张商业级显卡进行Agent推理和部署，可以直接在生产场景中全链路闭环落地使用。

指令微调阶段使用了已标注数据。这个阶段训练的数据集数量不会像预训练阶段那么大，最多可以达到几千万条，最少可以达到几百条到几千条。指令微调可以将预训练的知识“涌现”出来，进行其他类型的任务，如问答类型的任务。一般指令微调阶段对于在具体行业上的应用是必要的，但指令微调阶段一般不能灌注进去新知识，而是将...

模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大...

基于上面的方程，如果追加一个要求，希望a=1,b=1,x=3的时候y=10呢？这显然是不可能的，因为按照上面的式子，y应该是4。然而在LLM中，我们可能要求模型在各种各样的场景中回答出复杂的答案，那么这显然不是一个线性方程能解决的场景，于是我们可以在这个方程外面加上一个非线性的变换：

LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践1.多模态大模型推理LLM 的推理流程：多模态的 LLM 的原理：代码演示：使用 ModelScope NoteBook 完成语言大模型，视觉大模型，音频大模型的推理环境配置与安装以下主要演示的模型推理代码可在魔搭社区免费实例 PAI-DSW 的配置下运行（显存 24G） ：点击模型...

在模型训练过程中，数据及数据处理是最为重要的工作之一。在当前模型训练流程趋于成熟的情况下，数据集的好坏，是决定了该次训练能否成功的最关键因素。