LLM 大模型学习必知必会系列(四):LLM训练理论篇以及Transformer结构模型详解

5 月 28 日
阅读 11 分钟
511
基于上面的方程,如果追加一个要求,希望a=1,b=1,x=3的时候y=10呢?这显然是不可能的,因为按照上面的式子,y应该是4。然而在LLM中,我们可能要求模型在各种各样的场景中回答出复杂的答案,那么这显然不是一个线性方程能解决的场景,于是我们可以在这个方程外面加上一个非线性的变换:
封面图

LLM 大模型学习必知必会系列(三):LLM和多模态模型高效推理实践

5 月 28 日
阅读 8 分钟
451
LLM 大模型学习必知必会系列(三):LLM和多模态模型高效推理实践1.多模态大模型推理LLM 的推理流程:多模态的 LLM 的原理:代码演示:使用 ModelScope NoteBook 完成语言大模型,视觉大模型,音频大模型的推理环境配置与安装以下主要演示的模型推理代码可在魔搭社区免费实例 PAI-DSW 的配置下运行(显存 24G) :点击模型...

LLM 大模型学习必知必会系列(五):数据预处理(Tokenizer分词器)、模板(Template)设计以及LLM技术选型

5 月 21 日
阅读 8 分钟
637
在模型训练过程中,数据及数据处理是最为重要的工作之一。在当前模型训练流程趋于成熟的情况下,数据集的好坏,是决定了该次训练能否成功的最关键因素。
封面图

新一代AI搜索引擎神器推荐及效果测试:秘塔AI、天工AI、Perplexity等

5 月 21 日
阅读 5 分钟
418
回到搜索引擎本身,搜索引擎的早期出现是为了解决互联网上信息过载的问题。随着互联网的快速发展,越来越多的网页被创建并发布,用户需要一种有效的方式来找到他们感兴趣的信息。因此,搜索引擎的出现提供了一种更便捷、更高效的方式来检索互联网上的信息但是,搜索的本质在于以最少的信息输入,获取到最精准的结果。用...
封面图

LLM 大模型学习必知必会系列(二):提示词工程-Prompt Engineering 以及实战闯关

5 月 9 日
阅读 11 分钟
880
prompt(提示词)是我们和 LLM 互动最常用的方式,我们提供给 LLM 的 Prompt 作为模型的输入,并希望 LLM 反馈我们期待的结果。 虽然 LLM 的功能非常强大,但 LLM 对提示词(prompt)也非常敏感。这使得提示词工程成为一项需要培养的重要技能。
封面图

LLM 大模型学习必知必会系列(一):大模型基础知识篇

5 月 9 日
阅读 7 分钟
735
魔搭 ModelScope 欢迎各个开源的 LLM 模型在社区上做开源分享。目前社区上已经承载了来自各个机构贡献的不同系列的 LLM 模型。并且社区的开发者也在这些模型的基础上,贡献了许多创新应用,并在 ModelScope 的创空间上进行分享。本专题初步梳理了当前社区上一些典型的 LLM 以及对应的创空间应用,方便大家对于 LLM 及其...
封面图

检索增强生成(RAG)实践:基于LlamaIndex和Qwen1.5搭建智能问答系统

5 月 7 日
阅读 24 分钟
250
正是在这样的背景下,检索增强生成技术(Retrieval-Augmented Generation,RAG)应时而生,成为 AI 时代的一大趋势。RAG 通过在语言模型生成答案之前,先从广泛的文档数据库中检索相关信息,然后利用这些信息来引导生成过程,极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题,提高了知识更新的速度,并增强...
封面图

RAG:AI大模型联合向量数据库和 Llama-index,助力检索增强生成技术

5 月 7 日
阅读 11 分钟
1.2k
在大模型爆发的时代,快速准确地从大量数据中检索出有价值的信息变得至关重要。检索增强生成(RAG)技术,结合了传统的信息检索和最新的大语言模型(LLM),不仅能够回答复杂的查询,还能在此基础上生成信息丰富的内容。
封面图

基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手(检索增强生成(RAG)大模型)

5 月 6 日
阅读 11 分钟
1.5k
受 GanymedeNil 的项目 document.ai和 AlexZhangji创建的 ChatGLM-6B Pull Request启发,建立了全流程可使用开源模型实现的本地知识库问答应用。本项目的最新版本中通过使用 FastChat接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型,依托于 langchain框架支持通过基于 FastAPI 提供的 API用服务,或使用基于 Streamlit...
封面图

LLM资料大全:文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等

4 月 29 日
阅读 46 分钟
279
自ChatGPT为代表的大语言模型(Large Language Model, LLM)出现以后,由于其惊人的类通用人工智能(AGI)的能力,掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后,业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM...
封面图

NL2SQL实践系列(2):2024最新模型实战效果(Chat2DB-GLM)以及工业级案例教学

4 月 19 日
阅读 17 分钟
202
[NL2SQL基础系列(1):业界顶尖排行榜、权威测评数据集及LLM大模型(Spider vs BIRD)全面对比优劣分析[Text2SQL、Text2DSL]]([链接])
封面图

NL2SQL技术方案系列(1):NL2API、NL2SQL技术路径选择;LLM选型与Prompt工程技巧,揭秘项目落地优化之道

4 月 19 日
阅读 8 分钟
972
[NL2SQL基础系列(1):业界顶尖排行榜、权威测评数据集及LLM大模型(Spider vs BIRD)全面对比优劣分析[Text2SQL、Text2DSL]]([链接])
封面图

NL2SQL实践系列(1):深入解析Prompt工程在text2sql中的应用技巧

4 月 18 日
阅读 13 分钟
145
[NL2SQL基础系列(1):业界顶尖排行榜、权威测评数据集及LLM大模型(Spider vs BIRD)全面对比优劣分析[Text2SQL、Text2DSL]]([链接])
封面图

NL2SQL进阶系列(5):论文解读业界前沿方案(DIN-SQL、C3-SQL、DAIL-SQL)

4 月 18 日
阅读 27 分钟
207
[NL2SQL基础系列(1):业界顶尖排行榜、权威测评数据集及LLM大模型(Spider vs BIRD)全面对比优劣分析[Text2SQL、Text2DSL]]([链接])
封面图

NL2SQL进阶系列(4):ConvAI、DIN-SQL等16个业界开源应用实践详解[Text2SQL]

4 月 16 日
阅读 11 分钟
564
[NL2SQL基础系列(1):业界顶尖排行榜、权威测评数据集及LLM大模型(Spider vs BIRD)全面对比优劣分析[Text2SQL、Text2DSL]]([链接])
封面图

NL2SQL进阶系列(3):Data-Copilot、Chat2DB、Vanna Text2SQL优化框架开源应用实践详解

4 月 16 日
阅读 12 分钟
259
[NL2SQL基础系列(1):业界顶尖排行榜、权威测评数据集及LLM大模型(Spider vs BIRD)全面对比优劣分析[Text2SQL、Text2DSL]]([链接])
封面图

NL2SQL进阶系列(2):DAIL-SQL、DB-GPT开源应用实践详解Text2SQL

4 月 12 日
阅读 5 分钟
300
[NL2SQL基础系列(1):业界顶尖排行榜、权威测评数据集及LLM大模型(Spider vs BIRD)全面对比优劣分析[Text2SQL、Text2DSL]]([链接])
封面图

NL2SQL进阶系列(1):DB-GPT-Hub、SQLcoder、Text2SQL开源应用实践详解

4 月 12 日
阅读 12 分钟
431
[NL2SQL基础系列(1):业界顶尖排行榜、权威测评数据集及LLM大模型(Spider vs BIRD)全面对比优劣分析[Text2SQL、Text2DSL]]([链接])
封面图

NL2SQL基础系列(2):主流大模型与微调方法精选集,Text2SQL经典算法技术回顾七年发展脉络梳理

4 月 10 日
阅读 9 分钟
417
Text-to-SQL(或者Text2SQL),顾名思义就是把文本转化为SQL语言,更学术一点的定义是:把数据库领域下的自然语言(Natural Language,NL)问题,转化为在关系型数据库中可以执行的结构化询语言(Structured Query Language,SQL),因此Text-to-SQL也可以被简写为NL2SQL。输入:自然语言问题,比如“查询表t_user的相关...
封面图

NL2SQL基础系列(1):业界顶尖排行榜、权威测评数据集及LLM大模型(Spider vs BIRD)全面对比优劣分析

4 月 10 日
阅读 10 分钟
1.1k
Text-to-SQL(或者Text2SQL),顾名思义就是把文本转化为SQL语言,更学术一点的定义是:把数据库领域下的自然语言(Natural Language,NL)问题,转化为在关系型数据库中可以执行的结构化询语言(Structured Query Language,SQL),因此Text-to-SQL也可以被简写为NL2SQL。
封面图

大模型落地实战指南:从选择到训练,深度解析显卡选型、模型训练技、模型选择巧及AI未来展望—打造AI应用新篇章

3 月 26 日
阅读 6 分钟
345
在1950年代初期,人们开始尝试使用计算机处理自然语言文本。然而,由于当时的计算机处理能力非常有限,很难处理自然语言中的复杂语法和语义。随着技术的发展,自然语言处理领域在20世纪60年代和70年代取得了一些重要的进展。例如,1970年,美国宾夕法尼亚大学的Adele Goldberg和David Robson创建了一个名为Lunenfeld Pro...
封面图

面向中文大模型价值观的评估与对齐研究:“给AI的100瓶毒药”并解毒,守护AI纯净之心

3 月 25 日
阅读 14 分钟
325
随着Large Language Models(LLMs)的快速发展,越来越多的人开始担心它们可能带来风险。因此,围绕大模型的“安全与对齐”方向得到了极大的关注。本文和大家分享一些我们在这个方向的工作。
封面图

Prompt工程全攻略:15+Prompt框架一网打尽(BROKE、COAST、LangGPT)、学会提示词让大模型更高效

3 月 25 日
阅读 14 分钟
6.6k
[大语言模型的预训练[3]之Prompt Learning:Prompt Engineering、Answer engineering、Multi-prompt learning详情]([链接])
封面图

Prompt进阶系列5:LangGPT(提示链Prompt Chain)--提升模型鲁棒性

3 月 22 日
阅读 22 分钟
283
随着对大模型的应用实践的深入,许多大模型的使用者, Prompt 创作者对大模型的应用越来越得心应手。和 Prompt 有关的各种学习资料,各种优质内容也不断涌现。关于 Prompt 的实践的不断深入,大家对 Prompt 的认知也越来越深入。但同时也发现许多朋友在 prompt 创作,使用大模型能力过程中仍然存在许多误区。
封面图

Prompt进阶系列4:LangGPT(构建高性能Prompt实践指南)--结构化Prompt

3 月 22 日
阅读 16 分钟
266
结构化的思想很普遍,结构化内容也很普遍,我们日常写作的文章,看到的书籍都在使用标题、子标题、段落、句子等语法结构。结构化 Prompt 的思想通俗点来说就是像写文章一样写 Prompt。
封面图

Prompt进阶3:LangGPT(构建高性能质量Prompt策略和技巧2)--稳定高质量文案生成器

3 月 13 日
阅读 12 分钟
283
Prompt进阶3:LangGPT(构建高性能质量Prompt策略和技巧2)--稳定高质量文案生成器1.LangGPT介绍现有 Prompt 创建方法有如下缺点:缺乏系统性:大多是细碎的规则,技巧,严重依赖个人经验缺乏灵活性:对他人分享的优质 prompt 进行调整需要直接修改 prompt 内容缺乏交互友好性:优质 prompt 的配置和使用太复杂,有时往往还...
封面图

Prompt进阶2:LangGPT(构建高性能Prompt策略和技巧)--最佳实践指南

3 月 13 日
阅读 6 分钟
292
左图右图 prompt 基本是一样的,差别只在提示工程这个词是否用中英文表达。我们看到,一词之差,回答质量天壤之别。为了获得理想的模型结果,我们需要调整设计提示词,这也就是所谓的提示工程。
封面图

Prompt进阶系列1:LangGPT(从编程语言反思LLM的结构化可复用提示设计框架)

3 月 8 日
阅读 9 分钟
290
大语言模型 (Large Language Models, LLMs) 在不同领域都表现出了优异的性能。然而,对于非AI专家来说,制定高质量的提示来引导 LLMs 是目前AI应用领域的一项重要挑战。现有的提示工程研究已经提出了一些零散的优化原则,也有些研究设计了基于经验的提示优化器。然而,这些研究缺乏结构化的设计模板,学习成本高,可复用...
封面图

结构化思维助力Prompt创作:专业化技术讲解和实践案例

3 月 4 日
阅读 13 分钟
400
对比什么技巧都不用, 直接像使用搜索引擎一样提问, 上面的技巧对于回复的效果确实有着 明显提升. 在看了 N 多的所谓 “必看的 Prompt 10 大技巧” “ Prompt” 后, 发现大家都在上面这些技巧上打转. 一场机遇在 Github 上看到了 JushBJJ/Mr.-Ranedeer-AI-Tutor , 才发现原来 Prompt 还可以这样写: 原来可以在运行中 调整各种...
封面图

智能咖啡厅助手:人形机器人 +融合大模型,行为驱动的智能咖啡厅机器人

3 月 1 日
阅读 6 分钟
727
“机器人大模型与具身智能挑战赛”的参赛作品。的目标是结合前沿的大模型技术和具身智能技术,开发能在模拟的咖啡厅场景中承担服务员角色并自主完成各种具身任务的智能机器人。这里是的参赛作品《基于大模型和行为树和生成式具身智能体》的机器人控制端代码。
封面图