基础RAG实现,最佳入门选择(八)

6 月 21 日
阅读 21 分钟
797
1.初始检索:使用基本相似度搜索的第一遍(准确度较低但速度更快)2.文档评分:评估每个检索到的文档与查询的相关性3.重新排序:按相关性分数对文档进行排序4.选择:仅使用最相关的文档生成响应
封面图

基础RAG实现,最佳入门选择(七)

6 月 21 日
阅读 26 分钟
798
采用三种查询转换技术,以提高RAG系统中的检索性能,而无需依赖于像LangChain这样的专门库。通过修改用户查询,我们可以显著提高检索信息的相关性和全面性。
封面图

基础RAG实现,最佳入门选择(六)

6 月 20 日
阅读 63 分钟
797
1.数据摄取:从PDF文件中提取文本。2.chunking:将文本拆分为可管理的块。3.问题生成:为每个块生成相关问题。4.Embedding Creation:为块和生成的问题创建嵌入。5.向量存储创建:使用NumPy构建一个简单的向量存储。6.语义搜索:检索相关的块和问题以供用户查询。7.响应生成:根据检索到的内容生成答案。8.评估:评估生...
封面图

基础RAG实现,最佳入门选择(五)

6 月 20 日
阅读 19 分钟
1k
增强生成(RAG)通过在生成响应之前检索相关的外部知识来提高语言模型的事实准确性。然而,标准组块经常丢失重要的上下文,使得检索不太有效。上下文块标头(CCH)通过在嵌入每个块之前为每个块添加高级上下文(如文档标题或部分标头)来增强RAG。这提高了检索质量并防止了断章取义的响应。
封面图

MySQL层级查询实战:无函数实现部门父路径

6 月 19 日
阅读 7 分钟
827
函数主要用于获取部门的完整层级路径,方便在应用程序或SQL查询中直接调用,快速获得部门的上下级关系信息。执行该函数之后简单使用SQL可以实现数据库中部门名称查询。例如下面sql
封面图

基础RAG实现,最佳入门选择(四)

6 月 18 日
阅读 48 分钟
1k
RAG中的上下文丰富检索,检索增强生成(RAG)通过从外部来源检索相关知识来增强AI响应。传统的检索方法返回孤立的文本块,这可能导致答案不完整。为了解决这个问题,引入了上下文丰富检索,它确保检索到的信息包括相邻的块以获得更好的一致性。-数据摄取:从PDF中提取文本。-带有重叠上下文的分块:将文本拆分为重叠的块...
封面图

基础RAG实现,最佳入门选择(二)

6 月 16 日
阅读 75 分钟
823
[create\_embeddings(text)]() :调用智谱AI的embedding-2模型,将输入文本转换为嵌入向量(embedding)。
封面图

基础RAG实现,最佳入门选择(一)

6 月 15 日
阅读 10 分钟
835
基础RAG实现,最佳入门选择(一)从 PDF 中提取文本 {代码...} chunk_text {代码...} 运行得到的结果 {代码...} 智谱AI进行简单的RAG测试 {代码...} 运行结果展示文本效果展示 {代码...}
封面图

基于KubeSphere平台快速搭建单节点向量数据库Milvus

6 月 10 日
阅读 4 分钟
913
KubeSphere 是一个在 Kubernetes 之上构建的、以应用为中心的多租户容器平台,完全开源,由社区驱动与开发124。它提供全栈的 IT 自动化运维能力,旨在简化企业的 DevOps 工作流,并帮助企业快速构建强大且功能丰富的容器云平台。功能强大、易用性高的开源 Kubernetes 容器云 PaaS 平台,能够帮助企业快速构建、管理和运...
封面图

PandaCoder发布-仅以此篇记录人生第一个开源项目

6 月 3 日
阅读 2 分钟
1.2k
之前做过一个关于创建中文类的插件,名字叫yixiaoPlugin,本次端午假期,打算将本次插件进行代码重构。并将本个项目进行开源,项目名称为PandaCoder。
封面图

RAG入门之数据导入

6 月 1 日
阅读 3 分钟
878
LangChain 是什么LangChain 是一个用于构建基于大语言模型(LLM)应用的开源框架。它提供了一套工具和抽象,让开发者能够轻松构建复杂的AI应用。LangChain 的核心功能文档加载和处理:支持多种格式(PDF、文本、网页等)文本分割:将长文档切分成小块向量存储:文档向量化和相似性搜索链式调用:组合多个AI操作Agent:智...
封面图

异步上传石墨文件进度条前端展示记录(采用Redis中List数据结构实现)

5 月 29 日
阅读 5 分钟
765
上篇文章说到,之前使用Redis的String数据结构进行存储异步上传石墨文档的任务状态,做法有些性能上的问题。下面简单列举一下采用String数据结构进行存储的劣势:缺少历史记录:无法追踪任务执行的完整过程、只能获取最新状态,丢失中间状态信息并发处理:在高并发场景下需要额外考虑乐观锁等机制避免数据覆盖、需要使用...
封面图

异步上传石墨文件进度条前端展示记录(采用Redis中String数据结构实现)

5 月 28 日
阅读 6 分钟
755
事件起因是客户现场需要从石墨文档中获取文件信息,文件信息存在存在多个,进行批量上传。为了用户的友好型体验,需要做进行条展示的方式,具体实现见下文.....
封面图

一文简单记录打通K8s+Kibana流程如何启动(Windows下的Docker版本)

4 月 29 日
阅读 3 分钟
1.1k
为ES和Kibana组建Docker网络 {代码...} 下载8.18.0版本镜像Es并启动 {代码...} 启动Kibana(简单一些直接咯和ES对应版本的Kibana)下载Kibana镜像 {代码...} 启动Kinana服务 {代码...} 去掉es的https认证命令在容器内部执行执行完成下述语句之后需要重启ES服务 {代码...} 去掉es中的跨域访问 {代码...} 执行命令位置和去...
封面图

IDEA多环节实现优雅配置

4 月 20 日
阅读 2 分钟
1k
写在前面后端项目中涉及多环境、多配置文件、多代码分支的情况下,进行对服务中间件等配置。除了可以使用集成开发功能IDEA中的git隐藏功能之外,还可以使用IDEA中配置的环境变量进行配置。使用Git隐藏分支代码功能的弊端虽然可以使用Git自带的隐藏功能进行对分支代码的隐藏,但是如果切换分支,不能重复隐藏。且取消隐藏...
封面图

SSO登录URL路由重定向与回调版本实现一篇搞定

4 月 18 日
阅读 8 分钟
1.1k
 单点登录概念维基百科关于SSO概念的介绍单点登录技术方案介绍1.前端获取授权码(前端重定向 + 后端鉴权)流程示意图:优点用户体验更好:前端直接处理用户重定向,用户可以在浏览器中看到登录流程,感觉更加直观。开发灵活性高:前端可以更灵活地处理用户界面和交互逻辑。适配性较好:适用于大多数现代Web应用,尤其是...
封面图

腾讯云cos大文件上传服务端实现一篇搞定

4 月 16 日
阅读 16 分钟
1.1k
本次记录一下大文件上传腾讯云cos自己的踩坑记录,首先的技术方案是大文件经过前端的分片,后端根据前端分片传递固定大小的文件流。后端则是根据腾讯云cos的SDK版本要求进行存储。本次的亮点之一可以实现10G的存储,当然这是笔者自己的测试,上限肯定远远不止!写在前面腾讯云官方推荐最好存储形式还是使用端到端的形式...
封面图

如何实现H5端对接钉钉登录并优雅扩展其他平台

4 月 7 日
阅读 7 分钟
989
本次我的思路是实现针对不同平台,例如对接钉钉、企业微信、飞书、三方,具体的逻辑是不一样的,使用设计模式中的工厂模式进行构建,实现不同的逻辑进行创建不同类进行完成。
封面图

产品端对接三方登录设计方案

3 月 31 日
阅读 5 分钟
831
临时凭证时效性:通过dd.getAuthCode获取的授权码(code)仅5分钟有效,且需后端在失效前完成access_token和用户信息的获取。
封面图

一文聊聊接入钉钉H5微应用系统实现免登操作技术思路实现验证

3 月 31 日
阅读 3 分钟
880
如何创建钉钉应用实现H5端免登录创建钉钉内部应用1.进入钉钉开放平台,配置自己的应用信息开发方式处选择企业自主研发!2.配置应用相关信息(建议选择旧版,后续有一个token获取,新版会提示URL不安全,哪怕采用https进行内网穿透也是一样。使用旧版可以规避掉上述问题)3.配置回调域名此处有一个坑需要注意,后文会着重...
封面图