因为 ElasticSearch 是用 Java 语言编写的，所以必须安装 JDK 的环境，并且是 JDK 1.8 以上，具体操作步骤自行百度

Elasticsearch 作为一款流行的开源搜索引擎，其在向量检索方面的发展也一直备受关注。本文将回顾 Elasticsearch 向量检索的发展历史，重点介绍各个阶段的特点和进展。以史为鉴，方便大家建立起 Elasticsearch 向量检索的全量认知。

今天要介绍的 Elasticsearch Relevance Engine™ (ESRE™)，提供了多项用于创建高度相关的 AI 搜索应用程序的新功能。ESRE 站在 Elastic 这个搜索领域的巨人肩膀之上，并基于两年多的 Machine Learning 研发成就构建而成。Elasticsearch Relevance Engine 将 AI 的最佳实践与 Elastic 的文本搜索进行了结合。ESRE 为开发人...

近年来，基于向量进行召回的做法在搜索和推荐领域都得到了比较广泛的应用，并且在学术界发表的论文中，基于向量的 dense retrieve 的方法也在不少数据集上都战胜了 sparse retrieve，吸引了越来越多的关注。在内网的不少文章中也都介绍了各种不同的模型和算法，但是目前我们还没有看到比较系统的介绍向量召回评估体系的...

许多 NLP 任务的成功离不开训练优质有效的文本表示向量。特别是文本语义匹配（Semantic Textual Similarity，如 paraphrase 检测、QA 的问题对匹配）、文本向量检索（Dense Text Retrieval）等任务。

一个多智能体元编程框架，给定一行需求，它可以返回产品文档、架构设计、任务列表和代码。这个项目提供了一种创新的方式来管理和执行项目，将需求转化为具体的文档和任务列表，使项目管理变得高效而智能。对于需要进行规划和协调的项目，这个框架提供了强大的支持.

FaceChain是一个可以用来打造个人数字形象的深度学习模型工具。用户仅需要提供最低一张照片即可获得独属于自己的个人形象数字替身。FaceChain支持在gradio的界面中使用模型训练和推理能力，也支持资深开发者使用python脚本进行训练推理；同时，欢迎开发者对本Repo进行继续开发和贡献。FaceChain的模型由ModelScope开源模...

Currently, LlamaGPT supports the following models. Support for running custom models is on the roadmap.

本仓库中的代码示例主要是基于Hugging Face版本参数进行调用，我们提供了脚本将Meta官网发布的模型参数转换为Hugging Face支持的格式，可以直接通过transformers库进行加载：参数格式转化

它使用先进的图像处理技术，允许用户将不同的面部特征融合在一起，创造有趣和令人印象深刻的效果。这个项目的潜在应用包括娱乐、虚拟化妆和艺术创作，为用户提供了创造性的工具

虚拟桌宠模拟器：VPet-Simulator，一个开源的桌宠软件, 可以内置到任何WPF应用程序虚拟桌宠模拟器 一个开源的桌宠软件, 可以内置到任何WPF应用程序获取虚拟桌宠模拟器 OnSteam(免费) 或 通过Nuget内置到你的WPF应用程序1.虚拟桌宠模拟器 详细介绍虚拟桌宠模拟器是一款桌宠软件,支持各种互动投喂等. 开源免费并且支持创意...

在实际场景中，很多数据集都是多维度的。随着维度的增加，数据空间的大小（体积）会以指数级别增长，使数据变得稀疏，这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战，对距离的计算，聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性，但是，在高维空间中，所有点对的距离几乎都...

  真实数据集中不同维度的数据通常具有高度的相关性，这是因为不同的属性往往是由相同的基础过程以密切相关的方式产生的。在古典统计学中，这被称为——回归建模，一种参数化的相关性分析。  一类相关性分析试图通过其他变量预测单独的属性值，另一类方法用一些潜在变量来代表整个数据。前者的代表是 ...

条件异常（conditional anomalies），又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的，例如在特定时间下的温度突然上升或下降，在特定场景中的快速信用卡交易；

汉明距离（Hamming Distance），编辑距离（Levenshtein Distance），欧氏距离（Euclidean Distance），曼哈顿距离（Manhattan Distance）等

关键信息抽取 (Key Information Extraction, KIE)指的是是从文本或者图像中，抽取出关键的信息。针对文档图像的关键信息抽取任务作为OCR的下游任务，存在非常多的实际应用场景，如表单识别、车票信息抽取、身份证信息抽取等。然而，使用人力从这些文档图像中提取或者收集关键信息耗时费力，怎样自动化融合图像中的视觉、...

OCR（Optical Character Recognition，光学字符识别）是计算机视觉重要方向之一。传统定义的OCR一般面向扫描文档类对象，现在我们常说的OCR一般指场景文字识别（Scene Text Recognition，STR），主要面向自然场景，如下图中所示的牌匾等各种自然场景可见的文字。

目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案；

目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案；

随着 ChatGPT 和 GPT-4 等强大生成模型出现，自然语言处理任务方式正在逐步发生改变。鉴于大模型强大的任务处理能力，未来我们或将不再为每一个具体任务去 finetune 一个模型，而是使用同一个大模型，对不同任务设计其独有的 prompt，以解决不同的任务问题。在该实验中，我们将基于清华开源大模型 ChatGLM-6B， 提供多个...

解锁ChatGLM-6B的潜力：优化大语言模型训练，突破任务困难与答案解析难题LLM（Large Language Model）通常拥有大量的先验知识，使得其在许多自然语言处理任务上都有着不错的性能。但，想要直接利用 LLM 完成一些任务会存在一些答案解析上的困难，如规范化输出格式，严格服从输入信息等。因此，在这个项目下我们参考 Chat...

精进语言模型：探索LLM Training微调与奖励模型技术的新途径LLMs Trainer 是一个旨在帮助人们从零开始训练大模型的仓库，该仓库最早参考自 Open-Llama，并在其基础上进行扩充。有关 LLM 训练流程的更多细节可以参考 【LLM】从零开始训练大模型。使用仓库之前，请先安装所有需要的依赖： {代码...} 1. 继续预训练（Contin...

通过设计提示（prompt）模板，实现使用更少量的数据在预训练模型（Pretrained Model）上得到更好的效果，多用于：Few-Shot，Zero-Shot 等任务。

随着 ChatGPT 的爆火，强化学习（Reinforcement Learning）和语言生成模型（Language Model）的结合开始变得越来越受人关注。

Mask Then Fill 是一种基于生成模型的信息抽取数据增强策略。对于一段文本，我们其分为「关键信息段」和「非关键信息段」，包含关键词片段称为「关键信息段」。下面例子中标粗的为 关键信息片段，其余的为 非关键片段。

解锁数据潜力：信息抽取、数据增强与UIE的完美融合1.信息抽取（Information Extraction）1.1 IE简介信息抽取是 NLP 任务中非常常见的一种任务，其目的在于从一段自然文本中提取出我们想要的关键信息结构。举例来讲，现在有下面这样一个句子：新东方烹饪学校在成都。我们想要提取这句话中所有有意义的词语，例如：这个关...

文本匹配多用于计算两个文本之间的相似度，该示例会基于 ESimCSE 实现一个无监督的文本匹配模型的训练流程。文本匹配多用于计算两段「自然文本」之间的「相似度」。

在这一堆评论中我们想找到跟「水果」相关的评论，那么第 3 条评论就应该被召回。这个问题可以被建模为文本分类对吧，通过训练一个文本分类模型也能达到同样的目的。

对话系统经过三代的演变：规则对话系统：垂直领域可以利用模板匹配方法的匹配问句和相应的答案。优点是内部逻辑透明，易于分析调试，缺点是高度依赖专家干预， 缺少灵活性和可可拓展性。

pycorrector: 中文文本纠错工具。支持中文音似、形似、语法错误纠正，python3开发。实现了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer等多种模型的文本纠错，并在SigHAN数据集评估各模型的效果。