对OpenAI CEO奥特曼突然被解雇事件的一些分析

2023-11-21
阅读 3 分钟
1.5k
今天也来凑个热闹,说说OpenAI的事。本来不想写的,但是看到自媒体又开始胡说八道,所以根据我自己得到的消息和理解说一说我的看法,这篇文章要是有个小姐姐解说录成视频,那肯定火了,但是我现在没资源,人也懒,所以就直接码字吧。

Chain-Of-Note:解决噪声数据、不相关文档和域外场景来改进RAG的表现

2023-11-20
阅读 2 分钟
422
CoN要点CoN框架由三种不同的类型组成,研究称之为阅读笔记。上面的图像,类型(A)显示了检索到的数据或文档回答查询的位置。LLM仅使用NLG从提供的数据中格式化答案。类型(B)中,检索到的文档不直接回答查询,但是上下文洞察足以使LLM将检索到的文档与它自己的知识结合起来,从而推断出答案。类型(C)是指检索到的文档是不...

使用FP8加速PyTorch训练

2023-11-17
阅读 6 分钟
594
现代的人工智能硬件架构(例如,Nvidia Hopper, Nvidia Ada Lovelace和Habana Gaudi2)中,FP8张量内核能够显著提高每秒浮点运算(FLOPS),以及为人工智能训练和推理工作负载提供内存优化和节能的机会。

大语言模型量化方法对比:GPTQ、GGUF、AWQ

2023-11-16
阅读 6 分钟
2.5k
在过去的一年里,大型语言模型(llm)有了飞速的发展,在本文中,我们将探讨几种(量化)的方式,除此以外,还会介绍分片及不同的保存和压缩策略。

sMLP:稀疏全mlp进行高效语言建模

2023-11-15
阅读 2 分钟
446
具有专家混合(MoEs)的稀疏激活mlp在保持计算常数的同时显着提高了模型容量和表达能力。此外gMLP表明,所有mlp都可以在语言建模方面与transformer相匹配,但在下游任务方面仍然落后。所以论文提出了sMLP,通过设计确定性路由和部分预测来解决下游任务方面的问题。

神经网络中的量化与蒸馏

2023-11-14
阅读 3 分钟
525
深度学习模型,特别是那些具有大量参数的模型,在资源受限环境中的部署几乎是不可能的。所以就出现了两种流行的技术,量化和蒸馏,它们都是可以使模型更加轻量级,而不会对性能造成太大影响。但是它们需要什么,它们又如何比较呢?

无监督学习的集成方法:相似性矩阵的聚类

2023-11-13
阅读 7 分钟
377
这种类型的方法已经在监督学习领域得到了广泛的研究和应用,特别是在分类问题上,像RandomForest这样非常成功的算法。通常应用一些投票/加权系统,将每个单独模型的输出组合成最终的、更健壮的和一致的输出。

XoT:一种新的大语言模型的提示技术

2023-11-12
阅读 3 分钟
407
这是微软在11月最新发布的一篇论文,题为“Everything of Thoughts: Defying the Law of Penrose Triangle for Thought Generation”,介绍了一种名为XOT的提示技术,它增强了像GPT-3和GPT-4这样的大型语言模型(llm)解决复杂问题的潜力。

LoRAShear:微软在LLM修剪和知识恢复方面的最新研究

2023-11-11
阅读 2 分钟
418
LHSPG技术( Lora Half-Space Projected Gradient)支持渐进式结构化剪枝和动态知识恢复。可以通过依赖图分析和稀疏度优化应用于各种llm。

线性回归,核技巧和线性核

2023-11-10
阅读 6 分钟
510
在这篇文章中,我想展示一个有趣的结果:线性回归与无正则化的线性核ridge回归是等 价的。这里实际上涉及到很多概念和技术,所以我们将逐一介绍,最后用它们来解释这个说法。首先我们回顾经典的线性回归。然后我将解释什么是核函数和线性核函数,最后我们将给出上面表述的数学证明。线性回归经典的-普通最小二乘或OLS-线...

使用递归图 recurrence plot 表征时间序列

2023-11-09
阅读 6 分钟
707
在本文中,我将展示如何使用递归图 Recurrence Plots 来描述不同类型的时间序列。我们将查看具有500个数据点的各种模拟时间序列。我们可以通过可视化时间序列的递归图并将其与其他已知的不同时间序列的递归图进行比较,从而直观地表征时间序列。

使用Streamlit创建AutoGen用户界面

2023-11-08
阅读 5 分钟
521
AutoGen作为一个最大化LLM(如GPT-4)能力的框架而脱颖而出。由微软研究院开发的AutoGen通过提供一种自动化、优化和编排工作流的方法,简化了复杂的、基于多代理llm的应用程序的创建。我们在以前的文章中也有过介绍,你可以与许多GPT交谈,并且GPT和GPT之间也可以互相交谈。每个GPT都是它自己的“代理”,并在总体业务流程中...

使用Python从零实现多分类SVM

2023-11-07
阅读 10 分钟
893
本文将首先简要概述支持向量机及其训练和推理方程,然后将其转换为代码以开发支持向量机模型。之后然后将其扩展成多分类的场景,并通过使用Sci-kit Learn测试我们的模型来结束。

使用蒙特卡罗模拟的投资组合优化

2023-11-06
阅读 6 分钟
884
在金融市场中,优化投资组合对于实现风险与回报之间的预期平衡至关重要。蒙特卡罗模拟提供了一个强大的工具来评估不同的资产配置策略及其在不确定市场条件下的潜在结果。

Spectron: 谷歌的新模型将语音识别与语言模型结合进行端到端的训练

2023-11-05
阅读 1 分钟
358
Spectron是谷歌Research和Verily AI开发的新的模型。与传统的语言模型不同,Spectron直接处理频谱图作为输入和输出。该模型消除归纳偏差,增强表征保真度,提高音频生成质量。

使用LIME解释各种机器学习模型代码示例

2023-11-04
阅读 5 分钟
1.9k
机器学习模型变得越来越复杂和准确,但它们的不透明性仍然是一个重大挑战。理解为什么一个模型会做出特定的预测,对于建立信任和确保它按照预期行事至关重要。在本文中,我们将介绍LIME,并使用它来解释各种常见的模型。

10月发布的5篇人工智能论文推荐

2023-11-03
阅读 3 分钟
367
由于现有基准和指标的限制,在开放式环境中评估大型语言模型(llm)是一项具有挑战性的任务。为了克服这一挑战,本文引入了微调llm作为可扩展“法官”的概念,称为JudgeLM,这样可以在开放式基准场景中有效地评估llm。该方法结合了大量高质量的法官模型数据集,包括不同的种子任务、LLM生成的响应和GPT-4的详细判断,从而为L...

数据抽样技术全面概述

2023-11-02
阅读 3 分钟
408
抽样是研究和数据收集中不可或缺的方法,能够从更大数据中获得有意义的见解并做出明智的决定的子集。不同的研究领域采用了不同的抽样技术,每种技术都有其独特的优点和局限性。本文将深入探讨了最常见的抽样技术,包括随机抽样、分层抽样、系统抽样、聚类抽样和便利抽样,并重点介绍了它们的应用和注意事项。

AutoGen完整教程和加载本地LLM示例

2023-11-01
阅读 4 分钟
2.2k
Autogen是一个卓越的人工智能系统,它可以创建多个人工智能代理,这些代理能够协作完成任务,包括自动生成代码,并有效地执行任务。在本文中,我们将深入探讨Autogen,并介绍如何让AutoGen使用本地的LLMAutoGenAutogen能够设置多个人工智能代理,它们协同工作以实现特定目标。以下截图来自微软官方博客使用conda创建环境...

使用Llama index构建多代理 RAG

2023-10-31
阅读 10 分钟
770
检索增强生成(RAG)已成为增强大型语言模型(LLM)能力的一种强大技术。通过从知识来源中检索相关信息并将其纳入提示,RAG为LLM提供了有用的上下文,以产生基于事实的输出。

使用Panda-Gym的机器臂模拟进行Deep Q-learning强化学习

2023-10-30
阅读 4 分钟
669
强化学习(RL)是一种机器学习方法,它允许代理通过试错来学习如何在环境中表现。行为主体因采取行动导致预期结果而获得奖励,因采取行动导致预期结果而受到惩罚。随着时间的推移,代理学会采取行动,使其预期回报最大化。

使用FastAPI部署Ultralytics YOLOv5模型

2023-10-29
阅读 6 分钟
555
YOLO是You Only Look Once(你只看一次)的缩写,它具有识别图像中的物体的非凡能力,在日常应用中会经常被使用。所以在本文中,我们将介绍如何使用FastAPI的集成YOLOv5,这样我们可以将YOLOv5做为API对外提供服务。

Python时间序列分析库介绍:statsmodels、tslearn、tssearch、tsfresh

2023-10-28
阅读 6 分钟
512
时间序列分析在金融和医疗保健等领域至关重要,在这些领域,理解随时间变化的数据模式至关重要。在本文中,我们将介绍四个主要的Python库——statmodels、tslearn、tssearch和tsfresh——每个库都针对时间序列分析的不同方面进行了定制。这些库为从预测到模式识别的任务提供了强大的工具,使它们成为各种应用程序的宝贵资源。

Table-GPT:让大语言模型理解表格数据

2023-10-26
阅读 3 分钟
999
在这篇文章中,我们将介绍微软发表的一篇研究论文,“Table-GPT: Table- tuning GPT for Diverse Table Tasks”,研究人员介绍了Table-GPT,一种针对该问题的GPT模型,可以更好地理解输入中的表并产生准确的响应。我们将解释这篇论文,以了解如何创建Table-GPT,以及与其他大型语言模型相比它的性能如何。

VeRA: 性能相当,但参数却比LoRA少10倍

2023-10-25
阅读 2 分钟
375
与标准微调相比,它大大减少了可训练参数的数量。例如,对于Llama 27b, LoRA通常训练400万到5000万个参数,这比标准微调则训练70亿个参数药效的多。还可以使用LoRA来微调量化模型,例如,使用QLoRA:

LlamaIndex使用指南

2023-10-24
阅读 15 分钟
3k
LlamaIndex是一个方便的工具,它充当自定义数据和大型语言模型(llm)(如GPT-4)之间的桥梁,大型语言模型模型功能强大,能够理解类似人类的文本。LlamaIndex都可以轻松地将数据与这些智能机器进行对话。这种桥梁建设使你的数据更易于访问,为更智能的应用程序和工作流铺平了道路。

数据分析和机器学习的11个高级可视化图表介绍

2023-10-23
阅读 4 分钟
586
可视化是一种强大的工具,用于以直观和可理解的方式传达复杂的数据模式和关系。它们在数据分析中发挥着至关重要的作用,提供了通常难以从原始数据或传统数字表示中辨别出来的见解。

使用TensorRT-LLM进行高性能推理

2023-10-22
阅读 4 分钟
756
LLM的火爆之后,英伟达(NVIDIA)也发布了其相关的推理加速引擎TensorRT-LLM。TensorRT是nvidia家的一款高性能深度学习推理SDK。此SDK包含深度学习推理优化器和运行环境,可为深度学习推理应用提供低延迟和高吞吐量。而TensorRT-LLM是在TensorRT基础上针对大模型进一步优化的加速推理库,它号称可以增加4倍的推理速度。

使用Pytorch Geometric 进行链接预测代码示例

2023-10-20
阅读 9 分钟
638
链接预测答了一个问题:哪两个节点应该相互链接?我们将通过执行“转换分割”,为建模准备数据。为批处理准备专用的图数据加载器。在Torch Geometric中构建一个模型,使用PyTorch Lightning进行训练,并检查模型的性能。

LSTM-CRF模型详解和Pytorch代码实现

2023-10-19
阅读 29 分钟
985
在快速发展的自然语言处理领域,Transformers 已经成为主导模型,在广泛的序列建模任务中表现出卓越的性能,包括词性标记、命名实体识别和分块。在Transformers之前,条件随机场(CRFs)是序列建模的首选工具,特别是线性链CRFs,它将序列建模为有向图,而CRFs更普遍地可以用于任意图。