2023年发布的25个开源大型语言模型总结

2023-07-26
阅读 4 分钟
1.2k
大型语言模型(llm)是一种人工智能(AI),在大量文本和代码数据集上进行训练。它们可以用于各种任务,包括生成文本、翻译语言和编写不同类型的创意内容。

Python 3.11的10个使代码更加高效的新特性

2023-07-25
阅读 4 分钟
860
性能有巨大的提升是Python 3.11的一个重要的改进,除此以外Python 3.11还有增加了许多新的特性。在本文中我们将介绍Python 3.11新特性,通过代码示例演示这些技巧如何提高生产力并优化代码。

LLM-Blender:大语言模型也可以进行集成学习

2023-07-24
阅读 2 分钟
479
我们都知道集成学习是一种机器学习方法,旨在提高预测模型的性能和鲁棒性。它通过将多个不同的学习器(如决策树、神经网络等)结合成一个整体,来取得比单个学习器更好的预测效果。比如最常见的Kaggle比赛中就广泛的使用了这种方法。

Stable Diffusion在各种显卡上的加速方式测试,最高可以提速211.2%

2023-07-23
阅读 3 分钟
1.5k
但是它计算过程复杂,使得它的生成速度较慢。所以研究人员就创造了各种提高其速度的方式,比如Xformers、Aitemplate、TensorRT和onflow。在本文中我们将对这些加速方法进行了一系列对比测试。

使用QLoRa微调Llama 2

2023-07-22
阅读 4 分钟
818
上篇文章我们介绍了Llama 2的量化和部署,本篇文章将介绍使用PEFT库和QLoRa方法对Llama 27b预训练模型进行微调。我们将使用自定义数据集来构建情感分析模型。只有可以对数据进行微调我们才可以将这种大模型进行符合我们数据集的定制化。
封面图

使用Cleanlab、PCA和Procrustes可视化ViT微调

2023-07-21
阅读 3 分钟
453
与传统的卷积神经网络不同,vit使用最初设计用于自然语言处理任务的Transformers 架构来处理图像。微调这些模型以获得最佳性能可能是一个复杂的过程。

使用GGML和LangChain在CPU上运行量化的llama2

2023-07-20
阅读 7 分钟
1.2k
Meta AI 在本周二发布了最新一代开源大模型 Llama 2。对比于今年 2 月发布的 Llama 1,训练所用的 token 翻了一倍,已经达到了 2 万亿,对于使用大模型最重要的上下文长度限制,Llama 2 也翻了一倍。
封面图

基于Gym Anytrading 的强化学习简单实例

2023-07-19
阅读 3 分钟
848
近年来强化学习(RL)在算法交易领域受到了极大的关注。强化学习算法从经验中学习并基于奖励优化行动使其非常适合交易机器人。在这篇文章,我们将简单介绍如何使用Gym Anytrading环境和GME (GameStop Corp.)交易数据集构建一个基于强化学习的交易机器人。
封面图

时间序列的季节性:3种模式及8种建模方法

2023-07-18
阅读 9 分钟
1.8k
季节变化可以由各种因素引起,例如天气、日历或经济条件。各种应用程序中都有这样的例子。由于假期和旅游的缘故,夏天的机票更贵。另一个例子是消费者支出,由于因为12月的假期而增加。
封面图

在自定义数据集上微调Alpaca和LLaMA

2023-07-17
阅读 8 分钟
934
本文将介绍使用LoRa在本地机器上微调Alpaca和LLaMA,我们将介绍在特定数据集上对Alpaca LoRa进行微调的整个过程,本文将涵盖数据处理、模型训练和使用流行的自然语言处理库(如Transformers和hugs Face)进行评估。此外还将介绍如何使用grado应用程序部署和测试模型。
封面图

使用CatBoost和SHAP进行多分类完整代码示例

2023-07-16
阅读 9 分钟
1.7k
CatBoost是顶尖的机器学习模型之一。凭借其梯度增强技术以及内置函数,可以在不做太多工作的情况下生成一些非常好的模型。SHAP (SHapley Additive exPlanation)是旨在解释具有独特视觉效果和性能价值的机器学习模型的输出。CatBoost和SHAP结合在一起构成了一个强大的组合,可以产生一些非常准确并且可以进行解释的结果。
封面图

使用Dreambooth LoRA微调SDXL 0.9

2023-07-15
阅读 5 分钟
1.1k
本文将介绍如何通过LoRA对Stable Diffusion XL 0.9进行Dreambooth微调。DreamBooth是一种仅使用几张图像(大约3-5张)来个性化文本到图像模型的方法。

7个有用的Prompt参数

2023-07-14
阅读 2 分钟
755
ChatGPT和Midjournal使得生成式人工智能的应用程序激增。当涉及到生成式AI时,"prompt"通常指的是作为输入给模型的初始提示或指示。它是一个短语、问题、句子或段落,用来引导模型生成相关的响应或文本。
封面图

​注意力机制中的掩码详解

2023-07-13
阅读 3 分钟
1.4k
注意力机制的掩码允许我们发送不同长度的批次数据一次性的发送到transformer中。在代码中是通过将所有序列填充到相同的长度,然后使用“attention_mask”张量来识别哪些令牌是填充的来做到这一点,本文将详细介绍这个掩码的原理和机制。

并行计算框架Polars、Dask的数据处理性能对比

2023-07-08
阅读 8 分钟
1.8k
在Pandas 2.0发布以后,我们发布过一些评测的文章,这次我们看看,除了Pandas以外,常用的两个都是为了大数据处理的并行数据框架的对比测试。

使用Streamlit和OpenAI API构建视频摘要

2023-07-07
阅读 4 分钟
629
本文提供了使用Streamlit和OpenAI创建的视频摘要应用程序的概述。该程序为视频的每个片段创建简洁的摘要,并总结视频的完整内容。要运行应用程序,需要安装以下依赖项:Python(3.7或更高版本)StreamlitOpenAI API密钥llama_indexyoutube_transcript_apihtml2imagelangchain搭建环境首先,需要设置我们的开发环境,可以使...

矢量数据库对比和选择指南

2023-07-06
阅读 5 分钟
1.5k
矢量数据库是为实现高维矢量数据的高效存储、检索和相似性搜索而设计的。使用一种称为嵌入的过程,将向量数据表示为一个连续的、有意义的高维向量。本文将研究存储/检索向量数据和执行相似性搜索的实用方法,在我们深入研究之前,首先先介绍矢量数据库的两个关键功能:1、执行搜索的能力当给定查询向量时,向量数据库可...
封面图

WideNet:让网络更宽而不是更深

2023-07-05
阅读 4 分钟
754
这是新加坡国立大学在2022 aaai发布的一篇论文。WideNet是一种参数有效的框架,它的方向是更宽而不是更深。通过混合专家(MoE)代替前馈网络(FFN),使模型沿宽度缩放。使用单独LN用于转换各种语义表示,而不是共享权重。

LeViT-UNet:transformer 编码器和CNN解码器的有效整合

2023-07-04
阅读 2 分钟
3.6k
levi - unet[2]是一种新的医学图像分割架构,它使用transformer 作为编码器,这使得它能够更有效地学习远程依赖关系。levi - unet[2]比传统的U-Nets更快,同时仍然实现了最先进的分割性能。

基于声音信号的工业设备异常检测基于声音信号的工业设备异常检测

2023-07-03
阅读 4 分钟
1.2k
异常检测主要目标是将异常事件与正常事件区分开来,因此才有了“异常”一词。本文将介绍基于声音信号的工业机械异常检测,使用的数据集是MIMII声音数据集,该数据集很容易在网上获得。

玩转Matplotlib的10个高级技巧

2023-07-02
阅读 8 分钟
1k
Matplotlib是Python中流行的数据可视化库,仅使用简单的几行代码就可以生成图表。但是默认的方法是生成的图表很简单,如果想增强数据演示的影响和清晰度,可以试试本文总结的10个高级技巧,这些技巧可以将可视化提升到一个新的水平:
封面图

将ChatGPT变成Midjourney提示生成器

2023-07-01
阅读 5 分钟
906
已经有人总结过可以让ChatGPT作为Midjourney图像生成的模板。在本文中,我们将展示如何根据个人用例创建这些提示,这可以让ChatGPT生成的提示可控性更高。

MidJourney v5.2 、Stable Diffusion XL 0.9 出图对比

2023-06-30
阅读 3 分钟
1k
最近两个最流行的AI图像生成器,Midjourney和Stable Diffusion,都发布了重大更新。Midjourney v5.2引入了许多新功能,包括“缩小”功能、“/缩短”命令、改进的图像质量等。
封面图

LLM-Client一个轻量级的LLM集成工具

2023-06-29
阅读 3 分钟
1k
大型语言模型(llm)已经彻底改变了我们与文本交互的方式,OpenAI、Google、AI21、HuggingfaceHub、Anthropic和众多开源模型提供了不同的功能和优势。但是每个模型都有其独特的体系结构、api和兼容性需求,集成这些模型是一项耗时且具有挑战性的任务。

用于语义图像分割的弱监督和半监督学习:弱监督期望最大化方法

2023-06-28
阅读 3 分钟
647
这时一篇2015年的论文,但是他却是最早提出在语义分割中使用弱监督和半监督的方法,SAM的火爆证明了弱监督和半监督的学习方法也可以用在分割上。

10个图像处理的Python库

2023-06-27
阅读 3 分钟
1.1k
在这篇文章中,我们将整理计算机视觉项目中常用的Python库,如果你想进入计算机视觉领域,可以先了解下本文介绍的库,这会对你的工作很有帮助。
封面图

本地部署开源大模型的完整教程:LangChain + Streamlit+ Llama

2023-06-26
阅读 8 分钟
7.1k
在过去的几个月里,大型语言模型(llm)获得了极大的关注,这些模型创造了令人兴奋的前景,特别是对于从事聊天机器人、个人助理和内容创作的开发人员。

MaskFormer:将语义分割和实例分割作为同一任务进行训练

2023-06-25
阅读 3 分钟
990
目标检测和实例分割是计算机视觉的基本任务,在从自动驾驶到医学成像的无数应用中发挥着关键作用。目标检测的传统方法中通常利用边界框技术进行对象定位,然后利用逐像素分类为这些本地化实例分配类。但是当处理同一类的重叠对象时,或者在每个图像的对象数量不同的情况下,这些方法通常会出现问题。

轻量级的深度学习框架Tinygrad

2023-06-23
阅读 1 分钟
921
Tinygrad是一个轻量级的深度学习库,它提供了一种简化和直观的方法来理解和实现神经网络。在本文中,我们将探讨Tinygrad及其主要功能,以及它如何成为那些开始深度学习之旅的人的有价值的工具。

PromptBench:大型语言模型的对抗性基准测试

2023-06-22
阅读 1 分钟
950
PromptBench是微软研究人员设计的一个用于测量大型语言模型(llm)对对抗性提示鲁棒性的基准测试。这个的工具是理解LLM的重要一步,随着这些模型在各种应用中越来越普遍,这个主题也变得越来越重要。