扩散模型的通用指导手册

2023-03-16
阅读 1 分钟
598
典型的扩散模型经过训练可以接受特定形式的条件指导(比如文本),但不能在没有重新训练的情况下允许其他形式为条件。 为此研究者提出一种通用的指导算法,使扩散模型无需重新训练任何指定用处的组件,就能由任意指导模式控制。 该算法成功地生成了具有引导功能的高质量图像,包括分割、人脸识别、对象检测和分类器信号。

InstructPix2Pix:指挥机器修改图像

2023-02-28
阅读 1 分钟
813
InstructPix2Pix 提出一种让机器根据人类指令修改图像的方法,即输入图像与文字指令,模型就能遵循这些指令编辑给定的图像。 为了获得该任务的训练数据,InstructPix2Pix 结合了两个大规模预训练模型(GPT-3 和 stable diffusion)的知识来生成图像编辑示例的大型数据集,共包含 450,000 条数据。InstructPix2Pix 能够实...

【ECCV 2022】高效视频学习框架 EVL,CLIP 助力视频识别

2023-02-16
阅读 1 分钟
982
视频识别一直以端到端的学习范式为主,即首先使用预训练图像模型的权重初始化视频识别模型,然后用视频进行端到端训练。虽然这种方式使得视频网络能够从预训练的图像模型中受益,但是它需要大量的计算和内存资源来微调视频模型。另外,如果直接使用预训练好的图像模型而不通过微调主干网络,这样获得的图像特征会导致最...

PMR 提取视频特征,理解上下文

2023-02-14
阅读 1 分钟
477
出品人:Towhee 技术团队 王翔宇、顾梦佳视频理解包括许多有趣的任务理解空间和时间信息,其中最具挑战性的问题之一就是特征提取。由于无约束视频冗长和复杂时间结构,从未修剪的视频提取上下文视觉表征变得十分困难。不同于现有的方法使用预训练的骨干网络作为黑盒来提取视觉表示,基于感知的多模态表征 PMR 旨在通过可...
封面图

DAAM:首次利用视觉语言学解释大型扩散模型

2023-02-10
阅读 1 分钟
719
大规模扩散神经网络代表了文本到图像生成的一个重要里程碑,但它们仍然缺乏可解释性分析。DAAM 对最近开源的模型 Stable Diffusion 进行了文本-图像归因分析。为了生成像素级属性图,DAAM 在去噪子网络中放大和聚合交叉注意力字像素分数。通过归因分析,DAAM 主要研究了如何将语法关系转化为视觉交互,并关注了扩散模型...

MoBYv2AL :结合 BOYL 和 MoCo 的主动学习算法

2023-02-03
阅读 1 分钟
741
主动学习(AL),即查询学习,旨在从大量未标记的数据中抽取信息最丰富、最多样化的有效示例来查询它们的标签。然而当模型学习到的特征较为局限时,主动学习的整体选择也会受到影响,并累积偏差导致性能降低。为了解决这些问题,一种用于图像分类的新型自监督主动学习框架 MoBYv2AL 将最成功的自监督学习算法之一 MoBY ...

微软提出 TinyMIM,首次用掩码预训练改进小型 ViT

2023-02-02
阅读 1 分钟
882
出品人:Towhee 技术团队 顾梦佳掩码图像建模(MIM)在预训练的大型视觉Transformer(ViTs)中表现强劲,然而实际生产中更实用的小模型却依然受益不显。为此,微软提出 TinyMIM 探索蒸馏技术,期望将MIM在大型预训练模型上的成功迁移到较小的模型。该方法系统地研究了蒸馏框架中的不同选项,包括蒸馏目标、损失、输入、...

SimMIM:更简单的掩码图像建模

2023-01-30
阅读 1 分钟
844
掩码图像建模(MIM)通常会将输入 token 的随机子集替换为一个特殊的掩码符号,目的是从损坏的图像重建原始图像 token。SimMIM 系统分析了该方法中的主要组件,从而提出了无需特殊设计、更为简单的掩码图像框架。将简化后的 MIM 应用到 ViT-B,其预训练模型在公开的图像数据集 ImageNet-1K 上能够实现 83.8% 的 top-1 微...

DiT:Transformers 与扩散模型强强联手

2023-01-10
阅读 1 分钟
1.6k
扩散模型在图像生成领域有着难以撼动的地位,而其通常都选择了卷积 U-Net作为主干模型。那么在其他领域大杀四方的 Transformers 在扩散模型中是否还有用武之地呢?基于这一想法,DiT(Diffusion Transformer) 利用 transformer 结构探索了一种新的扩散模型。它不仅继承了 Transformer 模型类的优秀扩展特性,性能还优于...

Milvus 向量数据库如何实现属性过滤

2022-04-18
阅读 3 分钟
1.7k
编者按:本文详细介绍 Milvus 2.0 如何通过查询表达式、查询语法生成、查询操作执行来完成属性过滤。大纲分享:查询表达式的文法规则查询语法的生成语法树的解释和执行查询表达式的文法规则Milvus 支持的查询表达式如下图所示,Milvus 运用 EBNF 语法,此处用等式和语法图体现了 Milvus 所支持的查询表达式的整体规则。...
封面图

一个小目标的达成——Milvus 10,000 星!

2022-04-13
阅读 2 分钟
1.5k
近日,开源项目 Milvus 在向量数据库征程上取得了新的里程碑——GitHub 10,000 星。虽然我们认为 star 数不是评价开源项目质量的唯一标准,但还是感谢每一位通过点星来支持 Milvus 项目的开发者。
封面图

如何使用 Milvus 向量数据库实现实时查询

2022-03-31
阅读 7 分钟
3.3k
编者按:本文详细介绍 Milvus2.0 如何对查询节点的数据进行管理,以及如何提供查询能力内容大纲:快速回顾 Milvus 进行数据插入与持久化存储相关的流程及机制;如何将数据加载进查询节点(Query Node)以进行查询操作 ;Milvus 上实现实时查询的相关操作和流程。快速回顾 Milvus 进行数据插入与持久化相关的流程与机制Mi...
封面图

Milvus 数据处理流程解剖

2022-03-24
阅读 9 分钟
1.6k
编者按:本文详细解剖 Milvus 2.0 主要的数据处理流程以及访问接入层( Access Layer)。分享大纲:回顾 Milvus 2.0 的架构;介绍 Milvus 2.0 代码结构的组织方式;介绍主要的数据处理流程;具体介绍访问接入层。主要数据处理流程Milvus 2.0 中主要的数据处理流程包括读写路径、建表等数据定义操作以及向量索引构建流程...

Milvus 2.0 数据插入与持久化

2022-03-24
阅读 8 分钟
2.8k
编者按:本文详细介绍了Milvus2.0数据插入流程以及持久化方案Milvus 2.0 整体架构介绍数据写入相关的组件介绍ProxyData coordData nodeRoot coord & Time tickData allocation 数据分配数据组织结构文件结构及数据持久化Milvus 2.0 整体架构介绍上图是 Milvus 2.0 的一个整体架构图,从最左边 SDK 作为入口,通过 Load B...

AI 收藏夹 Vol.004:Waifu Lab 火了,AI 是如何创作的?

2022-01-20
阅读 3 分钟
2.2k
文章0 1AI 如何画出虚拟老婆的?最近大火的 Waifu Labs 项目使用生成对抗网络方法,训练 AI 创作「虚拟老婆」。这篇文章[1]解剖 AI 学习的步骤,我们可以看到一张二次元面孔是如何在一片混沌中生成的。生成对抗网络简称 GAN,是非监督式学习的一种方法,你可以把它想象成一对为了学习而相互博弈的 AI:一个 AI 学习如何...
封面图

系统召回太慢?上 Milvus × PaddleRec 双剑合璧大法!

2021-10-08
阅读 9 分钟
5.4k
作者简介 李云梅,Zilliz 数据工程师,毕业于华中科技大学计算机系。加入 Zilliz 以来,致力于为开源向量数据库 Milvus 探索解决方案,帮助用户打造场景应用。深入关注自然语言处理技术和搜索推荐系统,日常喜欢一个人猫着乱翻书。
封面图

深度 | 数据大变革,向量数据库大牛揭秘设计理念

2021-09-15
阅读 8 分钟
3.6k
未来 80% 的数据是非结构化的,然而传统的数据分析手段很难挖掘非结构化数据中所蕴含的信息,也没法对这些信息进行统一的表示。如何深入理解这些棘手的「新数据」?Zilliz 研发工程团队「三剑客」郭人通、栾小凡、易小萌共同撰文,探讨了面向 AI 的通用向量数据库的设计和实践,以及当前主要的技术挑战。
封面图

用 AI 给向量检索加 buff,Milvus 亮相数据库顶会 VLDB

2021-08-27
阅读 4 分钟
2.8k
本月举行的全球数据库顶会 VLDB 上,Zilliz 与哈佛大学、卡内基梅隆大学、清华大学、微软等多家高校与企业受邀介绍最新研究进展,分享了将机器学习方法应用到数据库系统的经验。Zilliz 高级研究员易小萌介绍了开源向量数据库 Milvus 的开发背景、设计思路,以及开发过程中遇到的挑战与技术创新点。
封面图

Milvus 新版本 v0.11.0 重磅发布!新增标量字段过滤功能,使用更灵活!

2020-10-20
阅读 2 分钟
1.5k
发布时间:2020-10-16版本兼容升级必看 ⚠️1. 调整了 partition tag 的支持字符集:不支持使用英文字母、数字、"_"、"$" 以外的字符命名 partition tag。partition tag 的首字母不支持使用英文字母或下划线以外的字符。2. 服务端配置文件结构调整server_config.yaml 更名为 milvus.yaml,配置参数兼容 a.b.c: value 的展...

Milvus 赋能 AI 药物研发

2020-05-15
阅读 4 分钟
1.6k
新药研发领域长期以来都以耗时长、成本高、风险大、回报率低而著称,一款新药的平均研发成本已经高达 26 亿美元,而平均耗时需要十年。尽管付出了如此高昂的研发成本和漫长的研发周期,却依然无法保证所研发的药物能够顺利通过全部临床实验而投放市场。即便是难度较低的仿制药研发,其研发的进程也是十分缓慢。

AI 搜房,贝壳找房的Milvus实践

2020-04-26
阅读 3 分钟
1.1k
贝壳作为一家房产服务互联网平台,如何在海量房源中选出能够快速成交的房源是对平台和经纪人来说都是一件非常重要同时具有挑战的事情,但是针对房型图,户型信息等一系列非结构化数据在平台中应该怎么搜索呢?

利用Bert和Milvus快速搭建智能问答机器人

2020-04-18
阅读 3 分钟
2.5k
问答系统是自然语言处理领域一个很经典的问题,它用于回答人们以自然语言形式提出的问题,有着广泛的应用。其经典应用场景包括:智能语音交互、在线客服、知识获取、情感类聊天等。常见的分类有:生成型、检索型问答系统;单轮问答、多轮问答系统;面向开放领域、特定领域的问答系统。本文涉及的主要是在检索型、面向特...

Milvus之WAL介绍

2020-04-11
阅读 3 分钟
1.2k
Milvus 是一款开源的特征向量相似度搜索引擎,在2020-03-11我们发布了版本0.7.0。在该版本中,Milvus 为存储系统添加了一个新组件— WAL(write-ahead logging,预写日志系统)。今天我们就来详细介绍一下相关背景和实现原理,以及如何能更好地使用它。

国产开源项目Milvus加入世界顶级开源组织

2020-04-11
阅读 2 分钟
1.2k
Milvus 特征向量相似度搜索引擎通过技术委员会投票,正式加入 Linux AI(LF AI)基金会成为其最新的孵化项目。LF AI 基金会的使命是建立和支持开放的人工智能社区,通过促进协作和创新为社区所有成员创造新机会,推动人工智能(AI)、机器学习(ML)和深度学习(DL)领域的开源创新。

Milvus 如何实现数据动态更新与查询

2020-04-11
阅读 3 分钟
2.8k
在这篇文章,我们会主要描述 Milvus 里向量数据是如何被记录在内存中,以及这些记录以怎样的形式维护。 我们的设计目标主要有下面三点: 数据导入效率要高 数据导入后尽快可见 避免数据文件碎片化 因此,我们建立了插入数据的内存缓冲区(insert buffer),以减少磁盘随机 IO 和操作系统中上下文切换的次数,从而提升数...