本研究解决了领域-类别增量学习问题，这是一个现实但富有挑战性的持续学习场景，其中领域分布和目标类别在不同任务中变化。为应对这些多样化的任务，引入了预训练的视觉-语言模型（VLMs），因为它们具有很强的泛化能力。然而，这也引发了一个新问题：在适应新任务时，预训练VLMs中编码的知识可能会受到干扰，从而损害它...

全景图像捕捉360°的视场（FoV），包含了对场景理解至关重要的全向空间信息。然而，获取足够的训练用密集标注全景图不仅成本高昂，而且在封闭词汇设置下训练模型时也受到应用限制。为了解决这个问题，论文定义了一个新任务，称为开放全景分割（Open Panoramic Segmentation，OPS）。在该任务中，模型在源领域使用视场受限...

不包含乘法的运算符，如移位和加法，因其与硬件的兼容性而日益受到重视。然而，采用这些运算符的神经网络（NNs）通常表现出比具有相同结构的传统NNs更低的准确性。ShiftAddAug利用成本较高的乘法来增强高效但功能较弱的无乘法运算符，从而在没有任何推理开销的情况下提高性能。将一个ShiftAdd小型神经网络嵌入到一个大型...

数据集蒸馏旨在从大型数据集中合成每类（IPC）少量图像，以在最小性能损失的情况下近似完整数据集训练。尽管在非常小的IPC范围内有效，但随着IPC增加，许多蒸馏方法变得不太有效甚至性能不如随机样本选择。论文对各种IPC范围下的最先进的基于轨迹匹配的蒸馏方法进行了研究，发现这些方法在增加IPC的情况下很难将更难样本...

跨模态转移旨在利用大型预训练模型来完成可能不属于预训练数据模态的任务。现有的研究在将经典微调扩展到跨模态场景方面取得了一定的成功，但仍然缺乏对模态差距对转移的影响的理解。在这项工作中，进行了一系列关于转移过程中源表示质量的实验，揭示了更大的模态差距与较少知识重用之间的联系，这意味着转移效果不佳。...

指代表达理解（REC）旨在在图像中定位由自由形式自然语言描述指定的目标对象。尽管最先进的方法取得了令人印象深刻的性能，但它们对图像进行了密集感知，包含与语言查询无关的多余视觉区域，导致额外的计算开销。这启发论文探讨一个问题：能否消除与语言无关的多余视觉区域，以提高模型的效率？现有的相关方法主要侧重于...

Few-shot目标检测（FSOD）旨在在有限标注实例的情况下检测新颖对象，在近年取得了显著进展。然而，现有方法仍然存在偏见表示问题，特别是在极低标注情况下的新颖类别。在微调过程中，一种新颖类别可能会利用来自相似基础类别的知识来构建自己的特征分布，导致分类混淆和性能下降。为了解决这些挑战，论文提出了一种基于...

论文深入探讨了层级注意力与一般注意力机制之间的区别，并指出现有的层级注意力方法是在静态特征图上实现层间交互的。这些静态层级注意力方法限制了层间上下文特征提取的能力。为了恢复注意力机制的动态上下文表示能力，提出了一种动态层级注意力（DLA）架构。DLA包括双路径，其中前向路径利用一种改进的递归神经网络块...

无数据知识蒸馏能够利用大型教师网络所学到的知识，来增强较小型学生网络的训练，而无需访问原始训练数据，从而避免在实际应用中的隐私、安全和专有风险。在这方面的研究中，现有的方法通常遵循一种反演蒸馏的范式，在预训练教师网络指导下实时训练生成对抗网络来合成一个大规模的样本集用于知识蒸馏。论文重新审视了这...

现实世界的数据通常表现为长尾分布，常跨越多个类别。这种复杂性突显了内容理解的挑战，特别是在需要长尾多标签图像分类（LTMLC）的场景中。在这些情况下，不平衡的数据分布和多物体识别构成了重大障碍。为了解决这个问题，论文提出了一种新颖且有效的LTMLC方法，称为类别提示精炼特征学习（CPRFL）。该方法从预训练的CL...

Vision Transformer(ViT) 架构传统上采用基于网格的方法进行标记化，而不考虑图像的语义内容。论文提出了一种模块化的超像素非规则标记化策略，该策略将标记化和特征提取解耦，与当前将两者视为不可分割整体的方法形成了对比。通过使用在线内容感知标记化以及尺度和形状不变的位置嵌入，与基于图像块的标记化和随机分区...

标记压缩通过减少冗余标记的数量（例如，修剪不重要的标记或合并相似的标记）来加快视觉变换器（ViTs）的训练和推理。然而，当这些方法应用于下游任务时，如果训练和推理阶段的压缩程度不匹配，会导致显著的性能下降，这限制了标记压缩在现成训练模型上的应用。因此提出了标记补偿器（ToCom），以解耦两个阶段之间的压缩...

在许多实际应用中，相对于反映类别之间微妙差异的细粒度标签，我们更容易获取粗粒度标签。然而，现有方法无法利用粗标签以无监督的方式推断细粒度标签。为了填补这个空白，论文提出了FALCON，一种从粗粒度标记数据中无需细粒度级别的监督就能发现细粒度类别的方法。FALCON同时推断未知的细粒度类别和粗粒度类别之间的潜...

动态卷积学习n个静态卷积核的线性混合，加权使用它们输入相关的注意力，表现出比普通卷积更优越的性能。然而，它将卷积参数的数量增加了n倍，因此并不是参数高效的。这导致不能探索n>100的设置（比典型设置n<10大一个数量级），推动动态卷积性能边界提升的同时享受参数的高效性。为此，论文提出了KernelWarehouse...

大规模图像-文本预训练模型实现了零样本分类，并在不同数据分布下提供了一致的准确性。然而，这些模型在下游任务中通常需要微调优化，这会降低对于超出分布范围的数据的泛化能力，并需要大量的计算资源。论文提出新颖的Robust Adapter（R-Adapter），可以在微调零样本模型用于下游任务的同时解决这两个问题。该方法将轻...

论文提出了第一个端到端的半监督伪装目标检测模型CamoTeacher。为了解决半监督伪装目标检测中伪标签中存在的大量噪声问题，包括局部噪声和全局噪声，引入了一种名为双旋转一致性学习（DRCL）的新方法，包括像素级一致性学习（PCL）和实例级一致性学习（ICL）。DRCL帮助模型缓解噪音问题，有效利用伪标签信息，使模型在避...

即插即用的方法OVMR将新类别的多模态线索嵌入到VLM中，以增强其在开放词汇识别中的能力。它最初利用多模态分类器生成模块将示例图像嵌入到视觉标记中，然后通过推断它们与语言编码器的上下文关系来自适应地融合多模态线索。为了减轻低质量模态的负面影响，通过一个无参数融合模块根据每个类别对这些分类器的特定偏好，动...

分形几何是一个数学分支，主要应用于作图方面。一般来说，分形经过无数次递归迭代后的结果。比如取一条线段，抹去中间的三分之一，会得到长度是原三分之一长的两条线段，中间隔着相同长度的间隙。然后重复这个动作，直到所有的线段都被抹掉，就将会得到被以固定模式出现的间隙隔开的无限多的点，这就是康托尔集合。目前...

数据集MovieSum包括2200部电影剧本及其维基百科情节摘要，用于电影剧本的抽象摘要。该数据集手动格式化电影剧本以表示它们的结构元素。与现有数据集相比，MovieSum具有几个独特的特点：(1) 它包括电影剧本，这些剧本比电视剧本更长。(2) 它是先前电影剧本数据集的两倍大小。(3) 它提供了带有IMDb ID的元数据，以便访问其...

即插即用的PlugIR通过LLM提问者和用户之间的对话逐步改进文本查询以进行图像检索，然后利用LLM将对话转换为检索模型更易理解的格式（一句话）。首先，通过重新构造对话形式上下文消除了在现有视觉对话数据上微调检索模型的必要性，从而使任意黑盒模型都可以使用。其次，构建了LLM问答者根据当前情境中检索候选图像的信息...

论文探索了在中型ImageNet-1k数据集上预训练的普通ViT到更具挑战性的COCO目标检测基准的可迁移性，提出了基于Vision Transformer的You Only Look at One Sequence(YOLOS)目标检测模型。在具有挑战性的COCO目标检测基准上的实验结果表明，2D目标检测可以以纯sequence-to-sequence的方式完成，并且附加的归纳偏置最小来源...

Less-Attention Vision Transformer利用了在多头自注意力（MHSA）块中计算的依赖关系，通过重复使用先前MSA块的注意力来绕过注意力计算，还额外增加了一个简单的保持对角性的损失函数，旨在促进注意力矩阵在表示标记之间关系方面的预期行为。该架构你能有效地捕捉了跨标记的关联，超越了基线的性能，同时在参数数量和每...

首个针对使用合成数据训练的模型在不同稳健性指标上进行详细分析的研究，展示了如SynCLIP和SynCLR等合成克隆模型，其性能在可接受的范围内接近于在真实图像上训练的对应模型。这一结论适用于所有稳健性指标，除了常见的图像损坏和OOD（域外分布）检测。另一方面，监督模型SynViT-B在除形状偏差外的所有指标上均被真实图...

论文提出一种新颖的POA自监督学习范式，通过弹性分支设计允许同时对多种尺寸的模型进行预训练。POA可以直接从预训练teacher生成不同尺寸的模型，并且这些模型可以直接用于下游任务而无需额外的预训练。这个优势显著提高了部署灵活性，并有助于预训练的模型在各种视觉任务中取得SOTA结果。来源：晓飞的算法工程笔记 公众号

论文将多模态可靠反馈网络（RFNet）结合到一个循环生成图片过程中，可以增加可用的广告图片数量。为了进一步提高生产效率，利用RFNet反馈进行创新的一致条件正则化，对扩散模型进行微调（RFFT），显著增加生成图片的可用率，减少了循环生成中的尝试次数，并提供了高效的生产过程，而不牺牲视觉吸引力。论文还构建了一个...

基于像素级分类器的单图像超分辨率方法（PCSR）是一种针对大图像高效超分辨率的新方法，在像素级别分配计算资源，处理不同的恢复难度，并通过更精细的粒度减少冗余计算。它还在推断过程中提供可调节性，平衡性能和计算成本而无需重新训练。此外，还提供了使用K均值聚类进行自动像素分配以及后处理技术来消除伪影。来源：...

在光照条件不佳下捕获的图像可能同时包含过曝和欠曝。目前的方法主要集中在调整图像亮度上，这可能会加剧欠曝区域的色调失真，并且无法恢复过曝区域的准确颜色。论文提出通过学习估计和校正这种色调偏移，来增强既有过曝又有欠曝的图像。先通过基于UNet的网络推导输入图像的增亮和变暗版本的色彩特征图，然后使用伪正常...

${\tt FlexAttention}$ 是一种旨在增强大型视觉语言模型的方法，通过利用动态高分辨率特征选择和分层自注意机制，使其能够有效地处理并从高分辨率图像输入中获得优势， ${\tt FlexAttention}$ 在性能和效率方面超越了现有的高分辨率方法。来源：晓飞的算法工程笔记 公众号

论文提出二值化多任务密集预测器 Bi-MTDP，通过二值神经网络（BNNs）显著加速多任务密集预测模型，同时保持甚至提高模型性能。为了避免信息严重退化而导致二值化带来性能下降，论文引入了深度信息瓶颈层，在前向传播时强制要求下游任务表示满足高斯分布；此外，还引入知识蒸馏机制来纠正反向传播中信息流方向来源：晓飞...

通过对多样化基准的严格评估，论文展示了现有特定方法在实现跨领域推理以及其偏向于数据偏差拟合方面的缺陷。从两阶段的视角重新审视视觉推理：（1）符号化和（2）基于符号或其表示的逻辑推理，发现推理阶段比符号化更擅长泛化。因此，更高效的做法是通过为不同数据领域使用分离的编码器来实现符号化，同时使用共享的推...