我们通常使用最大似然估计(Maximum Likelihood Estimation, MLE)损失来训练序列模型。但是论文认为我们使用的损失函数将把一个本质上可能有多个正确输出(非确定性)的任务的“正确”输出(确定性)赋值为零。训练和推理过程之间也存在差异，在生成过程中模型是基于自己之前的预测步骤，而不是目标总结。在推理过程中，当模型...

数据可视化基本上是数据的图形表示。在探索性数据分析中，可以使用数据可视化来理解变量之间的关系，还可以通过视化数据揭示底层结构或了解数据信息。

太多的特征会增加模型的复杂性和过拟合，而太少的特征会导致模型的拟合不足。将模型优化为足够复杂以使其性能可推广，但又足够简单易于训练、维护和解释是特征选择的主要工作。

4月25日（星期一）至4月29日（星期五），International Conference in Learning Representations（ICLR）将连续第三年在线举行。它是世界机器学习研究世界上最大，最受欢迎的会议之一：它包含超过一千篇有关主题的论文，包括ML理论，强化学习（RL），计算机视觉（CV），自然语言处理（NLP），神经科学等。

例如，我们现在用两个特征构建一个简单的神经网络模型。这两个特征一个是年龄：范围在 0 到 65 之间，另一个是工资：范围从 0 到 10 000。我们将这些特征提供给模型并计算梯度。

2015 年 11 月，wikipedia的用户 Laughinthestocks 首次引入了“激活函数表”。从那时开始到现在，维基百科页面已经发生了 391 次更改。在本文中，我通过自己写的一个程序来挖掘截至 2022 年 4 月 22 日时维基百科页面历史中的每个唯一激活函数。本文还提供了针对激活函数的适当研究论文的附加链接，如果没有或者在无法找...

在零售、经济和金融等行业，数据总是由于货币和销售而不断变化，生成的所有数据都高度依赖于时间。如果这些数据没有时间戳或标记，实际上很难管理所有收集的数据。Python 程序允许我们使用 NumPy timedelta64 和 datetime64 来操作和检索时间序列数据。sklern库中也提供时间序列功能，但 Pandas 为我们提供了更多且好用...

将COVID-19的传播与图神经网络（GNN）的结合，使得最近几项研究发现了可以更好地预测大流行的方式。许多这样的模型还包括长短期记忆（LSTM），这是时间序列预测的常见工具。通过在LSTM的门内实施GNN并利用空间信息来进一步研究这两种方法的集成。并且引入了跳过连接，该连接对于共同捕获数据中的空间和时间模式也被证明...

迁移学习在NLP中的有效性来自对具有自监督任务的丰富无标记的文本数据进行预训练的模型，例如语言建模或填写缺失的单词。通过预先训练后，可以在较小的标记数据集上微调模型，通常比单独使用标记的数据训练更好的性能。迁移学习被诸如GPT，Bert，XLNet，Roberta，Albert和Reformer等模型所证明。

三十多年来，许多研究人员在图像识别算法和图像数据方面积累了丰富的知识。如果你对图像训练感兴趣但不知道从哪里开始，这篇文章会是一个很好的开始。这篇文章简要介绍了过去的演变，并总结了现在的一些热门话题。

现实世界中有几个现象实例被认为是统计性质的（即天气数据、销售数据、财务数据等）。这意味着在某些情况下，我们已经能够开发出方法来帮助我们通过可以描述数据特征的数学函数来模拟自然。

1、ReLLIE: Deep Reinforcement Learning for Customized Low-Light Image EnhancementRongkai Zhang, Lanqing Guo, Siyu Huang, Bihan Wen低光图像增强 (LLIE) 是一个普遍但具有挑战性的问题，因为：1，低光测量可能会因实际情况中不同的成像条件而有所不同；2，图像可能根据每个人不同喜好有不同的主观操作。为了解决...

本文是关于检测和处理数据集中的异常值，主要包含以下四部分内容：什么是异常值？为什么检测异常值很重要？如何检测异常值？如何处理异常值？什么是异常值？异常值是与其他观察结果显着不同的数据点。如下图所示，橙色数据点与一般分布相去甚远。我们将此点称为异常值。为什么检测异常值很重要？在数据科学项目、统计分...

Boosting 是一种松散的策略，它将多个简单模型组合成一个复合模型。这个想法的理论来自于随着我们引入更多的简单模型，整个模型会变得越来越强大。在 boosting 中，简单模型称为弱模型或弱学习器。在回归的背景下，第一个简单模型只是一个常数，而随后的简单模型是“回归树”。

GNN 提供了一种在图结构化数据上使用深度学习技术的方法。图结构数据无处不在：从化学（例如分子图）到社交媒体（例如社交网络）以及金融投资（例如 VC 投资网络），GNN 在各种任务中显示出最先进的性能¹ ²。

本文提供了与SRCNN论文的总结和回顾，如果你对于图像的超分辨率感兴趣，一定要先阅读这篇论文，他可以说是所有基于深度学习的超分辨率模型的鼻祖

股票走势预测是对股票价格未来走势的预测，在投资中起着至关重要的作用。因为同行业的股票价格是高度相关的，所以市场中的股票之间的信息是可以共享的。最近也提出了几种方法来通过从 Web 中提取的股票概念类别（例如，技术、互联网零售）来挖掘共享信息，以改进预测结果。

降维是分析高维数据的重要工具。Spatial Predictor Envelope是一种回归的降维方法，它假设预测变量的某些线性组合对回归产生的影响很小。与传统的最大似然和最小二乘估计相比，该方法可以显著提高效率和预测准确性。虽然目前的工作已经针对独立数据开发和研究了预测包络，但还没有出现将预测包络适应于空间数据的工作。...

本文将使用 Python 实现和对比解释 NLP中的3 种不同文本摘要策略：老式的 TextRank（使用 gensim）、著名的 Seq2Seq（使基于 tensorflow）和最前沿的 BART（使用Transformers ）。

MAE是一种使用自监督预训练策略的ViT，通过遮蔽输入图像中的补丁，然后预测缺失区域进行子监督的与训练。尽管该方法既简单又有效，但 MAE 预训练目标目前仅限于单一模态——RGB 图像——限制了在通常呈现多模态信息的实际场景中的应用和性能。

AutoML 可以为预测建模问题自动找到数据准备、模型和模型超参数的最佳组合，本文整理了5个最常见且被熟知的开源AutoML 框架。AutoML框架执行的任务可以被总结成以下几点：预处理和清理数据。选择并构建适当的特征。选择合适的模型。优化模型超参数。设计神经网络的拓扑结构（如果使用深度学习）。机器学习模型的后处理。...

将Prophet的预测结果作为特征输入到 LightGBM 模型中进行时序的预测我们以前的关于使用机器学习进行时间序列预测的文章中，都是专注于解释如何使用基于机器学习的方法进行时间序列预测并取得良好结果。但是在这篇文章将使用更高级的技术来预测时间序列，本文将使用 Prophet 来提取新的有意义的特征，例如季节性、置信区...

NVidia 的新 H100 GPU已经发布了，我们也很久没有发论文推荐了，这是4月份的论文推荐：Google 的 5400 亿参数 PaLM、Pathways、Kubric、Tensor Programs、Bootstrapping Reasoning With Reasoning、Sparse all-MLP 架构、使用深度学习制作人脸动画等等。

我们每天都在为选择进行自己的假设，并且按照自己认为最好的方向做出选择，所以假设在我们的生活中是无处不在的，例如：A 路是否会比 B 路花费更少的时间，X 的平均投资回报率是否高于 Y 的投资，以及电影 ABC 是否比电影 XYZ 好。在所有这些情况下，我们都在对我们做出的假设进行检验。

Gaussian Naive Bayes (GNB) 是一种基于概率方法和高斯分布的机器学习的分类技术。朴素贝叶斯假设每个参数（也称为特征或预测变量）具有预测输出变量的独立能力。所有参数的预测组合是最终预测，它返回因变量被分类到每个组中的概率，最后的分类被分配给概率较高的分组（类）。

在计算机视觉中的单任务学习已经取得了很大的成功。但是许多现实世界的问题本质上是多模态的。例如为了提供个性化的内容，智能广告系统应该能够识别使用的用户并确定他们的性别和年龄，跟踪他们在看什么，等等。多任务学习(Multi-Task Learning, MTL)可以实现这样的系统，其中一个模型在多个任务之间分配权重，并在一次...

深度神经网络 (DNN) 已经发展到现在已经可以在计算机视觉和自然语言处理等许多任务上表现非常出色。而现在主要的研究是如何训练这些 DNN 以提高其准确性。准确性的主要问题是神经网络极易受到对抗性扰动的影响。

假设我们有一个大的标记图像数据集。我们想使用这些数据来构建一个模型，进行图像分类的任务，解决这个问题的标准方法是构建卷积神经网络 (CNN)。CNN 已被证明在使用大型数据集进行训练时可以提供最先进的结果。

异常检测是指数据科学中可帮助发现数据集中的异常值有用的技术。异常检测在处理时间序列数据时特别有用。例如时间序列数据来自传感器测量结果（例如压力和温度），由于设备故障和瞬态现象等问题包含许多异常点， 异常检测有助于消除这些点异常值，以优化时间序列数据中的信号。对于销量预测等需求异常点也可以表示为活动...

图像模糊是由相机或拍摄对象移动、对焦不准确或使用光圈配置不当导致的图像不清晰。为了获得更清晰的照片，我们可以使用相机镜头的首选焦点重新拍摄同一张照片，或者使用深度学习知识重现模糊的图像。由于我的专长不是摄影，只能选择使用深度学习技术对图像进行去模糊处理！