随着人工智能的发展为了解决具有挑战性的问题，人们创造了更复杂、更不透明的模型。AI就像一个黑匣子，能自己做出决定，但是人们并不清楚其中缘由。建立一个AI模型，输入数据，然后再输出结果，但有一个问题就是我们不能解释AI为何会得出这样的结论。需要了解AI如何得出某个结论背后的原因，而不是仅仅接受一个在没有上...

RepVGG: Making VGG-style ConvNets Great Again 是2021 CVPR的一篇论文，正如他的名字一样，使用structural re-parameterization的方式让类VGG的架构重新获得了最好的性能和更快的速度。在本文中首先对论文进行详细的介绍，然后再使用Pytorch复现RepVGG模型.

数据预处理是机器学习生命周期的非常重要的一个部分。特征工程又是数据预处理的一个重要组成， 最常见的特征工程有以下一些方法：编码缩放转换离散化分离等等在本文中主要介绍特征缩放和特征编码的主要方法。特征缩放特征缩放是一种在固定范围内对数据中存在的独立特征进行标准化的技术。有些机器学习模型是基于距离矩阵...

大型网站类目目录的数量很大，一般都无法进行手动标记，所以理解大型目录的内容对在线业务来说是一个重大挑战，并且这使得对于新产品发现就变得非常困难，但这个问题可以通过使用自监督神经网络模型来解决。

CodeBERT是微软在2020年开发的BERT模型的扩展。它是一个用于编程语言(PL)和自然语言(NL)的双峰预训练模型，可以执行下游的(NL-PL)任务，这个模型使用6种编程语言(Python, Java, JavaScript, PHP, Ruby, Go)进行NL-PL的匹配训练。

文档理解是文档处理和提取中最重要的步骤。这是从非结构化或半结构化文档中提取信息并将其转换为结构化形式的过程。提取后的结构化表示可以支持各种下游任务，例如信息检索，汇总，分类等。有许多不同的方法可以理解文档，但它们都有一个共同的目标:创建文档内容的结构化表示，以便用于进一步的处理。

KernelSHAP 和 TreeSHAP 都用于近似 Shapley 值。TreeSHAP 的速度很快，但是它只能用于基于树的算法，如随机森林和 xgboost。而KernelSHAP 与模型无关。这意味着它可以与任何机器学习算法一起使用。我们将比较这两种近似方法。

在这篇文章中，我们将讨论分布式学习和联邦学习的主要原理以及它们是如何工作的。首先，我们从一个简单的单机示例开始，然后将其发展为分布式随机梯度下降（D-SGD），最后是联邦学习（FL）。

在学习贝叶斯计算的解马尔可夫链蒙特卡洛(MCMC)模拟时，最简单的方法是使用PyMC3，构建模型，调用Metropolis优化器。但是使用别人的包我们并不真正理解发生了什么，所以本文通过手写Metropolis-Hastings来深入的理解MCMC的过程，再次强调我们自己实现该方法并不是并不是为了造轮子，而是为了更好的通过代码理解该概念。

前几天的文章中我们提到MAE在时间序列的应用，本篇文章介绍的论文已经将MAE的方法应用到图中，这是来自[KDD2022]的论文GraphMAE: Self-supervised Masked Graph Autoencoders

贪婪搜索是在每个时间步中选择概率最高的单词，也是我们最常用的一种方法，Beam Search不取每个标记本身的绝对概率，而是考虑每个标记的所有可能扩展。然后根据其对数概率选择最合适的标记序列。

文档解析涉及检查文档中的数据并提取有用的信息。它可以通过自动化减少了大量的手工工作。一种流行的解析策略是将文档转换为图像并使用计算机视觉进行识别。而文档图像分析(Document Image Analysis)是指从文档的图像的像素数据中获取信息的技术，在某些情况下，预期结果应该是什么样的没有明确的答案(文本、图像、图表...

低精度算法对神经网络的训练产生了变革性的影响，降低了对计算量、内存和算力的需求。但是高斯过程（GPS）中却很少使用低精度的算法，这是因为GPS的复杂线性代数在低精确度中是不稳定的。论文研究了在半精度训练GPs时可能发生的不同的失效模式。为了避免这些失效模式，提出了一种多层面的方法，包括共轭梯度与重新正交化...

深度学习模型的可解释性为其预测提供了人类可以理解的推理。如果不解释预测背后的原因，深度学习算法就像黑匣子，对于一些场景说是无法被信任的。不提供预测的原因也会阻止深度学习算法在涉及跨域公平、隐私和安全的关键应用程序中使用。

无监督学习（Unsupervised Learning）是和监督学习相对的另一种主流机器学习的方法，无监督学习是没有任何的数据标注只有数据本身。

时间序列预测在最近两年内发生了巨大的变化，尤其是在kaiming的MAE出现以后，现在时间序列的模型也可以用类似MAE的方法进行无监督的预训练

五年前深度学习的一切都是关于如何构建新的、更优化的模型，以便更好地从非结构化数据中学习。这些努力带来了许多研究突破，突破了神经网络的可能性。但慢慢地越来越多的人对这种方法提出了批评，并建议首先关注数据的质量和一致性。这些批评的声音通常来自行业，来自在关键业务环境中长时间大规模操作模型的专业人士。

我们以前也发过很多关于数据可视化的文章。但是对于展示来说，如果你的图表能够动起来，那么他的展示效果要比静态的图有更多的冲击力，尤其是你需要向领导和客户展示的时候。所以在本篇文章整列了2个简单的代码片段，可以让你的图表动起来。

人体活动识别（HAR）是一种使用人工智能（AI）从智能手表等活动记录设备产生的原始数据中识别人类活动的方法。当人们执行某种动作时，人们佩戴的传感器（智能手表、手环、专用设备等）就会产生信号。这些收集信息的传感器包括加速度计、陀螺仪和磁力计。人类活动识别有各种各样的应用，从为病人和残疾人提供帮助到像游戏...

先进的机器学习 (ML) 技术可以从数据中得出的非常复杂的问题的解答。但是由于其“黑盒”的性质，很难评估这些答案的正确性。如果想在照片中找到特定的人或者物，例如在照片中找到猫的照片，这可能是很适用的。但在处理医疗数据时，因为可解释性的原因一般都不会被人们所接受，这导致 ML 模型在实际临床应用中的实际使用的...

例如，“Barack Obama got married to Michelle Obama on 3 October 1992 at Trinity United Church”，会被解析为以下的集合

深度图像分类模型通常以监督方式在大型带注释数据集上进行训练。随着更多带注释的数据加入到训练中，模型的性能会提高，但用于监督学习的大规模数据集的标注成本时非常高的，需要专家注释者花费大量时间。为了解决这个问题，人们开始寻找更便宜的标注的标签来源，是否有可能从已经公开的数据中学习高质量的图像分类模型？

在以前的文章中，我们讨论过Transformer并不适合时间序列预测任务。为了解决这个问题Google创建了Hybrid Transformer-LSTM模型，该模型可以实现SOTA导致时间序列预测任务。

回归分析为许多机器学习算法提供了坚实的基础。在这篇文章中，我们将总结 10 个重要的回归问题和5个重要的回归问题的评价指标。1、线性回归的假设是什么？线性回归有四个假设线性：自变量（x）和因变量（y）之间应该存在线性关系，这意味着x值的变化也应该在相同方向上改变y值。独立性：特征应该相互独立，这意味着最小...

Numpy是python中最有用的工具之一。它可以有效地处理大容量数据。使用NumPy的最大原因之一是它有很多处理数组的函数。在本文中，将介绍NumPy在数据科学中最重要和最有用的一些函数。

pandas.read_csv 有很多有用的参数，你都知道吗？本文将介绍一些 pandas.read_csv()有用的参数，这些参数在我们日常处理CSV文件的时候是非常有用的。

歌唱技术是利用音色、音高和声音的其他成分的时间波动来进行富有表现力的声乐表演。它们的分类是一项具有挑战性的任务，这主要是因为两个因素:1)歌唱技术的波动种类繁多，受多种因素的影响;2)现有数据集不平衡。为了解决这些问题，论文开发了一种新的基于变形卷积的音频特征学习方法，利用类加权损失函数对特征提取器和...

论点挖掘(Argument Mining）是一项从文本中提取论点成分的任务，通常作为自动写作评估系统的一部分。这是自然语言处理中一个非常热门的领域。一个好的 AM 模型可以将一段原始将一段原始文本的序列标记为它们所属的论点内容。虽然历史上这一问题被视为一个语义分割问题，最先进的(SOTA) AM技术把它作为一个命名实体识别(N...

经过几个月的测试GitHub Copilot终于开始收费了，每月10美元到底值不值呢，我想通过本篇文章作为例子来演示如何将Copilot用于探索性分析。希望这篇文章能成为一些新初学者的指南，因为在我看来 Copilot的确让编程体验更好!最后我也会写一些我的看法，至于买还是不买还是要看你的选择

Affinity Propagation Clustering（简称AP算法）是2007提出的，当时发表在Science上《single-exemplar-based》。特别适合高维、多类数据快速聚类，相比传统的聚类算法，该算法算是比较新的，从聚类性能和效率方面都有大幅度的提升。