我们在使用卷积神经网络或递归神经网络或其他变体时，通常都希望对模型的架构可以进行可视化的查看，因为这样我们可以 在定义和训练多个模型时，比较不同的层以及它们放置的顺序对结果的影响。还有可以更好地理解模型结构、激活函数、模型参数形状（神经元数量）等

装饰器是 python 上下文管理器的特定实现。本片文章将通过一个pytorch GPU 调试的示例来说明如何使用它们。虽然它可能不适用于所有情况，但我它们却是非常有用。

近年来，基于深度学习的模型在目标检测和图像识别等任务中表现出色。像ImageNet这样具有挑战性的图像分类数据集，包含1000种不同的对象分类，现在一些模型已经超过了人类水平上。但是这些模型依赖于监督训练流程，标记训练数据的可用性对它们有重大影响，并且模型能够检测到的类别也仅限于它们接受训练的类。

对许多人来说，贝叶斯统计仍然有些陌生。因为贝叶斯统计中会有一些主观的先验，在没有测试数据的支持下了解他的理论还是有一些困难的。本文整理的是作者最近在普林斯顿的一个研讨会上做的演讲幻灯片，这样可以阐明为什么贝叶斯方法不仅在逻辑上是合理的，而且使用起来也很简单。这里将以三种不同的方式实现相同的推理问题。

距离度量的选择影响我们的机器学习结果，因此考虑哪种度量最适合这个问题是很重要的。因此，我们在决定使用哪种测量方法时应该谨慎。但在做出决定之前，我们需要了解距离测量是如何工作的，以及我们可以从哪些测量中进行选择。

在pytorch中的多GPU训练一般有2种DataParallel（DP）和DistributedDataParallel（DDP） ，DataParallel是最简单的的单机多卡实现，但是它使用多线程模型，并不能够在多机多卡的环境下使用，所以本文将介绍DistributedDataParallel，DDP 基于使用多进程而不是使用多线程的 DP，并且存在 GIL 争用问题，并且可以扩充到多机...

机器学习或深度学习模型的训练的目标是成为“通用”模型。这就需要模型没有过度拟合训练数据集，或者换句话说，我们的模型对看不见的数据有很好的了解。数据增强也是避免过度拟合的众多方法之一。

在我们上次介绍EDA工具时，一直将Pandas Profiling用作处理结构化表格数据的工具。但是在现实世界的应用中，我们日常生活中最长接触到的是时间序列数据：日常行动轨迹数据，电力和水资源消耗数据，它们都有一个共同点——对时间的依赖性。

一般情况下k-Nearest Neighbor (KNN)都是用来解决分类的问题，其实KNN是一种可以应用于数据分类和预测的简单算法，本文中我们将它与简单的线性回归进行比较。

CPU：英特尔 i7 6700k (4c/8t) GPU：RTX 3070 TI（6,144 个 CUDA 核心和 192 个 Tensor 核心） 内存：32G 操作系统：Windows 10

基于编码器的自注意力Transformer非常擅长预测自然语言生成任务的下一个字符，因为它们可以注意到给定字符周围的标记/字符的重要性。为什么我们不能应用这个概念来预测任何用户喜欢的给定物品序列中的下一个项目呢?这种推荐问题可以归类为基于物品的协同过滤。

AudioLM 是 Google 的新模型，能够生成与提示风格相同的音乐。该模型还能够生成复杂的声音，例如钢琴音乐或人的对话。结果是它似乎与原版没有区别，这是十分让人惊讶的。

pandas是数据科学家必备的数据处理库，我们今天总结了10个在实际应用中肯定会用到的技巧1、Select from table where f1=’a’ and f2=’b’使用AND或OR选择子集 {代码...} OR的话是这样 {代码...} 2、Select where in从一个df中选择一个包含在另外一个df的数据，例如下面的sql {代码...} 我们有一个名为“days”的df，它包含以...

持续学习是指在不忘记从前面的任务中获得的知识的情况下，按顺序学习大量任务的模型。这是一个重要的概念，因为在监督学习的前提下，机器学习模型被训练为针对给定数据集或数据分布的最佳函数。而在现实环境中，数据很少是静态的，可能会发生变化。当面对不可见的数据时，典型的ML模型可能会性能下降。这种现象被称为灾...

神经网络在训练时的优化首先是对模型的当前状态进行误差估计，然后为了减少下一次评估的误差，需要使用一个能够表示错误函数对权重进行更新，这个函数被称为损失函数。

图像描述是生成图像文本描述的过程。它使用自然语言处理和计算机视觉来为图像生成描述的文本字幕。一幅图像可以有很多个不同的描述，但是只要它正确地描述了图像，并且描述涵盖了图像中的大部分信息就可以说是没问题的。下面是示例图片和生成的描述文字。

假设我们从未知分布 q 中观察到 N 个独立且同分布的 (iid) 样本 X = (x1, ... , xN)。统计学中的一个典型问题是“样本集 X 能告诉我们关于分布 q 的什么信息？”。

标签传播算法是一种半监督机器学习算法，它将标签分配给以前未标记的数据点。要在机器学习中使用这种算法，只有一小部分示例具有标签或分类。在算法的建模、拟合和预测过程中，这些标签被传播到未标记的数据点。

通过应用软件工程最佳实践，可以交付质量更好数据科学的项目。更好的质量可能是更少的错误、可靠的结果和更高的编码效率。最佳实践都是从错误中总结出来的，所以这里我们总结了一些遇到的最常见的错误，并提供了如何最好地解决这些错误的方法、想法和资源。1、不使用虚拟环境这本身不是编码问题，但我仍然认为每种类型的...

在研究自注意力时，有很多的名词需要我们着重的关注，比如填充掩码，前瞻掩码等等，但网上没有太多注意力掩码的教程和它是如何工作的信息，另外还有以下的细节需要详细的解释：

移动平均线——简单、容易、有效(但会给时间序列数据一个“滞后”的观测)，Savitzky-Golay过滤器——有效但更复杂，它包含了有一些直观的超参数

时间序列是数据点的序列，通常由在一段时间间隔内进行的连续测量组成。时间序列分析是使用统计技术对时间序列数据进行建模和分析，以便从中提取有意义的信息并做出预测的过程。

图神经网络(Graph Neural Networks)是一种针对图结构数据(如社交图、网络安全网络或分子表示)设计的机器学习算法。它在过去几年里发展迅速，被用于许多不同的应用程序。在这篇文章中我们将回顾GNN的基础知识，然后使用Pytorch Geometric解决一些常见的主要问题，并讨论一些算法和代码的细节。

生成式自监督学习(SSL)，特别是带掩码自编码器已经成为最令人兴奋的学习范式之一，并且在图学习方面显示出巨大的潜力。但是现实世界的图总是异构的，这带来了三个关键的挑战，现有的方法忽略了:

机器学习是人工智能的一个分支领域，致力于构建自动学习和自适应的系统，它利用统计模型来可视化、分析和预测数据。一个通用的机器学习模型包括一个数据集(用于训练模型)和一个算法(从数据学习)。但是有些模型的准确性通常很低产生的结果也不太准确，克服这个问题的最简单的解决方案之一是在机器学习模型上使用集成学习。

当涉及大量数据时，Pandas 可以有效地处理数据。但是它使用CPU 进行计算操作。该过程可以通过并行处理加快，但处理大量数据仍然效率不高。

时间序列是由表示时间的x轴和表示数据值的y轴组成，使用折线图在显示数据随时间推移的进展时很常见。它在提取诸如趋势和季节性影响等信息方面有一些好处。

在Ian Goodfellow和其他研究人员在一篇论文中介绍生成对抗网络两年后，Yann LeCun称对抗训练是“过去十年里ML最有趣的想法”。尽管GANs很有趣，也很有前途，但它只是生成模型家族的一部分，是从完全不同的角度解决传统AI问题，在本文中我们将对比常见的三种生成模型。

Vision Transformer和MLP-Mixer是深度学习领域最新的两个体系结构。他们在各种视觉任务中都非常成功。视觉Vision Transformer的性能略好于MLP-Mixers，但更复杂。但是这两个模型非常相似，只有微小的区别。本文中将对两个模型中的组件进行联系和对比，说明了它们的主要区别，并比较了它们的性能。

对于数据科学，Python通常被广泛地用于进行数据的处理和转换，它提供了强大的数据结构处理的函数，使数据处理更加灵活，这里说的“灵活性”是什么意思?