在本文中，我们将在PyTorch中为Chain Reaction[2]游戏从头开始实现DeepMind的AlphaZero[1]。为了使AlphaZero的学习过程更有效，我们还将使用一个相对较新的改进，称为“Playout Cap Randomization”[3]，以及来自[4]的一些其他技术。在训练过程中，将使用并行处理来并行模拟多个游戏，还将通过一些相关的研究论文讨论Alpha...

该论文是18年发布的，提出了一种基于Deep U-Net的多任务学习框架，用于GE-MRI左心房分割，该框架同时执行心房分割和消融前后分类。虽然论文已经很老了，但是改论文提出的多任务和后处理方法到现在还是可以参考的。

NMS即non maximum suppression即非极大抑制，顾名思义就是抑制不是极大值的元素，搜索局部的极大值。在最近几年常见的物体检测算法（包括rcnn、sppnet、fast-rcnn、faster-rcnn等）中，最终都会从一张图片中找出很多个可能是物体的矩形框，然后为每个矩形框为做类别分类概率。本文来通过Pytorch实现NMS算法。

最流行且常用的编码方法是One Hot Enoding。一个具有n个观测值和d个不同值的单一变量被转换成具有n个观测值的d个二元变量，每个二元变量使用一位（0，1）进行标识。

GPU（图形处理单元）最初是为计算机图形开发的，但是现在它们几乎在所有需要高计算吞吐量的领域无处不在。这一发展是由GPGPU(通用GPU)接口的开发实现的，它允许我们使用GPU进行通用计算编程。这些接口中最常见的是CUDA，其次是OpenCL和最近刚出现的HIP。

大多数时间序列可以分解为不同的组件，在本文中，我将讨论这些不同的组件是什么，如何获取它们以及如何使用 Python 进行时间序列分解。时间序列组成时间序列是（主要）三个组成部分的组合：趋势、季节性和残差/剩余部分。让我们简单的解释这三个组成部分趋势：这是该序列的整体运动。它可能会持续增加、也可能持续减少，...

UNet 可以算是 FCN 的一种变体，是最常用、最简单的一种分割模型，简单、高效、易懂、容易构建，且可以从小数据集中训练。2015 年，UNet 在论文 U-Net: Convolutional Networks for Biomedical Image Segmentation 中被提出 。

我们在使用卷积神经网络或递归神经网络或其他变体时，通常都希望对模型的架构可以进行可视化的查看，因为这样我们可以 在定义和训练多个模型时，比较不同的层以及它们放置的顺序对结果的影响。还有可以更好地理解模型结构、激活函数、模型参数形状（神经元数量）等

装饰器是 python 上下文管理器的特定实现。本片文章将通过一个pytorch GPU 调试的示例来说明如何使用它们。虽然它可能不适用于所有情况，但我它们却是非常有用。

近年来，基于深度学习的模型在目标检测和图像识别等任务中表现出色。像ImageNet这样具有挑战性的图像分类数据集，包含1000种不同的对象分类，现在一些模型已经超过了人类水平上。但是这些模型依赖于监督训练流程，标记训练数据的可用性对它们有重大影响，并且模型能够检测到的类别也仅限于它们接受训练的类。

对许多人来说，贝叶斯统计仍然有些陌生。因为贝叶斯统计中会有一些主观的先验，在没有测试数据的支持下了解他的理论还是有一些困难的。本文整理的是作者最近在普林斯顿的一个研讨会上做的演讲幻灯片，这样可以阐明为什么贝叶斯方法不仅在逻辑上是合理的，而且使用起来也很简单。这里将以三种不同的方式实现相同的推理问题。

距离度量的选择影响我们的机器学习结果，因此考虑哪种度量最适合这个问题是很重要的。因此，我们在决定使用哪种测量方法时应该谨慎。但在做出决定之前，我们需要了解距离测量是如何工作的，以及我们可以从哪些测量中进行选择。

在pytorch中的多GPU训练一般有2种DataParallel（DP）和DistributedDataParallel（DDP） ，DataParallel是最简单的的单机多卡实现，但是它使用多线程模型，并不能够在多机多卡的环境下使用，所以本文将介绍DistributedDataParallel，DDP 基于使用多进程而不是使用多线程的 DP，并且存在 GIL 争用问题，并且可以扩充到多机...

机器学习或深度学习模型的训练的目标是成为“通用”模型。这就需要模型没有过度拟合训练数据集，或者换句话说，我们的模型对看不见的数据有很好的了解。数据增强也是避免过度拟合的众多方法之一。

在我们上次介绍EDA工具时，一直将Pandas Profiling用作处理结构化表格数据的工具。但是在现实世界的应用中，我们日常生活中最长接触到的是时间序列数据：日常行动轨迹数据，电力和水资源消耗数据，它们都有一个共同点——对时间的依赖性。

一般情况下k-Nearest Neighbor (KNN)都是用来解决分类的问题，其实KNN是一种可以应用于数据分类和预测的简单算法，本文中我们将它与简单的线性回归进行比较。

CPU：英特尔 i7 6700k (4c/8t) GPU：RTX 3070 TI（6,144 个 CUDA 核心和 192 个 Tensor 核心） 内存：32G 操作系统：Windows 10

基于编码器的自注意力Transformer非常擅长预测自然语言生成任务的下一个字符，因为它们可以注意到给定字符周围的标记/字符的重要性。为什么我们不能应用这个概念来预测任何用户喜欢的给定物品序列中的下一个项目呢?这种推荐问题可以归类为基于物品的协同过滤。

AudioLM 是 Google 的新模型，能够生成与提示风格相同的音乐。该模型还能够生成复杂的声音，例如钢琴音乐或人的对话。结果是它似乎与原版没有区别，这是十分让人惊讶的。

pandas是数据科学家必备的数据处理库，我们今天总结了10个在实际应用中肯定会用到的技巧1、Select from table where f1=’a’ and f2=’b’使用AND或OR选择子集 {代码...} OR的话是这样 {代码...} 2、Select where in从一个df中选择一个包含在另外一个df的数据，例如下面的sql {代码...} 我们有一个名为“days”的df，它包含以...

持续学习是指在不忘记从前面的任务中获得的知识的情况下，按顺序学习大量任务的模型。这是一个重要的概念，因为在监督学习的前提下，机器学习模型被训练为针对给定数据集或数据分布的最佳函数。而在现实环境中，数据很少是静态的，可能会发生变化。当面对不可见的数据时，典型的ML模型可能会性能下降。这种现象被称为灾...

神经网络在训练时的优化首先是对模型的当前状态进行误差估计，然后为了减少下一次评估的误差，需要使用一个能够表示错误函数对权重进行更新，这个函数被称为损失函数。

图像描述是生成图像文本描述的过程。它使用自然语言处理和计算机视觉来为图像生成描述的文本字幕。一幅图像可以有很多个不同的描述，但是只要它正确地描述了图像，并且描述涵盖了图像中的大部分信息就可以说是没问题的。下面是示例图片和生成的描述文字。

假设我们从未知分布 q 中观察到 N 个独立且同分布的 (iid) 样本 X = (x1, ... , xN)。统计学中的一个典型问题是“样本集 X 能告诉我们关于分布 q 的什么信息？”。

标签传播算法是一种半监督机器学习算法，它将标签分配给以前未标记的数据点。要在机器学习中使用这种算法，只有一小部分示例具有标签或分类。在算法的建模、拟合和预测过程中，这些标签被传播到未标记的数据点。

通过应用软件工程最佳实践，可以交付质量更好数据科学的项目。更好的质量可能是更少的错误、可靠的结果和更高的编码效率。最佳实践都是从错误中总结出来的，所以这里我们总结了一些遇到的最常见的错误，并提供了如何最好地解决这些错误的方法、想法和资源。1、不使用虚拟环境这本身不是编码问题，但我仍然认为每种类型的...

在研究自注意力时，有很多的名词需要我们着重的关注，比如填充掩码，前瞻掩码等等，但网上没有太多注意力掩码的教程和它是如何工作的信息，另外还有以下的细节需要详细的解释：

移动平均线——简单、容易、有效(但会给时间序列数据一个“滞后”的观测)，Savitzky-Golay过滤器——有效但更复杂，它包含了有一些直观的超参数

时间序列是数据点的序列，通常由在一段时间间隔内进行的连续测量组成。时间序列分析是使用统计技术对时间序列数据进行建模和分析，以便从中提取有意义的信息并做出预测的过程。

图神经网络(Graph Neural Networks)是一种针对图结构数据(如社交图、网络安全网络或分子表示)设计的机器学习算法。它在过去几年里发展迅速，被用于许多不同的应用程序。在这篇文章中我们将回顾GNN的基础知识，然后使用Pytorch Geometric解决一些常见的主要问题，并讨论一些算法和代码的细节。