在人工智能教学、科研和学习的过程中，很多研发人员会选择使用云端算力平台。一方面，使用云端平台的成本远远小于自己配置机器，获得的性能却十分可观；另一方面，云端算力平台也免去了自行部署设置环境的繁琐，让研究学习更高效。

作者｜Jean de Dieu Nyandwi来源｜机器之心11958 年：感知机的兴起1958 年，弗兰克 · 罗森布拉特发明了感知机，这是一种非常简单的机器模型，后来成为当今智能机器的核心和起源。感知机是一个非常简单的二元分类器，可以确定给定的输入图像是否属于给定的类。为了实现这一点，它使用了单位阶跃激活函数。使用单位阶跃激...

刘馨蔓，一流科技工程师（实习），本科毕业于阿尔伯塔大学计算机科学专业，现在也是多伦多大学准研究生。她最引以为傲的小爱好是，2020年底自学了Ukelele弹唱，其次是剪辑Vlog。本科期间，她获得过Dean’s Honor Roll、Amdahl Academic Achievement等各类奖学金，并曾在华为、蚂蚁实习。如今，尽管在OneFlow实习时间还不...

2020 年 5 月，在 GPT-2 发布一年后，GPT-3 正式发布，而 GPT-2 也是在原始 GPT 论文发表一年后发布的。按照这种趋势， GPT-4 早在一年前就该发布了，但至今尚未面世。

一次技术蓬勃的背后，必然需要长时间的酝酿，更离不开决定这一爆发瞬间的少数关键人物。正因有了那些特立独行的天才，他们的出现必将影响这一领域的发展方向，甚至决定未来科技发展的历史进程。

撰文｜郑泽康InsightFace模型里大量使用了PReLU激活函数，而PReLU的工作模式有两种：PReLU(1)，此时权重alpha的形状为(1, )，等价于一个Elementwise操作。PReLU(channels)，此时权重alpha的形状为(channels, )，和输入特征(N, C, H, W)中C的大小是对应的。此时PReLU等价于一个Binary Broadcast操作。InsightFace模型里的...

撰文｜月踏BP（Back Propagation）是深度学习神经网络的理论核心，本文通过两个例子展示手动推导BP的过程。1链式法则链式法则是BP的核心，分两种情况：（1）一元方程在一元方程的情况下，链式法则比较简单，假设存在下面两个函数：那么x的变化最终会影响到z的值，用数学符号表示如下：z对x的微分可以表示如下：（2）多元...

前文《AI杂谈：手推BP》讲了Backward Propagation的数学原理。本文以OneFlow的代码为例，梳理Autograd模块的实现细节。

Hugging Face，这家以emoji“抱抱脸”命名的开源创业公司，以一种连创始团队不曾预料的速度成为了AI开源社区的顶级“网红”。目前，Hugging Face模型库在Github上获得了超过62,000个Star，14,000次forks，代码贡献者超1200人，每月被安装超100万次。

要想炼丹爽得飞起，就要选择一个顺手的炉子。作为 AI 工程师日常必不可缺的「炼丹炉」，「PyTorch 还是 TensorFlow？」已成为知乎、Reddit 等炼丹师出没之地每年都会讨论的热门话题。

近期，ML/AI Infra行业的发展引发了业内人士的热烈讨论。其中，硅谷创业公司Bluesky创始人Mingsheng Hong分享了他在这一领域的心路历程，总结了ML Infra发展的经验教训。他本人此前曾在Google的Data Infra工作，而后转向ML Infra，2022年初，他和Zheng Shao一起创立Bluesky Data （getbluesky.io），再度回归Data Infra...

为了简化分布式训练，OneFlow 提出了全局视角（Global View） 的概念，在全局视角下，可以像单机单卡编程，进行分布式训练。在 OneFlow 的设计中，使用 Placement、SBP 和 SBP Signature 来实现这种抽象。其中，Global Tensor 是为了能够满足 Global View 所需抽象的一种 Tensor。本文重点讨论了 Global Tensor 的全局视...

深度学习框架中模型的运行方式主要有动态图和静态图两种，动态图更易用，静态图性能更具优势，OneFlow 习惯将它们称为 Eager 模式和 Graph 模式。

撰文｜Jeff Dean编译｜机器之心编辑｜杜伟、陈萍自从计算机诞生之初，人类就梦想着能够创造出会思考的机器。1956 年，在达特茅斯学院组织的一个研讨会上，约翰 · 麦卡锡提出人工智能这个概念，一群数学家和科学家聚集在一起寻找如何让机器使用语言，形成抽象理解和概念以解决现存的各种问题。当时的研讨会参与者乐观地认...

张文骁，一流科技研发工程师。2008年，本科毕业于四川大学软件工程，研究生毕业于华中科技大学。爱好很多，游戏、篮球、动漫都可以玩。出于个人兴趣，研究生毕业之后，他把游戏爱好转变成一份工作，但三年之后，整个行业杯盘狼藉，他在精神和物质上面对的是热钱席卷后的一些残羹冷炙，最终无奈选择离开这个行业。在经历...

前文《OneFlow学习笔记：从Functor到OpExprInterpreter》讲了OpExprInterpreter的相关细节，再往下就是OneFlow中的虚拟机，它负责在eager模式下把指令（即op，在vm中称为指令）调度到具体的OpKernel上来执行。

那个震动世界的高光时刻发生在2016年3月的一天，AI选手AlphaGo击败了世界围棋冠军李世石的那一刻，全世界更广泛的群体认识到了AI的威力，并成为将AI技术推向新一轮高峰的闪亮标志，也是受到这一刻的感召，科技界很多人涌入AI创业前线，由此掀起AI应用的高潮。这一战，也让AlphaGo的缔造者——DeepMind和它的掌门人Demis Ha...

日前，由科技部主办、科技部火炬高技术产业开发中心承办的首届“全国颠覆性技术创新大赛”落下帷幕。一流科技申报的“OneFlow分布式深度学习框架”凭借领先的科技创新能力、扎实的技术实力与对行业发展趋势的预判能力获得组委会认可，斩获本次大赛的最高奖项——总决赛优胜奖。

分布式深度学习里的通信严重依赖于规则的集群通信（见《对抗软件系统复杂性③：恰当分层，不多不少》对通信的讨论），诸如 all-reduce, reduce-scatter, all-gather 等，因此，实现高度优化的集群通信，以及根据任务特点和通信拓扑选择合适的集群通信算法至关重要。

虽然调用在 Python 端，但具体的实现是在 C++端，那么 OneFlow 是怎么样一步步从 Python 端调到 C++中的呢，本文以最最简单的 Relu 这个 Op 作为例子，来追溯一下在 OneFlow 中从 Python 端到 C++中的大致调用过程，具体过程大概总结为 Python wrapper 和 C++ glue functor 两部分，下面是两部分的具体细节。

摩尔定律失效论的讨论与日俱增，2018年，图灵奖获得者 John Hennessey 和 David Patterson 在一次演讲上更是直言，几十年来的 RISC（精简指令集）和 CISC（复杂指令集）孰优孰劣之争可以终结了，新一轮计算机架构的黄金时代已经到来，为此，他们在2019年的 ACM 期刊上发表了一篇文章里作专门论述。

随着新药研发难度越来越大，机器学习成为了该领域的重要破局工具。2020年年底，在国际蛋白质结构预测赛中，DeepMind公司研发的AlphaFold 2摘得桂冠，并破解了蛋白质折叠这个困扰人类50年的难题，轰动一时，新药研发也成为热点话题。不过，这个领域早有不少开拓者。

日前，英伟达在GTC大会上发布了最新一代GPU H100，采用台积电4nm工艺，集成了800亿个晶体管。3月初，苹果发布了M1 Ultra芯片，更是集成了高达1140亿个晶体管。显然，头部厂商都在推进现有芯片设计和制造技术的极限，但问题是，当这些“花招”用完后怎么办？