产出DeepONet的实验室又来挖坑了，George Em Karniadakis教授将迁移学习和DeeoONet结合起来，将迁移学习的研究内容应用到算子学习这个领域来，解决了诸多问题。迁移学习的核心可以看作是初始化，也可以认为是元学习的一种，利用较小的样本数将相近任务的学习到的全局特征泛化到当前任务来。也就是说，将源模型提取的域不...

本人目前已经研究生三年级了，也要去读博士了，后面可能就不做这个方向了，也就是将深度学习引入PDE的求解中。我进入这个领域的动机是硕士论文一开始是做PDE的智能控制，但是控制问题大家都知道，不过还是把传统的那一套灌水到PDE上。后来我就想做一些深度学习的东西，正好和PDE结合在一起，PDE的求解其实是下游任务，针...

最近机器学习顶刊Journal of Machine Learning Research发表了很多关于PDE深度学习的理论基础，可以看出这个领域将会焕发出生命力，该领域与数学结合较紧密。PDE的深度学习方法很难避开的就是离散化。如何去学习离散过程中产生的不变量是一个重要的话题，这篇文章为理解这个问题打开了全新的视角。

Pan, Shaowu, Steven L. Brunton, and J. Nathan Kutz. "Neural Implicit Flow: A mesh-agnostic dimensionality reduction paradigm of spatio-temporal data." arXiv preprint arXiv:2204.03216 (2022).

之前的系列里提到Attention机制在算子学习中的应用前景，今年的机器学习顶刊JMLR就发表了一篇相关的论文，利用Attention机制对时空耦合数据进行耦合，实现了超分辨率的插值方法，在各种各样的复杂场景下有广泛利用，为算子学习理论提供了坚实的基础。

这篇论文是继承了DeepMind用图神经网络求解PDE的思路，引入了自回归方法来进行计算，加快了计算速度，并规避了自回归方法的累积误差问题。这篇文章最终发表在ICLR-2022上，其中的技巧是十分简单的，但是效果非常好。

DeepOnet引领了深度学习与算子学习的结合，之后又有FNO方法被提出，第二种方法本质是学习Green函数，利用傅里叶变化结合频率截断以进行计算复杂度降低。FNO的理论分析就已经让人看得云里雾里了，可以清楚地理出一个脉络就是通过算子的逼近技术简化计算过程加快推理速度，这篇文章可以说是直击Green函数的本质，最终发表...

对于具有复杂约束-偏微分方程的问题，传统的方法主要依赖自伴随算子，随着深度学习方法的发展，许多基于神经网络的方法也开始出现，这些方法的核心是使用神经网络进行推理的加速，以实现几十倍甚至几百倍的提速，这是相较于传统方法的优势，劣势就是精度不够。深度学习就是这种取舍，通过深度学习来克服传统方法的一些不...

继上次的DeepONet求解偏微分方程的文章，这次是介绍结合傅里叶算子和图神经网络的方法，也就是傅里叶神经算子方法，这篇创造性地引入了傅里叶算子，获得了可以与DeepONet扳手腕的速度和经度

  深度学习在CV上大获成功之后，也开始在更多的领域攻城掠地，不断地挑战各种传统方法。神经网络展现出了强大的魔力，能够克服传统算法的运行速度较慢的困难，但是也确实相应的理论分析和长期的实践验证。