微软开源天气预测深度学习模型ClimaX

Microsoft 开源 ClimaX：天气与气候建模的基础模型

微软的自主系统与机器人研究团队开源了 ClimaX，这是一个用于天气和气候建模的深度学习基础模型。ClimaX 可以通过微调用于多种预测任务，并在多个基准测试中表现优于或与现有最先进的模型相当。

ClimaX 的核心特点

基于 Vision Transformer (ViT) 模型：ClimaX 基于最初用于处理图像数据的 ViT 模型，但做了两项重要改进：
- 变量标记化：允许模型接受具有不同数量输入变量的数据集。
- 变量聚合：将给定空间位置的所有输入变量结合起来。
预训练数据集：ClimaX 在 CMIP6 集合中的五个数据集上进行了预训练。

研究团队的愿景

微软研究团队表示，ClimaX 的目标是推动数据驱动的天气和气候建模，使任何人都能轻松使用最新的机器学习方法解决各种问题，从本地尺度的短期预测到涉及天气和气候变量的长期过程建模。ClimaX 为多种任务提供了一个统一的起点，团队对这一新兴领域的未来充满期待。

背景与行业趋势

传统的天气预报通常使用数值方法求解大气物理学的微分方程。这种方法的缺点是高空间分辨率所需的计算量巨大。近年来，数据驱动的深度学习模型逐渐成为一种新趋势，有时能以较少的计算量获得良好的结果。例如：

2021 年，DeepMind 开发了用于短期降水预测的 Deep Generative Models of Rainfall 系统。
2022 年，谷歌研究在 Nature 上发表了关于短期降水预测模型 MetNet-2 的论文。

ClimaX 的架构与工作原理

ClimaX 的基本架构是一个图像到图像的视觉变换器：

输入：一个二维网格，每个网格元素包含多个异质天气变量（如温度和气压）。
输出：表示未来某个时间点天气状况的图像。

ClimaX 的灵感来自于预训练的基础语言模型，这些模型可以通过微调在各种下游 NLP 任务中实现最先进的性能。微软团队决定将同样的方法应用于天气和气候预测任务。

模型评估

ClimaX 在两类任务中进行了评估：

与预训练输入变量相似的任务：包括全球天气预报、区域天气预报和次季节到季节预测。
使用新变量的任务：使用 ClimateBench 基准进行气候预测，输入变量为二氧化碳等气体浓度（未在预训练中使用）。

评估结果显示，ClimaX 在温度预测方面表现优于基线模型，但在降水预测方面表现欠佳。

社区反馈与未来计划

ClimaX 团队成员 Tung Nguyen 在 Twitter 上讨论了这项工作。大气科学家 David Gold 指出，论文中未报告区域任务与最先进的区域数值天气预报（NWP）以及次季节到季节预测任务与 SubX、NMME 等的基准比较。Nguyen 回应称，团队将尽快进行这些比较。

资源获取

源代码：ClimaX 的源代码已在 GitHub 上开源。
预训练模型：预训练的模型检查点文件可从 ClimaX 网站下载。

ClimaX 的发布标志着天气和气候建模领域的一个重要进展，为研究人员和开发者提供了一个强大的工具，用于解决与天气和气候相关的各种问题。