AWS 发布 Fortuna 开源工具包用于机器学习模型不确定性量化

AWS 宣布 Fortuna，一个用于机器学习模型不确定性量化的开源工具包，现已全面可用。Fortuna 提供了多种校准方法，例如共形预测，可以为任何训练好的神经网络生成校准后的不确定性估计。

Fortuna 的主要功能和优势

尽管存在多种记录在案的方法来估计或校准预测的不确定性，但当前的工具和库在量化不确定性方面范围有限，且未提供全面的方法集合。这带来了很大的开销，并且难以将不确定性纳入生产系统。Fortuna 通过整合知名技术，并通过标准化且用户友好的界面使其对用户可访问，从而弥补了这一差距。

Fortuna 的使用模式

Fortuna 提供了三种不同的使用模式：

1. 从不确定性估计开始：这是与库交互的最快速方式，提供了分类和回归的共形预测方法。
2. 从模型输出开始：假设用户已经使用某种框架训练了模型，并将模型输出带入 Fortuna。此模式允许用户校准模型输出、估计不确定性、计算指标并获得共形集。
3. 从 Flax 模型开始：Fortuna 支持多种贝叶斯推理方法，可以应用于深度神经网络。这使得用户可以轻松运行基准测试，并通过利用先进的不确定性量化技术构建健壮可靠的 AI 解决方案。

其他相关工具

其他广泛使用的模型不确定性估计库包括：

• scikit-learn：一个开源的 Python 机器学习库，提供交叉验证和引导法功能，并支持构建集成模型。
• TensorFlow Probability：基于 TensorFlow 构建，提供贝叶斯神经网络和蒙特卡罗方法的支持。
• PyMC3：一个用于概率编程的库，允许用户使用高级编程接口构建贝叶斯模型。

应用场景

需要做出关键决策的应用程序依赖于对预期不确定性的准确评估。当存在模糊性时，可以判断模型预测的精度、依赖人类判断，或确定模型是否可以安全使用。Fortuna 通过提供全面的不确定性量化工具，帮助用户在这些场景中做出更明智的决策。