OpenAI提出深度神经网络可解释性新方法

OpenAI的研究团队最近发表了一篇论文，提出了一种新颖的方法，旨在解决当前深度神经网络（DNNs）的一个主要局限性，即缺乏可解释性。他们利用GPT-4构建了一种技术，试图解释导致神经元激活的事件，这是实现DNN可解释性自动化的第一步。

方法概述

OpenAI的可解释性方法包括三个步骤：生成神经元行为的解释、基于解释模拟神经元的激活，以及为解释打分。

1. 生成解释
   首先，向解释模型发送提示，模型将生成关于神经元激活的解释。例如，一个解释可能是：“神经元1的行为解释：该神经元主要识别与社区相关的短语。”
2. 模拟神经元行为
   在获得解释后，下一步是根据解释模拟神经元的行为。这意味着假设解释是正确的，确定神经元在特定序列中对每个标记的激活概率。这将生成一个标记列表和0到10之间的整数，表示激活概率。
3. 为解释打分
   最后一步是通过比较模拟的神经元行为和实际的神经元行为来为解释打分。这可以通过将模拟步骤生成的列表与真实神经元对相同标记列表的输出进行比较来实现。这一步是三个步骤中最复杂的，涉及多种不同的算法，结果也可能不同。

初步成果

通过这种方法，OpenAI的研究人员已经能够为一些“非平凡神经元”找到可能的解释。例如，识别与确定性和信心相关的短语的神经元，以及识别正确完成的事物的神经元等。然而，研究结果仍然是初步的，因为许多基本问题仍未解决，例如神经元的行为是否真的可以被解释。

可解释性的重要性

DNN的可解释性仍然是一个重要的研究课题，其目标是提供人类可以理解的、与领域应用相关的DNN行为解释。可解释性对于人类监督者理解DNN是否按预期行为并因此可以信任至关重要。在DNN失败可能导致灾难性结果的场景中，这一特性尤为重要。此外，它还可以帮助工程师识别DNN行为异常的根源。

伦理与法律意义

可解释性还具有伦理和法律意义。例如，欧洲法律规定，人们有权不受算法决策的影响，并可以获得人工干预，如果人类控制者无法解释算法决策，这一权利将无法实现。

进一步阅读

如果您对OpenAI的可解释性方法感兴趣，建议阅读他们的原始文章，其中包括提示示例、评分验证技术的全面讨论、结果、局限性以及替代评估算法。