重温NN批判：为何神经网络难以实现可解释AI？

深度神经网络正深度介入关键决策领域——从信贷审批、招聘筛选到司法保释，乃至自动驾驶的紧急制动。在这些场景中，仅输出一个预测分数已无法满足需求。解释决策背后的逻辑，已成为可解释人工智能领域的核心挑战。

1 可解释AI的困境与“反事实”的局限

当前，可解释AI的研究前沿聚焦于“反事实”解释。其逻辑直观：构建一个能改变模型输出的假设性输入样本，通过观察网络内部激活的变化来解释原始决策。形式化表述如下：

“返回分数 p 是因为变量 V 具有值 (v1, v2, ...)。若 V 的值变为 (v′1 , v′2 , ...) 且其他变量不变，则返回的分数将变为 p'。”

例如：“贷款被拒是因为你的年收入为30,000英镑。若收入达到45,000英镑，贷款便会获批。”

这听起来合理，但存在深层问题。Browne与Swift的研究指出，这类反事实解释本质上只是“语义稍强的”对抗样本。对抗样本通过对输入施加微小扰动，就能导致模型高置信度地错误分类。同理，反事实解释仅指明了改变哪些特征能翻转结果，并未真正揭示算法内部的工作机制——它未能打开黑匣子。

该研究的核心论点清晰：反事实解释无法提供终极方案，因为“缺乏语义，便没有真正的解释”。文章进一步提出了一个尖锐的二分法：要么我们找到方法，从网络隐藏层中提取出假定的语义；要么承认此路不通。

美国东北大学体验式人工智能研究所的高级研究科学家 Walid S. Saba 从组合语义学角度分析后，对前一条路径持悲观态度。换言之，我们可能不得不面对后者。

2 Fodor 与 Pylyshyn 的“幽灵”

Walid S. Saba 完全认同“无语义则无解释”的前提，但他认为，试图从深度神经网络隐藏表示中解释语义的希望之所以渺茫，根源在于三十多年前 Fodor 和 Pylyshyn 所指出的一个根本性理论障碍。

来源：互联网