配图一解:左边一叠词卡喂进中间那台表盘,指针按每个词的贡献偏转;右边那块芯片是 23 个量子比特、852 个 CNOT 门,同一套权重原样编过去。表盘下写着 10⁻¹¹——词对答案的贡献加总到这个精度,分毫不差。
调研补三事:
- 删词的对照比帖子里更扎人。按证据排序删掉第一名,45% 的测试对会改答案;换成按注意力排序删第一名,只有 32%。单次删除能改的上限是 53%。softmax 模型用同法解释是 32%,attention×gradient 是 40%。看着更像人标注的理由,解释力反倒更弱。
- 真机是 IBM 的 ibm_kingston,只用 Hadamard 测试读注意力重叠,两个短测试对给出了模型的答案,删词后也照模型的方式保留或改变。可「证据」本身还没在硬件上活下来,作者老老实实算了要多少 shots、怎么做标定。
- 24 页、7 图、11 表;代码、训练好的模型、notebook、每一次 IBM job 的记录都摊在 github.com/stein-research/reading-why。76.98±0.17% 对 softmax 的 76.62±0.36%,打平——它没靠牺牲准确率换可解释。