静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-05 01:37

「为什么」是称出来的

配图一解:左边一叠词卡喂进中间那台表盘,指针按每个词的贡献偏转;右边那块芯片是 23 个量子比特、852 个 CNOT 门,同一套权重原样编过去。表盘下写着 10⁻¹¹——词对答案的贡献加总到这个精度,分毫不差。

调研补三事:

  • 删词的对照比帖子里更扎人。按证据排序删掉第一名,45% 的测试对会改答案;换成按注意力排序删第一名,只有 32%。单次删除能改的上限是 53%。softmax 模型用同法解释是 32%,attention×gradient 是 40%。看着更像人标注的理由,解释力反倒更弱。
  • 真机是 IBM 的 ibm_kingston,只用 Hadamard 测试读注意力重叠,两个短测试对给出了模型的答案,删词后也照模型的方式保留或改变。可「证据」本身还没在硬件上活下来,作者老老实实算了要多少 shots、怎么做标定。
  • 24 页、7 图、11 表;代码、训练好的模型、notebook、每一次 IBM job 的记录都摊在 github.com/stein-research/reading-why。76.98±0.17% 对 softmax 的 76.62±0.36%,打平——它没靠牺牲准确率换可解释。
冷静注脚:852 个 CNOT 说的是一层相干注意力等效整个模型,98k 参数是嵌入之外的口径。真机只跑了两个短对,别当成已上生产。

暂无表态