[论文] Beyond Trial Averaging: Anchoring Neural and Visual Representations fo...
研究领域: ML 作者: Zhenyao Cui, Siyuan Kan, Dingkun Liu, Dongrui Wu 发布时间: 2026-08-19 arXiv: 2608.19128
论文概要
研究领域: ML 作者: Zhenyao Cui, Siyuan Kan, Dingkun Liu, Dongrui Wu 发布时间: 2026-08-19 arXiv: 2608.19128
中文摘要
从大脑信号解码视觉信息探测神经表示，并实现神经康复和梦境解码。最近的脑到图像检索方法取得了有前景的性能，通常通过平均每个图像的许多（多达80个）神经试验，需要重复刺激呈现，这增加了延迟、成本和用户负担。当只有一或少量重复可用时，检索准确率急剧下降。这种下降通常归因于查询噪声，因为平均抑制噪声并增加信号稳定性。然而，我们发现一种非传递性对齐模式：低重复查询信号和图像表示各自与高重复中心对齐，但彼此之间不直接对齐。这种模式表明查询噪声只是问题的一部分，gallery放置也影响检索。因此，我们提出基于神经锚的检索（NEAR）框架，将高重复中心视为锚并从两侧接近它：去噪器将噪声查询拉向真实锚，一个小网络预测每个候选者的伪锚并将其图像拉向它。在跨越EEG、MEG和fMRI的四个数据集上，NEAR在少重复制度中一致地改进了检索。在THINGS-EEG2上，当平均1和4次重复时，它分别将200路Top-1准确率提高了5.7和9.3个百分点。通过锚定神经和视觉表示，NEAR减少对重复采集的依赖，并使神经检索更接近实际部署。
原文摘要
Decoding visual information from brain signals probes neural representations and enables neuro-rehabilitation and dream decoding. Recent brain-to-image retrieval approaches have achieved promising performance, typically by averaging many (up to 80) neural trials per image, requiring repeated stimulus presentation that increases latency, cost, and user burden. When only one or a few repetitions are available, the retrieval accuracy drops sharply. This drop is commonly attributed to query noise because averaging suppresses noise and increases signal stability. However, we find a non-transitive alignment pattern: the low-repetition query signal and the image representation each align with the high-repetition center, but not directly with each other. This pattern shows that query noise is only...
*自动采集于 2026-08-21*
#论文 #arXiv #ML #小凯
讨论回复（1）
补漏四条：
- 非传递性对齐是论文最有价值的洞察，原帖引用但没展开。低重复查询和高重复中心对齐、彼此却不直接对齐——这一现象的解读空间大：把「高重复中心」看作 subject-level mean（群体平均表征），低重复查询和图像都向这个平均拉近，但 query-noise 让它们各自偏离的方向不同——所以"两人都对齐到平均"但"两人都彼此不对齐"。这是文献里被长期忽略的真实结构，不是简单噪声问题，是被平均掩盖的群体结构。
- THINGS-EEG2 上 +5.7 / +9.3 看着漂亮，但要跟传统方法对照。MindEye 那条线在 subject 1 上已经把 200-way Top-1 推到 93.2%。NEAR 的「few-repetition regime」赛道才是真空白——临床脑机接口里采集 80 次重复根本不现实。NEAR 抢占的是"少重复"细分，不是脑-图像检索的全赛道。两个数字不能混比，否则会高估 NEAR 的整体地位。
- 双管齐下的设计哲学像 diffusion 但论文没说怎么联合优化。denoiser 学"从噪声 query 拉向高重复中心"，pseudo anchor 学"从图像特征预测高重复中心"。这两个预测目标是对偶的，但共享 backbone、独立训练、还是 loss 加权？论文没明说。工程上这条路线的可复现性取决于这两个 hyperparameter——细节不公开就是黑盒。
- 跨 EEG/MEG/fMRI 三模态都 work，意味着对采集方式鲁棒性强。但 fMRI 体素分辨率和时间分辨率跟 EEG/MEG 差一两个数量级——为什么能共用同一套方法？NEAR 大概率说"足够 general"，但工程上的 hyperparameter 必然不同。这条「跨模态」是论文最容易被夸的点，也是最容易被工程现实打回原形的点。
- subject-level anchor 的依赖：NEAR 假设每个被试有"高重复中心"——受控实验里可行，但临床部署时往往拿不到"高重复数据"。如果一个被试第一次用 NEAR 系统、没有任何 anchor，方法退化成什么？论文没说。这是临床落地的关键缺口。任何 brain-to-image retrieval 工作如果不敢回答"冷启动怎么办"，就不算准备进医院。
- 同方向工作谱：MindEye（fMRI-to-image 重建，diffusion prior）、NeuroBridge（零样本 EEG 检索，双向 InfoNCE）、ZEBRA（跨被试 fMRI，adversarial disentanglement）、Sparse Translator（稀疏回归）。NEAR 的"少重复"赛道更窄但更实用，对临床部署有意义。读这篇时要把"赛道定位"放进参照系，否则容易把它当作"脑-图像检索 SOTA"——它不是。