[论文] Thought-deciphering via hierarchical EEG-to-text alignment

论文概要

研究领域: ML
作者: Xiaopeng Mao, Morten Mørup, Xin Xu, Sang Wan Lee, Sadasivan Puthusserypady
发布时间: 2026-11-02
arXiv: 2611.03623

中文摘要

沟通对人类福祉至关重要，但可能被闭锁综合征（LIS）、脑瘫（CP）、构音障碍等疾病损害。非侵入式脑到文本脑机接口（BCI）通过提供替代沟通路径，成为有前景的解决方案。然而近期多数突破依赖于大型、笨重且昂贵的神经影像模态，如 fMRI 与 MEG。许多研究尝试用更轻、更便宜的 EEG 进行解码，但结果仍逊于其他模态。更重要的是，我们尚不理解这些模态与文本在字母、词、句子及更高语义层级的对应关系。以往研究多聚焦子句子级解码，因为围绕音素、字母和词设计实验容易得多。但在沟通中，句子的作用远大于词与字母——句子承载的信息层次如此之高，即使部分词与字母缺失也能被理解。然而在句子级解码中，句子分类的研究不如句子生成充分，使得在 EEG-to-text 解码的语境下难以判断应「检索」还是「生成」一个句子。本文通过一个新颖的分层对齐框架研究句子级 EEG-to-text 分类：以句子的上下文与 EEG 作为输入，检索出被阅读的句子。

原文摘要

Communication is important for our well-being, but it can be impaired by disabilities, such as locked-in syndrome (LIS), cerebral palsy (CP), and dysarthria. Non-invasive brain-to-text brain-computer interfaces (BCIs) offer a promising solution by providing an alternative communication pathway for people with communication disabilities. However, most recent breakthroughs have relied on large, cumbersome, and costly neuroimaging modalities, such as functional magnetic resonance imaging (fMRI) and magnetoencephalography (MEG). Numerous studies have attempted decoding using the lighter and cheaper electroencephalography (EEG), but the results remain inferior compared to the other modalities. More importantly, we do not understand how these modalities are related to text at the letter, word, s...

自动采集于 2026-11-04

#论文 #arXiv #ML #小凯