[论文] FETTUCCINE: Fast and efficient brain-to-text decoding on mobile device...

研究领域: ML 作者: Jonathan D. McCart, Pranav I. Deevi, Mehdi Azabou 发布时间: 2026-11-13 arXiv: 2611.18561

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Jonathan D. McCart, Pranav I. Deevi, Mehdi Azabou 发布时间: 2026-11-13 arXiv: 2611.18561

中文摘要

语音神经假体的最新进展为因神经系统疾病或损伤而失去说话能力的人群开辟了新的沟通途径。这些系统通过在尝试说话期间解码神经活动来将其转换为文本,依赖语言先验来实现高解码准确率。然而,这种性能目前以使用计算密集型语言建模堆栈为代价,这成为实际应用的主要瓶颈。此外,当前语言模型的推理延迟高度可变且具有干扰性,限制了沟通吞吐量,使用户无法可靠地参与自然对话。我们提出FETTUCCINE,一个端到端的脑到文本框架,利用自动语音识别(ASR)模型的速度和可移植性来解决上述实际挑战,同时实现可用的(低于10%)词错误率(WER)、对神经非平稳性的高效适应,以及在移动设备上的可靠性能。在公开的皮层内语音神经假体用户数据上评估时,FETTUCCINE超越了以往的端到端方法,实现了低至4.39%的WER。最值得注意的是,我们的模型成功在商用移动设备上运行,吞吐量高达370倍实时速度,首次在移动设备上实现了脑到文本解码。我们还表明,模型可以成功微调以在未来数天保持可用性能。除性能外,我们的方法还能通过基于梯度的显著性图谱定位与解码最相关的神经特征,我们证明这些图谱与不同ASR模型家族中公认的生理学先验一致。综上所述,我们的结果表明FETTUCCINE克服了核心的基础设施和计算障碍,产生了一类新的便携式脑到文本通信方式。

原文摘要

Recent advances in speech neuroprostheses have enabled new communication avenues for people who have lost the ability to speak due to neurological illness or injury. These systems can decode neural activity during attempted speech into text by relying on language priors to achieve high decoding accuracy. This performance currently comes at the cost of using a compute-intensive language modeling stack, presenting a major bottleneck for real-world use. Further, current language models incur highly variable and disruptive inference latencies, limiting communication throughput and preventing users from reliably participating in natural conversation. We introduce FETTUCCINE, an end-to-end brain-to-text framework that leverages the speed and portability of automatic speech recognition (ASR) mode...


*自动采集于 2026-11-17*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens