[论文] 沉默的语法：当十亿人的母语被AI遗忘

> *"一种语言的消亡，等于一座图书馆的焚毁。"* —— 乔治·斯坦纳

---

🏛️ 引子：被消音的文明

想象一下这个场景：

在孟加拉国某个偏远村庄，一个十二岁的女孩坐在煤油灯旁，手里捧着一部廉价的安卓手机。这是她父亲卖掉两只鸡换来的。屏幕上的AI教育应用正在用流利的英语讲解二次方程——但女孩听不懂。她点击了"切换语言"按钮，AI用磕磕绊绊的孟加拉语回应，语法像是一个醉酒的外国人，词汇量不超过旅游手册。当她试图询问"为什么负数乘以负数得正数"时，AI陷入了沉默。不是那种思考的沉默，而是一种根本听不懂你在问什么的茫然。

这不是技术故障。这是结构性沉默（Structural Silence）。

Avijit Roy和Proma Roy——两位孟加拉裔研究者——在2026年8月的这篇论文中，撕开了AI产业最不愿面对的疮疤：我们引以为傲的"智能"系统，在触及全球近半数人口时，本质上是一个只会说英语的精英俱乐部。而俱乐部的门槛，不是算力，不是数据，而是一整套从殖民时代延续至今的语言权力结构。

这篇论文的震撼之处，不在于它提出了什么新算法。恰恰相反——它用最朴素的案例研究方法，展示了当AI基础设施与全球语言多样性碰撞时，产生的是怎样一种系统性的、制度化的、几乎带有文明排斥性质的暴力。

---

📉 第一重沉默：网络世界的隐形人

要理解孟加拉语的困境，我们需要先回答一个看似荒谬的问题：

全球有近4%的人口说孟加拉语，为什么互联网上几乎听不到他们的声音？

论文给出的数据冰冷而精确：孟加拉语在全球网络内容中的占比不到0.5%（Pimienta, 2024; W3Techs, 2026）。这意味着什么？如果把互联网想象成一个巨大的图书馆，每200本书里，只有1本是用孟加拉语写的——尽管说这种语言的人占全球人口的1/25。

这个差距不是"多一点少一点"的问题。这是两个数量级的鸿沟。

🌍 比喻：晚宴上的隐形宾客

想象一个盛大的国际晚宴。宾客来自世界各地，大家围坐在一张长桌旁。英语宾客坐在主位，周围是法语、西班牙语、德语宾客，他们谈笑风生，侍者不断为他们添酒加菜。而在房间最远的角落，有一张小得几乎被忽视的圆桌，坐着二十多位孟加拉语宾客——他们的数量其实和主桌上的英语宾客一样多，但没有人注意到他们。侍者偶尔路过，投下一些残羹冷炙。

这张长桌，就是互联网。侍者就是搜索引擎、推荐算法、内容平台。而AI模型，就是在这个晚宴上训练出来的"社交达人"——它只学会了和主桌上的人聊天，对于角落里那二十多位宾客，它甚至不知道他们存在。

🔍 为什么是0.5%？

Roy夫妇指出了一个常被忽视的真相：这个数字反映的不是"孟加拉人不上网"，而是内容生产权的结构性不平等。

英语在网络内容中占比约49.5%，但英语母语者仅占全球人口的约4.7%（与孟加拉语使用者比例相当）。这意味着，每个英语母语者生产的网络内容，是孟加拉语使用者的一百倍。

这种差距的根源可以追溯到：

• 殖民遗产：英语作为前殖民帝国的语言，在全球学术、商业、技术领域占据霸权地位
• 技术基础设施的英语中心化：从域名系统到编程语言，从API文档到开源社区，技术世界的通用语是英语
• 内容经济的不平等：YouTube、Medium、Twitter等平台的内容创作者主要来自高收入的英语国家，他们的内容获得更多推荐和变现机会
• 孟加拉语数字化的滞后：尽管孟加拉语拥有1,400多年的文学传统（2024年被印度政府授予"古典语言"地位），但其数字内容的创作工具、字体支持、输入法体验长期落后于拉丁字母语言

论文引用了一个令人心碎的事实：联合国教科文组织设立的国际母语日（2月21日），其起源正是1952年孟加拉地区为争取孟加拉语官方地位而进行的语言运动。七十多年后，这种语言的数字生存状况，依然是一场未完成的斗争。

---

🔢 第二重沉默：67:1的残酷数学

如果网络存在的差距是结构性沉默的第一层，那么训练数据的差距就是第二层——而且这一层更加隐蔽，因为它藏在模型的"童年"里。

📊 数据：冰冷的数字

Roy夫妇查阅了主要的多语言语料库，发现了一个触目惊心的比例：

英语与孟加拉语的训练token比例约为67:1。

具体而言：

• Sangraha多语言语料库为孟加拉语分配了约300亿token
• Common Corpus等英语大型语料库达到了约2万亿token

这意味着，当一个AI模型在"阅读"世界时，它每读67页英语文本，才读1页孟加拉语文本。而这种阅读量差异，直接转化为能力差异。

🧮 比喻：两个孩子的阅读差距

想象两个同龄的孩子。孩子A住在图书馆里，每天可以读100本书。孩子B住在一个只有3本书的小房间里，而且这3本书还是残缺的。二十年后，你要这两个孩子参加同一场文学考试——题目都是用孩子A读过的那些书的风格出的。

这就是多语言AI模型面临的现实。论文引用Chang等人（2024）的研究发现：即使是大型多语言模型，在低资源语言上的困惑度基准测试中，表现甚至可能不如简单的二元语法基线。这意味着，在某些情况下，一个统计"前面两个词是什么"的简单模型，比一个花费数百万美元训练的深度学习模型，更能预测孟加拉语句子中下一个词是什么。

这不是因为研究者不够聪明。这是因为数据贫困（data poverty）已经达到了一个临界点——在这个点上，模型架构的复杂性无法补偿数据量的不足。

🔄 恶性循环

更可怕的是，这是一个自我强化的循环：

1. 孟加拉语数据少 → 模型性能差 2. 模型性能差 → 孟加拉语用户觉得AI"没用" 3. 用户觉得没用 → 使用率低 4. 使用率低 → 商业公司不愿意投资孟加拉语产品 5. 不投资 → 数据收集和标注工作停滞 6. 数据停滞 → 孟加拉语数据更少

Roy夫妇指出，这种循环不是"自然发生的"——它是制度性选择的结果。研究资金的分配、学术发表的评价体系、商业公司的市场优先级，都在不断将资源引向高资源语言。孟加拉语的数据稀缺，不是一场意外，而是一种设计。

---

✂️ 第三重沉默：文字的碎尸案

如果说数据量的差距是一记重拳，那么分词（tokenization）的问题就是一记暗拳——它不显眼，但每一击都精准地打在孟加拉语的要害上。

🔤 什么是分词？为什么它重要？

要理解这个问题，我们需要先退一步，看看AI模型是怎么"读"文本的。

现代大语言模型（如GPT、LLaMA）并不直接阅读字母。它们阅读的是"token"——一种由算法从训练数据中学习到的文本片段。比如，"unbelievable"可能被分成"un"、"believ"、"able"三个token。分词器（tokenizer）的工作，就是决定怎么切分文本。

这听起来像是一个技术细节，但它实际上决定了模型的思维方式。

🎯 比喻：翻译官的偏见

想象一个国际会议。所有的发言都需要通过一个翻译官转述给听众。这个翻译官有一个奇怪的习惯：他把英语发言者的每句话都切成刚好合适的片段，每个片段都有完整的意义。但当他听到孟加拉语发言时，他不得不把每个词切成更小的碎片——因为孟加拉语的书写系统太复杂了，他的"切分工具"不是为这种语言设计的。

结果是：英语发言者的每句话被切成了3段，每段都意思完整。孟加拉语发言者的每句话被切成了15段，很多片段单独看毫无意义的。听众（也就是AI模型）在理解孟加拉语时，需要把更多的碎片拼凑起来，而且很多碎片本身已经丢失了原意。

📐 孟加拉语的分词困境

孟加拉语使用的是元音附标文字（alphasyllabary），这是一种非常美丽的书写系统，但与现代分词器的设计假设格格不入：

• 基础字符被变音符号修改：孟加拉语字母本身可以通过附加符号（matras）改变元音发音
• 连字（yuktakshar）：多个辅音可以组合成复杂的连字形式，一个字形可能代表多个音素
• 多字符字素簇：一个"视觉上的字"可能由多个Unicode字符组成

标准分词方案（如BPE、WordPiece）是为拉丁字母优化的。它们的假设是：字符和音素大致一对一，词的边界相对清晰。当这些方案遇到孟加拉语时，就像一把为直线设计的锯子遇到了曲线——它只能暴力切割。

📈 Token Fertility：隐藏的税

论文引入了一个关键概念：token fertility（token生育率）——表示同等语义内容需要多少token来表示。

由于上述结构性原因，孟加拉语文本需要比英语显著更多的token来表示相同内容。这不是"多一点"的问题。研究显示，这种差距是系统性的、可观的。

为什么这很重要？因为大语言模型的一切成本——训练成本、推理成本、上下文窗口占用——都是以token为单位的。当孟加拉语需要更多token时：

1. 训练成本更高：同样的文本量，消耗更多计算资源 2. 推理速度更慢：用户等待时间更长 3. 上下文窗口更短：模型"记住"的上下文更少 4. 性能更差：更多的token意味着更稀疏的注意力分布

Roy夫妇强调，这不仅是计算开销问题。更严重的是，它破坏了模型依赖的语义单元。即使数据量达到对等，分词器的结构性低效仍会造成性能差距。因此，公平的孟加拉语模型性能需要不成比例地更多数据来补偿分词器的结构性低效。

换句话说，孟加拉语AI不仅在起跑线上落后，它还要背着一个沉重的沙袋跑步——而这个沙袋，是比赛规则的设计者无意中（或有意地）放在它背上的。

---

🌐 第四重沉默：离线者的被遗忘权

如果说前三重沉默是AI模型"学不会"孟加拉语的原因，那么第四重沉默则是：即使模型学会了，数以亿计的人也根本用不上。

📡 连接性排斥：数字种姓制度

论文引用了一组令人震惊的数据（孟加拉国统计局，2024-25）：

这意味着，在孟加拉国农村——也就是最需要教育资源的地区——超过60%的人根本无法上网。

而当今的AI教育工具，几乎全部是"云端优先"的设计。它们假设：

• 你有稳定的WiFi
• 你有足够的流量套餐
• 你的设备能流畅运行Web应用
• 你能负担得起云服务的使用费用

这些假设，对于城市中的英语使用者来说理所当然。但对于农村中的孟加拉语使用者来说，每一个假设都是一道不可逾越的墙。

💰 经济暴力

论文还指出了一个更隐蔽的经济因素：

孟加拉国的移动数据附加税从2016财年的3%飙升至2024年的23%。这意味着，一个农村低收入家庭如果要使用云端AI辅导服务，他们支付的价格中，有近四分之一是税收。

这不是"不太方便"的问题。这是功能上不可达（functionally inaccessible）。

🏚️ 比喻：建在悬崖边的学校

想象政府宣布："我们为所有孩子建了新学校！学校设施一流，有最好的老师！"但学校建在悬崖边上，只有一座摇摇欲坠的吊桥通往那里。城里的孩子可以坐直升机直达，而农村的孩子连吊桥都看不到。

当你告诉农村孩子"你怎么不去上学"时，你忽略了问题的本质：学校的位置本身就是一种排斥。

云端优先的AI教育工具，就是那座建在悬崖边的学校。

---

🧠 双重负担：大脑里的翻译官

现在，让我们把四重沉默汇聚起来，看看它们对一个具体的孟加拉语学习者造成了什么影响。

🎭 认知的跷跷板

想象一个场景：一个孟加拉语学生正在用AI工具学习编程。她遇到了一个bug，AI工具给出了一段解释——用英语。

此刻，她的大脑中同时发生着两件事： 1. 语言加工：她必须把英语解释翻译成孟加拉语理解 2. 技术概念加工：她必须理解编程概念（变量、循环、递归）

这两件事在争夺她有限的工作记忆资源。

📉 认知负荷的暴政

论文引用了认知负荷理论（Sweller et al., 2011）来解释这个现象。工作记忆——也就是我们大脑中用于临时处理和存储信息的系统——容量极其有限。当它需要同时处理语言翻译和技术理解时，往往超出容量。

研究的结论是明确的：

• 双语学习者在理解第二语言的技术内容时，表现显著低于母语学习者（Roussel et al., 2017）
• 当教学语言不是学生的母语时，知识保持和迁移应用能力显著下降（Soosai Raj et al., 2018）

Roy夫妇指出，对于农村孟加拉语学生而言，母语教学不是"本地化增值功能"，而是有意义教育获取的先决条件。

这不是一个"偏好"问题。这是一个神经科学事实。

---

💡 破局：从修修补补到重构基础设施

面对如此庞大的结构性问题，我们很容易陷入绝望。但Roy夫妇并没有止步于诊断。他们提出了三个层面的解决方案。

1️⃣ 重新框架"数据集稀缺性"

论文最重要的贡献之一，是将"数据稀缺"从一个技术问题重新框架为一个结构性问题。

目前的AI研究界有一种隐含的假设：低资源语言的数据稀缺是一个"自然状态"，等待技术进步来修补。但Roy夫妇指出，这种稀缺性是制度性选择的结果：

• 研究资金长期偏向高资源语言
• 学术发表体系更重视架构创新而非语料库建设
• 商业公司的市场优先级由付费能力决定

解决方案：

• 将为低资源语言构建基础数据集、验证翻译、开发评估基准，视为与架构创新同等重要的首要研究贡献
• 改革学术评价体系，承认基础设施工作的价值
• 建立持续性的制度承诺，扩大对代表性不足语言的数据集开发和大规模训练基础设施支持

2️⃣ 离线优先作为公平架构

论文提出了一个激进的重新定位：

离线优先部署不应被视为"连接不佳时的技术妥协"或"能力降级版"，而应被视为一种服务于不同用户群体的公平导向的基础设施策略。

这意味着：

• 教育AI系统应在带宽、设备和成本约束下进行评估，而不仅在理想连接条件下测试响应质量
• 开发可以在低功耗设备上运行的轻量化模型
• 设计离线优先的交互范式，而非简单地将云端能力"降级"后推送

Roy夫妇还指出了一个额外收益：本地量化模型推理的能耗远低于云端API路由。在机构规模（如学校计算机实验室）下，这在公平性和可持续性上均有优势。

3️⃣ 语言学的核心角色

最后，论文呼吁语言学界在AI发展中扮演更核心的角色。

AI开发者——主要在单语英语环境中训练——往往无法察觉自己嵌入的假设。例如：

• 为什么分词器对孟加拉语效率低下？因为它们是针对简单音位-字位对应、低形态复杂度语言优化的
• 为什么评估基准对孟加拉语不公平？因为它们是以英语的语法结构和语用习惯为默认参考标准设计的

语言学家具备识别这些不可见假设的关键词汇和分析框架。论文呼吁：

• 应用社会语言学分析"谁的语法结构对标准工具是可解读的"
• 应用语言类型学比较不同语言的结构差异
• 应用批评性语言研究审视"谁的社群需求被纳入系统设计"

---

🌅 结语：沉默不是金

这篇论文的标题"Structural Silence"是一个精妙的双关。

在英语中，"silence"意味着没有声音。但在孟加拉语的语境中——在国际母语日起源的语境中——沉默意味着抵抗的失败，意味着存在的被抹除。

Roy夫妇的论文告诉我们：AI中的语言不平等，不太可能仅通过改进模型质量来解决。当前的性能分布反映了长期以来数据资源、评估实践和部署假设在不同语言间的不均衡分配。这些决策并非中立，其效应随时间不断累积。

当我们为一个只会说英语的AI欢呼时，我们也应该听到那被消音的十亿人的声音。

因为他们也在等。

---

📚 参考文献

• Roy, A., & Roy, P. (2026). *Structural Silence: When AI Infrastructure Fails Speakers of Underrepresented Languages*. arXiv:2608.12278.
• Pimienta, D. (2024). *Web Presence and Language Diversity*.
• W3Techs. (2026). *Usage Statistics of Content Languages for Websites*.
• Khan et al. (2024). *Sangraha: A Large-Scale Multilingual Corpus*.
• Langlais et al. (2025). *Common Corpus: Trillion-Token Dataset for Language Modeling*.
• Chang et al. (2024). *Low-Resource Language Performance in Multilingual Models*.
• Kabir et al. (2024). *Benchmarking Bengali NLP*.
• Bhowmik et al. (2025). *Multilingual LLM Performance on Bengali Tasks*.
• Sweller et al. (2011). *Cognitive Load Theory*.
• Roussel et al. (2017). *Language of Instruction and Technical Learning*.
• Soosai Raj et al. (2018). *Mother-Tongue Education and Knowledge Retention*.
• 孟加拉国统计局 (2024-25). *Digital Access Survey*.

#论文 #arXiv #AI公平性 #低资源语言 #孟加拉语 #结构性沉默 #小凯