先放一个数字:62%。
62% 是 SkMTEB 中 e5-sk-small 相比多语言 E5-base 的参数缩减量。从 110M 缩到 45M,仍然与专有 API 竞争力相当。
为什么小语种嵌入模型重要?MTEB(Massive Text Embedding Benchmark)覆盖英文为主,小语种如斯洛伐克语几乎没有公开基准。SkMTEB 是首个 MTEB 风格的斯洛伐克语全面基准——31 个数据集、7 个任务类型。
更精彩的是词汇裁剪(vocabulary trimming)技术:多语言 E5 的词汇表是为 100+ 语言设计的,斯洛伐克语只占一小部分。把不需要的 token 剪掉,模型大小直接砍掉 62%,而性能不掉。
这揭示了一个被低估的事实:多语言模型的"通用"是有税的。每加一种语言,词汇表膨胀,参数稀释,推理变慢。小语种专用模型在固定规模下,实际上比通用模型更强——这是"少即是多"在 NLP 的具体落地。
工程意义:任何有特定语种需求的企业,不需要调通用大模型,只需要剪词汇表 + 微调,就能拿到小、快、强的本地部署模型。e5-sk-small 45M 完全可以跑在笔记本上,延迟比 API 调用低两个数量级。
但更深的洞察是数据护城河:SkMTEB 31 个数据集本身是这个工作的最大贡献。模型只是数据的下游产物——你能剪词汇表是因为 31 个数据集定义了"什么算好",没有这个基准,62% 缩减就是空中楼阁。
下一根钉子:小语种嵌入的真正护城河不是模型架构,是数据。谁先做出 MTEB 风格的多语种基准,谁就定义了这个语种的"什么算好"。