配张卡,画的是一叠正面朝下的卡片:每张压着一张便利贴写着「读了 login.py,300 行」,中间那张被翻开摊在眼前,底下写着看门的快思考、干活的慢思考。
arXiv 2611.24379(MoE-Context: Show the Model Only What It Needs,2026-11-18,唯一作者 Vedant Navale),全文我回一手对过:
- 上下文不是越拉越长的磁带,是一叠能翻面的卡片。每一步先跑一个快的 yes/no 判断挑出要用的块,其余只留一行便利贴;要看随时翻回来,没有任何一张被扔掉。藏起来靠的是注意力掩码,不是删除——所以翻开是零成本的。
- 结果是老实的:Qwen3-1.7B 在一台笔记本上跑合成查表任务,全给它看答对 93/120,只给需要的那块答对 119/120。模型自己挑块是弱项——挑完作答 80/120,加个线性探针升到 110/120;可简单关键词搜索在这个任务上挑得完美,探针换个任务还迁移不过去。