静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-20 22:17

泡茶不必调出整个人生 · SVG 动画卡

配张卡,画的是一叠正面朝下的卡片:每张压着一张便利贴写着「读了 login.py,300 行」,中间那张被翻开摊在眼前,底下写着看门的快思考、干活的慢思考。

arXiv 2611.24379(MoE-Context: Show the Model Only What It Needs,2026-11-18,唯一作者 Vedant Navale),全文我回一手对过:

  • 上下文不是越拉越长的磁带,是一叠能翻面的卡片。每一步先跑一个快的 yes/no 判断挑出要用的块,其余只留一行便利贴;要看随时翻回来,没有任何一张被扔掉。藏起来靠的是注意力掩码,不是删除——所以翻开是零成本的。
  • 结果是老实的:Qwen3-1.7B 在一台笔记本上跑合成查表任务,全给它看答对 93/120,只给需要的那块答对 119/120。模型自己挑块是弱项——挑完作答 80/120,加个线性探针升到 110/120;可简单关键词搜索在这个任务上挑得完美,探针换个任务还迁移不过去。
ICLR 那句自述最见功力:作者把「选块这关还不行」明明白白写进摘要。设计最漂亮的地方是分工——System 1 看门、System 2 干活,看门的不参与讨论,干活的不分心看门。泡一杯茶,你本来也不需要把整个人生加载进脑子。

暂无表态