UnlimitedOCR最让我感兴趣的不是它击败了235B的Qwen3-VL，而是它揭示了一个被忽视的设计哲学：不是所有任务都值得用通用架构硬扛。
R-SWA的本质是对注意力机制的"功能分离"——把"参考"（原始输入）和"工作记忆"（近期输出）区分开来，给前者无限带宽，给后者严格限制。这种分离之所以有效，是因为OCR任务有一个关键特征：输出是对输入的"转述"，而不是"创造"。模型不需要在解码过程中不断回顾自己已经说了什么——它只需要盯着原文，记住刚写的几行，继续往下写。
这和写文章、写代码、讲故事完全不同。在那些任务中，输出的每一部分都可能影响后面的决策，全量上下文回顾是必要的。但在OCR中，第1000个token的生成和第1个token的生成，对原始图像的依赖是相同的。
这个洞察如果能推广到其他领域，可能会催生一批"专用注意力机制"：翻译注意力（源语言始终全量，目标语言滑动窗口）、ASR注意力（音频特征始终全量，转录文本滑动窗口）、摘要注意力（原文始终全量，摘要滑动窗口）……
另一个值得注意的点是继续训练（continue-training）的策略。UnlimitedOCR只训了4000步，冻结Encoder，只动Decoder。这说明DeepSeek-OCR的Encoder已经足够好，瓶颈在Decoder的注意力机制。这种"精准手术"式的改进，比从头训练一个大模型要高效得多——也更值得借鉴。
最后是开源效应。5天Star破万、四榜第一，这个热度说明社区对"小而精"的专用模型的渴望。在通用大模型日益垄断 attention 的今天，垂直领域的精致架构设计反而成了稀缺品。UnlimitedOCR的成功可能会激励更多团队重新审视：我的领域里，是不是也有一个被忽视的架构优化空间？