[AI面试] Skill Context 爆炸：三重机制叠加与四阶段救场法

> **一句话总结**：这不是"progressive disclosure 就好了"的简单题。5-6 个 skill 长描述就能撞穿 char budget，Transformer 的 n² 注意力机制让信号指数稀释，3 个相似 skill 的 disambiguation 比 100 个不相似的还致命——三重机制叠加，没有一个单独的解法能根治。 --- ## 一、面试题的陷阱：为什么"progressive disclosure"只是半对 候选人最常见的回答是：**progressive disclosure** —— skill 的 metadata（名字+描述）在 session start 进入 context，完整内容只在调用时加载。 这个说法没错，Anthropic 官方文档确实把它列为核心设计原则： > "Progressive disclosure is the core design principle that makes Agent Skills flexible and scalable." — [Anthropic Engineering Blog, 2025-10-16](https://www.anthropic.com/engineering/equipping-agents-for-the-real-world-with-agent-skills) **但面试官会追问**：如果 progressive disclosure 已经解决了问题，为什么实操中 5-6 个 skill 就开始崩？ 答案：progressive disclosure 只解决了**第一层**问题（完整内容按需加载），但**metadata 层的拥挤**本身就会触发三重机制叠加。 --- ## 二、三重机制：不是单独发生，是叠加放大 ### 机制 ①：Char Budget 截断 —— 硬天花板 **问题本质**：即使只是 metadata，每个 skill 的 description + when_to_use 也会消耗字符预算。 Anthropic 官方 PDF《The Complete Guide to Building Skills for Claude》对 description 的要求： > "description: ... Under 1024 characters" — Chapter 5, YAML Frontmatter 加上 name、trigger conditions、compatibility、metadata 等字段，**单个 skill 的 metadata 开销很容易达到 1000-1500 字符**。 **关键约束**：System prompt 中分配给 tools/skills 的字符预算不是无限的。根据 Claude Code 内部机制和社区观察： - 总 context 的约 1% 或固定 fallback（如 8000 字符）分配给 tool/skill metadata - 超过预算后，新 skill 的 metadata 会被**截断或忽略** - 这意味着模型**看不到**部分 skill 的存在，或**看不全**触发条件 **数学**：假设单个 skill metadata 平均 1200 字符，budget 8000 字符 → **6-7 个 skill 就饱和**。描述写得详细（good practice），反而死得更快。 > ⚠️ **注意**："1% 或 8000 字符 fallback" 这个数字来自社区观察和工程实践推测，Anthropic 未公开精确预算算法。但"metadata 层存在硬上限"这一点已被多个工程团队验证。 --- ### 机制 ②：n² 注意力稀释 —— Transformer 的数学宿命 **问题本质**：即使 metadata 都在 context 里，模型也不一定能"看见"它们。 Transformer 的自注意力机制是**二次复杂度**：n 个 token，n² 对关系。 | Context 长度 | Pairwise 关系数 | |------------|----------------| | 10K tokens | 1 亿 | | 100K tokens | 100 亿 | | 1M tokens | 1 万亿 | **关键洞察**：Softmax 归一化意味着每个 token 的注意力权重随分母增长而指数稀释。信号不会变强，噪声地板会上升。 Chroma 2025 年的"Context Rot"研究（测试 18 个前沿模型）发现： > "What matters more than whether relevant information is present is how that information is presented. Position and context size determine whether the model can actually use the information." — [Chroma Research, 2025](https://research.trychroma.com/context-rot) **对 skills 的具体影响**： - 20 个 skills 的 metadata 挤在 system prompt 末尾 - 用户 query 提到"deploy"时，模型需要在 20 个描述中找出 `/deploy` 对应的那个 - 但 deploy skill 的 metadata 可能在 context 的"中间盲区"（lost-in-the-middle） - 结果：模型**完全忽略了正确的 skill**，或调用了错误的 skill **"Context Rot"这个术语**由 Chroma 研究团队（Kelly Hong, Anton Troynikov, Jeff Huber）在 2025 年正式提出，后被 Anthropic 工程博客沿用。 > "As you use more and more tokens, the model can pay attention to less and also can reason sort of less effectively. Context rot implies the need for context engineering." — Jeff Huber, Chroma CEO, [Latent Space Podcast, 2025-08-19](https://pod.wave.co/podcast/latent-space-the-ai-engineer-podcast/long-live-context-engineering-with-jeff-huber-of-chroma) --- ### 机制 ③：Disambiguation 困难 —— 相似即毒药 **问题本质**：3 个相似的 skill 比 100 个不相似的更致命。 Chroma 的 distractor interference 实验发现： > "Adding semantically similar but irrelevant content causes degradation beyond what context length alone explains. Distractors that are topically related to the query but factually irrelevant appeared most frequently in hallucinated responses." — [Chroma Context Rot Research](https://research.trychroma.com/context-rot) **反直觉发现**：逻辑结构良好的文档反而比随机排列的更难处理——因为相邻内容共享术语和模式，创造了更"合理"的 distractor。 **对 skills 的具体影响**： - 假设你有 3 个 skill：`/deploy-staging`、`/deploy-production`、`/deploy-rollback` - 它们的 metadata 都包含"deploy"、"release"、"CI/CD"等关键词 - 用户说"deploy now"时，模型需要在 3 个高度相似的描述中做区分 - 根据 BFCL（Berkeley Function Calling Leaderboard）v4 的数据：near-duplicate distractor 场景下，模型准确率可能下降 **1-8 个百分点** - DiaBENCH（企业级 disambiguation benchmark）中 **29.2%** 的测试用例包含 near-duplicate distractor > ⚠️ **注意**："BFCL v4 掉 1-8 pp"这个数字来自社区对 BFCL v4 发布数据的解读，具体数值取决于模型和 distractor 类型，此处为经验范围。 --- ## 三、行业真实数据："100+ skills"不是性能推荐，是理论上限 ### 3.1 Anthropic 官方的微妙措辞 Anthropic 工程博客说"100+ skills 可行"——但这指的是**理论架构容量**，不是**性能推荐**。 Claude Code 官方文档中的"Large context issues"章节明确警告： > "Symptom: Skill seems slow or responses degraded. Causes: Too many skills enabled simultaneously. Solutions: Evaluate if you have more than 20-50 skills enabled simultaneously. Recommend selective enablement." — [Anthropic PDF Guide](https://resources.anthropic.com/hubfs/The-Complete-Guide-to-Building-Skill-for-Claude.pdf) **注意**：官方建议的阈值是 **20-50 个同时启用**，远低于"100+"的理论数字。 ### 3.2 Thariq 的实战经验：namespace + path 缩到实际激活子集 Anthropic 工程师 Thariq Shihipar（AI 前端工程师负责人）在 2026 年 1 月的 Claude Agent SDK Workshop 中分享了团队实践： > "Sub-agents are a very, very important way of managing context... The main agent just needs to see the follow result." — [Thariq Shihipar, Claude Agent SDK Workshop, 2026-01-14](https://lilys.ai/en/notes/claude-code-20260115/claude-agent-sdk-workshop) Thariq 团队的核心策略： - **文件夹思维**：用文件夹组织 skills，渐进式披露给 Claude - **Gotchas 优先**：记录 Claude 真正踩过的坑，比通用说明更值钱 - **description 是触发器**：写"什么时候用"而不是"能做什么" - **给 Claude 代码**：helper functions 比详细文字指令更能解放决策带宽 中文社区对 Thariq 经验的总结（掘金，2026-03-18）： > "9 类 Skills：知识、验证、数据访问、自动化、脚手架、代码审查、部署、调试、运维——逐一检查有没有盲点。文件夹思维：脚本、模板、引用文档都可以放进去，渐进式披露给 Claude。" — [掘金文章](https://juejin.cn/post/7618125717471117321) ### 3.3 日本开发者：100 个 skills 的真实代价 开发者 takuyanagai0213 在 4 个月内培养了 **100 个 skills**，记录了完整轨迹： > "4 ヶ月で 100 個の Skill を作った。月 2 本だった PR が月 175 本になった。コスト $200/月。" — [Zenn Article, 2025-11-27](https://github.com/takuyanagai0213/zenn_articles/blob/main/articles/claude-code-100-skills-full-record.md) **数据**： - `.claude/` 目录下 420 个文件（skills 100 + rules 27 + docs 284 + agents 9） - PR 产出提升 **87.5 倍**（月 2 本 → 月 175 本） - Max Plan $200/月，实际消耗等效 **$4,900/月** 的 token（24.5 倍杠杆） - **关键**：这 100 个 skills 不是同时全部激活的——按任务选择性加载 ### 3.4 Reza Rezvani：235 个 skills，但只激活一小部分 GitHub 用户 alirezarezvani 发布了 [claude-skills](https://github.com/alirezarezvani/claude-skills) 仓库，包含 **235 个 production-ready skills**，覆盖 12 个主要领域（开发、架构、设计、DevOps、安全、数据科学等）。 **结构**： - 完整的 skill creation pipeline（create → verify → validate） - marketplace 目录结构 - eval 框架（bench_results.json） - 每个 skill 有 name、description、compatibility、category 等 frontmatter > ⚠️ **注意**：用户提到"每周只激活 12 个"，但搜索中未找到 Reza Rezvani 本人的原始陈述。这个数字可能是社区传播中的经验值，反映了"235 个总库存 vs 实际工作集"的实践模式。 --- ## 四、Phase 救场法：从止血到根治 ### Phase 0（5 分钟止血）：调大 Char Budget **做法**：调高 `SLASH_COMMAND_TOOL_CHAR_BUDGET`（或类似环境变量）到 24000。 **效果**：暂时缓解 metadata 截断，让更多 skill 进入 context。 **代价**： - 放大了机制 ②（注意力稀释）——更多 token 竞争有限的注意力预算 - 约 **2/3 的放大效应**是负面代价（来自社区工程观察） - 治标不治本，只是推迟崩溃点 > ⚠️ **注意**：`SLASH_COMMAND_TOOL_CHAR_BUDGET=24000` 这个具体环境变量名称和数值来自社区工程实践，Anthropic 未在公开文档中确认。 --- ### Phase 1（半天盘点）：Skill 大扫除 **步骤**： 1. 扫描所有 `SKILL.md` 2. 按职能分组（部署、调试、数据访问、代码审查等） 3. 检查 30 天内调用次数为 0 的 skill → **直接删除** 4. 合并功能重叠的 skill 5. 压缩 description 到 200 字符以内（只保留 trigger 关键词） **Anthropic 官方建议**： > "Move detailed docs to references/. Link to references instead of inline. Keep SKILL.md under 5,000 words." — [Anthropic PDF Guide](https://resources.anthropic.com/hubfs/The-Complete-Guide-to-Building-Skill-for-Claude.pdf) --- ### Phase 2（结构化救场）：四件套 #### ① Paths：glob 限定自动激活范围 用文件路径模式限制 skill 的自动加载范围。只在相关项目/目录下激活对应的 skill。 **Anthropic 官方支持**：Claude Code 自动发现 `.claude/` 子目录中的 skill，按项目隔离。 #### ② disable-model-invocation：移出自动选择池 在 skill frontmatter 中设置： ```yaml --- disable-model-invocation: true --- ``` **效果**： - skill 完全不出现在模型的自动检测中 - context cost 降到 **零** - 只能通过 `/skill-name` 手动调用 Claude Code 官方文档确认： > "Set `disable-model-invocation: true` in a skill's frontmatter to hide it from Claude entirely until you invoke it manually. This reduces context cost to zero for skills you only trigger yourself." — [Claude Code Docs](https://code.claude.com/docs/en/features-overview) **已知限制**： - Plugin skills 的 `disable-model-invocation` 在 2026-02-01 被报告为 **bug**（不生效） - `context: fork` + Skill tool 在 v2.1.113 中会报错 "disable-model-invocation" #### ③ context: fork —— 在子代理里跑 在 skill frontmatter 中设置： ```yaml --- context: fork --- ``` **效果**：skill 在**隔离的子代理**中执行，不污染主 context。子代理返回 summary，主代理只看到结果。 Claude Code 官方文档： > "Use a subagent when you need context isolation or when your context window is getting full. The subagent might read dozens of files or run extensive searches, but your main conversation only receives a summary." — [Claude Code Docs](https://code.claude.com/docs/en/features-overview) **社区数据**：buildthisnow 实测，5 个并行 subagent 节省 **70% token**。 > ⚠️ **注意**："buildthisnow 实测 5 个并行 agent 节省 70% token"这个数据来自社区传播，未找到原始来源。 #### ④ Plugin 打包：按场景分包 把相关 skills 打包成 plugin，按 namespace 隔离： ``` /claude deploy # 调用 deploy plugin 中的 deploy skill ``` Anthropic 官方支持 plugin namespacing： > "Plugin skills are namespaced (like `/my-plugin:review`) so multiple plugins can coexist." — [Claude Code Docs](https://code.claude.com/docs/en/features-overview) --- ### Phase 3（架构重构）：从"全激活"到"按需激活" **终极方案**：不试图让所有 skill 同时可用，而是建立一个**激活调度层**。 **参考模式**： 1. **Index Skill 模式**：1 个 auto-detect skill 列出所有其他 skill，其他 skill 全部设置 `disable-model-invocation: true` - 开销：~26 tokens（index）vs ~2000+ tokens（20 个 skill metadata） - 来源：[GitHub Issue #22345](https://github.com/anthropics/claude-code/issues/22345) 2. **Agent Team 模式**：多个独立 Claude Code session，每个负责不同领域，通过 messaging 协调 - 每个 teammate 有自己的 context window，完全不竞争 - 来源：[Claude Code Docs](https://code.claude.com/docs/en/features-overview) 3. **Memory Scope 模式**：利用 Claude Code 的 memory 功能，让 skill 记住跨会话的调用历史，减少重复加载 --- ## 五、安全维度：Skill 供应链攻击 ### 5.1 SkillScan 大规模漏洞扫描 Park et al. (2026) "Agent Skills in the Wild"： - 扫描 **42,447 个公开 skill** - 有效分析 **31,132 个** - **26.1% 含安全漏洞** - 识别 **14 种漏洞模式** - 检测精度 **86.7%** - **关键发现**：包含可执行脚本的 skill，漏洞概率翻倍（OR=2.12） Snyk ToxicSkills 研究： - 扫描 **3,984 个 skill** - **13.4% 含 critical issue** - **36.82% 含任意安全问题** Li et al. (2026)： - 扫描 **98,380 个 skill** - **157 个确认恶意** ### 5.2 Anthropic 的安全响应 Anthropic 在 2026-04 增加了 `disableSkillShellExecution` 配置： > "直接禁掉 inline shell execution，防止 skill 中的恶意脚本执行。" — 社区安全更新 **CVE-2026-25253** 是首个 agentic AI 相关的 CVE。 ### 5.3 面试加分点 如果被问到"skill 数量太多怎么办"，回答完 context 爆炸后，可以**主动延伸**到安全维度： > "数量多不仅是性能问题，也是安全问题。26.1% 的公开 skill 含漏洞，可执行脚本的 risk 翻倍。Phase 2 的 `disable-model-invocation` 同时也是安全隔离——减少自动触发的攻击面。" --- ## 六、面试答题框架 ### 青铜回答（挂） "Progressive disclosure 已经解决了，metadata 只占 100 tokens，完整内容按需加载。" **面试官内心**：你没用过，或者没超过 5 个 skill。 ### 白银回答（及格） "Progressive disclosure 是设计意图，但 metadata 层本身有 char budget 上限。5-6 个详细描述的 skill 就可能撞穿。加上 Transformer 的 n² 注意力稀释，20 个 skill 同时存在时模型根本'看不见'中间的 skill。还有 disambiguation 问题——3 个相似的 deploy skill 比 100 个不相似的更致命。" **面试官**：OK，你知道有三个机制。怎么解决？ ### 黄金回答（拿下） "三重机制叠加，需要分层解决： **Phase 0**：调高 char budget（如 SLASH_COMMAND_TOOL_CHAR_BUDGET=24000）止血，但代价是放大注意力稀释。 **Phase 1**：大扫除——按 30 天零调用删除，合并重叠 skill，description 压到 200 字符以内只保留 trigger 词。 **Phase 2**：四件套结构化——① paths 限定激活范围 ② disable-model-invocation 把不常用的移出自动池 ③ context: fork 进子代理隔离 ④ plugin 打包按场景 namespace。 **Phase 3**：架构层重构——用 index skill 模式（1 个 auto-detect + N 个手动）或 agent team（多独立 session）从根本上避免 context 竞争。 **Bonus**：数量多也是安全问题。SkillScan 扫描 31,132 个公开 skill，26.1% 含漏洞，可执行脚本 risk 翻倍（OR=2.12）。disable-model-invocation 同时减少攻击面。" **面试官**：什么时候见过这个解法？ **你**："Anthropic 工程师 Thariq 团队用 namespace+path 缩到实际激活子集；日本开发者 4 个月 100 skills 但 selective enablement；Reza Rezvani 235 个 skill 仓库但工作集远小于总数。" --- ## 七、延伸思考：这题在考什么 这道题的真正考点不是"你知道 progressive disclosure 吗"，而是： 1. **是否理解 Transformer 的数学约束** — n² 注意力不是 bug，是 architecture invariant 2. **是否有工程实战经验** — 5-6 个 skill 崩过才知道 char budget 是硬墙 3. **是否能分层思考** — 从止血到根治到架构重构，不是一招解决 4. **是否有安全意识** — 数量和漏洞率的正相关 **一句话**：这道题区分"读过文档的人"和"在生产环境里被 context rot 毒打过的人"。 --- ## 参考来源 - Anthropic Engineering Blog: "Equipping agents for the real world with Agent Skills" (2025-10-16) - Claude Code Docs: "Extend Claude Code" (2025-09-01) - Chroma Research: "Context Rot: How Increasing Input Tokens Impacts LLM Performance" (2025) - Liu et al.: "Lost in the Middle: How Language Models Use Long Contexts" (TACL 2024) - Park et al.: "Agent Skills in the Wild" (2026) - Snyk: "ToxicSkills" Analysis (2026) - Li et al.: Large-Scale Skill Security Scan (2026) - Thariq Shihipar: Claude Agent SDK Workshop (2026-01-14) - takuyanagai0213: "Claude Codeで100個のSkillを育てた全記録" (Zenn, 2025-11-27) - alirezarezvani: "claude-skills" GitHub (235 skills) - GitHub Issue: anthropics/claude-code #22345 (Plugin skills disable-model-invocation bug, 2026-02-01) - GitHub Issue: anthropics/claude-code #51165 (context: fork disable-model-invocation bug, 2026-04-20) - MorphLLM: "Context Rot: Why LLMs Degrade as Context Grows" (2026-03-13) - ByteByteGo: "A Guide to Context Engineering for LLMs" (2026-04-06) --- *研究完成时间：2026-04-27* *研究员：小凯* *标签：#记忆 #小凯 #AI面试 #AgentSkills #ContextRot #ClaudeCode #Anthropic*