给公司装一台 AI 总机：Higress 拆解
一家公司用 AI 用到第二年，通常会长成这样：企业微信 Bot 的后端揣着豆包的 Key；Codex 的配置里写着某个员工个人的 OpenAI 账号；OpenCode 连着测试服务器上的 Qwen；飞书里的机器人各管各的后端。钥匙散落在七八个地方，账在各家后台分开查，想换模型要挨个应用改代码。出了事——比如某个 Ke…
给公司装一台 AI 总机：Higress 拆解
一家公司用 AI 用到第二年，通常会长成这样：企业微信 Bot 的后端揣着豆包的 Key；Codex 的配置里写着某个员工个人的 OpenAI 账号；OpenCode 连着测试服务器上的 Qwen；飞书里的机器人各管各的后端。钥匙散落在七八个地方，账在各家后台分开查，想换模型要挨个应用改代码。出了事——比如某个 Key 泄露——没人说得清它到底被谁在用。
这是多头插线板问题。阿里开源的 Higress 想做的是配电箱。
先验明正身
Higress 在 GitHub 上挂着 higress-group/higress，9,591 星，Go 语言，最新版 v2.2.5（10 月 4 日发布），三天前还有代码提交。它不是新项目：2022 年 10 月开源，出身是阿里内部扛大促流量的网关团队，技术底座是 Istio 的控制面加 Envoy 的数据面，插件体系跑在 WebAssembly 上——Go、Rust、JS 都能写插件，改插件不用重启网关。现在是 CNCF 沙箱项目，采用方名单里有蚂蚁数科、快手、Trip.com、唯品会在生产环境跑，业务一栏写着「LLM Gateway、MCP Gateway」。
看家的本事只有一句话：改路由不断连接。传统 Nginx 改配置要 reload，reload 会掐断长连接——对网页无所谓，对一次几十秒的流式 AI 回答是灾难。Envoy 热更新加上 Istio 的路由控制，让「边跑边改」成为默认状态。这条性质决定了它天生适合站在 AI 流量的路口。
第一层：模型统一出口
AI 网关最基础的一件事：外面来的请求长一个样，后面接的模型各家各样。
Higress 的 ai-proxy 插件拿 OpenAI 的接口当普通话。数了 ai-proxy 插件的源码目录：38 家厂商的适配实现，从 OpenAI、Claude、Gemini、Bedrock 到通义、智谱、DeepSeek、豆包、混元、月之暗面都在。请求进来先自动识别协议——路径是 /v1/chat/completions 按 OpenAI 解析，是 /v1/messages 按 Claude 解析；目标厂商不认这个格式就当场转换，Claude 转 OpenAI 有现成的转换器。模型名支持正则映射，比如把所有 gpt 开头的请求改写成内部 Qwen 的对应型号。
落到应用层，接入就是改配置，不用改代码。官方文档核实的两条：
- Codex：改 ~/.codex/config.toml，加一段 [model_providers]，填 name、base_url、env_key，指向网关地址——官方已正式支持第三方端点
- OpenCode：改 opencode.json 的 provider 段，设置 baseURL。官方文档明说这个选项「用于代理服务或自定义端点」
第二层：Token 是新的账单
老网关限流按请求数算。AI 流量不能这么算：一次请求可能是一百个 token 的短问答，也可能是一段五万 token 的长文分析。按请求数限流，等于给快递小哥和集装箱卡车发同样的通行证。
Higress 的做法是 Token 级配额：每个消费者（一张二次签发的 API Key）有 token 预算，用完即停；QPS 限流只是辅助。配套的还有语义缓存（相似的问题直接返回缓存答案，省一遍推理）和内容安全插件（提示词攻击检测、敏感内容识别）。观测面板按消费者结算 token 消耗——企微 Bot 一个月花了多少、Codex 一个月花了多少，分开记。
这层解决的是企业最疼的问题：AI 的钱第一次有了明细账。
第三层：工具也过总机
前两层管模型，这层管 MCP——AI 调用工具的协议。这正好是 Higress 2025 年加码的地方，也是它把自己和 OneAPI、LiteLLM 们区分开的地方。
做法分三档。第一档，网关直接托管 MCP Server：控制台里填一段配置，任何 REST API 变成一个 MCP 服务，不用写代码——模板里声明每个工具的请求和响应格式即可；数据库更是内置能力，选库填表就能挂。第二档，批量化：配套开源了 openapi-to-mcpserver 工具，拿 OpenAPI 文档成批转换。第三档，公共市场：mcp.higress.ai 上有现成的 MCP 服务可以试用。官方的说法是「成为国内面向 MCP 场景的唯一开源网关方案」——这句是他们自己说的，照录供参考。
对企业，这层的价值在别处：工具的鉴权、限流、调用留痕集中在网关，不再散在每个 Agent 的配置文件里。Agent 侧只拿一个短期令牌，真实凭证锁在网关后头。论坛之前拆过同一家团队的 HiClaw（多 Agent 平台），凭证零暴露的设计正是同一个思想：干活的拿临时工牌，钥匙全锁在总机房。
一张全景
把三层摞起来，就是企业内部 Agent 网关的样子：
| 维度 | 各应用直连 | 经过 Higress |
|---|---|---|
| 接入 | 每个应用自己的 Key 和 SDK | 统一 OpenAI 兼容端点+消费者 Key |
| 换模型 | 挨个改应用配置 | 网关侧改映射，热更新生效 |
| 计费 | 各家后台分开查 | Token 按消费者结出明细 |
| 出故障 | 应用各自写重试 | 令牌池健康检查自动切换 |
| 工具 | Agent 各自装 MCP | 网关托管统一 MCP 端点 |
| 凭证 | 散在应用侧 | 锁在网关，调用留痕 |
几点自己的判断
第一，这类网关的门槛不在「能转发」。OneAPI 们早就能转发。分水岭在数据面：流式响应不断流、插件热更新、几十万 QPS 的底子。Higress 拿 Envoy 当内核是十年功底的复用，不是新造的轮子——这也是它敢把 MCP 托管、Token 配额、内容安全全套压上去的原因。
第二，「AI 出入口」正在变成一种基础设施资产。谁控制网关，谁就控制了模型的账单、工具的权限和调用的记录。这东西的买家不是程序员，是 IT 部门——第一次，公司里所有 AI 流量经过一个可以被管理、被记录、被追责的地方。上一轮微服务时代，入口收敛成就了 API 网关生意；这一轮差别是计量单位从请求变成了 token。
第三，冷静的部分也要说。ADOPTERS 名单里生产环境跑 LLM/MCP 网关的是蚂蚁数科、快手、Trip.com、唯品会这几家；「Agent 网关」这个类别还在 Testing 栏里——汽车之家、查博士、都市丽人这些公司试的就是本文讲的这套用法。它是个正在被验证的东西，不是已成定局的东西。另外社区版的稳定性文档里写着「自行兜底」，全托管要买阿里云企业版——开源免费和生产免责之间的那条线，选型时要想清楚。
最小验证路径
不需要 K8s。一条 Docker 命令起 all-in-one（自带控制台），配一个 ai-proxy 路由指向任一家模型，把 Codex 的 base_url 改过去，再在控制台里把一个内部 REST API 配成 MCP 服务挂上来。一个下午，六路分机、两个工具、一本 token 明细账——总机就通了。采用方名单里 Autohome 在 Testing 一栏写的，正是这个用法。
GitHub：github.com/higress-group/higress（9,591 星，Apache-2.0，CNCF 沙箱） MCP 市场：mcp.higress.ai 同门多 Agent 平台 HiClaw，本论坛此前拆过：凭证零暴露的同源设计