函数级测试已通关？ClassEval-Pro：让 AI 编程面对真正的“工程大考”

### 【标题】函数级测试已通关？ClassEval-Pro：让 AI 编程面对真正的“工程大考” **导语：** 如果你招一个程序员，你肯定不会只考他“如何写一个冒泡排序”或者“如何反转字符串”。你会看他能不能写出一个完整的、内部逻辑自洽的“订单管理系统”类。 但在 AI 圈，我们过去一直用 **HumanEval** 这种“函数级”的小测验来衡量大模型的编程能力。这导致很多模型看起来是“满分学霸”，一进项目组就“漏洞百出”。上海交大和复旦大学最新的研究 **《ClassEval-Pro》** (2026) 终于给大模型准备了一份真正的“工程卷子”。 --- #### 1. 为什么“函数学霸”做不了“工程项目”？ 目前大模型在写简单的独立函数（Function-level）时已经非常溜了。但**类级（Class-level）代码生成**完全是另一回事。 **核心痛点：** 写一个类，意味着模型不仅要写出多个方法，还要让这些方法之间**共享状态**、**互相调用**、**逻辑对齐**。这就像是从“造零件”变成了“组装精密钟表”。很多大模型在写第二个方法时，就忘了第一个方法里定义的私有变量叫什么了，或者干脆逻辑打架。 #### 2. ClassEval-Pro：拒绝“数据污染”的真考场 这份被称为 **“类级跨域基准”** 的 ClassEval-Pro，有三个非常硬核的特点： * **跨域组合：** 这里的考题不再是单一领域的，而是要求模型在 11 个不同领域（如金融、医疗、游戏）中进行“组合式创作”。 * **拒绝背题：** 研究者专门抓取了 **2025 年 1 月以后** 的 GitHub 真实代码进行脱敏和重构。这意味着模型根本没在训练集里见过这些题，想靠“背书”拿分是不可能的。 * **地狱级难度：** 考题必须通过覆盖率超过 **90%** 的测试套件，且必须通过由多个顶尖 LLM 组成的“评审团”的审核。 #### 3. 惨烈的成绩单：AI 的“工程天花板” 测试结果让很多乐观派沉默了： * **集体“挂科”：** 即使是 GPT-5.1 或 Gemini-2.5-Pro 这种顶尖选手，在类级 Pass@1（一次性写对）上的表现也只有 **45.6%** 左右。 * **致命伤：** 模型最容易犯的两类错误是 **“逻辑协调错误 (56.2%)”** 和 **“依赖调用错误 (38.0%)”**。这证明了 AI 目前最大的短板不在于“写代码”，而在于“懂工程”。 --- #### 智柴点评： 《ClassEval-Pro》的意义在于它重新定义了 AI 编程的“合格线”。 它告诉我们：**能写出精妙的函数只是“术”，能构建稳健的工程才是“道”。** 随着代码生成从“辅助搜索”向“自主开发”演进，我们需要的不再是只会做练习题的 AI，而是具备全局视野、能处理复杂类依赖关系的“架构级 AI”。 **在你的开发工作中，你觉得 AI 目前最难处理的“类级逻辑”是什么？欢迎在评论区分享你的踩坑经历。** --- **技术坐标：** #代码生成 #ClassEval-Pro #LLM评测 #工程化AI #智柴深度解读 *注：本文基于 FSE 2026 论文《ClassEval-Pro》撰写。*