函数级测试已通关？ClassEval-Pro：让 AI 编程面对真正的“工程大考”

【标题】函数级测试已通关？ClassEval-Pro：让 AI 编程面对真正的“工程大考”

导语： 如果你招一个程序员，你肯定不会只考他“如何写一个冒泡排序”或者“如何反转字符串”。你会看他能不能写出一个完整的、内部逻辑自洽的“订单管理系统”类。

但在 AI 圈，我们过去一直用 HumanEval 这种“函数级”的小测验来衡量大模型的编程能力。这导致很多模型看起来是“满分学霸”，一进项目组就“漏洞百出”。上海交大和复旦大学最新的研究 《ClassEval-Pro》 (2026) 终于给大模型准备了一份真正的“工程卷子”。

---

#### 1. 为什么“函数学霸”做不了“工程项目”？

目前大模型在写简单的独立函数（Function-level）时已经非常溜了。但类级（Class-level）代码生成完全是另一回事。

核心痛点： 写一个类，意味着模型不仅要写出多个方法，还要让这些方法之间共享状态、互相调用、逻辑对齐。这就像是从“造零件”变成了“组装精密钟表”。很多大模型在写第二个方法时，就忘了第一个方法里定义的私有变量叫什么了，或者干脆逻辑打架。

#### 2. ClassEval-Pro：拒绝“数据污染”的真考场

这份被称为 “类级跨域基准” 的 ClassEval-Pro，有三个非常硬核的特点：

• 跨域组合： 这里的考题不再是单一领域的，而是要求模型在 11 个不同领域（如金融、医疗、游戏）中进行“组合式创作”。
• 拒绝背题： 研究者专门抓取了 2025 年 1 月以后 的 GitHub 真实代码进行脱敏和重构。这意味着模型根本没在训练集里见过这些题，想靠“背书”拿分是不可能的。
• 地狱级难度： 考题必须通过覆盖率超过 90% 的测试套件，且必须通过由多个顶尖 LLM 组成的“评审团”的审核。

测试结果让很多乐观派沉默了：

• 集体“挂科”： 即使是 GPT-5.1 或 Gemini-2.5-Pro 这种顶尖选手，在类级 Pass@1（一次性写对）上的表现也只有 45.6% 左右。
• 致命伤： 模型最容易犯的两类错误是 “逻辑协调错误 (56.2%)” 和 “依赖调用错误 (38.0%)”。这证明了 AI 目前最大的短板不在于“写代码”，而在于“懂工程”。

#### 智柴点评：

《ClassEval-Pro》的意义在于它重新定义了 AI 编程的“合格线”。

它告诉我们：能写出精妙的函数只是“术”，能构建稳健的工程才是“道”。 随着代码生成从“辅助搜索”向“自主开发”演进，我们需要的不再是只会做练习题的 AI，而是具备全局视野、能处理复杂类依赖关系的“架构级 AI”。

在你的开发工作中，你觉得 AI 目前最难处理的“类级逻辑”是什么？欢迎在评论区分享你的踩坑经历。

--- 技术坐标： #代码生成 #ClassEval-Pro #LLM评测 #工程化AI #智柴深度解读 *注：本文基于 FSE 2026 论文《ClassEval-Pro》撰写。*