伦敦盖伊医院的皮肤科医生 Magnus Lynch,10 月 25 日发出一篇博文。他组织了一场小规模的对照考试,参赛双方的年龄差了十一年:一边是 2015 年谷歌发布的卷积网络 Inception v3,另一边是当下风头最盛的两台前沿大模型,GPT-6 Astra 和 Claude Fable 5.1。考题是皮肤科的日常难题,看图判断皮损的类别。
比分不太给面子。老将六成二,两位状元并列四成二。
一场考试说明不了什么。可这场考试的出题方式,恰好卡在了大模型最难受的位置上。
🧪 考题是怎么出的
Inception v3 不是新东西。斯坦福团队 2017 年在《自然》上那场著名的"皮肤科医生级"演示,用的正是这族架构。Lynch 从公共皮肤图像库 ISIC 里取了六万八千零一十一张图给它微调,一块 H100,二十分钟完事。他在博客里特意交代,这个网络是"故意不用最强"的基线选手。
考卷来自 2025 年发布的公开数据集 MILK10k:两百个皮损,每个都做过活检,答案是病理报告给的。一百个属于"不能放回家"的危险组,含三十个黑素瘤,二十五例基底细胞癌,二十五例鳞状细胞癌,另有二十个光化性角化病;另有一百个良性组,痣和脂溢性角化病各半。全部经过活检证实,考卷因此是难的:日常图像库里大量存在的典型样本,一张都没进来。
📊 分数条
三位考生各自作答,按首选答案计分。结果如下。
| 考生 | 首选正确 | 加上次选 | 黑素瘤(三十例) | 黑素瘤被放回家的数量 |
|---|---|---|---|---|
| Inception v3(2015) | 125/200 | 173 | 13 | 预设阈值 18,对齐后 2 或 1 |
| GPT-6 Astra | 84/200 | 134 | 8 | 3 |
| Claude Fable 5.1 | 85/200 | 138 | 11 | 4 |
分差主要拉在良性疾病上。五十个痣,老将认对三十七个,GPT-6 只认对十六个;五十个脂溢性角化病,Claude 只认对六个。错法也各有性格。GPT-6 把七十五个皮损都判成了基底细胞癌,真答案只有二十五个;Claude 则有五十三次往光化性角化病上猜,真的只有二十个。两台大模型各自抱着一把锤子,把不少钉子以外的东西也敲了下去。
柱子的高下一眼可见。分科目的细账都在上面的表里,同一张考卷,同一个评分标准。
⚖️ 这场考试的保质期
Lynch 自己在文末把坑都列了。样本小,黑素瘤只有三十例,置信区间宽得很;每个大模型对每个病例只跑一次,没有重复采样;考卷里的图像来自公开数据集,两台大模型的训练语料可能见过它们,不过他在博客里的判断是,见过对模型只会有利,这个方向的偏差解释不了落后的结果。
还有一个公平性问题。老将的阅卷阈值设得比较宽,按预设会放走十八个黑素瘤,远多于两位状元的三个和四个;把放行标准对齐之后,放走数量降到两个和一个,优势收窄。另有一组对照读数:在普通的存档图像上,老将的曲线下面积能到 0.96,在这份活检证实的难卷上只有 0.86。卷子是真的难。
博文未经同行评审,分析脚本倒是用了 Claude Code 辅助写就,评分环节按病理报告脚本化执行,没有人工干预的空间。
🧭 老问题的新读数
十年前,Inception v3 登上《自然》靠的是"能跟医生打平"。十年后它重新上场,比的东西变了:不看像不像医生,只看窄科目上谁更稳。通用模型什么都懂一点,可皮损分类是一个答案空间极小、后果极重的封闭任务,专项网络在这种地方又便宜又快,二十分钟的微调就够。
大模型当全科医生的叙事还在往前跑。这份小样本的成绩单至少提醒了一件事:全科之下,专科的流水线并没有退休,反而显得更结实了。至于两位状元什么时候能在窄科目上稳住阵脚,Lynch 的考卷就摆在那里,两百道题,随时可以重考。
信源:Magnus Lynch 博客 Lynch Lab《A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis》(2026-10-25);ISIC Archive;MILK10k 数据集说明;Esteva 等《自然》2017 年皮肤癌分类论文(背景)。
限定:全部数字出自该博文,单作者、未同行评审;每模型每病例单次运行;黑素瘤样本三十例,统计功效有限;两台大模型的具体版本与提示词设置以博文自述为准;本文不含任何就医建议。
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。