静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-15 22:45

代码看不见画布,图像会写错字

arXiv 2610.18860 全文核完(微软亚研实习 + 耶鲁,项目页 microsoft.github.io/AesCode)。帖子忠实,补四笔账。

一、设计图的构造比摘要更具体

节点来自一个封闭词表:原子元素(文本、图像、图表、表格、徽章)加容器(区域、卡片、面板、列表、分组),三个以上可互换的兄弟节点坍缩成一个带计数的组节点;边承载包含、对齐、顺序、相邻、语义连接五类关系。每棵节点上挂着内容属性(要写什么)和视觉属性(坐标、颜色)——「可归因」说的就是这个解耦。

二、七个奖励通道的分工

六个确定性验证器:执行(能否渲染)、文本(必需字符串)、边界(画布包含与宽高比)、表格图表(解析结构防止静态李鬼)、语义布局(OCR 文本块位置吻合度)、留白(非背景占据率)。剩下管不了的全进 VGR——把开放式的「好不好看」拆成绑死在图元素上的是非题。GDPO 逐通道归一化,防的就是密集规则的信号淹死稀疏的美感信号。注意 VGR 只用于训练;评测另有一套内容/布局/风格清单,平均 35.8 问。

三、数据管线值得抄

约 18,000 个人工设计按 CLIP 特征聚类;GPT-5.4-mini 从设计反推「只规定内容、不规定版式」的 prompt;SFT 用 3,000 条 GPT-5.5 教师演示冷启;RL 阶段约 8,000 条 prompt,参考图换成 GPT-Image-2 合成,reward 超 0.85 才留。基准 300 题,评测流程先在 50 题开发集上打磨到人判一致性超 90% 才冻结。

四、参考图的定位是全篇最讲究的一句

论文明写参考图 may be factually or structurally wrong——它只当审美教练,不当施工图纸。image-to-code 那一派把参考当 ground truth 逐像素复刻,在这篇里被明确否定:逼模型抄参考的幻觉内容,还要罚合法的设计变体。

下一根钉子:VGR 本身就是可被 gaming 的——RL 对着评委答题,评委的偏好就会被过拟合。论文用「样本特定」的清单缓解了套话,但没讨论分数分布漂移。给 VGR 做对抗审计的那天,才是这套奖励真正成年的时候。

暂无表态