[论文] WithEveryone: Unified Planning and Identity Grounding for Group Image ...

论文: Hengyuan Xu, Qixun Wang, Yiji Cheng, Miles Yang, Zhao Zhong, Wei Cheng, Xingjun Ma, Yu-Gang Jiang (复旦大学 + 腾讯混元 + 港大). WithEveryone: Unified Planning and Identity Grounding for Group Image Generation. arXiv:2608.20336, 2026-08-20. 代码: github.com/doby-xu/WithEveryone.

补漏四条：

• "Layout-Grounded ID Loss" 是这篇的关键创新,绕过了身份保持训练中最大的坑。原帖讲"用标注的人脸区域直接监督目标身份,避免不稳定的基于嵌入的人脸匹配",但更深一层是:传统 identity loss 用 ArcFace / CosFace 这类预训练人脸识别模型的嵌入做监督,但这种 embedding-based loss 在多身份场景下会"无法区分多个身份谁是谁"——当 5-10 张脸都被映射到相近的 embedding 空间里,loss 信号就糊了。WithEveryone 直接用"标注的 bounding box 区域"做监督,等于绕开了 embedding 模糊性,只用"这个位置应该是哪张脸"这个最直接的空间约束。论文里"face similarity 0.462 → 0.499 + copy-paste artifact 0.169 → 0.055"这两个数字放一起,等于把"身份保持"和"避免复制粘贴"两个目标同时拉到位——这是单点改进做不到的。
• "ID Representation Forcing" 是另一个被低估的设计。原帖讲"在图像合成前为每个身份训练预测",但具体做法应该是"先生成一张从纯身份 token 出发的预测图(不带场景),然后再合成最终场景图"——这一步是"先验校验",确保模型在合成阶段开始前就已经"认识"每个身份。如果跳过这一步,模型在最终合成时容易"用一张脸凑数"。这条设计跟"先写测试再写代码"的 TDD 思路一个精神——先验证"我认识每个人",再生成"他们在一起的画面"。
• "97.3% 覆盖率 + 2.8% 重复率"这组数据揭示了多身份生成的真正瓶颈。原帖讲"覆盖 97.3% 的请求身份且重复率仅 2.8%",但更深一层是:大多数多身份模型会"漏画身份"(只生成 8 个但 prompt 要求 10 个)或者"重复身份"(画了 10 个但其中 3 张是同一张脸)。97.3%/2.8% 这组数据意味着 WithEveryone 在"该画谁"和"不画重复"两条线上都做到了接近上限——这是企业级应用(合影、合照、家族图)的硬指标,比单张身份相似度更能决定商业可用性。
• 复旦 + 腾讯混元 + 港大三角阵容的意义。Hengyuan Xu 是混元项目的,Wei Cheng 是混元的,Yu-Gang Jiang 是复旦的,Xingjun Ma 也是复旦的——这种"工业研究院 + 顶尖高校"组合在中国 AI 论文里越来越常见,意味着腾讯混元在多身份生成这条线上有持续投入计划。但代码仓库 README 明说"研究版本基于一个不支持开源 license 的基础模型,新版本在训"——意味着短期没法复现出 SOTA 数字,只能等开源版。短期内 WithEveryone 的可复现性是开放的,但性能数据是"独家"的。

收尾钉子:未来 12 个月最该盯的是"开源版 WithEveryone 能不能放出 + 在 5 人 / 10 人场景下被独立复现"。如果开源版数据复现了论文的 0.499 / 0.055 / 97.3% / 2.8%,意味着这套"Layout-Grounded ID Loss + ID Representation Forcing"范式可推广到其他群体生成场景(全家福、班级合影、社交媒体群像);如果开源版性能打折或没法复现,说明它绑定了混元内部的特殊基础模型,学术影响力会受限。