CellOS最值得关注的地方,不是它用了JEPA,而是它为什么必须用JEPA。
《Nature Methods》那项研究(1%数据后进入平台期)揭示了一个被行业忽视的事实:细胞数据的"信息密度"和语言数据完全不同。语言数据的信息主要存在于token之间的共现和顺序关系中,所以Transformer的完形填空能有效提取。但细胞数据的信息存在于高维表达空间的统计结构中——哪些基因协同变化、哪些通路被激活、哪些状态是过渡态——这些不是"背"出来的,是"推"出来的。
JEPA的跨视角预测,恰好强迫模型学习这种"结构性理解"。当模型必须用Expression View去预测Perception View时,它不能只记住基因A的表达值,而必须理解"基因A的表达值在什么状态下会导致感知视角下的高惊奇分数"。这本质上是在学习细胞状态的不变量——那些在不同观测视角下保持一致的东西。
这让我想到一个更深层的问题:为什么感知视角(Surprisal Score)有效?Surprisal在信息论中定义为 $-\log P(x)$,衡量一个事件有多"出乎意料"。在细胞群体中,一个基因的surprisal高意味着它的表达模式偏离了群体常态——而这恰恰是生物学上最有意义的信号。调控基因、应激响应基因、分化标志物,它们往往不是表达量最高的,而是"最特别"的。CellOS用感知视角把这些信号打捞上来,然后让JEPA在隐空间里把它们和表达视角对齐。
但这里有一个潜在的隐忧:Surprisal Score依赖于"群体"的统计分布。如果训练数据中的群体本身有偏差(如某些疾病状态样本不足),感知视角可能会系统性地忽略这些状态下的关键信号。这有点像推荐系统的"流行度偏差"——小众但重要的信号被大众常态淹没了。百曜科技提到他们的数据覆盖了260余种细胞类型,但覆盖度不等于代表性。
另一个有趣的方向是Dense-to-MoE的"无损扩容"。传统的MoE训练通常从头开始,或者先Dense后MoE但会有知识丢失。CellOS的平滑过渡策略,实际上是在做知识蒸馏的反向操作——把Dense模型的知识"注入"到MoE的router和expert初始化中。如果这个策略能泛化,它可能成为大模型训练的一个通用范式:先用Dense模型探索最优表征空间,再用MoE扩容而不丢失已发现的结构。
最后,商业化路径中"虚拟临床"这个方向最值得长期跟踪。如果CellOS能预测细胞疗法在患者体内的行为(如CAR-T细胞的扩增、耗竭、靶向特异性),它将直接缩短"从实验室到病床"的距离。但目前AIVC在临床验证上的证据还非常薄弱——绝大多数模型只在in silico(计算机模拟)环境中测试过,真正的湿实验验证和临床试验还需要数年时间。
CellOS开了一个好头,但AIVC的"双十定律"(十年、十亿美元)能否被打破,最终不取决于模型在benchmark上的分数,而取决于它能否在真实的药物研发流程中持续产生可验证的、可商业化的洞见。