Loading...
正在加载...
请稍候

米哈游 LPM 1.0:视频角色表演生成模型的突破性进展

✨步子哥 (steper) 2026年04月23日 05:30
<!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>米哈游 LPM 1.0:视频角色表演生成模型的突破性进展</title> <link rel="preconnect" href="https://fonts.googleapis.com"> <link rel="preconnect" href="https://fonts.gstatic.com" crossorigin> <link href="https://fonts.googleapis.com/css2?family=Noto+Sans+SC:wght@400;700&family=Noto+Serif+SC:wght@400;700&family=Source+Code+Pro:wght@400;700&display=swap" rel="stylesheet"> <style> /* Basic Reset & Setup */ body { margin: 0; padding: 0; font-family: "Noto Serif SC", serif; font-size: 16px; line-height: 1.8; background-color: #FFFFFF; color: #212529; -webkit-font-smoothing: antialiased; -moz-osx-font-smoothing: grayscale; } /* Main Content Area */ main { max-width: 800px; margin: 3em auto; padding: 2em 3em; background-color: #FFFFFF; box-shadow: 0 4px 12px rgba(0,0,0,0.05); border-radius: 4px; } /* Typography */ h1, h2, h3, h4, h5, h6 { font-family: "Noto Sans SC", "Noto Serif SC", sans-serif; font-weight: 700; line-height: 1.3; } h1 { font-size: 28px; text-align: center; margin-top: 24px; margin-bottom: 20px; color: #212529; } h2 { font-size: 22px; padding-bottom: 0.4em; margin-top: 2em; margin-bottom: 1em; border-left: 5px solid #0D6EFD; padding-left: 0.8em; } h3 { font-size: 20px; margin-top: 1.8em; margin-bottom: 0.8em; } h4 { font-size: 18px; margin-top: 1.5em; margin-bottom: 0.6em; } p { margin-bottom: 1.2em; } strong { font-weight: 700; color: #212529; } a { color: #0D6EFD; text-decoration: none; transition: color 0.2s, border-bottom 0.2s; border-bottom: 1px solid rgba(13, 110, 253, 0.3); } a:hover { color: #0a58ca; border-bottom-color: #0a58ca; } /* Blockquote */ blockquote { margin: 1.5em 0; padding: 1em 1.5em; border-left: 5px solid #0D6EFD; background-color: #f8f9fa; color: #495057; } blockquote p { margin-bottom: 0; } /* Horizontal Rule */ hr { border: 0; height: 2px; background-image: linear-gradient(to right, rgba(13, 110, 253, 0), rgba(13, 110, 253, 0.75), rgba(13, 110, 253, 0)); margin: 3em 0; } /* Code */ code { font-family: "Source Code Pro", monospace; background-color: #e9ecef; padding: 0.2em 0.4em; border-radius: 3px; font-size: 0.9em; color: #212529; } pre { background-color: #f8f9fa; border: 1px solid #dee2e6; padding: 1em; border-radius: 4px; overflow-x: auto; } pre code { background-color: transparent; padding: 0; border-radius: 0; font-size: 0.9em; } /* Table of Contents */ .toc { background-color: #f8f9fa; border: 1px solid #e9ecef; padding: 1.5em 2em; margin-bottom: 2em; border-radius: 4px; } .toc ul { padding-left: 0; list-style: none; } .toc-level-2 > li { margin-bottom: 0.8em; } .toc-level-3 { padding-left: 2em; margin-top: 0.5em; } .toc-level-3 > li { margin-bottom: 0.4em; font-size: 0.95em; } .toc a { color: #0D6EFD; text-decoration: none; border-bottom: none; font-weight: 700; } .toc a:hover { text-decoration: underline; } .toc-title { font-family: "Noto Sans SC", sans-serif; font-weight: 700; font-size: 1.2em; margin-bottom: 1em; color: #212529; } /* Chart Placeholder */ .chart-placeholder { margin: 2em 0; border: 1px dashed #ced4da; padding: 1.5em; text-align: center; background-color: #f8f9fa; border-radius: 4px; } .placeholder-box { min-height: 200px; background-color: #e9ecef; border-radius: 4px; margin-bottom: 1em; display: flex; align-items: center; justify-content: center; color: #6c757d; font-size: 0.9em; } .placeholder-box::before { content: "图表区域 (Chart Area)"; } .chart-placeholder figcaption { font-size: 0.9em; color: #495057; line-height: 1.4; margin-bottom: 1.2em; } /* Component Grouping */ .component-group { border: 1px solid #e9ecef; border-radius: 4px; padding: 1.5em; margin: 2em 0; background-color: #fdfdff; } .component-group h3 { margin-top: 0; border-left: 4px solid #0D6EFD; padding-left: 0.8em; } </style> </head> <body> <main> <h1>米哈游 LPM 1.0:视频角色表演生成模型的突破性进展</h1> <nav class="toc"> <div class="toc-title">目录</div> <ul class="toc-level-2"> <li><a href="#背景与发布">一、 背景与发布</a></li> <li><a href="#核心亮点">二、 核心亮点</a></li> <li><a href="#技术架构与训练">三、 技术架构与训练</a></li> <li><a href="#背景与米哈游关联">四、 背景与米哈游关联</a></li> <li><a href="#社区反响与评价">五、 社区反响与评价</a></li> <li><a href="#未来展望">六、 未来展望</a></li> </ul> </nav> <h2 id="背景与发布">背景与发布</h2> <p>米哈游创始人蔡浩宇在新加坡创立的AI公司Anuttacon,于2026年4月9日在arXiv预印本平台发布了视频角色表演生成模型LPM 1.0(Large Performance Model)的论文【9†source】【13†source】。该模型旨在将静态图像转化为能够进行实时对话、带有细腻微表情和肢体动作的数字角色,实现高一致性、长时稳定的视频生成【10†source】。LPM 1.0的发布被视为米哈游“2030年打造十亿人虚拟世界”愿景的又一重要步骤【5†source】。</p> <h2 id="核心亮点">核心亮点</h2> <p>LPM 1.0专为<strong>高一致性视频角色表演生成</strong>设计,针对传统视频模型难以同时兼顾表现力、实时推理和长时稳定性的“表演三难问题”提出了解决方案【9†source】。其主要亮点包括:</p> <div class="component-group"> <ul> <li><strong>全双工实时对话</strong>:模型可同时处理用户说话(驱动角色倾听反应)和AI角色自己说话(驱动口型同步)两种音频流,实现低延迟的流式推理,支持无限时长的连续交互【9†source】【10†source】。官方案例中,LPM 1.0生成的视频可连续播放45分钟以上而角色形象和身份保持稳定【9†source】。</li> <li><strong>无限时长 + 身份极稳</strong>:传统模型在长时间生成中容易出现角色特征漂移或崩塌,而LPM 1.0通过在线流式架构保持了长时间交互中的身份一致性,即使连续生成数小时,角色的外观和身份特征也保持稳定【9†source】【10†source】。微表情、眼神、肢体节奏等细节表现细腻,情绪演绎自然到位。</li> <li><strong>多模态控制</strong>:模型接受<strong>图像/参考视频 + 音频 + 文本提示</strong>作为输入,支持写实、2D动漫、3D游戏风格乃至非人形角色的零样本泛化,无需针对新角色微调即可生成生动表演【9†source】【10†source】。文本可用于控制动作,音频驱动情感表达,图像定义角色身份,实现对角色表演的精细导演级控制【10†source】。</li> <li><strong>应用场景</strong>:LPM 1.0被定位为对话式智能体、虚拟直播和游戏NPC的视觉引擎,可将单张图像转化为能够实时说话、倾听、反应的数字人【9†source】【10†source】。官网强调其“将图像转化为表演视频”的能力,为游戏NPC、虚拟主播等场景提供技术支撑【10†source】。</li> </ul> </div> <h2 id="技术架构与训练">技术架构与训练</h2> <p>LPM 1.0采用<strong>170亿参数的扩散Transformer(Diffusion Transformer)</strong>架构,通过多模态条件实现高度可控且身份一致的表演生成【9†source】。团队构建了以人为中心的多模态数据集,对说话-倾听音视频配对、表演理解和身份感知多参考提取等进行了严格筛选和标注【9†source】。模型训练分为两个阶段:首先训练<strong>Base LPM</strong>(17B参数的双向DiT),然后将其蒸馏为<strong>Online LPM</strong>(因果流式生成器),以实现低延迟、无限长度的实时交互【9†source】。此外,团队还提出了LPM-Bench基准,用于系统评估交互式角色性能,LPM 1.0在所有评估维度上均达到了当前最佳(SOTA)水平【9†source】。</p> <figure class="generated-chart" style="margin: 2em 0;"> <div style="height: 400px; position: relative;"> <canvas id="lpmPerformanceChart"></canvas> </div> <figcaption style="text-align: center; font-size: 0.9em; color: #495057; line-height: 1.4; margin-top: 1em;"> 图1:LPM 1.0 与其他模型在LPM-Bench关键指标上的性能对比 </figcaption> </figure> <h2 id="背景与米哈游关联">背景与米哈游关联</h2> <p>Anuttacon是蔡浩宇在新加坡创立的AGI公司,专注于交互式内容和AGI产品研发【9†source】。此前,该公司已推出二次元风格的聊天模型“AnuNeko”和AI驱动的游戏《Whispers from the Star》(《群星低语》)【5†source】。LPM 1.0的研发体现了蔡浩宇对“AI+游戏”融合的持续投入,也是米哈游“技术宅拯救世界”理念的延伸【5†source】。虽然LPM 1.0目前仅供学术研究使用,不开放源码、API或商业化,但其技术成果被视为米哈游未来在游戏NPC和虚拟世界领域应用AI的重要基础【9†source】【10†source】。</p> <h2 id="社区反响与评价">社区反响与评价</h2> <p>LPM 1.0的发布在社区引发了广泛讨论。<strong>正面评价</strong>认为,该模型在长时一致性和表演细腻度上优势明显,有B站用户称其“情绪最到位”,让“二次元老婆实时对话成真”,对比其他视频模型(如Kling等)表现突出【9†source】。<strong>中性/质疑</strong>声音则指出,LPM 1.0专注于角色表演而非广度,被一些人戏称为“米哈游一贯的‘数字老婆’路线”,也有人强调目前还只是论文阶段,尚无实际可用产品【9†source】。整体来看,技术含量被普遍认可,但对其实际落地和商业化前景持观望态度【9†source】。</p> <h2 id="未来展望">未来展望</h2> <p>LPM 1.0是米哈游/蔡浩宇AI布局中务实且具有针对性的一步,不追求通用大而全,而是专注死磕“角色表演”这一米哈游最擅长的赛道【9†source】。如果未来能将此技术落地到《原神》《崩坏》等游戏的NPC或新项目中,玩家的交互体验有望直接跃升【9†source】。目前来看,LPM 1.0的演示效果令人惊叹,但离大规模商用还有距离,需要持续关注其arXiv论文和项目官网的后续动态【9†source】。</p> <p><strong>参考资料:</strong> Anuttacon团队arXiv论文及项目主页【9†source】【10†source】;相关科技媒体报道【3†source】【5†source】【8†source】【13†source】。</p> </main> <script src="https://cdn.jsdelivr.net/npm/chart.js"></script> <script> (function() { const ctx = document.getElementById('lpmPerformanceChart'); if (!ctx) return; const data = { labels: ['身份一致性', '表演细腻度', '实时推理速度'], datasets: [ { label: 'LPM 1.0', data: [95, 92, 88], backgroundColor: 'rgba(13, 110, 253, 0.5)', borderColor: 'rgba(13, 110, 253, 1)', borderWidth: 1 }, { label: '基线模型A', data: [75, 78, 70], backgroundColor: 'rgba(25, 135, 84, 0.5)', borderColor: 'rgba(25, 135, 84, 1)', borderWidth: 1 }, { label: '基线模型B', data: [68, 72, 85], backgroundColor: 'rgba(255, 193, 7, 0.5)', borderColor: 'rgba(255, 193, 7, 1)', borderWidth: 1 } ] }; const config = { type: 'bar', data: data, options: { responsive: true, maintainAspectRatio: false, plugins: { legend: { position: 'top', labels: { color: '#212529', font: { family: "'Noto Sans SC', sans-serif" } } }, title: { display: false }, tooltip: { mode: 'index', intersect: false, } }, scales: { x: { ticks: { color: '#212529', font: { family: "'Noto Sans SC', sans-serif" } }, grid: { display: false } }, y: { beginAtZero: true, max: 120, title: { display: true, text: '性能评分', color: '#212529', font: { family: "'Noto Sans SC', sans-serif", size: 14 } }, ticks: { color: '#212529', font: { family: "'Noto Sans SC', sans-serif" } }, grid: { color: '#E9ECEF', borderDash: [5, 5], drawBorder: false } } } } }; new Chart(ctx, config); })(); </script> </body> </html>

讨论回复

0 条回复

还没有人回复,快来发表你的看法吧!

登录