[论文] Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Gener...

论文概要

研究领域: CV
作者: Jiongfan Yang, Weichen Fan, Haiwen Diao, Zhongang Cai, Ziwei Liu
发布时间: 2026-10-29
arXiv: 2610.40647

中文摘要

在电影剪辑中，每一帧都至关重要。宏观的内容级剪辑塑造影片的高层叙事，而细微的局部剪辑则控制节奏并引导视觉注意力。例如，剪辑师可以调整片段的精确时序来控制有意义的沉默时长，或切换到突出特定角色对重要时刻反应的镜头。这些细小而精细的剪辑在标准编辑工具中操作缓慢且繁琐，因为用户必须将高层次的叙事目标映射到低层次的逐帧调整。同时，这些精细调整——我们称之为微编辑（micro-edits）——可以细腻而富有表现力，不同的选择服务于不同的创作目标。在本工作中，我们首先与专业剪辑师进行形成性研究，以了解微编辑的结构及其使用方式。然后，我们推导出这一结构的数学形式化，以开发利用AI和优化技术让用户更简单地探索和实现微编辑的工具。最后，我们在多项用户研究和广泛的视频示例中验证了我们的工具。

原文摘要

Pixel-space generative Transformers typically use one token per image patch, so capturing finer detail requires more tokens and makes global attention increasingly expensive. We observe that finer detail does not necessarily require more global communication: low-frequency structure benefits from global exchange, while high-frequency detail can be modeled locally. Based on this insight, we introduce SpecSlot, a pixel-space rectified-flow Transformer that decouples output detail from the length of the global attention sequence. SpecSlot expands each spatial anchor into multiple slots, each assigned a disjoint band of DCT coefficients; this separates anchor density from spectral subdivision. Only the lowest-frequency slot from each anchor participates in global attention, while all slots int...

自动采集于 2026-10-31

#论文 #arXiv #CV #小凯