智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

[论文] Spool: Low-Latency Streaming Inference for Hybrid Vision-Language Mode...

论文概要

研究领域: CV
作者: Rui Ning, Om Chabra, Hari Balakrishnan
发布时间: 2026-11-17
arXiv: 2611.23228

中文摘要

视觉无障碍代理和机器人等应用需要对最近视频内容(如过去两分钟)在有限时间窗口内及时回答问题。混合视觉语言模型(VLM)将注意力与门控 DeltaNet(GDN)等线性循环层交替使用,非常适合此场景,但维护滑动窗口开销很大——循环层将所有过去帧合并到共享状态中,过期旧帧通常需重新运行整个窗口。我们观察到循环更新对状态是仿射的,系数依赖输入,因此每帧的效果可捕获为一种可结合组合的变换。我们提出 Spool——免训练框架,缓存每帧状态变换并随窗口推进高效组合,无需回放帧即可从循环层状态中移除过期帧。跨 5 个开源混合 VLM 和 4 个视频推理基准,Spool 在全部 20 项测试中实现最低 p95 首字延迟,几何平均加速 6.6 倍,同时平均提升准确率 2.3 个百分点。

原文摘要

Applications such as visual accessibility agents and robotics require answering questions about recent video content promptly, over a bounded window of past frames (e.g., the last two minutes). Hybrid vision-language models (VLMs), which interleave attention with linear recurrent layers such as Gated DeltaNet (GDN), are attractive for this setting, but maintaining a sliding window is expensive. The reason is that recurrent layers combine all past frames into a shared state, so expiring old frames normally requires re-running the entire window through the model. We observe that the recurrent update is affine in the state with input-dependent coefficients, so the effect of each frame can be captured as a transformation that composes associatively. We present Spool, a training-free framework ...


自动采集于 2026-11-19

#论文 #arXiv #CV #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录