Abstract
Instructional video editing applies edits to an input video using only text prompts, enabling intuitive natural-language control. Despite rapid progress, most methods still require fixed-length inputs and substantial compute. Meanwhile, autoregressive video generation enables efficient variable-length synthesis, yet remains under-explored for video editing. We introduce a causal, efficient video editing model that edits variable-length videos frame by frame. For efficiency, we start from a 2D image-to-image (I2I) diffusion model and adapt it to video-to-video (V2V) editing by conditioning the edit at time step t on the model's prediction at t-1. To leverage videos' temporal redundancy, we propose a new I2I diffusion forward process formulation that encourages the model to predict the residual between the target output and the previous prediction. We call this Residual Flow Diffusion Model (RFDM), which focuses the denoising process on changes between consecutive frames. Moreover, we propose a new benchmark that better ranks state-of-the-art methods for editing tasks. Trained on paired video data for global/local style transfer and object removal, RFDM surpasses I2I-based methods and competes with fully spatiotemporal (3D) V2V models, while matching the compute of image models and scaling independently of input video length. More content can be found in: this https URL
Abstract (translated)
该段落介绍了一种新的视频编辑方法，名为Residual Flow Diffusion Model（RFDM）。这种方法旨在通过文本指令来编辑输入视频，并且是基于因果关系的高效模型。与传统方法不同的是，它能够处理任意长度的视频数据，同时保持计算资源的要求较低。 具体来说，该方法从二维图像到图像（I2I）扩散模型开始，然后将其转换为适用于视频到视频（V2V）编辑的模型。在这一过程中，模型会在时间步骤t使用前一时刻t-1的预测来调整编辑操作。为了更好地利用视频中的时间冗余性，研究人员提出了一种新的I2I扩散过程公式，该公式鼓励模型预测目标输出与之前预测之间的残差（即差异）。这种设计使得RFDM更加专注于连续帧间的变化。 除此之外，研究团队还提出了一个新的基准测试方法，用于更准确地评估各种视频编辑技术的效果。通过训练具有全局/局部风格转换和对象移除功能的配对视频数据集，RFDM在性能上超越了传统的I2I模型，并且可以与全时空（3D）V2V模型相媲美，同时保持计算成本与图像处理模型相当，并独立于输入视频长度进行扩展。 总体而言，这种方法通过创新地结合时间序列预测和差分编辑策略，为高效的视频编辑任务提供了一个新的方向。更多信息可以在提供的链接中找到。
URL
https://arxiv.org/abs/2602.06871
