Abstract
Our objective is to build a general time-aware video-text embedding model for retrieval. To that end, we propose a simple and efficient recipe, dubbed TARA (Time Aware Retrieval Adaptation), to adapt Multimodal LLMs (MLLMs) to a time-aware video-text embedding model without using any video data at all. For evaluating time-awareness in retrieval, we propose a new benchmark with temporally opposite (chiral) actions as hard negatives and curated splits for chiral and non-chiral actions. We show that TARA outperforms all existing video-text models on this chiral benchmark while also achieving strong results on standard benchmarks. Furthermore, we discover additional benefits of TARA beyond time-awareness: (i) TARA embeddings are negation-aware as shown in NegBench benchmark that evaluates negation in video retrieval, (ii) TARA achieves state of the art performance on verb and adverb understanding in videos. Overall, TARA yields a strong, versatile, time-aware video-text embedding model with state of the art zero-shot performance.
Abstract (translated)
我们的目标是构建一个用于检索的时间感知型视频-文本嵌入模型。为此，我们提出了一种简单而高效的方案，称为TARA（Time Aware Retrieval Adaptation），可以在不使用任何视频数据的情况下将多模态大型语言模型（MLLMs）适应为时间感知型的视频-文本嵌入模型。为了评估检索中的时间感知性，我们提出了一个新的基准测试，该基准使用时间上相反的动作作为难例（chiral actions 的硬负样本），并针对时间相反和非时间相反的动作进行了精心设计的数据集划分。 结果显示，TARA在这一新的时间相反动作基准测试中优于所有现有的视频-文本模型，并且还在标准基准测试中取得了优异的成绩。此外，我们还发现了TARA除了具备时间感知性之外的额外优势：(i) TARA生成的嵌入是具有否定意识的，在NegBench基准测试（该测试评估视频检索中的否定语义）中得到了验证；(ii) TARA在理解视频中的动词和副词方面达到了最佳性能。 总体而言，TARA提供了一个强大的、多功能的时间感知型视频-文本嵌入模型，并且在零样本设置下表现出色。
URL
https://arxiv.org/abs/2512.13511
