Abstract
Sign language translation (SLT) aims to translate natural language from sign language videos, serving as a vital bridge for inclusive communication. While recent advances leverage powerful visual backbones and large language models, most approaches mainly focus on manual signals (hand gestures) and tend to overlook non-manual cues like mouthing. In fact, mouthing conveys essential linguistic information in sign languages and plays a crucial role in disambiguating visually similar signs. In this paper, we propose SignClip, a novel framework to improve the accuracy of sign language translation. It fuses manual and non-manual cues, specifically spatial gesture and lip movement features. Besides, SignClip introduces a hierarchical contrastive learning framework with multi-level alignment objectives, ensuring semantic consistency across sign-lip and visual-text modalities. Extensive experiments on two benchmark datasets, PHOENIX14T and How2Sign, demonstrate the superiority of our approach. For example, on PHOENIX14T, in the Gloss-free setting, SignClip surpasses the previous state-of-the-art model SpaMo, improving BLEU-4 from 24.32 to 24.71, and ROUGE from 46.57 to 48.38.
Abstract (translated)
手语翻译（SLT）旨在将视频中的手势语言转化为自然语言，作为包容性沟通的重要桥梁。尽管最近的研究进展利用了强大的视觉骨干网络和大型语言模型，但大多数方法主要关注手动信号（如手部动作），而往往忽略了非手动线索，例如口型。实际上，在手语中，口型传达了重要的语言信息，并且在区分视觉相似的手势时起着关键作用。 本文提出了一种新的框架——SignClip，旨在提高手语翻译的准确性。该框架融合了手工信号和非手工线索，特别是空间手势与唇部运动特征。此外，SignClip 引入了一个分层对比学习框架，并采用了多级对齐目标，确保在符号-唇形和视觉-文本模式之间保持语义一致性。 在两个基准数据集 PHOENIX14T 和 How2Sign 上进行的广泛实验表明了我们方法的优势。例如，在 PHOENIX14T 数据集中，无 Gloss（注：Gloss 指的是手语翻译中的一种简化表示形式）设置下，SignClip 超越了之前的最新模型 SpaMo，将 BLEU-4 评分从 24.32 提高到了 24.71，并将 ROUGE 评分从 46.57 提升至 48.38。
URL
https://arxiv.org/abs/2509.10266
