Abstract
Automatic speech recognition (ASR) still covers only a small fraction of the world's languages, mainly due to supervised data scarcity. In-context learning (ICL) with large language models (LLMs) addresses this problem, but prior work largely focuses on high-resource languages covered during training and text-only settings. This paper investigates whether speech LLMs can learn unseen languages with multimodal ICL (MICL), and how this learning can be used to improve ASR. We conduct experiments with two speech LLMs, Phi-4 and Qwen3-Omni, on three diverse endangered languages. Firstly, we find that MICL is effective for unseen languages, leveraging both speech and text modalities. We further show that cross-lingual transfer learning improves MICL efficiency on target languages without training on them. Moreover, we analyze attention patterns to interpret MICL mechanisms, and we observe layer-dependent preferences between audio and text context, with an overall bias towards text. Finally, we show that prompt-based ASR with speech LLMs performs poorly on unseen languages, motivating a simple ASR system that combines a stronger acoustic model with a speech LLM via MICL-based selection of acoustic hypotheses. Results show that MICL consistently improves ASR performance, and that cross-lingual transfer learning matches or outperforms corpus-trained language models without using target-language data. Our code is publicly available.
Abstract (translated)
这篇文档探讨了多模态上下文学习（MICL）在语音大语言模型（LLM）中的应用，特别是在处理低资源和未见过的语言方面的潜力。具体来说： 自动语音识别（ASR）目前仅覆盖世界一小部分语言，主要由于监督数据稀缺的问题。而在大型语言模型中进行的上下文学习（ICL）可以解决这个问题，但现有研究多集中在训练期间使用的高资源语言以及单一文本环境上。本文探讨了是否可以通过使用基于语音的大语言模型和多模态上下文学习（MICL）来学习未见过的语言，并研究这种学习如何能提高ASR性能。 研究人员对两个不同的语音大语言模型——Phi-4和Qwen3-Omni进行了实验，涉及三种濒危且多样化的语言。主要发现包括： 1. **多模态上下文学习的有效性**：结果显示，通过利用声音和文本的双模式信息，MICL在处理未见过的语言时是有效的。 2. **跨语种迁移学习的优势**：研究还表明，在目标语言上进行训练之前，可以通过跨语种转移学习提高MICL效率。这意味着可以在没有特定语言数据的情况下改进该语言上的ASR性能。 3. **注意力模式的分析**：研究人员还通过分析模型中不同层对音频和文本上下文的偏好来解释多模态上下文学习机制的工作原理，并观察到总体而言，模型更倾向于依赖文本信息而非语音信息。 4. **基于提示的ASR与MICL结合系统的性能对比**：研究发现，在处理未见过的语言时，仅依靠提示进行自动语音识别（即直接利用语言模型生成转录）的表现较差。因此，作者提出了一种简单的系统设计，该系统结合了一个更强的声学模型和一个通过MICL基于提示选择最佳假设的大语言模型。 实验结果表明，无论是在多模态上下文学习本身还是在通过跨语种迁移学习改进目标语言上的ASR性能方面，方法都能持续提高自动语音识别的效果。特别是在没有针对特定语言训练数据的情况下，跨语种转移学习的表现可以与使用该语言的语料库进行训练的语言模型相媲美或超越。 研究代码对公众开放，这有助于其他研究人员在低资源和濒危语言领域中进一步探索多模态上下文学习的应用潜力。
URL
https://arxiv.org/abs/2601.05707
