Abstract
Document Image Machine Translation (DIMT) seeks to translate text embedded in document images from one language to another by jointly modeling both textual content and page layout, bridging optical character recognition (OCR) and natural language processing (NLP). The DIMT 2025 Challenge advances research on end-to-end document image translation, a rapidly evolving area within multimodal document understanding. The competition features two tracks, OCR-free and OCR-based, each with two subtasks for small (less than 1B parameters) and large (greater than 1B parameters) models. Participants submit a single unified DIMT system, with the option to incorporate provided OCR transcripts. Running from December 10, 2024 to April 20, 2025, the competition attracted 69 teams and 27 valid submissions in total. Track 1 had 34 teams and 13 valid submissions, while Track 2 had 35 teams and 14 valid submissions. In this report, we present the challenge motivation, dataset construction, task definitions, evaluation protocol, and a summary of results. Our analysis shows that large-model approaches establish a promising new paradigm for translating complex-layout document images and highlight substantial opportunities for future research.
Abstract (translated)
文档图像机器翻译（DIMT）旨在通过同时建模文本内容和页面布局，将嵌入在文档图像中的文字从一种语言翻译成另一种语言，从而连接光学字符识别（OCR）与自然语言处理（NLP）。DIMT 2025挑战赛促进了端到端文档图像翻译研究的发展，这是一个多模式文档理解领域的迅速发展的领域。比赛设有两个赛道：无OCR和基于OCR的赛道，每个赛道分为小型模型（参数小于10亿）和大型模型（参数大于10亿）两种子任务。参赛者提交单一综合DIMT系统，并可以选择使用提供的OCR转录文本。从2024年12月10日到2025年4月20日，比赛吸引了69支队伍，总计收到27份有效提交。第一赛道有34支队伍和13份有效提交；第二赛道则有35支队伍和14份有效提交。在本报告中，我们将介绍挑战赛的动机、数据集构建、任务定义、评估协议以及结果总结。我们的分析表明，大型模型方法为翻译复杂布局文档图像建立了一个具有前景的新范式，并突显了未来研究的巨大机会。 以下是报告的主要内容概述： 1. **挑战赛动机**： - 描述DIMT的重要性及其在多模态文档理解领域的地位。 - 阐明比赛的目的是推动跨OCR和NLP的技术进展，特别是在处理复杂布局的文档图像方面。 2. **数据集构建**： - 介绍用于训练、验证及测试的数据集来源与特性。 - 强调如何利用真实世界的场景来设计挑战赛中的任务，确保其对实际应用具有重要意义。 3. **任务定义**： - 明确两个赛道的任务描述和目标：无OCR方法需要直接处理图像内容；而基于OCR的方法可以利用提取的文字信息进行翻译。 - 说明每种模型规模下的具体要求以及评估标准。 4. **评价协议**： - 描述如何评估参赛作品的质量，包括准确率、效率及创新性等方面的考量。 - 提供了评分准则和方法论以确保公正性和透明度。 5. **结果总结与分析**： - 展示竞赛中不同团队的成果及其在各类指标上的表现。 - 分析大型模型相对于较小模型的优势，特别是在处理复杂文档时表现出的能力提升。 这份报告详细记录并评估了DIMT 2025挑战赛的过程和成果，为未来的研究提供了重要的参考。
URL
https://arxiv.org/abs/2603.09392
