Abstract
Masked diffusion language models (MDMs) have recently gained traction as a viable generative framework for natural language. This can be attributed to its scalability and ease of training compared to other diffusion model paradigms for discrete data, establishing itself as the state-of-the-art non-autoregressive generator for discrete data. Diffusion models, in general, have shown excellent ability to improve the generation quality by leveraging inference-time scaling either by increasing the number of denoising steps or by using external verifiers on top of the outputs of each step to guide the generation. In this work, we propose a verifier-based inference-time scaling method that aids in finding a better candidate generation during the denoising process of the MDM. Our experiments demonstrate the application of MDMs for standard text-style transfer tasks and establish MDMs as a better alternative to autoregressive language models. Additionally, we show that a simple soft-value-based verifier setup for MDMs using off-the-shelf pre-trained embedding models leads to significant gains in generation quality even when used on top of typical classifier-free guidance setups in the existing literature.
Abstract (translated)
最近，遮蔽扩散语言模型（MDMs）因其在自然语言生成框架中的可行性和可扩展性而受到关注。这可以归因于它们相较于其他离散数据的扩散模型范式具有更高的可训练性，并确立了其作为最先进的非自回归离散数据生成器的地位。总体而言，扩散模型通过增加去噪步骤的数量或利用每个步骤输出上的外部验证者来引导生成过程，在推断时间扩展方面表现出卓越的能力，从而提高了生成质量。 在这项工作中，我们提出了一种基于验证者的推理时扩展方法，该方法有助于在MDM的去噪过程中找到更好的候选生成。我们的实验展示了MDMs在标准文本风格转换任务中的应用，并证明了它们是自回归语言模型的一个更好替代方案。此外，我们还表明，通过使用现成的预训练嵌入模型为MDMs设置一个简单的基于软值的验证者架构，在现有的无分类器指导设定之上也能显著提高生成质量。 翻译总结如下： 最近，遮蔽扩散语言模型（MDM）因其在自然语言生成中的高效率和可扩展性而受到关注。MDM通过改进训练过程和其他离散数据扩散模型相比具有优势，并且被确立为最先进的非自回归离散数据生成器。一般而言，扩散模型通过增加去噪步骤的数量或使用外部验证者来指导每个步骤的输出，从而提高了生成质量。 本文提出了一种基于验证者的推理时扩展方法，在MDM的去噪过程中找到更好的候选生成。实验表明MDM在标准文本风格转换任务中的应用，并展示了它们比自回归语言模型更具优势。此外，通过使用现成的预训练嵌入模型为MDM设置一个简单的软值验证者架构，即使是在现有的无分类器指导设定之上，也能显著提高生成质量。
URL
https://arxiv.org/abs/2508.10995
