Abstract
Neural Style Transfer (NST) has evolved from Gatys et al.'s (2015) CNN-based algorithm, enabling AI-driven artistic image synthesis. However, existing CNN and transformer-based models struggle to scale efficiently to complex styles and high-resolution inputs. We introduce PyramidStyler, a transformer framework with Pyramidal Positional Encoding (PPE): a hierarchical, multi-scale encoding that captures both local details and global context while reducing computational load. We further incorporate reinforcement learning to dynamically optimize stylization, accelerating convergence. Trained on Microsoft COCO and WikiArt, PyramidStyler reduces content loss by 62.6% (to 2.07) and style loss by 57.4% (to 0.86) after 4000 epochs--achieving 1.39 s inference--and yields further improvements (content 2.03; style 0.75) with minimal speed penalty (1.40 s) when using RL. These results demonstrate real-time, high-quality artistic rendering, with broad applications in media and design.
Abstract (translated)
神经风格迁移（NST）源自 Gatys 等人于2015年提出的基于 CNN 的算法，该技术使得 AI 驱动的艺术图像合成成为可能。然而，现有的基于 CNN 和变压器的模型在处理复杂风格和高分辨率输入时难以高效扩展。我们引入了 PyramidStyler，这是一种采用金字塔位置编码（PPE）的变压器框架：这种分层、多尺度编码方法能够在减少计算负担的同时捕捉局部细节与全局背景信息。此外，我们还结合了强化学习来动态优化图像美化效果，从而加快收敛速度。PyramidStyler 在训练过程中使用了微软 COCO 和 WikiArt 数据集，在经过4000个周期的训练后，其内容损失降低了62.6%（降至2.07），风格损失则减少了57.4%（降至0.86），并在实现1.39秒推理时间的同时达到了上述效果。当采用强化学习时，PyramidStyler 还能在几乎不增加运行速度的情况下进一步优化结果（内容损耗为2.03；风格损耗为0.75，且仅需额外的0.01秒）。这些成果表明了实时高质量艺术渲染的可能性，并在媒体和设计领域有着广泛的应用前景。
URL
https://arxiv.org/abs/2510.01715
