Abstract
Density aggregation is a central problem in machine learning, for instance when combining predictions from a Deep Ensemble. The choice of aggregation remains an open question with two commonly proposed approaches being linear pooling (probability averaging) and geometric pooling (logit averaging). In this work, we address this question by studying the normalized generalized mean of order $r \in \mathbb{R} \cup \{-\infty,+\infty\}$ through the lens of log-likelihood, the standard evaluation criterion in machine learning. This provides a unifying aggregation formalism and shows different optimal configurations for different situations. We show that the regime $r \in [0,1]$ is the only range ensuring systematic improvements relative to individual distributions, thereby providing a principled justification for the reliability and widespread practical use of linear ($r=1$) and geometric ($r=0$) pooling. In contrast, we show that aggregation rules with $r \notin [0,1]$ may fail to provide consistent gains with explicit counterexamples. Finally, we corroborate our theoretical findings with empirical evaluations using Deep Ensembles on image and text classification benchmarks.
Abstract (translated)
密度聚合是机器学习中的一个核心问题，尤其是在结合深度集成模型的预测时。选择哪种聚合方法仍然是一个开放性的问题，其中两种常用的方法分别是线性池化（概率平均）和几何池化（对数几率平均）。在这项工作中，我们通过从似然度的角度来研究归一化的广义均值$r \in \mathbb{R} \cup \{-\infty,+\infty\}$，为这一问题提供了新的视角。这提供了一个统一的聚合形式，并展示了在不同情况下不同的最优配置。我们证明了当$r \in [0,1]$时是唯一一个能够确保相对于单个分布系统性改进的区间，从而从理论上证明了线性（$r=1$）和几何（$r=0$）池化方法的有效性和广泛实用性。相比之下，我们展示了当$r \notin [0,1]$时聚合规则可能无法提供一致的好处，并通过具体的反例进行了说明。最后，我们使用深度集成模型在图像分类和文本分类基准上进行实验评估来验证我们的理论发现。 这段翻译介绍了研究中探讨的密度聚合问题以及如何通过归一化的广义均值$r \in [0,1]$区间提供了对线性池化和几何池化方法的有效性的解释。同时也指出，当$r$不在这个区间内时，可能存在其他聚合规则不能提供一致改进的风险，并且以具体的反例加以说明。最后提到该研究通过实验验证了理论上的发现，在深度集成模型的图像分类与文本分类任务中进行了实证评估。
URL
https://arxiv.org/abs/2603.04204
