图 基于正则化最优传输的全局池化层框架
在国家自然科学基金项目（批准号：92270110）资助下，中国人民大学许洪腾副教授课题组提出基于最优传输的神经网络隐式层-全局池化层的设计方法。相关成果以“广义全局池操作的正则化最优传输层（Regularized Optimal Transport Layers for Generalized Global Pooling Operations）”为题，于2023年9月发表于《IEEE Transactions on Pattern Analysis and Machine Intelligence》。论文链接：https://ieeexplore.ieee.org/document/10247589。
当前，神经网络的设计普遍缺乏理论支持且可解释性有限，多数选择仍基于经验。为了提高模型应用效率并赋予神经网络模块更统一的理论基础，研究团队深入研究了GNNs、Transformer等神经网络模块，进行了一系列最优传输驱动的神经网络层的设计工作，使神经网络更具有理论支持和可解释性。
该团队提出了基于正则化最优传输的全局池化层框架（ROTP）。ROTP综合当前广泛使用的全局池化层的计算方法构建了一个统一的计算范式。将全局池化操作视为对输入数据进行样本索引和特征维度选择的过程，其核心目标在于学习样本索引和特征维度之间的最优传输。该过程将全局池化操作转化为对输入数据的样本索引和特征维度之间条件期望的最大化问题。在各种机器学习任务中，包括多样例学习、图分类、集合分类等领域，ROTP表现出优异性能。这项研究为全局池化层的实际应用提供了理论支持，对基于优化的神经网络隐式层设计提供了可借鉴的范式，为提高模型性能和解释性开辟了新的途径。