| |
 |
图 “混合ISTA”与残差连接的对比
在国家自然科学基金项目（批准号：61932022、61931023、61720106001）资助下，上海交通大学熊红凯教授团队在非规则多媒体信号的结构化学习理论研究方面取得进展。研究成果以“混合迭代软阈值收缩算法：基于无约束深度神经网络、具有收敛保证的深度软阈值收缩算法展开网络（Hybrid ISTA: Unfolding ISTA With Convergence Guarantees Using Free-Form Deep Neural Networks）”为题于2023年3月3日发表在期刊《电气电子工程师协会·图形分析与机器智能汇刊》（IEEE Trans. Pattern Analysis and Machine Intelligence）上，论文链接：https://ieeexplore.ieee.org/document/9767634。
如何根据信号可观测的演化结果探求信号本源是医学成像、遥感测控、机器视觉等领域广泛研究的一类反问题。传统优化算法求解反问题时，尽管具备理论解析性，但运算复杂、性能欠佳；深度神经网络尽管性能出色，但依赖经验化设计，加之其“黑盒”属性，无法保证模型稳定可靠。因此，亟待探索兼具理论解析性与优秀性能的反问题求解方法。
针对上述问题，上海交通大学熊红凯教授研究团队构建了一种可解析的深度展开神经网络。他们基于迭代软阈值收敛算法（ISTA）提出了一种通用的算法改进框架“混合ISTA”，在标准ISTA及其五种基于神经网络的变体算法上进行拓展，构造了六种深度展开神经网络，并系统建立了特征表示和误差边界的解析理论；松弛了网络的拓扑结构约束，在迭代步骤中引入无结构约束的网络参数，在不破坏理论收敛性的前提下，保障高效率和高精度求解，完全释放模型性能。 “混合ISTA”的迭代步骤与著名的残差连接（Residual Connectivity）对比结果表明（图），虽然两者有部分相似之处，即都含有跨层连接操作，但“混合ISTA”通过引入两步带有可学习参数的近端梯度下降算子，对算子中的参数进行合理假设，理论证明网络输出的收敛性和加速收敛速率，从而提升网络性能。在信号稀疏重构的实验中，“混合ISTA”改进的算法在计算量百倍少于传统算法、参数量十倍少于神经网络算法时，重构性能依然领先，极大降低了计算功耗。
项目研究成果赋予了“黑盒”性质的神经网络以理论解析性，开辟了设计可解释的深度神经网络新方向，为构建可信、可靠神经网络模型和新一代人工智能范式的变革提供了支撑，有助于进一步推动深度神经网络在反问题以及更多领域的应用。