打印

图 LargePNet的架构原理。(a)小图训练丢失上下文结构的缺陷,以及与大图结构统计量的差异;(b)LargePNet的结构概览
在国家自然科学基金项目(批准号:62025501、62405010)等资助下,北京大学未来技术学院席鹏教授团队在荧光成像通用复原网络取得进展,相关研究成果以“利用聚合大视场统计信息的恢复神经网络突破荧光成像性能极限(Pushing the limits of fluorescence imaging with a restoration neural network aggregating large-view statistics)”为题,于2026年4月7日在线发表在《自然·通讯》(Nature Communications)期刊,论文链接: https://www.nature.com/articles/s41467-026-71278-2。
近年来,深度学习网络在图像复原和增强领域取得了较大进展,自然图像处理中的网络架构被迁移到荧光成像领域。现有研究通过随机裁剪增强的方式将大图裁剪成小图(尺寸通常为128×128),增强数据集来训练网络。研究发现此方式忽略了荧光图像中大视野范围内生物结构的关联性,关键的全局结构上下文信息在训练过程中丢失(图)。同时,由于小图和大图中结构统计信息量差异,直接将小图训练的网络迁移到大图复原,会造成误差和精度下降。
针对上述缺陷,研究团队为高效利用大视野信息并提升荧光图像复原性能提出LargePNet模型(图):首先,采用重参数化大核卷积作为长程建模的主要方式;其次,通过金字塔结构设计,引入传统深度网络的低频分支来提升非线性表达能力;最后,通过实例归一化提高大图训练时的稳定性。为验证LargePNet模型的性能,研究团队在降噪、去模糊、单图和视频超分、采样恢复和背景去除等八项典型荧光图像任务中,直接在大于512×512尺寸的图像上训练网络。结果显示,LargePNet峰值信噪比较当前最优小图块网络提升0.5~2 dB,在大图推理时计算效率通常为先进卷积网络的4倍、Transformer 网络的20倍。最终,研究团队用LargePNet实现了长达30小时、分辨率200 nm的活细胞亚细胞器动态成像,稳定监测了细胞骨架动态变化过程,完成了小时量级的三色STED(受激辐射光损耗)超分辨成像,能够清晰解析内质网、线粒体和微管三种细胞器间的相互作用细节。
该研究提出的荧光成像通用复原网络LargePNet能够高效利用大视野结构信息,提高了荧光成像复原精度与大图推理效率,为未来活细胞计算成像研究提供了高精度、高稳定性的观测技术支撑。