图 移动端多模态高效记忆检索机制
在国家自然科学基金项目（批准号：62425203，62032003）资助下，北京邮电大学计算机学院王尚广教授团队联合剑桥大学Nicholas D. Lane教授团队，在移动多模态检索领域取得进展。相关成果以“Ubiquitous Memory Augmentation via Mobile Multimodal Embedding System”为题，于2025年6月19日正式发表在国际期刊《Nature Communications》上。
多模态嵌入模型通过将多模态数据向量化到统一的嵌入空间中，实现数据快速检索，从而有效地增强移动端模型的记忆检索效能。然而随着模型参数的增加，多模态嵌入模型的资源消耗快速增大，制约了其在移动端的部署。针对这一问题，研究团队从人脑的记忆功能获得设计灵感，提出了一种高效的设备端多模态嵌入系统——Reminisce。该系统利用粗粒度嵌入识别可能的候选检索结果，然后通过查询驱动的细粒度检索进行细化，从而实现在资源受限的移动设备上实现高吞吐量嵌入和精准检索。团队进一步设计一系列算法与硬件协同的优化自动引导这一过程并增强嵌入质量。Reminisce在多种主流移动端设备上均实现了良好性能表现，与传统方案相比，其吞吐量平均提升12倍，能耗降低20倍。
该成果创新性地提出了面向资源受限环境的移动端多模态嵌入模型部署新方法，并构建了首个支持实时数据嵌入的移动端多模态大模型系统。相关技术也部署在北邮2号和3号卫星上，用于国产太空服务器10亿级参数大模型在轨试验测试，为6G、卫星互联网“业务上天、服务在轨”提供重要技术支撑。