图 基于字符串表示的通用离线黑箱优化框架示意图
在国家自然科学基金青年学生基础研究项目（本科生，批准号：624B1025）的资助下，南京大学人工智能学院本科生谭荣熙在导师钱超教授指导下，在人工智能离线黑箱优化研究中取得进展，创新地提出了基于排序学习和基于字符串表示的离线黑箱优化框架，提升了多场景人工智能应用中黑箱优化的稳健性和通用性。研究成果以第一作者身份被机器学习领域顶级国际会议第13届International Conference on Learning Representations（ICLR’25）和第42届International Conference on Machine Learning（ICML’25）录用，项目代码已全部开源（论文题目和代码链接见本文附录）。
黑箱优化指缺乏形式化问题定义（即无法给出具有清晰数学表达式的优化目标，而仅能通过模拟仿真进行评估）时如何求取最优解，是人工智能领域十分具有挑战性的研究工作。以计算系统负载智能优化任务为例，通过优化系统微架构参数及应用参数，使得应用运行在计算系统中的性能达到最佳，而性能的评估需通过虚拟机压力测试，过程黑箱不可见，复杂度高，使得传统人工智能算法（如演化算法等）在求解这类黑箱优化问题时遇到极大挑战。因此，亟需发展仅使用少量在线目标评估甚至不使用在线评估便可高效求解昂贵黑箱优化问题的算法。
离线黑箱优化方法使用离线优化历史数据学习黑箱目标函数的代理模型，通过优化代理模型以直接求取最优解，而无需在线迭代评估，因此其适于求解评估代价昂贵的黑箱优化问题。然而，离线优化数据往往比较有限，导致模型的分布外泛化性能差，从而严重影响模型内搜索优化的效果。研究团队提出了基于排序学习的离线黑箱优化算法，以提高模型的保序能力，实验中的性能超越了6个基线算法和14个最新的先进算法。上述研究成果被包括图灵奖得主Yoshua Bengio教授在内的加拿大Mila研究所多位研究人员评价为在排序损失方面比传统均方误差损失更加稳健的两个工作之一。虽然基于排序学习的离线黑箱优化带来了性能提升，但由于现实世界任务往往缺乏大量的优化历史数据，离线黑箱优化的效果仍难以满足实际需求。为此，本项目团队创新地提出基于字符串表示和语言模型的通用离线黑箱优化框架，能够利用任务类型和输入维度不同的跨任务数据训练一个通用基座模型，同时求解多个离线黑箱优化问题（图），在分布内任务、未见任务泛化等多项评估中均取得了良好的性能。
上述研究成果为离线黑箱优化方法落地应用提供了有力支撑，将有助于解决工业应用中广泛存在的黑箱优化问题，帮助提升生产效率。目前项目团队正在与华为公司合作，面向国产算力软硬件系统开展深度融合，在华为鲲鹏通用计算平台等多个评测场景中提升了算力性能，具有较大的产业应用潜力。
附录：
ICLR’25
论文题目：Offline Model-Based Optimization by Learning to Rank
开源代码：https://github.com/lamda-bbo/Offline-RaM
ICML’25
论文题目：Towards Universal Offline Black-Box Optimization via Learning String Embedding Space
开源代码：https://github.com/lamda-bbo/universal-offline-bbo