ICML 2025杰出论文【出炉】 8篇获奖： 南9%大研究者榜上有名

机器之心报道

机器之心编辑部

包括6篇杰出论文奖和2篇杰出立场论文奖。

本周一，ICML2025公布了最佳论文奖项。

今年获奖论文共计8篇，其中包括6篇杰出论文奖和2篇杰出立场论文奖。值得关注的是，南京大学研究者也位列获奖名单之中。

国际机器学习会议ICML（InternationalConferenceonMachineLearning），是全球范围内人工智能领域的顶级学术会议之一，由国际机器学习学会（IMLS）举办，与NeurIPS、ICLR并列为AI三大顶会。本届ICML为第四十二届，于7月13-19日在加拿大温哥华举行。

今年的ICML大会共获得12107篇有效论文投稿，其中3260篇被接收，接收比例为26.9%。相比2024年的9653篇投稿数量持续大幅增长，展示了AI领域的火热。

以下是今年的获奖论文与简要介绍。

杰出论文奖

论文1：TrainfortheWorst,PlanfortheBest:UnderstandingTokenOrderinginMaskedDiffusions

论文摘要：近年来，掩码扩散模型（MDMs，maskeddiffusionmodels）逐渐崭露头角。与自回归模型（ARMs）相比，MDMs在训练时通过牺牲复杂性来换取推理时的灵活性。具体而言，在训练阶段，MDM学习解决大量的填充问题，但在推理时，它们几乎以任意的顺序解码Token。

本文深入研究了这两种竞争效应。

在训练层面，本文通过理论分析和实验验证表明：相较于自回归模型，MDMs确实需要处理计算复杂度更高的子问题。在推断层面，本文发现采用自适应Token解码顺序的策略能显著提升MDMs的性能，使其有效规避困难子问题。

在像数独这样的逻辑谜题中，自适应推理可以将预训练MDMs的解题准确率从不到7%提高到约90%，甚至超越了具有7倍参数量的自回归模型，这些模型通过教师强制（teacherforcing）显式训练，学习正确的解码顺序。

论文2：TheValueofPredictioninIdentifyingtheWorst-Off

论文摘要：机器学习正越来越多地用于政府项目中，以识别和支持最弱势群体，优先为他们提供援助。

本文研究了在追求公平的背景下，预测技术对福利分配的影响，并将其与其他政策工具（如扩大行政资源）进行比较。

通过数学模型和针对德国居民长期失业问题的真实案例研究，本文系统性地评估了预测技术在识别最弱势群体方面的有效性。研究成果为政策制定者提供了明确的分析框架和实用的数据驱动工具，帮助他们在设计此类系统时做出有原则性的决策。

论文3：CollabLLM:FromPassiveResponderstoActiveCollaborators

论文主页：https://wuyxin.github.io/collabllm/

机构：斯坦福大学、微软、佐治亚理工学院

论文摘要：大语言模型通常使用下一轮奖励进行训练，这限制了它们在长期互动中的优化能力。因此，它们常常对模糊或开放性用户请求作出被动回应，未能帮助用户实现最终意图，导致对话效率低下。

为了解决这些局限性，作者提出了CollabLLM，这是一种新颖且通用的训练框架，旨在增强多轮人类与大语言模型的协作。

其关键创新在于通过多轮感知奖励的协作模拟，估算响应的长期贡献。通过强化学习对这些奖励进行微调，CollabLLM不仅仅回应用户请求，还能主动挖掘用户意图，并提供富有洞察力的建议，这是迈向更加以人为本的人工智能的关键一步。

他们还设计了一个多轮互动基准，涵盖了如文档创作等三项具有挑战性的任务。与基线模型相比，CollabLLM在任务表现上提高了18.5%，并且在语言模型评审者的互动性上提高了46.3%。

最后，他们进行了一项大型用户研究，涉及201位评审者，其中CollabLLM提高了17.6%的用户满意度，并减少了10.4%的用户花费时间。

论文4：Rollthedice&lookbeforeyouleap:Goingbeyondthecreativelimitsofnext-tokenprediction

机构：GoogleResearch、卡内基梅隆大学

论文摘要：作者设计了一套最小化的算法任务，作为开放式现实任务的一个宽泛抽象。这使他们能够干净且可控地量化当今语言模型的创造性极限。

与需要创造性、远见性思维飞跃的现实任务类似，他们的任务需要一个隐式的、开放式的随机规划步骤，该步骤要么（a）发现抽象知识图中的新联系（如文字游戏、类比或研究），要么（b）构建新模式（如设计数学问题或新蛋白质）。

在这些任务中，作者在经验和概念上论证了为什么下一个Token学习是目光短浅的；多Token方法，即无教师训练和扩散模型，相比之下在生成多样且原创的输出方面表现更为出色。

其次，为了在不损害一致性的前提下引发随机性，他们发现将噪声注入输入层（称为种子条件化）在很多条件下的效果与（并且在某些条件下优于）从输出层进行温度采样的效果一样好。

因此，他们的工作为分析开放式创造性技能提供了一个有原则的、最小化的测试平台，并提出了超越下一Token学习和温度采样的新论据。

论文5：ConformalPredictionasBayesianQuadrature

论文地址：https://arxiv.org/abs/2502.13228

机构：普林斯顿大学

论文摘要：基于机器学习的预测系统在高风险场景中的应用日益广泛，了解此类预测模型部署后的表现至关重要。诸如共形预测之类的分布无关不确定性量化技术，即使在模型细节隐藏的情况下，也能保证黑盒模型的损失。然而，此类方法基于频率概率，这过度限制了它们的适用性。本文从贝叶斯视角重新审视共形预测的核心内容，从而阐明频率概率保证的不足之处。

本文提出了一种基于贝叶斯求积的实用替代方案，它能够提供可解释的保证，并更全面地表示测试时可能观察到的损失范围。

论文6：ScoreMatchingwithMissingData

论文地址：https://arxiv.org/abs/2506.00557

机构：布里斯托大学、南京大学

论文摘要：分数匹配是学习数据分布的重要工具，其应用领域涵盖扩散过程、基于能量的建模和图模型估计等诸多领域。尽管应用广泛，但很少有研究探讨其在数据不完整情况下的运用。

该研究通过调整分数匹配（及其主要扩展）来解决这个问题，使其能够在灵活的设置下处理缺失数据，其中数据可能在任何坐标子集上出现部分缺失。本文提供了两种独立的分数匹配变体供一般使用：重要性加权(IW)方法和变分方法。本文在有限域设置下为IW方法提供了有限样本边界，并证明其在小样本低维情况下尤其表现出色。

此外，本文还证明了变分方法在更复杂的高维设置下表现最佳，这一点在真实数据和模拟数据的图模型估计任务中均得到了验证。

杰出立场论文奖（OutstandingPositionPaper）

ICML大会在2024年首次设置了PositionPaper赛道，与传统researchpaper不同，它更注重观点性、前瞻性和讨论性，而非纯粹的技术创新。该赛道鼓励作者提出对机器学习领域关键问题的深刻见解、争议性观点或未来发展方向的分析，旨在激发学术界的广泛讨论和反思。

今年有2篇论文入选。

论文1：TheAIConferencePeerReviewCrisisDemandsAuthorFeedbackandReviewerRewards

论文地址：https://arxiv.org/abs/2505.04966

机构：韩国蔚山科学技术院（UNIST）

论文摘要：随着人工智能领域主要会议投稿数量的激增（每个会议投稿超过10,000篇），同行评审流程面临前所未有的挑战，评审质量和评审责任问题也日益引发关注。

本文主张将传统的单向评审系统转变为双向反馈机制，在这种机制中，作者对评审质量进行评估，审稿人获得正式的认证，创建一个责任框架，促进一个可持续的、高质量的同行评审系统。

当前的评审系统可以视为作者、审稿人和系统（即会议）三方之间的互动，这三方对当前的问题共同负责。但是，作者的问题只能通过政策执行和检测工具来解决，而伦理问题只能通过自我反思来纠正。

因此，本文重点探讨通过两种关键机制改革审稿人问责制，并引入系统性奖励：

（1）双阶段双向评审系统，允许作者评估评审，同时最大程度地减少报复行为；（2）系统性审稿人奖励系统，激励高质量审稿。

论文2：AISafetyshouldprioritizetheFutureofWork

论文地址：https://arxiv.org/abs/2504.13959

机构：犹他大学、艾伦人工智能研究所等

论文摘要：当前人工智能安全领域的工作重点在于过滤有害内容、防止操纵人类行为以及消除在网络安全或生物安全领域中的存在性风险。尽管这些问题迫切需要解决，但这种狭隘的关注忽视了塑造社会长期发展轨迹的关键以人为本的考量。

在本文中，作者指出了忽视人工智能对未来工作影响的风险，并建议提供全面的过渡支持，以促进具有人类能动性的有意义的劳动的演变。通过经济理论的视角，作者强调人工智能对人类生计的跨时间影响以及劳动市场结构变化，这些变化加剧了收入不平等。

此外，人工智能开发中的主要利益相关方的封闭源代码方法，类似于通过资源剥削的寻租行为，培育了创造性劳动中的平庸，并垄断了创新。为了解决这一问题，他们主张建立健全的国际版权体系，并实施集体许可制度，以确保使用数据训练人工智能模型的公平补偿机制，强烈建议建立一个以人为中心的全球人工智能治理框架，以促进共享繁荣和经济公正，同时减少技术债务。

参考链接：https://icml.cc/virtual/2025/awards_detail

　　经查，李鹏新丧失理想信念，背弃初心使命，培植个人势力，搞“七个有之”；无视中央八项规定精神，违规接受宴请和车辆司机服务安排；对组织不忠诚、不老实，在组织函询时不如实说明问题，违背组织原则，卖官鬻爵，严重污染地方政治生态；廉洁底线失守，长期违规收受礼品、礼金；腐化堕落；贪婪无度，政商勾连，大搞新型腐败，利用职务便利为他人在矿产开发、企业经营、干部选拔任用等方面谋利，并非法收受股权股份等巨额财物。