北京大学计算机学院数据所9篇论文入选ICML 2026
北京大学计算机学院数据科学与工程研究所9篇论文入选ICML 2026
近日，机器学习领域顶级会议 ICML 2026 放榜，来自北京大学计算机学院数据科学与工程所的9篇高水平论文成功入选篇高水平论文成功入选。
ICML 2026（第 43 届国际机器学习大会，International Conference on Machine Learning）是机器学习与人工智能领域公认的顶级国际学术会议之一。作为全球机器学习研究者发布前沿成果、交流学术思想的重要平台，ICML 长期以来在学术界与工业界均享有广泛影响力。会议聚焦机器学习及人工智能的最前沿理论与技术，涵盖深度学习、生成模型、强化学习、概率建模、优化方法、可信人工智能、多模态学习、机器人、计算生物学、语音识别等多个核心方向，旨在展示和推动机器学习领域的最新理论突破、方法创新与应用进展。
本次 ICML 2026 竞争激烈，吸引了来自全球高校、科研机构与工业界研究团队的广泛参与。今年ICML收到了23,918篇投稿，接收了6,352, 录取率 26.6%。ICML 2026 将于 2026 年 7 月 6 日至 7 月 11 日在韩国首尔 COEX Convention & Exhibition Center举行。
以下是北大数据所ICML 2026论文的简要介绍：
一、Guidance：面向可信生成的解码阶段句子级引用约束框架
论文标题：Guidance: Sentence-Level Citation Enforcement via Prefix-Tail Guidance during LLM Decoding
在法律、医疗、科研分析等事实敏感场景中，大语言模型不仅需要生成正确答案，还需要给出精确的句子级引用，现有引用方法多依赖生成后归因，难以从源头避免幻觉与错误引用。为此，本文提出无需训练、可插拔的 Guidance 框架，通过 Prefix-Tail 事实池与解码阶段动态引导，将句子级引用直接融入生成过程。
核心创新：
Prefix-Tail 结构化事实池： 将长文档拆解为“语义前缀 Prefix + 原子事实 Tail”的结构化单元，使模型能够在生成过程中检索并引用细粒度、可验证的事实，而不是依赖粗粒度文本块。
解码阶段动态引用引导： 在 LLM 自回归生成过程中实时检测当前生成内容是否匹配文档中的 Prefix，并通过 lookahead 预测模型的生成意图，判断是否需要进行事实约束。
Token 级 soft-forcing 机制： 只有当候选 Tail 与模型当前预测分布兼容时，系统才逐 token 注入事实并附加引用，避免硬约束破坏语义连贯性或语法流畅性。
实验效果： 在 LongBench-Cite 基准上，Guidance 在多类模型上稳定提升引用质量，平均 Citation F1 提升 11.2%，并在基本保持答案正确性的同时显著优于 Best-of-N 等多次采样方法。
该论文作者包含詹宜瑞（北京大学，导师为高军教授）、许辰昊（北京大学，导师为高军教授）、高军（北京大学，通讯作者）
二、MVR 缓存：通过多向量检索和学习提示分段优化语义缓存
论文标题：MVR-cache: Optimizing Semantic Caching via Multi-Vector Retrieval and Learned Prompt Segmentation
语义缓存通过复用语义相似请求的缓存响应，可显著降低大语言模型推理的成本和延迟。但现有方法通常仅依赖提示整体嵌入的单一向量余弦相似度，难以捕捉复杂提示中的细微语义差异，容易导致漏匹配或误匹配。本文提出 MVR-cache，将多向量检索引入语义缓存：它学习一个轻量且能自适应决定分段数量的模型，将提示拆分为多个语义片段并分别编码，再通过分段感知的 MaxSim 相似度实现细粒度匹配。同时，文章设计了对称的分段感知 MaxSim 分数，更准确地刻画提示之间的相互语义相似性，从而在保证正确性的前提下安全复用已缓存响应。
理论分析表明，优化该分段感知相似度得分可最大化缓存命中率并保持用户指定的正确性保证。由于分段涉及离散组合决策，论文将其形式化为组合优化问题，并采用强化学习进行训练，直接以理论推导的目标作为奖励来学习分段策略。在分类、搜索和问答等多个基准数据集上的实验结果显示，与已有最优语义缓存方法相比，MVR-cache 在相同正确性保证下可使缓存命中率最高提升 25%，端到端推理延迟最多降低 6%。该方法将语义缓存从策略层面的优化推进到相似度度量层面的优化，通过融合学习式分段、多向量检索、理论分析和强化学习训练，为部署更快、更省、更可靠的 LLM 服务系统提供了一套有理论支撑的有效方案。
该论文作者包括Ali Noshad（北京大学，导师为吴垠鋆助理教授），郑子姗（中国人民大学），吴垠鋆（北京大学，通讯作者）
三、EchoAttention：利用词元对冗余与帧块相似性加速长视频生成
论文标题：EchoAttention: Exploiting Token-Pair Redundancy and Frame-Block Similarity for Efficient Long Video Generation
长视频生成中的扩散 Transformer（DiT）通常依赖 3D 全注意力机制，其计算复杂度随视频 token 数量呈二次增长，导致推理阶段的 attention 计算成为主要瓶颈。现有稀疏注意力方法可以通过裁剪 query-key token 对降低开销，但在大量非稀疏 attention heads 上，注意力质量难以保持，进而限制了速度与生成质量之间的平衡。
图1：EchoAttention 方法总览：通过 Sparse 与 Echo 双算子以及三阶段蒸馏路由，实现长视频生成中的高效注意力计算
针对这一问题，本文提出 EchoAttention，一种面向长视频生成的结构化注意力加速框架。该方法同时利用 token-pair 冗余和视频 DiT 中普遍存在的 frame-block 相似性：对于天然稀疏的 heads，使用 Sparse operator 保留关键 token 对；对于难以稀疏化的非稀疏 heads，则使用 Echo operator，通过原型 frame-block 复用和轻量线性校准近似跨帧注意力，从而避免强行稀疏化带来的信息损失。
EchoAttention 进一步设计了两级门控路由，在 timestep、layer、head 粒度自动选择 Sparse、Echo-Row 或 Echo-Col，并通过三阶段蒸馏稳定学习路由策略与近似参数。其核心优势在于不再用单一稀疏策略处理所有 heads，而是让不同注意力头采用更匹配的计算方式，以突破纯稀疏注意力在非稀疏 heads 上的加速上限。
实验结果表明，EchoAttention 在多个公开视频扩散模型上均取得更好的速度-质量权衡。在 Wan2.1-1.3B 上，该方法端到端延迟由全注意力的 181s 降至 92s，实现约 1.97× 加速；在 CogVideoX1.5-5B 上，延迟由 770s 降至 318s，实现约 2.42× 加速，同时 VBench 等质量指标基本保持。该方法为长视频生成提供了一种从注意力结构本身出发的高效推理优化思路。
该论文作者包括：夏义扉（北京大学），符芳诚（上海交通大学），袁昊（福州大学，PKU-DAIR实习生），凌宿寒（北京大学），苗旭鹏（北京大学），李慧霞（字节跳动），任玉羲（字节跳动），夏鑫（字节跳动），肖学峰（字节跳动），崔斌（北京大学，通讯作者）
四、DARTS：通过分布感知的主动轨迹塑形，加速大语言模型强化学习
论文标题：DARTS: Distribution-Aware Active Rollout Trajectory Shaping for Accelerating LLM Reinforcement Learning
大语言模型强化学习训练中，rollout 阶段通常占据主要训练时间，而轨迹响应的长尾分布会造成显著的计算浪费，成为训练效率瓶颈。现有方法大多通过调度长序列来缓解问题，但并未直接优化模型生成分布本身。
图1：大语言模型强化学习Rollout阶段轨迹长度的长尾分布
针对这一问题，本文提出 DARTS，一种面向大语言模型强化学习训练的高效框架。该方法从轨迹长度分布出发，主动塑形 rollout 轨迹，使模型倾向于生成更简洁、更稳定的响应，从而减少无效冗长输出带来的系统开销。
DARTS 主要包含三项设计：首先，通过分布感知轨迹采样，从冗余生成的候选轨迹中选择性保留训练轨迹，鼓励模型学习简洁的回答同时保持深度推理能力；其次，根据不同 prompt 的生成长度方差，自适应分配探索预算，将更多资源用于长尾更明显的样本；最后，结合尾部裁剪、提前停止和 token 级流式传输等系统优化，进一步提升训练效率。
图2：DARTS 方法示意图：针对不同 prompt 的自适应采样策略与冗余分配
实验结果表明，DARTS 在多种 Qwen 系列模型和数学推理数据集上均取得显著加速效果。相比先进开源强化学习框架 VeRL，DARTS 最高实现 1.77× 端到端训练加速。DARTS 为大语言模型强化学习训练提供了一种新的系统优化思路：不仅要调度长尾，更要主动塑造产生长尾的分布本身。
图3：不同模型规模下的端到端吞吐量加速对比
图4：DARTS通过对rollout轨迹响应长度的主动塑造实现强化学习的有效加速
该论文作者包括：王驭捷（北京大学），陈思危（北京大学），罗珑赞（北京大学），刘新一（北京大学），苗旭鹏（北京大学），符芳诚（上海交通大学），崔斌（北京大学，通讯作者）
五、SALE：动态稀疏注意力机制加速大语言模型预填充阶段
论文标题：SALE : Low-bit Estimation for Efficient Sparse Attention in Long-context LLM Prefilling
在众多前沿的大语言模型（LLM）长上下文应用中，自注意力机制因其与序列长度呈二次方的计算复杂度，不可避免地成为推理预填充（prefilling）阶段的性能瓶颈，而现有稀疏注意力方法由于粗粒度评估的局限性往往导致次优的性能表现。针对这一关键挑战，本文提出 SALE：一个面向大语言模型长上下文预填充加速的细粒度稀疏注意力方法。
SALE 通过低比特量化的 Query-Key 乘积来近似注意力权重，实现快速且精准的细粒度注意力图估计，并利用全新的相对注意力分数（Relative Attention Score）指标深度评估特征对的重要性，从而精准识别注意力图的核心区域并构建高稀疏度掩码。结合高度优化的定制化 CUDA 算子，SALE 将额外计算开销大幅压缩至全注意力延迟的约 11%，实现了底层硬件效率的最大化。无需任何参数训练或繁杂适配，SALE 即可通过极简的代码修改无缝部署于现有系统，在保证模型精度的同时实现极速推理。大量长上下文基准实验表明，SALE 在精度与效率的权衡上均显著优于现有方法。
该论文作者包含季晓东（北京大学），张海林（小米科技），符芳诚（上海交通大学），崔斌（北京大学，通讯作者）
六、DREAM：面向带噪图学习的双标准语义同质性与动态优化框架
论文标题：DREAM: Dual-Standard Semantic Homogeneity with Dynamic Optimization for Graph Learning with Label Noise
图神经网络（GNN）近年来在各类图机器学习场景中被广泛应用，但现有工作存在一个普遍问题：在处理图标签噪声时，往往难以有效区分可靠与不可靠节点，并且严重忽视了图拓扑结构中天然蕴含的丰富关系信息。为此，本文提出了一种名为 DREAM 的新框架来解决上述问题，旨在存在标签噪声的图上进行可靠且融合关系信息的动态优化。具体而言，DREAM 引入了双标准锚点选择策略，结合节点语义邻近度与图拓扑结构为目标节点选取相关的锚点集。随后，框架通过计算目标节点与锚点间的语义同质性得分，将其作为可靠性指标，在训练过程中动态对节点的优化目标进行重加权。在六个基准数据集以及三种标签噪声类型下的广泛实验表明，DREAM 的表现显著优于现有的各类基准方法。上述工作通过严谨的理论分析与丰富的实证评估，为复杂网络拓扑下抵御标签噪声的鲁棒图学习提供了一种高效的优化范式。
该论文作者包含赵禹昇（北京大学，导师为张铭教授），谢佳晔（北京大学），张岐鑫（南洋理工大学），张为知（伊利诺伊大学芝加哥分校），罗霄（威斯康星大学麦迪逊分校，校友），肖之屏（华盛顿大学，校友，通讯作者），俞士纶（伊利诺伊大学芝加哥分校），张铭（北京大学，通讯作者）。
七、CELL：面向公平感知图自适应的因果表征解耦与结构对齐框架
论文标题：CELL: A Causal Perspective for Fairness-aware Graph Adaptation
图神经网络在现实场景中常面临公平性问题，而现有公平图学习方法大多依赖目标域敏感属性标签，这在实际应用中往往难以获得。为此，本文提出 CELL 框架，面向源图有标签、目标图完全无标签的图公平自适应问题，在无需目标域敏感标签的情况下，同时提升预测性能与群体公平性。
具体而言，CELL 从因果视角出发，利用双编码器将任务相关因果表征与敏感属性表征进行解耦，并通过互信息约束减少敏感信息泄漏。随后，框架为目标域生成任务伪标签与敏感属性伪标签，并引入组感知无偏学习策略，以缓解伪标签中的公平性偏差。最后，CELL 构建公平感知的跨域二部图，将源域与目标域中任务标签相同但敏感属性不同的节点进行结构对齐，从而降低域偏移和虚假相关带来的影响。在 Bail、German/Credit、Pokec 和合成图等多个基准数据集上的实验表明，CELL 相比 GCN、NIFTY、FairVGNN、FatraGNN、DANCE 等方法，在准确率、ROC-AUC 以及公平性指标上取得了更优的综合表现。该工作为缺失目标敏感标签场景下的公平图学习提供了一种有效的因果解耦与结构对齐范式。
该论文作者包含李厚润（北京大学，导师为张铭教授），王一帆（对外经济贸易大学助理教授，校友，通讯作者），冉清华（北京大学数学学院），罗钧宇（北京大学，导师为张铭教授），肖之屏（华盛顿大学，北大校友），杨加（北京大学），周昌令（北京大学），琚玮（四川大学副研究员，北大校友），罗霄（威斯康星大学麦迪逊分校，校友，通讯作者），张铭教授（北京大学，通讯作者）。
八、通过影响矛盾识别和纠正标签噪声实现鲁棒图神经网络
论文标题：Identifying and Correcting Label Noise for Robust GNNs via Influence Contradiction
图神经网络（GNNs）在学习图结构数据方面展现出卓越能力，并已广泛应用于社会分析和生物信息学等领域。然而，在实际场景中，标签噪声的存在对模型的鲁棒学习构成了重大挑战。当图数据中存在由标注错误或不一致性引入的噪声标签时，GNNs的性能往往会显著下降。为了解决这一问题，本文提出了一种新方法ICGNN，该方法利用图结构信息有效缓解标签噪声带来的影响。具体而言，本文首先基于图扩散矩阵设计了一种新的噪声指示器—影响矛盾得分（Influence Contradiction Score, ICS），用于量化节点标签的可信度，其中ICS值较高的节点更可能被识别为噪声标签节点。随后，本文引入高斯混合模型对节点标签是否为噪声进行精确判别。此外，提出了一种软性策略，通过融合图中邻居节点的预测结果来对检测出的噪声标签进行修正。最后，结合伪标签机制利用大量未标注节点，从而提供辅助监督信号并引导模型优化。在多个基准数据集上的实验结果表明，在存在标签噪声的场景下，该方法相较于多种竞争基线方法具有显著优势。
该论文作者包含琚玮（四川大学，校友），张唯（四川大学），易思宇（四川大学），毛正阳（北京大学），王一帆（对外经贸，校友），袁境阳（北京大学），肖之屏（华盛顿大学，校友），乔子越（大湾区大学），张铭（北京大学，通讯作者）。
九、面向多模态大模型OCR的一种特征融合架构与图像重建式诊断方法
论文标题：Detached Skip-Links and R-Probe: Decoupling Feature Aggregation from Gradient Propagation for MLLM OCR
多模态大模型（MLLM）在高层语义理解上表现很好，但在 OCR 等细粒度视觉任务上仍有明显缺陷，时常出现文字识别错误甚至幻构内容等问题。 为此我们提出Detached Skip-Links，将ViT的浅层视觉细节与深层语义特征同时注入 LLM，并通过训练时剪断浅层链路的梯度确保训练高效稳定，快速收敛。 我们进一步从贝叶斯风险分解与梯度信噪比两个角度给出理论分析，证明在联合训练早期，“前向保留”+“反向截断”优于朴素融合。 为了系统地量化ViT传递给LLM的视觉信号，衡量视觉细节的保留程度，我们设计了图像重建式诊断方法R-Probe。 实验部分，在累计7M多模态样本上、跨4种主流 ViT 编码器（Perception Encoder、InternViT、AIMv2、SigLIP 2）、22个公开评测集上普遍取得了稳定提升，其中Perception Encoder+LLaMA-3.1-8B在OCR类任务上平均取得了3.1个百分点的提升。R-Probe 的重建实验进一步印证了 Detached Skip-Links 的设计动机与有效性。
该论文作者包含袁子烨（北京大学，导师为张铭教授）、姚汝昌（清华大学）、郑诚信（百度）、赵禹昇（北京大学，导师为张铭教授）、董大祥（百度，通讯作者）、张铭教授（北京大学，通讯作者）。