360联合北大震撼发布！5%参数量逼近Deepseek-R1满血性能
360联合北大震撼发布！5%参数量逼近Deepseek-R1满血性能
2025年02月25日 00:45 北京
2025年2月24日——由360与北京大学联合研发的中等量级推理模型Tiny-R1-32B-Preview正式亮相，仅以5%参数，逼近Deepseek-R1-671B的性能。
模型 |
参数量 |
数学 (AIME 2024) |
代码 (LiveCodeBench) |
科学 (GPQA-Diamond) |
Deepseek-R1-Distill-Qwen-32B |
32B |
72.6 |
57.2 |
62.1 |
Deepseek-R1-Distill-Llama-70B |
70B |
70 |
57.5 |
65.2 |
Deepseek-R1 |
671B |
79.8 |
65.9 |
71.5 |
Tiny-R1-32B-Preview |
32B |
78.1 |
61.6 |
65 |
核心突破：小模型，大能量
▪ 数学领域：以78.1分（AIME 2024评测）逼近原版R1模型（79.8分），远超Deepseek-R1-Distill-Llama-70B（70.0分）；
▪ 综合性能：在编程（LiveCodeBench 61.6分）、科学（GPQA-Diamond 65.0分）领域全面领先最佳开源70B模型Deepseek-R1-Distill-Llama-70B；
▪ 效率跃迁：仅需5%参数量，性能达原版R1的95%以上，推理成本大幅降低。
技术革新：领域专精+模型融合
研究团队使用「分治-融合」策略：
▪ 基于DeepSeek-R1生成海量领域数据，分别训练数学、编程、科学三大垂直模型；
▪ 通过Arcee团队Mergekit工具智能融合，突破单一模型性能上限，实现多任务均衡优化。
开源承诺：推动技术普惠
▪ 模型仓库：https://huggingface.co/qihoo360/TinyR1-32B-Preview
▪ 即将公开完整技术报告、训练代码及部分数据集；
▪ 践行开源精神，助力AI社区共筑高效推理新生态。
研发团队表示：「Tiny-R1-32B-Preview是蒸馏技术的里程碑，未来将持续探索更轻量、更强大的通用模型，推动AI技术普惠化进程。」
360 团队: Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Sai-er Hu, Xiangzheng Zhang
北大团队: Yuhan Wu, Zihan Jiang, Wenrui Liu, Junting Zhou, Bin Cui, Tong Yang