资讯
彩云科技：AI团队两次刷新大模型训练速度世界纪录，相关代码已并入官方开源仓库
📋总体概括
彩云科技基础模型算法团队在全球开源AI竞速项目NanoGPT Speedrun中，连续两次刷新大模型训练速度世界纪录，将达标训练时间压缩至1分16秒，相关代码已并入官方开源仓库。两项纪录基于其原创架构创新DCMHA（动态组合多头注意力）和MUDD（多路动态稠密连接），分别于2024年和2025年发表于ICML并入选口头报告，体现了中国团队在底层模型架构研究上的国际竞争力。
⚡关键信息
- ▸彩云科技团队在NanoGPT Speedrun竞速项目中连续两次刷新大模型训练速度世界纪录
- ▸达标训练时间被压缩至1分16秒，相关代码已并入官方开源仓库
- ▸纪录基于两项原创架构创新：DCMHA动态组合多头注意力与MUDD多路动态稠密连接
- ▸DCMHA和MUDD分别发表于2024年和2025年的ICML顶会，且均入选口头报告
- ▸NanoGPT Speedrun是全球开源的大模型训练效率竞速项目，成绩公开可验证
🔥犀利点评
刷纪录本身含金量有限——NanoGPT Speedrun是1.2亿参数级别的小模型竞赛，与企业级大模型能力不能直接划等号，营销味需要警惕。但值得肯定的是：彩云把DCMHA、MUDD两项经过ICML口头报告验证的原创架构真正落到了工程实验里，形成了论文到纪录的闭环，这在国内创业公司里少见。注意力机制改良是当前降本的关键路径，若该架构能在商业模型上验证收益，才是真正的护城河。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 36氪快讯 阅读全文 →