资讯
OpenBMB Releases MiniCPM5-2B: A 2.52B Dense Model Averaging 53.9 Across 34 Benchmarks and Built to Run On Device
📋总体概括
OpenBMB发布端侧小模型MiniCPM5-2B,参数量25.17亿,原生支持131072 token上下文,在34项基准测试中平均得分53.9,超过Qwen3.5-4B的51.1,优势集中在工具调用、代码智能体和长上下文检索。后训练阶段使用400B token深度思考SFT数据,结合RL教师与把16个专家模型合并为单一检查点的on-policy蒸馏。权重以Apache 2.0开源,同时放出预训练、SFT、RL数据集及Base/Midtrain/SFT中间检查点,GGUF版本最小1.56GB,可在vLLM、llama.cpp、Ollama、MLX等主流框架直接加载。
⚡关键信息
- ▸MiniCPM5-2B参数量2,516,756,480,原生131,072 token上下文,属稠密架构
- ▸34项基准平均53.9分,超过Qwen3.5-4B的51.1,工具调用与长上下文检索领先明显
- ▸后训练用400B token深度思考SFT,RL教师加on-policy蒸馏,将16个专家模型合并为一个检查点
- ▸Apache 2.0开源权重,并同步放出预训练、SFT、RL数据集和Base/Midtrain/SFT中间检查点
- ▸GGUF最小1.56GB,标准LlamaForCausalLM架构无需改代码即可在vLLM、llama.cpp、Ollama、MLX运行
🔥犀利点评
2.5B的模型在均分上压过4B的Qwen,这说明小模型的竞争已从堆参数转向后训练效率——16个专家模型蒸馏成一个检查点,等于把集成学习的红利塞进了端侧体积。但53.9对51.1的领先幅度并不大,34项基准的平均分掩盖了单项强弱,选型时仍需看具体任务。真正有分量的是把全流程数据集和中间检查点一起开源,这在端侧模型里少见,是对复现者的诚意,也是对生态的卡位。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 marktechpost.com 阅读全文 →