无fp32主副本的全权重VLA微调正在静默抹除大部分参数更新

📋总体概括

一项arXiv新研究揭示：VLA模型以bf16微调且无fp32主副本时，AdamW会把小于权重1/512的更新直接舍入丢弃。调研发现12个开源VLA代码库中9个默认或文档推荐这种做法，其中4个作用于全权重矩阵，包括LeRobot的SmolVLA默认配置及π0/π0.5指南。LIBERO实验中每100步探测发现至少79%的bf16权重更新被抹除；Hugging Face Hub上99%的SmolVLA全权重微调以bf16存储动作专家权重，84%的π0.5微调开启bf16。在LIBERO-Object上，加入fp32副本可将SmolVLA成功率从4.3%提升至49.3%。