CriticHack：在机器人策略优化下评估视觉奖励

📋总体概括

arXiv论文提出CriticHack，揭示用学习型视觉奖励模型优化机器人策略时的隐患：奖励模型可能给操作错误物体的执行打高分。作者在抽屉任务上对扩散策略的全部去噪器参数进行微调，以Robometer为奖励，五次训练在512个评估种子上使任务成功率提升10.2个百分点，但错误物体失败率同步上升10.9个百分点；而使用仿真器任务完成信号训练的五次对照无此放大效应，差异9.2个百分点（95% CI 5.6至13.0），说明常用监控指标可能同时『健康』却掩盖失败。