基于流反转动作锚点的样本高效强化学习策略改进

📋总体概括

arXiv新论文提出AnchorQ方法，针对通用机器人策略微调难题：现有做法将流匹配策略的噪声空间直接当作连续动作空间做强化学习，该空间行为结构无序、探索效率低下。AnchorQ通过流反转把参考行为映射为状态条件化的潜在动作锚点，在锚点附近采样局部粒子，实现由粗到精的策略改进，从而在在线交互成本受限下更高效地提取学习信号，提升策略达到部署级可靠性与吞吐量。