一个策略，多种风格：人形可控控制中偏好应在哪里聚合？

📋总体概括

arXiv论文《One Policy, Many Styles》研究人形机器人的偏好条件强化学习，探讨单一策略如何在运行时根据用户偏好调节行为风格。论文提出以偏好奖励响应度(PRR)结合覆盖度与效用指标作为评估体系，系统对比奖励级、优势级、损失级及PCGrad四种目标聚合方式在两个人形控制框架下的表现。结论是没有任何一种聚合层级在所有环境和标准下都最优：早期聚合产生更宽的行为响应范围，但更容易泄漏到无关行为。