Seq@K：在序贯反馈下评估语言模型

📋总体概括

arXiv论文提出Seq@K新评测协议，用于衡量语言模型在K次序贯尝试、每次失败后获得反馈的条件下解决问题的能力。区别于传统Pass@1/Pass@K无法反映模型利用先前反馈的局限，Seq@K剥离并形式化了「从反馈中迭代改进」这一核心能力。团队在7个基准、16个前沿模型上进行了评测，为智能体工作流时代的能力评估提供了新标准。