一个偏移、两个方向:用子群偏移调整 GRPO 基线
原文标题:One Offset, Two Directions: Baseline Adjustment via Subgroup Offsets
导读
这项工作指出 GRPO 用组内均值做基线在实践中有问题,于是用子群偏移来修正基线估计。
推荐理由
涉及提示词 · 与本主题相关
来源:arXiv cs.AI · arxiv.org
原文标题:One Offset, Two Directions: Baseline Adjustment via Subgroup Offsets
这项工作指出 GRPO 用组内均值做基线在实践中有问题,于是用子群偏移来修正基线估计。
涉及提示词 · 与本主题相关
来源:arXiv cs.AI · arxiv.org