用参数与数据高效适配让草稿模型对齐更高效
这项研究用参数和数据都更省的适配方法对齐推测解码的草稿模型,缓解目标模型微调后草稿模型性能下降的问题。
11月16日 13:00
推荐理由:涉及模型与大模型 · 与本主题相关
共 2 条 · 全部主题 →
这项研究用参数和数据都更省的适配方法对齐推测解码的草稿模型,缓解目标模型微调后草稿模型性能下降的问题。
推荐理由:涉及模型与大模型 · 与本主题相关
这项研究用 GRPO 在四个环境中对 30B-A3B 混合专家模型做强化学习,考察印度语言任务上哪些能力提升、哪些退化。
推荐理由:涉及模型与微调 · 与本主题相关