用参数与数据高效适配让草稿模型对齐更高效
原文标题:Efficiently Aligning Draft Models via Parameter- and Data-Efficient Adaptation
导读
这项研究用参数和数据都更省的适配方法对齐推测解码的草稿模型,缓解目标模型微调后草稿模型性能下降的问题。
推荐理由
涉及模型与大模型 · 与本主题相关
来源:arXiv cs.AI · arxiv.org
原文标题:Efficiently Aligning Draft Models via Parameter- and Data-Efficient Adaptation
这项研究用参数和数据都更省的适配方法对齐推测解码的草稿模型,缓解目标模型微调后草稿模型性能下降的问题。
涉及模型与大模型 · 与本主题相关
来源:arXiv cs.AI · arxiv.org