ForeSpark:并行推测解码的草稿与验证预算联合调度
原文标题:ForeSpark: Joint Draft and Verification Budget Scheduling for Parallel Speculative Decoding
导读
ForeSpark 联合调度并行草稿器的草稿预算与验证预算,让大模型解码在一次前向中提出整块草稿 token 时更快。
推荐理由
涉及大模型 · 与本主题相关
来源:arXiv cs.AI · arxiv.org
原文标题:ForeSpark: Joint Draft and Verification Budget Scheduling for Parallel Speculative Decoding
ForeSpark 联合调度并行草稿器的草稿预算与验证预算,让大模型解码在一次前向中提出整块草稿 token 时更快。
涉及大模型 · 与本主题相关
来源:arXiv cs.AI · arxiv.org