AI工具与模型HOT精选全部
arXiv cs.AI评分65

ForeSpark:并行推测解码的草稿与验证预算联合调度

原文标题:ForeSpark: Joint Draft and Verification Budget Scheduling for Parallel Speculative Decoding

导读

ForeSpark 联合调度并行草稿器的草稿预算与验证预算,让大模型解码在一次前向中提出整块草稿 token 时更快。

推荐理由

涉及大模型 · 与本主题相关

打开原文 ↗

来源:arXiv cs.AI · arxiv.org

主题

相关条目