VelServe:用尾部校准调度消除 LLM 推理解码抖动
原文标题:VelServe: Taming Decode Jitters in LLM Inference with Tail-Calibrated Scheduling
导读
这项工作通过面向延迟目标的调度,让交互式 LLM 服务的首词延迟与词间延迟更稳定。
推荐理由
涉及大模型与推理 · 与本主题相关
来源:arXiv cs.AI · arxiv.org
原文标题:VelServe: Taming Decode Jitters in LLM Inference with Tail-Calibrated Scheduling
这项工作通过面向延迟目标的调度,让交互式 LLM 服务的首词延迟与词间延迟更稳定。
涉及大模型与推理 · 与本主题相关
来源:arXiv cs.AI · arxiv.org