AI工具与模型HOT精选全部
arXiv cs.AI评分70

VelServe:用尾部校准调度消除 LLM 推理解码抖动

原文标题:VelServe: Taming Decode Jitters in LLM Inference with Tail-Calibrated Scheduling

导读

这项工作通过面向延迟目标的调度,让交互式 LLM 服务的首词延迟与词间延迟更稳定。

推荐理由

涉及大模型与推理 · 与本主题相关

打开原文 ↗

来源:arXiv cs.AI · arxiv.org

主题

相关条目