AI工具与模型HOT精选全部
arXiv cs.AI评分60

FlashSampling:快速省内存的精确采样

原文标题:FlashSampling: Fast and Memory-Efficient Exact Sampling

导读

FlashSampling 解决了大词表解码时采样带来的额外内存开销,让分类分布采样在推理中更快、更省内存。

推荐理由

与本主题相关

打开原文 ↗

来源:arXiv cs.AI · arxiv.org

相关条目