FlashSampling:快速省内存的精确采样
原文标题:FlashSampling: Fast and Memory-Efficient Exact Sampling
导读
FlashSampling 解决了大词表解码时采样带来的额外内存开销,让分类分布采样在推理中更快、更省内存。
推荐理由
与本主题相关
来源:arXiv cs.AI · arxiv.org
原文标题:FlashSampling: Fast and Memory-Efficient Exact Sampling
FlashSampling 解决了大词表解码时采样带来的额外内存开销,让分类分布采样在推理中更快、更省内存。
与本主题相关
来源:arXiv cs.AI · arxiv.org