AI工具与模型HOT精选全部
arXiv cs.AI评分65

用微缩放格式推进R&R模型的量化

原文标题:Advancing Quantization for R&R Models with Microscaling Formats

导读

该研究用微缩放数值格式对推荐与排序模型做量化,在保持精度的同时大幅提升推理吞吐,适配广告等高并发场景。

推荐理由

涉及模型与推理 · 与本主题相关

打开原文 ↗

来源:arXiv cs.AI · arxiv.org

主题

相关条目