用微缩放格式推进R&R模型的量化
原文标题:Advancing Quantization for R&R Models with Microscaling Formats
导读
该研究用微缩放数值格式对推荐与排序模型做量化,在保持精度的同时大幅提升推理吞吐,适配广告等高并发场景。
推荐理由
涉及模型与推理 · 与本主题相关
来源:arXiv cs.AI · arxiv.org
原文标题:Advancing Quantization for R&R Models with Microscaling Formats
该研究用微缩放数值格式对推荐与排序模型做量化,在保持精度的同时大幅提升推理吞吐,适配广告等高并发场景。
涉及模型与推理 · 与本主题相关
来源:arXiv cs.AI · arxiv.org