AI工具与模型HOT精选全部
arXiv cs.AI评分60

LACCO:低带宽网络下本地累积与计算通信重叠

原文标题:LACCO: Local Accumulation with Computation--Communication Overlap

导读

这项工作让语言模型在低带宽网络上训练时减少同步开销,把本地计算与通信重叠起来。

推荐理由

涉及模型 · 与本主题相关

打开原文 ↗

来源:arXiv cs.AI · arxiv.org

主题

相关条目