LACCO:低带宽网络下本地累积与计算通信重叠
原文标题:LACCO: Local Accumulation with Computation--Communication Overlap
导读
这项工作让语言模型在低带宽网络上训练时减少同步开销,把本地计算与通信重叠起来。
推荐理由
涉及模型 · 与本主题相关
来源:arXiv cs.AI · arxiv.org
原文标题:LACCO: Local Accumulation with Computation--Communication Overlap
这项工作让语言模型在低带宽网络上训练时减少同步开销,把本地计算与通信重叠起来。
涉及模型 · 与本主题相关
来源:arXiv cs.AI · arxiv.org