联邦 LoRA 的随机投影与秩感知学习率
原文标题:Stochastic Projections and Rank-Aware Learning Rates for Federated LoRA
导读
这项研究用随机投影和秩感知学习率解决跨资源受限分布式客户端微调大基础模型的计算与通信难题。
推荐理由
涉及模型 · 与本主题相关
来源:arXiv cs.AI · arxiv.org
原文标题:Stochastic Projections and Rank-Aware Learning Rates for Federated LoRA
这项研究用随机投影和秩感知学习率解决跨资源受限分布式客户端微调大基础模型的计算与通信难题。
涉及模型 · 与本主题相关
来源:arXiv cs.AI · arxiv.org