Superfluid:面向分布式 LLM 推理的本地 AI 服务器
原文标题:Superfluid: Local AI Server for Distributed LLM Inference
导读
这个本地 AI 服务器让大模型在本地设备上跑,数据不出门、没有按 token 计费、断网也能工作。
推荐理由
涉及模型与大模型 · 与本主题相关
来源:arXiv cs.AI · arxiv.org
原文标题:Superfluid: Local AI Server for Distributed LLM Inference
这个本地 AI 服务器让大模型在本地设备上跑,数据不出门、没有按 token 计费、断网也能工作。
涉及模型与大模型 · 与本主题相关
来源:arXiv cs.AI · arxiv.org