NVIDIA Vera Rubin 平台 MLPerf 首秀,训练与推理全面领先
Vera Rubin 平台首次参加 MLPerf 就在训练、后训练和智能体推理上拿下领先成绩,英伟达包揽了全部项目。
推荐理由:官方来源 · 涉及推理与智能体 · 24 小时内发布
共 24 条 · 全部主题 →
Vera Rubin 平台首次参加 MLPerf 就在训练、后训练和智能体推理上拿下领先成绩,英伟达包揽了全部项目。
推荐理由:官方来源 · 涉及推理与智能体 · 24 小时内发布
S1-Evo 揭示了部署在智能体路由、审核和授权环节的类型化快思考决策模型,仍可能被精心设计的证据竞争攻击绕过。
推荐理由:涉及模型与大模型 · 与本主题相关
AscendGYM为昇腾NPU上的大模型训练与推理算子优化建立了一个贴近真实负载、同时考虑成本的评测基准。
推荐理由:涉及模型与大模型 · 与本主题相关
这项研究对比本地部署的大模型在科学文献检索上的成功率与延迟,考察它们能否替代云端服务。
推荐理由:涉及模型与大模型 · 与本主题相关
这项工作通过面向延迟目标的调度,让交互式 LLM 服务的首词延迟与词间延迟更稳定。
推荐理由:涉及大模型与推理 · 与本主题相关
这个本地 AI 服务器让大模型在本地设备上跑,数据不出门、没有按 token 计费、断网也能工作。
推荐理由:涉及模型与大模型 · 与本主题相关
这项研究把机械化推断与智能体结合起来,自动补齐形式化验证所需的高层规约,降低人工编写规约的成本。
推荐理由:涉及推理与智能体 · 与本主题相关
该研究用微缩放数值格式对推荐与排序模型做量化,在保持精度的同时大幅提升推理吞吐,适配广告等高并发场景。
推荐理由:涉及模型与推理 · 与本主题相关
这篇论文认为 Transformer 的意义不只是深度学习的量变,而是一种新的推理原则的出现。
推荐理由:涉及推理 · 与本主题相关
这项研究用腕部表面肌电信号还原打字内容,并发现肌肉、语言与打字习惯都会影响解码效果。
推荐理由:涉及推理 · 与本主题相关
这项工作让晶体结构生成模型在推理时自我调整,把先验变成更有希望的候选结构。
推荐理由:涉及模型与推理 · 与本主题相关
这项工作指出文生图奖励模型需要真正的视觉推理能力,才能在推理时选出更好的图并指导强化学习。
推荐理由:涉及模型与推理 · 与本主题相关
这项工作直接从组织切片图像推断空间分辨的基因表达谱,覆盖更多基因且推理更快。
推荐理由:涉及推理 · 与本主题相关
这项工作用固定键推理让 VGGT 这类多视角 Transformer 从长视频做 3D 重建时更快、还能流式处理。
推荐理由:涉及推理 · 与本主题相关
PRODiGI 是一个预训练模型,能直接从有限样本中推断出生成数据的程序,省去了针对每个数据集单独拟合的麻烦。
推荐理由:涉及模型与推理 · 与本主题相关
现在可以在自己的 AWS 账户里从 SageMaker JumpStart 部署 OpenFold3-preview,预测蛋白质、DNA、RNA 与配体复合物的 3D 结构,支持异步推理与多 GPU。
推荐理由:官方来源 · 涉及推理与本地部署
AssemblyAI 借助 ECS、EC2 Spot GPU 实例和 SQS 重试架构大规模跑语音转文字推理,成本省了七成。
推荐理由:官方来源 · 涉及推理
Bedrock 自带零插桩的成本归属能力,能把每一次推理调用追溯到发起它的 IAM 主体。
推荐理由:官方来源 · 涉及推理与工具
HyperPod Data Capture 把线上推理的输入输出记到 S3,拿真实流量持续打磨模型。
推荐理由:官方来源 · 涉及模型与推理
调完提示词和应用逻辑账单还往上涨?缓存时长、服务层级、推理力度和最大 token 数这四个请求级选择会改变成本。
推荐理由:官方来源 · 涉及推理与提示词
这篇教你用关键指标和公式衡量大模型推理性能,覆盖延迟、token 生成速度与系统负载。
推荐理由:涉及大模型与推理 · 与本主题相关
文章教你按工作负载的真实瓶颈,用决策树选出合适的 LLM 推理优化技术。
推荐理由:涉及大模型与推理 · 与本主题相关
文章讲清推测解码的原理、为什么能在硬件层面带来真实加速,以及现代实现长什么样。
推荐理由:涉及大模型与推理 · 与本主题相关
Dharma-AI 的研究表明,为小语言模型定制词表能在真实应用中把推理成本降低 77%。
推荐理由:官方来源 · 涉及推理