AI工具与模型HOT精选全部
#inference

#inference

共 24 条 · 全部主题 →

arXiv cs.AI评分70

机械与智能体混合的规约推断

这项研究把机械化推断与智能体结合起来,自动补齐形式化验证所需的高层规约,降低人工编写规约的成本。

11月16日 13:00

推荐理由:涉及推理与智能体 · 与本主题相关

arXiv cs.AI评分65

用微缩放格式推进R&R模型的量化

该研究用微缩放数值格式对推荐与排序模型做量化,在保持精度的同时大幅提升推理吞吐,适配广告等高并发场景。

11月16日 13:00

推荐理由:涉及模型与推理 · 与本主题相关

AWS Machine Learning Blog评分70

影响 Bedrock 推理成本的四个选择

调完提示词和应用逻辑账单还往上涨?缓存时长、服务层级、推理力度和最大 token 数这四个请求级选择会改变成本。

11月13日 04:51

推荐理由:官方来源 · 涉及推理与提示词