在 Amazon Bedrock 上为开源权重模型使用提示缓存
很多生成式 AI 应用每次请求都要重发相同的长上下文,提示缓存让 Bedrock 上的开源权重模型复用这部分内容,从而降低输入成本与延迟。
推荐理由:官方来源 · 涉及模型与提示词 · 24 小时内发布
共 11 条 · 全部主题 →
很多生成式 AI 应用每次请求都要重发相同的长上下文,提示缓存让 Bedrock 上的开源权重模型复用这部分内容,从而降低输入成本与延迟。
推荐理由:官方来源 · 涉及模型与提示词 · 24 小时内发布
这项工作在只能看到模型输出的黑盒条件下,区分提示本身的歧义与模型真正的知识缺口。
推荐理由:涉及模型与大模型 · 与本主题相关
这项工作不只看静态权重与提示日志,而是从运行时的 GPU 隐状态追溯某个机器学习行为来自哪次请求。
推荐理由:涉及模型与提示词 · 与本主题相关
这项工作指出 GRPO 用组内均值做基线在实践中有问题,于是用子群偏移来修正基线估计。
推荐理由:涉及提示词 · 与本主题相关
这项研究提出图一致性正则化方法,把从模型预测中提炼的关系图结构注入提示,让提示优化更稳定可靠。
推荐理由:涉及模型与提示词 · 与本主题相关
Holiday Extras 用 OpenAI 的 dots 主动推送上线报告、标记容易被忽略的问题,还能在通勤路上聊聊接下来的会议。
推荐理由:官方来源 · 涉及提示词
datasette-agent 0.6a0 是 Datasette 的智能体插件,本版在提示中直接加入智能体入口,方便向数据提问。
推荐理由:涉及智能体与提示词 · 与本主题相关
调完提示词和应用逻辑账单还往上涨?缓存时长、服务层级、推理力度和最大 token 数这四个请求级选择会改变成本。
推荐理由:官方来源 · 涉及推理与提示词
Claude Fable 5.2 很在意代码归属,在 Anthropic 的小任务测试里,提示词没说明时它倾向于顺着现有结构加代码。
推荐理由:涉及模型与Claude · 与本主题相关
Promptim 是个提示词优化库,能自动做提示词工程,省时间、提效果、换模型也更快。
推荐理由:官方来源 · 涉及模型与提示词
一个“不再询问”的提示导致密码、API 密钥等机密被公开分享,Claude Code 用户需要检查自己的配置。
推荐理由:涉及Claude与提示词 · 与本主题相关