AI工具与模型HOT精选全部
AWS Machine Learning Blog官方评分85

在 Amazon Bedrock 上为开源权重模型使用提示缓存

原文标题:Use prompt caching with open-weight models on Amazon Bedrock

导读

很多生成式 AI 应用每次请求都要重发相同的长上下文,提示缓存让 Bedrock 上的开源权重模型复用这部分内容,从而降低输入成本与延迟。

推荐理由

官方来源 · 涉及模型与提示词 · 24 小时内发布

打开原文 ↗

来源:AWS Machine Learning Blog · aws.amazon.com

主题

相关条目