影响 Bedrock 推理成本的四个选择
原文标题:Four Amazon Bedrock inference choices that affect cost
导读
调完提示词和应用逻辑账单还往上涨?缓存时长、服务层级、推理力度和最大 token 数这四个请求级选择会改变成本。
推荐理由
官方来源 · 涉及推理与提示词
来源:AWS Machine Learning Blog · aws.amazon.com
原文标题:Four Amazon Bedrock inference choices that affect cost
调完提示词和应用逻辑账单还往上涨?缓存时长、服务层级、推理力度和最大 token 数这四个请求级选择会改变成本。
官方来源 · 涉及推理与提示词
来源:AWS Machine Learning Blog · aws.amazon.com