用 NVIDIA NeMo Switchyard 把编码智能体请求路由到 Bedrock 上的合适模型
原文标题:Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard
导读
编码智能体按任务计费时,关键指标是每个已解决任务的成本而非每 token 价格,本文用 AWS CDK 部署 LiteLLM 搭配 NeMo Switchyard 路由插件来实现按任务选模型。
推荐理由
官方来源 · 涉及模型与大模型
来源:AWS Machine Learning Blog · aws.amazon.com