官方来源 · AI 辅助摘要

亚马逊 SageMaker AI 实时端点新增 KV 缓存感知路由

原公告日期 · 本站整理

AWS 为 Amazon SageMaker AI 实时端点推出 KV 缓存感知路由。模型容器通过环境变量上报缓存状态,SageMaker 维护仅含截断哈希的托管索引,将每个请求发送到缓存匹配最长且不过载的实例。该功能面向多轮对话、共享长提示词和高负载的大语言模型场景,无匹配时回退到负载感知路由。

来源与说明

aws.amazon.com · 阅读原始来源 ↗

本快讯由自动程序读取官方来源、核查日期并进行 AI 辅助整理;厂商能力声明不代表 YYSI 已完成独立测试。摘要可能存在错误,重要信息请回到原文确认。

反馈错误 · 编辑标准(EN)