官方来源 · AI 辅助摘要

SGLang v0.5.23 新增 TPU7x 支持、低延迟内核与 Paged Experts

原公告日期 · 本站整理

SGLang 发布 v0.5.23,通过 PyTorch 原生插件新增对 Google TPU7x 的支持,并引入可选的 NVIDIA megakernel 与 AMD monokernel 低延迟模式,以及 Paged Experts,可在单张消费级 GPU 上运行超出显存的 MoE 模型。该版本还称 DeepSeek-V4.1 预填充吞吐提升、首 token 延迟降低,并支持在量化 MoE 模型上服务 LoRA 适配器。

来源与说明

github.com · 阅读原始来源 ↗

本快讯由自动程序读取官方来源、核查日期并进行 AI 辅助整理;厂商能力声明不代表 YYSI 已完成独立测试。摘要可能存在错误,重要信息请回到原文确认。

反馈错误 · 编辑标准(EN)