资讯
国产GPU首入CNCF国际开源生态！沐曦携手密瓜智能完成llm-d适配：单卡吞吐5773 tokens/s
📋总体概括
快科技9月8日消息， 近日，云原生分布式推理开源项目llm-d正式纳入沐曦曦云C系列GPU支持，这是llm-d官方支持的加速器名单中首次出现国产GPU。 llm-d由Red Hat发起，构建于vLLM、SGLang等推理引擎与Kubernetes之上，目前已交由CNCF（云原生计算基金会）托管。 该项目聚焦前缀缓存感知路由、负载感知调度与Prefill/Decode分离等关键能力，GitH
⚡关键信息
- ▸快科技9月8日消息， 近日，云原生分布式推理开源项目llm-d正式纳入沐曦曦云C系列GPU支持，这是llm-d官方支持的
- ▸llm-d由Red Hat发起，构建于vLLM、SGLang等推理引擎与Kubernetes之上，目前已交由CNCF（云
- ▸该项目聚焦前缀缓存感知路由、负载感知调度与Prefill/Decode分离等关键能力，GitHub已获超4400 Sta
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 驱动之家 阅读全文 →