海外动态
英伟达高管称Groq机架已全面量产 AI推理“低延迟”大战升温
📋总体概括
英伟达高管宣布Groq 3 LPX机架全面量产,将与Vera CPU、Rubin GPU一同部署于Nebius数据中心并年内上线。该技术源自去年200亿美元收购Groq的交易,机架集成256颗芯片,每秒可处理3400个token,主打低延迟AI推理,瞄准智能体等对响应速度敏感的应用场景。
⚡关键信息
- ▸Groq 3 LPX机架全面量产,将部署于Nebius数据中心,年内上线
- ▸该技术源于去年200亿美元收购Groq的交易,创始人Jonathan Ross现任英伟达首席软件架构师
- ▸单机架集成256颗Groq 3芯片,每秒处理3400个token,低延迟推理成AI竞争新焦点
🔥犀利点评
低延迟推理正成AI算力新战场,云厂商靠延迟分层收费的生意来了。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 财联社深度 阅读全文 →