资讯
高通第六代骁龙8至尊版系列集成全新Hexagon NPU:专为AI智能体打造
📋总体概括
高通在官网介绍第六代骁龙8至尊版系列搭载的全新Hexagon NPU,专为终端侧AI智能体打造。该NPU引入Element Accelerator加速Transformer工作负载,并大幅扩展共享内存,将多模型状态、上下文与KV-cache数据存储在加速器附近以缓解内存瓶颈,支持更长上下文、更多工具调用与并发任务。高通还与内存和模型厂商合作推进MoE架构,称300亿参数MoE模型每次生成词元仅需激活约30亿参数,显著降低计算与带宽需求。
⚡关键信息
- ▸第六代骁龙8至尊版集成全新Hexagon NPU,定位为直接在终端侧运行AI智能体体验
- ▸新增Element Accelerator,结合向量与标量计算单元,加速大模型中最关键的Transformer运算
- ▸大幅扩展共享内存,让多模型状态、上下文与KV-cache更靠近加速器,缓解内存瓶颈
- ▸与内存和模型厂商合作引入MoE架构:300亿参数模型每次生成词元仅需激活约30亿参数
- ▸架构目标是让智能体更快响应、更高效推理,同时保持移动端能效
🔥犀利点评
高通这次把宝押在终端智能体上,方向没错,但说白了就是在补内存带宽这个移动端AI的老短板——KV-cache贴着算子放本就是该做的事。MoE激活参数比10:1的账面很漂亮,可稀疏架构对内存容量和调度要求更高,手机端能不能真跑出宣传体验,还得看生态配合。卖点讲得热闹,落地成色待验证。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 驱动之家 阅读全文 →