Architecting memory and storage in the AI era

📋总体概括

本文聚焦AI推理时代对内存与存储架构的重构需求：随着推理应用从云端下沉到边缘，医疗实时数据分析、智能客服并发处理等场景要求基础设施同时具备大容量、高带宽与低延迟。作者指出传统以训练为中心的存储设计已不适配推理负载，需要在HBM、DDR、CXL与NVMe等多层级间重新分配数据，通过近数据处理与分层内存体系平衡成本、功耗与性能，主张以系统级架构思维而非单点硬件升级应对推理规模化挑战。