OpenAI如何用自己的大模型设计Jalapeño芯片

📋总体概括

OpenAI正式发布其首款自研AI加速器芯片Jalapeño，8月25日完整亮相。该芯片提供最高13.4 petaflops的4位算力，配备232GB最先进内存，内存带宽达15.4TB/s。OpenAI引用的基准测试显示，相比其当前依赖的Nvidia GB300，Jalapeño可将端到端推理延迟（从提示到最后一枚token的时间）最高降低3.6倍。尤为独特的是，OpenAI用自家大语言模型参与了这款芯片的设计流程，成为LLM辅助芯片设计的标志性案例。