Perplexity Open Sources Lily: A Rust + Metal Inference Engine for Qwen3.6-35B-A3B on Apple Silicon

📋总体概括

Perplexity开源了其Perplexity Computer中Hybrid Compute功能背后的本地推理引擎Lily。该引擎用Rust编写，配备定制Metal内核，专为单一模型Qwen3.6-35B-A3B和Apple Silicon芯片家族深度优化。在40核、128GB内存的M5 Max上测试，Lily的平均prefill吞吐量达到MLX-LM的1.23倍，decode吞吐量达到其1.35倍。这表明针对特定模型与硬件的垂直优化可以显著超越通用推理框架，同时也反映出端侧AI推理竞争正从通用框架转向深度软硬协同定制。