WebLLM: high-performance in-browser LLM inference engine

📌 概要

WebLLM是MLC AI团队推出的高性能浏览器内大语言模型推理引擎，基于WebGPU实现，无需服务器即可在浏览器端运行LLM，支持硬件加速。项目已在GitHub开源，但目前关注度较低， Hacker News仅3分且暂无评论。