RTX 4060 跑 35B 模型，每秒 39 Token？伯克利、MIT 联手开源 FreeToken

📋总体概括

伯克利与MIT团队联合开源推理加速框架FreeToken，宣称能让RTX 4060这类消费级显卡跑动35B参数大模型，并达到每秒39 Token的生成速度。该工作的意义在于把大模型推理门槛从数据中心级硬件拉低到家用显卡级别，为端侧和低成本部署提供了新路径，也回应了具身智能与机器人领域对本地实时推理的刚需。