NVIDIA Releases Personal AI Router (PAIR): An Open Source Virtual Inference Router that Distributes Local AI Requests Across RTX, DGX Spark, and Mac Nodes

📋总体概括

NVIDIA开源发布个人AI路由器PAIR，作为虚拟推理路由器，把家庭网络内已有机器上的本地AI请求分发到RTX、DGX Spark和Mac节点。PAIR代理现有Ollama和LM Studio端点，代理框架无需改动，其调度器按节点就绪状态、引擎状态、模型是否精确存在、任务负载和GPU利用率筛选节点。官方五子代理演示中，单台RTX Spark笔记本平均耗时18分钟，三设备集群缩短至8分48秒，但NVIDIA标注其为非官方演示而非基准测试。PAIR也存在局限：单一调度策略，且不感知显存容量与模型预热状态。