Nvidia釋出可串連家中運算資源進行AI推理的PAIR工具
<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"><p>Nvidia周四（9/3）推出新的<a href="https://developer.nvidia.com/blog/nvidia-pair-virtual-inference-router-expands-available-compute-on-your-local-network/" target="_blank">開源軟體Personal AI Router（PAIR，個人AI路由器）測試版</a>，旨在解決使用者在執行本機AI代理（AI Agents）時常遇到的多重任務瓶頸。此一工具可串連區域網路內散落的硬體資源，使其形成「個人AI叢集」（Personal Home AI Cluster），大幅提升離線運算效率。</p> <p>隨著本機AI代理的運作方式變得更加複雜，主代理常會同時發動多個子代理來平行處理任務，瞬間產生大量獨立的推理請求。這些請求全部湧向單一主機的 GPU 運算佇列，往往會造成嚴重的系統堵塞。為了解決此一瓶頸，Nvidia PAIR透過一個虛擬的推理路由器，在不需變更原有代理程式架構的情況下，自動把這些獨立的運算需求分發到區域網路中其他有空閒的相容設備上共同消化。</p> <p>該工具支援Windows、Linux與macOS等主流作業系統，並相容於常見的Ollama或LM Studio等本機推理引擎。在硬體支援上，只要是配備Nvidia GeForce RTX 20系列及以上顯卡、Turing架構以上的RTX PRO工作站顯卡、Nvidia DGX Spark，或是搭載Apple M4及以上晶片的Mac設備，都可以加入這套本機運算網絡中共同分擔任務。</p> <p>在實際運作上，PAIR利用mDNS自動探索區網內的相容裝置，並透過6位數PIN碼完成初次配對信任，之後以雙向憑證（mTLS）確保節點通訊的安全與私密性。它採用工作負載層級的並行處理，不需將單一模型切分至多張顯卡，而是把每個獨立請求指派給適合的節點完整執行。</p> <p>此一動態設計允許家庭或辦公室內的動態硬體隨時加入或退出叢集，例如當主機正在進行遊戲等互動式工作時，推理任務會自動導向其他閒置節點。Nvidia 表示，此舉不僅能有效維持資料與提示詞的本機隱私，更讓使用者無需建置昂貴的資料中心，便能把家中閒置的Mac與PC轉化為高效能的AI運算網絡。</p> <p>Nvidia PAIR主要鎖定同時執行多個本機AI代理、追求高效運算的進階AI使用者，<a href="https://www.nvidia.com/en-us/ai-on-rtx/personal-ai-router/" target="_blank">已開放下載測試</a>。</p> </div></div></div>
