Arm 機櫃級伺服器已超越 x86，Arm 攜手 NVIDIA 搶代理 AI 商機

人工智慧（AI）基礎設施正在加速向 Arm 架構轉移，基於 Arm 架構的機櫃級伺服器目前已超越 x86，成為加速運算領域的主流平台。

Arm 指出，隨著代理式 AI 快速發展，AI 代理不僅需要更強大的運算能力來執行任務，同時也對安全、隔離與監控機制提出更高要求，Arm 正透過 CPU 與資料處理單元（DPU）等基礎設施處理器，建立一套兼顧效能與安全的 AI 運算架構。

隨著 AI 代理的規模持續擴大，基礎設施將面臨兩項核心運算需求，一是執行 AI 代理本身所需的運算能力，二則是保護 AI 代理、確保其能在安全環境中運作所需的獨立運算資源。對此，Arm 分別從高效能 CPU 與基礎設施處理器兩個方向提供支援。

Arm 指出，AI 代理執行環境、代理框架、編排系統、工具執行以及各類應用都仰賴 CPU。隨著 AI 代理的能力不斷提升、持續運作能力日益增強，並開始大規模並行運作，對 CPU 的需求也將持續成長。

其中，高效能 Arm CPU 可負責執行代理式 AI 工作負載，而基於 Arm 架構的基礎設施處理器，例如 DPU 可提供獨立於主機 CPU 的可觀測性、隔離、策略執行及安全防護能力，讓 AI 代理的運算與安全管理能夠分離。

目前從 Arm AGI CPU、Amazon Graviton、Google Axion、Microsoft Cobalt，到 NVIDIA 客製化開發的 Vera CPU，雖然各家產品採用不同的設計，但都建立在 Arm 軟體生態系之上。NVIDIA 推出的 OpenShell，則進一步將 AI 代理的安全執行能力延伸至這個日益龐大的 Arm CPU 生態系。

除了運行 AI 代理，AI 代理基礎設施還需要獨立的運算資源，在 AI 代理自身的執行環境之外，進行觀測、隔離並執行策略管控。Arm 指出，基於 Arm 架構的 DPU 和基礎設施處理器提供了這一獨立層。透過將網路、監測、隔離和安全等基礎設施服務從主機 CPU 中分離出來，它們建構獨立的控制節點，使其始終獨立於所保護的AI 代理和應用運行。

其中，NVIDIA BlueField-4 由搭載 64 個 Arm Neoverse V2 核心的 NVIDIA Grace 所驅動，可在主機之外提供獨立的基礎設施環境。

Arm 指出，目前 Arm 生態的各類運算平台運行代理 AI 工作負載，而獨立的基於 Arm 架構的 DPU 則協助進行觀測、隔離和保護。隨著 AI 代理能力不斷提升、且擁有更強的持續運行能力和自主性，代理式 AI 對運算資源的需求將持續增加。同時，安全能力也必須與運算能力同步擴展，而無需在安全與效能之間有所取捨。

（首圖來源：Unsplash）

您的咖啡贊助將是讓我們持續走下去的動力

從這裡可透過《Google 新聞》追蹤 TechNews