輝達Vera CPU助AI沙盒運算吞吐倍增 Arm架構躍主流 - OwlNews

圖／本報資料庫商傳媒｜何映辰／台北報導雲端人工智慧公司Modal宣布，其AI沙盒（AIsandboxes）產品將轉向採用輝達（Nvidia）基於安謀（Arm）架構的VeraCPU，這也是該公司首次捨棄X86晶片。根據Modal內部測試，VeraCPU在高負載情況下，能處理的任務量是英特爾（Intel）伺服器的兩倍，大幅提升AI代理（agent）的運算效率。AI沙盒是為AI代理程式提供隔離的運算環境，讓它們能在此執行與測試程式碼。然而，這類工作負載難以預測，AI代理可能在等待模型時閒置，但在安裝軟體時卻突然消耗十倍以上的運算能力。輝達今年三月發表的VeraCPU，正是針對AI代理運算需求設計，內含88個核心。Modal計劃利用VeraCPU處理這類波動性大的工作負載，確保運算穩定性。除了VeraCPU，輝達近期也推出新一代開放式大型語言模型Nemotron3.5系列，進一步強化其AI代理生態系。其中，Nemotron3.5SuperVL是一款擁有1200億參數的開放模型，其智慧程度較前代Nemotron3Super提升兩倍，且生成文本量減少約60%。該模型特為企業級AI代理設計，具備處理影像、網頁、PDF的多模態能力，並能精確讀取表格、圖表與掃描文件。輝達也同步推出Nemotron3.5Bolt系列，旨在輕量化並在筆記型電腦上運行，首款模型具備740億參數。透過2位元量化技術，Nemotron3.5Bolt僅需24GB記憶體，便能運行於配備RTX顯示卡的遊戲電腦或輝達的DGXSpark迷你電腦。輝達的目標是為全天候運作的AI代理，提供最快速且成本最低的開放模型。業界如Perplexity已表示將在VeraCPU上執行代理任務，並回報程式撰寫速度提升1.5倍。