搶攻企業AI規模化的需求，Google新推兩款TPU新系統，TPU首度支援機密運算

新聞為了搶攻企業AI規模化的需求，Google再次加快TPU產品的發布速度，首度一年推出四款TPU產品。 Google今天發表了兩款第八代TPU新系統，分別是支援機密運算的TPU 8tx，以及因應百萬級Token上下文需求的TPU 8i Max。 Google今年4月才在Next大會發表兩款針對AI生命週期不同用途設計的第八代TPU晶片 ，瞄準大規模模型訓練最佳化的TPU 8t，以及針對低延遲推論最佳化的TPU 8i。不到半年，Google在這兩款TPU晶片的基礎上，推出了兩款新的TPU系統。 Google Cloud AI與運算基礎架構副總裁暨總經理Mark Lohmeyer在線上媒體說明會中表示， TPU迭代速度從過去每兩年發表一款新系統，加快至每年一款、兩款，今年更進入一年推出四款新系統的階段。 Mark Lohmeyer觀察，AI代理時代出現了三個根本性的轉變，第一個改變是從人類規模（Human scale）轉向代理規模（Agent Scale），單一使用者就可能帶來百倍甚至千倍的平行處理需求。 第二個改變是系統用途從「記錄性的系統」（Systems of record)，轉變為「行動性的系統」（Systems of action），AI不只是檢索和摘要資料，還要與業務系統、資料系統互動，甚至要代表使用者執行任務，這也帶來了新的安全性和合規性挑戰。 第三項重大改變是從簡單請求，轉向高度複雜的代理工作流程，AI系統經常需要存取龐大上下文資料，在長時間的多步驟流程中維持這些資訊和上下文。 Mark Lohmeyer表示，這三大轉變讓基礎設施面臨的挑戰，不再只取決於擁有多少GPU或TPU，還包括資料移動速度、記憶體使用效率、降低延遲與成本，以及兼顧高度安全性和合規要求。 這是為何Google不到半年又要發布新系統產品的緣故。 Google更強調，晶片產品是指一款全新設計的晶片，但新系統則是指將運算、網路和儲存等最佳化設計與晶片整合的新解決方案。 Mark Lohmeyer這一席話，代表了AI供應商的競爭，從單純AI算力的競爭，跨入同時考量運算、網路、儲存與安全的系統級效能競爭。 Google今天發表的第一款新系統產品是TPU 8tx，這是以第八代TPU 8t晶片為基礎，在硬體層增加了安全機制，搭配客製化AMD CPU的主機，來提供機密運算的能力，確保資料傳輸和處理的每一個環節都經過加密。 資料從CPU經由PCIe傳輸至TPU 8tx晶片的整條路徑都可受到加密保護，避免模型權重、提示詞和企業資料外洩，避免遭到系統操作人員的窺探。不只用於模型訓練，用於推論過程，也同樣能加密敏感資料和模型權重。 TPU 8tx的機密運算能力不只能部署在Google公雲，Google也開放特定企業將系統部署於自有地端資料中心，降低實體環境操作人員接觸敏感資料的風險。 Google指出，8tx不只是提供硬體層安全性，還有另一個特色是，將TPU 8i的低延遲網路拓樸架構Boradfly引進到8tx系統中，來縮短晶片之間的通訊路徑，讓8tx在提供硬體層級的機密推論保護時，還能進一步降低推論延遲。 第二款新發表的TPU系統是TPU 8i Max， 這款系統將兩顆8i晶片整合封裝於單一模組，在系統層級提供384GB的高頻寬記憶體，比8i多了33%，來支援更多的上下文資料和KV快取。 8i Max的記憶體存取頻寬也翻倍，達到每秒17.2TB，加快資料傳輸速度。8i Max晶片上的SRAM快取記憶體也翻倍增加為768MB。 Mark Lohmeyer比喻，8i Max系統的做法像是在高速公路增加了更多的車道，不是讓每一輛車開得更快，而是讓更多車輛通過高速公路，達到2倍的吞吐率。「當有大量代理同時檢索和生成輸出的需求時，整體吞吐量的提升，對於維持回應速度極為重要。」他強調。這正是TPU 8i Max瞄準大規模AI代理需求的設計。 Google的目標是讓TPU變得像通用硬體一樣容易使用，並持續降低使用門檻。上個月在PyTorch大會上發表了與Meta合作發展的TorchTPU開源專案，這是專為TPU打造的原生PyTorch後端，可以讓PyTorch開發者，保留模型、程式碼、函式庫、工具和所有工作流程。 Mark Lohmeyer表示，只要修改幾行設定程式碼，就能從GPU轉換至TPU執行。 Mark Lohmeyer表示， PyTorch是企業最愛用的AI框架，推出TorchTPU專案是Google擴大TPU採用率和吸引力的整體策略之一。 Google同時也針對開源推論引擎vLLM和SGLang推出了搭配的TPU後端，可以讓這兩大開源推論引擎不只支援GPU，現在也開始能支援TPU。TPU過去主要透過JAX工具和TensorFlow框架搭配使用，TorchTPU專案現在開始對PyTorch提供了原生的TPU支援。 TPU 8tx瞄準的客群是需要最高等級機密運算的企業。例如受到高度監管的產業、需要高度合規性的產業，或是希望在各種環境中加密保護模型權重的模型供應商。 而8i Max則瞄準需要處理大量上下文、檢視大量檔案、文件與電子郵件，並由大量AI代理同時執行任務，且必須維持高吞吐量與效能的應用場景。 Mark Lohmeyer表示，硬體基礎設施與軟體系統正針對特定的工作負載與使用案例，進行更高度的專業化分工，未來會看到更多這樣的發展，Google也會加速產品和功能開發，來因應這樣的多種需求。