「pytorch」的搜尋結果
#pytorch也是一個關鍵字標籤
過去 7 天有 1 篇標成這個標籤 · 目前不在排行榜上
11/10（二）
谷歌推兩款AI晶片主打隱私、大記憶體 瞄準輝達市場
圖／本報資料庫商傳媒｜葉安庭／綜合外電報導谷歌（Google）昨日發表兩款全新人工智慧（AI）運算系統——TPU 8tx與TPU 8i Max，這兩款第八代張量處理單元（TPU）旨在為企業客戶提供更高效能的AI模型訓練與部署方案，同時也明確將矛頭指向AI晶片市場龍頭輝達（Nvidia）。 根據《Decrypt》報導，谷歌的TPU不同於輝達的繪圖處理器（GPU），是專為AI加速而設計的晶片。此次推出的TPU 8tx特別強化資料隱私保護，採用硬體層級的機密運算（confidential computing）技術，能在AI模型運作時將客戶的敏感資料與專有模型參數獨立隔離，有效降低資料外洩風險。TPU 8tx的配置結合了TPU 8t晶片、第五代AMD Epyc處理器，以及谷歌的低延遲Boardfly網路，谷歌宣稱其延遲可比TPU 8t降低達一半，且幾乎不影響效能。 另一款新品TPU 8i Max則主要解決大型AI模型面臨的「記憶體牆」（memory wall）問題，這指的是AI模型在處理龐大資料時，因記憶體頻寬或容量不足而造成的效能瓶頸。TPU 8i Max透過將兩顆TPU 8i晶片整合在一個封裝中，使其運算能力、晶片內SRAM及高頻寬記憶體吞吐量都較TPU 8i提升一倍。谷歌人工智慧與基礎設施技術長暨資深副總裁阿明·瓦哈達特（Amin Vahdat）表示，企業正尋求能處理AI模型巨大Context Window的加速器，以及解決記憶體牆問題的方案。 此外，谷歌也宣布開源TPU Sync軟體，該軟體能加速AI工作記憶體在晶片、伺服器和儲存裝置間的移動，宣稱可將某些資料傳輸延遲與回應啟動時間減少超過90%。谷歌的開源專案TorchTPU也將允許開發者不需修改應用程式，即可直接在TPU上運行PyTorch和Hugging Face模型，藉此擴大TPU的生態系。目前谷歌已服務近百家TPU客戶，包含AI實驗室與大學。
獨家報導
商傳媒11/9（一）
Google 攜手 Meta、AMD 推機密 TPU、打通 PyTorch 挑戰輝達 AI 地位
Google Cloud 9日宣布新晶片、新軟體，搶進輝達（NVIDIA）AI晶片市場。包括攜手超微（AMD）擴充第8代TPU陣容，推出「TPU 8tx」與「TPU 8i Max」兩款專用晶片；軟體則結盟Meta打造原生支援PyTorch的「TorchTPU」平台，主打修改兩行代碼即可無縫自輝達GPU環境遷徙至Google TPU算力。Google以底層硬體安全到開源軟體框架，直攻輝達長年藉由硬體壟斷與CUDA護城河築起的高牆。
聯合新聞網偏藍Google攜手Meta、AMD推機密TPU 打通PyTorch挑戰輝達AI地位
Google Cloud 9日宣布新晶片、新軟體，搶進輝達（NVIDIA）AI晶片市場。包括攜手超微（AMD）擴充第8代TPU陣容，推出「TPU 8tx」與「TPU 8i Max」兩款專用晶片；軟體則結盟Meta打造原生支援PyTorch的「TorchTPU」平台，主打修改兩行代碼即可無縫自輝達GPU環境遷徙至Google TPU算力。Google以底層硬體安全到開源軟體框架，直攻輝達長年藉由硬體壟斷與CUDA護城河築起的高牆。
搶攻企業AI規模化的需求，Google新推兩款TPU新系統，TPU首度支援機密運算
新聞為了搶攻企業AI規模化的需求，Google再次加快TPU產品的發布速度，首度一年推出四款TPU產品。 Google今天發表了兩款第八代TPU新系統，分別是支援機密運算的TPU 8tx，以及因應百萬級Token上下文需求的TPU 8i Max。 Google今年4月才在Next大會發表兩款針對AI生命週期不同用途設計的第八代TPU晶片 ，瞄準大規模模型訓練最佳化的TPU 8t，以及針對低延遲推論最佳化的TPU 8i。不到半年，Google在這兩款TPU晶片的基礎上，推出了兩款新的TPU系統。 Google Cloud AI與運算基礎架構副總裁暨總經理Mark Lohmeyer在線上媒體說明會中表示， TPU迭代速度從過去每兩年發表一款新系統，加快至每年一款、兩款，今年更進入一年推出四款新系統的階段。 Mark Lohmeyer觀察，AI代理時代出現了三個根本性的轉變，第一個改變是從人類規模（Human scale）轉向代理規模（Agent Scale），單一使用者就可能帶來百倍甚至千倍的平行處理需求。 第二個改變是系統用途從「記錄性的系統」（Systems of record)，轉變為「行動性的系統」（Systems of action），AI不只是檢索和摘要資料，還要與業務系統、資料系統互動，甚至要代表使用者執行任務，這也帶來了新的安全性和合規性挑戰。 第三項重大改變是從簡單請求，轉向高度複雜的代理工作流程，AI系統經常需要存取龐大上下文資料，在長時間的多步驟流程中維持這些資訊和上下文。 Mark Lohmeyer表示，這三大轉變讓基礎設施面臨的挑戰，不再只取決於擁有多少GPU或TPU，還包括資料移動速度、記憶體使用效率、降低延遲與成本，以及兼顧高度安全性和合規要求。 這是為何Google不到半年又要發布新系統產品的緣故。 Google更強調，晶片產品是指一款全新設計的晶片，但新系統則是指將運算、網路和儲存等最佳化設計與晶片整合的新解決方案。 Mark Lohmeyer這一席話，代表了AI供應商的競爭，從單純AI算力的競爭，跨入同時考量運算、網路、儲存與安全的系統級效能競爭。 Google今天發表的第一款新系統產品是TPU 8tx，這是以第八代TPU 8t晶片為基礎，在硬體層增加了安全機制，搭配客製化AMD CPU的主機，來提供機密運算的能力，確保資料傳輸和處理的每一個環節都經過加密。 資料從CPU經由PCIe傳輸至TPU 8tx晶片的整條路徑都可受到加密保護，避免模型權重、提示詞和企業資料外洩，避免遭到系統操作人員的窺探。不只用於模型訓練，用於推論過程，也同樣能加密敏感資料和模型權重。 TPU 8tx的機密運算能力不只能部署在Google公雲，Google也開放特定企業將系統部署於自有地端資料中心，降低實體環境操作人員接觸敏感資料的風險。 Google指出，8tx不只是提供硬體層安全性，還有另一個特色是，將TPU 8i的低延遲網路拓樸架構Boradfly引進到8tx系統中，來縮短晶片之間的通訊路徑，讓8tx在提供硬體層級的機密推論保護時，還能進一步降低推論延遲。 第二款新發表的TPU系統是TPU 8i Max， 這款系統將兩顆8i晶片整合封裝於單一模組，在系統層級提供384GB的高頻寬記憶體，比8i多了33%，來支援更多的上下文資料和KV快取。 8i Max的記憶體存取頻寬也翻倍，達到每秒17.2TB，加快資料傳輸速度。8i Max晶片上的SRAM快取記憶體也翻倍增加為768MB。 Mark Lohmeyer比喻，8i Max系統的做法像是在高速公路增加了更多的車道，不是讓每一輛車開得更快，而是讓更多車輛通過高速公路，達到2倍的吞吐率。「當有大量代理同時檢索和生成輸出的需求時，整體吞吐量的提升，對於維持回應速度極為重要。」他強調。這正是TPU 8i Max瞄準大規模AI代理需求的設計。 Google的目標是讓TPU變得像通用硬體一樣容易使用，並持續降低使用門檻。上個月在PyTorch大會上發表了與Meta合作發展的TorchTPU開源專案，這是專為TPU打造的原生PyTorch後端，可以讓PyTorch開發者，保留模型、程式碼、函式庫、工具和所有工作流程。 Mark Lohmeyer表示，只要修改幾行設定程式碼，就能從GPU轉換至TPU執行。 Mark Lohmeyer表示， PyTorch是企業最愛用的AI框架，推出TorchTPU專案是Google擴大TPU採用率和吸引力的整體策略之一。 Google同時也針對開源推論引擎vLLM和SGLang推出了搭配的TPU後端，可以讓這兩大開源推論引擎不只支援GPU，現在也開始能支援TPU。TPU過去主要透過JAX工具和TensorFlow框架搭配使用，Torc
經濟日報
iThome