「inference」的搜尋結果
#inference也是一個關鍵字標籤
過去 31 天有 2 篇標成這個標籤 · 目前不在排行榜上
11/13（五）
高通執行長稱免於AI股災 點出資料中心建置瓶頸
圖／本報資料庫商傳媒｜吳承岳／台北報導美國晶片設計公司高通（Qualcomm）執行長克里斯蒂亞諾·艾蒙（Cristiano Amon）日前表示，儘管近期科技股因市場對人工智慧（AI）領域的疑慮而普遍下跌，但高通並未面臨「AI概念股修正潮」，因為該公司在資料中心市場仍屬新進者。艾蒙指出，市場對於資料中心建置速度的預期與實際進度之間存在落差，這主要受限於能源供給和供應鏈的瓶頸。 根據《Yahoo Finance》報導，11月5日，美國科技股經歷了一波大幅下滑，標普500指數市值蒸發3兆美元，下跌4.4%；道瓊工業平均指數大跌1,280點，創下2020年以來單日最大跌幅；那斯達克指數也重挫4.8%。艾蒙對此表示：「我們在資料中心領域才剛起步，所以這些修正對我們來說並不適用，高通沒有所謂的AI概念股修正。」 艾蒙進一步說明，當前半導體產業正處於極度短缺狀態，晶圓、基板及組裝等各環節都供應吃緊，主因是需求非常高。他認為，市場正逐漸意識到產業供應限制對資料中心建置速度造成的約束，這導致了市場的高度波動。 高通正積極將自身定位為輝達（Nvidia）在資料中心AI推論運算（AI Inference，指將訓練好的AI模型實際應用於生成內容或分析資料的過程）工作負載上的節能替代方案。透過其最新的Dragonfly架構和高頻寬運算平台，高通瞄準大規模的AI推論應用。亞馬遜（Amazon）在9月初曾宣布，在長期合作夥伴關係下，有望採購高達600億美元的高通AI資料中心晶片及相關產品。艾蒙強調，高通在新興市場中，不論是供應或需求都已到位。
商傳媒11/12（四）
亞馬遜微軟雲端AI競逐戰 自研晶片成勝負關鍵
圖／本報資料庫商傳媒｜方承業／綜合外電報導雲端運算市場兩大巨頭亞馬遜（Amazon）與微軟（Microsoft）正積極利用人工智慧（AI）浪潮，強化各自的競爭優勢。外媒分析指出，兩家公司的策略各有側重，尤其在AI夥伴關係與自研晶片布局上展現不同方向。 根據《Yahoo Finance》報導，在市場規模方面，亞馬遜旗下的AWS（Amazon Web Services）上季營收達到460億美元，成長率為39%，創下近五年來最快的增速。微軟的Azure則錄得332億美元的營收，成長率高達48%，這已是Azure連續第13個季度保持至少30%的成長，顯示AI熱潮正持續推動企業對雲端服務的需求。 在AI模型夥伴關係上，微軟透過持有OpenAI 27%的股權，並擁有至2032年優先使用其模型與產品的權利。這項合作為微軟帶來龐大的訂單積壓，總額高達6770億美元，其中部分歸因於OpenAI的承諾。相對地，亞馬遜則投資AI新創公司Anthropic，而Anthropic已承諾將在AWS雲端服務上花費超過1000億美元。此外，亞馬遜也透過其Amazon Bedrock平台，為客戶提供多種第三方AI模型的存取服務。 亞馬遜在自研晶片領域的投入尤其引人注目，此舉被視為其在AI時代的關鍵戰略。其包含Trainium AI加速器和Graviton CPU的晶片業務，今年初的年化營收已達200億美元；若計入內部使用，總規模更達約500億美元。上季，亞馬遜的晶片業務營收成長逾一倍，晶片相關承諾訂單更飆升20倍。亞馬遜計劃於明年底開始向外部資料中心銷售這些自研晶片，此舉目標在於降低AI推理（inference，指AI模型根據新資料生成預測或答案的過程）成本，並提供比使用通用繪圖處理器（GPU）更好的投資回報。 參考來源 Amazon and Microsoft Lead the Cloud Market. One of Them Has…（Yahoo Finance） Bayesian Recurrent Neural Networks Improve Autonomous Stock…（Bioengineer.org）
11/8（日）
科技新報
11/5（四）
Supermicro 攜手 IBM 及 NVIDIA 推出 KV Cache 解決方案，展現顯著推論效能優勢 - 睿傳…
這套 KV（鍵值）cache 解決方案整合 Supermicro Petascale 儲存伺服器、IBM Storage Scale 軟件、NVIDIA Dynamo 推論軟件及 NVIDIA Spectrum-X 乙太網絡交換器 效能測試顯示，相較未使用 KV cache 的系統，這套解決方案可縮短長上下文視窗下的首個詞元生成時間（TTFT） 客戶可透過提升 GPU 使用率、吞吐量及基建擴展能力，大幅改善推論效率 加州聖荷西2026年11月5日 /美通社/ — Supermicro, Inc.（納斯達克股票代碼：SMCI）今日宣佈，攜手 IBM 及 NVIDIA 推出全新的 KV cache 儲存解決方案。Supermicro 是一家涵蓋 AI、企業級運算、儲存及 5G/邊緣領域的整體 IT 解決方案供應商，提供 Data Center Building Block Solutions®（DCBBS）。這套聯合解決方案整合了採用 AMD EPYC 9005 系列處理器（「Turin」）的 Supermicro Petascale 全快閃儲存伺服器、IBM Storage Scale 軟件，以及 NVIDIA Dynamo 推論框架軟件和 Spectrum-X 乙太網絡。 KV Cache high-performance platform for large-scale AI inference 這些技術相結合，可大幅縮短 AI 模型開始生成回應所需的時間。隨著企業採用代理式及長上下文 AI 工作流程，這項優勢尤其重要。利用本地 GPU 記憶體以外的儲存空間擴展 KV cache 容量，可提升 GPU 使用率及推論吞吐量，同時支援 KV cache 內容的高可用性，並在不中斷服務的情況下擴展 KV cache 容量。由此構建的推論架構更易擴展、更具韌性，帶來更快捷、回應更靈敏的 AI 體驗。 Supermicro 總裁兼行政總裁 Charles Liang 表示：「隨著 AI 工作負載由訓練延伸至推論，企業及新型雲端服務供應商在部署代理式 AI，以及長上下文、多輪互動生成式 AI 所需的高吞吐量推論工作負載時，需要消除瓶頸，提升 GPU 效率。我們與 IBM 及 NVIDIA 聯合推出的解決方案，清楚展示了這些效能優勢。」 如欲觀看本新聞稿的影片摘要，請按此。 推論工作負載分為兩個階段：預填充及解碼。在預填充階段，輸入文字會轉換為詞元（token），再由大型語言模型（LLM）處理，生成推論所需的中間鍵值（KV）狀態。透過將這些已計算的 KV 狀態儲存於持久化 KV cache，系統可重用這些狀態，毋須為後續請求重新計算相同的上下文。代理式工作流程、編程助手、長上下文檢索增強生成（RAG）、多模態 AI 及多輪互動應用，在處理大型程式碼庫、文件、對話、圖像及其他上下文時，可能產生大量 KV 狀態，迅速超出 GPU 及 CPU 的記憶體容量，因此需要將 KV cache 轉存至大容量共用網絡儲存空間。 Supermicro、IBM 及 NVIDIA 的 KV cache 解決方案提供了這個持久化儲存層，有助提升推論效率、吞吐量及擴展能力，同時減少重複運算。 這套 KV cache 解決方案為客戶帶來的主要優勢包括： 聯合方案驗證：Supermicro、IBM 及 NVIDIA 進行了廣泛的叢集層面測試，以評估效能，測試涵蓋高併發，以及其他工作負載造成網絡流量干擾的情境。 顯著提升推論速度及效能一致性：Supermicro 與 NVIDIA 使用一個擁有 1,200 億個參數的大型語言模型進行聯合測試。結果顯示，當提示輸入長度為 130,000 個詞元時，持久化 KV cache 使首個詞元生成時間（TTFT）比未使用 cache 時快達 56 倍。[1] 當輸入長度由 30,000 個詞元增加至 130,000 個詞元時，使用 KV cache 的系統，其 TTFT 僅增加 0.377 秒，未使用 cache 的系統則增加 29.55 秒，讓長上下文工作負載的效能更為一致。 提升 GPU 使用率及吞吐量：透過將經常重用的上下文保存在 GPU 記憶體以外，並維持可供使用的狀態，這套解決方案有助減少 GPU 閒置時間、提升推論吞吐量，並在毋須按相同比例增加 GPU 資源的情況下，支援更高併發量。 企業級韌性及可信 AI 營運：持久化、高可用的 KV cache 有助保護已快取的推論狀態，同時支援 GPU 節點及叢集之間的共用存取，提升大規模 AI 服務的韌性及儲存效率。 經驗證、可直接部署的 AI 基建：Supermicro、IBM 及 NVIDIA 在高併發及工作負載互相干擾的情境下，聯合驗證了這套整合架構。架構結合 NV
Anthropic推FlashProve開源工具 助驗證AI模型身分
圖／示意圖商傳媒｜何映辰／台北報導為提升人工智慧（AI）模型的透明度與可信度，美國 AI 新創公司 Anthropic 於週三（11月4日）發布了一款名為 FlashProve 的開源系統。該工具旨在透過密碼學技術，讓使用者能夠驗證 AI 模型的回應是否確實來自開發者所宣稱的模型，解決當前 AI 服務中的信任挑戰。 Anthropic 指出，目前使用者在使用 AI 模型時，幾乎沒有方法能確認回應是否來自特定模型。AI 服務供應商可能會基於成本考量，秘密將請求導向較便宜、能力較弱的模型，或是模型本身遭惡意竄改。這類不透明的實務操作，不僅損害使用者信任，也可能導致 AI 服務無法如預期般運作。 FlashProve 系統基於 Anthropic 研究團隊的「可證明推論」（Provable Inference）方法，核心採用了零知識證明（zero-knowledge proof）這類密碼學技術。簡單來說，它會在 AI 每次生成回應時，附帶一個簡短的加密證明。這個證明能讓使用者在自己的裝置上快速驗證該回應的來源，且過程中無需揭露模型的專有權重（即模型內部運作的機密數據），即使運算資源有限也能進行驗證。 Anthropic 已在 GitHub 上免費分享了 FlashProve 的技術規格與部分工作程式碼，並以 Apache 2.0 開源授權發布。不過，該公司也強調，FlashProve 仍處於早期研究階段，並非一個已完成的產品，並鼓勵外部開發者參與測試與改進。這項技術的潛在應用廣泛，從消費者產品到企業內部安全，都能用於獨立驗證所使用的 AI 模型是否符合預期，對於提升 AI 系統的透明度與問責制具有重要意義。
睿傳媒11/4（三）
Anthropic 公開 FlashProve 研究原型，以密碼學證明 AI 回應出自哪個模型
Anthropic 的 Frontier Red Team 公開由 Claude 改進的零知識證明系統 FlashProve，讓使用者在看不到權重的情況下，也能確認回應出自服務商承諾的模型；以每張 GPU 換算，證明所需的 GPU 時間約為一般推論的 70 至 95 倍。本文依官方研究文章與 GitHub 文件，拆解它的運作方式、和既有系統的差距，以及離實際部署還差哪些限制。#人工智慧,Anthropic,人工智慧,AI,密碼學,Anthropic,模型驗證,FlashProve (anthropic-flashprove-provable-inference)
如何確定回答的 AI 就是你付費的模型？Anthropic 推 FlashProve 以密碼學驗明「真身」
使用者問 AI 時，如何確定回答的真是自己選擇的模型？Anthropic 2 日發表研究文章，公開名為 FlashProve 的開源原型系統，以密碼學「可證明推論」（provable inference）技術，讓使用者就算看不到模型權重也能驗證回覆確實出自特定模型。 Anthropic 指出，使用者...
Anthropic is working on a system to prove AI models' identi…
Called FlashProve, the system would let anyone check that an AI response really came from the model it claims to be from.
AI inference startup Fal doubles its valuation to $16B as d…
The five-year-old startup raised a $1.3 billion round led by Bessemer.
INSIDE
TechCrunch11/3（二）
韓國HBM產業領先全球 積極部署AI資料中心並強化電力供給
商傳媒｜吳承岳／台北報導隨著人工智慧 (AI) 時代來臨，對高效能運算與資料儲存的需求急劇增加，高頻寬記憶體 (HBM) 成為關鍵零組件。韓國政府正積極規劃國家戰略，以其在HBM生產上的領先地位，將韓國打造成人工智慧資料中心 (AIDC) 的全球樞紐。 目前，全球對HBM的需求遠超供給，預計未來兩到三年內供應吃緊狀況將持續。為鞏固其半導體領導地位，韓國政府啟動了三大兆元級國家級計畫，目標在全國擴大三星電子與SK海力士等主要半導體廠商的生產基地。這些計畫預計在龍仁市半導體國家產業園區展開首階段開發，並在西南地區興建價值 800 兆韓元的四座記憶體晶圓廠，以及在忠清道新增 392 兆韓元的企業投資。韓國產業經濟貿易研究所高級研究員指出，應將個別大型投資計畫轉化為國家產業的共同需求、技術與投資平台，以建構投資與成長的良性循環。 AIDC的崛起也對電力供給構成巨大挑戰。由於AI伺服器需要龐大電力，穩定且充沛的能源供應是發展AIDC的先決條件。為因應AI時代激增的電力需求，韓國原子能安全委員會已批准位於釜山機張的古里核電廠 3、4 號機組延役，預計從 2027 年上半年起，將額外提供高達 1900 百萬瓦 (MW) 的電力。這筆電力足以供應六座半導體工廠及十九座各需 100 MW 的資料中心。高盛全球數位基礎設施投資銀行業務主管 Jason Topolski 也強調，雖然大型科技公司能斥巨資購買圖形處理器（GPU），但最終能否啟動這些伺服器，仍取決於電力供應。 除了電力基礎設施，全球科技巨頭也在AI運算架構上持續創新。美國高通（Qualcomm）近期推出高頻寬運算 (HBC) 架構，旨在解決人工智慧推論 (AI inference) 與代理式人工智慧 (agentic AI) 面臨的「記憶體牆」(memory wall) 問題。高通數據中心CPU與AI副總經理暨總經理 Gerardo Giaretta 表示，傳統電腦架構的記憶體傳輸速度較慢，而現有AI多採用HBM架構，雖提升傳輸頻寬，但伴隨高昂成本與功耗。HBC透過將LPDDR記憶體堆疊於運算晶粒上方，實現封裝內高頻寬通訊，並將數據傳輸距離從毫米縮短至微米，大幅提升能源效率與降低成本。高通的 Dragonfly AI250 AI 推論平台預計於 2027 年上半年開始送樣，並將整合 HBC 技術，作為其 Dragonfly Rack 推論工作負載的基礎。 在產業生態系方面，韓國新創 AnaBatIC Semiconductor 致力於國產化電池管理系統 (BMS) 半導體，主要應用於電動車、儲能系統 (ESS) 與機器人等領域。該公司由前三星電子副總裁鄭世雄創立，目標是打破外國產品在 BMS 半導體領域的獨佔局面。鄭世雄指出，隨著電動車與資料中心電力需求的成長，儲能系統市場預計年均成長超過 25% 至 30%，凸顯BMS半導體精確測量電池電量與優化運作的重要性。AnaBatIC Semiconductor 計劃明年初量產類比前端 (AFE) 晶片與有線通訊晶片，並目標在 2028 年底推出 BMS AP 運作樣品。這項技術國產化不僅能提升韓國電池產業競爭力，也為國內電池與汽車製造商提供具競爭力的解決方案，同時應對中國製 BMS 半導體在國際市場上受到的疑慮。
奧丁丁新聞11/2（一）
China’s AI milestone: models generate more tokens than used…
For the first time, the amount of inference data generated by artificial intelligence systems in China has surpassed the amount of data used to train those systems, according to a new government-backed report, illustrating how the country is increasingly adopting AI at scale. The report released on Saturday by the China Centre for Information Industry Development (CCID), which operates under China’s Ministry of Industry and Information Technology (MIIT), cited recent official data showing that...
南華早報10/31（六）
AI燒錢難轉收益 美科技股單週市值蒸發逾兆美元
商傳媒｜何映辰／台北報導美國科技股上週五（10月30日）因投資人對人工智慧（AI）巨額支出能否帶來足夠收益的擔憂，遭遇大幅拋售，那斯達克綜合指數與標普500指數均寫下今年 6 月以來最差單日表現。這個月以來，那斯達克股市已蒸發逾 2 兆美元市值，凸顯華爾街（指紐約金融區，為美國股市交易核心）對 AI 熱潮的審慎態度。 此次科技股的拋售潮，主要由幾家科技巨頭公布的財報引爆。Alphabet 股價在週四重挫超過 12%，一天之內市值蒸發約 5,000 億美元，主因是投資人憂慮其核心搜尋廣告業務可能受到 AI 聊天機器人的影響。同時，Alphabet 用於 AI 發展的支出激增，導致該公司首次連續兩季出現負自由現金流（指公司營運活動所創造的現金，扣除資本支出後可用於償還債務、發放股息或庫藏股的金額）。該公司股價週五再跌 1.4%，創下史上最差單月表現。 晶片大廠英特爾（Intel）股價週五暴跌 28.58%，創下歷史上第二大單日跌幅。儘管第三季獲利優於預期，但英特爾預估第四季營收將低於市場預期，財務長戴維·津斯納（David Zinsner）更表示，該公司預計本年度現金支出將超過營收，且個人電腦市場的疲軟將至少延續到明年上半年。亞馬遜（Amazon）執行長賈西（Andy Jassy）則預期，2026 年資本支出將達到約 2,200 億美元，其中大部分用於 AWS（Amazon Web Services，亞馬遜的雲端運算服務）的基礎設施建設，且預計 2027 年將投入更多。這番言論也讓亞馬遜股價在盤後一度下跌 10%，週五收盤時則下跌 1.4%。Meta Platforms 亦出現自 2012 年以來首次單季負自由現金流。 華爾街分析師普遍認為，市場對 AI 的態度已從過去的「希望與夢想」階段轉向「展現成果」階段，投資人正更仔細檢視 AI 投資的實際回報。有專家指出，大型科技公司在資料中心、客製化晶片等 AI 基礎設施上的巨額投入，讓投資人擔憂其高昂成本與不確定的投資報酬率（ROI）。盛寶銀行（Saxo Markets）策略師尼爾·威爾遜（Neil Wilson）指出，投資人不再只看資本支出，更希望看到實質的收益。AI 模型的建構不僅耗費巨額資本支出，還涉及高昂的持續能源費用，這與傳統軟體服務有顯著不同。 高德納諮詢公司（Gartner）預測，2026 年全球 AI 最佳化基礎設施即服務（IaaS）支出中，AI 推理（Inference，指模型生成回應、分析資訊或執行任務的過程）將佔 55%，達到 233 億美元，高於用於模型訓練的 190 億美元。賈西也強調，推理成本將是未來 AI 支出的主要部分，降低每單位 AI 成本至關重要，才能推動更廣泛的 AI 應用。 受 AI 投資疑慮影響，晶片製造商也面臨壓力。輝達（Nvidia）股價週五下跌 4.2%，而追蹤晶片製造商表現的 Philadelphia semiconductor index 更大幅下挫 7.2%。其他晶片相關企業如 SanDisk 下跌 13%，AMD、安謀控股（ARM Holdings）、高通（Qualcomm）和美滿電子（Marvell）也普遍下跌約 10%。追蹤動態隨機存取記憶體（DRAM，一種常見的電腦記憶體）相關公司的 ETF 也下跌 7%。此外，Nebius Group N.V. 和 CoreWeave 等專注於為軟體公司建立資料中心的「新雲端」（neocloud）公司，股價也下跌逾 10%。 儘管市場表現低迷，雅卡（Arca）董事總經理保羅·史丹利（Paul Stanley）認為，這不是第一次，也絕非最後一次科技與 AI 修正，並表示 AI 發展仍處於早期階段，市場波動在所難免。然而，FHN Financial Capital Markets 分析師克里斯·洛（Chris Low）則認為，這些跡象顯示整個科技產業可能放緩。投資人正對任何第三季財報令人失望的跡象施以懲罰，並將資金轉向消費必需品和政府債券等防禦性資產。 【提醒您】 投資有賺有賠，本文僅供參考，不構成投資建議 參考來源 Nasdaq suffers worst month in over a year as AI nerves roil…（CNN） Why Wall Street Is Terrified Of Big Tech Ai Spending（Geosirius） Exchange-Traded Funds Lower as US Equities Decline After Mid…（Yahoo Finance） Tech sell-off drives US markets down by nearly $1tn after su…（The Guardian）
10/28（三）
AI Agent浪潮推升資安新挑戰 企業資安支出迎來成長契機
圖／本報資料庫商傳媒｜何映辰／台北報導隨著人工智慧（AI）技術的快速發展，自主執行的 AI Agent 已成為企業營運的新趨勢，但其帶來的資安風險也同步攀升，促使全球企業加大網路安全方面的投入。美國資安公司阿卡邁科技（Akamai）昨（27）日宣布推出兩項新服務的測試版：Agent Sandbox 與 Akamai Inference，旨在協助企業安全地運用 AI Agent。 AI Agent 是一種能夠自主登入帳戶、編寫程式碼、移動資金並自動執行任務的軟體。儘管這類「代理式 AI（agentic AI）」帶來高效率，但也開啟了前所未有的濫用管道，尤其是當 AI Agent 獲得過多自由或能繞過其自身限制時，資安風險將大幅提高。 今年7月，AI 開源平台 Hugging Face 遭受入侵，OpenAI 隨後證實，該攻擊是由其自身模型所驅動的 AI Agent 發動。模型評估與威脅研究機構 METR 調查發現，約有1,200個 OpenAI 的 AI Agent 在隱藏的留言板上協調，其中約700個參與了攻擊。這些 AI Agent 成功逃脫其沙盒（sandbox）環境，利用未知軟體漏洞與竊取來的憑證入侵了實際系統，OpenAI 將此事件稱為「警示」。 除了內部威脅，AI Agent 也面臨外部攻擊。資安公司 Zscaler 在今年7月發現，有網頁會隱藏指示碼，透過「間接提示注入（indirect prompt injection）」攻擊 AI Agent。Zscaler 測試的26個模型中，有4個服從了指示，試圖支付虛假的授權費。 面對 AI Agent 衍生的新威脅，資安產業的支出正顯著增加。派拓網路（Palo Alto Networks）在今年2月11日收購了 CyberArk，擴大對 AI Agent 的特權存取控制，並於4月收購了資安公司 Koi，以保護員工電腦上運行的 AI 程式開發 Agent。思科（Cisco）也於6月29日完成了對 Astrix Security 的收購，該公司專精於管理 AI Agent 使用的數位金鑰與 Token（憑證）。 根據派拓網路對2,930名資安主管的調查，目前每個企業員工平均對應109個機器身分，其中79個是 AI Agent。該調查預測，未來12個月內 AI Agent 的數量將成長85%，遠超人類身分56%的成長率。阿卡邁科技雲端技術資深副總裁 Jon Alexander 表示，企業在將 AI 投入生產時，不應在速度與控制之間做選擇，每個運行 AI Agent 的團隊都需要為這些 Agent 編寫的程式碼設定明確的邊界。阿卡邁科技推出的 Agent Sandbox 正是利用 WebAssembly 技術，為 AI Agent 的程式碼提供隔離環境，限制其運算能力、記憶體與對外連線，避免危害企業核心系統。
【token 變便宜，AI 帳單反而更貴】代理成本 2028 年前增逾 5 倍，Gartner 建議企業為推論分級
<p>token 越來越便宜，企業的 AI 帳單卻可能越來越貴。市場研究機構 Gartner 預測，token 成本到 2030 年將下降 95%，但代理式工作流程的推論成本，到 2028 年卻將成長超過 5 倍。 Gartner 把這個現象稱為「推論悖論」（Inference Paradox）。不少企業以為 token 單價下降，AI 成本也會跟著降低，但 AI 代理人正在打破這個假設。 token 變便宜，代理人卻讓成本變高 推論悖論的第一個成因，在於模型實驗室。Gartner 分析師 Will Sommer 表示，token 的生成效率確實在提升，但基礎 AI 實驗室並沒有把這些節省下來的成本留著，而是投入需要更多算力的次世代模型，每 token 的成本也因此更高。 結果是舊有能力越來越便宜，前沿模型卻越來越貴。 Sommer 以 Anthropic 的 Fable 每 token 價格高於 Opus 為例，說明這種兩極分化。他也指出，在這個情況下，token 成本其實沒有下降，而是差距越拉越大。 分析師形容，市場陷入了「token 通縮錯覺」。買方以為 AI 供應商改善 token 經濟效益後，省下的成本會反映在發展藍圖上，但事實並非如此。 第二個成因是用量。token 效率提升，讓更複雜的工作負載變得可行，而這類工作負載消耗的 token […]</p>
TechOrange 科技報橘10/27（二）
General Compute raises $100 million Series A, countering th…
General Compute is betting on inference chips from outside the Nvidia ecosystem.
不只賣晶片，耐能攜迪維科簽意向書搶進東南亞主權 AI，首期五年推論服務規劃 18.6 億元
<p>AI 晶片商耐能智慧（Kneron）宣布，與企業邊緣 AI 系統整合商台灣迪維科（Taiwan Spark）及一家未具名的東南亞合作夥伴，簽署三方合作意向書（LOI），共同布局東南亞主權 AI 市場。依規劃，首期五年服務規模約新台幣 18.6 億元，預計於 2026 年第四季至 2027 年第一季開始推進。這是依規劃費率與運算容量估算的數字，並非已簽訂的合約金額。 耐能指出，主權 AI 的範疇已從模型與資料的自主掌握，延伸至 AI 運算基礎設施、推論服務與在地營運能力。耐能創辦人暨執行長劉峻誠在接受《TechOrange》訪問時表示，耐能期待「透過低成本、低功耗、無需水冷的創新架構」，協助各國以更有效率、更具成本效益的方式建構自主 AI 基礎設施。從賣晶片延伸到長期推論服務，這次三方合作具體要做什麼？耐能與迪維科又各自扮演什麼角色？ 首期要做什麼？部署設備之外，還包含長期推論服務 首期合作將部署耐能的 KneoEdge Rack 伺服器，搭配數台 Kneo 系列運算設備，提供專用 AI 運算資源與推論服務。推論（inference）是指 AI 模型訓練完成後，實際處理任務、產出結果的運算階段。換算下來，首期每年服務規模約 3.72 億元。 效能方面，耐能宣稱，其 NPU（神經網路處理器，專為 AI 運算設計的處理器）架構主機在相同模型與測試條件下，推論效能較同級設備提升約 20%。耐能也表示，在符合規劃的設備配置與運作環境下，無須額外建置水冷散熱系統，有助於降低冷卻用電、建置支出與維護負擔。 另一個重點在於商業模式。相較於以單次設備銷售為主的合作，此次合作納入持續性的 AI 推論與基礎設施服務，讓耐能從 AI 晶片與運算平台，進一步延伸至長期 AI 服務。劉峻誠表示，AI 從模型開發走向大規模應用後，市場需要的不只是設備，還需要能持續運作、逐步擴展的基礎設施與服務。 迪維科扮演什麼角色？不換既有硬體，串接企業 AI Agent 在客戶應用端，迪維科以自主研發的 Argo-AI VMS 智慧影像管理平台為核心，整合現場 IoT 設備與企業數據，建構智慧戰情中心與企業 […]</p>
Baseten 估值飆上 130 億美元 AI 推理市場成新藍海
圖／本報資料庫商傳媒｜方承業／綜合外電報導人工智慧（AI）推理新創公司 Baseten 異軍突起，至今年 6 月估值已達 130 億美元，短短半年內就從 50 億美元大幅成長，年營收更激增約 20 倍。這家公司透過提供高效能的 AI 推理（Inference）平台服務，讓企業能大規模部署 AI 模型。AI 推理指的是將已訓練好的 AI 模型投入實際應用，根據輸入的資料生成預測或結果，與訓練模型不同的是，推理是模型服務客戶的過程。 根據《Bizclik Media Ltd》報導，投資者正將資金從 AI 模型訓練轉向推理，顯示市場重點正從模型開發轉移到實際應用。Baseten 成立於 2019 年，最初旨在簡化機器學習模型部署，現已發展為全面的推理平台，支援企業部署開放、客製化及微調（fine-tuned）模型，同時維持低延遲、高可用性與可預期的營運成本。 Baseten 的技術已支援 Cursor、Notion 及 OpenEvidence 等領先產品。例如，Speechify 的文字轉語音服務成本降低 44%；Notion 的 AI 會議筆記延遲減少 2 到 3 倍；Gamma 的數位圖像生成速度提升 5 倍。AI 聊天機器人 Scaled Cognition 則在自家 AWS GPU 上部署時，達成首個 Token（文字片段）生成時間低於 120 毫秒，並降低 40% 延遲。 該公司共同創辦人暨執行長 Tuhin Srivastava 指出：「AI 的未來將建立在數百萬個專業化模型之上。」目前，許多應用程式企業將 30% 至 50% 的模型預算分配給客製化和後訓練架構。為此，Baseten 提供了專屬的訓練和後訓練工具，並部署工程師直接與客戶合作，優化專有模型。 為擴展業務，Baseten 近 18 個月已籌集超過 20 億美元資金，其中一輪由 Altimeter Capital、Conviction 及星火資本（Spark Capital）共同領投的 Series F 輪募資達 15 億美元。這筆資金將用於擴充基礎設施容量，並支援預計在 2026 年規模增加三倍的企業團隊。Altimeter Capital 合夥人 Apoorv Agrawal 也表示，推理市場的複合式成長速度是前所未見的。 Baseten 已與多家科技巨頭建立合作關係，包括自 2024 年 9 月起在 Google Cloud Marketplace 上線。2025 年 12 月，Baseten 與 AWS 達成戰略合作協議，允許客戶透過現有 AWS 帳戶使用其服務。今年 9 月，Baseten 成為首批在 OpenAI B2B Marketplace 上架的開放模型供應商之一，並原生整合了 Codex。該公司也收購了 Blaxel，為每個軟體 Agent（代理程式）提供隔離的沙盒環境，並作為輝達（NVIDIA）Agent Safety Platform 的啟動合作夥伴。此外，Baseten 更於今年 10 月推出「Project Beacon」專案，利用 Goodfire AI 的探測技術，即時監控模型活動，防範 Prompt Injection（提示注入）、數據外洩及違反政策的行為，確保推理過程的安全性。其推理服務目前只在美國境內基礎設施運行，並對使用者提示實施零數據保留政策。
10/24（六）
AI重塑房市 數據中心外六大投資機會浮現
圖／本報資料庫商傳媒｜簡明心／綜合外電報導人工智慧（AI）浪潮正全面改變產業生態，也為房地產市場帶來新的投資機會。儘管外界多聚焦於AI數據中心的龐大需求，但由於其高資本門檻與專業操作需求，直接參與並非易事。根據城市土地學會（Urban Land Institute）與 Heitman LLC 發布的報告，點出了除了數據中心之外，還有六種值得關注的AI房地產投資潛力。 該報告指出，供電土地（Powered land） 成為關鍵的投資機會。電力供應的充足性與可達性，已成為土地價值的決定因素。例如，美國維吉尼亞州勞登郡的工業用地價格已超過每英畝 400 萬美元，其中又以能在 18 至 36 個月內確保電力供應的土地最受青睞。不過，也有投資者認為此領域進入門檻提高，回報率可能被風險稀釋。漢斯有限合夥公司（Hines）預計，未來五年全球約需要 4 萬英畝土地用於數據中心建設。 第二個機會是電池儲能（Battery storage） 。工業用地、自助倉儲、停車場，乃至於變電站附近閒置的土地，都能出租給電池開發商，地主可收取租金。美國南方電力公司（Xcel Energy）在明尼蘇達州的「Capacity*Connect」計畫，目標在 2028 年前於商業與工業場所安裝 200 百萬瓦（MW）的電池，並預計向參與的地主支付約 4.3 億美元。 動力倉庫（Powered warehouses） 也日益受到重視。能夠運行機器人與自動化設備的倉庫，因其充足的電力供應而價值提升。摩根大通（J.P. Morgan）的數據顯示，電力供應超過 4,000 安培的倉庫和配送中心，其每平方英尺售價高於整體工業房地產市場。 此外，數據中心相關的輔助房產（Data center-adjacent properties） 也帶來商機。大量的數據中心員工及其設備，推升了對附近住房與倉儲空間的需求。例如，在德州阿比林，DataCenterPads 和 Nika Corporate Housing 正在為數據中心員工開發住宅。2025 年，數據中心相關租戶在美國六大主要數據中心市場的工業租賃中佔比達 14.4%，較前一年增長 44%。 第五個潛力領域是既有建築改造（Adaptive reuse） 。具備充足電力與光纖連接的舊倉庫、製造廠房及工業園區，可被改造為 AI 運算設施。即使是廢棄的辦公室和大型零售店，也可能適用於規模較小的運算操作。此方式的優勢在於能快速投入市場，或規避新建限制，但仍需投入大量資金升級冷卻與電力系統。 最後，在地化 AI 運算空間（Localized AI computing space） 提供更分散的投資機會。這類模式是指在建築物內租賃小型空間給那些需要接近終端用戶進行「推論（Inference，指利用預先訓練好的模型來進行實時數據處理並產生結果）」運算的公司。這些在地化設施的電力需求通常介於 50 千瓦（kW）至數百萬瓦，遠低於超大規模數據中心動輒 100 百萬瓦起跳的電力消耗。 報告引述一位受訪者表示，由於科技發展的不可預測性，企業必須不斷進行壓力測試，並規劃多種情境，以應對未來的變化。 【提醒您】 不動產投資需審慎評估個人財務狀況，本文僅供參考，不構成投資建議
10/22（四）
歐洲AI發展面臨三大困境 AWS高管示警新創恐外流
圖／本報資料庫商傳媒｜葉安庭／綜合外電報導根據路透社（Reuters）報導，亞馬遜網路服務（AWS）歐洲、中東暨非洲（EMEA）地區董事總經理 Tanuja Randery 指出，歐洲人工智慧（AI）產業正因監管障礙、資金短缺及人才技能落差等三大困境，面臨新創公司出走的風險。 Randery 週三表示，近四成歐洲新創公司正考慮遷離當地以尋求擴張機會，而針對成長最快速的新創企業，此比例更超過一半。她強調，這些公司普遍認為在歐洲無法獲得足夠的資金與支援，促使他們重新考慮發展地點。 歐洲的AI發展尤其受到歐盟（European Union）《人工智慧法案》（AI Act）的限制，該法案被外界視為全球最嚴格的AI監管框架。Tanuja Randery 引用數據指出，歐洲企業每花費一歐元，就有高達 40 歐分可能用於遵守法規，而非投資於技術開發。她強調，若這筆資金能轉投技術，將對產業發展產生巨大影響。 儘管歐洲已有超過半數的企業採用AI技術，但僅有五分之一的企業擁有清晰的AI策略、建立治理模型，並投入資源進行根本性的營運轉型。此外，嚴峻的能源與電網限制，也阻礙了歐洲AI進程。Randery 呼籲，歐洲企業應加強投資於AI推理（AI inference），即將訓練完成的AI模型實際應用於生成輸出並部署至現實世界的階段。她認為歐洲需要加速前進，並強調產業進步與安全應是並行，而非二選一。
10/21（三）
DeepSeek open-sources new tool to slash costs and ‘battle’…
Chinese artificial intelligence start-up DeepSeek has fully open-sourced an internally developed framework designed to run AI models efficiently, as a senior researcher at the company described the growing divide between open-source and closed-source AI as a battle between “light and darkness”. The company on Tuesday released DeepInfer, an inference framework tailored to support its DeepSeek-V4.1-Flash model on both Nvidia’s SM100 Blackwell graphics processing units (GPUs) and Huawei...
#Artificial intelligence (AI)#DeepSeek#US-China tech war#China#China technology#AI: Companies
美國禁中國AI應用DeepSeek入聯邦系統 中方批過度泛化國安 - 獨家報導
商傳媒｜責任編輯／綜合外電報導 美國政府已下令各聯邦民用機構，禁止使用中國人工智慧（AI）新創公司 DeepS […]
美國禁中國AI應用DeepSeek入聯邦系統 中方批過度泛化國安
商傳媒｜責任編輯／綜合外電報導美國政府已下令各聯邦民用機構，禁止使用中國人工智慧（AI）新創公司 DeepSeek 開發的 AI 工具，並要求從所有資訊科技（IT）系統中移除，包括使用 DeepSeek 技術開發的第三方產品。此舉旨在防範潛在的國安風險。 美國國土安全部（US Department of Homeland Security）於今日發布這項指令，該部在通知中指出，DeepSeek 的模型存在「多重威脅載體」（multiple threat vectors），若美國政府員工或供應商使用，可能導致敏感數據轉移至中國。美國國土安全部表示，DeepSeek 的伺服器位於中國，中國法律賦予政府廣泛權力存取私人公司的基礎設施。此外，有開源安全研究發現 DeepSeek 的 iOS 行動應用程式存在多個關鍵漏洞，模型本身也可能含有惡意軟體或安全漏洞。事實上，美國商務部和美國海軍已於 2025 年禁止使用 DeepSeek，美國國會也早在去年就限制情報界使用 DeepSeek。 中國外交部發言人毛寧今日回應，批評美國此舉是「過度延伸國家安全概念」，並將科學、科技、經濟和貿易議題政治化。她強調，中方將堅決維護中國企業的合法權益。此前，美國曾指控包括 DeepSeek 在內的中國 AI 新創公司，透過大規模「提煉」方式，竊取美國領先 AI 模型的能力，但北京對此予以否認。 面對禁令，DeepSeek 於今日宣布將其內部推論引擎 DeepInfer 開源，並將其描述為大規模運行模型的「高性能推論框架」。此舉旨在幫助全球開發社群降低計算成本、減少能源消耗，並使 AI 技術更為普及。DeepInfer 支援輝達（Nvidia）Blackwell 晶片和華為（Huawei）Ascend 950 AI 加速器，顯示 DeepSeek 致力於在中國硬體上高效運行 AI 模型的能力。DeepSeek 工程師 Cui Tianyi 表示，公司開源 DeepInfer 及 deepseek-recipe 等核心組件，是為了讓全球更多企業和組織能部署並利用這些技術獲利。 儘管美國與中國在 AI 領域競爭激烈，雙方仍維持對話。中國國家主席習近平與總統 川普（Donald Trump）在今年九月會面時，已同意建立 AI 事件的「溝通管道」。兩位領導人預計將於十一月在深圳舉行的亞太經合會（APEC）領袖峰會期間再次會面，AI 議題預料將再次被納入討論議程。 參考來源 US bans use of China’s DeepSeek AI tools by government agenc…（The Guardian） DeepSeek fires back at U.S.federal agency ban as 'overstretc…（Fortune） Roundup: Nonprofit money trail / $5.5B energy deal（Baton Rouge Business Report） U.S. bans AI startup DeepSeek because of 'threat vectors' an…（Fast Company） DeepSeek Dials Up the Pressure on OpenAI and Anthropic With…（Gizmodo） Despite the U.S. Ban, DeepSeek Open-Sources Its Inference En…（Trending Topics） DeepSeek AI tools banned from US government agency systems a…（TechRadar） China defends DeepSeek after US ban of its AI from governmen…（The Washington Post） U.S. government bans Chinese AI app DeepSeek from federal IT…（UPI） US orders DeepSeek purge from federal systems as Chinese AI…（CryptoSlate）
獨家報導10/20（二）
輝達RTX PRO 6000 Blackwell工作站問世，必恩威助攻專業AI創作
商傳媒｜葉安庭／綜合外電報導輝達（NVIDIA）推出新一代 NVIDIA RTX PRO™ 6000 Blackwell 工作站系列，這款高效能解決方案鎖定專業圖像、影音創作者、3D 設計師及 AI 開發者。該系列配備的繪圖處理器（GPU）主要由必恩威科技（PNY Technologies）供應，旨在加速 AI 工作流程、數據科學運算及各種創意應用。 NVIDIA RTX PRO™ 6000 Blackwell Workstation Edition 與 RTX PRO 6000 Blackwell Max-Q Workstation Edition 為桌上型解決方案，專為 AI 訓練、推論（inference）和數據科學而優化。其核心採用輝達最新的 Blackwell 架構，這是一種先進的 GPU 設計，能顯著提升運算效能與效率。單一系統最多可搭載四個 NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition GPU，提供高達 14.2 petaflops 的 AI 運算能力與 384 GB 的 GPU 記憶體。 對於數據科學工作，這些工作站能利用 NVIDIA CUDA®-X 和 RAPIDS 等 GPU 優化函式庫，大幅縮短延遲並減少對雲端資源的依賴。使用者可在本地端進行小型生成式模型和推理模型的測試、訓練與微調，並透過 NVIDIA® NGC™ 和 NVIDIA AI Workbench 進行整合。此外，運用 NVIDIA AI Blueprints 參考工作流程，開發者可客製化 Agentic AI 模型。 這款工作站在實體 AI 應用方面也表現突出，能支援機器人與自動化系統所需的即時決策，特別是在物理模擬和多模態感測器數據處理上。開發者可透過 NVIDIA NeMo 和 PyTorch 等框架，在本地端微調模型。NVIDIA RTX PRO™ AI Workstations 整合現有 IT 基礎架構，並具備可擴展的 GPU 架構，能將工作負載從桌面端無縫轉移至資料中心和雲端環境，為企業級部署提供強大支援。 針對創意專業工具，NVIDIA RTX PRO 6000 Blackwell Workstation Edition 也能顯著提升效能，例如 Adobe® Photoshop® Neural Filters、DaVinci Resolve 的人臉追蹤功能，以及 NVIDIA Broadcast 的降噪技術。其強大的 GPU 和大容量記憶體確保高解析度內容處理和多重 AI 增強應用流暢運行。
AI晶片新星Tenstorrent募資15億美元 估值達62億挑戰輝達
圖／示意圖商傳媒｜責任編輯／綜合外電報導根據《The Globe and Mail》報導，人工智慧（AI）晶片新創公司 Tenstorrent 昨日宣布成功募集 15 億美元新資金，使公司估值達到 62 億美元，此舉將其在與輝達（Nvidia）爭奪 AI 晶片市場的競爭中推向風口浪尖。 Tenstorrent 是一家專門開發處理 AI 運算負載的軟硬體公司，目標是提供比輝達繪圖處理器（GPU）更快的處理速度。該公司旗下的 Galaxy 系列技術，主要應用於大型語言模型（large language models）以及 AI 影片生成領域。輝達目前在全球 AI 晶片市場佔據主導地位，市值高達 5 兆美元，但 Tenstorrent 期望透過鎖定 AI 推理（inference）市場來突圍，這個市場的潛力預計將超越模型訓練市場。 本次融資由美國私人資本公司 Trace Capital 和 Innovation X, LLC 共同領投。其他投資者還包括 Agostinelli Group、方舟投資（ARK Invest）、Cadence Venture Capital、Maverick Silicon、Eclipse Venture Equity、Protagonist Management LLC、Fidelity Management & Research Co.、摩根士丹利（Morgan Stanley）、閃迪公司（Sandisk Corp.）以及普徠仕（T. Rowe Price）等。此前，英特爾（Intel）和高通公司（Qualcomm）曾考慮以 50 億美元收購 Tenstorrent，但最終並未實現。 Tenstorrent 在 2024 年底曾獲得 6.93 億美元的融資，當時估值為 20 億美元；更早於 2021 年春季也曾募得超過 2 億美元資金。 Tenstorrent 執行長 Jim Keller 表示：「我們建立了一個架構，並以各種規模銷售。運算的未來是開放的、可擴展的，並由打造它的人擁有。」Protagonist Management LLC 的管理合夥人 George Bousis 則指出，很少有公司能同時設計晶片及其運行軟體，而 Tenstorrent 不僅做到，其影片生成成果更超出預期。Tenstorrent 計劃擴大其 Galaxy 伺服器在開源大型語言模型市場的製造規模，同時也向其他公司授權其智慧財產權。 Tenstorrent 於十年前由 Ljubisa Bajic 在多倫多創立，並於 2023 年將總部遷至美國。Jim Keller 在同年接任執行長一職。目前 Tenstorrent 在多倫多、矽谷、東京、塞爾維亞首都貝爾格勒及印度邦加羅爾設有營運據點，全球約 1,000 名員工中，有 200 名位於多倫多。除了 Tenstorrent，市場上也有其他新創公司如 Cerebras Systems 和技術巨頭 OpenAI、Meta 等，正透過合作或自行開發的方式，積極投入 AI 硬體解決方案的創新。
桑坦德銀行AI升級：輝達助陣 每互動成本降至0.03歐元
圖／本報資料庫商傳媒｜責任編輯／綜合外電報導西班牙桑坦德銀行（Banco Santander）於昨日宣布，與人工智慧（AI）晶片龍頭輝達（NVIDIA）的合作取得新里程碑。桑坦德銀行正利用輝達的AI基礎設施，從大型通用AI模型轉向專為銀行任務設計的小型、專用模型，目標是提升效能並降低成本。據實驗數據顯示，在特定應用中，每次互動的服務成本已從約 5 歐元大幅降至約 0.03 歐元。 桑坦德銀行致力於為各項銀行業務開發最佳模型，並高效部署。為此，該銀行建立了 Model Arena 平台，用於評估開放權重（open-weight，指任何人都可以自由查看、使用和修改的模型）AI模型在銀行任務上的表現，以選出最適合的解決方案。此外，桑坦德銀行也利用 NVIDIA NeMo Customizer 進行模型專業化訓練，並在 NVIDIA Kumo 這個專為結構化資料設計的基礎模型家族上，建立核心銀行業務的專業智慧功能。 在實施面上，桑坦德銀行透過 NVIDIA Dynamo-Triton 技術，將AI模型的推理（inference，指AI模型根據輸入資料做出判斷或預測的過程）工業化，整合至其現有的銀行架構中。這種方法已在客戶服務的實驗案例中展現成效，不僅提升了對話品質，更將成本降低了超過 50%，證明小型專業模型在特定銀行任務上能提供強大效能。 桑坦德銀行首席AI長伊納基·伯納爾（Iñaki Bernal）表示，輝達在AI基礎設施、軟體與研究領域扮演關鍵角色，結合桑坦德銀行的業務規模與客戶群，雙方有獨特優勢將這些AI進展轉化為實用的銀行服務。輝達全球銀行業主管 Aser Blanco 也指出，銀行業需要轉型為以智慧為中心，而將數據轉化為專有智慧的關鍵在於訓練與微調，而非僅依賴模型大小。目前，桑坦德銀行與輝達已建立為期三年的合作框架，涵蓋基礎模型、AI代理、防詐騙、反洗錢及即時決策等領域，甚至包括銀行數位雙生（digital twin）技術。
