今年初開放工程聯盟（MLCommons）的 MLPerf AI 推論（inference）效能基準測試中，有一間台灣公司端出了世界第一個專為資料中心推薦模型（Recommendation Model）設計的 AI 晶片 RecAccel N3000 的測試數據，並在伺服器領域的能源效率（energy...
ChatGPT 大模型引發的生成式 AI 熱潮仍在繼續，算力硬體是生成式 AI 的核心基底，核心環節包括伺服器、網路設備、存放裝置、晶片、IDC 建設、光通信等。由於生成式 AI 需要大量計算與資料處理，AI 晶片需求旺盛增長，以 NVIDIA 為代表的半導體大廠業績與股價暴漲，相關產品長期供不應求...
過去幾年，大型語言模型（LLM）已證明 AI 在數位世界的邏輯能力，而現下人工智慧的核心課題，不僅止於模型參數規模的擴張，更在於如何讓 AI 從螢幕裡的諮詢師，進化為現實中的勞動力，此遂成實體 AI（Physical AI）崛起的關鍵價值。 多模態融合推理感測，助實體 AI 走向現實 Physica...
過去生成式 AI 席捲全球，ChatGPT 等大語言模型快速滲透到消費與企業市場，也帶動追逐算力、搶 GPU 的投資戰。然而，隨著 AI 應用逐步落地，如今已從過去的生成式 AI 交棒給代理 AI 與實體 AI。同時，業界開始意識到，比起單純追求算力，更該思考是如何善用算力、解決 AI 任務，並部署...
隨著 AI 算力需求激增，為解決日益嚴峻的能耗挑戰，產業正加速由傳統架構轉 HVDC（高壓直流）供電方案，並積極探索從 HVDC Power Rack 到固態變壓器（SST）等前瞻技術。根據我們的成本模型分析，目前 IT Rack Power（機櫃電力系統）在資料中 Capex 中約占 3~5%，而...
輝達（NVIDIA）執行長黃仁勳今年說過「推論 AI 時代才剛開始」，過去兩年 AI 運算需求已增加百萬倍，顯示產業正快速進入以推論為核心的新階段。這番說法也應證了近期業界走勢，從過去的追求算力轉移至高效推論，並穩步朝向「代理 AI」發展。 在 AI 發展初期，為了縮短大語言模型（LLM）的開發週期...
當人們談論 AI 時，多數目光總聚焦在 GPU、模型與雲端算力。但真正讓 AI 能夠走進工廠、捷運站、零售門市、醫院與交通號誌現場的，還有另一群長年低調運作的關鍵角色— AIoT 產業電腦與嵌入式系統。 隨著 AI 應用逐漸從雲端延伸至各類邊緣設備與應用場域，這些 AIoT 系統除了需要全年無休地運...
AI 資料中心正快速邁向高功率時代。隨大型語言模型（LLM）訓練及 AI 推論需求暴增，下一代 AI 機櫃功率持續攀升、預計很快將會突破 1MW，資料中心供電架構也面臨近二十年來最大變革。因此未來 AI 資料中心的競爭，將不只侷限於 GPU 效能比拚，如何打造出更完整、更可靠、更高效的整體供電方案，...
美國財政部長貝森特在網路節目指出，中國 AI 界所謂的「產業蒸餾」只是比較好聽的說法，實為由美國模型盜取結果。中國 AI 模型 Kimi 有時還把解放軍武器計畫送回 Anthropic，這些都是公開資訊可供討論。 美國網路媒體Axios專訪財政部長貝森特（Scott Bessent）節目3日上線。貝...
AI 推論成本下跌速度超越摩爾定律（Moore’s Law）所描述的晶片發展趨勢。AI 研究機構 Epoch AI 發表報告指出，在相同測試表現下，使用 AI 模型的成本自 2023 年起平均每季下跌約 47%，相當於每年便宜約 13 倍。這個跌速超越運算技術、DNA 排序及鋰電池。對企業而言，價格...
微軟（Microsoft）執行長薩蒂亞·納德拉（Satya Nadella）近日分享了他將 AI 融入日常高階管理工作的心得。他特別強調，自己絕不會把 AI 模型的輸出結果直接視為最終答案，而是會先進行拆解與質疑，進一步推演各種假設與情境。對他而言，AI 並非單純給出結論的工具，而是一個需要被「操作...
人工智慧應用持續擴大，市場開始出現一批不依賴新模型、技術合夥人或外部融資也能啟動的 AI 創業構想。最新整理的六項方向，核心都不是「發明全新技術」，而是把 AI 導入既有工作流程，解決企業長期面臨的效率與人力缺口。 這六種機會分別聚焦不同場景。第一類是為特定產業打造AI前台助理，如牙科診所、派遣公司...
