效能提升至4倍,高通以新款AI加速卡建立整合應用設備
<div class="field field-name-field-image field-type-image field-label-hidden"><div class="field-items"><div class="field-item even"><img src="https://s4.itho.me/sites/default/files/qualcomm_cloud_ai_100_ultra_main.jpg" width="960" height="420" alt="" /></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <p>人工智慧浪潮帶來的資料中心與邊緣運算加速運算市場商機,不讓Nvidia、Arm、Intel、AMD等廠商專美於前,高通(Qualcomm)發展AI推論加速卡<a href="https://www.ithome.com.tw/review/149712">Cloud AI 100</a>,在2020年9月<a href="https://www.qualcomm.com/news/releases/2020/09/qualcomm-announces-first-shipments-qualcomm-cloud-ai-100-accelerator-and">首批產品出貨</a>,當時供應3種組態:熱設計功耗75瓦、INT8整數運算400 TOPS的半高半長PCIe介面卡,熱設計功耗25瓦、INT8整數運算200 TOPS的雙M.2介面卡,以及熱設計功耗15瓦、INT8整數運算70 TOPS的雙M.2e介面卡,預計10月供應邊緣運算開發套件Qualcomm Cloud AI 100 Edge Development Kit。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/2020-09-Qualcomm%20CLoud%20AI%20Gen1.jpg" style="width: 600px;" /></p> <p><a href="https://s4.itho.me/sites/default/files/images/Qualcom Cloud AI 100-SOC.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/Qualcom%20Cloud%20AI%20100-SOC.jpg" style="width: 298px;" /></a> <a href="https://s4.itho.me/sites/default/files/images/Qualcom Cloud AI 100-AI Cores.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/Qualcom%20Cloud%20AI%20100-AI%20Cores.jpg" style="width: 298px;" /></a></p> <p>之後幾年,MLCommon皆持續公告Qualcomm Cloud AI 100的效能測試結果,而且,是專攻AI推論處理效能呈現的MLPerf Inference(MLPerf Inference Edge與MLPerf Inference Datacenter的1.0版、1.1版、2.0版、2.1版、3.0版、3.1版、4.0版),這些效能測試結果不只來自高通,也包括多家系統廠商。</p> <p>以MLPerf Inference Datacenter為例,像是伺服器廠商技嘉(R282-Z93、G292-Z43)、Dell(PowerEdge R7515)、HPE(ProLiant DL385 Gen10 Plus v2)、聯想(ThinkSystem SR670 V2),以及率先採用這款AI加速卡、提供執行個體服務的公有雲業者AWS(<a href="https://www.ithome.com.tw/review/162147">Amazon EC2 DL2q</a>),都提交搭配Qualcomm Cloud AI 100的效能測試結果。</p> <p>值得注意的是,從2022年4月發表的MLPerf Inference 2.0開始,我們看到廠商送測的Qualcomm Cloud AI 100效能測試結果當中,出現搭配Pro款式的系統,之後出現搭配Standard款式的系統;而在2023年4月公布的MLPerf Inference 4.0,Qualcomm Cloud AI 100的效能測試結果,首度出現搭配Ultra款式的系統(聯想ThinkSystem SR670 V2)。</p> <p><a href="https://s4.itho.me/sites/default/files/images/MLPerf Inference Datacenter v4_0- QAIC-A100.png"><img alt="" src="https://s4.itho.me/sites/default/files/images/MLPerf%20Inference%20Datacenter%20v4_0-%20QAIC-A100.png" style="width: 600px;" /></a></p> <p>半年後,<a href="https://www.qualcomm.com/news/onq/2023/11/introducing-qualcomm-cloud-ai-100-ultra">高通正式推出Qualcomm Cloud AI 100 Ultra</a>,標榜這款產品採用該公司設計的AI核心,相較於上一代產品(應指雙M.2版本的Cloud AI 100),可提供4倍的效能。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/Qualcom%20Cloud%20AI%20100-Spec.jpg" style="width: 500px;" /></p> <p>而且,企業與組織可透過熱設計功耗150瓦、內建64顆AI核心的單張Qualcomm Cloud AI 100 Ultra配置,支援1千億個參數的AI模型處理,也能以兩張這樣的高性能加速卡,支援1,750億個參數的AI模型處理;或是透過更多張加速卡的設置,搭配高通建構的AI軟體技術堆疊<a href="https://www.qualcomm.com/developer/artificial-intelligence">Qualcomm AI Stack</a>,以及AI軟體開發套件<a href="https://github.com/quic/cloud-ai-sdk">Qualcomm Cloud AI SDK</a>,支援更大規模的AI模型處理。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/2025-01-Qualcomm%20AI%20On-Prem%20Appliance%20Solution-AI%20Stack.jpg" style="width: 600px;" /></p> <p>關於伺服器廠商的採用上,HPE率先宣布將支援Qualcomm Cloud AI 100 Ultra,可用於ProLiant Gen11世代伺服器,以單臺2U尺寸伺服器而言,<a href="https://community.hpe.com/t5/servers-systems-the-right/qualcomm-unveils-ai-inference-for-large-language-models/ba-p/7200676">最多能搭載8張Qualcomm Cloud AI 100 Ultra</a>,以AI加速器最佳化技術,因應自然語言處理(NLP)等生成式AI工作負載,預計2024年上半提供HPE整合的這類產品,並且公布售價(編按:<a href="https://buy.hpe.com/tw/en/options/server-accelerators/computational-graphics-accelerators-for-servers/computational-graphics-accelerators-with-hpe/qualcomm-cloud-ai-100-accelerator-for-hpe/p/1014668105">根據HPE網站公布資訊</a>,目前主推的Qualcomm Cloud AI 100應該仍是第一代產品)。</p> <p>另一個Qualcomm Cloud AI 100 Ultra的特色,在於具有出色的性價比。高通表示,比起其他廠商的產品,Qualcomm Cloud AI 100 Ultra用於大型語言模型、自然語言處理,以及電腦視覺類型的工作負載,就單位總體成本而言,可提供2至5倍的效能,帶來更大的投資報酬率。</p> <p>到了2025年1月的全球年度消費電子展,Qualcomm Cloud AI又向市場展現新的應用形式!高通宣布推出整合應用設備,名為Qualcomm AI On-Prem Appliance Solution,當中搭配硬體加速卡Qualcomm Cloud AI,以及橫跨邊緣至雲端環境使用的AI推論軟體與服務套餐Qualcomm AI Inference Suite。</p> <p><a href="https://s4.itho.me/sites/default/files/images/2025-01-Qualcomm AI On-Prem Appliance Solution-1.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/2025-01-Qualcomm%20AI%20On-Prem%20Appliance%20Solution-1.jpg" style="width: 600px;" /></a></p> <p><a href="https://s4.itho.me/sites/default/files/images/2025-01-Qualcomm AI On-Prem Appliance Solution-SPEC.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/2025-01-Qualcomm%20AI%20On-Prem%20Appliance%20Solution-SPEC.jpg" style="width: 298px;" /></a> <a href="https://s4.itho.me/sites/default/files/images/2025-01-Qualcomm AI On-Prem Appliance Solution-AI Suites.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/2025-01-Qualcomm%20AI%20On-Prem%20Appliance%20Solution-AI%20Suites.jpg" style="width: 298px;" /></a></p> <p>就整臺應用設備而言,目前有兩家廠商提供這類解決方案,一家是聯想,以<a href="https://news.lenovo.com/pressroom/press-releases/artificial-intelligence-at-the-edge-to-drive-business-transformation/">2021年底推出的伺服器SE450</a>,以及<a href="https://lenovopress.lenovo.com/lp1780-whats-new-july-2023">2023年7月推出的SE360 V2</a>,作為硬體設備平臺,另一家是宜鼎集團子公司安提國際(Aetina),以2024年上半發表的MegaEdge PCIe系列的<a href="https://www.aetina.com/about-news-detail.php?i=907">AIP-FR68</a>、<a href="https://www.aetina.com/about-news-detail.php?i=933">AIP-KQ67</a>,作為硬體設備平臺。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/2025-01-Qualcomm%20AI%20On-Prem%20Appliance%20Solution-HW.jpg" style="width: 600px;" /></p> <p>若只看硬體加速卡,高通也首度列出Qualcomm Cloud AI 100現行3種款式的規格資訊比較。以目前而言,我們只能從該公司的網站看到Cloud AI Ultra產品簡介,</p> <p><a href="https://s4.itho.me/sites/default/files/images/2025-01-Qualcomm AI On-Prem Appliance Solution-Accelerators.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/2025-01-Qualcomm%20AI%20On-Prem%20Appliance%20Solution-Accelerators.jpg" style="width: 600px;" /></a></p> <p>不過,也可以找到一份文件提及Cloud AI Pro、Cloud AI Standard,以及第一代三種款式比較的規格。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/Qualcomm%20Cloud%20AI%20100-Five%20Models.jpg" style="width: 600px;" /></p> <p>透過Qualcomm AI On-Prem Appliance Solution這樣的產品組合,高通認為,可協助中小企業、大型企業或不同產業、組織,在他們維運與管理的內部環境,建置自行設計或套裝的AI應用系統,藉此大大節省營運成本與總體支出,而不需向第三方業者承租AI基礎架構。</p> <p><strong><span style="color:#008080;">產品資訊</span></strong></p> <p><strong><span style="color:#0000FF;">Qualcomm Cloud AI 100 Ultra</span></strong><br /> ●原廠:Qualcomm<br /> ●建議售價:廠商未提供<br /> ●I/O介面:PCIe 4.0 x16<br /> ●外形:全高3/4長PCIe介面卡<br /> ●運算核心:4顆系統單晶片(64顆AI核心)<br /> ●AI核心之間頻寬:186 GB/s<br /> ●晶片製程:7奈米<br /> ●搭配記憶體:裸晶內建SRAM記憶體576 MB(每顆AI核心搭配9 MB),介面卡內建DRAM記憶體128 GB LPR4x,頻寬為548 GB/s<br /> ●SRAM記憶體容量:576 MB<br /> ●可處理資料型別:INT8、FP16、FP32、BF16<br /> ●運算效能:INT8為870 TOPS,FP16為288 TFLOPS<br /> ●耗電量:150瓦</p> <p>【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】</p> </div></div></div>