Google刷新MLPerf基準測試訓練速度紀錄
<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <p><a href="https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer">Google</a>釋出了自家機器學習加速器TPU的新消息，新一代TPU v4的效能將是前一代TPU v3的2倍以上，同時Google也發表了在機器學習的最新進展，於MLPerf基準測試6個模型打破了目前的訓練速度紀錄，在DLRM模型訓練上，速度甚至是之前紀錄維持者的2.8倍。</p> <p>Google表示，他們打造了目前世界最快的機器學習訓練超級電腦，使用專為人工智慧設計的張量處理單元（TPU），在6項MLPerf基準測試中，與其他非Google最快的紀錄相比，Google刷新了效能紀錄。</p> <p>這6個模型分別是用於排名與推薦的DLRM模型；常用於自然語言處理的Transformer；還有Google搜尋所使用的BERT模型；廣泛用於圖像分類的ResNet-50模型；可在行動裝置上執行的輕量級物體偵測模型SSD；以及圖像分割模型Mask R-CNN。</p> <p class="rtecenter"><img alt="" src="https://s4.itho.me/sites/default/files/images/Speedup_of_Googles_best_M_0860040916660770_max-2200x2200.png" style="width: 580px;" /></p> <p>這次Google所使用的超級電腦，規格是Cloud TPU v3 Pod的4倍，具有4,096個TPU v3晶片，與搭載數百顆CPU的主機，這些運算資源以超高速大規模的專用網路相連，最高可以輸出430 PFLOPs高峰效能。</p> <p>Google使用TensorFlow、JAX和Lingvo中的機器學習模型實作，從零開始訓練Transformer、SSD、BERT以及ResNet-50模型，訓練時間皆在30秒之內，之所以這件事值得一提，Google表示，在2015年時，即便用最快的硬體加速器，訓練其中一種模型，都需要花費3個多星期，而Google所使用的超級電腦，相當於把相同模型的訓練速度提升5個數量級。</p> <p>而Google最新的第4代TPU，較前一代TPU v3，擁有兩倍的矩陣乘法效能，而且記憶體頻寬大幅增加，內部相連技術也獲得改善，利用MLPerf基準測試比較TPU v4和TPU v3，TPU v4平均效能提升2.7倍，最大的效能差異是用於訓練Mask R-CNN，TPU v4的效能是TPU v3的3.7倍。</p> <p class="rtecenter"><img alt="" src="https://s4.itho.me/sites/default/files/images/tpu_v4_speedups_over_tpu__1403086826901582_max-2200x2200.png" style="width: 580px;" /></p> </div></div></div>
