<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <h3><span style="vertical-align: top; color: rgb(0, 0, 255);">重點新聞(0219～0225)</span></h3>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 推薦模型 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 模型壓縮 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 臉書 </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>推薦模型太大跑不動？臉書最新壓縮術讓模型縮小成百分之一</strong></span></p>
<p>臉書聯手喬治亞理工學院（Georgia Tech），發表一項推薦模型縮小術，可將模型大幅壓縮至原本的112分之一，且表現不受太大影響。這個方法叫做TT-Rec，是深度學習推薦模型（DLRM）張量訓練的縮寫，TT-Rec專門用來縮小耗費記憶體的推薦模型，讓大規模部署變得更容易。它的創新之處，在於用張量分解（Tensor train decomposition）的矩陣乘積序列，來取代推薦模型的大型嵌入表（Embedding table）。</p>
<p>推薦模型幾乎是內容大廠的標配，比如YouTube、Netflix、臉書等，其中，推薦模型由2大部分組成：多層感知器（MLP）和嵌入表。MLP負責處理連續性特徵，如使用者年紀，嵌入表則將稀疏、高維度的輸入值，編碼成高密度的向量示例，來處理類別型的特徵。但現今產業所用的推薦模型嵌入表，記憶體耗費量從GB等級躍升到TB等級，以臉書的推薦模型來說，光是嵌入表就占了99％的容量，若加入新的推薦模型，所需的記憶體容量又會成指數成長。</p>
<p>為解決問題，團隊設計了TT-Rec壓縮技術，用張量分解來取代嵌入表。團隊比喻，這個方法就像是用查詢表（Lookup table）來換取記憶體容量和頻寬。為評估，團隊訓練了MLPerf-DLRM，用TT-Rec後可縮小為原本的112分之一，而訓練時間只增加13.9％。目前TT-Rec已於<a href="https://github.com/facebookresearch/FBTT-Embedding">GitHub上開源</a>。<a href="https://arxiv.org/pdf/2101.11714.pdf">（詳全文）</a></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);">雲象 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 全玻片辨識 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Nature Communications </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>不必再切割和標註了！雲象新方法讓電腦一次就懂上億畫素的病理全玻片影像</strong></span></p>
<p>數位病理AI新創雲象科技費時3年研究，終於找出新方法突破算力障礙，讓深度學習模型可以上億畫素的全玻片影像來訓練、判讀，不必像過去要切割影像才能做得到；這個研究成果，最近也登上國際頂級期刊Nature Communications。</p>
<p>雲象科技執行長葉肇元指出，數位病理AI一直有個瓶頸，也就是難以完整的病理全玻片影像來訓練。這是因為，全玻片影像是由許多顯微鏡下放大的視野拼接，解析度可達數十億，要用這些影像來訓練深度學習模型，非常耗費記憶體和時間。而傳統方法是將影像切割為多個區塊（Patch），以低畫素（如256*256或512*521）影像來訓練模型、讓模型判讀。但這個方法，需要在每個區塊進行標註，因此相當耗費醫師人力。</p>
<p>於是，雲象決定找出方法，讓AI模型可用未標註的全玻片影像來訓練，並進行判讀。他們先是解決記憶體問題，在訓練階段，讓電腦不只運用GPU記憶體，還加上系統記憶體來一起解析影像。接著，他們再以資料搬遷方法，來解決速度慢的問題，比如優化算圖（Computation graph）、將計算工作分群分階段，降低資料在GPU和系統間搬遷的頻率，此外，他們也採用Pre-fetch，將下一階段所需的資料，提前搬到GPU記憶體。最後，他們運用科技部巨量醫療影像計畫中的9,000多張肺癌影像資料集，用近5億畫素的全玻片影像來訓練AI模型並辨識癌症和分類，發現AUC高達0.959，優於現有最佳方法。這個成果的意義，不只AI全玻片影像訓練和判讀，更重要的是不需人為標註。 <a href="https://www.nature.com/articles/s41467-021-21467-y?fbclid=IwAR0Hyl-VH92cjD27VkX6WF-gbYR8s1MQbPP4Vl9OuezjidyJ-Le-KgB0F-A">（詳全文）</a></p>
<p><img alt="" src="https://s4.itho.me/sites/default/files/images/%E9%9B%B2%E8%B1%A1%E7%A7%91%E6%8A%80_Figure1.png" /></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Transformer </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 蛋白質 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 長序列 </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>Transformer不只突破NLP天花板，還完勝蛋白質預測權威方法</strong></span></p>
<p>「這是Transformer架構的巨大進展！」臉書AI首席科學家、CNN之父Yann LeCun日前在Twitter上寫道。這次，臉書AI研究院聯手柏克萊大學和紐約大學，利用Transformer來預測蛋白質接觸的結構變化，而且，輸入值不只單一個蛋白質序列，而是好幾個。</p>
<p>3年前，Transformer架構因Google BERT聲名大噪，在NLP領域寫下里程碑。這次，臉書團隊用Transformer來解決半世紀難題：蛋白質結構預測。一般來說，蛋白質結構預測常用神經波茨模型（Neural Potts Models），透過共享參數來模擬多個蛋白質家族的分布，後來因未標註序列資料集的誕生，延伸出另一種新方法，也就是非監督學習的蛋白質語言模型。但缺點是，它一次只能輸入一個蛋白質序列，因此需要大量參數。</p>
<p>為解決問題，臉書團隊開發MSA Transformer模型，能一次輸入好幾對對齊的蛋白質序列，並跨序列家族共享參數。簡單來說，團隊把Transformer預訓練擴展到MSA演算法上，將Transformer強大的配對能力用來對應序列內的交互作用，成為殘基對殘基的對應圖。經測試，團隊發現MSA Transformer模型在非監督蛋白質接觸預測上，完勝現有高階蛋白質語言模型和傳統的Potts模型。<a href="https://www.biorxiv.org/content/10.1101/2021.02.12.430858v1.full">（詳全文）</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Google </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 機器學習模型搜尋 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Model Search </span></strong></span></p>
<p><span style="font-size:22px;"><strong>找模型好麻煩？Google開源模型自動搜尋工具幫你挑最好的 </strong></span></p>
<p>Google開源機器學習模型搜尋平臺Model Search，要讓研究社群更容易找出適合特定問題和資料集的ML模型、大幅減少程式開發時間與工作量。</p>
<p>Google表示，好用的類神經網路（NN）有賴於泛化任務的能力，但要做到這一點很有挑戰性，因為社群理解有限。比如，適合解決特定問題的NN，會長怎樣？要多深？隱藏層只用LSTM就夠了，還是要結合Transformer？因此，這幾年出現許多AutoML演算法，比如NAS、演化演算法、RL等，要將這段重手工的過程自動化，但這些演算法需要大量算力，又是一大負荷。</p>
<p>為此，Google研發Model Search平臺，由多個訓練程式（Trainer）、搜尋演算法、遷移學習演算法和用來儲存各種評估模型的資料庫所組成，能以自適應的方式，執行各種機器學習模型的訓練工作和評估實驗。Model Search中實作的搜尋演算法具適應性、貪婪和漸增特性，所以收斂的速度比RL要快，也能模仿RL，因此兼具深度與廣度，能更快找到最佳結果。Google也將Model Search用來探索關鍵字標記與語言辨識模型，不到200次迭代，就能獲得比專家設計更好的模型，少用了13萬可訓練參數。最後，Model Search以Tensorflow建成，可在單機或分散式裝置中運作。<a href="https://ai.googleblog.com/2021/02/introducing-model-search-open-source.html">（詳全文）</a></p>
<p><img alt="" src="https://1.bp.blogspot.com/-EuHg09evTI0/YC_66IkUAsI/AAAAAAAAHMw/-J26f8OGfO4ZUHt1cWgWjhGnSnV3OwxAgCLcBGAsYHQ/w640-h312/image2.png" style="width: 639px; height: 312px;" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 蘋果 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 聯合學習 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> FE&T </span></strong></span></p>
<p><span style="font-size:22px;"><strong>蘋果研發裝置通用聯合學習系統FE&T </strong></span></p>
<p>蘋果研發一套在裝置上執行的通用聯合學習系統FE&T，讓資料在不離開裝置的情況下，在個別裝置上改善特定分能的準確率。FE&T包含了資料儲存器、任務排程器、成果管理器，其中，資料儲存器有一套資料保留策略，確保裝置上留存的資料是有限的、最近的，而任務排程器則會定期下載一系列描述器，最後的成果管理器則會回傳任務結果，並在裝置上產生一個資料庫，讓終端使用者檢視哪些資料是與中央伺服器分享的。<a href="https://arxiv.org/pdf/2102.08503.pdf">（詳全文）</a></p>
<p><img alt="" src="https://s4.itho.me/sites/default/files/images/apple.PNG" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> LinkedIn </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 會員大數據 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 銷售分析 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>LinkedIn靠7億會員大數據推出銷售分析平臺</strong></span></p>
<p>LinkedIn正式發布分析平臺Sales Insights，運用LinkedIn上7億多筆會員資料，來提供銷售團隊即時分析數據。銷售主管可透過Sales Insights掌握企業分布和即時人力資源，包括特定區域的企業、企業員工特性，來了解這些人所需的產品和服務。</p>
<p>Sales Insights運用LinkedIn Economic Graph資料集，來反映人、企業、技能、工作和學校等各種實體間的關係，而且，該平臺透過分析帳號、市場與關係強度等資料，讓銷售團隊將資源集中在最有機會的客戶上。其中，平臺也運用多種AI和資料探勘技術，來清洗、整合資料，確保資料正確性，並透過AI自動配對公司屬性，將乾淨的資料整合進企業CRM系統。<a href="https://engineering.linkedin.com/blog/2021/linkedin-sales-insights--quality-data-foundations-for-smarter-sa">（詳全文）</a></p>
<p><img alt="" src="https://content.linkedin.com/content/dam/engineering/site-assets/images/blog/posts/2021/02/LSI1.png" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;">未知的未知物 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 群眾外包 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 影像辨識 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>Google要藉群眾外包力量打造未知物資料集，改善AI辨識力 </strong></span></p>
<p>Google發起機器學習群眾外包不良測試集CATS4ML挑戰，要挑戰者以創新方法，來改善ML模型辨識未知的未知物（Unknown Unknowns）能力。Google指出，影響ML模型表現的兩大關鍵是演算法和資料，而資料又可分為訓練資料和評估資料，現有的評估資料卻過於直白簡單，往往忽略現實世界的模稜兩可性，造成辨識弱點。</p>
<p>這弱點又可分兩種，包括已知的未知和未知的未知，前者是指模型無法確定的分類，後者是指模型分類錯誤的例子。於是，Google發起CATS4ML挑戰第一版，要收集未知的未知物資料集，用來評估ML模型辨識能力。目前第一版鎖定電腦視覺，挑戰者可透過資料集現有的標籤，來找出未知的未知物，或以創新的方法來探索資料集。<a href="https://ai.googleblog.com/2021/02/uncovering-unknown-unknowns-in-machine.html">（詳全文）</a></p>
<p><img alt="" src="https://1.bp.blogspot.com/-bgjeIoCySCs/YCV1zjSZzuI/AAAAAAAAHKE/sg-Lsnjo0EQtapl17F1_bXZ3zDMhnBU0ACLcBGAsYHQ/w640-h360/image1.png" /></p>
<p>圖片來源／雲象、蘋果、Google、LinkedIn</p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI趨勢近期新聞 </span></strong></span></p>
<p><strong>1. Google雲端整合資料科學平臺Databricks </strong></p>
<p><strong>2. AWS加入開源框架PennyLane指導委員會，要融合機器學習和量子運算技術</strong></p>
<p><strong>3. Google開除另一位AI倫理研究員Margaret Mitchell </strong></p>
<p>資料來源：iThome整理，2021年2月</p>
</div></div></div>
