<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <h3><span style="vertical-align: top; color: rgb(0, 0, 255);">重點新聞(0115~0121)</span></h3>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> NLP模型 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Switch Transformer </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 參數 </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>參數破兆!Google發表NLP預訓練模型新作,號稱成本不變但更快速</strong></span></p>
<p>Google Brain近日發表一款自然語言處理(NLP)預訓練模型Switch Transformer,具1.6兆參數,正式揭開NLP模型參數上兆等級的序幕。近年來,NLP預訓練模型參數量不斷飆升,去年OpenAI發表超大通用NLP模型GPT-3,把參數帶到千億等級,而現在,在這流行擁腫的趨勢上,Google新模型直接躍升兆等級。不過Google稱,訓練Switch Transformer的硬體成本並未飆升,而且訓練時間更短。</p>
<p>這是因為,Google用稀疏技術簡化了多專家演算法(Mixture of Experts,MoE),來有效整合資料、模型和不同專家演算法的平行處理。與Google先前發布的大型NLP模型T5-XXL相比,這個新方法在成本可控的同時,還能將Switch Transformer的訓練時間縮短為四分之一。</p>
<p>Google進一步說明,現有許多簡化的深度學習架構,準確率比複雜演算法還要高,但這些簡化架構往往需要巨量資料集、更大量的參數和更高的運算成本。再加上,這些模型常重複使用同樣的參數,來分析所有輸入值,而MoE模型則使用不同參數,改善效率問題。Google看上這個優點,採MoE來訓練大型語言模型,還同時搭配稀疏分析方法,來進一步簡化MoE模型,突破MoE模型難以擴展的瓶頸。在Switch Transformer的編碼器中,團隊將原本Transformer架構的密集前饋神經網路(FFN)拿掉,改為稀疏Switch FFN層,可獨立處理序列中的Tokens。</p>
<p>團隊表示,這個模型應用於大規模訓練時,能確保參數隨裝置數增加而增加的同時,在每個裝置上仍保持可控的記憶體和運算歷史紀錄。而且,團隊發現,用32個TPU核心和C4資料集來預訓練Swtich Transformer,不僅所需的運算成本低於其他MoE模型,準確率還更高。<a href="https://arxiv.org/pdf/2101.03961.pdf">(詳全文)</a></p>
<p><img alt="" src="https://s4.itho.me/sites/default/files/images/p1(1).PNG" /></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> FDA </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> AI醫材軟體 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> SaMD </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>2年醞釀,美FDA終於發布AI醫材軟體法規行動計畫</strong></span></p>
<p>經過2年研究,美國食品藥物管理局(FDA)日前終於發布第一套<a href="https://www.fda.gov/media/145022/download">AI/ML醫材軟體(Software as a Medical Device,SaMD)法規行動計畫</a>,要助政府進一步監管AI軟體醫材的使用。</p>
<p>該計畫點出了FDA未來將採取的5大方向,首先是進一步發展現有法規框架,比如針對機器學習軟體的長期學習時間,制定出變化控制計畫,並發布指引草案。再來是支援發展良好的機器學習實作方法,來評估、改善機器學習演算法。第三則是推動以病人為中心的實作方法,包括讓使用者了解裝置數據收集的用途。第四點是發展用來評估和改善機器學習演算法的方法,最後則是推動真實世界的AI SaMD效能監控試點計畫。<a href="https://www.fda.gov/news-events/press-announcements/fda-releases-artificial-intelligencemachine-learning-action-plan">(詳全文)</a></p>
<p><img alt="" src="https://s4.itho.me/sites/default/files/images/p2.PNG" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> NAS </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 類神經網路架構 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 德州大學 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>不必訓練就能找到最佳架構!德州大學發表無須訓練的NAS方法</strong></span></p>
<p>德州大學奧斯汀分校發表一項新優化方法TE-NAS,號稱不需訓練就能找出最佳的類神經網路架構,也就是無須訓練的NAS方法,來降低建模所需的時間和成本。團隊指出,目前市面上有無數種類神經網路架構和各種變形,供AI開發者使用,但開發者往往要為特定任務,來手動找出最合適的類神經網路架構。但手動尋找需耗費大量時間來不斷試錯,為加速這個過程,出現了類神經網路架構搜尋(NAS)方法,可自動找出表現最好的類神經網路。</p>
<p>但NAS不是萬靈丹,它需要大把時間來訓練超網,或密集評估各種架構。因此,德州大學團隊研發TE-NAS,來解決問題。進一步來說,該方法結合了兩個指標,包括神經正切內核(NHK)條件和輸入空間的線性區域數量,再加上一套新穎的剪枝方法,來取得兩者的時間平衡。經實驗,TE-NAS以ImageNet上使用DARTS找出最佳類神經網路,只需要4個GPU小時,且保持不錯的準確率。該研究已獲AI頂級年會ICRL 2021接受,目前開放同儕評審,而團隊也已將<a href="https://github.com/VITA-Group/TENAS">程式碼開源於GitHub</a>。<a href="https://openreview.net/forum?id=Cnon5ezMHtu">(詳全文)</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI照護</span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 韓國 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 陪伴 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>韓國政府將擴大西大區AI照護者服務名額 </strong></span></p>
<p>韓國政府將自今年2月起,擴大AI照護者服務(AI Caregiver Service)名額,從200名擴大至450名,來照顧當地弱勢民眾。該服務所定單親家庭、年長者、中年和身障團體,透過AI智慧喇叭來安撫情緒,包括播報新聞、天氣、音樂,並與居民聊天。要是AI智慧喇叭偵測到異常跡象,比如在一段時間內通話中斷,政府辦公室的照護管理員就會致電確認,並親自拜訪。此外,遇到緊急情況時,該AI也會啟動緊急救護需求,同時給予居民所需的陪伴感受。韓國政府將投入2.75億韓元來推動這項政策。<a href="https://www.asiae.co.kr/article/2021011515153878818">(詳全文)</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 量子電腦 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 藥物開發 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 分子動力學模擬 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>Google量子電腦部門取得首家藥廠客戶</strong></span></p>
<p>德國藥廠百靈佳殷格翰(Boehringer Ingelheim)聯手Google量子AI部門,要透過三年合作,用量子運算來研究疾病和新藥開發。百靈佳殷格翰也是Google量子運算的第一家藥廠客戶。</p>
<p>雙方將藉Google的量子電腦與演算法、百靈佳殷格翰的電腦輔助藥學設計和電腦模擬建模(in silico modeling)經驗,來研究和實作藥學研發的尖端使用情境,特別是分子動力學模擬。百靈佳殷格翰近幾年也推動多項數位轉型計畫,以AI和資料科學來加強對疾病、生物標記、驅動因子以及數位療法的了解。該公司成立的量子實驗室以及旗下創新事業群、IT等部門,也將與Google共同主持這次研究。<a href="https://www.businesswire.com/news/home/20210111005440/en/">(詳全文)</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;">微軟 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 語音資料 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 語音轉錄 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>語音資料收集政策更透明,微軟讓用戶一窺資料對AI產品的影響</strong></span></p>
<p>微軟更新語音資料收集政策,在用戶的同意下,來收集用戶使用語音辨識技術服務的錄音,供開發人員在研發產品時進行人工審閱,用戶也可查看所有被收集的語音片段,以及語音片段對AI系統所做的貢獻。</p>
<p>在新的語音片段設定中,用戶需要明確同意微軟收集語音資料,微軟才會將用戶的語音資料,用在開發AI產品中。微軟及其承包商只會在用戶許可的情況,聆聽用戶貢獻的語音,對其他用戶來說,微軟仍會繼續存取用戶語音活動的相關資料,如用戶與語音辨識系統互動時,自動產生的轉錄文字。</p>
<p>微軟從2020年10月30日之後,就停止儲存語音辨識技術處理的語音片段,並在接下來幾個月內,會在微軟的翻譯器、SwiftKey、Windows、Cortana、HoloLens、Mixed Reality和Skype語音翻譯等產品,推出新的語音片段配置。當用戶同意讓微軟員工及其承包商,聽取語音記錄來改善AI技術,微軟會保留所有語音資料兩年,如果這些語音片段還進一步供人工轉錄使用,則可能會保留兩年以上。<a href="https://blogs.microsoft.com/ai/microsoft-gives-users-control-over-their-voice-clips/">(詳全文)</a></p>
<p><img alt="" src="https://1gew6o3qn6vx9kp3s42ge0y1-wpengine.netdna-ssl.com/wp-content/uploads/prod/sites/3/2021/01/Microsoft-gives-users-control-over-their-voice-clips-1-1024x996.png" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;">穿戴裝置 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Apple Watch </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 認知退化 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>龍頭藥廠聯手蘋果,要用穿戴裝置揪出失智症徵兆</strong></span></p>
<p>失智症藥物龍頭大廠百健(Biogen)聯手蘋果,要以Apple Watch、iPhone等穿戴裝置,來探討這些裝置偵測認知衰退的可能性,包括失智症。</p>
<p>進一步來說,Apple Watch具有加速度計、陀螺儀等感測器,可偵測配戴者手部動作,而iPhone也有醫療大規模研究用的Research App,內建供受試者填寫問卷等功能。這項研究將於今年展開,研究團隊將招募年輕成人至長者,以及不同認知表現的自願者參加,展開一系列認知表現的研究。這項研究將發展數位生物標記,來長期監控使用者認知表現,以在早期發現輕微認知障礙(MCI)徵兆。<a href="https://investors.biogen.com/news-releases/news-release-details/biogen-launch-pioneering-study-develop-digital-biomarkers">(詳全文)</a></p>
<p>圖片來源/Google Brain、FDA、微軟</p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI趨勢近期新聞 </span></strong></span></p>
<p><strong>1. AI頂級年會ICLR 2021公布860篇獲選論文,開放同儕評審</strong></p>
<p><strong>2. 德國政府聯手SAP共同創辦人,砸上億歐元建AI重點樞紐</strong></p>
<p>資料來源:iThome整理,2021年1月</p>
<div id="gtx-anchor" style="position: absolute; visibility: hidden; left: 215.729px; top: 303.472px; width: 65.9827px; height: 14.4445px;"> </div>
<div aria-describedby="bubble-3" class="jfk-bubble gtx-bubble" role="alertdialog" style="visibility: visible; left: -430px; top: 182px; opacity: 1;">
<div class="jfk-bubble-content-id" id="bubble-3">
<div id="gtx-host" style="min-width: 200px; max-width: 400px;"> </div>
</div>
<div aria-label="Close" class="jfk-bubble-closebtn-id jfk-bubble-closebtn" role="button" tabindex="0"> </div>
<div class="jfk-bubble-arrow-id jfk-bubble-arrow jfk-bubble-arrowdown" style="left: 229.229px;">
<div class="jfk-bubble-arrowimplbefore"> </div>
<div class="jfk-bubble-arrowimplafter"> </div>
</div>
</div>
</div></div></div>