<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <h3><span style="vertical-align: top; color: rgb(0, 0, 255);">重點新聞(0901～0907)</span></h3>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);">Falcon-180B </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Llama 2 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 語言模型 </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>Falcon系列模型添新成員，180B版一現身就勝過Llama 2</strong></span></p>
<p>最近，阿拉伯聯合大公國科技創新研究院（TII）開源1,800億參數的大型語言模型Falcon-180B，在HuggingFace排行榜上勝過Meta的Llama 2（700億參數）和GPT-3.5，表現與Google的PaLM-2 Large相當。</p>
<p>今年6月，TII就釋出語言模型Falcon，包含10億參數、70億參數和400億參數。這次，他們以400億參數版本爲基礎，用自家RefinedWeb資料集（共3.5兆個Token）訓練出Falcon-140B，是目前開源語言模型中最大的版本。這次模型新添了些新機制，如多重查詢注意力機制（MQA），來提高擴展性。團隊以機器學習平臺Amazon SageMaker和高達4,096顆GPU來訓練Falcon-180B，共耗費700萬個GPU小時。</p>
<p>就測試結果來說，Falcon-180B在多任務語言理解基準測試MMLU中勝過Llama 2和GPT-3.5，並在HellaSwag、LAMBADA、WebQuestions、Winogrande、PIQA、ARC、BoolQ等資料集測試上與PaLM 2-Large相當。它在HuggingFace排行榜的分數是68.74，是得分最高的開源預訓練LLM，超過Meta的LLaMA 2 （67.35）。雖然開源且開放商用，Falcon-180B的條件比前幾代嚴格，不允許任何托管用途。<a href="https://huggingface.co/blog/falcon-180b#additional-resources">（詳全文）</a></p>
<p><img alt="" src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/blog/162_falcon_180b/palm2_480.jpg" /></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> TAIDE </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 生成式AI </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 公部門 </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>國產可信任AI對話引擎TAIDE將開放公部門測試申請</strong></span></p>
<p>國科會在上半年號召國內學術團隊和國科會轄下機構，展開TAIDE計畫，打造專為臺灣使用者設計的可信任AI對話引擎TAIDE，自6月揭露第一階段成果後，9月將進入大規模測試階段。</p>
<p>該計畫統籌負責人李育杰指出，團隊將於9月邀請部會報名，並於10月提供測試帳號，來讓公部門測試應用。他也指出，由於Meta在7月中釋出可商用的Llama 2，讓商用版TAIDE模型有了更好的基礎，如Taide-llama2-13B-Chat模型已有不錯的表現，且讓TAIDE在學研與商用模型發展的經驗和資源可共軌。目前，TAIDE應用場景先鎖定4項日常辦公工作，如中英翻譯、自動摘要、寫Email，以及出題目就能產生作文等任務。</p>
<p>他也預告，TAIDE計畫團隊將在10月中下旬舉行線上會議，並對中央政府部門舉辦工作坊，再擴及地方政府部門，向各機關人員介紹這套模型與使用教學。未來，TAIDE計畫團隊希望政府或業界都可基於這套AI對話引擎，根據需求，來自行訓練模型並建立內部應用。<a href="https://www.ithome.com.tw/news/158607">（詳全文）</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 生成式AI </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 司法院 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 裁判書 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>司法院將在幾家法院試用生成式AI系統，要降低法官裁判負擔</strong></span></p>
<p>去年4月開始，司法院就開始在打造生成式AI應用，要來輔助法官製作不能安全駕駛、幫助詐欺2大類裁判草稿，來供法官製作裁判時參考。目前，司法院已完成這2類生成式AI系統，可即時根據犯罪事實、證據等資料，來產出裁判草稿。系統複驗通過後，就會由司法院刑事廳和資訊處討論、選擇幾家法院試辦，評估效用後，就會全面上線AI系統。</p>
<p>司法院表示，他們也正開發毒品罪裁判草稿的生成式AI系統，預計今年12月試辦上線。明年則是要發展「民事交通損害賠償」、「消債更生、清算」等事件裁定草稿自動生成的開發案。這些生成式AI系統以TMT5模型，並以起訴書、配對的裁判書等資料訓練而成，該系統採完全落地模式，來訓練、生成答案，保護資料隱私。<a href="https://www.judicial.gov.tw/tw/cp-1887-929494-8a9fb-1.html">（詳全文）</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Google </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 天氣預測 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 評估 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>Google釋出全球天氣模型預報基準，可精準比較天氣預報模型</strong></span></p>
<p>Google日前釋出一款天氣預報模型評估和比較框架WeatherBench 2，可計算機器學習模型和物理模型的天氣預測分數，協助專家依此微調和改善模型。Google也開源WeatherBench 2程式碼，以及針對雲端最佳化的真實資料和基準資料集。</p>
<p>天氣預報的評估有不少挑戰，因為高解析度的天氣預報資料量龐大，因此Google在開源統一程式開發模型Apache Beam上建置評估程式碼，供用戶將運算分割成小區塊，以進行分散式評估。此外，Google對不同解析度提供雲端最佳化的ERA5資料集，能用來加速ML天氣預測模型的訓練。同時，WeatherBench 2也針對機器學習預測的限制，提供研究範例，Google也將繼續完善WeatherBench 2，添加站點觀測和降水資料集等，並將臨近預報和次季節預測納入基準中。<a href="https://blog.research.google/2023/08/weatherbench-2-benchmark-for-next.html">（詳全文）</a></p>
<p><img alt="" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhpPreKUXXp_lIzhut_DpaGJ14zOmmcY-BwafhfG4G3dbzlUN_-BlfWi5HxKB2upOLaUR38i-Qc1AkIKz0QX1BIhCI9XtxfFzMCqVOuSFzlg-7pAfYMQYN7YmIt84DRr_M9fHXT6hxAXGstGSbQ2duNZzJtZe5yIb1lrbBfFUkNkTgXhYXc9qjkqadlQwKh/s16000/image1.png" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Amazon SageMaker </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 生成式AI </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> AWS </span></strong></span></p>
<p><span style="font-size:22px;"><strong>生成式AI互動體驗更即時了，Amazon SageMaker新增模型推論結果串流功能</strong></span></p>
<p>AWS在機器學習服務Amazon SageMaker的即時推論功能中，新添回應串流（Response Streaming）功能，使用者可將模型推論的答案，持續串流回客戶端，來打造生成式AI應用更即時的互動式體驗，如Chatbot、虛擬助理或音樂生成等。這個新功能可讓使用者立即串流資料，不需等到整個回答完整生成才行，省下等待的數秒或更長時間。</p>
<p>要從SageMaker擷取串流回應，用戶需使用新的InvokeEndpointWithResponseStream API，應用程式可更快收到第一個回應位元組，明顯降低延遲。SageMaker託管的大型模型如Falcon、Llama 2和Stable Diffusion等，都能將模型推論結果以串流形式回傳，範圍涵蓋文字和圖像。AWS表示，SageMaker即時端點回應串流是透過HTTP 1.1區塊編碼實作而成，亦即資料會被分成多個區塊傳輸，而非一次性傳送整個資料，伺服器可在生成內容的同時立刻傳輸，不必等待所有內容都準備好。<a href="https://aws.amazon.com/tw/blogs/machine-learning/elevating-the-generative-ai-experience-introducing-streaming-support-in-amazon-sagemaker-hosting/">（詳全文）</a></p>
<p><img alt="" src="https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2023/08/28/ML-15289-image001.jpg" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> API </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Apigee </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Duet AI </span></strong></span></p>
<p><span style="font-size:22px;"><strong>管理API更容易！Google Apigee API整合自家生成式AI助理</strong></span></p>
<p>Google在Apigee API管理工具和應用程式整合工具中，新添自家生成式AI助理Duet AI，來降低建置API、整合流程和擴充套件的門檻，比如，用戶可用自然語言下指令，來建立API規範，這些規範會將諸如安全架構、集中式目錄API Hub中其他API物件等資源納入考量。</p>
<p>Google指出，這項整合可大幅提高生產力，因為建構API規範需要專業知識，得耗費大量時間才能完成，而Duet AI可加速這個過程，還能標示與API Hub其他API的不一致之處，如語法、語義和程式碼編寫風格。在Apigee API應用程式整合工具方面，Duet AI可根據需求和企業資產，自動建議合適的整合流程。比如根據整合流程中的變數和應用程式，Duet AI會自動建置連接兩個應用程式的資料映射，或根據用戶需求進一步調整資料映射。這項新功能已向Google客戶開放，幾周內將開放預覽。<a href="https://cloud.google.com/blog/products/api-management/introducing-duet-ai-in-apigee-api-management-and-application-integration">（詳全文）</a></p>
<p><img alt="" src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_Fih7VE3.max-1300x1300.png" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Salesforce </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> IBM </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 生成式AI </span></strong></span></p>
<p><span style="font-size:22px;"><strong>IBM與Salesforce聯手推企業AI工具</strong></span></p>
<p>IBM與Salesforce聯手推廣企業生成式AI服務，要加速用戶在客戶關係管理中對AI的採用。在這項合作中，IBM顧問部門將派出16萬名專業顧問，協助用戶採用Salesforce的AI應用，如Einstein、Sales Cloud、Service Cloud、Marketing Cloud和Slack等。此外，IBM顧問部門也會使用自家AI平臺watsonx，來補足Salesforce的解決方案。</p>
<p>進一步來說，Salesforce在今年3月推出了客戶關係管理專用的生成式AI服務Einstein GPT，且在這條產品線旗下，還發展出Marketing GPT等行銷工具，可用來加速廣告文案等工作，另也有客服專用的Einstein GPT for Service，這些生成式AI產品都包含在這次合作範疇內。此外，這次也將以IBM Consulting Managed Services for Salesforce加速器工具組來協助用戶轉型，輔助用戶部署、擴展和強化Salesforce服務。<a href="https://newsroom.ibm.com/2023-08-31-IBM-and-Salesforce-Team-Up-To-Help-Businesses-Accelerate-Adoption-of-Trustworthy-AI">（詳全文）</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> FACET </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 歧視 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 電腦視覺 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>Meta開源可用來偵測AI歧視問題的FACET資料集</strong></span></p>
<p>Meta日前開源FACET資料集，能用來評估電腦視覺模型在分類、偵測、實例分割與視覺定位等任務中，可能出現的偏差或歧視，協助開發者改善模型。FACET由3.2萬張照片所組成，包含5萬人，每張照片都由人類專家按相關屬性手動標記，如性別與年齡等族群特徵，膚色、髮型等生理特徵，以及諸如棒球選手或醫生等分類，另也包含來自SA-1B資料集中6.9萬名戴口罩民眾的人口屬性標記。</p>
<p>這個資料集可用來協助回答某些問題，像是當某些表現的刻板印象多為男性時，模型是否能提供更好的辨別；標準檢測模型是否難以偵測膚色較深的人口等。<a href="https://facet.metademolab.com/">（詳全文）</a></p>
<p><img alt="" src="https://s4.itho.me/sites/default/files/images/%E8%9E%A2%E5%B9%95%E6%93%B7%E5%8F%96%E7%95%AB%E9%9D%A2%202023-09-08%20181913.png" /></p>
<p>圖片來源／HuggingFace、AWS、Google、Meta</p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI近期新聞 </span></strong></span></p>
<p><strong>1. 11億參數的小型版TinyLlama問世</strong></p>
<p><strong>2. Zoom重新推出生成式AI助理，可摘要會議記錄</strong></p>
<p>資料來源：iThome整理，2023年9月</p>
</div></div></div>
