<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <p><span style="color: rgb(0, 0, 255);">重點新聞(0908~0914)</span></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);">DeciLM 6B </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 語言模型 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 生成式AI </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>生成速度是Llama 2的15倍,以色列新創開源語言模型DeciLM 6B</strong></span></p>
<p>以色列深度學習新創Deci最近開源57億參數語言模型DeciLM 6B,能快速根據文字指令產出回答,如內容和程式碼生成,且生成速度比Meta的70億參數模型Llama 2快上15倍。進一步來說,DeciLM 6B以Transformer解碼器架構為基礎,具分組查詢注意力(GQA)機制,另搭配自家推論SDK:InferyLLM,可降低模型運算成本達80%,使用者能用Nvidia A10等中階GPU來執行模型運算。</p>
<p>不過,DeciLM 6B可處理的Token數量為4,096個,與PaLM 2等大型語言模型的3萬多個Token有所差距。Deci補充,DeciLM 6B的架構,是以自家神經架構搜尋器AutoNAC產生的。此外,Deci同時開源的圖像生成模型DeciDiffusion 1.0,也是由AutoNAC產出,該模型不到一秒就能根據文字指令產生圖像,速度是Stable Diffusion 1.5模型的3倍。<a href="https://deci.ai/blog/decilm-15-times-faster-than-llama2-nas-generated-llm-with-variable-gqa/">(詳全文)</a></p>
<p><img alt="" src="https://deci.ai/wp-content/uploads/2023/09/DeciLM-6B-Evaluation-Table-1400-%C3%97-900-px.png.webp" /></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> phi-1.5 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 生成式AI </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 微軟 </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>表現勝過Llama 2,微軟開源13億參數模型phi-1.5</strong></span></p>
<p>繼今年7月發表phi-1後,微軟研究院最近開源新版模型<a href="https://arxiv.org/abs/2309.05463">phi-1.5</a>,在語言理解、常識、邏輯推理等基準測試中,勝過Meta的70億參數開源模型Llama 2。微軟表示,phi-1.5以Transformer架構為基礎,所用的訓練資料與第一代相同,但額外以一個新的合成文本資料集進行增強訓練。</p>
<p>這次的開源模型以研究促進為導向,並未包括指令優化版或人類回饋強化學習(RLHF)版。團隊指出,為確保模型安全,他們並未使用通用的網路爬蟲資料,防止模型接觸潛在有害的內容,進而降低RLHF的需求。微軟也指出,phi-1.5最適合的使用格式包括QA格式、聊天格式和程式碼格式,來進行提示。他們也提醒,phi-1.5通常會在主要答案之後,生成不相關的回答,而且只適合處理標準英語,非正式英語、俚語等用於可能會讓模型產出不正確的答案。<a href="https://huggingface.co/microsoft/phi-1_5">(詳全文)</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 程式碼 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Mojo </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Python </span></strong></span></p>
<p><span style="font-size:22px;"><strong>執行速度達Python 68,000倍的AI語言Mojo可本地下載了</strong></span></p>
<p>由Swift語言創始人Chris Lattner共同成立的新創公司Modular AI,在5月發布高效能程式語言Mojo引起熱議,現在正式提供Mojo本地端下載,包括編譯器、IDE工具等,目前僅支援Linux,之後會新增對Mac和Windows的支援。</p>
<p>Mojo具備可擴充的程式開發模型,因此能支援GPU和ASIC等加速器,提供與C++和CUDA等硬體溝通語言相當的效能。而且,Mojo可與Python生態系完全互通,在無縫使用Python的函式庫的同時,又可獲得Mojo的功能與效能,像是開發者可將NumPy和Matplotlib函式庫與Mojo程式碼混合使用。另外,Mojo也整合模組化AI引擎,開發者可自定義操作,簡單擴展AI工作負載,執行包括預處理、後處理與高效能數學運算。Modular指出,因為Mojo結合動態和靜態語言的優勢,效能已可達到Python的68,000倍。<a href="https://www.modular.com/blog/mojo-its-finally-here">(詳全文)</a></p>
<p><img alt="" src="https://assets-global.website-files.com/64174a9fd03969ab5b930a08/64f8bbb424cf49c042319fed_Tf_aqSWFNEZO993md-Yuh7Bs5ZEMglx-kyDaTzq66m1q3W4eGqFtaH6warFjp69XTIk2bvVj-q2caffdimzLZMQkl9gs3_HA5p9uXjd0YfHiZwrJryiYWJGN5QoxnpSgwflRyHOllLZwe0HN7kbSAU8.png" /></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Nvidia </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 推論 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 函式庫 </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>如何讓LLM推論更快速?Nvidia開源TensorRT-LLM函式庫</strong></span></p>
<p>最近,Nvidia釋出函式庫TensorRT-LLM,包含TensorRT深度學習編譯器和各種工具,能強化H100 GPU執行語言模型推論的能力。開發者可用這個函式庫來定義、最佳化和執行語言模型,在正式環境加速模型推論。</p>
<p>這個函式庫由Nvidia、Meta、Grammarly和Databricks等公司聯手開發,由TensorRT深度學習編譯器組成,涵蓋最佳化核心、預處理和後處理任務,以及多GPU與多節點通訊功能,開發者不需要深入了解底層硬體溝通語言C++或CUDA,也能高效能執行語言模型。透過開源模組化Python API,TensorRT-LLM提高了易用性和擴展性,還採用了動態批次處理的最佳化調度技術,將模型文字生成過程切分為多次執行,不必等待整批次完成,就能處理下一組請求。這個方法可提高GPU使用效率,在H100 Tensor Core GPU測試中,吞吐量至少增加1倍。而且,H100 GPU吞吐量原本是A100的4倍,但在搭配TensorRT-LLM後,總吞吐量可提高到8倍。<a href="https://developer.nvidia.com/blog/nvidia-tensorrt-llm-supercharges-large-language-model-inference-on-nvidia-h100-gpus/">(詳全文)</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Google地圖 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 路線預測 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 反向強化學習 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>Google地圖新反向強化學習演算法,更快更準還更容易擴展</strong></span></p>
<p>Google研究院、Google地圖和DeepMind各單位重新檢視Google地圖路線規畫使用的經典演算法反向強化學習(IRL),提出一種名為RHIP的新IRL演算法,可改善路線建議結果達16%到24%。</p>
<p>Google地圖的路線建議考量各種因素,如抵達時間、通行費、路況和用戶偏好等,來規畫從地點A到地點B的最佳路線。而反向強化學習可從觀察到的連續決策行為,來學習偏好,比如從用戶已走過的路線,來找出驅動用戶在選擇這些路線時心中的獎勵。但這種方法不易擴展到全球規模,為解決問題,Google發展出RHIP方法,透過在靠近當前的位置,或在已知路徑的地方,使用詳細的策略來確定路線,但在較遠的地方,則選擇更簡單且省運算資源的策略,綜合遠近規畫策略,來實現高效準確的導航。</p>
<p>經測試,團隊發現RHIP策略讓汽車與機踏車的全球路線相符比例,分別提高了15.9%和24.1%。這個全球路線相符比例是指用戶實際行駛的路線,符合Google地圖所建議路線的百分比。也就是說,RHIP執行速度更快,結果也更準確,相較傳統IRL難以擴展的問題,RHIP方法更能在超大量狀態、示範軌跡和模型參數上訓練獎勵模型。<a href="https://blog.research.google/2023/09/world-scale-inverse-reinforcement.html">(詳全文)</a></p>
<p><img alt="" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiHUdaeXJURVEV2f--mytRfbx5k3yftkMKBpuu43GKhyMaAa-fJC3O4QfTxZjz3hkGjUsCBiO6LLcYRsGeyrpOgIUzDDPW1lOwlr47YXKSLUwJuXxMELxRV9SKcr4BDoy5_2HzcFZX-Wb7m3PcQhWvx1efvG5gkXG_HfrhqrqfZ_xrNyBmSado-Wf_si3wH/s16000/image3.png" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 數據中臺 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 信義房屋 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 推薦 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>信義房屋重整上億筆資料,建數據中臺發展AI應用</strong></span></p>
<p>為應用創新技術,信義房屋成立轉型辦公室,先是盤點40多年來累積的上百億筆數據,包括房地產列表和顧客資料,接著逐步進行資料清理,將上百億筆資料格式統一、建置資料庫,來確保資料易取性和資料品質。接著,團隊採用雲端服務來打造數據中臺,也同步收集新資訊、歸整至資料庫。</p>
<p>同時,信義房屋也開始開發AI工具,如用來幫助房仲精準推薦物件的AI智能配案。這項應用,能根據顧客在官網的操作,來推斷顧客喜好,從上億筆資料中找出最貼近需求的物件,來給房仲參考、推薦給客戶,有別於過去只仰賴實際互動經驗的局限。信義房屋指出,這個應用提高了一線客戶斡要率2倍以上。此外,在數據中臺基礎上,他們也發展了DiNDON智能賞屋、房產e存摺、一站式找房找房貸等數位服務。<a href="https://www.sinyinews.com.tw/dailynews/newsct/11937">(詳全文)</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 生成式AI </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 模糊測試 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 安全測試 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>生成式AI也能加速安全測試,美新創推可快速生成模糊測試的工具CI Spark</strong></span></p>
<p>專攻安全測試的新創Code Intelligence最近推出生成式安全測試解決方案CI Spark,運用大型語言模型來辨識軟體攻擊面,還能建議測試程式碼,並自動執行模型生成的模糊測試,是白箱測試的重要一步。</p>
<p>白箱測試是一種重要的軟體測試方法,但Code Intelligence指出,此技術需要專家手動找出進入點並開發測試,過程耗費數天甚至數周。CI Spark就是要縮短這個過程,藉生成式AI對JavaScript/TypeScript、Java和C/C++程式碼訓練,找出適合進行模糊測試的函式,自動生成測試,或改進現有的模糊測試,同時也能利用現有的單元測試,進一步生成高品質測試程式碼。根據官方測試,CI Spark能加速專案建立測試速度15倍,還發現SQL注入、XSS和遠端程式碼等超過50個CVE。<a href="https://www.code-intelligence.com/blog/ci-spark">(詳全文)</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AIGC </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 電子書 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Amazon </span></strong></span></p>
<p><span style="font-size:22px;"><strong>Amazon要求作者主動揭露AI生成內容,即便大量編修也算AIGC</strong></span></p>
<p>近日,Amazon發布出版書更新政策,要求在其平臺上出版的書籍作者,需主動揭露書中包含AI生成的內容,包括文字和圖片。根據Amazon的定義,以AI工具生成的內容(包括文字、圖片和翻譯),就視為AI生成內容,即便事後大量編修,Amazon也認定為AI生成內容。</p>
<p>這項政策主要影響Kindle Direct Publishing(KDP)平臺上出版的書籍,該平臺允許個人作者免費發布電子書、平裝及精裝紙本書。Amazon近日加入的新規定,就要求作者在KDP平臺出版新書,或編輯後重新刊登書籍時,若書中包含AI生成的文字、圖片或翻譯時必須告知Amazon。不過Amazon指出,若作者自行創作內容,再以AI工具編輯、糾錯或以其他方式改進內容,Amazon會定義為「AI輔助」,作者無需告知Amazon。同樣地,在AI工具腦力激盪或提供創意下,作者創作的文字和圖片,也都屬於AI輔助內容。<a href="https://kdp.amazon.com/en_US/help/topic/G200672390#aicontent">(詳全文)</a></p>
<p>圖片來源/Deci、Modular AI、Google</p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI近期新聞 </span></strong></span></p>
<p><strong>1. 微軟聯手生成式AI業者Paige.ai要打造世界最大癌症影像AI</strong></p>
<p><strong>2. OpenAI承認AI偵測器無法分辨學生是否用生成式AI寫作業</strong></p>
<p><strong>3. MLCommons發布AI基準測試新套件,強化模型推論和儲存評估</strong></p>
<p>資料來源:iThome整理,2023年9月</p>
</div></div></div>