【re:Invent 2024現場直擊】從模型訓練算力配置自動化、提示快取管理到RAG結構化資料支援，AWS揭一系列A…
<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <p>在今年度re:Invent技術年會中，AWS資料與人工智慧資深副總裁Swami Sivasubramanian揭露AI服務重大更新，不論是機器學習平臺SageMaker還是生成式AI平臺Bedrock，都聚焦生成式AI（即GAI）帶來的更大算力和資料檢索需求，推出相應新功能。</p> <p><span style="font-size:22px;"><strong>SageMaker瞄準生程式AI更大的算力需求，新添算力支援和任務管理</strong></span></p> <p>比如，他們在專為GAI推出的快速擴展服務Amazon SageMaker Hyperpod中，正式新添了能自動化彈性支援模型訓練的計畫功能（Amazon SageMaker Hyperpod Flexible Training Plans），能自動設置模型訓練所需的基礎設施和運算叢集，而且還符合使用者預期的訓練時間和成本。Sivasubramanian說，這個新功能可提高訓練效率，省下好幾周的模型訓練時間。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/%E8%A8%93%E7%B7%B4%E8%A8%88%E7%95%AB.JPG" /></p> <p>再來，「有效管理訓練資源，也是很複雜的任務，」Sivasubramanian表示，對Amazon自己來說也是如此。於是他們開發一套功能，提高超過90%的加速運算運用率。「當我們與不同產業的資訊長、執行長們分享這個成功經驗，他們都表示這是他們需要的。」</p> <p>於是，AWS今日正式推出Amazon SageMaker Hyperpod Task Governance任務治理功能，使用者能定義自己的優先任務，來最大化運用加速器運算資源，降低模型訓練、微調和推論的成本。甚至，使用者還能即時監控模型任務的執行洞察，來減少等待時間。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/%E4%BB%BB%E5%8B%99%E6%B2%BB%E7%90%86.JPG" /></p> <p>另一方面，為顧及使用者希望操作第三方AI應用程式、管理模型的需求，Sivasubramanian也揭露另一款更新，只要是AWS合作夥伴的AI Apps，都能在SageMaker中使用了。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/%E7%AC%AC%E4%B8%89%E6%96%B9ai.JPG" /></p> <p><strong><span style="font-size:22px;">Bedrcok也有模型市集了，還有提示管理新功能</span></strong></p> <p>不只如此，AWS還針對Amazon Bedrcok平臺，也就是優化GAI應用程式建置和擴展的服務，正式推出Amazon Bedrock Marketplacae市集，提供100多個模型，來讓使用者測試、使用。</p> <p>再來，為了更有效管理提示所衍生的成本，AWS分別推出2項預覽版功能，首先是Bedrcok提示快取（Prompt caching）支援功能，可以針對跨API呼叫的重複性提示進行快取，來避免不斷重複的提示產生的Token成本。「這是降低延遲和節省成本的關鍵，你可以降低85%延遲、節省90%成本。」</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/%E6%8F%90%E7%A4%BAcaching.JPG" /></p> <p>另一項功能是智慧提示分配（Bedrock Intelligent Prompt Routing），也就是能根據提示內容，自動分配給最適合的模型來處理、回答問題。Sivasubramanian說，有了這個功能，開發者不必再花大把時間測試哪個模型最適合回答哪些問題，可節省3成開發成本。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/%E6%8F%90%E7%A4%BArouting.JPG" /></p> <p><span style="font-size:22px;"><strong>針對RAG痛點，推出更好的資料來源配對功能和Bedrock結構化資料檢索功能</strong></span></p> <p>RAG是透過搜尋外接資料庫知識，來避免大型語言模型（LLM）幻覺的重要手段。AWS先前就推出Bedrock Knowledge Bases知識庫來簡化RAG工作流程的管理，同時，為了讓使用者更容易在企業或組織中找到正確資料，AWS之前也推出Amazon Kendra服務，能透過機器學習支援來快速找到最相關的資料。</p> <p>這次，AWS推出了Kendra GAI Index預覽版，使用者能連結40多個資料來源、對其索引，來讓企業更有效率打造數位助理和智慧搜尋體驗。這個功能，還能與Bedrock Knowlege Bases和其他工具整合，來開發RAG支援的AI助理，或是與Amazon Q Business整合使用，打造全託管的數位助理。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/kendra%E6%8C%87%E5%BC%95.JPG" /></p> <p>接著，AWS也針對RAG所需的資料類型，正式推出了Bedrock Knowledge Bases結構化資料檢索功能，Sivasubramanian還揭露其他資料處理新功能，像是Amazon Bedrock Data Automation預覽版，能自動從非結構化的多模態資料中抽取內容，來轉換、生成結構化資料；以及Bedrock Knowledge Bases支援GraphRAG的預覽版功能，使用者可以打造使用知識圖譜的GAI應用程式了。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/data%E8%87%AA%E5%8B%95%E8%A9%B1.JPG" /></p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/%E7%B5%90%E6%A7%8B%E5%8C%96%E8%B3%87%E6%96%99.JPG" /></p> <p><!-- notionvc: eb8cd0dc-532a-48aa-9796-7cc58446cd75 --></p> </div></div></div>
