AWS 雲端 平台推 AI 自動化 資料 準備 加速 模型 開發 流程 - OwlNews
文章摘要
奧丁丁新聞 · 文章頁摘要圖/示意圖商傳媒|何映辰/台北報導雲端巨頭AWS宣布為旗下的機器學習平台AmazonSageMakerAI推出全新的AI資料準備功能,整合自動標註、合成資料生成、品質評估及轉換工具,瞄準企業在打造生成式AI模型時最耗時的數據清理與準備痛點。在典型的模型開發流程中,團隊往往需要投入大量時間進行資料蒐集、清洗與標註,才能產出足以訓練出優秀模型的資料集。這項新功能將整個前置作業大幅自動化,協助資料科學家與工程團隊建立、評估並持續改進高品質資料。陪審團評分機制結合人工審查新工具支援分類、命名實體辨識、擷取式問答、排序評分以及摘要等多種任務的自動標註。針對答案固定的任務,系統採用多模型組成的「陪審團」機制進行判定,依據模型間的一致性計算出信心分數。若標註結果的信心水準低於使用者設定的門檻,資料便會自動導流至整合了開源工具LabelStudioCommunityEdition的SageMakerStudio佇列,交由人工進一步審核。此外,合成資料生成功能允許團隊以既有的種子資料與文件為基礎,建立可被審閱與修改的程式碼流程管線。在資料品質檢驗方面,平台則提供重複資料偵測、標籤雜訊檢驗、答案洩漏(answerleakage)檢查,並結合業務規則與「以大型語言模型作為裁判(LLM-as-a-judge)」的指標進行多層次把關。數據留存用戶專用儲存空間在資安與權限管理部分,所有原始資料、生成資料集與標籤皆直接保留在客戶選定區域的AmazonSimpleStorageService(AmazonS3)儲存桶中,並由AWSIdentityandAccessManagement(IAM)執行角色嚴格控管存取權限。思科(Cisco)旗下的資安與監控軟體業者Splunk已在其AgentObservability產品採用該合成資料生成功能。Splunk工程總監YashSheth表示,訓練評估模型極度依賴高品質且多元的資料集,透過SageMaker的合成資料工具,團隊能快速產出具統計代表性的資料集,並大幅減少資料科學家的前置整理負擔。開發團隊即日起可透過3.30.0以上版本的SageMakerPythonSDK,或利用SageMakerStudioJupyterLab等開發環境中的AWSAI-MLAgent呼叫這套功能。目前相關服務已於AWS美東(維吉尼亞北部)與美西(奧勒岡)區域正式上線,詳細技術文件已公布於SageMakerAI官方說明頁面。

雲端巨頭 AWS 宣布為旗下的機器學習平台 Amazon SageMaker AI 推出全新的 AI 資料準備功能,整合自動標註、合成資料生成、品質評估及轉換工具,瞄準企業在打造生成式 AI 模型時最耗時的數據清理與準備痛點。...