LiteLLM導入分類器強化請求路由 甲骨文雲生成式AI應用效益提升 - OwlNews

圖／示意圖商傳媒｜林昭衡／綜合外電報導開源Python程式庫LiteLLM已全面整合至甲骨文雲（OCI）生成式AI平台，其AIGateway（人工智慧閘道）現在能夠透過訓練過的分類器，智慧地將用戶請求導向最適合的OCIGenerativeAI模型。這項技術更新旨在為甲骨文雲生成式AI的客戶最佳化成本與效能，讓開發者能根據每次請求的具體需求，選擇最理想的模型。LiteLLM的AIGateway為涵蓋OpenAI、Google、Meta、xAI和Cohere等多家廠商的二十種OCIGenerativeAI模型，提供單一的OpenAI相容應用程式介面（API）端點。此系統內建一個輕量級分類器，透過分析評分後的答案進行訓練，以判斷每項請求最合適的模型群組。根據《Blogs.oracle.com》報導，該路由器模型大小僅220KB，僅用0.18秒完成訓練，平均在79毫秒內即可完成分類，確保高效運作。甲骨文雲目前提供OpenAI的GPT-5.3-codex模型，透過其OpenAI相容回應API。透過LiteLLM的客製化供應商橋接，可無縫支援工具呼叫功能。這意味任何OpenAI用戶端，包含OpenAICodex，都能將LiteLLM設定為模型供應商，從而實現路由請求。LiteLLM的治理功能則包含附帶預算和速率限制的虛擬金鑰、透過標籤區分的優先通道、故障轉移機制、重試、基於延遲的負載平衡、語境視窗檢查以及依金鑰追蹤花費等。為協助開發者導入，甲骨文已在GitHub上提供名為「oci-litellm-routing」的公開參考實作，只需五個腳本即可部署到甲骨文雲環境中。此實作涵蓋八種路由，對應二十個OCIGenerativeAI模型，並依據模型能力區分為快速、平衡、強大、推理、程式碼、視覺、長語境及多語言等類別。訓練後的路由器是一個分類器，能預測各路由產生優良答案的可能性，並選擇達到品質閾值且成本最低的路由。此新功能對於台灣地區的AI開發者而言極具價值，有助於更有效率且經濟地管理大型語言模型（LLM）應用。藉由LiteLLM的智能路由，開發者能更精準控制不同AI任務的資源消耗，尤其在多樣化模型選擇與預算受限的專案中，其成本與效能最佳化能力將帶來實質助益。