LiteLLM導入分類器強化請求路由 甲骨文雲生成式AI應用效益提升 | LIFE生活網
來源 商傳媒全文約 986 字
文章摘要
LIFE生活網 · 文章頁摘要• 甲骨文雲(OCI)生成式 AI 平台導入開源程式庫 LiteLLM,強化請求路由功能。 • AI Gateway 透過訓練過的分類器,能將用戶請求智慧導向最適合的 OCI Generative AI 模型,優化成本與效能。 • LiteLLM 提供單一 OpenAI 相容 API 端點,支援多家廠商的二十種 OCI Generative AI 模型。 • 新功能透過 GitHub 提供參考實作,協助開發者更有效率且經濟地管理大型語言模型應用。

開源 Python 程式庫 LiteLLM 已全面整合至甲骨文雲(OCI)生成式 AI 平台,其 AI Gateway(人工智慧閘道)現在能夠透過訓練過的分類器,智慧地將用戶請求導向最適合的 OCI Generative AI 模型。...