LIFE生活網

LiteLLM導入分類器強化請求路由 甲骨文雲生成式AI應用效益提升 | LIFE生活網

來源 商傳媒全文約 986 字

文章摘要

LIFE生活網 · 文章頁摘要

• 甲骨文雲(OCI)生成式 AI 平台導入開源程式庫 LiteLLM,強化請求路由功能。 • AI Gateway 透過訓練過的分類器,能將用戶請求智慧導向最適合的 OCI Generative AI 模型,優化成本與效能。 • LiteLLM 提供單一 OpenAI 相容 API 端點,支援多家廠商的二十種 OCI Generative AI 模型。 • 新功能透過 GitHub 提供參考實作,協助開發者更有效率且經濟地管理大型語言模型應用。

LiteLLM導入分類器強化請求路由 甲骨文雲生成式AI應用效益提升 | LIFE生活網(新聞配圖)
配圖來源:LIFE生活網

開源 Python 程式庫 LiteLLM 已全面整合至甲骨文雲(OCI)生成式 AI 平台,其 AI Gateway(人工智慧閘道)現在能夠透過訓練過的分類器,智慧地將用戶請求導向最適合的 OCI Generative AI 模型。...