Kho Repo
Quay lại kho repo
BerriAI / litellm
Ảnh xem trước của BerriAI/litellm

BerriAI/litellm

Nền tảng AI, RAG & WorkflowPython63,337 saoThêm 3 tháng trước
Xem trên GitHub

LiteLLM là cổng AI mã nguồn mở, gọi hơn 100 nhà cung cấp mô hình theo cùng định dạng OpenAI, kèm theo dõi chi phí và cân bằng tải.

Điểm nổi bật

  • Dùng như thư viện Python hoặc chạy máy chủ proxy cho cả nhóm.
  • Một giao diện cho OpenAI, Anthropic, Gemini, Bedrock, Azure...
  • Có theo dõi chi phí, rào chắn an toàn, cân bằng tải.
  • Lõi viết bằng Rust.

Mô tả từ GitHub

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

Ngôn ngữ
Python
Số sao
63.3K
Thêm vào kho
23/08/2026
AI agent có thể lấy repo này qua API
curl "https://repo.shopkitai.com/api/v1/repos/BerriAI/litellm"

Repo cùng chủ đề

Những lựa chọn khác trong “Nền tảng AI, RAG & Workflow”.

BerriAI/litellm — Kho Repo