BerriAI/litellm
LiteLLM là cổng AI mã nguồn mở, gọi hơn 100 nhà cung cấp mô hình theo cùng định dạng OpenAI, kèm theo dõi chi phí và cân bằng tải.
Điểm nổi bật
- Dùng như thư viện Python hoặc chạy máy chủ proxy cho cả nhóm.
- Một giao diện cho OpenAI, Anthropic, Gemini, Bedrock, Azure...
- Có theo dõi chi phí, rào chắn an toàn, cân bằng tải.
- Lõi viết bằng Rust.
Mô tả từ GitHub
The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
- Ngôn ngữ
- Python
- Số sao
- 63.3K
- Thêm vào kho
- 23/08/2026
curl "https://repo.shopkitai.com/api/v1/repos/BerriAI/litellm"