一个API调用所有LLM
自动轮询/故障转移
预算限制/使用追踪
API Key/OAuth/JWT
Prometheus/Langfuse
SSO/私有部署
100+ 模型，一个API
OpenAI
Anthropic
Meta
Mistral AI
Cohere
| 特性 | 免费版 | Pro | Enterprise |
|---|---|---|---|
| 模型数量 | 100+ | 100+ | 100+ |
| 请求限制 | 1000/天 | 无限 | 无限 |
| 团队成员 | 1 | 5 | 无限 |
| 负载均衡 | ✓ | ✓ | ✓ |
| 成本控制 | 基础 | 高级 | 自定义 |
| SSO | ✗ | ✗ | ✓ |
| 支持 | 社区 | 优先 | 专属 |
| 价格 | 免费 | $50/月 | 联系销售 |
docker run \
-p 4000:4000 \
-v $(pwd)/config.yaml:/app/config.yaml \
ghcr.io/berriai/litellm:main-latest \
--config /app/config.yamlmodel_list:
- model_name: gpt-4
litellm_params:
model: gpt-4
api_key: os.environ/OPENAI_API_KEY
- model_name: claude-3
litellm_params:
model: claude-3-opus-200k
api_key: os.environ/ANTHROPIC_API_KEY