开源精选

开源LLM API网关
最佳自托管方案

精选GitHub上最受欢迎的7个开源LLM API网关解决方案，从功能对比到部署指南，助您找到最适合的开源方案。

查看项目功能对比

7

精选项目

50K+

GitHub Stars

100+

支持模型

免费

开源使用

热门开源项目

GitHub上最受欢迎的LLM API网关

LiteLLM

GitHub ★ 18K+

统一接口调用100+ LLM模型，支持负载均衡、成本控制、预算管理。 Docker一键部署，企业级功能完善。

统一接口负载均衡成本控制 Docker

# Docker
docker run -p 4000:4000 \
ghcr.io/berriai/litellm:main

Portkey

GitHub ★ 8K+

AI网关和可观测性平台，提供完整的请求追踪、成本分析、缓存优化。支持Langfuse、Helicone等集成。

可观测性成本分析缓存追踪

# Docker
docker run -d -p 8080:8080 \
portkeyai/ai-gateway

LocalAI

GitHub ★ 12K+

完全本地运行的LLM推理网关，支持GPU加速、模型管理、API兼容OpenAI。无需云端，完全隐私保护。

本地运行 GPU加速隐私保护 OpenAI兼容

# Docker
docker run -p 8080:8080 \
quay.io/go-skynet/local-ai

OpenRouter

★ 5K+

统一API访问100+模型，自动路由最优供应商

智能路由

FastGPT

★ 10K+

知识库问答平台，企业级RAG解决方案

RAG

功能对比

选择最适合您需求的开源方案

特性	LiteLLM	Portkey	LocalAI	OpenRouter
模型数量	100+	100+	50+	100+
本地部署	✓	✓	✓	✗
负载均衡	✓	✓	✓	✓
成本控制	✓	✓	✗	✓
缓存优化	✓	✓	✗	✓
可观测性	✓	✓	✓	✓
Stars	18K+	8K+	12K+	5K+

快速安装

选择您喜欢的部署方式

1

Docker

最简单的方式，一行命令启动

docker run -p 4000:4000 \
ghcr.io/berriai/litellm:main

2

pip

Python环境，快速安装

pip install litellm
litellm

3

Kubernetes

生产环境，高可用部署

helm repo add litellm
helm install litellm

开源LLM API网关 最佳自托管方案