多个免费模型额度前面的本地路由器

FreeLLMAPI 是一个自托管 OpenAI-compatible 代理。它的卖点很直接:把许多免费 LLM provider 的 key 放到一个 /v1/chat/completions endpoint 后面,由路由器选择可用 provider,遇到限流就切换,并记录每个 key 的使用量。README 列出了 Google、Groq、Cerebras、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare、Hugging Face、Z.ai、Ollama、Kilo、Pollinations、LLM7、OVH、OpenCode Zen 和自定义 OpenAI-compatible endpoint。

这对实验很有吸引力,因为许多工具只需要一个 OpenAI 形状的 endpoint。但它也天然带风险。一个保存上游密钥、选择 fallback model、使用 provider 免费额度的代理,同时碰到可靠性、成本、隐私和服务条款。

安装路径

README 里最快路径是 Docker。它从项目站点取安装脚本,创建本地目录,生成 encryption key,拉容器镜像并启动应用。更可审计的是手工 Docker Compose 路径:

git clone https://github.com/tashfeenahmed/freellmapi.git
cd freellmapi
ENCRYPTION_KEY="$(openssl rand -hex 32)"
printf "ENCRYPTION_KEY=%s\nPORT=3001\n" "$ENCRYPTION_KEY" > .env
docker compose up -d

本地开发路径要求 Node.js 20 或更新版本,执行 npm install,写 .env,再跑 npm run dev。

支持范围

FreeLLMAPI 支持 OpenAI 风格 chat completions、/v1/models、streaming、tool calls、embeddings、Responses API shim、请求分析、dashboard、sticky sessions、health checks、密钥加密存储,以及给客户端用的统一 bearer token。它是单用户设计。README 明确说 image generation、audio、legacy completions、moderation、多输出 n > 1 和多租户计费还不支持。

风险点

README 写了 “Personal experimentation only”,这个定位很关键。provider 免费额度会变,促销 route 会消失,有些 provider 会限制生产用途或自动化使用。fallback chain 也可能让同一段对话中途换模型,即使有 sticky sessions 和 context handoff,行为也不一定完全一致。

密钥托管同样重要。FreeLLMAPI 用 AES-256-GCM 加密上游 key,但代理发请求时仍要在内存中解密。应该把它当基础设施运行:默认本地绑定、设置强管理密码,不要随便暴露到公网。

相关

LLM 调用前的文档转换可以看 microsoft/markitdown。本地 AI workspace 方向可以看 pewdiepie-archdaemon/odysseus 和 open-webui/open-webui。

FAQ

FreeLLMAPI 是模型 provider 吗? 不是。它是一个代理,把请求路由到上游 provider 或本地 OpenAI-compatible endpoint。

它支持 OpenAI Responses API 吗? README 说它实现了一个转换 shim,复用同一套路由,并支持 streaming events 和 tool calls。

能暴露到公网吗? 风险很高。README 描述的是单用户设计,暴露到局域网也需要显式改 host bind。

叠加免费额度一定合规吗? 取决于每个 provider 的服务条款。项目能做路由,不能消除上游政策风险。