开源FreeLLMAPI：聚合14家AI免费模型，兼容OpenAI，白嫖GPT-4o等每月10亿Token

你是否曾为AI开发成本而头疼？各大模型平台的API虽强，但月费累加不容小觑。更麻烦的是，每个平台都有自己的SDK、限频规则和计费方式，光是摸索对接就要耗去大量时间，更别提在几个免费额度之间精打细算、反复切换了。

这个痛点被一个名为 FreeLLMAPI 的开源项目彻底解决。它用一个统一接口，将 Google、Groq、Cerebras、Mistral、GitHub Models 等 14家主流AI平台的免费额度 聚合在一起，让你像调用 OpenAI API 一样，每月免费使用超过 10亿 Tokens 的推理能力。云栈社区 的开发者们最近都在关注这个致力于拉低 AI 使用门槛的神器。

项目简介：一个端点，聚合所有免费AI能力

FreeLLMAPI 是一个 OpenAI 兼容的 API 代理，由开发者 tashfeenahmed 创建，基于 MIT 协议开源。它的核心使命简单而激进：将各大平台的免费层聚合为一个统一的 /v1/chat/completions 端点，并提供自动故障转移能力。

它就像一个“AI大模型路由器”，背后连接着14条免费模型提供商的通道。你只需把 API 地址指向它，它会自动根据各平台的速率限制和健康状况，从质量最高、当前可用的模型中挑选一个响应请求。某个 Key 失效或限流了，它会 自动、无缝地切换到下一个，你完全感知不到背后的复杂调度。

核心功能：免费且智能的“AI调度中心”

1. 聚合14家提供商，覆盖主流模型

FreeLLMAPI 目前支持以下提供商的免费模型，覆盖了从快速推理到较强推理的各种需求：

提供商	免费可用模型举例
Google	Gemini 2.5 Flash, 3.x 预览版
Groq	Llama 3.3, Llama 4, GPT-OSS, Qwen3
Cerebras	Qwen3 235B
SambaNova	DeepSeek V3.x, Llama 4, Gemma 3
Mistral	Large 3, Medium 3.5, Codestral
GitHub Models	GPT-4.1, GPT-4o
OpenRouter	21款免费层模型
Cloudflare	Kimi K2, GLM-4.7, Granite 4
Cohere	Command R+, Command-A (试用期)
Z.ai (智谱)	GLM-4.5, GLM-4.7 Flash
HuggingFace	DeepSeek V4, Kimi K2.6, Qwen3

注意：NVIDIA NIM 默认禁用，Cohere 的免费层有条款限制，建议查看项目文档了解最新合规情况。

2. 智能路由与自动故障转移

这是 FreeLLMAPI 最核心的智能所在：

• 自动选优：默认使用 model: "auto"，路由器会从你的优先级列表中，选择质量最高且有可用额度的模型响应。
• 无缝切换：当首选模型返回429（限流）、5xx错误或超时时，路由器会自动将其暂时“冷却”，并从你的回退链中尝试下一个模型（最多20次尝试）。
• 会话保持：多轮对话会在30分钟内“粘性”绑定在同一个模型上，避免中途切换模型导致对话风格突变。

3. 全面兼容 OpenAI 生态

FreeLLMAPI 提供了标准的 POST /v1/chat/completions 和 GET /v1/models 端点，这意味着 所有为 OpenAI 编写的代码、SDK和工具（如 LangChain、LlamaIndex）都可以零改动接入。只需修改 base_url 和 api_key 即可。

4. 生产级特性

虽然定位为“个人实验用途”，但其设计充满了生产级的思考：

• 流式与非流式输出：同时支持 stream: true (SSE) 和标准JSON响应。
• 工具调用：完整支持 OpenAI 风格的 tools / tool_choice 功能，多步工具调用流程可在各个提供商间无缝衔接。
• 密钥安全存储：所有提供商的 API Key 使用 AES-256-GCM 加密后存入 SQLite，解密仅在使用前于内存中进行。
• 管理看板：提供一个 React + Vite 构建的管理界面，可以管理密钥、调整回退优先级、查看分析和在线测试。

30秒快速部署

前置要求： Node.js 20+, npm。

# 1. 克隆并安装依赖
git clone https://github.com/tashfeenahmed/freellmapi.git
cd freellmapi
npm install

# 2. 生成加密密钥（用于安全存储你的各平台API Key）
cp .env.example .env
echo "ENCRYPTION_KEY=$(node -e "console.log(require('crypto').randomBytes(32).toString('hex'))")" >> .env

# 3. 启动服务和仪表盘
npm run dev

启动后：

1. 打开 http://localhost:5173，进入管理后台。
2. 在 Keys 页面添加你从各平台申请的免费 API Key。
3. 在 Fallback Chain 页面调整模型优先级。
4. 在 Keys 页面顶部获取你唯一的 freellmapi-... 统一 API Key。

代码演示：像调用 OpenAI 一样调用免费模型

一旦服务启动，你的代码几乎不需要任何改动：

from openai import OpenAI

# 只需修改base_url和api_key
client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key="freellmapi-你的统一密钥",
)

# 使用 "auto" 让路由器自动选择最好的可用模型
response = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "用一句话概括罗马帝国衰亡的原因。"}],
)
print(response.choices[0].message.content)
# 响应头中会告诉你实际使用的是哪个模型
print("实际服务模型:", response.headers.get("x-routed-via"))

对于工具调用、流式输出等高级功能，代码同样与 OpenAI SDK 完全一致，只需将请求指向本地服务即可。

优势与局限：它适合谁

核心优势：

• 开发测试神器：为个人项目、原型验证、学习实验提供充足的免费 Token。
• 零成本 AI 接入：聚合后每月可用 Token 超过10亿，足够支撑大量非生产级任务。
• 统一接口：一次对接，轻松调用十几个不同平台的模型，极大简化开发。

明确局限：

• 无最前沿模型：免费层不包括 GPT-5、Claude Opus 等顶级模型，最强约为 Llama 3.3 70B、Gemini 2.5 Pro 级别。
• 服务质量波动：随着每日额度消耗，路由器会逐步回退到更小的模型，下午/晚上的平均响应质量可能下降。
• 仅限个人实验：官方明确声明，这是一个 面向个人实验和学习 的工具，不适用于生产环境。如果构建正式产品，应在发布前切换为付费 API。

写在最后

FreeLLMAPI 是一个充满智慧的开源项目，它没有创造新的 AI 能力，却以巧妙的方式 将 AI 的“使用成本”和“接入复杂度”降到了最低。通过将碎片化的免费资源整合为一个统一的、兼容 OpenAI 生态的接口，它为 AI 开发者和爱好者提供了一个极具价值的实验与学习沙盒。

如果你正苦于 AI 开发的成本压力，或厌倦了在不同平台间切换，不妨立刻部署它，将精力专注于真正重要的应用创新上。

项目地址：https://github.com/tashfeenahmed/freellmapi