在人工智能技术飞速发展的今天,各大科技公司相继推出了各具特色的大语言模型,例如OpenAI的GPT系列、Anthropic的Claude、Google的Gemini,以及国内的DeepSeek、Qwen等。这些模型的API接口和调用方式各异,给企业带来了显著的管理难题:不同模型的密钥管理混乱、调用频率限制不一,以及难以对不同业务进行细粒度的权限控制和调用监控。
New API:新一代大模型网关与AI资产管理系统
New API是一个基于One-API二次开发的项目,旨在成为一个新一代的大模型网关与AI资产管理系统。其核心功能是将多种大模型接口统一封装为标准化的格式,支持OpenAI、Claude、Gemini等多种API格式的相互转换。它提供了完整的权限管理、计费统计、智能路由和故障转移功能,是企业级AI应用开发的理想基础平台。
核心功能特性
-
多模型统一管理
- 标准化接口:将所有大模型API统一封装为OpenAI兼容格式,极大简化了开发复杂度。
- 格式转换:支持OpenAI与Claude Messages、OpenAI与Gemini Chat等格式间的自动转换。
- 广泛的模型支持:涵盖GPT系列、Claude、Gemini、Midjourney、Suno等主流AI模型。
-
智能路由与负载均衡
- 加权随机路由:根据预设的渠道权重智能分配请求,优化资源利用率。
- 自动故障转移:当某个上游模型服务不可用时,系统会自动切换到备用渠道。
- 精细化限流:支持基于用户、令牌、模型的精细化流量控制策略。
-
完善的权限与安全管理
- 多级权限控制:支持超级管理员、渠道管理员、普通用户等多级权限体系。
- IP访问控制:支持配置CIDR格式的IP白名单或黑名单。
- 多样化登录:支持Discord、Telegram、OIDC统一认证等多种登录方式。
-
强大的计费与统计功能
- 灵活计费策略:支持按调用次数、按消耗token数、按模型种类等多种计费方式。
- 实时数据看板:可视化展示使用量、成本、成功率等关键业务指标。
- 缓存计费支持:对OpenAI、Azure、Claude等主流模型提供缓存计费功能,优化成本。
-
高级特性支持
- 思考模式控制:支持OpenAI的Reasoning Effort、Claude思考模式、Gemini思考预算等高级功能。
- 实时对话:支持OpenAI Realtime API等实时语音交互功能。
- 多语言界面:提供中文、英文、法语、日语等多语言用户界面。
安装与部署指南
使用 Docker Compose 部署
这是推荐的部署方式,适合快速启动和进行云原生环境管理。
# 克隆项目到本地
git clone https://github.com/QuantumNous/new-api.git
cd new-api
# 编辑docker-compose.yml配置文件
# 可以根据需要修改端口映射、环境变量等配置
nano docker-compose.yml
# 启动New API服务
docker-compose up -d
使用 Docker 命令直接部署
使用SQLite数据库(默认配置,适合轻量级使用)
docker run --name new-api -d --restart always \
-p 3000:3000 \
-e TZ=Asia/Shanghai \
-v ./data:/data \
calciumion/new-api:latest
docker run --name new-api -d --restart always \
-p 3000:3000 \
-e SQL_DSN="root:yourpassword@tcp(mysql-host:3306)/newapi" \
-e TZ=Asia/Shanghai \
-v ./data:/data \
calciumion/new-api:latest
关键环境变量配置
New API支持丰富的环境变量以满足不同部署场景的需求,以下是一些关键配置示例:
# 会话密钥(多机部署必须设置)
SESSION_SECRET=your-secret-key
# 加密密钥(启用Redis缓存时必须)
CRYPTO_SECRET=your-crypto-key
# 数据库连接字符串
SQL_DSN=username:password@tcp(host:port)/database
# Redis连接字符串
REDIS_CONN_STRING=redis://localhost:6379
# 流式响应超时时间(秒)
STREAMING_TIMEOUT=300
# 请求体最大限制(MB)
MAX_REQUEST_BODY_MB=32
总结
New API作为新一代大模型网关,有效解决了在人工智能应用开发中面临的多模型管理复杂性问题。它不仅能够将各类AI模型的API接口标准化,还集成了精细化的权限与安全管理、智能路由、故障转移以及详尽的统计计费功能。无论是个人开发者还是企业团队,采用New API都能显著提升AI应用的开发效率,降低运维复杂度,为实现高效、可控的AI能力调用提供了坚实的平台支撑。
|