Portkey AI网关开源：详解生产级治理与可观测性方案

面对每日高达数万亿令牌的AI请求流量，企业如何在生产环境中实现有效治理、成本控制与安全合规？Portkey公司给出了一个开源答案。近日，这家为生产级AI部署提供控制平面的公司，决定将其AI网关彻底开源，旨在为构建生产AI的工程团队提供一套免费的、标准化的治理与可观测性基础架构。

该网关服务已承载了全球2.4万家组织、每年约1.8亿美元的AI支出，每日处理超过2万亿个令牌和1.2亿次AI请求。Portkey联合创始人兼CEO Rohit Agarwal强调，开源核心网关技术是为了使其民主化——每个团队在生产中构建AI时都必需的治理与可观测能力，不应被SaaS订阅合同所束缚。

SaaS订阅之外的另一种选择

在当前的AI部署浪潮中，治理、可观测性、身份验证、成本控制等核心功能往往需要单独的SaaS服务。虽然存在按需付费或自托管部署等选项，但Agarwal认为，基础设施的基石部分应当免费且开放。“我们开源的是我们认为应该作为标准参考架构存在的东西，”他表示，“我们（或任何其他人）在其之上建立的价值，才是商业模式的立足点。”

规模化带来的治理挑战

当企业将AI应用推向生产环境，并达到一定规模时，管理所有令牌流量、防止预算超支、保障数据合规等挑战会迅速凸显。Agarwal透露，Portkey网关单日处理2万亿令牌，正是为了解决这些规模化问题。他的目标是，在不久的将来将这一处理能力再提升一千倍。

此次开源的Portkey网关不仅强化了对传统LLM流量的管理，更重要的是，它增强了对AI代理工作流的治理能力。随着AI代理在企业内部扮演起能实际查询系统、执行操作的“操作执行者”角色，对其的管理也需要像对待关键基础设施一样严格。

MCP网关：为AI代理加上“安全阀”

Agarwal特别提到了开源的MCP（Model Context Protocol）网关。他认为，MCP协议彻底改变了在生产中运行AI的意义。“六个月前，大家还在讨论如何管理LLM流量；现在，企业关心的是如何管理能在其系统内部采取实际行动的代理，”他解释道，“LLM存在的所有担忧在MCP中依然存在，甚至风险更高。”

他打了一个比方：你不能让成千上万的工程师都通过一个MCP服务器路由，却没有办法在它出错时立即关闭。因此，MCP网关成为了企业快速采纳的技术——其目的不是阻止MCP，而是以一种可信、可控的方式使用它。

新版网关的核心功能

全新的Portkey开源网关提供了以下关键能力，以构建完整的AI控制平面：

• 使用策略控制：允许工程师在网关层面定义并强制执行模型使用规则、限制和访问控制。
• 模型目录：提供一个持续更新的、跨云服务商的模型注册表。
• 控制平面连接服务：将网关与后台的可观测性及管理基础设施无缝连接。
• 实时指标：使团队能够实时追踪成本、延迟和使用情况。
• MCP注册表：帮助用户在一个统一的界面中发现、管理和版本化MCP服务器。
• 企业级身份验证：为MCP流量提供内置的OAuth 2.1和OAuth 2.0支持。

代理即“关键执行者”

Portkey的技术理念建立在一个认知之上：AI代理不仅仅是普通的软件功能。一旦它们被赋予了访问工具和执行操作的权限，就转变为了企业内部的“关键执行者”。因此，组织必须像管理任何其他任务关键型技术基础设施一样，对代理实例进行严格管控。一个能够集中管理访问权限、强制执行安全策略并提供实时可见性的控制平面，在此背景下显得至关重要。

本次开源行动，为众多正在或计划将AI投入生产的企业提供了一个强大的基础工具选项。如果你对AI基础设施的构建与治理有更多想法或实践，欢迎来云栈社区的对应板块交流探讨，这里有丰富的技术资源和活跃的开发者社群。