昨日，OpenAI 正式宣布收购专注于大语言模型安全的初创公司 Promptfoo。交易完成后，其技术将整合进 OpenAI 近期推出的企业级 AI 智能体平台 Frontier，以增强平台的自动化安全测试与评估能力。
Promptfoo 的诞生源于一个工程师的实际需求。其创始人兼 CEO Ian Webster 此前在 Discord 领导 LLM 工程团队时发现，传统的安全测试工具无法有效应对 AI 应用的新型风险，如提示词注入、模型越狱等。针对 AI 应用的专用测试基础设施几乎是一片空白。
于是，他利用业余时间开发了一个开源项目，旨在帮助开发者系统性地评估和测试其 LLM 应用的安全性，这就是 Promptfoo 的雏形。这个工具很快在开发者社区中传播开来，甚至在正式发布前，就吸引了来自 Anthropic、亚马逊和 Shopify 等公司的工程师自发使用。
从开源项目到商业成功：23人团队的两年征程
Promptfoo 于 2024 年正式成立公司并开始商业化运营。其核心产品是一个用于测试 AI 系统安全的 开源 工具套件，包含 CLI 和库，帮助企业通过模拟攻击（即 红队演练）来主动发现自身产品的漏洞。
该平台的工作原理是扮演自动化攻击者，直接对接客户的 AI 应用接口，使用专门的模型模拟各种用户甚至恶意行为。一旦测试成功（即发现漏洞），平台会记录并分析成因，并通过智能推理循环迭代优化测试用例，以暴露更深层次的安全风险。其针对的风险类型非常具体，例如：
- 提示词注入 (Prompt Injection)
- 数据泄露 (Data Leakage)
- 模型越狱 (Jailbreaking)
- 应用层故障，如 AI 做出无法兑现的承诺或输出不恰当的内容。
公司的成长速度惊人。根据创始人 Ian Webster 在 X（原 Twitter）上公布的数据，目前已有超过 35 万名开发者以及超过 25% 的《财富》500 强企业使用其产品。这家总部位于旧金山的初创公司仅用两年时间，以 23 人的团队规模，在仅融资 2300 万美元的情况下，实现了 8600 万美元的估值。
收购后的承诺：保持开源，持续支持
本次收购的具体金额未被披露，但 OpenAI 明确表示，Promptfoo 团队将加入 OpenAI。对于广大开发者和现有客户而言，一个关键利好是：Promptfoo 将在现有许可下保持开源，并继续为现有客户提供支持。
Promptfoo 首席执行官 Ian Webster 在一份声明中强调：“随着 AI 智能体与真实数据和系统的连接日益紧密，对其进行安全防护与验证变得比以往任何时候都更具挑战性，也更为重要。加入 OpenAI 能让我们加速推进这项工作。”
公司联合创始人 Michael D’Angelo 也在 LinkedIn 上确认：“Promptfoo 依然是开源的。我们将继续维护项目，接受捐款，支持多种供应商和模型，并为客户服务。”
这意味着，开发者依然可以免费使用该工具来测试和对比不同大语言模型（如 ChatGPT、Claude、Gemini 等）的性能与安全性。该项目在 GitHub 上已获得超过 1.13 万颗星，拥有超过 248 名贡献者。
开源项目地址： https://github.com/promptfoo/promptfoo
AI 安全赛道升温，大厂策略各异
OpenAI 此次收购明确反映了其加强企业级 AI 产品安全能力的决心。AI 智能体在带来巨大生产力潜力的同时，也引入了新的安全挑战。能够自主执行任务的智能体可能被不法分子利用，成为入侵系统、窃取数据的新工具。
因此，确保 AI 应用的安全、可靠已成为各大厂商说服企业付费的关键。除了通过收购整合，OpenAI 自身也在开发安全产品，例如近期扩大开放范围的 Codex Security 智能体。
而作为 OpenAI 的主要竞争对手，Anthropic 则采取了不同的路径，主要依靠自研。例如其在今年 2 月推出的 Claude Code Security，就是基于其最强的 Claude Opus 模型构建，旨在发现传统扫描工具难以捕捉的上下文依赖型漏洞。
无论是自主研发还是收购整合，头部 AI 公司都在积极布局安全工具，这预示着 AI 安全将成为未来企业级 AI 市场竞争的核心维度之一。对于开发者而言，了解和运用像 Promptfoo 这样的工具，将是构建可靠、可信 AI 应用不可或缺的一环。想要了解更多类似的开发实践与安全资讯，可以关注 云栈社区 的相关讨论。
参考链接：
发表于 13 小时前
|
查看: 6|
回复: 0
