cURL 开发者 Daniel Stenberg 亲眼见证了 Anthropic 公司的 Mythos 模型扫描他广受欢迎的开源项目。这家人工智能公司曾表示，Mythos 模型因为过于强大地发现安全漏洞，所以不宜公开发布。然而，该系统仅发现了一个漏洞，Stenberg 由此得出结论：围绕 Mythos 的炒作“主要是为了营销”，而非人工智能安全领域的重大突破。
Stenberg 在周一的博客文章中解释说，他曾被承诺通过 Anthropic 公司的“Glasswing 项目”获得 Mythos 模型的访问权限——但实际上并没有。Glasswing 项目的一部分内容是通过 Linux 基金会向一些知名开源项目提供访问权限，但 Stenberg 虽然注册试用 Mythos，却从未真正获得直接访问该模型的权限。实际上，是另一位拥有访问权限的人使用 Mythos 对 curl 的代码库进行了扫描，之后向他发送了一份报告。
“反正我也没有太多时间去探索各种不同的提示符，进行深入研究，”Stenberg 解释道，“无论谁做的，只要能获得该工具的首次完整扫描和分析结果就足够了。”本月初，Stenberg收到了一份扫描报告，该报告分析了curl的git仓库中最近一次master分支的提交，结果只发现了cURL中五个被认定为“已确认的安全漏洞”。Stenberg表示，他原本预期会看到一份很长的漏洞列表，但这份报告“感觉什么都没有”，而Mythos的调查结果也进一步证实了他的这种感觉。
“我和我的curl安全团队成员花了几个小时仔细研究这份清单，深入挖掘细节，最终将漏洞数量缩减到一个，”Stenberg说道，这也印证了之前提到的数量。
至于其他四个漏洞，其中三个被证实是误报，指出了API文档中已经提到的cURL缺陷，而团队认为第四个漏洞只是一个简单的bug。
“这个已确认的漏洞最终将被标记为低危CVE，计划与我们即将于6月下旬发布的curl 8.21.0版本同步发布，”这位cURL专家指出。 “这个缺陷不会让人感到恐慌。”
话虽如此，Mythos 确实发现了一些其他非安全漏洞，Stenberg 表示团队正在努力修复，并指出这些漏洞的描述和解释都很到位。换句话说，Mythos 的确能做出不错的贡献，但它并非像 Anthropic 公司宣称的那样，是一款具有突破性、颠覆性的 AI 模型。
“然而，我个人的结论只能是，目前围绕这款模型的种种炒作主要还是营销噱头，”Stenberg 在博客文章中写道。“我没有看到任何证据表明，与其他工具相比，Mythos 在发现问题方面有任何更高或更先进的优势。”
cURL 代码对人工智能来说并不陌生
说 cURL 在其近三十年的发展历程中被广泛使用，这绝非夸张。其广泛的应用意味着，早在人工智能时代到来之前，cURL 团队就已经开始使用各种静态代码分析器和模糊测试工具对其进行测试。随着人工智能的兴起，cURL 团队也随之调整，这意味着 Mythos 并非第一个接触 cURL 代码库的人工智能工具。
“在过去的八到十个月里，这些工具及其分析结果促成了 cURL 中两到三百个 bug 修复的合并，”Stenberg 在谈到 AISLE、Zeropath 和 OpenAI Codex Security 等测试过 cURL 代码的工具时说道。“这些人工智能工具报告的许多发现都已被确认为漏洞，并已发布为 CVE。可能至少有十几个。”
换句话说，Stenberg 在人工智能测试 cURL 方面的经验，使得 Mythos 成为检验其在发现比一般人工智能更高效的有力工具的绝佳对象。
正如Stenberg在其博客文章的其他部分所指出的，Mythos在安全发现方面并没有什么特别新颖之处：它可能比之前的模型更擅长发现问题，但“它的优势似乎不足以对代码分析产生显著影响”，这位cURL的作者指出。
不过，Stenberg并非对人工智能改进软件设计的能力持悲观态度。没错，他可能因为大量粗制滥造、毫无用处的漏洞报告而在今年早些时候关闭了cURL漏洞赏金计划，但他也在赏金计划关闭前几个月指出，一些借助人工智能的安全/渗透/逆向研究人员已经提交了有价值的报告。
“人工智能驱动的代码分析器在发现源代码中的安全漏洞和错误方面，比以往任何传统的代码分析器都要出色得多，”Stenberg说道，并补充了一个关于Mythos的重要限定条件：“现在所有现代人工智能模型都擅长这一点。”
Mythos 的创造力并不比它的开发者更强
在 Stenberg 看来，无论是早期的 AI 模型还是像 Mythos 这样专注于安全的工具，都存在一个共同的局限性：它们发现安全漏洞的能力仅限于编写它们的人类。
“AI 工具发现的都是我们已经知道的常见错误。它只是发现了这些错误的最新实例，”Stenberg 说。“到目前为止，我们还没有看到任何 AI 报告出某种全新的漏洞。”
至于 Mythos，Stenberg 仍然不以为然，他在博客文章中称其“绝对是一次非常成功的营销噱头”。
在给 The Register 的一封电子邮件中，Stenberg 承认 AI 模型确实有可能发现新的、独特的漏洞类型，但他仍然不相信它们能够超越人类的发现能力，因为它们受限于我们对软件漏洞工作原理的理解。
归根结底，Stenberg 解释说，当我们谈论安全时，我们实际上只是在谈论代码。 “源代码是文本，感觉我们可能已经掌握了大多数利用源代码制造安全漏洞的方法，”他在邮件中沉思道。
换句话说，就像cURL漏洞赏金计划在因大量人工智能垃圾报告而关闭之前，那些由人工智能辅助提交的宝贵报告一样，要有效利用Mythos之类的系统，需要人类发挥创造力。抱歉，你不能把你的批判性思维强加给机器人。
“人类研究人员在寻找安全问题时一直都会使用工具，”Stenberg告诉我们。“人工智能的加入为人类提供了更强大的工具，更多的发现问题的方法。我预计，未来许多安全漏洞将由人类通过探索新的方法和角度来引导人工智能而发现。”
Stenberg表示，他希望能够真正接触到Mythos，以便体验它的功能，但他似乎并不抱太大希望，认为承诺的访问权限能够兑现。
“他们承诺会给我提供访问权限，而且就我所知，我最终肯定会得到，”斯坦伯格告诉我们。“我只是不知道什么时候能得到。”
本文最初发表于 theregister.com
发表于 3 小时前
|
查看: 4|
回复: 0
