找回密码
立即注册
搜索
热搜: Java Python Linux Go
发回帖 发新帖

3482

积分

0

好友

513

主题
发表于 昨天 02:41 | 查看: 7| 回复: 0

Runtime: The new frontier of AI agent security

AI Agent 正悄然进驻企业网络,接手员工的部分工作——编写代码、起草邮件、检索文件、连接内部系统。但这些“数字员工”有时也会酿成重大失误。

Meta曾有员工让AI助手管理收件箱,结果遭其清空所有邮件;亚马逊某内部Agent自主决定拆除并重建部署环境,导致AWS服务中断13小时。这些事件揭示了一个重大转变:具备真实权限的自主软件正在企业环境中运行,并产生实际后果。

“Agent就像青少年,”曾任职Uber、Cloudflare和Facebook的安全负责人,现Joe Sullivan Security主管Joe Sullivan告诉CSO,“它们拥有全部权限,却缺乏判断力。”

多年来,AI安全防护主要集中于预防阶段——扫描模型、过滤提示词、分析AI生成代码。但随着企业部署直接与内部系统交互的自主Agent,部分安全负责人指出,真正的风险始于Agent上线运行后。“在安全领域,我们始终假设防护终将失效,”Sullivan表示,“这正是监测与监控同等重要的原因。”

AI Agent的速度与自主性意味着错误或意外行为可能在系统间快速蔓延。这种特性促使越来越多安全负责人开始关注“运行时安全”概念——即持续监控企业环境中的运行中Agent。简言之,运行时安全关注软件运行时的行为,而非仅评估部署前的状态。

Part 01 Agent如何改变安全模型

CISO们多年来一直在管理企业网络中的人类行为,拥有身份管理、基于角色的访问控制、用户行为分析和终端检测等成熟工具。但当你试图将这些框架延伸至AI Agent时,安全专家发现它们仅能部分适用。传统框架在概念上仍然有效,但观察Agent行为的机制已发生了根本性的变化。

“监控的目标没有改变,但实现方式是全新的,”Geordie AI联合创始人兼首席AI官Hanah-Marie Darley指出,“关键在于你如何获取Agent的行为数据——这主要来自日志,但并非所有AI Agent平台都会生成日志。”

传统安全工具设计用于在边界检查点拦截人类行为,而Agent常常通过API调用和模型上下文协议(MCP)连接完全绕过这些检查点。它们产生的活动量也呈指数级增长:普通员工两小时生成50-100条日志事件,一个活跃的Agent可以达到其10-20倍。更关键的是,许多Agent根本不产生任何日志。

部分Agent平台默认生成完整的审计追踪,有些则不然。一个编码Agent在重放会话时可能会覆盖自身的日志,导致安全团队调查事件时发现记录已被擦除。“首先,确保日志存在就比人们想象的更困难,”Darley强调,“因为并非所有Agent都原生具备日志功能。”

Part 02 资产清点难题

在监控Agent行为之前,CISO面临着一个更基础的挑战:掌握现有Agent的清单。这个看似简单的任务实际上异常复杂。

在大型企业中,Agent的扩散速度远超中央清点能力。营销团队部署AI助手,HR部门使用Agent筛选简历,工程师运行具有广泛文件系统访问权限的编码Agent,非技术人员未经IT批准就将笔记、邮件管理和日程安排等AI生产力工具接入企业账户。

“董事会和CEO正在向CISO提出尖锐问题,”Sullivan说,“‘公司当前运行着哪些AI?它们正在执行什么操作?’必须回答这些问题。”Darley建议从结构化清点入手,最好使用专为Agent发现设计的工具,因为通用的应用管理系统常常无法识别藏在云端、代码库或第三方SaaS平台中的Agent。

“至少从一个系统开始,”她建议,“这将帮助你了解规模、明确责任人,并逐步认知你实际所需工具的类型。”没有资产清点,行为监控就失去了根基。安全团队可以监控已知Agent的日志,但被遗漏的Agent恰恰是最可能引发不良后果的。

Part 03 运行时监控实践

明确了Agent的分布后,问题转向监控什么以及如何监控。CrowdStrike首席技术官Elia Zaitsev表示,现有的终端检测与响应(EDR)工具已经能够捕获追踪AI Agent所需的行为类型。它们像飞行数据记录仪一样监控操作系统,记录每个运行的应用、访问的文件、建立的网络连接和触发的命令。

以CrowdStrike的EDR为例,它会构建威胁图谱——这是一个行为与其上游成因的关联地图。当出现可疑的网络连接时,威胁图谱可以追溯多级关联,定位到启动该链条的应用或Agent。“EDR技术能够将终端行为与一个源自Agent驱动应用的事实相关联,”Zaitsev解释,“防火墙可能只显示某台电脑正在与云端AI模型通信,而EDR能精确指出具体哪个应用在与特定模型对话。”

针对AI Agent,这创造了一个新的控制维度。一旦系统识别出一个已知的Agent应用(例如Claude Code、OpenAI的Codex、OpenHands),就可以对其实施不同于人工操作时的策略。“某些行为由人类执行时可能无害,”Zaitsev指出,“但如果由我不完全信任的AI Agent来执行,就可能需要动态调整策略。”

Part 04 构建时安全仍具关键价值

并非所有企业都直接采用现成的AI Agent,许多会自主构建这类系统。因此,运行时监控并不意味着构建时安全(代码扫描、部署前的模型评估和提示词检查)已经过时。Endor Labs首席执行官Varun Badhwar就反对这种观点。

“我从不否认运行时的重要性,”Badhwar告诉CSO,“但你希望尽早解决尽可能多的问题。运行时安全发现问题的平均成本是4,000美元,而在构建时发现并修复只需要40美元。显然,你希望在问题进入运行时之前就解决它们。”在开发阶段发现的漏洞可能只需几分钟修复,但若部署至容器、通过QA并推送到生产环境,解决成本将激增百倍。Badhwar用汽车生产线类比:装配线上的质量控制总比从街头召回7万辆汽车更经济。

他的框架很简单:左移防护,右设屏障。将尽可能多的安全控制移至开发过程——在Agent构建时而非运行时发现问题。然后以运行时监控作为最后防线,因为总有漏洞会漏网,而0Day漏洞本质上无法在构建时预判。

Part 05 CISO当前行动指南

对CISO而言,转变重点不在于采购某单一新工具,而在于重新思考AI风险的方式。安全团队不仅需要关注Agent是如何构建的,还需要掌握其在企业系统中运行时的行为表现。

因此,CISO的前进路径不是去采购新产品或替换现有基础设施,而是将安全规程系统性地延伸至企业内这类新型行为主体。Zaitsev用深度防御模型阐释:不能因为具备了运行时监控,就停止构建时防护,二者需要兼顾。“EDR和运行时安全是最后一道安全网,”他说,“你仍然需要所有其他的防护层。”

专家建议CISO可以从以下实践着手实施运行时安全:

首先,建立资产清单:选择一个主要SaaS平台、代码库或终端设备群,清点其中运行的Agent,明确责任人、权限和使用协议。没有可视性,一切都无从谈起。

其次,将行为监控延伸至Agent:通过EDR、专用Agent安全工具或其组合,建立一个正常行为的基准——每个Agent应该接触哪些系统?处理哪些数据?与谁通信?偏离基准即是一个预警信号。

第三,实施Agent专属策略:不要用管理员工的相同控制措施来管理Agent。它们具有不同的访问模式、风险特征和故障模式。支持Agent识别的工具能根据应用是否由AI驱动来差异化实施策略。

第四,预先设计事件响应方案:明确如何在不破坏证据的情况下制止一个异常Agent。行为日志需要存储在独立的、写保护的库中,而不是仅仅依赖可能被覆盖的Agent平台原生日志。

最后,规划AI驱动的解决方案:面对海量的监控需求,仅靠人力是无法应对的。安全团队需要自动化工具来监控以机器速度运行的系统。

参考来源
Runtime: The new frontier of AI agent security
https://www.csoonline.com/article/4145127/runtime-the-new-frontier-of-ai-agent-security.html


本文讨论的AI Agent安全管理是一个快速发展的领域,涉及技术与策略的深度融合。如果您对人工智能安全、企业安全监控体系搭建有更多想法,欢迎在云栈社区与广大开发者一同交流探讨。




上一篇:LAPSUS$黑客组织瞄准阿斯利康:云配置与药品供应链源代码面临泄露风险
下一篇:SCW Trust Agent 深度解析:如何实现AI代码贡献的可视化与软件风险量化控制
您需要登录后才可以回帖 登录 | 立即注册

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-3-25 04:42 , Processed in 0.696041 second(s), 40 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表