找回密码
立即注册
搜索
热搜: Java Python Linux Go
发回帖 发新帖

4126

积分

0

好友

541

主题
发表于 2 小时前 | 查看: 3| 回复: 0

微软(Microsoft)标志

微软近期正式开源了 Agent Governance Toolkit 项目。这款工具包的核心目标,是为那些准备将 AI Agent 投入实际生产工作流的企业,提供一个对 Agent 执行过程进行监控与管理的运行时治理框架。项目的设计直接对标了 OWASP(开放全球应用安全项目)最新发布的十大Agentic AI威胁清单,旨在重点防范提示词注入、恶意 Agent 及工具滥用等运行时风险。

应对分布式AI环境的安全挑战

微软首席工程经理 Imran Siddique 在其官方博客中阐述了该项目的设计初衷。随着 AI 系统日益复杂,多个自主决策的 AI Agent 在共享资源、与外部服务交互时,其架构愈发类似于一个缺乏有效监管的分布式环境。

Siddique 表示,这个开源工具包旨在为此类环境新增一个运行时安全层。它通过策略执行来主动缓解提示词注入等风险,并提升开发者和运维人员对复杂多步骤工作流中 Agent 行为的可视性。

为了构建这套机制,微软的团队借鉴了操作系统、服务网格和站点可靠性工程(SRE)中已经非常成熟的设计模式,其目标是为 AI Agent 环境引入结构化的隔离与控制。最终成型的工具包包含了七大核心组件,并提供了对 Python、TypeScript、Rust、Go 和 .NET 等多种编程语言的支持。

覆盖OWASP定义的十大核心风险

该工具包的功能设计专门针对 OWASP 定义的 Agentic 系统十大安全风险,为每一项都提供了相应的治理或缓解策略。这些风险包括:

  • 目标劫持
  • 工具滥用
  • 身份冒用
  • 供应链风险
  • 代码执行漏洞
  • 记忆污染
  • 不安全通信
  • 级联故障
  • 人机信任滥用
  • 恶意 Agent

为了实现对这些风险的管控,工具包的核心组件包括:

  • Agent OS:策略执行层
  • Agent Mesh:安全通信与身份框架
  • Agent Runtime:执行控制环境
  • Agent SRE:可靠性保障模块
  • Agent Compliance:合规性管理
  • Agent Lightning:强化学习监督系统

无缝集成现有AI开发生态

Imran Siddique 特别强调了该工具包的集成友好性:“我们从项目第一天就坚持框架无关的设计理念。每一个集成点都设计为对接各平台的原生扩展接口——无论是 LangChain 的回调处理器、CrewAI 的任务装饰器、Google ADK 的插件系统,还是微软自家 Agent Framework 的中间件管道。开发者为其 AI 应用添加治理功能时,无需重写核心的 Agent 业务代码。”

这种低侵入性的设计能显著降低企业将治理功能集成到现有生产系统的成本与风险。目前,已有基于 LlamaIndex 的 TrustedAgentWorker 等集成方案在实际生产环境中得到应用。

该工具包目前以 MIT 许可证在 GitHub 上开放公测,采用了可独立安装的模块化架构。微软方面表示,计划在未来将该开源项目移交至中立的基金会进行管理,并正在与 OWASP Agentic AI 社区积极合作,共同推进相关治理标准的建设。

参考来源:
Microsoft’s new Agent Governance Toolkit targets top OWASP risks for AI agents
https://www.csoonline.com/article/4155594/microsofts-new-agent-governance-toolkit-targets-top-owasp-risks-for-ai-agents-2.html

随着 AI Agent 逐渐从演示走向真实业务场景,其安全与治理已成为无法回避的议题。微软此次开源的治理工具包,为开发者提供了一个可落地的起点。如果你对这类 AI 安全与治理的话题感兴趣,欢迎来 云栈社区 的人工智能板块继续探讨。




上一篇:Claude Mythos预览版发布:AI模型实现0Day漏洞自主发现与利用
下一篇:官方认证!Anthropic推出13门免费Claude AI课程,涵盖从入门到开发
您需要登录后才可以回帖 登录 | 立即注册

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-4-10 09:27 , Processed in 0.686813 second(s), 39 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表