上个月，我们有幸邀请到了腾讯云CloudMate智能运维系统负责人兆祥进行在线分享。分享会上讨论了一个核心命题：在不断变化的生产环境中，如何构建一个能够适应未知故障的Agent系统？
随着大模型能力的提升，将AI融入开发运维场景已成定局。然而，运维场景具有高度的动态性：系统架构和代码逻辑都在不断变更。一个静态的Agent无论在部署时多么强大，随着时间推移，其预设知识库与实际环境的偏差必然会导致能力衰退。
面对这一挑战，当前的工程实践主要分为两个流派。
第一派是“自底向上”的知识工程流派。这一派试图通过精细化的知识管理来应对变化。工程师需要设计复杂的知识图谱，在每次版本发布时同步更新文档和规则。然而，这种方法面临着本质的扩容难题：随着系统组件的增加，知识维护的复杂度呈线性甚至指数级增长。文档格式的异构性、内容的冲突以及召回的准确率，都成为了限制Agent性能的瓶颈。
另一派则是“自顶向下”的端到端进化流派。这一派借鉴了GPT系列模型“从海量数据中涌现智能”的思路：不再依赖人工预设的规则，而是让系统在与环境的交互中直接学习。正如传统NLP中基于语法规则的方法被端到端训练取代一样，CloudMate选择了这条路径——不预设“怎么做”，而是基于结果反馈，让系统在不断的尝试中探索出最优解。
兆祥指出，要实现这种端到端的自进化，系统必须构建一个完整的闭环：评估筛选策略，变异生成路径，回测保障安全。三者缺一不可。
目前，CloudMate已部署上百个Agent实例，每周处理上万次故障分析请求。在本文中，我们将逐一拆解这三个模块在CloudMate中的实现，看看它们如何协同工作，形成一个持续进化的完整系统。
评估：定义能力的边界
在开放的运维环境中，评估Agent的表现远比评估传统NLP任务复杂。Anthropic在2025年的博客中曾指出，Agent评估面临三大挑战：输出的非确定性、任务定义的歧义性以及执行环境的副作用。如果评估不准，很难维护Agent系统的长期质量。
CloudMate为此构建了一套客观指标与主观逻辑并行的双轨评估体系，旨在从探索中挑选出成功的轨迹并进行内化。
1. 客观指标：效率与结果的量化
这是评估的基础层，主要关注执行层面的统计数据：
- 任务完成率：是否在规定时间内输出了明确的结论？
- 工具调用效率：是否存在重复调用、无效参数或死循环？
- 端到端耗时：从告警触发到给出根因的时间消耗。
2. 主观逻辑：基于证据链的推理审查
这是CloudMate评估体系的核心创新。在运维诊断中，结论正确并不代表过程正确（比如Agent可能“猜”中根因）。因此，CloudMate引入了高阶大模型作为“裁判”，对Agent的推理过程进行审计。
核心审查维度包括：
- 证据完备性：Agent做出的每一个推断，是否都有明确的观测数据作为支撑？
- 逻辑自洽性：推理步骤之间是否存在因果断裂？
- 意图理解：Agent是否正确理解了用户的模糊指令？
通过这种双轨评分，系统能够精准地筛选出那些“低分案例”。这些案例是系统进化的“种子”，直接触发下一阶段的变异流程。
变异：生成高质量候选轨迹
当评估模块锁定了“待修复”的故障案例后，CloudMate启动变异流程。由于Agent的探索运行时间长且成本较高，完全无先验的随机探索不仅耗费巨大且效果不佳。因此在CloudMate中，“变异”并不只是随机游走，而是有方向地在未知解空间中寻找最优策略。在这一步中，系统主要采用了结合外部知识增强的并行探索和专家引导两种互补的路径生成策略。
1. 并行探索：基于算力与外部知识的定向寻优
对于大多数可定义状态的故障，CloudMate采用大规模并行采样策略。系统在沙箱环境中并发启动多个Agent实例。为了扩展搜索空间，系统一方面会调整大模型的生成随机性参数或更换底层模型；另一方面，则是引入海量的外部知识库进行定向检索。
软件的运行逻辑最终沉淀在工程资产中。当Agent缺乏排查思路时，系统会驱动不同的Agent实例向外拓展，主动搜索海量的项目代码库、由代码自动生成的系统设计说明以及项目专属的文档库。这意味着未知的排查策略被转化为了对已知确定性文档的检索应用。
以“数据库连接池耗尽”场景为例，传统的单一Agent可能陷入“检查配置 -> 建议扩容”的局部最优解。而在结合了外部知识的并行探索模式下，系统会生成多条差异化路径：
- 路径A：聚焦资源配置，建议增加最大连接数配置。（评估：失败，治标不治本）
- 路径B：检索近期的代码提交记录，发现某次代码变更修改了特定API的连接释放逻辑，导致调用延迟极高。（评估：存疑）
- 路径C：检索团队的数据库运维规范文档，结合查询慢查询日志，发现某条SQL缺少规范要求的索引导致连接堆积。（评估：成功，定位根因）
通过引入外部代码与文档作为补充，极大地收敛了无效的随机尝试。稳定的评估能力，加上由外部知识库提供的高质量探索依据，使得系统能够有效捕获常规手段难以生成的正确排查路径。
2. 专家引导：行为克隆 + 反向推理
另一方面，对于一些难以处理的复杂故障，单纯的随机探索效率极低。此时，CloudMate引入人机协同机制。当人类专家介入处理时，系统会在后台记录其完整的操作序列——查看了哪些监控面板、执行了哪些grep命令。这些高置信度的轨迹是Agent学习的最佳样本。
系统将专家的操作记录作为提示输入给Agent，要求其生成：“为什么专家在这一步选择了查询慢日志？”通过这种反向推理，Agent能够将人类的隐性直觉显性化，转化为可执行的逻辑链条。
3. 知识收敛：差异分析与规则提取
单纯的成功路径只是个例，必须泛化为通用知识。系统引入一个独立的审核模型，对比“原失败路径”与“新成功路径”的差异，并将关键差异点（如“必须检查慢日志”）蒸馏为结构化的知识规则，等待并入主库。
至此，一个未知的故障案例被转化为了一条新增的知识补丁。然而，这条新生成的规则虽然在当前案例中有效，是否会对其他场景产生副作用仍是未知数。为了防止新知识的引入导致旧能力的退化，这条规则必须在并入主库前接受系统的沙箱回测。
回测：自动化验证知识增量
变异产生的新知识在并入主库前，本质上是一个局部最优解，仅针对当前故障有效。为了确保该知识具有泛化能力，且不破坏系统原有的能力结构，必须经历完整的回归测试流程。
回测模块的核心职能是质量把关：防止Agent为了解决新问题A，导致旧问题B的处理能力退化，从而保证知识库的每一次迭代都是正向的。
全量回归与能力防退化
CloudMate建立了一套类似于软件工程持续集成的自动化流水线。核心组件是基准案例库，其中存储了大量历史已解决的典型故障案例。
每次变异模块提交“知识更新请求”时，系统会自动触发全量回归：
- 加载新知识：Agent实例加载包含新规则的知识库。
- 基准测试：Agent必须重新运行基准库中的所有历史案例。
- 判定逻辑：系统对比新旧版本的通过率。如果新规则导致任何一个历史案例的成功率下降，该更新将被立即驳回，并退回变异模块进行修正。
这一机制确保了系统能力的持续积累且不倒退。它让运维系统的进化脱离了对人工审核的依赖，通过确定性的自动化测试，保证了Agent行为的全局稳定性。
工程挑战：环境解耦与快照仿真
在运维领域实施上述回归测试，面临着比代码测试更严峻的挑战：数据的时效性与环境的动态性。
去年的故障案例，依赖的是当时的日志、指标和网络拓扑。而现网环境是实时变化的，直接重跑历史案例，Agent会请求当前的监控系统，导致数据不一致，产生大量的误报。
为了解决这一问题，CloudMate构建了一套基于快照的沙箱仿真架构：
- 数据快照：在基准案例被录入时，系统不仅记录Agent的对话逻辑，还利用中间层协议，捕获了所有工具调用的原始返回数据。
- 沙箱隔离：在回测执行时，Agent被隔离在封闭的沙箱环境中。Agent发出的所有查询请求会被系统拦截。
- 模拟回放：系统不访问实时监控，而是直接从快照中读取当时的JSON数据返回给Agent。
通过这种方式，系统成功实现了测试执行与时间维度的解耦。Agent能够在一个被冻结的“历史切片”中进行推理，确保了基准测试的可重复性与客观性。
构建确定性的进化闭环
至此，CloudMate构建了一个完整的自进化实体。评估、变异、回测三个模块构成了一个首尾相接的工程闭环，确保持续集成的稳定性。
- 评估模块提供验收标准，为变异产生的候选解法提供筛选依据。
- 变异模块提供候选解，利用并行探索或专家路径分析在解空间中进行有向搜索。
- 回测模块则提供边界约束，通过沙箱环境下的全量回归，对候选知识进行严格的逻辑验证，解决了“改进是否安全”的问题。
局限性和挑战
尽管CloudMate构建了理论上的自进化闭环，但在实际落地过程中，系统仍面临着算力成本、数据依赖与复杂性理论等多维度的挑战。作为早期尝试，CloudMate目前在以下几个方面仍存在显著的局限性：
- 探索机制的依赖偏差：目前，复杂知识的内化仍高度依赖于专家经验。并行探索在处理疑难杂症时更多作为线索辅助，高质量排查轨迹的生成仍需人机协同来完成。未来如何提升机器在海量外部知识中的自主推理与收敛能力，是亟待突破的方向。
- 冷启动与基准构建成本：系统的安全性依赖于回测，而回测的有效性依赖于一个高质量的基准案例库。案例库的维护是成本最高的环节，每一个案例都需要专家进行清洗、标注和确认，目前仍未实现完全自动化。
- 沙箱快照的完备性与时序性挑战：快照依赖历史运行记录或大模型预测来收集数据。当进化后的Agent调用未被预测到的接口时，沙箱可能无法提供有效数据，增加了回测的不确定性。同时，部分运维数据缺乏时间维度，根本解决途径仍依赖于底层数据治理。
- 知识库的长期收敛性：随着自动生成的规则不断累积，知识库内部可能出现逻辑冲突、规则冗余或过拟合现象，导致新知识难以通过回测，系统是否能在长期自动化下保持知识库一致性，仍是一个开放性问题。
结语：E2E与工程治理的边界
CloudMate的实践揭示了一个被长期忽视的视角：AI Agent的核心竞争力不仅在于部署时的静态能力上限，也在于其运行后的进化速率。软件系统是在持续迭代的。一个无法随被运维对象共同进化的Agent，在生产环境下是难以持续的。
然而，我们必须清醒地认识到，这种端到端的自进化机制并非运维领域的“银弹”。E2E模式并未消除复杂性本身，而是将其转移到了新的维度——如何构建高保真的仿真环境、如何设计低成本的评估函数、以及如何收敛自动生成的知识熵增。
对于静态、强规则、低容错的场景，传统的、基于确定性代码的治理体系依然是不可替代的基石。而对于动态、模糊、高维度的场景（如微服务故障定位），自进化Agent提供了一种突破瓶颈的可能。
未来的运维体系，不会是纯粹的人为设计或纯粹的Agent自治，而是两者的有机融合。在这个过程中，探索E2E能力的上限与工程治理的底线，将是整个行业需要共同面对的长期课题。
整理自Agent管理学论坛第10期：自进化的Agent运维系统-腾讯云CloudMate
对这类结合大模型与运维实践的深度技术讨论感兴趣？欢迎在云栈社区的技术论坛板块与更多同行交流，共同探讨智能运维的演进方向。
发表于 7 天前
|
查看: 27|
回复: 0
