找回密码
立即注册
搜索
热搜: Java Python Linux Go
发回帖 发新帖

4631

积分

0

好友

635

主题
发表于 3 天前 | 查看: 18| 回复: 0

一篇名为《Memory in the Age of AI Agents》的论文近期引发了AI社区的广泛讨论,它由斯坦福、复旦和牛津等顶尖研究团队联合发布,首次为“AI智能体记忆”这个混乱的领域,搭建了一个统一的理论框架。

如果你正在开发或研究 AI Agent,很可能遇到过下面这些让人头疼的问题:

  • 到底什么才算“短期记忆”?保存一小时算短,还是一天算短?
  • 存放在向量数据库里已经三年的用户画像,究竟该归类为短期记忆还是长期记忆?
  • 市面上有Mem0、Letta、Zep、MemoryScope……这么多开源记忆框架,究竟该怎么选?
  • OpenAI的记忆功能、亚马逊的Agentic AI,还有各家创业公司的方案,为什么对“记忆”的定义和实现方式五花八门?

这篇论文及其配套的长篇实践指南,试图从根儿上解答这些困惑,为开发者提供清晰的导航。

告别“短期/长期”的伪分类陷阱

在这篇论文出现之前,整个AI记忆系统的概念是相当模糊的。开发者们普遍借用心理学中的“短期记忆”和“长期记忆”来分类,这个说法听起来直观,但实际用起来却漏洞百出。

举个例子,ChatGPT保存的聊天历史,算短期还是长期?一个保存了三年之久的用户个性化画像呢?更有意思的是,当你把一段所谓的“短期记忆”存进向量数据库并设定为永久保存,它是不是瞬间就“升级”成了长期记忆?

这种传统分类法的根本缺陷在于,它仅仅关注了时间这一个维度,却完全忽略了记忆的本质——即它的存储形式、认知功能和动态生命周期。

这篇论文的价值,恰恰在于跳出了时间维度的局限,提出了一个更本质的三维坐标系来审视记忆系统。

📐 三维记忆框架

1. 形式维度:记忆以什么形式存在?

这是指记忆的物理或逻辑载体。

  • Token级记忆:就像写在笔记本上的字,清晰可读、可修改。典型的例子包括向量数据库、知识图谱里存储的内容。
  • 参数级记忆:类似于技能被“学进脑子里”,变得抽象、泛化,但更新起来很慢。大模型的微调和持续学习就是这种形式。
  • 潜空间记忆:一种机器处理效率极高,但人类无法直接解读的形式。例如大模型推理时的KV缓存、网络中的隐藏状态。

2. 功能维度:为什么要存这些记忆?

这是指记忆在智能体认知过程中扮演的角色。

  • 事实记忆:用于保持一致性,让智能体“知道什么”。比如用户的姓名、偏好、产品信息等静态知识。
  • 经验记忆:用于自我改进,让智能体“学会什么”。包括过去的成功案例、失败教训、操作轨迹等。
  • 工作记忆:服务于当前任务,反映智能体“正在想什么”。比如即时的对话上下文、任务分解的中间状态。

3. 动态维度:记忆如何形成、演化、检索?

这描述了记忆的完整生命周期过程。

  • 形成:如何从原始信息中提炼出记忆?方法包括语义摘要、知识蒸馏、结构化构建等。
  • 演化:记忆如何整合、更新,以及如何被合理地遗忘(一个好的记忆系统必须懂得“忘记”)。
  • 检索:如何在需要时找到相关记忆?技术涉及向量搜索、图谱查询、混合检索等。

这三个维度就像给记忆系统拍了一张三维立体的“CT扫描”,从存储载体、认知角色到生命周期,完整地刻画了一个记忆系统的全貌,远比简单的“长短”二分法要深刻和实用。

大厂在实战中验证的记忆架构

论文回答了记忆“是什么”的理论问题,而大厂们早已在实战中探索出了“怎么做”的工程答案。根据相关研究资料,我们可以一窥顶级企业在记忆工程上的实践思路。

🏢 亚马逊:五步循环的黄金法则

亚马逊在构建其Agentic AI基础设施时,提出了一套 “检索-增强-处理-提取-更新”五步循环,堪称Token级记忆的最佳实践模板:

  1. 检索:从Bedrock知识库等存储中调用与当前任务相关的记忆。
  2. 增强:用检索到的记忆信息来丰富和扩展Agent的决策上下文。
  3. 处理:Agent基于增强后的上下文信息执行具体任务。
  4. 提取:从本次任务的执行轨迹或结果中,提炼出新的、有价值的知识点。
  5. 更新:将新提取的知识写回记忆库,完成学习闭环。

这套架构清晰地体现了三维框架中“动态维度”的思想。更有趣的是,亚马逊在实践中将事实记忆(如产品信息、用户资料)和经验记忆(如执行轨迹数据库)进行了分层存储,并用工作记忆(会话上下文)作为临时缓冲——这正是“功能维度”理念在工程上的精准落地。

💻 微软:从“记住”到“学会”的参数化

微软为Copilot设计的记忆策略更为激进:它不满足于仅仅记录用户行为,而是追求通过直接微调模型,将记忆“内化”

传统的方案可能会记录“用户总是要求生成带注释的代码”这条行为规则。但Copilot的思路是,通过参数级记忆让模型“天生”就更擅长生成带注释的代码。这种做法大幅减少了运行时的检索开销,提升了响应速度,但代价是牺牲了部分可解释性——你很难追溯Copilot给出某个回答的具体记忆来源。

这其实就是“参数级的经验记忆”——将高频、重复的操作模式内化为模型的“本能”或“肌肉记忆”。论文在讨论参数级记忆时警告过“灾难性遗忘”的风险,即学习新知识可能会覆盖旧知识。微软的工程实践中,很可能采用了像 LoRA适配器 这样的技术,在不变动核心模型权重的情况下添加专项能力,以缓解这一问题。

🧠 谷歌DeepMind:让AI自主决策的记忆策略

Google DeepMind的 ReMem框架,展现了参数级记忆的另一种高阶玩法:通过强化学习来优化记忆的保留与检索策略,让智能体自己决定该记住什么、忘记什么、以及在何时去回忆

ReMem框架通过强化学习,将历史经验“蒸馏”到模型的权重中,使知识真正内化为“本能”。更关键的是,它采用了增量学习和经验回放机制,有效对抗了“灾难性遗忘”这个顽疾。这代表着一种方向:记忆系统正在向更自主、更智能的方向进化。

🔬 阿里达摩院:动态演化的仿生记忆

阿里开源的 MemoryScope框架 则借鉴了人类的记忆模型,设计了一个四层仿生架构(感觉记忆、工作记忆、短期记忆、长期记忆)。

其最精妙的设计在于“记忆巩固”机制:

  • 当短期记忆中的某条信息被频繁访问和使用时,它就会被“强化”并转移到长期记忆区。
  • 反之,长期记忆中那些长时间未被触及的记忆,会先被“弱化”降级到短期记忆区,如果继续不被需要,最终将被遗忘。

这种根据使用频率动态调整记忆“强度”和位置的设计,与三维框架中提到的“基于访问频率的遗忘算法”思想高度吻合。它再次印证了一个核心观点:一个优秀的记忆系统,不仅要善于记忆,更要懂得如何优雅地遗忘。

AI智能体记忆工程三维框架示意图

这个由学术界提出、被工业界不断验证的三维记忆框架,为我们理解和设计AI Agent系统提供了强大的透镜。无论是构建基于 RAG 的应用,还是探索更前沿的自主智能体,理清记忆的形式、功能与动态过程,都是迈向更强大、更可靠人工智能的关键一步。对这类Transformer大模型底层技术与上层应用生态的持续关注与探讨,也是技术社区活力的体现。在云栈社区的人工智能板块,开发者们经常就相关主题进行深入的交流与碰撞。




上一篇:大模型量化实战:从一键量化到AISBench评测全流程解析
下一篇:实战指南:4种方案手把手实现大模型RAG知识库(附LangChain代码)
您需要登录后才可以回帖 登录 | 立即注册

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-4-7 19:48 , Processed in 1.073879 second(s), 42 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表