第 6 章 智能体记忆与多模态设计
让智能体记住用户、看懂世界——记忆与多模态能力。本章厘清变量/数据库/记忆库的区别，以及记忆与知识的边界，并认识多模态智能体。
第一部分 课程导学
导语 · 本章定位一个不会"记住你"的智能体，每次都从零开始，体验割裂。本章讲清三种记忆工具（变量/数据库/记忆库）的分工，并用认知科学与知识组织理论（分类法、叙词表、本体、图谱）为"记忆 vs 知识"提供学理支撑——这正是信息资源管理专业的"老本行"。
三维学习目标理解短期与长期记忆；区分变量/数据库/记忆库；了解多模态能力。
能用变量/数据库实现个性化；能创建图片/音频类能力；理解记忆与知识的区别。
强化数据生命周期管理思维；重视用户隐私与安全；培养媒体融合工程思维。
理论基石 · 信息系统分析与设计
理论 · 记忆 vs 知识（认知视角）人类：感官记忆（瞬时）→ 短时记忆（工作记忆、容量有限）→ 长时记忆（语义/情节/程序）；智能体：上下文窗口（瞬时）→ 短期记忆（会话内历史）→ 长期记忆（跨会话，借向量库持久化）。
理论 · 知识组织与分类理论分类法 Taxonomy（等级体系）、叙词表 Thesaurus（规范词、用/代/属/分/参关系）、本体 Ontology（概念/关系/公理形式化，OWL）、知识图谱（实体—关系网络，支持推理）。
理论 · 多模态信息组织多媒体特征（文本/图像/音频/视频及其元数据）；跨模态表示学习（映射到统一语义空间）；元数据与标注标准（Dublin Core、Schema.org）；信息资源管理视角下的采集、描述、组织与保存。
理论 ↔ 智能体能力 映射原版 ch17 的大数据 4V、HDFS/MapReduce、Lambda/Kappa 架构、CRISP-DM 数据挖掘标准流程，为智能体的多模态数据底座与评测提供方法论。把"业务问题到 ML 问题到特征到评测"的 CRISP-DM 范式直接套用到 Agent 优化。详见 附录 H.9。
课程思政 · 价值引领
前沿动态 · 行业速递（2026-08）1 持久“记忆图”（memory graph，如 Neo4j）：多轮任务成功率由 65% 跃升至 92%，无需模型微调即可“学习”。
2 生产级记忆框架涌现：Mem0（多层记忆、p95 延迟 1.44s）、MemGPT / Letta（虚拟内存式自管理）、Cognee（知识图谱记忆）。
3 多模态联合嵌入检索（文本 / 图像 / 视频）：跨模态故障诊断准确率提升 42%。
来源：CSDN Agent 记忆系统专栏、kwkr 四层架构、yonbaos 记忆图 2026
本章映射：记忆与知识组织（分类法、本体、图谱、元数据）是慢功夫、真功夫。今天沉淀的每一条规范元数据，都会成为智能体未来"滔滔不绝"的源头；把平凡事做扎实，系统才有不平凡的底气。
名校范式 · 清华课程思政案例记忆与多模态里的偏见：透明度、公平性、隐私保护
- 韩燕霞《高职教师人工智能伦理的时代逻辑》基于联合国教科文组织、欧盟等 5 个国际文件比较，指出透明度、公平性、隐私保护是 AI 伦理素养的基本维度。
- 智能体的"记忆"若只记住部分群体、"多模态"若带刻板印象，就会放大偏见。
案例导入 · 达医智影·平扫CT 一扫多筛
案例 B4-06 达医智影-基于平扫CT 的“一扫多筛”医疗AI 平台
申报单位：阿里巴巴达摩院
本项目构建了基于平扫CT+AI 的多病种一站式智能筛查平台，针对胰腺癌、胃癌、结直肠癌等恶性肿瘤起病隐匿、早期发现难、传统血清学或内镜筛查因成本高、依从性差，难以大规模普及等核心痛点，我们提出"平扫CT，一扫多筛"技术范式。该系统以人工智能算法为核心，通过对海量多模态医学数据的训练，实现仅凭一次平扫CT，即同步完成多种高发癌症（胰腺、胃、肝、食管、结直肠）及急慢病（急性主动脉综合征、脂肪肝、骨质疏松等）的风险评估。相关成果发表于《Nature Medicine》等权威期刊，并获美国FDA"突破性医疗器械"认定及中国 NMPA 创新通道资格。
导学解读 · 与本章的对接：请把“平扫 CT，一扫多筛”理解为一次典型的多模态信息处理：设备输出的是影像（视觉模态），医生需要的是文字结论（语言模态），连接二者的是在海量多模态医学数据上训练出的模型。本章讲多模态智能体，核心命题正是模态之间的转换与对齐。另一个容易被忽略的看点是部署策略：模型对不同品牌、不同年代的 CT 设备都具备泛化兼容性，基层与县级医院占比超过 40%，无需更换硬件即可部署。它提醒我们，多模态系统的成败往往不在模型精度，而在输入侧的异构适配。这与本章“记忆”主题也相通——只有当跨机构、跨时间的检查结果能被统一理解，个体的健康记忆才真正连续。
第二部分 课程内容
6.1 记忆的三大工具
| 工具 | 作用 | 典型场景 |
|---|---|---|
| 变量 | 用户变量键值对持久化（最多 10 个、仅 String），可"提示词访问"引用 {{name}} | 昵称、进度 |
| 数据库 | 创建数据表、NL2SQL 自然语言增删改查结构化业务数据 | 订单台账 |
| 记忆库 | 开启后自动从对话提取并沉淀用户画像，跨轮调用 | 长期偏好 |
协同示例：变量记对话 ID + 数据库查历史订单 + 记忆库感知偏好 = 贴心且精准的服务。
6.2 记忆能力 vs 知识能力
记忆：用户使用中产生的动态数据，随使用积累、每个用户不同，提供连贯个性化体验（如偏好、历史查询）。知识：开发者预先提供的静态数据，所有用户共享，提供专业准确领域知识（如手册、国标）。二者互补而非替代。
6.3 多模态智能体能力
- 图像类：视觉理解、文生图、图像处理与画板排版（抠图/滤镜/海报）。
- 音频类：语音识别、语音合成/播客、音视频通话、音乐生成。
- 视频类：视频理解、抽帧提取、生成与剪辑合成。
- 能力由"官方/第三方插件" + "豆包等多模态大模型"共同支撑，工作流节点图形化集成。
6.4 知识库赋能：表达与洞察提示词
KB《金字塔表达引擎》（结论先行、归类分组）、《费曼式深问器》（纵向到底检验真懂）、《类比嫁接器》（反差类比产生洞见）、《认知升维器》《知识化学反应器》（碎片炼成新观点）——提升智能体回复质量与文案深度。
6.5 记忆 vs 知识：怎么选
三条判据：① 数据是谁产生的（用户动态→记忆；开发者预置→知识）；② 是否每个用户不同（个性化强→记忆；共享→知识）；③ 是否需长期沉淀画像（偏好→记忆库；领域事实→知识库）。选用建议：个性化问候/进度→变量；业务台账→数据库；用户偏好→记忆库。
第三部分 拓展练习
知识拓展与前沿
拓展 · 短期记忆 vs 长期记忆短期：存储即时信息（历史对话/中间结果），支撑当前决策，随会话结束清空，受上下文窗口限制。长期：跨会话积累，支撑个性化与能力提升，可将"经验/错误"编码入记忆，常借向量库持久化。
前沿 · 2025 智能体记忆架构分水岭趋势：从"上下文"走向"连续性"——记忆成为 Agent 核心竞争力；关键能力含写入/检索/遗忘策略、情景与语义记忆分层；反思+记忆实现持续自我改进；多模态记忆统一存取。记忆+反思 = 从"一次性执行"走向"持续学习"。
🗂️ 案例 · "流行语知识图谱"
- 🎯 场景：给每个流行语打"年代/情感/来源平台"标签，构建流行语知识图谱。节点=词/年份/平台，边=同义/演化/共现。
- 🧩 知识组织落点：实体"流行语"={词, 年份, 来源, 情感极性, 语义标签}；关系=同义（蓝瘦香菇≈难受想哭）、演化（打工人→班味）、反义。
- 🧠 记忆机制：知识图谱即智能体的"长期记忆"——新词进来先匹配已有节点再建边，对应本章记忆模块。
📌 智能体记忆与多模态 · 核心术语
- 嵌入 Embedding
- 向量数据库
- 长期记忆
- 多模态
- 记忆库
以下文献反映本章主题在智能体时代的最新进展，供学有余力的同学延伸阅读（链接指向原文/预印本）。
- 基于 LLM 的智能体记忆机制综述（A Survey on the Memory Mechanism of LLM based Agents）
记忆机制系统综述
- A-MEM：面向 LLM 智能体的智能体式记忆（A-MEM: Agentic Memory for LLM Agents）
Zettelkasten 式动态链接记忆，支持记忆演化
- MIRIX：多模态智能体记忆系统（MIRIX: A Multimodal Agentic Memory System）
六类记忆+多智能体+多模态
- M3-Agent：具备长期记忆的多模态智能体（M3-Agent: A Multimodal Agent with Long-Term Memory）
实体中心多模态长期记忆+强化学习
- AUGUSTUS：具备情境化用户记忆的多模态智能体系统（AUGUSTUS: An LLM-Driven Multimodal Agent System with Contextualized User Memory）
图结构多模态情境记忆
- AI 新时代面向文化遗产活化利用的智慧数据生成路径探析
从元数据到智慧数据的生成链路，对应本章知识组织与记忆
- 基于开源科技项目数据的多模态知识图谱构建研究
多模态知识组织方法，呼应智能体长期记忆与多模态记忆
- 知识图谱驱动的图书馆智能知识组织
以图谱支撑语义增强与智能服务，对应本章知识组织方法
核心理念：同时用「语言 + 图像」两种通道编码，记忆留存显著提升；做多模态智能体时尤其要善用图文双通道。
四步/要点：① 概念配图关键概念都配一张示意图 ② 图讲配文用图讲解，再补文字说明 ③ 图文混合输出让智能体同时产出图与文 ④ 图文互译复习复习时图文互相转译巩固
与录屏结合：录屏讲解记忆机制时，边画示意图边口述，演示双重编码如何帮「小白」秒懂。
知识巩固与提高
上机实验 · 加入记忆与多模态能力
📋 实验任务书
目标：让你的智能体"记住用户"并具备一种多模态能力。
环境：扣子 Coze（变量/记忆库/多模态插件）。
步骤：① 建用户变量实现个性化问候；② 开记忆库沉淀偏好；③ 扩展图像或音频能力；④ 用 KB 表达引擎优化回复结构并对比。
交付物：变量/记忆库配置截图 + 多模态演示 + 回复结构优化前后对比说明。
评分点：记忆配置(30%) · 多模态实现(30%) · 回复优化(25%) · 隐私说明(15%)。
🛠 分步操作 · 为项目加入记忆与多模态能力
动手 · 分步操作- 在 Coze 创建用户变量（如 name/progress），实现个性化问候与进度跟踪。
- 配置记忆库，让智能体主动记录用户偏好并在后续对话中运用。
- 为项目扩展一个图像或音频能力：图片理解/文生图，或开启语音通话。
- 用 KB《金字塔表达引擎》优化回复结构，对比优化前后。
📝 记忆/知识选型决策树
数据随用户动态产生？ → 是：记忆（变量/记忆库）；否：知识库。
需跨会话沉淀偏好？ → 是：记忆库；结构化业务台账？ → 数据库；临时个性化 → 变量。
🔬 扩展实验（选做 2–3 项，巩固本章学法）
扩展实验 1 · 记忆图谱记忆
任务：为智能体设计一张「对话记忆图」(短期/长期/用户画像)。
交付：录屏讲清「记忆如何影响连续对话」，演示跨轮记忆。
扩展实验 2 · 多模态检索多模态
任务：让智能体同时检索文本与图片，对比回答丰富度。
交付：录屏总结「何时该上多模态」。
扩展实验 3 · 变量 vs 记忆库存储
任务：对比「应用变量(临时)」与「记忆库(长期)」的适用场景。
交付：费曼式总结选型原则，录屏演示。
🎮 课堂互动小游戏 · 边玩边学
第四部分 本章小结
本章小结
核心要点回顾
- 记忆三工具：变量(记事簿)/数据库(共享表)/记忆库(长期)。
- 记忆=动态个性化；知识=静态专业，二者互补。
- 多模态：图像/音频/视频，插件+模型共同支撑。
- KB 表达与洞察提示词提升回复质量。
- 隐私与安全是记忆能力的底线。
- 下一章：复杂工作流与多智能体系统。
延伸阅读：ima 知识库《智能体宇宙》"短期记忆 vs 长期记忆"；认知科学与知识组织（分类法/叙词表/本体/图谱）相关教材；2025 记忆架构分水岭报告。
拓展案例 · 爱康 iKKie 健康管家
案例 B4-05 爱康iKKie
申报单位：天津爱康未来互联网医院有限公司
“爱康iKKie”是爱康于2023 年推出的首个AI 健康管家，可为客户提供覆盖检前定制、检中辅助、检后管理的全链路智能化服务体系。检前，可根据用户历史健康数据、家族遗传史、生活方式，精准匹配与生成筛查项目与体检套餐方案，从而真正实现“千人千面”个性化体检；检中，可实现智能导检，帮助用户知晓体检进度与时长、获取精准导检方案、实时查看体检结果等；检后，可进行体检报告专业解读、日常健康咨询、膳食营养分析等。2026 年2 月，爱康携手华为云达成技术协作，爱康iKKie 新增AI 测肤功能，并将相继上线智慧问诊、拍药搜药等功能入口，不断丰富服务场景，致力打造“全民私人健康管家”。
看点：iKKie 覆盖检前、检中、检后全链路，是观察“记忆如何支撑连续服务”的最佳样本：没有历年报告与历史问答的累积，个性化体检方案与检后干预都无从谈起。
延伸思考题
- iKKie 的服务覆盖检前定制、检中辅助、检后管理。请指出其中哪些环节依赖长期记忆、哪些只依赖短期上下文，并说明若记忆丢失会造成怎样的体验断裂。
- 案例以“大模型 + 医疗知识库”双引擎和“专家规则 + AI 推理”双重校验来规避幻觉。请结合本章的记忆与检索机制，设计一套记忆的写入与淘汰策略（何时记、记什么、何时忘）。
- iKKie 通过 OCR 与视觉语言模型解析第三方体检报告。请以“多模态输入治理”为主题，列出三项数据质量风险及对应处理办法。
-
Packer et al.《MemGPT: Towards LLMs as Operating Systems》
虚拟上下文管理+分层记忆，第6章“记忆机制”的学术原点