在构建基于大型语言模型（LLM）的应用时，多轮对话中的记忆（Memory）功能已从“锦上添花”变成了“核心体验”。然而，许多团队在实践中并未对记忆的准确性进行严肃测试。
想象一下这样的场景：用户正在与AI客服机器人交流订单信息，突然机器人连续三次询问同一个订单号。原因可能是LangChain的ConversationBufferMemory在某个轮次中默默地丢失了上下文，导致LLM完全“失忆”。如果这类记忆丢失能在持续集成（CI）环节被自动捕获，我们就能避免这类严重的用户体验问题。
解决记忆测试难题
LangChain提供了多种记忆实现，如ConversationBufferMemory、ConversationSummaryMemory、VectorStoreRetrieveMemory等。然而，绝大多数项目对这些记忆模块的测试都过于依赖手动操作。通常，团队会在本地启动一个链，通过Postman或CLI进行几轮交互，然后凭肉眼确认“嗯，它记住我刚才说的话了”，随后便合并代码。这种手动测试方法存在三大致命缺陷：
- 路径覆盖率极低：手动测试往往只关注“快乐路径”（happy path）。像触及token限制、摘要记忆触发时机、消息交错等分支条件几乎完全靠猜测，难以覆盖。
- 缺乏回归保护：未来如果调整了Prompt或切换了模型，记忆逻辑可能会被意外破坏，而没有人会手动重新运行所有历史对话来验证。
- 验证模糊不清：“看起来没问题”与“确实没问题”之间存在巨大差异。人类在判断记忆是否完整或是否存在幻觉时，误差范围极大。
用这种手工方式测试一个有状态、长上下文的Agent，无异于蒙眼过高速公路。我们需要的是一个基于断言的自动化记忆验证方案：给定一个多轮对话脚本，精确验证记忆对象中存储的内容、顺序和关键事实，并将其集成到CI中运行。
方案设计
核心思想很简单：将LLM转化为一个确定性的“提词器”（teleprompter），然后将记忆对象作为被测系统，并使用pytest进行断言验证。
为什么不让LLM自己判断记忆呢？例如，再次调用模型问：“请检查对话历史是否包含X”。因为这会让“判断者”本身也是一个容易产生幻觉的机器，不可靠。我们所需要的是纯粹的工程断言：字符串包含、列表长度、消息类型等确定性检查。
工具选择：
- pytest：最通用的Python测试框架；其fixture机制非常适合管理记忆状态。
- LangChain的BaseMemory：我们直接与
memory.chat_memory.messages和memory.load_memory_variables()交互，绕过LLM的不确定性。 - 自定义FakeLLM：继承自
LLM类，按照预设序列返回固定文本，零外部API依赖。这样测试可以在毫秒级完成，并且100%可重复。
我们避免模拟ChatOpenAI等真实模型，因为网络抖动和模型本身的非确定性会使测试变得不稳定且耗时。
