gogo-agent

上下文工程——上下文缓存

本页原始导出仅包含标题。以下内容依据章节主题补充为工程实践指南;涉及具体项目参数时,请以实际代码与配置为准。

TL;DR

本页原始导出仅包含标题。以下内容依据章节主题补充为工程实践指南;涉及具体项目参数时,请以实际代码与配置为准。

本页原始导出仅包含标题。以下内容依据章节主题补充为工程实践指南;涉及具体项目参数时,请以实际代码与配置为准。

本章目标

缓存稳定且可复用的提示词前缀、检索结果或工具结果,降低延迟与成本。

核心设计

  • 缓存键包含模型、版本、权限和输入摘要
  • 明确 TTL 与失效事件
  • 敏感数据按用户隔离

落地步骤

  1. 优先缓存大而稳定的系统指令与知识片段
  2. 监控命中率、节省 Token 和陈旧率
  3. 配置变化时主动失效而非只等过期

常见风险

  • 跨用户复用含隐私的上下文
  • 提示词更新但缓存键未变
  • 命中率高却返回过期业务事实

验收标准

实现完成后,应能用可复现的测试或运行轨迹证明:主流程结果正确,异常路径能够安全终止或恢复,权限和敏感信息没有越界,并且关键延迟、成本与失败原因可以被观测。

版本提示

模型、框架与接口会持续变化。涉及版本号、参数与生产配置时,请在实践前对照对应官方文档。

LLMentor系统化学习大模型应用工程

内容来自个人课程知识库备份,并经过结构化整理。技术版本持续演进,生产使用前请结合官方文档验证。