本页原始导出仅包含标题。以下内容依据章节主题补充为工程实践指南;涉及具体项目参数时,请以实际代码与配置为准。
本章目标
缓存稳定且可复用的提示词前缀、检索结果或工具结果,降低延迟与成本。
核心设计
- 缓存键包含模型、版本、权限和输入摘要
- 明确 TTL 与失效事件
- 敏感数据按用户隔离
落地步骤
- 优先缓存大而稳定的系统指令与知识片段
- 监控命中率、节省 Token 和陈旧率
- 配置变化时主动失效而非只等过期
常见风险
- 跨用户复用含隐私的上下文
- 提示词更新但缓存键未变
- 命中率高却返回过期业务事实
验收标准
实现完成后,应能用可复现的测试或运行轨迹证明:主流程结果正确,异常路径能够安全终止或恢复,权限和敏感信息没有越界,并且关键延迟、成本与失败原因可以被观测。