虚拟线程+flash模型生成对话标题摘要

在知识库对话系统中，当用户发起新会话时，需要为会话生成一个简洁的标题以便后续识别和管理。由于标题生成依赖 LLM 调用，耗时较长（通常 500ms 2s），为了不阻塞主对话流程，采用异步生成策略。同步流程（主线程）

原文整理约 2 分钟第 281 / 437 篇

TL;DR

在知识库对话系统中，当用户发起新会话时，需要为会话生成一个简洁的标题以便后续识别和管理。由于标题生成依赖 LLM 调用，耗时较长（通常 500ms-2s），为了不阻塞主对话流程，采用异步生成策略。

// 1. 生成临时标题（快速、本地计算）
String

// 2. 创建会话（DB 写入）
finalConversationId

// 3. 触发异步标题生成（不等待）
Thread

// 4. 继续主流程：保存消息、启动流式对话
return

关键设计点： - 临时标题截取前 20 字符，保证用户可立即看到会话 - 异步任务启动后立即返回，不阻塞 SSE 流式响应

Thread


        chatConversationService


        log

}

public


}

Prompt 设计说明： - SystemMessage：设定角色和约束条件（字数限制、格式要求） - UserMessage：传入用户原始问题，{{it}} 为 LangChain4j 占位符 - 要求直接输出标题内容，避免模型返回多余解释

选择理由： 1. 标题生成是简单任务，不需要复杂推理能力 2. flash 模型响应速度快，用户体验好 3. 成本低，适合高频调用场景 4. 关闭 enable_thinking 进一步加速响应