know-engine

支持图片的召回和渲染

我们的RAG系统想要实现如下功能,即在页面上可以展示出图片,并且可以针对图片做召回。 基于我们之前的代码,需要做如下调整。 内容提示词修改 在我们的LLM的RAG的最终的生成的提示词中,增加关于markdown和图片的说明:

TL;DR

我们的RAG系统想要实现如下功能,即在页面上可以展示出图片,并且可以针对图片做召回。 基于我们之前的代码,需要做如下调整。 内容提示词修改 在我们的LLM的RAG的最终的生成的提示词中,增加关于markdown和图片的说明:

我们的RAG系统想要实现如下功能,即在页面上可以展示出图片,并且可以针对图片做召回。 基于我们之前的代码,需要做如下调整。

内容提示词修改

在我们的LLM的RAG的最终的生成的提示词中,增加关于markdown和图片的说明:

## 格式要求:
1. 你的所有回答必须使用Markdown格式进行排版。
2. 如何上下文信息中包含了图片描述标签`
> 🖼️ 原文引用的图片资源未包含在导出文件中:`图片`
`,则返回包含图片的内容。
3. 仅在必要时包含图片,请注意千万不要输出重复的内容和图片,图片确保最终生成的URL不要重复。

增加这个约束的目的是让模型的输出更加稳定,并且可以把图片正常返回。

图片描述生成提示词优化

"请描述这张图片的内容,包括场景、对象、布局、颜色、文字信息,直接输出纯文本描述,不要多余说明,不要增加任何特殊符号,特别是换行符"

在后面增加不要增加任何特殊符号,特别是换行符 ,因为一旦生成的图片描述中带有多行的话,会导致一个markdown的图片标签失效,如:

![xxx
xxx
xxx](http://xxx.com)

页面优化支持

在chat.html中增加针对markdown的支持,这块不展开了,我也是靠AI写的。提交的代码修改如下: - 优化图片的召回和展示

版本提示

模型、框架与接口会持续变化。涉及版本号、参数与生产配置时,请在实践前对照对应官方文档。

LLMentor系统化学习大模型应用工程

内容来自个人课程知识库备份,并经过结构化整理。技术版本持续演进,生产使用前请结合官方文档验证。