LLM Wiki · LLMentor

◎

LLM Wiki

多模态个人知识库实践

6 篇 · 约 47 分钟

RAG 在过去几年里几乎成为企业知识库问答的标准方案。无论是智能客服、企业知识助手，还是文档问答系统，大多数项目都建立在 RAG 架构之上。随着应用规模不断扩大，开发者逐渐发现，很多问题并不来自大模型本身，而是来自 RAG，比如：…

Karpathy 原文中的比喻还记得吧： "Obsidian is the IDE; the LLM is the programmer; the wiki is the codebase." LLM 是程序员，wiki 是代码仓库…

Obsidian就是我们后端开发的IDEA，开发工具到位了之后，我们就开始指挥程序员（LLM）构建自己的代码仓（Wiki）。但是你要知道的是，如果没有指导过的 LLM，让它整理知识，它根本不知道规范。这个 wiki 是关于什么的？…

这一节我们拿一篇真实的资料，完整跑一遍：从 Web Clipper 抓进来，到 ingest 编译，再看生成的 wiki 会变成什么样、用 Graph View 看关系网、query 来提问问题、lint 执行巡检、save 沉淀…

我们回头看一下那篇 APT 攻击的科普文章，会发现一个问题：文章里其实是有图的。架构图、流程图、模型图有差不多10几张图片，但是这些图片在 ingest 的时候全被忽略了，wiki 里只生成了文字概念页，图本身一张没进。这样就会导…

这一节我们再给大家补充几个获取知识素材的方式。前面我们 ingest 的都是文章，但平时接触的知识很多不只是在文章里，而是在视频和音频里，比如：B站技术分享视频、播客、教程录屏等等。这些知识都没办法直接喂给 LLM。针对这些场景，…