大型语言模型 (LLM) 的知识来源于预训练数据,这使得它们容易给出过时甚至不准确的答案。而检索增强生成(RAG)技术在内容生成前为 LLM 提供信息参考,有效克服了这一局限性。
根据自己的学习路线和职业规划,我参与智能体平台开发已经有一段时间了。虽然的热度相比之前有所回落,市面上也陆续出现了不少成熟的智能体工作流平台和智能体开发框架,但作为智能体平台早期阶段的核心组成部分之一,RAG 依然值得系统梳理和实践总结。因此,也算是搭上一个“末班车”,记录一下自己在实现过程中的一些思路和经验。
这篇文章主要讲讲RAG技术知识库部分文档处理的实现,主要涉及文档解析和文档切片。