目录
- 一、RAG的基本介绍
- 二、向量的基础概念
- 三、余弦相似度扩展
一、RAG的基本介绍
通用大模型存在的一些问题：
- LLM的知识不是实时的，模型训练好之后不具备自动更新知识的能力，会导致部分信息滞后。
- LLM领域知识是缺乏的，大模型的知识来源于训练数据，这些数据主要来自公开的互联网和开源数据集，无法覆盖特定领域或高度专业化的内部知识。
- 幻觉问题，LLM有时会在回答中生成看似合理但实际上是错误的信息。
- 数据安全性。
RAG：检索增加生成技术，利用检索外部文档提升生成结果的质量。即检索增强生成，为大模型提供了从特定数据源检索信息，来修正和补充生成的答案。
可以总结为：RAG = 检索技术 + LLM提示
RAG工作分为两条线：离线准备线、在线服务线
RAG标准流程由索引（Indexing）、检索（Retriever）、和生成（Generation）三个核心阶段组成。
- 索引（Indexing）阶段：通过处理多种来源、多种格式的文档，提取其中的文本，将其切分为标准长度的文本块（chunk），并进行嵌入向量化（embedding），向量存储在向量数据库（vector database）中。
- 加载文件
- 内容提取
- 文本分割，形成chunk
- 文本向量化
- 存向量数据库
- 检索（Retriever）阶段：用户输入的查询（query）被转化为向量表示，通过相似度匹配从向量数据库中检索出最相关的文本块。
- query向量化
- 在文本向量中匹配出与问句向量相似的top_k个
- 生成（Generation）阶段：检索到的相关文本与原始查询共同构成提示词（prompt），输入大语言模型（LLM），生成精确且具备上下文关联的回答。
- 匹配出的文本作为上下文和问题一起添加到prompt中
- 提交给LLM生成答案
二、向量的基础概念
RAG流程中，向量库是一个重要的节点：
离线流程：知识和信息 -> 向量嵌入（向量化） -> 存入向量库
在线流程：用户的提问 -> 向量嵌入（向量化） -> 在向量库中匹配
向量（vector）就是文本的“数字身份证”：它把一段文字的语义信息，转化成一串固定长度的数字列表，让计算机能“看懂”，文字的含义并做相似度计算。
简单来说：就是让计算机更方便的理解不同的文本内容，是否表达的是一个意思。
向量嵌入的过程，我们一般选用合适的文本嵌入模型来完成，具体它怎么转化的其实可以不用深究。
通过余弦相似度算法可以计算得到：A和B的相似度是0.999789，A和C的相似度是0.361446。
由此可以通过精确的数学计算，去匹配2段文本是否描述同一个意思，提高语义匹配的效率和精度。
三、余弦相似度扩展
就是看两个东西 “方向” 像不像，不管长短、不管大小，只看偏不偏。
举个最通俗的例子
- 你有两个向量，相当于两条从原点射出去的线：
- 两条线几乎贴在一起 → 夹角小 → 余弦相似度 接近 1
- 两条线垂直 → 夹角 90 度 → 余弦相似度 接近 0
- 两条线完全反方向 → 夹角 180 度 → 余弦相似度 接近 -1
它只看方向，不看长短！
放实际场景里
- 推荐系统：
- 你喜欢 A、B、C 三个视频
- 别人喜欢 A、B、C
- 你们方向一样 → 余弦相似度高 → 推一样的东西
- NLP、文本相似度：
- 把句子转成向量
- 两句话意思越像，向量方向越接近 → 余弦相似度越大
公式懒得记？记住结论就行
- 值越接近 1 → 越像
- 值越接近 0 → 没啥关系
- 值越接近 -1 → 完全相反
余弦相似度 = 只看路子对不对，不看力气大不大。 路子一样，就是兄弟；路子反了，就是对头。
