“本地化大模型+知识库”介绍
其实是一套本地化的 RAG 的方案，整体技术架构如下图所示：
[图片来源见文末]图中重要的三个组件：
1-LLM我们使用 Ollama 下载到本地；
2-文本切片及Embedding后放入向量数据库的过程与组件， 使用 AnythingLLM 来提供；
3-Embedding 模型可以使用 AnythingLLM 自带的，也可以使用本地部署的。
使用 Ollama 下载 LLM
在 Ollama 的官网（https://ollama.com）下载并安装 Ollama 。
安装后，根据你本地硬件的配置，选择合适的模型下载。
对于 DeepSeek-R1 模型，可以参考下图中对显存的需求，选择不同模型。我选择的是一个7B 的模型。
选择好模型后，复制这里的命令行，粘贴至终端。Ollama 开始下载：
为提高后续的检索精度，我使用 Ollama 又下载了一个 Embedding 模型，Bge-m3。
AnythingLLM 自带了一个嵌入模型，所以这里你也可以不下载，用这个自带的嵌入模型。
到这里，我们使用 Ollama 成功下载了需要的两个模型：
安装并配置 AnythingLLM
从 AnythingLLM 的官网（https://anythingllm.com/）下载适合你系统的 AnythingLLM：
安装过程比较缓慢，耐心等待即可。
安装后进入欢迎界面，点击“开始”按钮：
之后的配置可以先不管，一直向右滑动：
进入到工作区界面，点击配置按钮：
Step1：LLM 配置
找到 “LLM 首选项”，选择LLM 提供商为 Ollama，会自动找到我们已经拉取的DeepSeek-R1: 7B模型：
配置后之后点“ Save Change ”。
向量数据库选择默认的即可。
Step2： Embedding 配置
嵌入引擎提供商选择 Ollama，配置 Embedding 模型为 bge-m3。
如果你没有拉取 bge-m3，保持默认的AnythingLLM Embedder就可以。
Step3：工作区配置
回到工作区界面，新建一个工作区，然后点击上传按钮：
点击这里，选择你需要放到知识库的本地文档。
之后，选中知识库中的文档，点击“ Move to Workspace”，将文档移入工作区：
工作区这时已经看得到放进去的文档了。保存并进行 Embed：
这个过程中，看得到 GPU 已经开始疯狂工作了
嵌入完成后，回到工作区，就可以针对我们的文档进行提问与分析了。
测试，及使用云端模型
根据我们的文档提问。推理速度很快，但结果并不太好：
因为我们本地算力有限，模型太小，性能上差很多。
使用云端模型试试。
回到设置，我们配置 LLM 首选项为 DeepSeek，填入一个可用的 API，选择推理模型：
同样的问题再测试一下，结果（仅截取部分）要比我们的本地模型好得多，而且初步来看，答案相关性和上下文相关性都更高：
总结
以上就是使用 Ollama + Anything 构建本地化大模型+知识库的极简方案，希望能帮到大家。
需要注意的是，并非所有的业务场景都需要完全本地化部署。
在本地没有足够算力，又需要文档不出域的情况下，只要保证文档存储和检索过程在本地，即使大模型在云端，也可通过技术手段（如仅向云端发送查询向量或脱敏后的文本）实现合规；这也是一种很常见的技术方案。
读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用
对于0基础小白入门：
如果你是零基础小白，想快速入门大模型是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
作为一名老互联网人，看着AI越来越火，也总想为大家做点啥。干脆把我这几年整理的AI大模型干货全拿出来了。
包括入门指南、学习路径图、精选书籍、视频课，还有我录的一些实战讲解。全部免费，不搞虚的。
学习从来都是自己的事，我能做的就是帮你把路铺平一点。资料都放在下面了，有需要的直接拿，能用到多少就看你自己了。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以点击文章最下方的VX名片免费领取【保真100%】
