本地部署DeepSeek R1 + Ollama + XRAG：三步搭建RAG系统，并解锁全流自动化评测

引言如何科学的评估RAG系统对于RAG系统的性能优化至关重要。为此本文提供了一个详细操作指南帮助用户使用Ollama本地部署最新的DeepSeek R1模型并使用最新的XRAG1.0框架来构建RAG系统并评估你的本地RAG知识库系统。这一过程分为三个主要步骤Ollama安装下载启动DeepSeek R1模型配置XRAG使用本地模型和知识库运行评估以解锁全流程自动化评测能力。RAG技术核心流程检索增强生成Retrieval-Augmented Generation, RAG通过结合文档检索与大模型生成能力让AI回答既精准又可靠。RAG核心流程分为四步检索准备解析用户问题优化查询语句文档检索从海量文档中匹配相关片段结果精炼过滤排序保留核心信息答案生成基于上下文生成最终回答上图展现了一个完整的RAG流程的各个步骤其中蓝色字体标注的部分是RAG技术中值得深入理解并改进的关键组成部分。然而有过实战经验的小伙伴的经验应该知道搭建RAG系统是比较简单的但如何让系统达到预期目标是一件非常有挑战性的任务。当前系统功能优化基本也是围绕这四个关键节点展开那么如何有效的评测RAG关键节点模块的性能对于RAG系统的优化起着关键的作用。XRAG为了更深入地评测RAG技术中的各个模块性能北航团队发布的可全面测评RAG系统的框架XRAG。paper:https://arxiv.org/abs/2412.15529code:https://github.com/DocAILab/XRAG利用XRAG并借助DeepSeek模型可以实现本地的RAG知识库系统并对其中的不同模块快速进行检验测试。具体来说XRAG支持全面的RAG测评Benchmark与Toolkit涵盖了50以上的测试指标与RAG的全面评测与失败点优化支持4类Advanced RAG模块 查询重构 先进检索 问答模型 后处理 的对比 并集成模块内的多种具体实现支持OpenAI大模型 API。XRAG1.0版本还提供了简单的Web UI Demo、轻交互的数据上传与统一标准格式 集成了 RAG失败点检测与优化方法。具体XRAG框架内容细节可以阅读原论文。XRAG安装使用XRAG安装使用主要分为三个主要步骤首先安装Ollama然后通过ollama安装DeepSeek R1模型最后配置XRAG使用本地模型和知识库、运行评估以解锁全流程自动化评测能力。1、Ollama安装Ollama 是一个开源工具允许用户在本地机器上运行 LLM如 DeepSeek R1。进入Ollama官网官网链接https://ollama.com后点击页面右上角的Download按照提示按步骤下载安装即可如上图所示。然后进入选择自己电脑操作系统的页面即可等待下载并安装完成。2、下载启动Deepseek模型完成上述的Ollama的安装步骤后就可以开始拉取并运行DeepSeek R1模型了。具体操作如下可以首先打开一个命令行终端首先输入ollama serve进行ollama服务的启动如下图所示之所以图片的第一次命令运行出现error是因为我事先启动过ollama服务了。所以大家也可以通过这个命令查看自己电脑上是否已经启动了ollama服务如果启动了就不需要再次运行这个命令。接下来终于到了下载模型的环节如上图所示首先选择目前火热的deepseek-r1模型由于是本地服务这里选择最小的模型1.5b如果资源足的小伙伴也可以下载参数量多的版本。将官网的下载命令粘贴到命令行中下载过程展示如上图所示。下载速度一般很快喝杯水的功夫就完成了。上面是下载完的结果展示图此时我们已经可以在简陋的命令行中跟刚刚下载的deepseek-r1模型进行聊天了。当然由于是本地的小模型所以可能稍微没有想象中的那么聪明但至少不会出现服务器繁忙的回复了哈哈哈。到这一步骤我们已经完成在Ollama的基础上运行本地deepseek模型的流程。3、XRAG安装评测以下是使用XRAG的详细步骤1、XRAG安装确保 Python 版本为 3.11 或更高。在这里我们使用conda创建虚拟环境具体安装细节可参考conda官方网站安装 XRAG2、配置 XRAGXRAG 使用 config.toml 文件进行配置。一般情况我们保持默认配置即可。我们可以在使用可视化界面时直接对XRAG进行配置更简洁方便。3、运行评估运行以下命令打开XRAG的可视化网页。通过上面的可视化网页我们可以选择本地的文件作为我们的知识库加载数据需要一定的时间然后可以对我们本地知识库所采用的配置进行设置包括回答生成时所使用的大模型等等。这里我们将选择前面步骤中运行的本地模型4、自动评测配置完毕后我们点击下一步就可以开始针对本地知识库系统进行回答问题了XRAG能够根据你的本地RAG知识库系统的回答自动进行评测通过使用openai的大模型进行评估并利用各种经典指标量化回答的质量下面的图片是其中一些指标的实例到这里为止我们就可以利用XRAG框架完成本地RAG知识库系统的搭建并对我们的本地知识库进行了评估了。祝各位玩的开心注意事项Notice近期互联网披露如果Ollama直接暴露服务端口默认为 11434于公网并且未启用身份认证机制远程攻击者可以在未授权的情况下访问其高危接口。建议受影响的用户尽快修改相关配置或部署安全策略以收敛安全风险。根据CNVD漏洞平台最新修复建议https://mp.weixin.qq.com/s/QKrJXmOYv9KVfIEHBLeCww1、若Ollama只提供本地服务设置环境变量Environment“OLLAMA_HOST127.0.0.1”仅允许本地访问。2、若Ollama需提供公网服务选择以下方法添加认证机制1修改config.yaml、settings.json 配置文件限定可访问Ollama 服务的IP地址2通过防火墙等设备配置IP白名单阻止非授权IP的访问请求3通过反向代理进行身份验证和授权如使用OAuth2.0协议防止未经授权用户访问。最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】