RAG系统搭建指南：Ollama安装与配置完整教程

我是老赵，一名专注于企业级应用开发的程序员。这次，我将从零开始构建一套完整的RAG（检索增强生成）系统。我的记录将聚焦于实战：从环境配置到代码实现，过程中遇到的所有技术难点、解决方案以及最终可运行的成果，都会在这里分享。

在前四天的实践中，我们已经完成了基础环境搭建、Milvus向量数据库部署、文档向量化处理以及检索优化。今天是第五天，我们的核心任务是：安装Ollama，并在本地运行一个大语言模型，为RAG流程中的“生成”环节准备好本地的LLM推理服务。

一、今日目标

• 完成Ollama的本地安装与配置；
• 拉取并运行 qwen3:4b 模型；
• 验证通过本地API发起推理请求，并规划与前序检索模块的对接方案。

二、前置准备

开始操作前，请确保你的环境满足以下要求：

• 操作系统：Windows 10或更高版本。
• 基础工具：命令行中需具备 curl 和 git 工具。若习惯使用Docker，也可提前准备。
• 硬件资源：为模型文件预留充足的磁盘空间，并确保有足够的内存。若计划启用GPU加速推理，请预先安装好对应的显卡驱动和CUDA工具包。
• 网络环境：首次拉取模型需要连接Ollama官方仓库或镜像源，请确保网络通畅。若网络受限，可提前下载离线模型文件备用。

三、安装 Ollama

安装过程非常直接。推荐访问Ollama官方网站，下载适用于Windows系统的安装包。完成安装后，打开命令行终端，输入 ollama --version 并执行。若终端正确显示版本号，则表明安装成功。

四、拉取并运行 qwen3:4b

安装完成后，下一步是将模型部署到本地运行。以下以 qwen3:4b 为例，展示标准操作流程（具体命令请以你安装的Ollama CLI版本为准）。

第一步，拉取模型：在命令行中执行：

ollama pull qwen3:4b

第二步，交互式运行（用于快速测试）：执行以下命令，即可进入与模型的对话模式：

ollama run qwen3:4b

运行成功后，你将看到类似下图的交互式界面，这证明模型已成功加载并处于待命状态：

第三步，以服务模式启动（供API调用）：若需通过HTTP API供其他程序调用，需要以服务模式启动。通常可执行如下命令：

# 根据Ollama官方文档，使用serve命令监听指定端口
ollama serve --port 11434

这里有一个关键细节：模型名称（如 qwen3:4b）必须使用官方仓库中确切的标识符。若遇到“模型未找到”的提示，可先运行 ollama list 查看本地已拉取的模型列表，或前往官方模型库核对可用模型名称。

五、通过HTTP调用示例

当Ollama服务在11434端口成功启动后，即可通过其HTTP API进行调用。以下是两种最常用的调用方式。

使用curl命令测试：

curl -s -X POST "http://localhost:11434/api/generate" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3:4b",
    "prompt": "请用中文简要介绍向量检索的基本流程。",
    "max_tokens": 200
  }'

使用Python (requests库) 集成：在实际项目开发中，更推荐在Python代码中进行集成调用：

import requests

url = "http://localhost:11434/api/generate"
payload = {
    "model": "qwen3:4b",
    "prompt": "请用中文列出 RAG 流程步骤。",
    "max_tokens": 200,
    "stream": False,
}
resp = requests.post(url, json=payload, timeout=300)
print(resp.json())

请注意，API的请求字段（如 prompt, max_tokens）可能随Ollama版本更新而调整。最可靠的做法是查阅你所使用版本的官方API文档。

六、性能与资源建议

成功运行模型只是基础，要保证稳定高效的推理服务，还需关注性能与资源管理。以下是一些实践建议：

• 推理速度：若对响应延迟敏感，或需处理并发请求，强烈建议启用GPU进行推理加速，性能提升将非常显著。
• 资源预留：模型文件本身及运行时缓存会占用大量磁盘与内存空间，务必提前规划好资源分配，以避免运行时错误。
• 并发处理：在高并发场景下，直接调用可能导致内存溢出（OOM）。合理的架构是引入推理请求队列或实施限流策略。
• 模型选型：示例中使用的 qwen3:4b 属于中等参数量模型。在实际生产部署中，需在生成质量、推理速度与硬件成本之间进行权衡，选择最适合业务需求的模型规模。

七、常见问题与排查

部署过程中可能会遇到一些典型问题，以下是排查思路：

• 模型拉取失败：首先检查网络连通性，其次确认磁盘剩余空间是否充足。若使用私有镜像或需要认证，请确保凭证正确。
• 内存不足或OOM：这是高频问题。可尝试降低并发请求数、启用GPU推理，或更换参数量更小的模型。
• 服务端口不可达：确认Ollama服务进程是否正常运行，并监听在正确的端口（默认11434）。同时检查系统防火墙或安全组规则是否屏蔽了该端口。

今日小结

今天，我们成功在本地环境安装了Ollama，拉取并运行了 qwen3:4b 模型，同时验证了通过HTTP API进行模型调用的完整流程。至此，RAG系统中负责“生成”环节的核心推理引擎已部署完毕。

明日计划

核心组件已全部就位。明天的任务是进行系统集成：将检索模块返回的Top-K相关文本片段，与预设的Prompt模板进行智能拼接，封装成可复用的组件。随后，调用今天搭建好的本地LLM服务，生成最终答案，从而完成一个端到端的RAG问答闭环。

来源：互联网