Linux服务器部署Deepseek、Dify、RAGflow实战教程

Ollama 安装 一、安装依赖

安装下载依赖 curl，用于解析下载 ollama 官方地址

apt install sudo sudo apt update sudo apt install curl

安装依赖 lspci 或 lshw 等工具用于检测 GPU

sudo apt update sudo apt install pciutils lshw

安装 ping 包，用于 ping 网址

sudo apt update sudo apt install iputils-ping 二、安装 nvidia 驱动

为了使用 GPU 加速，我们还需要安装 nvidia 驱动[[Linux服务器安装cuda和cudnn实战教程]]

三、安装 Ollama

对于Linux系统，使用以下命令安装：

curl -fsSL ollama /install.sh | sh

或者手动安装

curl -L ollama /download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz tar -xzf ollama-linux-amd64.tgz -C /usr/local/bin

安装完成后，运行以下命令查看是否安装成功：

ollama -v

验证安装：打开浏览器，访问http://localhost:11434，如果页面显示Ollama的界面，则说明安装成功。

四、下载模型 启动 Ollama 服务 ollama serve 下载模型

进入官网，选择模型。

# 量化的模型 ollama run deepseek-r1:70b # q8_0量化的模型 ollama run deepseek-r1:70b-llama-distill-q8_0 # 使用不量化的模型 ollama run deepseek-r1:70b-llama-distill-fp16 # 其它模型 ollama pull nomic-embed-text ollama run gguf/DeepSeek-Janus-Pro-7B ollama pull bge-m3 ollama run YuZhouz/VLM-R1

要退出与 Ollama 模型的对话，可以在命令行中输入 /bye 命令。这将结束当前与模型的对话并退出程序。如果你希望使用其他方式结束对话，也可以按 Ctrl + D 键来结束对话。

删除模型命令:

ollama rm name 修改 Modelflie上下文长度限制num_ctx 获取当前模型的配置文件： ollama show --modelfile deepseek-r1:70b > Modelfile

这会生成一个名为 Modelfile 的文件。

编辑 Modelfile 文件，找到或添加以下参数： PARAMETER num_ctx 5000

保存文件。

使用修改后的 Modelfile 创建新的模型实例： ollama create deepseek-r1:70b-ctx5k -f Modelfile

这将创建一个带有新上下文窗口大小的模型实例。

Docker 安装 一、Win系统安装Docker

进入 Docker: Accelerated Container Application Development 官网，下载安装包以后安装即可。

二、Linux系统安装Docker

可参考之前的文章Linux服务器RedHat安装Docker

三、配置 Docker Enging { "builder": { "gc": { "defaultKeepStorage": "20GB", "enabled": true } }, "dns": [ "8.8.8.8", "8.8.4.4" ], "experimental": false, "features": { "buildkit": true }, "max-concurrent-downloads": 3, "max-download-attempts": 5, "registry-mirrors": [ " docker.1ms.run", " docker.imgdb.de", " docker.wanpeng.life", " docker.1panel.live", " hk11.606166.xyz", " docker.1panel.live", " hub.rat.dev" ], "shutdown-timeout": 1200 } 安装 Dify

前提是你已经安装好 Docker 和 Docker Desktop

一、拉取镜像

Windows Powershell 以管理员权限运行

git clone github /langgenius/dify.git cd dify/docker 二、配置环境 cp .env.example .env 三、修改配置

为了防止原本 80 端口被占用，因此需要修改新的端口，用记事本打开 .env 文件，搜索找到 _EXPOSE_NGINX_PORT_ 修改为下述内容：

# ------------------------------ # Docker Compose Service Expose Host Port Configurations # ------------------------------ EXPOSE_NGINX_PORT=8081 EXPOSE_NGINX_SSL_PORT=443

一般 Dify 文件上传会有大小限制，因此我们还需要修改上传文件的大小限制，搜索 upload, 修改下述内容：

# Upload file size limit, default 15M. UPLOAD_FILE_SIZE_LIMIT=1000 # Upload image file size limit, default 10M. UPLOAD_IMAGE_FILE_SIZE_LIMIT=100 # Upload video file size limit, default 100M. UPLOAD_VIDEO_FILE_SIZE_LIMIT=1000 # Upload audio file size limit, default 50M. UPLOAD_AUDIO_FILE_SIZE_LIMIT=500

保存并退出。

四、启动服务

如果你使用的是Docker Compose V2（可以用“docker compose version”命令查看）：

docker compose -p dify up -d

当出现下述，则说明下载完成

PS C:\Users\Administrator\Desktop\Deepseek\dify\docker> docker compose up -d [+] Running 11/11 ✔ Network docker_ssrf_proxy_network Created 0.0s ✔ Network docker_default Created 0.0s ✔ Container docker-sandbox-1 Started 0.8s ✔ Container docker-web-1 Started 1.2s ✔ Container docker-db-1 Started 1.7s ✔ Container docker-redis-1 Started 1.2s ✔ Container docker-weaviate-1 Started 1.8s ✔ Container docker-ssrf_proxy-1 Started 1.7s ✔ Container docker-api-1 Started 2.5s ✔ Container docker-worker-1 Started 2.2s ✔ Container docker-nginx-1 Started 2.8s

安装完成后，通过以下命令检查服务状态：

docker compose ps

检查要特别关注以下几个关键容器的状态：

docker-api-1：API服务docker-web-1：Web界面docker-worker-1：后台任务处理docker-db-1：数据库docker-redis-1：缓存服务docker-nginx-1：反向代理

所有容器都应该显示"up"状态。

五、设置用户信息

然后我们可以通过浏览器访问Dify：

http://localhost:8081/install

设置用户信息即可完成登录:

[!NOTE] 用户信息 邮箱： *********** 账号：*********** 密码：***********

六、配置 Dify 连接 ollam 模型

打开.env 文件，配置以下关键参数：

CONSOLE_URL=http://localhost SERVICE_API_URL=http://localhost UPLOAD_FILE_SIZE_LIMIT=1000 # 文件上传限制，单位MB UPLOAD_FILE_MIME_TYPES=.pdf,.doc,.docx,.txt # 允许上传的文件类型

进入 Dify 在头像-设置——模型供应商”里添加 deepseek，点击保存。将温度设置在 0.5-0.7 （推荐 0.6） 的范围内，以防止无休止的重复或不连贯的输出。

共享地址 在 cmd 命令行窗口中输入： ipconfig

查看本机的 IP, 加上端口号即可得到 Dify 的访问地址。

七、设置公网域名

参考 API 扩展 | Dify，由于 Dify 云端版无法访问内网 API 服务，为了方便本地调试 API 服务，可以使用 Ngrok 将 API 服务的端点暴露到公网，实现云端调试本地代码。操作步骤：

进入 ngrok 官网，注册并下载 Ngrok 文件。下载完成后，进入下载目录，根据下方说明解压压缩包。 unzip /path/to/ngrok.zip 运行以下命令初始化脚本，将您的 authtoken 添加到默认的 ngrok.yml 配置文件中。 ngrok config add-authtoken 你的Token 查看本地 API 服务的端口 并运行以下命令启动： # 8082是Dify转发出来的端口 ./ngrok http 8082

我们找到 Forwarding 中， 177e-159-223-41-52.ngrok-free.app（此为示例域名，请替换为自己的）即为公网名。

按照上述的范例，我们把本地已经启动的服务端点暴露出去，将代码范例接口：http://127.0.0.1:8000/api/dify/receive 替换为 177e-159-223-41-52.ngrok-free.app/api/dify/receive

此 API 端点即可公网访问。至此，我们即可在 Dify 配置该 API 端点进行本地调试代码，配置步骤请参考 github /langgenius/dify-docs/blob/main/zh_CN/guides/knowledge-base/external-data-tool.md。

安装RagFlow 一、拉取镜像 git clone github /infiniflow/ragflow.git 二、修改配置

RAGFlow Docker 镜像默认v0.16.0-slim 没有embedding models,所以使用v0.16.0,需要修改配置，打开ragflow\docker.env 文件, 注释 v0.16.0-slim ，取消注释 v0.16.0

# The RAGFlow Docker image to download. # Defaults to the v0.16.0-slim edition, which is the RAGFlow Docker image without embedding models. # RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0-slim # # To download the RAGFlow Docker image with embedding models, uncomment the following line instead: RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0 三、修改端口

原本的 80 端口和 443 端口被占用，因此需要修改端口，用记事本打开文件 docker-compose.yml, 修改为下述内容。

ports: - ${SVR_HTTP_PORT}:9380 - 8082:80 - 442:443

保存并退出

四、启动服务

使用预构建的 Docker 镜像启动服务器，进入 docker 文件夹，利用提前编译好的 Docker 镜像启动服务器：

cd ragflow/docker docker compose -f docker-compose.yml -p ragflow up -d

这一步注意docker 下载的镜像比较大，要留有足够的存储空间，我这边观察下载了约 10 个 G 左右。 服务器启动成功后再次确认服务器状态:

docker logs -f ragflow-server 五、设置用户信息

这里注意，安装完成后并不是直接进入下面两个地址：

http://127.0.0.1:9380http://172.18.0.6:9380

而是通过浏览器访问 ragflow：先注册账号，然后登录。

[!NOTE] 用户信息 邮箱： *********** 账号：*********** 密码：***********

配置 ragflow 连接 ollam 模型 打开 ragflow，头像-设置里面添加 ollam 模型

共享地址 在 cmd 命令行窗口中输入：

ipconfig

查看本机的 IP, 加上端口号即可得到 ragflow 的访问地址。

[!error] 未找到用户 问题描述

LookupError: Tenant not found

解决方案

参考 LookupError: Tenant not found · Issue #4940 · infiniflow/ragflow LookupError：未找到租户 ·问题 #4940 ·InfiniFlow/Ragflow

参考文章 ：

用dify、ollama和DeepSeek搭建本地知识库 - 知乎 linux本地部署deepseek-R1模型_linux部署deepseek-CSDN博客 在 Windows 上配置 Ollama 服务并开放局域网访问_ollama局域网访问-CSDN博客 【RAG 实践】Ollama+RagFlow：本地知识库部署全解析_ragflow如何接入ollama的本地模型-CSDN博客 DeepSeek RAGFlow构建本地知识库系统 - 知乎 私有化部署体验 Dify！收藏这一篇就够了！_dify私有化部署-CSDN博客 在ubuntu24.04上安装Ollama并设置跨域访问_ollama 跨域-CSDN博客 ollama修改模型参数 num_ctx【Linux】_ollama调整模型参数-CSDN博客