主页 > 游戏开发  > 

Ubantu22.04系统docker部署OpenWebUI+Ollama【教程】

Ubantu22.04系统docker部署OpenWebUI+Ollama【教程】

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台,旨在完全离线运行。它支持各种 LLM 运行器,如 Ollama 和 OpenAI 兼容的 API,并内置了 RAG 推理引擎,使其成为强大的 AI 部署解决方案。

1.docker拉取镜像

(1)如果 Ollama 在您的计算机上,请使用以下命令

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(2)如果 Ollama 位于其他服务器上,请使用以下命令

docker run -d -p 3000:8080 -e 【OLLAMA_BASE_URL= example 】 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

—————————— 注意:要连接到另一台服务器上的 Ollama,请将OLLAMA_BASE_URL 更改为服务器的 URL:例如是http://10.30.45.47 —————————— (3)要运行支持 Nvidia GPU 的 Open WebUI,请使用以下命令

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

—————————————————— 我的机器符合(3)的条件,拉取成功截图如下

对于Docker 无法找到合适的设备驱动程序来支持 GPU这个问题解决如下: (1)确保安装了 NVIDIA 驱动

nvidia-smi

安装驱动的截图如下 (2)安装 NVIDIA Container Toolkit

如果是其他系统的话,选择合适安装命令去看官网指导说明 配置生产存储库:

curl -fsSL nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb #deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] #g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

配置成功截图

从存储库更新软件包列表:

sudo apt-get update

更新成功如下 安装 NVIDIA Container Toolkit 软件包:

sudo apt-get install -y nvidia-container-toolkit

安装成功截图 重启docker生效设置

sudo systemctl restart docker

确保所有依赖项都已安装后,再次运行你的 Docker 命令 为了保险起见重新运行容器,需要删除原有的容器,【】里面是容器ID

docker rm -f 【a529094ccd1564f84244d7716de7f657b0e006c5149665b6d8b78e0667b47981】

再次运行docker run 命令

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

成功如下截图

————————————————

2.启动Open WebUI服务器

docker logs open-webui

启动成功截图如下

3.访问Open WebUI

打开浏览器输入:http://【服务器IP】:3000

4.登录Open WebUI界面后空白很长时间才能反应过来

解决如下: 设置-》管理员设置-》外部连接-》OpenAI-》关闭 即可

5.测试正常问答

到此,docker部署Open WebUI+Ollama就结束了!

标签:

Ubantu22.04系统docker部署OpenWebUI+Ollama【教程】由讯客互联游戏开发栏目发布,感谢您对讯客互联的认可,以及对我们原创作品以及文章的青睐,非常欢迎各位朋友分享到个人网站或者朋友圈,但转载请说明文章出处“Ubantu22.04系统docker部署OpenWebUI+Ollama【教程】