主页 > IT业界  > 

windows系统本地部署DeepSeek模型

windows系统本地部署DeepSeek模型

文章目录 安装ollama下载DeepSeek R1模型可视化部署Web UI

安装ollama

首先到ollama官网,下载ollama。

根据电脑系统选择对应的版本进行安装,安装之后打开命令行工具,输入以下命令:

ollama --version

当在命令行显示以下页面,说明ollama安装成功

下载DeepSeek R1模型

安装完成之后打开ollama官网,选择Deepseek-R1

然后根据自己的电脑配置选择合适的版本,点击左侧选择模型大小,然后点击右侧复制命令下载要部署的模型

这里是各个版本所需要的电脑最低配置

在命令行输入安装命令:

ollama run deepseek-r1:7b # 安装7B模型

当看到如下界面,说明已经安装成功,此时可以向他提问问题

以上就在本地部署Deepseek成功了,以下是在命令行的常用命令:

# 启动模型对话 ollama run deepseek-r1:7b # 根据自己部署的模型调整参数 # 退出模型 /bye # 查看本地模型列表 ollama list # 停止Ollama服务 ollama stop # 更新模型版本 ollama pull deepseek-r1:[版本号] # 删除本地模型 ollama rm deepseek-r1:[版本号] # 查看模型详情,显示模型支持的模态 ollama show deepseek-r1:[版本号] --modalities # 启动Ollama服务 ollama serve # 查看帮助文档 ollama help # 复制模型副本 ollama cp deepseek-r1:[版本号] 模型名称

到此DeepSeek在本地已经部署成功,但是每次提问都要在命令行,看起来不美观而且不是我们常用的使用方式,此时我们可以使用图形化工具调用本地部署的deepseek,就像在官网上使用deepseek一样

可视化部署Web UI

第一步:打开Chatbox官网,下载安装Chatbox AI

安装成功之后打开Chatbox,选择使用自己的API Key或本地部署模型

这里因为我们是使用Ollama部署的本地模型,所以选择Ollama API

当看到以下配置页面时,按照下图所显示的配置即可,这里解释一下每个选项都是什么意思:

API 域名:因为我们本地部署了DeepSeek模型,相当于使用本地IP地址+端口来调用我们本地部署的模型模型:选择我们在本地部署的模型名称(我部署的是7B的,所以这里显示的是7B模型)上下文的消息数量上限:相当于你和大模型对话时的“短期记忆容量”。比如设置为10,就意味着它能记住你们最近的10条对话内容。如果超过这个数,它就会像金鱼一样,开始忘记最早聊过的东西。这个参数能够防止与大模型对话太久导致电脑资源占用过多卡死,也能避免它记忆太多内容导致跑题严谨与想象:它就像控制机器人脑洞大小的开关,如果选择偏向于“严谨”,那么模型说话就会一板一眼,像学霸答题一样,但也可能会有些无聊;如果选择偏向于“想象”,那么模型开始放飞自我,说话天马行空,适合编故事,但也可能满嘴跑火车,这里就根据自己需要来适当选择(可以按照图示默认就好)

在显示设置这里,可以设置默认回答语言,以及字体大小等设置

在对话栏设置里有一个“新对话的默认提示”,它的作用相当于你每次打开新聊天时,塞给AI一个隐形小纸条,纸条上写着你最常提的要求:比如:

“默认使用中文回答”“回答要简短并且带有出处”“涉及名称要用简写”

注意:这里要求别写太多(建议$\leq$3条),否则AI可能混乱。

当以上配置成功之后,就可以在本地使用刚刚部署的DeepSeek-7B模型了

求别写太多(建议$\leq$3条),否则AI可能混乱。

[外链图片转存中…(img-sh7mcS1a-1740917471399)]

当以上配置成功之后,就可以在本地使用刚刚部署的DeepSeek-7B模型了

标签:

windows系统本地部署DeepSeek模型由讯客互联IT业界栏目发布,感谢您对讯客互联的认可,以及对我们原创作品以及文章的青睐,非常欢迎各位朋友分享到个人网站或者朋友圈,但转载请说明文章出处“windows系统本地部署DeepSeek模型