服务器通过ollama运行deepseekr1

1、服务器环境简介 56核 CPU64G 内存无显卡已安装 Ollama 2、下载模型与配置

正常可以通过 ollama pull 或 ollama run 命令直接下载，但通常会遇到连接超时、找不到网址等总理。因此，可以使用国内的模型站进行下载，在这里使用魔塔查找模型。

在这里，我下载了

DeepSeek-R1-Distill-Qwen-1.5B-GGUF

DeepSeek-R1-Distill-Qwen-7B-GGUF

两个版本

下载后，分别创建两个 txt 文件：

deepseek-r1-1.5B.txt，具体参数可依据使用情况修改

FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf PARAMETER temperature 0.7 PARAMETER top_p 0.95 PARAMETER top_k 40 PARAMETER repeat_penalty 1.1 PARAMETER min_p 0.05 PARAMETER num_ctx 8096 PARAMETER num_thread 4 PARAMETER stop "<|begin of sentence|>" PARAMETER stop "<|end of sentence|>" PARAMETER stop "<|User|>" PARAMETER stop "<|Assistant|>"

 deepseek-r1-7B.txt，与1.5B 类似

FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf PARAMETER temperature 0.7 PARAMETER top_p 0.95 PARAMETER top_k 40 PARAMETER repeat_penalty 1.1 PARAMETER min_p 0.05 PARAMETER num_ctx 8096 PARAMETER num_thread 4 PARAMETER stop "<|begin of sentence|>" PARAMETER stop "<|end of sentence|>" PARAMETER stop "<|User|>" PARAMETER stop "<|Assistant|>"

3、运行命令导入至 ollama ollama create deepseek-r1:1.5B -f ./deepseek-r1-1.5B.txt ollama create deepseek-r1:7B -f ./deepseek-r1-7B.txt 4、运行模型 ollama run deepseek-r1:7B 5、运行测试结论

1.5B：能够显示思考过程，问答效果不佳，胡编乱造内容较多，运行较流畅。

7B：能够显示思考过程，问答效果略好，有胡编乱选内容，运行响应很慢。

总结，这两个模型在这种配置的服务器上均可运行，但如果想得到较好的体验，这个配置远远不够。