OllamaDeepSeek+AnythingLLM实现本地私有AI知识库

Ollama DeepSeek + AnythingLLM 实现本地私有AI知识库 本地部署DeepSeek-r1下载安装AnythingLLMAnythingLLM 配置LLM首选项Embedder首选项向量数据库工作区其他配置 AnythingLLM Workspace使用上传知识词嵌入知识检索

本文主要介绍了如何使用AnythingLLM结合Ollama部署的DeepSeek-r1模型来实现私有的本地AI知识库。

本地部署DeepSeek-r1

使用ollama本地部署deepseek-r1:7b模型：

ollama pull deepseek-r1:7b

下载完成后无需手动启动。AnythingLLM会自动运行配置好的ollama模型。

deepseek部署教程： gottdeskrieges.blog.csdn.net/article/details/145462161ollama软件默认安装路径：C:\Users\<用户名>\AppData\Local\Programs\Ollamaollama下载的模型默认保存位置：C:\Users\<用户名>\.ollama\models

常用的ollama命令：

ollama list # 列出已下载的模型 ollama ps # 列出正在运行的模型 ollama pull deepseek-r1:7b # 下载模型 ollama run deepseek-r1:7b # 运行模型 ollama stop deepseek-r1:7b # 停止运行模型 ollama rm deepseek-r1:7b # 删除模型 下载安装AnythingLLM AnythingLLM官方下载： anythingllm /desktopAnythingLLM软件默认安装路径：C:\Users\<用户名>\AppData\Local\Programs\AnythingLLMAnythingLLM数据默认存储位置：C:\Users\<用户名>\AppData\Roaming\anythingllm-desktop\storage

下一步安装完成后会看到下面的首页。

AnythingLLM 配置 LLM首选项 在LLM Preference中选择Ollama。

AnythingLLM会自动识别出Ollama下载到本地的AI大模型。在Ollama Model中选择已经下载好的deepseek-r1:7b。

点开advanced settings，确认Ollama Base URL信息是否准确。

Embedder首选项 词嵌入模型（Embedding Preference）选择AnythingLLM Embedder。该配置后面也可以更改。

向量数据库 向量数据库（Vector Database）选择LanceDB。该配置后面也可以更改。 工作区 命名你的第一个Workspace。

其他配置 看到下面的页面就表示的你的AnythingLLM初始化配置完成啦！

点击左下角的扳手图标可以修改配置。

📖 外观选项卡里可以更改默认显示语言为中文。

📖 AI Providers选项卡里可以修改LLM首选项、Embedder首选项、向量数据库配置。

AnythingLLM Workspace使用

你的工作区长下面这样。看起来是不是像一个聊天机器人的对话框？默认使用default对话。点击New Thread可以新建一个对话。

上传知识 点击upload a document或者工作区的分享图标可以向当前的Workspace添加知识。上传的知识可以是txt、csv、PDF、图片、或者音频文件，也可以是网页链接。

勾选已经上传的文档，并点击 Move to Workspace 将上传的文档移动到当前的工作区。

词嵌入 点击右下角的 Save and Embed 来对上传的知识进行词嵌入处理，并保存到向量数据库。

等待词嵌入完成后，点击右上角的叉号关闭知识上传的小窗口。整个词嵌入过程的耗时取决于上传知识的文件大小、以及本地机器的物理配置（CPU/内存/显存）。 知识检索 在工作区的default会话中提问。AnythingLLM会自动调起ollama本地部署的deepseek模型，并检索上传的知识来回答。

点击Show Citations可以看到此次回答引用的本地知识。

如果长时间没有对话，AnythingLLM也会自动停止后台的deepseek模型运行。

以上。