零成本搭建企业级本地私有化 AI 知识库Dify DeepSeek 实战指南适用场景企业内部文档问答、个人笔记管理、团队知识沉淀核心优势数据完全本地存储、零 API 费用、支持离线使用预计耗时30-45 分钟不含模型下载时间一、技术架构与原理这套方案采用经典的RAG检索增强生成架构用户提问 → 向量检索Embedding → 召回相关文档片段 → LLM 生成答案核心组件分工Ollama本地大模型运行时负责加载 DeepSeek 等开源模型Dify可视化 AI 应用开发平台提供知识库管理、对话界面、工作流编排DeepSeek国产开源大模型中文理解能力强支持 1.5B 到 671B 多种规格Embedding 模型将文本转为向量实现语义检索推荐 bge-m3 或 shaw/dmeta-embedding-zh二、环境准备2.1 硬件要求配置等级CPU内存存储可运行模型入门4核8GB20GBDeepSeek-R1 1.5B/7B推荐8核16GB50GBDeepSeek-R1 14B高性能16核32GB100GBDeepSeek-R1 32B注意无需 NVIDIA 显卡纯 CPU 即可运行速度会慢一些2.2 安装 DockerDocker 是整个方案的容器化基础所有服务都通过 Docker 部署。Windows/macOS访问 Docker 官网 下载 Docker Desktop安装时勾选使用 WSL2 后端Windows或按默认配置Mac启动 Docker Desktop跳过登录即可配置国内镜像源解决下载慢的问题进入 Docker Desktop → Settings → Docker Engine添加{registry-mirrors:[https://docker.m.daocloud.io,https://docker.1panel.live,https://hub.rat.dev]}验证安装docker--versiondockercompose version三、部署本地大模型Ollama3.1 安装 Ollama访问 ollama.com 下载对应系统版本一键安装。验证安装ollama--version3.2 拉取 DeepSeek 模型根据你的硬件配置选择模型规格# 轻量级适合 8GB 内存ollama pull deepseek-r1:7b# 标准版推荐16GB 内存ollama pull deepseek-r1:14b# 高性能版32GB 内存ollama pull deepseek-r1:32b下载时间取决于网速7B 约 4GB14B 约 9GB3.3 验证模型运行ollama list# 查看已安装模型ollama run deepseek-r1:7b# 启动交互模式看到提示符说明成功输入/bye退出。四、部署 Dify 平台4.1 获取 Dify 源码# 克隆仓库或直接从 GitHub 下载 zip 解压gitclone https://github.com/langgenius/dify.gitcddify/docker4.2 配置环境变量# 复制配置文件cp.env.example .env# 编辑 .env 文件在末尾添加以下关键配置关键配置项决定 Dify 能否连接本地 Ollama# 启用自定义模型CUSTOM_MODEL_ENABLEDtrue# 关键让 Docker 容器内的 Dify 能访问宿主机的 Ollama# Windows/Mac 用这个自动解析宿主机 IPOLLAMA_API_BASE_URLhttp://host.docker.internal:11434# Linux 用这个填写实际内网 IP# OLLAMA_API_BASE_URLhttp://192.168.1.100:11434获取 Linux 内网 IP 的方法ipconfig# Windowsifconfig# Linux/Mac找 inet 后面的地址4.3 启动 Dify# Docker Compose V2新版dockercompose up-d# 如果是旧版 Docker Composedocker-composeup-d首次启动会拉取多个镜像耗时 5-10 分钟。看到所有容器状态为healthy即成功 。访问 Dify浏览器打开http://localhost/install设置管理员账号邮箱密码然后登录进入主界面。五、配置模型供应商5.1 添加对话模型LLM点击右上角头像 →设置→模型供应商找到Ollama点击添加模型填写配置模型类型LLM模型名称deepseek-r1:7b必须与 ollama list 显示的名称完全一致基础 URLhttp://host.docker.internal:11434最大 Tokens根据模型调整7B 建议 4096点击保存5.2 添加 Embedding 模型关键步骤Embedding 模型负责将文档转为向量是知识库检索的基础。先下载 Embedding 模型# 推荐 bge-m3中文效果好支持多语言ollama pull bge-m3:567m# 或轻量级中文模型ollama pull shaw/dmeta-embedding-zh在 Dify 中添加模型供应商页面点击添加模型模型类型选择Text Embedding模型名称bge-m3:567m或你下载的模型名基础 URL同样填写http://host.docker.internal:11434保存5.3 设置系统默认模型在模型供应商页面右侧点击系统模型设置系统推理模型选择刚才添加的 deepseek-r1:7b系统 Embedding 模型选择 bge-m3:567m系统重排模型可选暂不配置六、创建知识库核心步骤6.1 准备文档支持格式TXT、PDF、Word、Excel、Markdown建议先将文档整理好去除页眉页脚、重复内容单个文件不超过 10MB。6.2 创建知识库进入 Dify 主界面点击顶部知识库→创建知识库选择导入已有文本→上传文件可多选点击下一步6.3 配置处理参数分段设置保持默认即可分段标识自动分段最大长度500 Tokens分段重叠长度50 Tokens索引方式关键选择高质量Embedding 模型选择 bge-m3:567m检索设置推荐选择混合检索结合关键词语义检索效果更好或者语义检索纯向量匹配点击保存并处理等待系统完成向量化时间取决于文档大小。6.4 测试召回效果处理完成后点击召回测试输入一个与文档内容相关的问题查看系统召回的文档片段是否准确如不准确可调整TopK值返回多少个片段或相似度阈值七、创建 AI 应用7.1 创建聊天助手进入工作室→创建空白应用选择聊天助手或 Agent如需复杂逻辑填写应用名称如企业知识助手7.2 配置应用编排页面设置提示词Prompt你是一个专业的企业知识库助手。请基于以下知识库内容回答用户问题。 如果知识库中没有相关信息请明确告知抱歉该信息未收录在知识库中我无法回答。 不要编造答案。 知识库内容 {{#context#}}关联知识库在上下文区域点击添加选择刚才创建的知识库选择模型右上角选择 deepseek-r1:7b调整温度0.1-0.3 适合问答0.7 适合创意7.3 调试与测试在右侧调试与预览窗口测试知识库内问题“公司的请假流程是什么” → 应准确回答知识库外问题“明天天气如何” → 应拒绝回答或提示无相关信息7.4 发布应用点击右上角发布→运行获得一个独立的 Web 访问链接可嵌入到企业内网或分享给团队成员八、进阶优化技巧8.1 提升检索准确率问题解决方案召回内容不相关降低相似度阈值如从 0.8 调到 0.6遗漏关键信息增加 TopK 值从 3 调到 5-8大文档处理慢拆分为小文件或调整分段长度表格数据识别差先转为 Markdown 表格再上传8.2 对接外部工具Agent 模式在Agent应用类型中可添加网页搜索补充实时信息代码执行处理数据分析任务数据库查询对接企业数据库8.3 多模型对比Dify 支持同时配置多个模型在发布前可对比不同模型的回答质量选择最适合的。九、常见问题排查问题现象原因解决方案Dify 无法连接 OllamaDocker 网络隔离检查.env中的OLLAMA_API_BASE_URL是否为内网 IP 或host.docker.internal模型加载失败模型名称不匹配确保 Dify 中填写的模型名与ollama list显示完全一致知识库处理卡住Embedding 模型未配置检查是否已添加 Text Embedding 模型并设为系统默认回答速度慢纯 CPU 运行大模型换更小的模型如 1.5B或启用 GPU 加速文档解析失败格式不支持或损坏转为 TXT 或 Markdown 重试十、总结与扩展通过本教程你已经搭建了一套完整的私有化 AI 知识库系统✅数据安全所有文档和模型都在本地不上传云端✅零 API 成本无需购买大模型 API一次性部署长期使用✅灵活扩展支持多知识库、多应用、多模型切换✅团队协作可发布为 Web 应用供多人使用后续可探索方向接入企业微信/钉钉机器人实现 IM 直接问答使用 Workflow 模式搭建自动化报告生成结合语音合成TTS实现语音交互部署到服务器供远程团队访问这套方案已被众多中小企业和个人开发者验证是 2025 年最具性价比的本地知识库解决方案。如果在部署过程中遇到问题欢迎在评论区留言交流。参考资源Dify 官方文档docs.dify.aiOllama 模型库ollama.com/libraryDeepSeek 官方deepseek.com