openEuler/llm_solution一键部署实战从零搭建本地知识库与智能应用平台【免费下载链接】llm_solutionA solution for large model inference, such as DeepSeek, built with full-stack open-source components.项目地址: https://gitcode.com/openeuler/llm_solution前往项目官网免费下载https://ar.openeuler.org/ar/想要快速搭建自己的AI大模型推理平台和本地知识库吗openEuler/llm_solution为您提供了一个完整的开源全栈解决方案本文将为您详细介绍如何使用这个强大的工具在短短20分钟内完成DeepSeek大模型和openEuler Intelligence智能应用的部署开启您的AI应用开发之旅。为什么选择openEuler/llm_solution在AI技术快速发展的今天大模型部署面临着三大核心挑战适配难、成本高、生态割裂。openEuler/llm_solution正是为了解决这些问题而生的全栈开源推理解决方案这个方案基于openEuler操作系统集成了MindSpore推理框架、vLLM推理引擎、openGauss数据库等核心组件提供了从硬件到应用层的完整技术栈。无论您是AI初学者还是企业开发者都能通过这个方案快速搭建稳定高效的本地AI平台。技术架构概览让我们先来看看openEuler/llm_solution的整体技术架构从上图可以看到整个方案分为九大技术层次智能应用平台层- 提供任务规划编排、智能体MCP服务领域模型层- 操作系统领域专用模型推理服务层- vLLM、SGLang等推理引擎加速层- sysHAX、expert-kit、LMCache等加速组件框架层- MindSpore、PyTorch等深度学习框架数据工程层- openGauss、PG Vector等数据处理工具任务管理平台层- 容器编排和分布式计算引擎编译器层- 异构融合编译器和算子生成工具操作系统与硬件层- openEuler操作系统和异构硬件支持一键部署实战指南环境准备在开始部署之前请确保您的环境满足以下要求操作系统OpenEuler 22.03 LTS SP4及以上版本硬件要求单机部署至少1台Atlas 800I A2服务器8×64G多机部署至少2台Atlas 800I A2服务器8×64G存储空间根据模型权重选择需要400G-700G空间软件依赖Docker、Python3、oedp、k3s、helm第一步获取项目代码首先克隆项目仓库到本地git clone https://gitcode.com/openeuler/llm_solution cd llm_solution第二步模型权重准备openEuler/llm_solution支持多种主流大模型包括DeepSeek、Qwen、Llama等。以DeepSeek-R1为例您需要下载相应的模型权重A16W4量化模型需要约400G存储空间W8A8量化模型需要约700G存储空间将下载的权重文件放置在统一路径下例如/home/ds/deepseek-r1。所有参与部署的节点都需要访问相同的权重路径。第三步驱动与固件安装确保您的昇腾硬件驱动和固件版本符合要求# 检查当前驱动和固件版本 npu-smi info -t board -i 1 | egrep -i software|firmware # 安装必要的内核开发包 yum install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r)第四步一键部署配置进入部署脚本目录配置部署参数cd script/mindspore-intelligence编辑配置文件config.yaml设置模型路径、部署模式等参数。配置文件位于script/mindspore-deepseek/config.yaml。第五步执行一键部署一切准备就绪后运行部署脚本cd script/mindspore-intelligence/scripts bash deploy.sh您将看到以下菜单选项 主部署菜单 0) 一键自动部署 1) 手动分步部署 2) 重启服务 3) 卸载所有组件并清除数据 4) 退出程序 选择选项0开始全自动部署。系统将自动完成以下步骤✅ 环境检查与验证✅ k3s和helm工具安装✅ Ollama部署✅ DeepSeek模型部署✅ Embedding模型部署✅ 数据库安装openGauss、MongoDB等✅ AuthHub认证中心部署✅ openEuler Intelligence智能应用安装整个部署过程约需20分钟完成后您将获得一个完整的AI推理平台部署效果验证部署完成后您可以通过以下方式验证系统状态检查服务状态# 查看所有部署的服务 kubectl get pods -n euler-copilot # 检查DeepSeek推理服务 curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: deepseek-r1, messages: [ {role: user, content: 你好介绍一下openEuler操作系统} ] }访问智能应用平台打开浏览器访问http://您的服务器IP:3000您将看到openEuler Intelligence智能应用平台界面。该平台提供以下核心功能智能问答基于本地知识库的智能对话智能调优操作系统性能优化建议智能运维自动化运维和故障诊断深度研究多智能体协同的深度分析核心功能详解1. 智能调优能力openEuler Intelligence的智能调优功能基于领域专用模型OS_model在多个典型场景下实现显著性能提升大数据Spark场景性能提升15%数据库PostgreSQL/MySQL性能提升50%虚拟化Nginx应用性能提升150%分布式存储Ceph性能提升50%2. 异构算力协同通过sysHAX和LMCache等组件系统能够智能调度CPU、NPU、GPU等异构计算资源动态任务分配专用硬件处理专用任务统一资源池将分散的异构算力虚拟为统一资源内存优化通过Prefix Caching和CacheGen技术大幅提升性能3. 多框架兼容支持MindSpore、PyTorch等多种深度学习框架无需重写代码即可迁移模型统一API接口简化模型调用流程动态图优化推理稳定性提升30%生态复用完整继承PyTorch生态工具常见问题与解决方案Q1部署过程中出现驱动不兼容问题怎么办A确保您的内核版本与驱动要求匹配。参考doc/deepseek/DeepSeek-V3R1部署指南.md中的驱动安装章节使用正确的驱动版本。Q2模型权重下载失败如何处理A可以尝试从镜像站点下载或使用预构建的镜像。项目提供了基础镜像和Agent镜像可以直接使用基础镜像包含操作系统、驱动、推理框架Agent镜像包含完整的智能应用平台Q3如何扩展部署到多节点集群A修改配置文件中的节点配置确保所有节点能够访问相同的模型权重路径。多机部署需要配置网络直连模式确保NPU卡之间的网络联通性。进阶使用技巧自定义模型部署除了DeepSeek您还可以部署其他50主流大模型Qwen系列参考doc/qwen/qwen系列-300IDuo-部署指南.mdLlama系列参考doc/llama/Llama系列-300IDuo-部署指南.mdGLM系列支持GLM-4等模型性能优化配置根据您的硬件配置调整以下参数batch_size调整推理批处理大小max_tokens设置最大生成token数quantization选择合适的量化策略INT4/INT8监控与运维系统内置了完整的监控体系资源监控CPU、内存、NPU使用率服务健康检查自动故障检测和恢复日志管理集中式日志收集和分析总结openEuler/llm_solution为AI大模型部署提供了完整、开源、易用的全栈解决方案。通过本文介绍的一键部署方法您可以在20分钟内搭建起属于自己的本地知识库和智能应用平台。无论您是想要构建企业级AI应用还是进行学术研究这个方案都能为您提供强大的技术支持。现在就开始您的AI之旅吧立即行动访问项目仓库按照本文指南开始部署开启您的智能应用开发新篇章【免费下载链接】llm_solutionA solution for large model inference, such as DeepSeek, built with full-stack open-source components.项目地址: https://gitcode.com/openeuler/llm_solution创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考