Qwen3.5-9B开源大模型教程：从HuggingFace下载到本地WebUI上线

Qwen3.5-9B开源大模型教程从HuggingFace下载到本地WebUI上线1. 项目概述Qwen3.5-9B是一款拥有90亿参数的开源大语言模型具备强大的逻辑推理、代码生成和多轮对话能力。最新版本还支持多模态理解图文输入和长达128K tokens的上下文处理能力。这个教程将带你从零开始完成从HuggingFace下载模型到本地WebUI上线的完整流程。我们将使用Conda环境管理工具基于torch28环境进行部署。2. 环境准备2.1 系统要求操作系统Linux (推荐Ubuntu 20.04)GPUNVIDIA显卡显存建议16GB以上内存32GB以上存储空间至少50GB可用空间2.2 Conda环境配置# 创建conda环境 conda create -n torch28 python3.10 -y # 激活环境 conda activate torch28 # 安装基础依赖 pip install torch2.8.0 transformers5.0.0 gradio6.x huggingface_hub1.3.03. 模型下载与部署3.1 从HuggingFace下载模型# 创建模型存储目录 mkdir -p /root/ai-models/Qwen # 使用huggingface_hub下载模型 python -c from huggingface_hub import snapshot_download; snapshot_download(repo_idQwen/Qwen3.5-9B, local_dir/root/ai-models/Qwen/Qwen3.5-9B)3.2 创建符号链接ln -s /root/ai-models/Qwen/Qwen3.5-9B /root/ai-models/Qwen/Qwen3___5-9B4. WebUI部署4.1 项目结构/root/qwen3.5-9b/ ├── app.py # 主程序 (Gradio WebUI) ├── start.sh # 启动脚本 ├── service.log # 运行日志 └── history.json # 对话历史记录4.2 创建启动脚本创建start.sh文件#!/bin/bash source /opt/miniconda3/etc/profile.d/conda.sh conda activate torch28 python /root/qwen3.5-9b/app.py赋予执行权限chmod x /root/qwen3.5-9b/start.sh4.3 Supervisor配置创建配置文件/etc/supervisor/conf.d/qwen3.5-9b.conf[program:qwen3.5-9b] command/bin/bash /root/qwen3.5-9b/start.sh directory/root/qwen3.5-9b environmentHOME/root,USERroot,LOGNAMEroot,SHELL/bin/bash,PATH/opt/miniconda3/envs/torch28/bin:/usr/bin:/bin userroot autostarttrue autorestarttrue startsecs30 startretries3 redirect_stderrtrue stdout_logfile/root/qwen3.5-9b/service.log stopasgrouptrue killasgrouptrue更新Supervisor配置supervisorctl update5. 使用指南5.1 服务管理命令# 查看服务状态 supervisorctl status qwen3.5-9b # 重启服务 supervisorctl restart qwen3.5-9b # 停止服务 supervisorctl stop qwen3.5-9b # 查看实时日志 tail -f /root/qwen3.5-9b/service.log5.2 WebUI访问本地访问: http://localhost:7860网络访问: http://服务器IP:78605.3 功能使用文本对话在输入框输入问题点击Send或按回车等待模型回复图片分析在右侧Upload Image上传图片在输入框描述你想问的问题点击Send参数调节Max tokens: 生成文本的最大长度 (64-8192)Temperature: 采样温度越高越随机 (0.0-1.5)Top P: 核采样阈值越低越确定 (0.1-1.0)Top K: 采样候选数越少越确定 (1-100)6. 常见问题排查6.1 服务启动失败检查步骤:检查进程状态supervisorctl status qwen3.5-9b查看最新日志supervisorctl tail qwen3.5-9b检查conda环境是否正常检查模型文件是否存在6.2 模型加载慢/卡住原因: 模型文件较大(~19GB)首次加载需要时间解决:等待2-3分钟让模型完全加载检查GPU是否可用nvidia-smi查看日志确认加载进度6.3 端口被占用# 检查端口占用 ss -tlnp | grep 7860 # 查看哪个进程占用 lsof -i :78607. 日常维护7.1 清理对话历史rm -f /root/qwen3.5-9b/history.json supervisorctl restart qwen3.5-9b7.2 清理日志# 备份当前日志 cp /root/qwen3.5-9b/service.log /root/qwen3.5-9b/service.log.bak # 清空日志 /root/qwen3.5-9b/service.log # 重启服务 supervisorctl restart qwen3.5-9b8. 总结通过本教程你已经成功将Qwen3.5-9B大模型从HuggingFace下载并部署到本地WebUI。这个强大的开源模型可以用于各种自然语言处理任务包括文本生成、代码编写和多模态理解。记住首次加载模型可能需要较长时间请耐心等待。如果遇到任何问题可以参考本文的故障排查部分或者查看服务日志获取更多信息。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。