Qwen3.5-9B企业级部署：Supervisor开机自启+异常自动重启+日志分级管理

Qwen3.5-9B企业级部署Supervisor开机自启异常自动重启日志分级管理1. 项目概述Qwen3.5-9B是一款拥有90亿参数的开源大语言模型具备强大的逻辑推理、代码生成和多轮对话能力。该模型支持多模态理解图文输入和长上下文处理最高可达128K tokens是企业级AI应用的理想选择。1.1 核心能力强逻辑推理能够处理复杂的逻辑问题和推理任务代码生成支持多种编程语言的代码生成和补全多轮对话保持上下文连贯的长对话能力多模态理解支持图片上传和分析Qwen3.5-9B-VL变体长上下文支持最高可处理128K tokens的上下文2. 部署环境准备2.1 基础环境# 创建conda环境 conda create -n torch28 python3.10 conda activate torch28 # 安装基础依赖 pip install torch2.8.0 transformers5.0.0 gradio6.x huggingface_hub1.3.02.2 项目结构/root/qwen3.5-9b/ ├── app.py # 主程序 (Gradio WebUI) ├── start.sh # 启动脚本 ├── service.log # 运行日志 └── history.json # 对话历史记录3. Supervisor配置与管理3.1 配置文件位置Supervisor配置文件位于/etc/supervisor/conf.d/qwen3.5-9b.conf[program:qwen3.5-9b] command/bin/bash /root/qwen3.5-9b/start.sh directory/root/qwen3.5-9b environmentHOME/root,USERroot,LOGNAMEroot,SHELL/bin/bash,PATH/opt/miniconda3/envs/torch28/bin:/usr/bin:/bin userroot autostarttrue autorestarttrue startsecs30 startretries3 redirect_stderrtrue stdout_logfile/root/qwen3.5-9b/service.log stopasgrouptrue killasgrouptrue3.2 关键配置说明autostarttrue系统启动时自动运行服务autorestarttrue进程异常退出时自动重启startsecs30等待30秒确认进程稳定启动startretries3启动失败时重试3次stdout_logfile指定日志文件路径3.3 常用管理命令# 查看服务状态 supervisorctl status qwen3.5-9b # 重启服务 supervisorctl restart qwen3.5-9b # 停止服务 supervisorctl stop qwen3.5-9b # 重新加载配置 supervisorctl reread supervisorctl update4. 日志管理与分析4.1 日志文件位置服务日志存储在/root/qwen3.5-9b/service.log4.2 日志分级管理可以通过修改启动脚本start.sh实现日志分级#!/bin/bash export LOG_LEVELINFO # 可设置为DEBUG, INFO, WARNING, ERROR python app.py service.log 214.3 常见日志信息日志信息级别含义Loading model from...INFO正在加载模型Loading weights: XX%INFO模型权重加载进度Model loaded successfully!INFO模型加载成功Running on local URL: http://127.0.0.1:7860INFO服务已启动CUDA out of memoryERRORGPU内存不足Timeout waiting for responseWARNING请求超时4.4 日志分析技巧# 查看实时日志 tail -f /root/qwen3.5-9b/service.log # 筛选错误信息 grep -i error\|exception\|traceback /root/qwen3.5-9b/service.log # 统计不同级别日志数量 grep -c INFO /root/qwen3.5-9b/service.log grep -c WARNING /root/qwen3.5-9b/service.log grep -c ERROR /root/qwen3.5-9b/service.log5. 服务访问与使用5.1 访问地址本地访问: http://localhost:7860网络访问: http://服务器IP:78605.2 功能使用文本对话在输入框输入问题点击Send或按回车等待模型回复图片分析在右侧Upload Image上传图片在输入框描述你想问的问题如这张图片里有什么点击Send参数调节Max tokens: 生成文本的最大长度 (64-8192)Temperature: 采样温度越高越随机 (0.0-1.5)Top P: 核采样阈值越低越确定 (0.1-1.0)Top K: 采样候选数越少越确定 (1-100)6. 故障排查与维护6.1 常见问题解决服务启动失败# 检查进程状态 supervisorctl status qwen3.5-9b # 查看详细日志 supervisorctl tail qwen3.5-9b模型加载慢/卡住# 检查GPU状态 nvidia-smi # 查看模型加载进度 grep Loading weights /root/qwen3.5-9b/service.log端口被占用# 检查端口占用情况 ss -tlnp | grep 7860 # 查看占用进程 lsof -i :78606.2 日常维护清理对话历史rm -f /root/qwen3.5-9b/history.json supervisorctl restart qwen3.5-9b日志轮转# 备份当前日志 cp /root/qwen3.5-9b/service.log /root/qwen3.5-9b/service.log.$(date %Y%m%d) # 清空日志 /root/qwen3.5-9b/service.log # 重启服务 supervisorctl restart qwen3.5-9b7. 性能优化建议7.1 启动参数优化修改start.sh脚本添加以下参数#!/bin/bash export CUDA_VISIBLE_DEVICES0 # 指定使用的GPU export PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128 # 内存分配策略 python app.py --load_in_8bit True --device_map auto service.log 217.2 模型加载优化使用accelerate库加速模型加载考虑使用bitsandbytes进行8位量化对于固定部署环境可以预加载模型到内存7.3 资源监控# 监控GPU使用情况 watch -n 1 nvidia-smi # 监控内存使用 free -h # 监控CPU使用 top8. 总结通过Supervisor部署Qwen3.5-9B模型我们实现了开机自启确保服务随系统启动异常自动重启提高服务稳定性日志分级管理便于问题排查和系统监控完善的维护方案包括日志轮转、历史清理等这种部署方式特别适合企业生产环境能够保证AI服务的持续可用性和稳定性。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。