Qwen3使用vllm启动训练后的lora模型

#!/bin/bash # 删除旧容器忽略不存在的错误 docker rm -f test 2/dev/null # 启动预测 docker run \ --name test \ -p 1787:8000 \ -v $(pwd):/workspace \ -w /workspace \ -v /global/models/Qwen3-30B-A3B:/models \ -v /global/data/model/Qwen3-30B-A3B-lora:/lora \ -e PYTHONPATH/workspace \ -e CUDA_VISIBLE_DEVICES1,2,5,7 \ vllm/vllm-openai:latest \ --model /models \ --served-model-name test-Qwen3-30B-A3B \ --enable-lora \ --lora-modules my_lora/lora \ --max-loras 1 \ --max-lora-rank 64 \ --host 0.0.0.0 \ --port 8000