SGLang部署大模型

SGLang部署大模型 环境信息基础组件安装创建python虚拟环境安装python模块下载模型部署模型

显存需求较高， 本地4G显存0.5B都无法部署 支持多机多卡部署 支持GPU、CPU混合运行 支持运行格式pt,safetensors,npcache,dummy,gguf,bitsandbytes,layered

环境信息

机器01 操作系统：Debain 12.9/Ubuntu 24.04 CPU：i7-10750H 内存：32G 显卡：GTX 1650（4G） 硬盘：SSD（1T） IP：192.168.3.17

基础组件安装

基础组件安装

创建python虚拟环境 python3 -m venv ~/sglang source ~/sglang/bin/activate 安装python模块 # 使用清华大学python源， pypi.tuna.tsinghua.edu /simple pip install --upgrade pip -i pypi.tuna.tsinghua.edu /simple pip install sgl-kernel --force-reinstall --no-deps -i pypi.tuna.tsinghua.edu /simple pip install "sglang[all]>=0.4.3.post2" -i mirrors.aliyun /pypi/simple/ # If you encounter ImportError; cannot import name 'is_valid_list_of_images' from 'transformers.models.llama.image_processing_llama', try to use the specified version of transformers in pyproject.toml. Currently, just running pip install modelscope unsloth unsloth_zoo bitsandbytes transformers==4.48.3 -i mirrors.aliyun /pypi/simple/ 下载模型 modelscope download --model 'unsloth/DeepSeek-R1-Distill-Qwen-1.5B' --local_dir 'unsloth/DeepSeek-R1-Distill-Qwen-1.5B' 部署模型 python -m sglang.launch_server --model-path ~/ollama/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF/DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf --quantization gguf --cpu-offload-gb 4 --dtype float16 --context-length 16380 --api-key sg-5bgrMOCJ5OSBKQV5XbHz --trust-remote-code --host 0.0.0.0 --port 14144

本地资源有限，暂无效果图