一、環境搭建------安裝最新的版本conda create -n sglang python=3.12conda activate sglang最好創建不同的環境pip install vllmpip install sglang==0.4.1.post7 啓動的簡單命令python3 -m sglang.launchserver --model ./DeepSeek-R1-Distill-Q ⌘ Read more
一、環境搭建------安裝最新的版本conda create -n sglang python=3.12conda activate sglang最好創建不同的環境pip install vllmpip install sglang==0.4.1.post7 啓動的簡單命令python3 -m sglang.launchserver --model ./DeepSeek-R1-Distill-Q ⌘ Read more