大模型這個(gè)東西前兩年還只是論文里的概念今年已經(jīng)變成很多公司和個(gè)人開發(fā)者手里的常規(guī)工具了。尤其是開源模型的崛起類似Qwen、Llama、DeepSeek這些模型權(quán)重全部開放讓自己部署一個(gè)私有大模型從極客折騰變成了完全可行的工程實(shí)踐。我在這上面踩了不少坑也終于把整套流程跑通了。如果你手里有一臺(tái)Linux服務(wù)器想把大模型部署上去自己用或者想開放給公司內(nèi)部調(diào)用這篇文章基本能覆蓋你從零到上線的大部分問題。先說說這套東西到底是什么、能解決什么問題在Linux服務(wù)器上部署大模型本質(zhì)就是把一個(gè)開源的大語言模型權(quán)重下載下來用推理框架加載到GPU顯存里對外提供一套API接口讓業(yè)務(wù)代碼可以像調(diào)用OpenAI那樣調(diào)用你自己的模型。這樣做的好處很多——數(shù)據(jù)不出內(nèi)網(wǎng)、按量收費(fèi)的API成本省掉、可以針對業(yè)務(wù)做定制微調(diào)也不用擔(dān)心第三方服務(wù)不穩(wěn)定。適合誰來參考需要給團(tuán)隊(duì)搭建內(nèi)網(wǎng)AI能力的后端工程師、做獨(dú)立產(chǎn)品想集成AI能力的開發(fā)者以及剛?cè)肟哟竽Ｐ拖肓私獠渴疬@套流程的在校學(xué)生。哪怕你只有一臺(tái)普通PC顯卡性能一般文章里也會(huì)講清楚怎么用CPU兜底或者用量化小模型湊合跑。1. 先想清楚在Linux服務(wù)器上部署大模型到底在折騰什么很多人第一次接觸大模型部署這個(gè)概念會(huì)懵覺得是不是要訓(xùn)練一個(gè)模型不是。部署和訓(xùn)練完全是兩碼事。訓(xùn)練是在海量數(shù)據(jù)上調(diào)整模型參數(shù)需要幾十甚至幾百張GPU跑幾周到幾個(gè)月。部署則是把已經(jīng)訓(xùn)練好的模型權(quán)重加載進(jìn)推理框架用GPU做前向計(jì)算響應(yīng)一次次的請求。你只需要關(guān)心模型怎么加載、推理框架怎么配置、顯存夠不夠、并發(fā)能不能撐住。這背后涉及幾個(gè)關(guān)鍵組件模型權(quán)重開源社區(qū)下載的權(quán)重文件比如Qwen2.5-7B-Instruct參數(shù)量70億fp16精度下約占14GB顯存。推理框架Ollama、vLLM、Transformers這類工具負(fù)責(zé)把權(quán)重加載進(jìn)顯存、執(zhí)行張量計(jì)算、把請求轉(zhuǎn)成token再生成文本。API服務(wù)把推理能力封裝成HTTP接口讓外部系統(tǒng)通過OpenAI兼容的格式調(diào)用。硬件資源GPU是核心如果沒有GPU也可以用CPU硬扛但速度會(huì)慢很多。整個(gè)部署過程的核心矛盾就是顯存大小和模型大小之間的博弈。顯存不夠模型就裝不進(jìn)去。模型太大就得靠量化用更低精度表示參數(shù)來壓縮體積。所以你會(huì)看到動(dòng)不動(dòng)就有人聊q4_k_mawqgptq本質(zhì)上都是在用精度換顯存。我見過不少人在這一步就放棄問我的顯卡只有8GB顯存能部署7B模型嗎答案是可以但要用4bit量化。也有土豪直接上A100直接跑70B模型。搞清楚自己的硬件邊界再?zèng)Q定用哪個(gè)模型這是部署的第一步。另外Linux服務(wù)器相比Windows更適合部署大模型原因很實(shí)際NVIDIA驅(qū)動(dòng)和CUDA生態(tài)在Linux下最完整vLLM這些框架對Linux的支持最好服務(wù)器環(huán)境也更接近生產(chǎn)環(huán)境。如果你用的是帶NVIDIA顯卡的Linux機(jī)器下面的內(nèi)容直接照著做就行。2. 部署前的硬性準(zhǔn)備硬件、系統(tǒng)與基礎(chǔ)環(huán)境很多人在部署中翻車不是因?yàn)槟Ｐ瓦x錯(cuò)了而是環(huán)境沒準(zhǔn)備好。這一節(jié)把前置條件掰開講清楚。2.1 硬件選型顯存、內(nèi)存、CPU如何估算先給一個(gè)最樸素的顯存估算公式模型顯存占用 ≈ 參數(shù)量B× 精度字節(jié)數(shù) × 1.2 到 1.5 的冗余系數(shù)fp16精度下每個(gè)參數(shù)占2字節(jié)所以7B模型7 × 2 14GB加上推理時(shí)的KV Cache和中間激活值實(shí)際建議至少24GB顯存。13B模型13 × 2 26GB實(shí)際至少32GB。70B模型70 × 2 140GB單卡基本沒戲需要多卡并行。如果顯存不夠就用量化。4bit量化下每個(gè)參數(shù)約0.5字節(jié)7B模型只要大約4GB顯存8GB顯卡也能跑起來。代價(jià)是效果有一定損耗不過對于日常對話、文本生成這種場景感知不明顯。內(nèi)存方面建議至少是模型顯存占用的兩倍。CPU要有一塊像樣的因?yàn)椴糠炙阕訒?huì)落到CPU上瓶頸往往出現(xiàn)在數(shù)據(jù)加載和tokenize環(huán)節(jié)。至于GPU型號消費(fèi)級的RTX 409024GB能舒服地跑7B-13B模型專業(yè)級的A100/A800/H800則是大規(guī)模部署的選擇。2.2 系統(tǒng)與驅(qū)動(dòng)Ubuntu NVIDIA驅(qū)動(dòng) CUDA推薦使用Ubuntu 20.04或22.04 LTS穩(wěn)定且社區(qū)資料多。全新服務(wù)器先升級系統(tǒng)并安裝依賴apt update apt upgrade -y apt install -y build-essential dkms linux-headers-$(uname -r)如果系統(tǒng)里沒有NVIDIA驅(qū)動(dòng)最容易的方式是通過官方runfile或者apt安裝。apt方式最省心apt install -y nvidia-driver-535 reboot重啟后執(zhí)行nvidia-smi看到類似這樣的輸出就說明驅(qū)動(dòng)正常----------------------------------------------------------------------------- | NVIDIA-SMI 535.xxx Driver Version: 535.xxx CUDA Version: 12.2 | -----------------------------------------------------------------------------注意nvidia-smi顯示的CUDA Version是驅(qū)動(dòng)支持的最高CUDA版本不是當(dāng)前環(huán)境裝的CUDA。后面實(shí)際用CUDA要么裝完整的CUDA Toolkit要么直接用pip裝PyTorch時(shí)自帶的CUDA依賴后者省事很多。2.3 Python環(huán)境虛擬環(huán)境是必須的很多模型和推理框架依賴不同版本的Python和PyTorch直接裝在系統(tǒng)里極容易沖突。強(qiáng)烈建議用conda或venv隔離環(huán)境。conda安裝簡單下載Miniconda后一路默認(rèn)即可wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh source ~/.bashrc創(chuàng)建虛擬環(huán)境conda create -n llm python3.10 -y conda activate llm后面所有跟模型相關(guān)的依賴全部裝在這個(gè)環(huán)境里與系統(tǒng)隔離出問題直接刪環(huán)境重來成本很低。3. 模型量級與推理框架的匹配選擇模型選多大框架選哪個(gè)決定了你后續(xù)的體驗(yàn)。這一節(jié)我把常用組合和選型邏輯講清楚。3.1 本地最先試的Ollama輕量、開箱即用如果你的訴求是最快速度跑起來Ollama絕對是最優(yōu)解。它把模型下載、推理引擎、API服務(wù)全部打包了一條命令就能搞定。安裝curl -fsSL https://ollama.com/install.sh | sh下載模型并運(yùn)行ollama run qwen2.5:7b這條命令會(huì)自動(dòng)去拉取Qwen2.5-7B模型然后進(jìn)入交互式對話。關(guān)閉交互模式后也可以用APIcurl http://localhost:11434/api/generate -d { model: qwen2.5:7b, prompt: 你好 }Ollama還內(nèi)置了OpenAI兼容接口端口是11434格式為/v1/chat/completions這意味著你原來寫好的OpenAI SDK調(diào)用只要把base_url改一下就能接過來。Ollama適合個(gè)人開發(fā)和快速驗(yàn)證它犧牲了一些高級控制項(xiàng)比如不能精細(xì)調(diào)KV Cache策略、不能做pipeline并行但對于中小流量完全夠用。3.2 更專業(yè)的vLLM吞吐量優(yōu)先如果要把模型部署成一個(gè)正式的API服務(wù)接受成百上千的并發(fā)請求vLLM是更合適的選擇。vLLM用了PagedAttention技術(shù)顯存利用率極高吞吐量比常規(guī)推理實(shí)現(xiàn)高幾倍。安裝pip install vllm啟動(dòng)Qwen2.5-7Bpython -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen2.5-7B-Instruct \ --served-model-name qwen2.5-7b \ --tensor-parallel-size 1 \ --host 0.0.0.0 \ --port 8000啟動(dòng)后使用OpenAI SDK訪問from openai import OpenAI client OpenAI( api_keyEMPTY, base_urlhttp://your-server-ip:8000/v1 ) response client.chat.completions.create( modelqwen2.5-7b, messages[{role: user, content: 你好}] ) print(response.choices[0].message.content)vLLM的調(diào)優(yōu)參數(shù)比較多后面實(shí)操章節(jié)我會(huì)詳細(xì)展開。3.3 其他方案Transformers、TGI、SGLang對比框架特點(diǎn)適合場景TransformersHuggingFace官方庫最通用能跑所有模型研究、調(diào)試、跑通流程vLLM高吞吐、PagedAttention、OpenAI兼容生產(chǎn)環(huán)境API服務(wù)Ollama一鍵安裝、內(nèi)置模型倉庫個(gè)人開發(fā)、內(nèi)網(wǎng)快速搭建TGIHuggingFace出品為生產(chǎn)優(yōu)化大規(guī)模生產(chǎn)、依賴HF生態(tài)SGLang新銳高性能、結(jié)構(gòu)化輸出需要高級推理控制追求極致性能選框架有個(gè)簡單原則能跑通就行選Ollama要上生產(chǎn)選vLLM搞學(xué)術(shù)實(shí)驗(yàn)選Transformers。不要一上來就折騰TGI和SGLang除非你的業(yè)務(wù)場景確實(shí)需要它們的高級特性。4. 實(shí)操在Linux上完整部署一個(gè)開源模型以Qwen2.5-7B-Instruct為例紙上談兵聊完了現(xiàn)在來真實(shí)的實(shí)操。我以Qwen2.5-7B-Instruct為例分別用Ollama和vLLM兩種方式部署一遍全部命令都在Linux服務(wù)器上執(zhí)行過。4.1 用Ollama三步跑起來第一步安裝Ollamacurl -fsSL https://ollama.com/install.sh | sh安裝腳本會(huì)自動(dòng)檢測系統(tǒng)和GPU配置好systemd服務(wù)。第二步下載并運(yùn)行模型ollama run qwen2.5:7b首次運(yùn)行會(huì)顯示下載進(jìn)度如果是國內(nèi)服務(wù)器下載速度可能會(huì)比較慢。實(shí)在慢的話可以配置國內(nèi)鏡像源Ollama支持通過OLLAMA_HOST和鏡像地址環(huán)境變量來優(yōu)化。第三步測試APIcurl http://localhost:11434/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen2.5:7b, messages: [{role: user, content: 部署大模型需要注意什么}] }返回結(jié)果就是一個(gè)標(biāo)準(zhǔn)的JSON包含assistant的回復(fù)內(nèi)容。到這里模型已經(jīng)跑起來了前后十分鐘都不到。4.2 用vLLM以O(shè)penAI兼容接口部署vLLM的安裝需要Python環(huán)境建議在conda環(huán)境里操作conda create -n vllm python3.10 -y conda activate vllm pip install vllm如果服務(wù)器沒有NVIDIA驅(qū)動(dòng)vLLM裝完也是白搭運(yùn)行前一定先執(zhí)行nvidia-smi確認(rèn)GPU可見。啟動(dòng)服務(wù)python -m vllm.entrypoints.openai.api_server \ --model /data/models/Qwen2.5-7B-Instruct \ --served-model-name qwen2.5-7b \ --tensor-parallel-size 1 \ --host 0.0.0.0 \ --port 8000這里我指定了本地路徑/data/models/Qwen2.5-7B-Instruct因?yàn)樯a(chǎn)環(huán)境一般會(huì)先把模型權(quán)重download到本地避免每次啟動(dòng)都去HuggingFace拉取。下載模型可以用modelscope或者h(yuǎn)uggingface-cli# 用modelscope下載國內(nèi)速度快 pip install modelscope modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir /data/models/Qwen2.5-7B-Instruct啟動(dòng)成功后控制臺(tái)會(huì)打印類似INFO: Started server process [xxxx]的字樣此時(shí)用curl測試curl http://localhost:8000/v1/models能返回模型列表就說明服務(wù)正常。測試對話curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen2.5-7b, messages: [{role: user, content: 你好介紹一下你自己}], temperature: 0.7, max_tokens: 512 }4.3 關(guān)鍵參數(shù)怎么調(diào)max-model-len、gpu-memory-utilization、tensor-parallel-sizevLLM里最重要的三個(gè)參數(shù)我一個(gè)個(gè)解釋max-model-len這個(gè)參數(shù)控制模型最大上下文長度。Qwen2.5-7B-Instruct支持最長32768個(gè)token的上下文但是上下文越長KV Cache占用顯存就越大。如果你設(shè)置為32768顯存里有很大一部分要預(yù)留給Cache能同時(shí)處理的并發(fā)請求就會(huì)減少。一般業(yè)務(wù)場景設(shè)8192足夠如果只是做簡單問答設(shè)4096更穩(wěn)妥。gpu-memory-utilization這個(gè)參數(shù)控制vLLM最多使用顯存的百分比默認(rèn)是0.9。如果服務(wù)器上還有其他進(jìn)程建議調(diào)低到0.7或0.8防止OOM。我自己的經(jīng)驗(yàn)是專用推理服務(wù)器可以設(shè)0.95既能利用顯存又不至于讓PyTorch分配失敗如果有其他服務(wù)共宿老老實(shí)實(shí)0.8。tensor-parallel-size當(dāng)模型單卡裝不下時(shí)設(shè)為2、4、8表示用多少張GPU并行推理。這個(gè)參數(shù)不是越多越好多卡并行會(huì)引入通信開銷只有模型大到單卡無法承載時(shí)才用得上。對7B模型來說一張4090就夠跑千萬別設(shè)成2白白浪費(fèi)卡。一個(gè)我自己踩過的坑vLLM默認(rèn)會(huì)嘗試從HuggingFace加載tokenizer和config但如果服務(wù)器無法訪問外網(wǎng)會(huì)卡在下載階段很久。解決辦法是先手動(dòng)把模型下載到本地然后啟動(dòng)命令里直接指定本地路徑。5. 上線前后的性能調(diào)優(yōu)與穩(wěn)定性排查模型跑起來了只是第一步我在實(shí)際部署中還遇到過各種奇怪問題。這一節(jié)把調(diào)優(yōu)思路和故障排查經(jīng)驗(yàn)整理出來。5.1 顯存與并發(fā)如何估算最大并發(fā)上線前總會(huì)被問這個(gè)服務(wù)能支撐多少并發(fā)可以用一個(gè)粗略公式最大并發(fā) ≈ 總顯存 - 模型權(quán)重占用 / 每個(gè)請求的KV Cache大小KV Cache大小跟模型大小、上下文長度、量化方式相關(guān)很難精確計(jì)算但可以用實(shí)測方式參考。先用nvidia-smi看看空閑顯存。假設(shè)總顯存24GB模型權(quán)重占14GB剩余約10GB。如果每個(gè)請求平均輸出512個(gè)token上下文長度設(shè)4096每個(gè)請求KV Cache大約占0.5-1GB那并發(fā)大概在10-20之間。想要提升并發(fā)常見做法降低max-model-len限制最大上下文減少KV Cache預(yù)留。使用量化模型讓模型權(quán)重占用更小騰出更多顯存給Cache。增加GPU數(shù)量用tensor-parallel-size或者多實(shí)例部署。合理設(shè)置流式輸出而不是一次性等完整結(jié)果減少峰值壓力。5.2 常見故障與排查方法速查表現(xiàn)象可能原因解決辦法CUDA out of memory顯存不足或碎片調(diào)低gpu-memory-utilization、換量化模型、減少max-model-len模型下載慢/失敗網(wǎng)絡(luò)問題使用Modelscope鏡像、或先下載到本地再加載API請求超時(shí)并發(fā)高、模型推理慢開啟流式輸出、增加GPU、限制max_tokensRailway/云服務(wù)器端口不通防火墻或安全組檢查云安全組入站規(guī)則放行對應(yīng)端口ImportError: libcublas.soCUDA依賴缺失安裝PyTorch對應(yīng)版本的CUDA依賴pip install torch --index-url ...Ollama啟動(dòng)后GPU不可用驅(qū)動(dòng)未裝或權(quán)限不足檢查nvidia-smi確認(rèn)用戶有權(quán)限訪問GPU中文輸出亂碼模型未正確加載tokenizer重試加載確認(rèn)模型路徑正確不要隨意改加載方式5.3 后臺(tái)運(yùn)行與開機(jī)自啟開發(fā)時(shí)可以前臺(tái)跑但生產(chǎn)環(huán)境必須讓服務(wù)在后臺(tái)穩(wěn)定運(yùn)行服務(wù)器重啟后也要自動(dòng)拉起。我習(xí)慣用systemd管理vLLM服務(wù)。新建一個(gè)service文件vim /etc/systemd/system/vllm.service內(nèi)容如下[Unit] DescriptionvLLM API Server Afternetwork.target [Service] Userroot WorkingDirectory/data EnvironmentPATH/root/miniconda3/envs/vllm/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin ExecStart/root/miniconda3/envs/vllm/bin/python -m vllm.entrypoints.openai.api_server \ --model /data/models/Qwen2.5-7B-Instruct \ --served-model-name qwen2.5-7b \ --tensor-parallel-size 1 \ --host 0.0.0.0 \ --port 8000 [Install] WantedBymulti-user.target執(zhí)行systemctl daemon-reload systemctl enable vllm systemctl start vllm systemctl status vllm查看日志用journalctl -u vllm -f非常方便。5.4 Linux運(yùn)維實(shí)用命令清單部署和排查過程中下面這些命令我?guī)缀趺刻於家? 查看顯存狀態(tài) nvidia-smi # 查看內(nèi)存和swap free -h # 查看磁盤占用 df -h # 查看端口占用 lsof -i:8000 # 查看進(jìn)程 ps aux | grep vllm top # 查看GPU進(jìn)程 nvidia-smi --query-compute-appspid,used_memory --formatcsv # 持續(xù)查看日志 journalctl -u vllm -f # 測API耗時(shí) curl -w time_total: %{time_total}s\n -X POST http://localhost:8000/v1/chat/completions ...用得多了自然會(huì)記住初期記不住也沒關(guān)系用的時(shí)候查就行。6. 項(xiàng)目上線后的一些經(jīng)驗(yàn)和后續(xù)擴(kuò)展方向前幾節(jié)把部署流程和問題排查講得比較透了最后聊一點(diǎn)我自己的體會(huì)。踩過幾次坑之后我最深的感受是部署大模型的難點(diǎn)不在跑起來而在穩(wěn)定地跑下去。跑起來只需要一條ollama run命令但要讓服務(wù)在業(yè)務(wù)流量下穩(wěn)定不OOM、延遲可控、請求不超時(shí)這才是真正的功夫。一個(gè)很實(shí)用的經(jīng)驗(yàn)先小后大。第一次部署不要一上來就上70B模型用7B模型跑通全鏈路再換更大的模型。這個(gè)全鏈路包括模型加載、API調(diào)用、權(quán)限管理、日志監(jiān)控、告警。很多問題在小模型上出現(xiàn)時(shí)更容易定位。另外有條件的話一定要做好監(jiān)控。至少要看四類指標(biāo)GPU顯存利用率接近100%時(shí)說明模型權(quán)重大或并發(fā)高及時(shí)擴(kuò)容。GPU溫度長時(shí)間高溫會(huì)降低性能甚至燒卡注意散熱。API響應(yīng)延遲P95延遲超過用戶預(yù)期時(shí)優(yōu)化模型或提升硬件。錯(cuò)誤率頻繁超時(shí)或500錯(cuò)誤要查服務(wù)日志和GPU顯存碎片。后續(xù)擴(kuò)展方向上如果你想讓模型更貼合業(yè)務(wù)可以做領(lǐng)域微調(diào)用LoRA在消費(fèi)級顯卡上也能跑如果想讓多個(gè)模型共享顯存可以用vLLM的多模型部署或者單獨(dú)起多實(shí)例按路由分發(fā)如果要接入企業(yè)微信這類辦公系統(tǒng)把API用到的base_url指向你的服務(wù)就行實(shí)際上大模型只是個(gè)后端跟這些系統(tǒng)集成是很自然的事。最后再分享一個(gè)小技巧部署完成后一定要在防火墻上限制端口訪問權(quán)限不要把8000端口直接裸奔到公網(wǎng)。用nginx做反向代理加一層鑒權(quán)這樣既安全負(fù)載均衡也更方便。大模型部署并不是什么高不可攀的事只要你有一臺(tái)帶NVIDIA顯卡的Linux服務(wù)器照著上面這些步驟走一遍很快就能跑起來屬于自己的模型服務(wù)。等真正跑通了你會(huì)回來感謝自己按下回車那一刻的勇氣。