就緒)
PrivateGPT Docker部署完全指南一條命令從本地跑通到生產(chǎn)就緒【免費(fèi)下載鏈接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pr/privateGPTPrivateGPT 是一個(gè)開(kāi)源的本地 AI 應(yīng)用 API 層它把 Ollama、vLLM、llama.cpp 等本地模型變成生產(chǎn)級(jí)私有 AI 應(yīng)用的后端提供 RAG 檢索、引用溯源、工具調(diào)用、MCP 連接器和 Text-to-SQL 等能力。本文帶你用 Docker 部署 PrivateGPT一條docker run命令即可從本地跑通再進(jìn)階到生產(chǎn)就緒的配置。全程只需約 5 分鐘。為什么選擇 Docker 部署 PrivateGPT很多新手在本地跑通模型后會(huì)遇到第二個(gè)問(wèn)題如何把模型變成一個(gè)可用的 AI 應(yīng)用后端Ollama、vLLM 回答的是怎么跑模型而 PrivateGPT 回答的是怎么在模型之上構(gòu)建應(yīng)用。用 Docker 部署 PrivateGPT 有三大好處環(huán)境隔離容器自帶 Python 3.11 運(yùn)行時(shí)、文檔解析庫(kù)LibreOffice、Poppler和瀏覽器依賴(lài)無(wú)需在本機(jī)裝任何環(huán)境可復(fù)現(xiàn)官方鏡像zylonai/private-gpt:latest預(yù)裝core全家桶隨時(shí)拉取、隨時(shí)回滾生產(chǎn)就緒容器化本身就是生產(chǎn)部署的標(biāo)準(zhǔn)形態(tài)后續(xù)擴(kuò)展為多容器編排毫無(wú)障礙鏡像的構(gòu)建細(xì)節(jié)可以查看倉(cāng)庫(kù)中的 Dockerfile多階段構(gòu)建已經(jīng)把依賴(lài)安裝、瀏覽器緩存、編碼文件都提前打包好了。部署前的準(zhǔn)備工作啟動(dòng)你的 LLM 服務(wù)器PrivateGPT本身不跑模型它通過(guò)OPENAI_API_BASE連接任意兼容 OpenAI 協(xié)議的推理服務(wù)器。最簡(jiǎn)單的新手選擇是 Ollama# 拉取一個(gè)對(duì)話模型LLM ollama pull qwen3.5:35b # 拉取一個(gè)嵌入模型EmbeddingsRAG 檢索必需 ollama pull mxbai-embed-large # 啟動(dòng)服務(wù)默認(rèn)監(jiān)聽(tīng) 11434 端口 ollama serve 如果你用的是 LM Studio、llama.cpp 或 vLLM只要它們實(shí)現(xiàn)了/v1/chat/completions和/v1/models接口PrivateGPT 都能自動(dòng)發(fā)現(xiàn)并注冊(cè)模型無(wú)需任何配置文件。更多對(duì)比見(jiàn) providers 文檔。一鍵 Docker 部署 PrivateGPTmacOS / Windows一條命令啟動(dòng)docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ zylonai/private-gpt:latesthost.docker.internal是 Docker 在 macOS 和 Windows 上訪問(wèn)宿主機(jī)的特殊域名讓容器內(nèi)的 PrivateGPT 能找到你本機(jī)運(yùn)行的 Ollama。Linux 用戶(hù)使用 host 網(wǎng)絡(luò)模式docker run --network host \ -e OPENAI_API_BASEhttp://localhost:11434/v1 \ zylonai/private-gpt:latest如果 LLM 服務(wù)器需要 API Keydocker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:8000/v1 \ -e OPENAI_API_KEYyour-api-key \ zylonai/private-gpt:latest完整的分步說(shuō)明見(jiàn) Docker 安裝文檔。驗(yàn)證部署打開(kāi)內(nèi)置 Workbench UI容器啟動(dòng)后打開(kāi)瀏覽器訪問(wèn)http://localhost:8080/ui你會(huì)看到 PrivateGPT 內(nèi)置的 Workbench 工作臺(tái)這個(gè) UI 不只是聊天窗口你可以用它快速驗(yàn)證部署是否成功發(fā)送消息確認(rèn)模型能正?；貜?fù)上傳文檔測(cè)試 RAG 檢索與引用溯源按會(huì)話開(kāi)啟工具Web 搜索、代碼執(zhí)行等配置數(shù)據(jù)庫(kù)、MCP 連接器和自定義工具API 本體運(yùn)行在http://localhost:8080遵循 Anthropic 風(fēng)格 API 規(guī)范全部端點(diǎn)參考 API Reference。部署成功后Workbench 內(nèi)置的API Debugger還能實(shí)時(shí)抓包查看每一次請(qǐng)求與響應(yīng)排查問(wèn)題時(shí)非常直觀生產(chǎn)就緒4 個(gè)關(guān)鍵配置從本地跑通到生產(chǎn)就緒只差下面 4 步1?? 掛載數(shù)據(jù)卷持久化上傳的文檔默認(rèn)情況下攝入的文檔存在容器內(nèi)部容器一刪就沒(méi)了。掛載一個(gè)卷即可解決docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -v ./local_data:/home/worker/app/local_data \ zylonai/private-gpt:latest2?? 使用配置 Profile 管理模型參數(shù)PrivateGPT 通過(guò) YAML 配置文件管理所有設(shè)置。項(xiàng)目根目錄的 settings.yaml 是所有配置的基線每個(gè)值都支持${環(huán)境變量:默認(rèn)值}的寫(xiě)法因此改配置不用改代碼、不用重建鏡像。生產(chǎn)環(huán)境推薦創(chuàng)建獨(dú)立的 profile 文件如settings-prod.yaml啟動(dòng)時(shí)加載docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -e PGPT_PROFILESprod \ zylonai/private-gpt:latestprofile 的加載與合并機(jī)制詳見(jiàn) How it works 與 Settings Profiles。3?? 開(kāi)啟鑒權(quán)與觀測(cè)鑒權(quán)在 profile 中設(shè)置server.auth.enabled: true并配置secret防止 API 被未授權(quán)訪問(wèn)可觀測(cè)性設(shè)置observability.mode: arize_phoenix或opik把每一次 LLM 調(diào)用、嵌入請(qǐng)求和檢索步驟都變成可視化 trace詳見(jiàn) Observability 文檔4?? 按需構(gòu)建自定義鏡像如果默認(rèn)鏡像不滿(mǎn)足需求比如要加隊(duì)列、可觀測(cè)性組件可以從源碼構(gòu)建并指定 extrasgit clone https://gitcode.com/GitHub_Trending/pr/privateGPT cd privateGPT docker build \ --build-arg EXTRAScore queue observability-opik \ -t private-gpt .常見(jiàn)問(wèn)題排查癥狀可能原因解決方式容器啟動(dòng)后連接 LLM 超時(shí)OPENAI_API_BASE地址錯(cuò)誤Linux 用--network hostlocalhostmacOS/Windows 用host.docker.internalUI 打不開(kāi)端口未映射確認(rèn)加了-p 8080:8080host 網(wǎng)絡(luò)模式除外上傳文檔檢索不到?jīng)]拉嵌入模型確認(rèn) Ollama 中已有mxbai-embed-large等嵌入模型重啟容器后文檔丟失未掛載數(shù)據(jù)卷添加-v ./local_data:/home/worker/app/local_data遇到更復(fù)雜的問(wèn)題可以查閱 故障排查文檔或用 Workbench 里的 API Debugger 直接看請(qǐng)求詳情?？偨Y(jié)階段你完成了什么? 一條命令docker run啟動(dòng) PrivateGPT連接 Ollama? 本地驗(yàn)證/ui打開(kāi) Workbench發(fā)消息、傳文檔、看引用? 生產(chǎn)就緒數(shù)據(jù)卷持久化 配置 Profile 鑒權(quán) 可觀測(cè)性PrivateGPT 讓本地模型與生產(chǎn) AI 應(yīng)用之間只差一個(gè) Docker 容器。裝好它之后你的 Ollama 就不再只是能聊天的模型倉(cāng)庫(kù)而是一個(gè)帶 RAG、工具、MCP 和數(shù)據(jù)查詢(xún)能力的完整私有 AI 后端。下一步建議從 Quickstart 指南 開(kāi)始把消息 API 接入你自己的應(yīng)用?！久赓M(fèi)下載鏈接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pr/privateGPT創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 PrivateGPT Docker部署完全指南：一條命令從本地跑通到生產(chǎn)就緒
PrivateGPT Docker部署完全指南一條命令從本地跑通到生產(chǎn)就緒【免費(fèi)下載鏈接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pr/privateGPTPrivateGPT 是一個(gè)開(kāi)源的本地 AI 應(yīng)用 API 層它把 Ollama、vLLM、llama.cpp 等本地模型變成生產(chǎn)級(jí)私有 AI 應(yīng)用的后端提供 RAG 檢索、引用溯源、工具調(diào)用、MCP 連接器和 Text-to-SQL 等能力。本文帶你用 Docker 部署 PrivateGPT一條docker run命令即可從本地跑通再進(jìn)階到生產(chǎn)就緒的配置。全程只需約 5 分鐘。為什么選擇 Docker 部署 PrivateGPT很多新手在本地跑通模型后會(huì)遇到第二個(gè)問(wèn)題如何把模型變成一個(gè)可用的 AI 應(yīng)用后端Ollama、vLLM 回答的是怎么跑模型而 PrivateGPT 回答的是怎么在模型之上構(gòu)建應(yīng)用。用 Docker 部署 PrivateGPT 有三大好處環(huán)境隔離容器自帶 Python 3.11 運(yùn)行時(shí)、文檔解析庫(kù)LibreOffice、Poppler和瀏覽器依賴(lài)無(wú)需在本機(jī)裝任何環(huán)境可復(fù)現(xiàn)官方鏡像zylonai/private-gpt:latest預(yù)裝core全家桶隨時(shí)拉取、隨時(shí)回滾生產(chǎn)就緒容器化本身就是生產(chǎn)部署的標(biāo)準(zhǔn)形態(tài)后續(xù)擴(kuò)展為多容器編排毫無(wú)障礙鏡像的構(gòu)建細(xì)節(jié)可以查看倉(cāng)庫(kù)中的 Dockerfile多階段構(gòu)建已經(jīng)把依賴(lài)安裝、瀏覽器緩存、編碼文件都提前打包好了。部署前的準(zhǔn)備工作啟動(dòng)你的 LLM 服務(wù)器PrivateGPT本身不跑模型它通過(guò)OPENAI_API_BASE連接任意兼容 OpenAI 協(xié)議的推理服務(wù)器。最簡(jiǎn)單的新手選擇是 Ollama# 拉取一個(gè)對(duì)話模型LLM ollama pull qwen3.5:35b # 拉取一個(gè)嵌入模型EmbeddingsRAG 檢索必需 ollama pull mxbai-embed-large # 啟動(dòng)服務(wù)默認(rèn)監(jiān)聽(tīng) 11434 端口 ollama serve 如果你用的是 LM Studio、llama.cpp 或 vLLM只要它們實(shí)現(xiàn)了/v1/chat/completions和/v1/models接口PrivateGPT 都能自動(dòng)發(fā)現(xiàn)并注冊(cè)模型無(wú)需任何配置文件。更多對(duì)比見(jiàn) providers 文檔。一鍵 Docker 部署 PrivateGPTmacOS / Windows一條命令啟動(dòng)docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ zylonai/private-gpt:latesthost.docker.internal是 Docker 在 macOS 和 Windows 上訪問(wèn)宿主機(jī)的特殊域名讓容器內(nèi)的 PrivateGPT 能找到你本機(jī)運(yùn)行的 Ollama。Linux 用戶(hù)使用 host 網(wǎng)絡(luò)模式docker run --network host \ -e OPENAI_API_BASEhttp://localhost:11434/v1 \ zylonai/private-gpt:latest如果 LLM 服務(wù)器需要 API Keydocker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:8000/v1 \ -e OPENAI_API_KEYyour-api-key \ zylonai/private-gpt:latest完整的分步說(shuō)明見(jiàn) Docker 安裝文檔。驗(yàn)證部署打開(kāi)內(nèi)置 Workbench UI容器啟動(dòng)后打開(kāi)瀏覽器訪問(wèn)http://localhost:8080/ui你會(huì)看到 PrivateGPT 內(nèi)置的 Workbench 工作臺(tái)這個(gè) UI 不只是聊天窗口你可以用它快速驗(yàn)證部署是否成功發(fā)送消息確認(rèn)模型能正?；貜?fù)上傳文檔測(cè)試 RAG 檢索與引用溯源按會(huì)話開(kāi)啟工具Web 搜索、代碼執(zhí)行等配置數(shù)據(jù)庫(kù)、MCP 連接器和自定義工具API 本體運(yùn)行在http://localhost:8080遵循 Anthropic 風(fēng)格 API 規(guī)范全部端點(diǎn)參考 API Reference。部署成功后Workbench 內(nèi)置的API Debugger還能實(shí)時(shí)抓包查看每一次請(qǐng)求與響應(yīng)排查問(wèn)題時(shí)非常直觀生產(chǎn)就緒4 個(gè)關(guān)鍵配置從本地跑通到生產(chǎn)就緒只差下面 4 步1?? 掛載數(shù)據(jù)卷持久化上傳的文檔默認(rèn)情況下攝入的文檔存在容器內(nèi)部容器一刪就沒(méi)了。掛載一個(gè)卷即可解決docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -v ./local_data:/home/worker/app/local_data \ zylonai/private-gpt:latest2?? 使用配置 Profile 管理模型參數(shù)PrivateGPT 通過(guò) YAML 配置文件管理所有設(shè)置。項(xiàng)目根目錄的 settings.yaml 是所有配置的基線每個(gè)值都支持${環(huán)境變量:默認(rèn)值}的寫(xiě)法因此改配置不用改代碼、不用重建鏡像。生產(chǎn)環(huán)境推薦創(chuàng)建獨(dú)立的 profile 文件如settings-prod.yaml啟動(dòng)時(shí)加載docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -e PGPT_PROFILESprod \ zylonai/private-gpt:latestprofile 的加載與合并機(jī)制詳見(jiàn) How it works 與 Settings Profiles。3?? 開(kāi)啟鑒權(quán)與觀測(cè)鑒權(quán)在 profile 中設(shè)置server.auth.enabled: true并配置secret防止 API 被未授權(quán)訪問(wèn)可觀測(cè)性設(shè)置observability.mode: arize_phoenix或opik把每一次 LLM 調(diào)用、嵌入請(qǐng)求和檢索步驟都變成可視化 trace詳見(jiàn) Observability 文檔4?? 按需構(gòu)建自定義鏡像如果默認(rèn)鏡像不滿(mǎn)足需求比如要加隊(duì)列、可觀測(cè)性組件可以從源碼構(gòu)建并指定 extrasgit clone https://gitcode.com/GitHub_Trending/pr/privateGPT cd privateGPT docker build \ --build-arg EXTRAScore queue observability-opik \ -t private-gpt .常見(jiàn)問(wèn)題排查癥狀可能原因解決方式容器啟動(dòng)后連接 LLM 超時(shí)OPENAI_API_BASE地址錯(cuò)誤Linux 用--network hostlocalhostmacOS/Windows 用host.docker.internalUI 打不開(kāi)端口未映射確認(rèn)加了-p 8080:8080host 網(wǎng)絡(luò)模式除外上傳文檔檢索不到?jīng)]拉嵌入模型確認(rèn) Ollama 中已有mxbai-embed-large等嵌入模型重啟容器后文檔丟失未掛載數(shù)據(jù)卷添加-v ./local_data:/home/worker/app/local_data遇到更復(fù)雜的問(wèn)題可以查閱 故障排查文檔或用 Workbench 里的 API Debugger 直接看請(qǐng)求詳情?？偨Y(jié)階段你完成了什么? 一條命令docker run啟動(dòng) PrivateGPT連接 Ollama? 本地驗(yàn)證/ui打開(kāi) Workbench發(fā)消息、傳文檔、看引用? 生產(chǎn)就緒數(shù)據(jù)卷持久化 配置 Profile 鑒權(quán) 可觀測(cè)性PrivateGPT 讓本地模型與生產(chǎn) AI 應(yīng)用之間只差一個(gè) Docker 容器。裝好它之后你的 Ollama 就不再只是能聊天的模型倉(cāng)庫(kù)而是一個(gè)帶 RAG、工具、MCP 和數(shù)據(jù)查詢(xún)能力的完整私有 AI 后端。下一步建議從 Quickstart 指南 開(kāi)始把消息 API 接入你自己的應(yīng)用?！久赓M(fèi)下載鏈接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pr/privateGPT創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考