部署實戰(zhàn)：Conda 環(huán)境、Docker、預(yù)訓(xùn)練權(quán)重下載與交互式 GAN 圖像編輯運行指南)
DragGAN 官方實現(xiàn)部署實戰(zhàn)Conda 環(huán)境、Docker、預(yù)訓(xùn)練權(quán)重下載與交互式 GAN 圖像編輯運行指南【免費下載鏈接】DragGANOfficial Code for DragGAN (SIGGRAPH 2023)項目地址: https://gitcode.com/GitHub_Trending/dr/DragGANDragGANDrag Your GANSIGGRAPH 2023的官方代碼實現(xiàn)了一套基于點的交互操作技術(shù)用戶在 GAN 生成圖像上拖拽控制點模型會在保持圖像處于生成流形generative image manifold上的同時讓對應(yīng)區(qū)域跟隨指針移動。本文基于當(dāng)前倉庫的 README 及配套腳本、配置文件與源碼完整覆蓋從環(huán)境安裝、Docker 部署、預(yù)訓(xùn)練 StyleGAN2 權(quán)重下載到本地 GUI 與 Gradio 網(wǎng)頁可視化器運行的全部流程并補充說明各腳本參數(shù)與底層實現(xiàn)幫助讀者獨立完成部署并擴展到其他 StyleGAN 模型。1. 項目背景與定位本項目是論文Drag Your GAN: Interactive Point-based Manipulation on the Generative Image ManifoldACM SIGGRAPH 2023 Conference Proceedings的官方實現(xiàn)作者為 Xingang Pan、Ayush Tewari、Thomas Leimkühler、Lingjie Liu、Abhimitra Meka、Christian TheobaltMax Planck Institute for Informatics 等。從倉庫結(jié)構(gòu)看項目由三類核心部分組成交互式可視化器桌面端 GUI 入口 visualizer_drag.py 與網(wǎng)頁端 Gradio 入口 visualizer_drag_gradio.py二者共用渲染與水印邏輯viz/renderer.pyStyleGAN 訓(xùn)練/推理基礎(chǔ)設(shè)施倉庫基于 NVIDIA 的 StyleGAN3 代碼庫開發(fā)保留了 training/、dnnlib/ 與 torch_utils/ 等模塊StyleGAN-Human 擴展代碼stylegan_human/ 目錄移植自 StyleGAN-Human 項目包含人體分割PP_HumanSeg、PTI 潛碼反演stylegan_human/run_pti.py等內(nèi)容供對真實人像圖像做編輯時使用。README 明確了許可證劃分DragGAN 算法相關(guān)代碼采用CC-BY-NC許可而所有來自 StyleGAN3 的代碼沿用NVIDIA Source Code License并且任何形式的使用與衍生版本都必須保留顯示 AI Generated 的水印功能。倉庫內(nèi) LICENSE.txt 即為上述許可文本。2. 環(huán)境準(zhǔn)備RequirementsREADME 給出的安裝路徑分為CUDA GPU 機器與CPU / Apple SiliconM1/M2機器兩條分支。2.1 NVIDIA CUDA 機器Conda 一鍵創(chuàng)建conda env create -f environment.yml conda activate stylegan3隨后安裝額外 Python 依賴pip install -r requirements.txt對照 environment.yml 可以看到該環(huán)境的關(guān)鍵約束這些也是復(fù)現(xiàn)時的常見踩坑點依賴版本約束說明python 3.8環(huán)境名固定為stylegan3pytorch 2.0.1來自pytorch通道cudatoolkit11.1注意不是 11.8/12.xCUDA 計算能力要求以 NVIDIA StyleGAN3 官方 requirements 為準(zhǔn)README 亦指明此點numpy / scipy 1.25 / 1.11.1—pillow9.4.0精確鎖定版本ninja1.10.2用于編譯torch_utils/ops中的 CUDA 擴展如upfirdn2d、filtered_lrelu等.cu內(nèi)核imgui / glfw2.0.0 / 2.6.1桌面 GUI 可視化器的窗口與綁定gui_utils/glfw_window.py、gui_utils/imgui_window.pygradio3.35.2網(wǎng)頁可視化器框架pyopengl / imageio-ffmpeg3.1.5 / 0.4.3OpenGL 渲染與視頻導(dǎo)出pyspng使用pyspng-seunglab替代包注釋明確說明 pyspng 在 MacOS 上存在問題requirements.txt 則補充了huggingface_hub與hf_transferHugging Face 高速下載等運行時依賴。2.2 CPU / Apple SiliconM1/M2機器剔除 CUDA 依賴README 給出的做法是先用grep從環(huán)境文件中過濾掉 NVIDIA/CUDA 相關(guān)條目再生成一份無 CUDA 的環(huán)境文件cat environment.yml | \ grep -v -E nvidia|cuda environment-no-nvidia.yml \ conda env create -f environment-no-nvidia.yml conda activate stylegan3 # On MacOS export PYTORCH_ENABLE_MPS_FALLBACK1其中export PYTORCH_ENABLE_MPS_FALLBACK1用于讓 PyTorch 在 Apple MetalMPS后端缺失某些算子時回退到 CPU是 M 系列芯片上運行 StyleGAN 推理的必要設(shè)置。由于桌面 GUI 還依賴 GLFW/OpenGLCPU/Mac 環(huán)境更適合直接運行下一節(jié)的 Gradio 或 Docker 方案。3. 在 Docker 中運行 Gradio 可視化器README 提供了一條最省事的體驗路徑基于 NGC PyTorch 倉庫的 Docker 鏡像。# before you build the docker container, make sure you have cloned this repo, # and downloaded the pretrained model by python scripts/download_model.py. docker build . -t draggan:latest docker run -p 7860:7860 -v $PWD:/workspace/src -it draggan:latest bash # (Use GPU) 如需用 NVIDIA GPU 加速請追加 --gpus all # docker run --gpus all -p 7860:7860 -v $PWD:/workspace/src -it draggan:latest bash cd src python visualizer_drag_gradio.py --listen運行后終端會打印 Gradio 的共享鏈接瀏覽器打開即可操作。README 特別提醒該 Docker 鏡像約占用 25 GB 磁盤空間。對照 Dockerfile 可以理解鏡像的構(gòu)成基礎(chǔ)鏡像為nvcr.io/nvidia/pytorch:23.05-py3即 NGC PyTorch 2023.05Python 3 系列預(yù)置 CUDA 與 PyTorchapt-get安裝了一組 X11/GL 開發(fā)庫xorg-dev、libgl1-mesa-dev、libxrandr-dev、libxi-dev等這些是為 imgui/GLFW 桌面窗口編譯運行準(zhǔn)備的系統(tǒng)依賴隨后pip install -r requirements.txt安裝 Python 依賴工作目錄設(shè)為/workspace并通過ENTRYPOINT /entry.sh透傳啟動命令因此docker run ... bash進入容器后cd src python visualizer_drag_gradio.py --listen才能訪問掛載到/workspace/src的倉庫代碼。-p 7860:7860對應(yīng) Gradio 默認(rèn)端口--listen參數(shù)在 visualizer_drag_gradio.py 中定義為“以0.0.0.0作為服務(wù)名啟動從而響應(yīng)來自網(wǎng)絡(luò)容器外部的請求”這正是容器內(nèi)必須帶該參數(shù)才能從宿主機訪問的原因。4. 下載預(yù)訓(xùn)練 StyleGAN2 權(quán)重在構(gòu)建 Docker 鏡像或本地運行之前需要先準(zhǔn)備模型權(quán)重python scripts/download_model.py該腳本scripts/download_model.py的工作機制值得了解它讀取同目錄的 scripts/download_models.json一個 URL → 本地文件名的映射把文件下載到checkpoints/目錄若本地文件已存在且大小與遠端content-length一致則跳過大小不一致則重新下載并用tqdm顯示進度條、下載完成后校驗完整性。從download_models.json可以看到腳本覆蓋的 8 個官方權(quán)重本地文件名對應(yīng)數(shù)據(jù)集stylegan2_lions_512_pytorch.pklLions 512stylegan2_dogs_1024_pytorch.pklDogs 1024stylegan2_horses_256_pytorch.pklHorses 256stylegan2_elephants_512_pytorch.pklElephants 512stylegan2-ffhq-512x512.pklFFHQ 人臉 512stylegan2-afhqcat-512x512.pklAFHQ Cat 512stylegan2-car-config-f.pkl汽車stylegan2-cat-config-f.pkl貓兩個注意事項額外數(shù)據(jù)集需手動下載。若要體驗StyleGAN-Human人體圖像和Landscapes HQ (LHQ)數(shù)據(jù)集README 要求從 Google Drive 對應(yīng)鏈接下載權(quán)重并放入./checkpoints目錄——這兩者不在download_model.py的自動清單里但后續(xù) GUI 啟動腳本會把它們一并加載見第 5 節(jié)可以替換為任意其他預(yù)訓(xùn)練 StyleGAN 權(quán)重。README 明確寫道 Feel free to try other pretrained StyleGAN只要模型為 StyleGAN2/StyleGAN3 的.pkl格式且能被dnnlib加載即可。5. 運行 DragGAN 桌面 GUI5.1 啟動命令Linux/macOSsh scripts/gui.shWindows.\scripts\gui.bat對比 scripts/gui.sh 與 scripts/gui.bat 的內(nèi)容可知二者本質(zhì)相同——都是調(diào)用python visualizer_drag.py并把 10 個預(yù)訓(xùn)練權(quán)重作為位置參數(shù)傳入checkpoints/stylegan2_lions_512_pytorch.pkl checkpoints/stylegan2-ffhq-512x512.pkl checkpoints/stylegan2-afhqcat-512x512.pkl checkpoints/stylegan2-car-config-f.pkl checkpoints/stylegan2_dogs_1024_pytorch.pkl checkpoints/stylegan2_horses_256_pytorch.pkl checkpoints/stylegan2-cat-config-f.pkl checkpoints/stylegan2_elephants_512_pytorch.pkl checkpoints/stylegan_human_v2_512.pkl checkpoints/stylegan2-lhq-256x256.pkl這也解釋了第 4 節(jié)中手動下載 StyleGAN-Human 與 LHQ 權(quán)重并放入./checkpoints的必要性gui.sh/gui.bat會引用這兩個文件若缺失對應(yīng)模型將無法加載。5.2 GUI 的源碼結(jié)構(gòu)從 visualizer_drag.py 的Visualizer類可以看出 GUI 的組織方式它繼承自imgui_window.ImguiWindow窗口標(biāo)題為 DragGAN初始尺寸 3840×2160內(nèi)部組合了四個 Widget 組件PickleWidgetviz/pickle_widget.py加載/切換.pkl模型權(quán)重LatentWidgetviz/latent_widget.py選擇潛碼隨機生成或載入DragWidgetviz/drag_widget.py設(shè)置點操控的拖拽目標(biāo)與交互CaptureWidgetviz/capture_widget.py保存編輯結(jié)果。渲染由AsyncRenderer異步執(zhí)行self._async_renderer拖拽操作即在生成圖像流形上按點約束求解潛碼的可視化結(jié)果渲染模塊 viz/renderer.py 中的add_watermark_np對應(yīng)許可證條款中必須保留 AI Generated 水印的要求。5.3 編輯真實圖像先做 GAN 反演README 指出GUI 默認(rèn)編輯的是GAN 生成的圖像若要編輯真實照片需要先用PTIProgressive Trilinear Interpolation等工具完成 GAN 反演把真實圖像映射回潛空間再把反演得到的潛碼與新權(quán)重加載進 GUI。本倉庫的 stylegan_human/run_pti.py 及 stylegan_human/pti/ 目錄含 E4E/PSp 編碼器與 StyleGAN2 投影器正是配套的反演基礎(chǔ)設(shè)施。6. 運行 DragGAN Gradio 網(wǎng)頁演示桌面 GUI 之外README 提供了一個跨平臺Windows/Linux 通用的網(wǎng)頁方案python visualizer_drag_gradio.py從 visualizer_drag_gradio.py 的參數(shù)定義可確認(rèn)其命令行接口參數(shù)默認(rèn)值作用--share開啟源碼中defaultTrue生成 Gradio 公共共享鏈接README 中打開終端打印出的 shared link即由此而來--cache-dir./checkpoints預(yù)訓(xùn)練權(quán)重緩存目錄與第 4 節(jié)的下載目錄一致--listen關(guān)閉以0.0.0.0啟動響應(yīng)網(wǎng)絡(luò)請求Docker 場景必須見第 3 節(jié)從源碼結(jié)構(gòu)看該入口把桌面版的功能搬到了網(wǎng)頁狀態(tài)機中clear_state()負責(zé)清空global_state中的points點操控歷史與mask區(qū)域遮罩重置為全 1 矩陣等編輯狀態(tài)工具函數(shù)集中在 gradio_utils/ImageMask、draw_points_on_image、get_latest_points_pair等用于在瀏覽器側(cè)渲染控制點與遮罩。需要注意源碼中推理設(shè)備寫死為device cuda即 Gradio 路徑預(yù)期在有 NVIDIA GPU 的環(huán)境本地 CUDA 環(huán)境或第 3 節(jié)的 Docker 鏡像下運行。7. 致謝、許可與引用致謝本代碼基于 NVIDIA 的 StyleGAN3 開發(fā)部分代碼取自 StyleGAN-Human 項目對應(yīng)倉庫內(nèi)的 stylegan_human/ 目錄。許可DragGAN 算法代碼為 CC-BY-NC源自 StyleGAN3 的代碼為 NVIDIA Source Code License任何使用與衍生版本必須保留 AI Generated 水印功能。引用如需在論文或文章中引用本項目README 給出的 BibTeX 為inproceedings{pan2023draggan, title{Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold}, author{Pan, Xingang and Tewari, Ayush, and Leimk{\u}hler, Thomas and Liu, Lingjie and Meka, Abhimitra and Theobalt, Christian}, booktitle {ACM SIGGRAPH 2023 Conference Proceedings}, year{2023} }8. 小結(jié)一條完整的部署路徑綜合以上各節(jié)在當(dāng)前倉庫中跑起 DragGAN 的標(biāo)準(zhǔn)路徑是conda env create -f environment.yml conda activate stylegan3 pip install -r requirements.txtMac/CPU 機器按第 2.2 節(jié)剔除 CUDA 依賴并設(shè)置PYTORCH_ENABLE_MPS_FALLBACK1python scripts/download_model.py下載 8 個官方 StyleGAN2 權(quán)重到checkpoints/StyleGAN-Human 與 LHQ 權(quán)重手動下載放入同目錄GPU 桌面環(huán)境執(zhí)行sh scripts/gui.shWindows 為scripts/gui.bat或直接python visualizer_drag_gradio.py無本地 GPU 環(huán)境時用docker build . -t draggan:latestdocker run --gpus all -p 7860:7860 -v $PWD:/workspace/src -it draggan:latest bash容器內(nèi)執(zhí)行cd src python visualizer_drag_gradio.py --listen打開共享鏈接。編輯真實照片時先用倉庫自帶的 PTI 工具鏈stylegan_human/run_pti.py完成 GAN 反演再加載潛碼與權(quán)重進入 GUI 即可。所有涉及的腳本與配置均可在倉庫中直接查閱scripts/download_model.py、scripts/download_models.json、scripts/gui.sh、Dockerfile、environment.yml、visualizer_drag.py 與 visualizer_drag_gradio.py?！久赓M下載鏈接】DragGANOfficial Code for DragGAN (SIGGRAPH 2023)項目地址: https://gitcode.com/GitHub_Trending/dr/DragGAN創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 DragGAN 官方實現(xiàn)部署實戰(zhàn)：Conda 環(huán)境、Docker、預(yù)訓(xùn)練權(quán)重下載與交互式 GAN 圖像編輯運行指南
DragGAN 官方實現(xiàn)部署實戰(zhàn)Conda 環(huán)境、Docker、預(yù)訓(xùn)練權(quán)重下載與交互式 GAN 圖像編輯運行指南【免費下載鏈接】DragGANOfficial Code for DragGAN (SIGGRAPH 2023)項目地址: https://gitcode.com/GitHub_Trending/dr/DragGANDragGANDrag Your GANSIGGRAPH 2023的官方代碼實現(xiàn)了一套基于點的交互操作技術(shù)用戶在 GAN 生成圖像上拖拽控制點模型會在保持圖像處于生成流形generative image manifold上的同時讓對應(yīng)區(qū)域跟隨指針移動。本文基于當(dāng)前倉庫的 README 及配套腳本、配置文件與源碼完整覆蓋從環(huán)境安裝、Docker 部署、預(yù)訓(xùn)練 StyleGAN2 權(quán)重下載到本地 GUI 與 Gradio 網(wǎng)頁可視化器運行的全部流程并補充說明各腳本參數(shù)與底層實現(xiàn)幫助讀者獨立完成部署并擴展到其他 StyleGAN 模型。1. 項目背景與定位本項目是論文Drag Your GAN: Interactive Point-based Manipulation on the Generative Image ManifoldACM SIGGRAPH 2023 Conference Proceedings的官方實現(xiàn)作者為 Xingang Pan、Ayush Tewari、Thomas Leimkühler、Lingjie Liu、Abhimitra Meka、Christian TheobaltMax Planck Institute for Informatics 等。從倉庫結(jié)構(gòu)看項目由三類核心部分組成交互式可視化器桌面端 GUI 入口 visualizer_drag.py 與網(wǎng)頁端 Gradio 入口 visualizer_drag_gradio.py二者共用渲染與水印邏輯viz/renderer.pyStyleGAN 訓(xùn)練/推理基礎(chǔ)設(shè)施倉庫基于 NVIDIA 的 StyleGAN3 代碼庫開發(fā)保留了 training/、dnnlib/ 與 torch_utils/ 等模塊StyleGAN-Human 擴展代碼stylegan_human/ 目錄移植自 StyleGAN-Human 項目包含人體分割PP_HumanSeg、PTI 潛碼反演stylegan_human/run_pti.py等內(nèi)容供對真實人像圖像做編輯時使用。README 明確了許可證劃分DragGAN 算法相關(guān)代碼采用CC-BY-NC許可而所有來自 StyleGAN3 的代碼沿用NVIDIA Source Code License并且任何形式的使用與衍生版本都必須保留顯示 AI Generated 的水印功能。倉庫內(nèi) LICENSE.txt 即為上述許可文本。2. 環(huán)境準(zhǔn)備RequirementsREADME 給出的安裝路徑分為CUDA GPU 機器與CPU / Apple SiliconM1/M2機器兩條分支。2.1 NVIDIA CUDA 機器Conda 一鍵創(chuàng)建conda env create -f environment.yml conda activate stylegan3隨后安裝額外 Python 依賴pip install -r requirements.txt對照 environment.yml 可以看到該環(huán)境的關(guān)鍵約束這些也是復(fù)現(xiàn)時的常見踩坑點依賴版本約束說明python 3.8環(huán)境名固定為stylegan3pytorch 2.0.1來自pytorch通道cudatoolkit11.1注意不是 11.8/12.xCUDA 計算能力要求以 NVIDIA StyleGAN3 官方 requirements 為準(zhǔn)README 亦指明此點numpy / scipy 1.25 / 1.11.1—pillow9.4.0精確鎖定版本ninja1.10.2用于編譯torch_utils/ops中的 CUDA 擴展如upfirdn2d、filtered_lrelu等.cu內(nèi)核imgui / glfw2.0.0 / 2.6.1桌面 GUI 可視化器的窗口與綁定gui_utils/glfw_window.py、gui_utils/imgui_window.pygradio3.35.2網(wǎng)頁可視化器框架pyopengl / imageio-ffmpeg3.1.5 / 0.4.3OpenGL 渲染與視頻導(dǎo)出pyspng使用pyspng-seunglab替代包注釋明確說明 pyspng 在 MacOS 上存在問題requirements.txt 則補充了huggingface_hub與hf_transferHugging Face 高速下載等運行時依賴。2.2 CPU / Apple SiliconM1/M2機器剔除 CUDA 依賴README 給出的做法是先用grep從環(huán)境文件中過濾掉 NVIDIA/CUDA 相關(guān)條目再生成一份無 CUDA 的環(huán)境文件cat environment.yml | \ grep -v -E nvidia|cuda environment-no-nvidia.yml \ conda env create -f environment-no-nvidia.yml conda activate stylegan3 # On MacOS export PYTORCH_ENABLE_MPS_FALLBACK1其中export PYTORCH_ENABLE_MPS_FALLBACK1用于讓 PyTorch 在 Apple MetalMPS后端缺失某些算子時回退到 CPU是 M 系列芯片上運行 StyleGAN 推理的必要設(shè)置。由于桌面 GUI 還依賴 GLFW/OpenGLCPU/Mac 環(huán)境更適合直接運行下一節(jié)的 Gradio 或 Docker 方案。3. 在 Docker 中運行 Gradio 可視化器README 提供了一條最省事的體驗路徑基于 NGC PyTorch 倉庫的 Docker 鏡像。# before you build the docker container, make sure you have cloned this repo, # and downloaded the pretrained model by python scripts/download_model.py. docker build . -t draggan:latest docker run -p 7860:7860 -v $PWD:/workspace/src -it draggan:latest bash # (Use GPU) 如需用 NVIDIA GPU 加速請追加 --gpus all # docker run --gpus all -p 7860:7860 -v $PWD:/workspace/src -it draggan:latest bash cd src python visualizer_drag_gradio.py --listen運行后終端會打印 Gradio 的共享鏈接瀏覽器打開即可操作。README 特別提醒該 Docker 鏡像約占用 25 GB 磁盤空間。對照 Dockerfile 可以理解鏡像的構(gòu)成基礎(chǔ)鏡像為nvcr.io/nvidia/pytorch:23.05-py3即 NGC PyTorch 2023.05Python 3 系列預(yù)置 CUDA 與 PyTorchapt-get安裝了一組 X11/GL 開發(fā)庫xorg-dev、libgl1-mesa-dev、libxrandr-dev、libxi-dev等這些是為 imgui/GLFW 桌面窗口編譯運行準(zhǔn)備的系統(tǒng)依賴隨后pip install -r requirements.txt安裝 Python 依賴工作目錄設(shè)為/workspace并通過ENTRYPOINT /entry.sh透傳啟動命令因此docker run ... bash進入容器后cd src python visualizer_drag_gradio.py --listen才能訪問掛載到/workspace/src的倉庫代碼。-p 7860:7860對應(yīng) Gradio 默認(rèn)端口--listen參數(shù)在 visualizer_drag_gradio.py 中定義為“以0.0.0.0作為服務(wù)名啟動從而響應(yīng)來自網(wǎng)絡(luò)容器外部的請求”這正是容器內(nèi)必須帶該參數(shù)才能從宿主機訪問的原因。4. 下載預(yù)訓(xùn)練 StyleGAN2 權(quán)重在構(gòu)建 Docker 鏡像或本地運行之前需要先準(zhǔn)備模型權(quán)重python scripts/download_model.py該腳本scripts/download_model.py的工作機制值得了解它讀取同目錄的 scripts/download_models.json一個 URL → 本地文件名的映射把文件下載到checkpoints/目錄若本地文件已存在且大小與遠端content-length一致則跳過大小不一致則重新下載并用tqdm顯示進度條、下載完成后校驗完整性。從download_models.json可以看到腳本覆蓋的 8 個官方權(quán)重本地文件名對應(yīng)數(shù)據(jù)集stylegan2_lions_512_pytorch.pklLions 512stylegan2_dogs_1024_pytorch.pklDogs 1024stylegan2_horses_256_pytorch.pklHorses 256stylegan2_elephants_512_pytorch.pklElephants 512stylegan2-ffhq-512x512.pklFFHQ 人臉 512stylegan2-afhqcat-512x512.pklAFHQ Cat 512stylegan2-car-config-f.pkl汽車stylegan2-cat-config-f.pkl貓兩個注意事項額外數(shù)據(jù)集需手動下載。若要體驗StyleGAN-Human人體圖像和Landscapes HQ (LHQ)數(shù)據(jù)集README 要求從 Google Drive 對應(yīng)鏈接下載權(quán)重并放入./checkpoints目錄——這兩者不在download_model.py的自動清單里但后續(xù) GUI 啟動腳本會把它們一并加載見第 5 節(jié)可以替換為任意其他預(yù)訓(xùn)練 StyleGAN 權(quán)重。README 明確寫道 Feel free to try other pretrained StyleGAN只要模型為 StyleGAN2/StyleGAN3 的.pkl格式且能被dnnlib加載即可。5. 運行 DragGAN 桌面 GUI5.1 啟動命令Linux/macOSsh scripts/gui.shWindows.\scripts\gui.bat對比 scripts/gui.sh 與 scripts/gui.bat 的內(nèi)容可知二者本質(zhì)相同——都是調(diào)用python visualizer_drag.py并把 10 個預(yù)訓(xùn)練權(quán)重作為位置參數(shù)傳入checkpoints/stylegan2_lions_512_pytorch.pkl checkpoints/stylegan2-ffhq-512x512.pkl checkpoints/stylegan2-afhqcat-512x512.pkl checkpoints/stylegan2-car-config-f.pkl checkpoints/stylegan2_dogs_1024_pytorch.pkl checkpoints/stylegan2_horses_256_pytorch.pkl checkpoints/stylegan2-cat-config-f.pkl checkpoints/stylegan2_elephants_512_pytorch.pkl checkpoints/stylegan_human_v2_512.pkl checkpoints/stylegan2-lhq-256x256.pkl這也解釋了第 4 節(jié)中手動下載 StyleGAN-Human 與 LHQ 權(quán)重并放入./checkpoints的必要性gui.sh/gui.bat會引用這兩個文件若缺失對應(yīng)模型將無法加載。5.2 GUI 的源碼結(jié)構(gòu)從 visualizer_drag.py 的Visualizer類可以看出 GUI 的組織方式它繼承自imgui_window.ImguiWindow窗口標(biāo)題為 DragGAN初始尺寸 3840×2160內(nèi)部組合了四個 Widget 組件PickleWidgetviz/pickle_widget.py加載/切換.pkl模型權(quán)重LatentWidgetviz/latent_widget.py選擇潛碼隨機生成或載入DragWidgetviz/drag_widget.py設(shè)置點操控的拖拽目標(biāo)與交互CaptureWidgetviz/capture_widget.py保存編輯結(jié)果。渲染由AsyncRenderer異步執(zhí)行self._async_renderer拖拽操作即在生成圖像流形上按點約束求解潛碼的可視化結(jié)果渲染模塊 viz/renderer.py 中的add_watermark_np對應(yīng)許可證條款中必須保留 AI Generated 水印的要求。5.3 編輯真實圖像先做 GAN 反演README 指出GUI 默認(rèn)編輯的是GAN 生成的圖像若要編輯真實照片需要先用PTIProgressive Trilinear Interpolation等工具完成 GAN 反演把真實圖像映射回潛空間再把反演得到的潛碼與新權(quán)重加載進 GUI。本倉庫的 stylegan_human/run_pti.py 及 stylegan_human/pti/ 目錄含 E4E/PSp 編碼器與 StyleGAN2 投影器正是配套的反演基礎(chǔ)設(shè)施。6. 運行 DragGAN Gradio 網(wǎng)頁演示桌面 GUI 之外README 提供了一個跨平臺Windows/Linux 通用的網(wǎng)頁方案python visualizer_drag_gradio.py從 visualizer_drag_gradio.py 的參數(shù)定義可確認(rèn)其命令行接口參數(shù)默認(rèn)值作用--share開啟源碼中defaultTrue生成 Gradio 公共共享鏈接README 中打開終端打印出的 shared link即由此而來--cache-dir./checkpoints預(yù)訓(xùn)練權(quán)重緩存目錄與第 4 節(jié)的下載目錄一致--listen關(guān)閉以0.0.0.0啟動響應(yīng)網(wǎng)絡(luò)請求Docker 場景必須見第 3 節(jié)從源碼結(jié)構(gòu)看該入口把桌面版的功能搬到了網(wǎng)頁狀態(tài)機中clear_state()負責(zé)清空global_state中的points點操控歷史與mask區(qū)域遮罩重置為全 1 矩陣等編輯狀態(tài)工具函數(shù)集中在 gradio_utils/ImageMask、draw_points_on_image、get_latest_points_pair等用于在瀏覽器側(cè)渲染控制點與遮罩。需要注意源碼中推理設(shè)備寫死為device cuda即 Gradio 路徑預(yù)期在有 NVIDIA GPU 的環(huán)境本地 CUDA 環(huán)境或第 3 節(jié)的 Docker 鏡像下運行。7. 致謝、許可與引用致謝本代碼基于 NVIDIA 的 StyleGAN3 開發(fā)部分代碼取自 StyleGAN-Human 項目對應(yīng)倉庫內(nèi)的 stylegan_human/ 目錄。許可DragGAN 算法代碼為 CC-BY-NC源自 StyleGAN3 的代碼為 NVIDIA Source Code License任何使用與衍生版本必須保留 AI Generated 水印功能。引用如需在論文或文章中引用本項目README 給出的 BibTeX 為inproceedings{pan2023draggan, title{Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold}, author{Pan, Xingang and Tewari, Ayush, and Leimk{\u}hler, Thomas and Liu, Lingjie and Meka, Abhimitra and Theobalt, Christian}, booktitle {ACM SIGGRAPH 2023 Conference Proceedings}, year{2023} }8. 小結(jié)一條完整的部署路徑綜合以上各節(jié)在當(dāng)前倉庫中跑起 DragGAN 的標(biāo)準(zhǔn)路徑是conda env create -f environment.yml conda activate stylegan3 pip install -r requirements.txtMac/CPU 機器按第 2.2 節(jié)剔除 CUDA 依賴并設(shè)置PYTORCH_ENABLE_MPS_FALLBACK1python scripts/download_model.py下載 8 個官方 StyleGAN2 權(quán)重到checkpoints/StyleGAN-Human 與 LHQ 權(quán)重手動下載放入同目錄GPU 桌面環(huán)境執(zhí)行sh scripts/gui.shWindows 為scripts/gui.bat或直接python visualizer_drag_gradio.py無本地 GPU 環(huán)境時用docker build . -t draggan:latestdocker run --gpus all -p 7860:7860 -v $PWD:/workspace/src -it draggan:latest bash容器內(nèi)執(zhí)行cd src python visualizer_drag_gradio.py --listen打開共享鏈接。編輯真實照片時先用倉庫自帶的 PTI 工具鏈stylegan_human/run_pti.py完成 GAN 反演再加載潛碼與權(quán)重進入 GUI 即可。所有涉及的腳本與配置均可在倉庫中直接查閱scripts/download_model.py、scripts/download_models.json、scripts/gui.sh、Dockerfile、environment.yml、visualizer_drag.py 與 visualizer_drag_gradio.py?！久赓M下載鏈接】DragGANOfficial Code for DragGAN (SIGGRAPH 2023)項目地址: https://gitcode.com/GitHub_Trending/dr/DragGAN創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考