欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Isaac Sim與Isaac Lab安裝避坑指南:從環(huán)境配置到強(qiáng)化學(xué)習(xí)仿真

Isaac Sim與Isaac Lab安裝避坑指南:從環(huán)境配置到強(qiáng)化學(xué)習(xí)仿真 最近在折騰機(jī)器人仿真環(huán)境Isaac Sim和Isaac Lab的安裝把我結(jié)結(jié)實(shí)實(shí)坑了兩個周末。網(wǎng)上相關(guān)教程不少但大部分不是版本過舊就是只講了其中某一條安裝路線照著復(fù)現(xiàn)還會遇到一堆環(huán)境問題。所以我把整個安裝過程重新過了一遍把踩過的坑、試過的方案都整理成這篇記錄希望能讓后面的人少走點(diǎn)彎路。先簡單解釋下這兩個東西。Isaac Sim是目前主流的機(jī)器人仿真平臺底層基于Omniverse框架不僅能跑剛體動力學(xué)和傳感器仿真還能配合高質(zhì)量渲染生成合成數(shù)據(jù)Isaac Lab則是跑在Isaac Sim之上的強(qiáng)化學(xué)習(xí)訓(xùn)練框架經(jīng)常被看作Isaac Gym的后繼版本。裝上它們之后你可以訓(xùn)練四足機(jī)器人的步態(tài)、機(jī)械臂的抓取策略、移動機(jī)器人的導(dǎo)航避障也可以在仿真環(huán)境里批量生成帶標(biāo)注的數(shù)據(jù)再遷移到真實(shí)機(jī)器人上。這篇文章主要適合誰機(jī)器人算法、強(qiáng)化學(xué)習(xí)、數(shù)字孿生相關(guān)方向的開發(fā)者以及想用仿真環(huán)境做數(shù)據(jù)生成又不想從零搭物理引擎的團(tuán)隊(duì)。全文會按照“路線選型、環(huán)境準(zhǔn)備、Isaac Sim安裝、Isaac Lab安裝、Demo驗(yàn)證、問題排查”的順序展開中間會穿插不少實(shí)際操作時(shí)才知道的注意事項(xiàng)盡量把安裝這件事一次講透。1. 安裝前先選路線Launcher、pip還是Docker同是Isaac Sim官方其實(shí)提供了三條完全不同的安裝途徑分別適配不同的使用場景。如果不先想清楚自己要在哪條路上走很容易出現(xiàn)“裝到一半發(fā)現(xiàn)不適合自己”的尷尬局面。1.1 三條安裝路線的優(yōu)缺點(diǎn)對比第一條是Omniverse Launcher這是圖形化桌面方式適合新手和交互式使用。它本質(zhì)上是把Isaac Sim當(dāng)作一個獨(dú)立App下載到本地由啟動器統(tǒng)一管理版本、啟動入口和依賴。優(yōu)點(diǎn)是點(diǎn)擊安裝就能完成大部分工作容易上手缺點(diǎn)是需要注冊官方賬號登錄而且Launcher本身也比較重不太適合自動化部署。第二條是pip安裝適合準(zhǔn)備把Isaac Sim當(dāng)Python庫嵌入到項(xiàng)目里的開發(fā)者。官方把Isaac Sim發(fā)布到了Python包索引上你可以像安裝普通庫一樣把它裝進(jìn)虛擬環(huán)境再通過命令行啟動。優(yōu)點(diǎn)是和現(xiàn)有Python生態(tài)集成很自然方便做腳本化和二次開發(fā)缺點(diǎn)是包體積非常大依賴關(guān)系也比較復(fù)雜對Python版本和驅(qū)動版本都有要求。第三條是Docker適合無桌面服務(wù)器、團(tuán)隊(duì)復(fù)現(xiàn)和線上部署場景。鏡像里已經(jīng)把Linux系統(tǒng)依賴、驅(qū)動相關(guān)庫和Isaac Sim本體打好了只要宿主機(jī)有NVIDIA GPU并配置好容器工具鏈就可以比較穩(wěn)定地跑起來。優(yōu)點(diǎn)是可復(fù)現(xiàn)性強(qiáng)、環(huán)境隔離干凈缺點(diǎn)是鏡像很大容器內(nèi)做GUI交互比較麻煩多出不少運(yùn)維細(xì)節(jié)。順手整理了一張對比表方便判斷自己適合哪條路線對比項(xiàng)Omniverse Launcherpip安裝Docker上手難度低中中高是否需要賬號需要不需要需要NGC賬號適合場景個人研究、可視化調(diào)試Python開發(fā)、腳本化服務(wù)器、復(fù)現(xiàn)、集群磁盤占用大含啟動器和緩存大包依賴多大鏡像約30GB起版本管理啟動器統(tǒng)一管理pip包版本控制鏡像tag控制與Isaac Lab集成需手動設(shè)路徑環(huán)境變量更自然容器內(nèi)配置1.2 我建議你按這個原則來選我個人的傾向是這樣如果你主要是個人研究、想先跑跑官方示例甚至要看渲染效果那就直接走Omniverse Launcher這是最不容易出岔路的方式。如果你后面打算把Isaac Sim作為訓(xùn)練框架底座長時(shí)間寫Python腳本、調(diào)參、跑訓(xùn)練那么pip安裝會更順手尤其是在配合Isaac Lab的時(shí)候Python環(huán)境天然就打通了。如果你們團(tuán)隊(duì)有多臺無顯示器的服務(wù)器需要做環(huán)境復(fù)現(xiàn)那就老老實(shí)實(shí)用Docker把環(huán)境和依賴鎖進(jìn)鏡像里這樣誰都能拉一份一樣的。這里要特別提醒一點(diǎn)Launcher和pip安裝并不沖突你可以同時(shí)存在但目錄和環(huán)境變量會互相牽扯。裝Isaac Lab時(shí)系統(tǒng)如何找到Isaac Sim完全依賴于配置好的路徑。與其后面亂成一團(tuán)不如在一開始就定下主路線另一條只做備用。2. 環(huán)境檢查清單驅(qū)動、Vulkan和磁盤空間一個都不能少很多安裝失敗并不是Isaac Sim本身的問題而是環(huán)境沒有準(zhǔn)備好。我見過不少人在各種教程的引導(dǎo)下直接開裝結(jié)果卡在黑屏、Vulkan報(bào)錯、驅(qū)動太舊這些地方最后反復(fù)重裝浪費(fèi)大量時(shí)間。建議開工之前先把下面的清單過一遍。2.1 硬件配置清單不同預(yù)算方案硬件上Isaac Sim的底線是NVIDIA GPU。集顯和AMD顯卡目前基本不用考慮。官方文檔要求RTX系列顯卡建議顯存在8GB以上。這里按實(shí)際使用場景分三個檔位入門方案RTX 2060或RTX 3050級別顯存8GB左右適合跑官方自帶的小場景和輕量RL任務(wù)比如Cartpole、簡單導(dǎo)航。進(jìn)階方案RTX 3060 Ti到RTX 3080級別顯存12GB左右適合剛體堆疊、機(jī)械臂抓取等中等復(fù)雜仿真訓(xùn)練小規(guī)模策略問題不大。高階方案RTX 4090或者數(shù)據(jù)中心級顯卡顯存24GB以上適合多機(jī)器人協(xié)同仿真、復(fù)雜感知任務(wù)、大規(guī)模RL訓(xùn)練批次。另一個容易被忽略的是內(nèi)存。官方建議32GB起步我實(shí)際測試過16GB也能安裝和運(yùn)行小場景但一旦場景復(fù)雜起來比如同時(shí)加載多個傳感器、多個機(jī)器人和較大地圖內(nèi)存很快就見底直接導(dǎo)致系統(tǒng)卡死。所以如果你要長期做仿真32GB內(nèi)存應(yīng)該是底線。磁盤部分同樣別小看。Isaac Sim本體大概二三十GB加上Launcher的緩存、shader編譯緩存、日志以及后續(xù)可能會裝的十幾個擴(kuò)展輕松突破100GB。而且這些數(shù)據(jù)基本都是隨機(jī)小文件讀寫用固態(tài)硬盤和機(jī)械硬盤的體驗(yàn)差距非常明顯。強(qiáng)烈建議至少留出100GB可用空間放在SSD上。2.2 Linux與Windows的系統(tǒng)差異系統(tǒng)方面我推薦Ubuntu 20.04或22.04這也是官方支持得最好的環(huán)境。Windows 10/11也能裝但我碰到的兼容性問題明顯多于Linux特別是在Vulkan渲染、CUDA上下文管理這些環(huán)節(jié)。如果你不是必須在Windows下工作建議直接裝雙系統(tǒng)或開一臺Ubuntu機(jī)器。官方對Python版本也有要求。不同版本的Isaac Sim要求不同以2023.1系列為例Python 3.10是比較穩(wěn)妥的選擇。這個信息在安裝文檔里都有寫但我發(fā)現(xiàn)很多人沒留意直接用了系統(tǒng)自帶的Python 3.8或3.11結(jié)果導(dǎo)入時(shí)各種報(bào)錯。建議新建一個獨(dú)立的conda環(huán)境不要用base環(huán)境裸跑。2.3 驅(qū)動、CUDA與Vulkan的三件套下面說最容易出錯的部分驅(qū)動、CUDA和Vulkan。驅(qū)動方面直接用官方最新穩(wěn)定版驅(qū)動即可千萬不要裝太老的版本。Isaac Sim不同版本對驅(qū)動有最低要求比如2023.1系列要求驅(qū)動版本不低于530實(shí)測用最新驅(qū)動反而最省心因?yàn)槔向?qū)動在創(chuàng)建CUDA上下文時(shí)經(jīng)常報(bào)“driver version is insufficient”。這里有個反直覺的點(diǎn)不需要手動安裝CUDA Toolkit。Isaac Sim的包內(nèi)部自帶運(yùn)行所需的CUDA運(yùn)行時(shí)和依賴庫系統(tǒng)里再裝一套CUDA反而可能引發(fā)版本沖突。我見過有人為了“裝全一點(diǎn)”單獨(dú)裝了CUDA 12.1結(jié)果Isaac Sim加載階段就崩了。正確的做法是只裝顯卡驅(qū)動剩下交給Isaac Sim自己。Vulkan是另一個高頻坑點(diǎn)。Isaac Sim的渲染基于Vulkan不是OpenGL所以系統(tǒng)里必須有可用的Vulkan驅(qū)動。Linux下可以先跑一下vulkaninfo命令檢查如果提示找不到Vulkan ICD說明驅(qū)動或者系統(tǒng)庫沒準(zhǔn)備好。NVIDIA官方驅(qū)動安裝好之后一般會同時(shí)注冊Vulkan的支持不需要額外手動配置但如果之前裝過Mesa的Vulkan實(shí)現(xiàn)兩者沖突時(shí)也會出現(xiàn)奇怪的問題。總之在啟動Isaac Sim之前先確認(rèn)三個條件nvidia-smi能正確顯示顯卡和驅(qū)動版本vulkaninfo --summary能輸出Vulkan信息磁盤剩余空間充足。這三項(xiàng)都滿足后再進(jìn)入下一步。3. Isaac Sim安裝實(shí)操三條路線分別怎么走接下來是重頭戲把三條路線的完整安裝步驟和踩坑點(diǎn)分別寫出來。所有命令和路徑都以Ubuntu為例Windows下的步驟類似但路徑和命令有些差異。3.1 方式AOmniverse Launcher圖形化最省心Launcher方式的整體流程是“下載啟動器、登錄、安裝App、啟動”。先在官網(wǎng)下載Omniverse Launcher安裝包是個.deb文件安裝后打開。啟動器首次使用會讓你登錄官方賬號沒有的話注冊一個這一步的必要性在于Launcher的Exchange頁面需要身份認(rèn)證才能訪問。登錄后在Exchange頁面的搜索框里輸入“Isaac Sim”找到對應(yīng)的App條目。注意發(fā)行渠道里有多個標(biāo)簽優(yōu)先選長期支持版或穩(wěn)定版不要盲目選最新體驗(yàn)版。點(diǎn)擊Install后會讓你選擇安裝目錄一定選在一個路徑全是英文、沒有空格、剩余空間充足的目錄比如/home/你的用戶名/software/isaac。中文路徑或帶空格路徑在后續(xù)配置環(huán)境變量時(shí)經(jīng)常莫名出問題。安裝完成后點(diǎn)Launch首次啟動會經(jīng)歷一個比較漫長的初始化過程下載運(yùn)行依賴、編譯shader、生成緩存。這個過程在配置一般的機(jī)器上可能要等5到15分鐘期間界面可能一直黑著或者顯示進(jìn)度條。我第一次啟動時(shí)以為是卡死了強(qiáng)行關(guān)掉結(jié)果緩存損壞第二次啟動又重新走了一遍完整流程白白浪費(fèi)半小時(shí)。只要CPU和磁盤有活動就讓它繼續(xù)跑。Launcher安裝好之后Isaac Sim實(shí)際被放在類似~/.local/share/ov/pkg/isaac_sim-2023.1.1的路徑下。這個路徑非常重要后面配Isaac Lab時(shí)需要用到。我建議把它記下來或者提前設(shè)置好環(huán)境變量ISAAC_SIM_PATH可以省去后面很多麻煩。3.2 方式Bpip安裝適合Python開發(fā)者如果你已經(jīng)在用conda管理Python環(huán)境pip方式會很自然。先新建環(huán)境并激活conda create -n isaac python3.10 -y conda activate isaac然后安裝Isaac Sim包。官方把Isaac Sim發(fā)布在NVIDIA的包索引上不能只靠默認(rèn)PyPI源需要加上--extra-index-urlpip install --extra-index-url https://pypi.nvidia.com isaacsim想指定版本的話在包名后面加版本號即可例如isaacsim2023.1.1。如果下載速度很慢可以把pip的下載和安裝分開或者配置國內(nèi)鏡像來加速基礎(chǔ)依賴但要注意pypi.nvidia.com這個額外源不能丟。安裝完成后命令行入口是isaacsim直接敲這個命令就能啟動圖形界面。如果你在自己寫的Python腳本里需要導(dǎo)入Isaac Sim的模塊還要先找到安裝路徑并設(shè)置環(huán)境變量export ISAAC_SIM_PATH$(python -m isaacsim.path)這個isaacsim.path工具會輸出Isaac Sim實(shí)際安裝位置。有了ISAAC_SIM_PATH后續(xù)運(yùn)行Isaac Lab、推理腳本時(shí)系統(tǒng)才能正確找到底層依賴。pip方式最容易翻車的點(diǎn)在于Python版本不一致。官方對Python版本有明確要求如果用了3.11或3.12很多擴(kuò)展包會直接編譯失敗或者導(dǎo)入出錯。另一個坑是conda環(huán)境里的libpython和系統(tǒng)Python的版本混用導(dǎo)致運(yùn)行時(shí)崩潰。務(wù)必備份好環(huán)境狀態(tài)不要貪新。3.3 方式CDocker適合服務(wù)器與復(fù)現(xiàn)Docker方式更適合無顯示器的服務(wù)器環(huán)境。首先需要一個NGC賬號在賬號設(shè)置里生成API Key。之后在終端里登錄NVIDIA容器鏡像倉庫docker login nvcr.io用戶名填$oauthtoken密碼填剛生成的API Key。然后拉取鏡像。鏡像體積非常大以2023.1.1版本為例拉取時(shí)間取決于網(wǎng)絡(luò)建議在網(wǎng)絡(luò)條件好的時(shí)候操作docker pull nvcr.io/nvidia/isaac-sim:2023.1.1運(yùn)行容器時(shí)除了顯存的透傳還要解決緩存目錄持久化問題。官方推薦把容器內(nèi)的幾個緩存目錄映射到宿主機(jī)上否則每次啟動容器都要重新下載和編譯緩存體驗(yàn)很差。下面是一個可以套用的啟動命令docker run --name isaac-sim --gpus all \ -v /tmp/.X11-unix:/tmp/.X11-unix -e DISPLAYunix$DISPLAY \ -v ~/docker/isaac-sim/cache/kit:/isaac-sim/kit/cache \ -v ~/docker/isaac-sim/cache/ov:/root/.cache/ov \ -v ~/docker/isaac-sim/cache/pip:/root/.cache/pip \ -v ~/docker/isaac-sim/cache/glcache:/root/.cache/gl_shader_cache \ -v ~/docker/isaac-sim/cache/computecache:/root/.cache/compute_cache \ -v ~/docker/isaac-sim/cache/nv_compute_cache:/root/.cache/nv_compute_cache \ -v ~/docker/isaac-sim/logs:/root/.nvidia-omniverse/logs \ -v ~/docker/isaac-sim/data:/root/.local/share/ov/data \ -e ACCEPT_EULAY -e PRIVACY_CONSENTY \ nvcr.io/nvidia/isaac-sim:2023.1.1進(jìn)入容器后可以用./isaac-sim.sh啟動圖形界面或者用./python.sh進(jìn)入預(yù)置的Python環(huán)境。如果在服務(wù)器上只想跑headless模式不需要X11映射可以稍作簡化。Docker方式的坑集中在GPU透傳上。宿主機(jī)必須裝好NVIDIA Container Toolkit而不是只裝驅(qū)動。安裝完成后在docker run命令里必須加--gpus all否則容器內(nèi)檢測不到GPUVulkan和CUDA都會報(bào)錯。還有一點(diǎn)容器內(nèi)的用戶是root掛載目錄的權(quán)限如果不注意會出現(xiàn)無法寫入緩存的權(quán)限問題運(yùn)行前先把宿主機(jī)目錄mkdir建好并設(shè)置好權(quán)限。4. Isaac Lab安裝源碼方式最省心環(huán)境變量別配錯Isaac Sim裝好只是第一步對做強(qiáng)化學(xué)習(xí)的人來說Isaac Lab才是真正要用的框架。這一節(jié)重點(diǎn)講Isaac Lab的安裝和配置。4.1 先弄明白Isaac Lab和Isaac Gym的區(qū)別很多剛接觸的人會問Isaac Lab和Isaac Gym到底什么關(guān)系。簡單說Isaac Gym是前代產(chǎn)物已經(jīng)停止新功能開發(fā)Isaac Lab是在Isaac Sim體系下重新設(shè)計(jì)的強(qiáng)化學(xué)習(xí)框架。Isaac Lab沿用了Isaac Gym中“GPU并行環(huán)境”的核心思路但底層改成了Omniverse的PhysX引擎并且把訓(xùn)練環(huán)境、任務(wù)定義、獎勵函數(shù)這些模塊都拆得更清晰方便用戶自定義機(jī)器人任務(wù)。在實(shí)際使用中Isaac Lab支持PyTorch和幾種主流RL庫比如rl_games、sb3等也提供了不少現(xiàn)成任務(wù)模板。從安裝角度講Isaac Lab并不包含Isaac Sim它只是提供了一套在Isaac Sim之上讀取環(huán)境、控制機(jī)器人、計(jì)算獎勵的Python擴(kuò)展。因此你必須保證Isaac Sim已經(jīng)安裝好并且ISAAC_SIM_PATH正確指向它。4.2 源碼安裝完整步驟Isaac Lab的官方推薦方式是從源碼安裝而不是直接pip install因?yàn)轫?xiàng)目迭代快源碼方式方便拉取最新改進(jìn)也方便修改任務(wù)定義這在做自定義機(jī)器人任務(wù)時(shí)幾乎是必須的。先切到一個干凈的conda環(huán)境Python版本建議3.10conda create -n isaaclab python3.10 -y conda activate isaaclab然后從Isaac Lab的官方開源倉庫克隆代碼git clone https://github.com/isaac-sim/IsaacLab.git cd IsaacLab接下來運(yùn)行項(xiàng)目自帶的安裝腳本./isaaclab.sh --install這個腳本會做一系列事情包括創(chuàng)建依賴環(huán)境、安裝Python包、編譯必要的擴(kuò)展模塊。腳本執(zhí)行期間會有大量日志滾動看起來像在“刷屏”但實(shí)際上是在做正事。千萬不要在它運(yùn)行到一半的時(shí)候CtrlC否則容易出現(xiàn)殘留的臨時(shí)環(huán)境導(dǎo)致后續(xù)重新安裝時(shí)狀態(tài)不干凈。如果你更想自己控制安裝細(xì)節(jié)可以手動執(zhí)行腳本背后的關(guān)鍵步驟大致是安裝source/isaaclab、source/isaaclab_rl等目錄下的Python包并安裝強(qiáng)化學(xué)習(xí)訓(xùn)練庫。不過對大多數(shù)人來說直接用./isaaclab.sh --install就足夠了。安裝完成后可以用腳本自帶的測試功能驗(yàn)證一次./isaaclab.sh --test這個命令會跑一遍基礎(chǔ)的Python導(dǎo)入和資源檢查如果輸出中沒有明顯的報(bào)錯說明Isaac Lab的核心模塊已經(jīng)裝好。4.3 ISAAC_SIM_PATH等環(huán)境變量配置Isaac Lab安裝完之后最重要的就是確保它能找到Isaac Sim。腳本會自動探測幾個常見位置比如Launcher默認(rèn)路徑但一旦你的安裝位置不標(biāo)準(zhǔn)就需要手動設(shè)置ISAAC_SIM_PATH。如果Isaac Sim是用Launcher安裝在默認(rèn)路徑可以這樣設(shè)置export ISAAC_SIM_PATH~/.local/share/ov/pkg/isaac_sim-2023.1.1如果Isaac Sim是用pip安裝的則用之前提到的方法自動獲取路徑export ISAAC_SIM_PATH$(python -m isaacsim.path)我建議把這條export命令寫進(jìn)~/.bashrc或者conda環(huán)境的激活腳本里免得每次打開終端都要手動設(shè)置。還有一個容易被忽略的點(diǎn)運(yùn)行Isaac Lab時(shí)要確保當(dāng)前Python環(huán)境里沒有混裝另一套Isaac Sim相關(guān)的舊包尤其是如果之前手動裝過omni.isaac.core等獨(dú)立包可能和Isaac Lab框架沖突導(dǎo)入時(shí)報(bào)錯會很詭異。5. 跑通最小Demo才算安裝完成裝完之后你需要用幾個最小Demo驗(yàn)證整個鏈路是否真的通了。這一步比想象中重要因?yàn)楹芏喹h(huán)境問題要到實(shí)際運(yùn)行時(shí)才暴露。5.1 啟動Isaac Sim看空場景是否正常出現(xiàn)第一個驗(yàn)證是直接啟動Isaac Sim。如果走Launcher方式直接點(diǎn)Launch。如果走pip方式在conda環(huán)境里輸入isaacsim正常情況下會先彈出一個Kit控制臺窗口然后加載各種擴(kuò)展最后屏幕中出現(xiàn)Isaac Sim的默認(rèn)場景。第一次進(jìn)入時(shí)可能會提示下載示例資產(chǎn)包耐心等待即可。如果界面成功出現(xiàn)且能交互說明最基礎(chǔ)的驅(qū)動、Vulkan、CUDA鏈路都通了。這里有個小技巧頭一次啟動時(shí)別急著加載復(fù)雜資產(chǎn)先看看底部日志有沒有大量紅色報(bào)錯。常見的有兩類一類是驅(qū)動版本不足另一類是顯存不足。出現(xiàn)這兩種情況時(shí)即使界面最終出來了后續(xù)跑訓(xùn)練也很容易崩。5.2 用Isaac Lab跑一個RL訓(xùn)練任務(wù)第二個驗(yàn)證是在Isaac Lab里跑一個訓(xùn)練任務(wù)。先打開IsaacLab源碼目錄用項(xiàng)目自帶的train.py腳本啟動訓(xùn)練。以倉庫里自帶的Cartpole任務(wù)為例命令大概是這樣的python scripts/train.py --task Isaac-Cartpole-v0 --num_envs 64 --headless如果是在有顯示器的機(jī)器上想看到環(huán)境畫面可以去掉--headless參數(shù)。啟動后框架會初始化Isaac Sim后端創(chuàng)建64個并行的Cartpole環(huán)境然后開始采樣和更新策略??吹接?xùn)練日志中持續(xù)出現(xiàn)reward數(shù)值輸出就說明整條鏈路已經(jīng)通了。第一次運(yùn)行這個命令時(shí)你可能會經(jīng)歷一段“看起來什么都不動”的階段。這是因?yàn)镮saac Sim的擴(kuò)展和緩存還在編譯之后才會進(jìn)入訓(xùn)練循環(huán)。我在配置一般的機(jī)器上見過訓(xùn)練啟動前要卡好幾輪日志輸出不要著急斷定是程序掛掉。訓(xùn)練完還可以用scripts/enjoy.py加載保存的模型權(quán)重在帶圖形界面的模式下跑幾個回合直觀確認(rèn)策略效果。5.3 第一次啟動特別慢別急著殺進(jìn)程這一條值得單獨(dú)拿出來強(qiáng)調(diào)。無論是啟動Isaac Sim還是第一次運(yùn)行訓(xùn)練腳本編譯shader和生成緩存都是繞不開的。這個階段CPU使用率會很高磁盤也在寫數(shù)據(jù)但屏幕上可能長時(shí)間沒有變化。我的建議是記錄一下啟動時(shí)間如果超過20分鐘還沒動靜再去檢查日志和系統(tǒng)進(jìn)程。如果只是啟動慢就耐心等。隨便殺進(jìn)程最嚴(yán)重的后果是緩存寫到一半損壞輕則清緩存重來重則需要重新下載擴(kuò)展數(shù)據(jù)時(shí)間成本非常高。我后來在自己的環(huán)境里就把首次啟動當(dāng)作“泡杯茶再回來”的過程看待反而很少再出問題。6. 高頻坑位速查啟動失敗、黑屏、依賴錯誤的排查整個安裝流程中有幾個高頻問題我?guī)缀趺看味紩龅竭@里按階段整理成速查表并挑幾個典型場景展開講。階段常見現(xiàn)象常見原因優(yōu)先處理方式啟動黑屏/白屏驅(qū)動過舊、GPU不支持或Vulkan缺失更新驅(qū)動檢查Vulkan ICD啟動Vulkan error / failed to create instanceVulkan環(huán)境損壞或驅(qū)動沖突vulkaninfo檢查重裝官方驅(qū)動啟動CUDA driver version is insufficient驅(qū)動版本偏低升級到最新穩(wěn)定驅(qū)動啟動首次啟動極慢shader和緩存編譯不要?dú)⑦M(jìn)程等待完成導(dǎo)入import isaacsim報(bào)錯Python環(huán)境不對或路徑未配置確認(rèn)conda環(huán)境設(shè)置ISAAC_SIM_PATH訓(xùn)練OOM顯存不足并行環(huán)境數(shù)過多降低--num_envs關(guān)掉無用的視圖Docker容器內(nèi)看不到GPU未安裝Container Toolkit或漏加參數(shù)安裝Toolkit加--gpus allDocker容器內(nèi)寫入權(quán)限失敗掛載目錄權(quán)限不對提前mkdir并設(shè)置正確權(quán)限6.1 啟動階段的黑屏、白屏與外彈錯誤黑屏問題里一大半和Vulkan有關(guān)。Linux下可以先跑vulkaninfo --summary看看有沒有物理設(shè)備輸出。如果有“no devices found”一類的提示說明系統(tǒng)里沒有可用的Vulkan驅(qū)動。對NVIDIA用戶來說解決辦法一般是重裝完整版本的驅(qū)動包裝上后確認(rèn)/usr/share/vulkan/icd.d目錄下出現(xiàn)對應(yīng)ICD文件。另一個容易誤導(dǎo)人的現(xiàn)象是系統(tǒng)更新之后原來的驅(qū)動還在但Vulkan的ICD被某個依賴包覆蓋了導(dǎo)致之前能跑的Isaac Sim突然黑屏。這時(shí)候不要急著卸載重裝整個驅(qū)動先檢查一下Vulkan配置往往只需要重新安裝對應(yīng)驅(qū)動版本就能恢復(fù)。6.2 Python環(huán)境和pip安裝的依賴問題用pip方式安裝時(shí)“import isaacsim”報(bào)錯是出現(xiàn)頻率最高的錯誤之一。先確認(rèn)自己激活了正確的conda環(huán)境再確認(rèn)Isaac Sim確實(shí)裝在這個環(huán)境里。有時(shí)候之前在其他環(huán)境裝過老版本重新建環(huán)境之后忘記了腳本仍然加載舊路徑就會看到各種匪夷所思的導(dǎo)入錯誤。如果環(huán)境確實(shí)干凈還報(bào)ModuleNotFoundError可能是ISAAC_SIM_PATH或者Python路徑?jīng)]配好。我建議打開Python交互式終端手動打印當(dāng)前的sys.path和ISAAC_SIM_PATH逐項(xiàng)核對不要只盯著報(bào)錯信息猜。還有一次我排查到晚上最后發(fā)現(xiàn)只是我啟動命令里多了一個舊環(huán)境的前綴教訓(xùn)是盡量用絕對路徑或統(tǒng)一入口啟動程序減少環(huán)境串味的可能性。6.3 Docker與GPU透傳的常見坑Docker方式最大的坑就是容器里檢測不到GPU。宿主機(jī)直接跑nvidia-smi是正常的但容器內(nèi)一執(zhí)行nvidia-smi就找不到基本都是因?yàn)闆]裝NVIDIA Container Toolkit或者docker run時(shí)沒有加--gpus all。安裝Container Toolkit的過程不復(fù)雜按官方文檔添加軟件源執(zhí)行apt install nvidia-container-toolkit之后重啟Docker服務(wù)。如果加了--gpus all還是不行還可以檢查一下是否在容器啟動時(shí)缺少NVIDIA_DRIVER_CAPABILITIES環(huán)境變量一般把它設(shè)成all能解決大部分透傳問題。6.4 訓(xùn)練運(yùn)行時(shí)的顯存和性能問題訓(xùn)練階段的OOM大多是并行環(huán)境數(shù)量過大導(dǎo)致。Cartpole這類輕量任務(wù)64個并行環(huán)境占用不大但如果換成帶相機(jī)傳感器或者復(fù)雜剛體的任務(wù)可能一個環(huán)境的顯存占用就超過1GB。遇到OOM最直接的調(diào)整是降低--num_envs先讓程序跑通再逐步提高數(shù)值。還有個經(jīng)常被忽略的點(diǎn)在帶顯示器的機(jī)器上跑訓(xùn)練默認(rèn)GUI渲染也會占用顯存。如果你只是為了訓(xùn)練--headless模式能省下不少顯存也避免畫面渲染搶占計(jì)算資源。訓(xùn)練完想要可視化效果時(shí)再用非headless模式跑幾個回合就好。7. 安裝之后我才明白的幾件事最后寫幾條實(shí)操下來才真正體會到的心得給剛接觸這套環(huán)境的讀者做個心理建設(shè)。第一件事系統(tǒng)盤和緩存目錄一定要提前規(guī)劃好。我的機(jī)器系統(tǒng)盤只有200GB裝完Isaac Sim和Isaac Lab之后加上各種緩存剩余空間一度告急。后來我把~/.cache/ov、~/.local/share/ov這幾個目錄軟鏈到大容量固態(tài)盤上才徹底解決問題。如果你手頭磁盤緊張這個操作值得在一切安裝之前就做。第二件事版本匹配比功能新更重要。我試過把Isaac Lab拉到最新版本結(jié)果發(fā)現(xiàn)它對Isaac Sim的版本要求也變了舊版Isaac Sim根本跑不起來。后來學(xué)乖了每次升級之前先查一下版本兼容情況固定一套能跑的版本組合而不是所有組件都追最新。第三件事耐心是安裝這套環(huán)境的最大成本。第一次啟動、第一次跑訓(xùn)練都可能出現(xiàn)屏幕長時(shí)間無變化的現(xiàn)象那不是死機(jī)是底層在編譯和緩存。只要日志還在滾動就不要輕易殺進(jìn)程。我因?yàn)槭挚鞆?qiáng)殺過進(jìn)程導(dǎo)致緩存損壞重新下載的資源比我正常等待的時(shí)間還久。第四件事如果是為了做研究不要停留在跑通官方示例這一步。Isaac Lab的價(jià)值在于自定義任務(wù)和獎勵設(shè)計(jì)安裝只是起點(diǎn)。跑通Cartpole之后盡快把代碼結(jié)構(gòu)中“環(huán)境注冊、任務(wù)定義、獎勵函數(shù)”這些關(guān)鍵模塊弄明白后面寫自己的機(jī)器人類任務(wù)會順暢很多。從我目前的使用體驗(yàn)來看Isaac Sim和Isaac Lab這套組合的學(xué)習(xí)曲線并不算平緩但一旦環(huán)境配好、常用路徑搭建起來它做機(jī)器人數(shù)據(jù)仿真和RL訓(xùn)練是真的省事。希望這篇安裝記錄能幫你跳過我踩過的那些坑把時(shí)間花在真正有價(jià)值的實(shí)驗(yàn)上。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热精品一区| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 久久99网站| 五月天久久综合婷婷丁香| 亚洲综合激| 色综合狠狠色| 99综合成人视频在线观看 | 在线视频九色97| 丁香五月激情综合| 久久99网站| 日本 @ va 免费| 这里只有精品热| 天天色丁香| 综合久久综合五月天婷婷| 五月天色影院| 九九久久精品| 91久久精品无码一区二区三区| 俺也高清无码高清视频| wwccc久久久| 久久婷婷热| 久久婷婷综合色丁香| 精品一二三区久久AAA片| 管管補管管紱| 婷婷五月综合视频| 五月香婷婷| 丁香五月婷婷影院| 九九热这里只有精品9| 9伊人网| 色婷婷成人做爰A片免费看网站 | 婷婷狠狠爱| 激情综合网色五月| 久久综合五月| 99自拍视频在线| 五月停停色色丁香| 久久与婷婷| 婷婷九月丁香| 婷婷五月激情六月| 很很干夜夜干| 日韩色五月| 性色99| 先锋资源996| 伊人网欧美在线男人天堂五月丁香| 久久9999| 国产激情在线| 国产精品视频免费看| 日韩成人电影av| 婷婷婷婷婷婷婷婷婷婷丁香| 天天射网站| 亚洲中文字幕网| 天天干 夜夜爽| 亚洲熟女色| 这里只有精品免费| 91精品综合久久久久久五月丁香| 五月婷婷无码| 色色色国产| 韩国婷婷丁香五月| 五月婷婷m| 五月丁香综合啪啪| 亚洲9久久精品| 99精品热| 97精品人人A片免费看| 亚洲色综合| 九九这里有精品| 91丨九色丨东北熟女| 人人草人人舔| 色欲天天综合| 丁香五月婷婷av| 天天爽天天摸天天爱| 79色色免费| 深爱激情四射| 久久国产性爱A V| 女性自慰系列第五页| 五月丁香香蕉| www久久五月com| 婷婷综合干| 少妇性BBB搡BBB爽爽爽视頻| 久久九九热38| 开心久久网婷婷| 色婷婷色和| 丁香五月停停av| 99爱在线| 91干99| 在线看片h站| 亚洲成av人影院| 国产午夜精品一区二区三区嫩草| 人与禽A片啪啪| www.丁香六月婷婷久久天堂影院.con| 六月丁花香啪啪激情欧美| 国产69精品久久久久999小说| 国产黄色在线观看| 午夜伊人大香蕉| 天天色情站| 人妻熟人中文字幕一区二区| 一区二区成人电影免费播放| 爱狠射| 五月天丁香啪啪啪啪| 啪啪日本欧美| 黄色短视频在线观看| 欧美日本不卡黄色片| 亚洲区1| 亚洲国产另类av| 97超碰9久热婷婷热| 日韩久久日| 亚洲人人艹| 久婷首页| 五月天婷婷影院| 天天综合情| 色五月婷婷久久爱| www夜夜操wwwcon| 十月色综合| 99视频| 日本色图综合| 激情五月天社区| 91操人视频| 五月天激情婷婷| wwwss在线观看| 国产日韩欧美| 国产超碰av| 五月天丁香看婷婷| 成人在线视频网| 九九色婷婷| 婷婷色五月激情| 丁香五月婷婷呀| 夜夜做天天爽| 欧美综合激情丁香五月六月婷| 天天做天天爱天天玩| 99色综合网| 大香蕉啪啪啪| 久久视频在线视频| 9l久久久视频| 五月丁香久久综合| 噜噜噜噜婷婷五月天| 色婷婷综合五月| 99久久综合精品五月天| 久久999久久999久久999久久| 中文字幕婷婷| 99热 精品在线| 97婷婷五月| 91九色欧美| 国产亚洲在线观看| 天天热夜夜操| 99丁香五月婷| 蜜臀AV在线观看| www久久久久久久久久久| 亚洲mm免费| 色色色色色日韩午夜激情 | 九九人人精品| 欧美婷婷| 日韩久久日| 欧美 日韩 成人 在线| 中文字幕婷婷五月天| 天天舔天天插天天干| 99热在线成人网站| 97色啪| 久久9视频| 亚洲人人操| 99色爱| 五月天激情图片网| 色波激情五月天| 国产精品视频久久99| 91狠狠色丁香| 狠狠综合网| 99热在线观看| 91黄操| 91丨九色丨大屁股| 女人天堂 AV| 丁香六月婷婷综合缴| 9精品在线| 九九色色| 久久亚洲天堂| 日本女va| 久久久久人妻精品| www.99视频| 99热欲| 99热在线播放| 一级黄色尤物综合视频手机在线观看| www超碰| 99热这里只有精品66| 全部老头和老太XXXXX| 五月婷婷丁香网| 狠色综合网| 日韩99精品| 丁香五月欧美色综合| 99热这里只有精品66| 碰碰碰97国产| 伊人久久婷婷| 亚洲成人婷婷| 日日爽夜夜爽| 99热第一页| 色色婷婷五月| 日本va欧美va欧美精品88| 中文字幕av在线播放| 99热免费| 婷婷久久伊人| 日日做天天操夜夜爽| 中文久久婷婷| 少妇人妻人伦A片| 五月天激情图片网| sS丁香五月婷婷| 欧美激情凹凸丁香网| 五月天激情四射| 九九九九九九九九九九九九九九九九九九九在线视频 | 久久亚洲色导航| 婷婷五月激情天| 亚洲综合九九| 婷婷五月丁香91| 色五月综合婷婷| 久久婷婷丁香| 婷婷五月激情黄色| 黄色大片又大粗又爽| 亚洲丁香五月| 五月婷婷激情综合| 99啪视频在线观看| 五月丁香婷婷婷婷综合网| 在线看片av| 狠狠色噜噜狠| www.超碰在线| 色五月人妻| 另类少妇人与禽zOZZ0性伦| 日韩精品一区二区亚洲AV观看| 99秘 在线| 婷婷色在线| 超级碰碰视频无码| 日本特黄aaaaa| 五月天堂婷婷| 色婷婷色综合久久精品V| 五月丁香婷婷色色色| 丁香涩涩五月天| 久久婷婷成人综合色怡春院| 野外99热| 色狠狠色狠狠| 五月婷婷激情| 欧美毛卡| 五月天激情视频五月天| 日日做A爰片久久毛片A片英语| 日本色色网站| 99只有这里是精品| 五月丁香久久| 色五月婷婷视频| 亚洲综合五月天| 女人高潮内射99精品| 色狠狠综合网| 久这里只有精品| 99热综合网| 五月婷婷亚洲综合在线 | 午夜不卡久久精品无码免费| 91久热| 成年人最刺激的综合网| yw国产AV| 噜噜噜噜噜日本视频| 大香蕉久久久久| 一区二区你懂的| 亚洲综合五月天综合| 玖玖综合色| 婷婷激情五月天小说| 狠狠另类视频| 色色色色五月天| 婷婷五月激情五月激情| 97啪在线观看视频| 五月激情综合婷婷| 婷婷激情小说| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 五月婷婷六月丁香玖玖玫瑰91| 色婷婷AV在线观看| 天天做天天爱天天爽在| 五月丁香啪啪啪| 97精品自拍| 亚洲操B| 五月婷婷丁香日韩在线| 婷婷五月天亚洲激情戏精品| 五月天激情网图片| 久99| 2017狠狠干| 懂色av粉嫩AV蜜臀AV| 国产99视频永久免费| 天天拍天天操| renrencaoni| 97人人干| 大香蕉伊人久久| 婷婷丁香激情综合色情| 丁香五月在线自慰| 五月天婷婷网站888| 丁香色情五月综合激情| 丁香婷婷色| 99综合97| 天天日天天操天天干| 99碰碰| 丁香五月婷婷激情小说| 丁香久久| 亚洲综合在线伊人婷| 亚洲综合无码| 99久久婷| 色激情五月| 性爱激情小说AV五月丁香花| 激情五月丁香亭亭| 欧美日韩国产日本精品四虎网网站物 | 婷婷色在线| 大香蕉天堂| 伊人玖玖精品| 91色在线/日韩| www.AV在线| 色五月婷婷久久| 久久久久97| 婷婷五月天在线观看第二页| 久久网址99热| 色婷婷亚洲婷婷在线观看| 99ri视频在线观看| 真实亲子乱子伦高清在线观看| 激情五月婷婷丁香综合网| 思思久久青草热| 91久女| 婷婷五月天激情五月天| 六月婷婷操逼| 五月婷婷六月色| 九色激情网| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 二色AV| 婷婷五月天丁香花| 亚洲国产精品成人免费一区久久久在线观看AAAA | 日本操碰碰| 熟女网站久久| www久久艹| 夜夜资源站| 激情视频网址| 婷婷色网| 2w在线视频| 久久免费高| 丁香五月色欲| 激情丁香五月AV| 色婷婷五月天在线观看| 综合久久影院| 五月天成人在线视频网站| 亚洲精品乱码久久久久久按摩观| 性爱久久| 五月婷婷欲色| 啪啪五月综合| 久久五月天网| 国产亚洲99久久精品| 五月丁香影视| 丁香六月婷婷高清| http://www.com久久久精品一区| 欧美色色色色色色色| 日韩AV中文字幕在线| 蜜臀99精品| 久操福利| 九九精品热| 激情综合5| 色婷婷亚洲婷婷| 五月天婷婷色播在线网| 久久久噜噜噜操操操| 国产婷婷色综合AV蜜臀AV| 99色免费| 九九黄色网| 欧美激情五月天婷婷| 拍真实国产伦偷精品| 欧美97p| 超碰99成人在线| 久久精品性爱| 97干在线| 99热热热99精品婷婷| 一级操逼内射在线视频| 亚洲综合另类| 免费视频无码| 99热久久最新地址| 久久婷婷色综合老司机| 九热免费视频| 成人必爱视| 婷婷综合性爱网| WWW五月| 七七九色| 丁香六月婷婷综合| 色激情五月| 91丁香五月| 亚洲激情综合| www.av骚货| 91久久电影| 色婷婷综合网| 一二三区视频韩国| 伊人久久综合| 色五月在线播放| 伊人五月人妻精品| www.99热这里精品| 亚洲欧美婷婷五月色综合| 日日操夜夜爽天天天| 丁香六月成人| 亚洲成人超碰| 桃色激情婷婷伊人网| 久久免费少妇高潮99精品| 色五月AV| 亚洲婷婷丁香五月在线| 婷婷五月天综合久久日美女| 91seav| 亚洲综合色网站| 国产干逼片| 丁香五月人妻| 狠狠另类视频| 91re色综合视频| 99超级碰碰| 六月丁香啪| 日本久久色| 久久99精品久久久久久三级| 天天看片日日夜夜| 九九热青青草| 天天插天天干| 色五月丁香网| 丁香色五月婷婷17C| 97操碰人免费| 综合激情五月丁香| 丁香婷五月| 4399在线观看免费毛片| 婷婷五月天伊人网| 久久A V无码视频| 五月婷网| www.婷婷久久五月天| 99自拍网| 婷婷五月天综合色| 超碰在线观看99| 超碰在线观看三级片| 9l视频自拍9l九色9l成人| 99免费综合网| 天天干人人奸97| 婷婷涩涩五月天| 天天狠狠插| 色婷亚洲五月丁香| 中文字幕日产A片在线看| 丁香五月天成人网站| 国产婷婷色五月| 991自拍视频| 四色五月婷婷| 色综合色色色| 欧美日韩AAAAA| 国产伊人大香蕉| 综合五月天| 天天爽夜爽| 丁香六月天婷婷在线| 伊人超碰在线| 播播网色播播| 婷婷五月婷婷| 久久99热 这里有精品| 91丨九色丨熟女丰满| 超碰狠狠干99| 99热91| 日韩欧美一级大黄网站| 亚洲成人在线播放| 婷婷之玖玖| 五月天激情小说| 婷婷激情六月视频| 激情综合网亚洲色图| 久9久9久9久9久9久9| 春色激情| 九九热最新| 色婷婷五月天激情在线观看| 天天天天天操| 二色AV| 激情电影五月婷婷| 午夜少妇在线观看视频| 任我肏| 亚洲激情97五月天| 同性gv国产精品一区二区| 久久hd| 久9热| 深爱综合网| 五月丁香综合精品| 五月天色图| 久久色午夜在线导航| 婷婷色色网| 婷婷成人AV| 亚洲激情综合五月婷婷啪啪| 性日本激情| 91 九色 入口| 琪琪色综合网站| 丁香五月婷婷色情综合| 五月天另类小说| 激情五月天啪啪| 九九热自拍| 国产九月婷婷| 国产成人精品一区二三区熟女在线| 丁香蜜臀黄色婷婷五月天| 五月天激情啪啪| 最新热中文字幕| 伊人五月天97| 婷婷五月另类网站| 99久久国产宗和精品1上映| 综合色色网| 婷婷激情五月色综合| 久热这里只有精品6官网亚洲| 久久久A级视频| 婷婷五月天免费99| 丰满少妇猛烈A片免费看观看| 97人人操人人| 色噜噜狠噜噜视频| 天天色,天天日,天天做| 六月婷婷私欲| 五月丁香综合网色欲| 欧美色图天堂网色| 另类亚洲电影| 韩国中文字幕91| 久久久久9999| 久久综合九九| 99在线视频精品| 五月丁香成人视频| 色色色.com| 久婷婷五月激情| 在线成人网址| 日本久久精品18| 丁香伊人五月色婷婷五十路| 欧美一级a | 中文字幕久久婷九女同| 99热爆在线| 粉嫩AV久久一区二区三区| 亚洲婷婷91丁香| 色综合色色色色色| 第六色在线| 色婷婷综合久色AV五色最新| www99精品| 色色九九五月天| 玖久久网站| 中文字幕 中文字幕明步| 五月丁香在线观看| 99热亚洲精品| 久久草大香蕉| 国产成人av在线播放| 天天干一干| 成人精品亚洲性爱| 可以观看的AV| 久色中文| 777精品成人a v久久| 五月天婷基地| 五月色综合网欧美网| 97色片| 色综合色婷色基地| 七七久久婷婷| 婷婷色情 | 曰韩少妇内射免费播放| 精品一二三区久久AAA片| 激情综合五月婷婷| 婷婷激情综合| 丁香六月婷婷| 天天肏夜夜肏| 亭亭五月丁香五月天激情| 大香蕉五月天| 97福利视频| 五月色网| 99在线精品免费视频| 武则天精品久久| 久久丁香五月天| 亚洲天天操| 丁香五月婷婷影院| 日本色色色| 五月婷在线播放| 中文在线视频久1| 深爱激情丁香五月| 亚洲第79页| 亚洲欧美999| 99精色| 色婷婷综合视频| 色永久| 丁香五月区| 天天射色五月天| 视频色色色色色色| 日日狠狠久久偷偷四色综合免费 | 欧美性爱中文字幕| 九九这里是免费的视频5| 六月婷久久| 亚洲操逼片| 久99热| 九九99久久| 99热这里只有精品66| 久久婷婷视频| 无码99| 丰满人妻一区二区三区| 激情五月婷婷| 国产婷婷婷| 国产精品久久久久久亚洲毛片| 国产69久久久欧美黑人A片| 最近免费中文字幕大全高清大全1| 色色亚洲五月天| 99热中文字幕久久| 精热在线综合网| 狠狠看狠狠| 青草性爱视频| 婷婷成人丁香色情基地30 | www五月天com| 婷婷丁香五月天激情| 97操碰在线视频| 色婷精品91| 亚洲成人五月天| 9久久精品| 99色色网| 精品一区久热| 色欧美日| 超碰91av| 久久婷婷激情五月天一区二区| 热99热| 人妻videos人妻高清| 开心五月激情五月丁香五月婷婷| 五月婷av| 五月丁香亭亭操逼| 色婷婷丁香| 成人av免费观看| 亚洲V国产V欧美V久久久久久| 五月日韩中文字幕| 五月丁香综合网| 久久九九经典| 一本色道久久88加勒比—| 91爱啪啪| 99这里有精品免费| av网站中文| 色五月女| 超碰免费人妻| 天天操夜夜操| 五月婷婷综合天天操| 亚洲AV永久无码影院黑人| 日本97在线视频| 五月开心婷婷网| 日韩无码人妻一区二区三区综合| 中文乱子伦视频| 91人操人人人操人| 99ri在线视频| 五月J香蕉婷婷| 7777久久亚洲中文字幕| 五月亭亭欧美女人| 五月婷婷久久综合| 亭亭色天香| 人人草人人视| 激情五月综合网最新| 色色色五月婷| 久久久久婷婷| 爱iii做iiii日| 91se在线观看| 激情五月开心五月在线视频| 精品皮股午夜AV| 欧美va在线观看| 亚洲男女激情| 97碰碰碰免费公开在线视频| 操操熟女| 婷婷色激情网| 99热精品6| 五月婷婷激情| 五月天精品| 亚洲AV日韩AV永久无码网站| 丁香五月日韩| 99色1| 色五月激情婷婷| 久热91精品| 五月天激情四射| 婷婷亚洲综合| 三级黄色大片视频| 婷婷五月色色| 久久久久综合激动五月天| 天天操夜夜爱| 欧美精品啪啪| 91在线就要啪| 一区二区乱码视频| www.99热最新视频8| 夜夜综合色| 久久曰曰| 激情又色又爽又黄的A片| 久久精品天| 亭亭玉立国色天香| 婷婷五月天中文字幕| 可以直接看的AV| 中字幕视频在线永久在线观看免费| 美女xx不卡| 这里都是精品99| 激情婷婷五月基地| 亚洲99综合| 五月天激情美女久久| 91精品久久久久久久久久久久| 九九热这里只有精品首页| 狠狠色噜噜色狠狠狠综合久久成人波| AV中文在线| 337久久| 久久婷婷婷| 综合久久综合久久| 色五月天成人在线| 九九婷婷综合| 久99久视频精品| 亚洲综合色婷婷| 日本激情五月| 五月丁香成人网| 9l视频自拍九色9l黑人| 99热乎| 丁香五月成人av| 五月激情在线| 欧美色图天堂网色| 伊人国产婷婷五月天 | 天天操九九插| 超碰免费成人| 成人精品免费在线观看| 久久综合干| ...婷婷国产成人亚洲日韩| 天天舔天天爽| 91啪啪| 五月天婷婷色色网| 久久深爱激情网| 99性视频| 日都一级A片| tingtingjiqingwuyue| 丁香六月激情| 狠狠综合网| 91婷婷伊人牛牛| 天堂草在线观| 26uuu精品一区二区| 99碰在线视频| 亚洲热综合网在线观看| 综合五月丁香六月婷婷| 久久大大香| 99激情在线| 激情丁香六月| 激情开心五月天| 久婷婷五月综合欧美| 热这里| 久久这里只精品| 99日本视频| 婷婷色五月天综合网| 99色色网| www.99免费视频| 亚洲99视频| 丁香五月 激情文学| 91viP在线看| 五月婷婷丁香俺日污视频| 99精品成人无码A片观看金桔| 99网址在线看| 婷婷综合六月| 精品亚洲国产成AV人片传媒| 亚洲另类电影| 色五月天成人| 狠狠操狠狠色| 欧美色图45678| 色综合五月| 草草色情综合网| 99丁香五月婷| 97人人干人人操| 亚洲视频无| 呦呦视频无码播放| 激情开心五月天| 六月丁香中文字幕| 日本熟女二区| 久久精彩视频18| 激情婷婷五六月天| 激情五月六月婷婷| 大香线蕉伊人| 99在线精品视频在线观看| 色五天综合| 99国产er热视频| 噜噜噜狠狠色综| 婷婷五月天AV在| 狠狠操狠狠做| 91九色熟女| 色综合久久无码| 五月婷婷色情| 色噜噜综合网| 欧美一级色| 色婷婷成人| 久久ri精品| 天天日夜夜草进麻麻的子宫| 久久久com| 91成人电影| 色色A| 超碰2021| 99re这里有精品手机在线| 九九在线视频| 日本女va| 婷婷九月| AV五月丁香| 婷婷五月天激情小说| 色黄啪啪| 五月激情网站| 99久久婷婷国产综合精品| 中文字幕+乱码+中文字幕在线观看| 色五月天丁香婷婷| 五月丁香少妇| 天天爽天天干| 久久九⑨| 99re8这里只有精品99re8热视频| chaopeng在线人人| 五月婷婷九| 亚洲精品V天堂中文字幕| 久久机热这里只有精品免费视频| 亚洲激情网| 9久精品视频| 五月婷婷天堂| 久99在线视频| 色婷婷综合亚洲| 五月天激情网址| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 国产91在线视频| 五月天六月婷婷电影| 婷婷视频在线碰| 日撸夜撸日操| 日韩AC在线免费观看| 久久九九大香蕉电院| 熟女色色一区二区| 人妻操在线看| 久婷婷视平| 伊人9999| 亚州成人综合在线| 五月天社区狠狠| www.亚洲激情.com| 亚洲欧州色情在线观看| OYIWbGcPu8H| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 亚洲激情在线| 成人短视频在线| 色综合com| 欧美三级黄色片久久| 日韩 中文 欧美| 99热在线精品播放| 婷婷久久大香蕉| 五月天久久久| 99热网站| 五月丁香六月婷婷啪啪综合| 五月婷婷六月天| 插插插色综合网| 中文字幕网伦射乱中文| 久久人人人人妻| 五月丁香婷婷钟和色图| 色色欧美色色| 久久女人九九| 五月丁香综合| 琪琪色五月天| 激情婷婷五月天| 这里只有精品亚洲| 色色色com| 99热这里只有在线播放| 丁香五月花| 激情美女五月天激情在线| 亚州成人综合在线| 日日天天干| 国产无人区大片| 久久综合干| 伊人影音无码一区二区三区 | 五月丁香色综合| 亚州色婷婷| 综合玖玖性爱免费视频| 开心五月天激情网| 五月丁香 啪啪啪| 亚洲成AV人片在线观看| 天天爽夜夜爽夜夜爽精品视频 | 久久综合婷婷激情| 玖玖资源站中文| 欧美啪啪五月天| 99精品在线观看视频| 激情综合婷婷| 亚洲AV免费在线| 99视频在线观看视频| 97色一二三| 婷婷 丁香 精品| 丝袜人妻| 人妻久久久久久| 色婷婷最爱五月| 91狼友视频网页更新| 五月婷婷六月丁香在线| 99热最新精品| 五月丁香激情综合| 色情五月天首页| 日韩精品在线观看9| 狠狠操狠狠| 久操热| 乱岳熟女50岁| 超碰狠狠色| 午夜日韩久久久网站| 中文字幕av久久爽一区| 他改变了拜占庭| 4399无码视频| 久草热视频在线观看| 激情综合在线观看| 99婷婷| 久久这里有精品视频在线免费观看| 亚洲黄3级片网站欧美| 99久久9| 精品综合久久久久久五月天| 黄色成人AV在线| 婷婷丁香九月| 狠狠色丁香五月婷巨| 久久五月婷6 9| 5月婷婷6月六月丁香| 日本91在线| 大战熟女丰满人妻AV| 婷婷干五月综合在线播放| 综合久久五月天| 久久婷婷五月天| 另类五月激情| 激情综合五月天| 少妇人妻人伦A片| 久久久久久五月天| 9人人操人人看| 99色综合| 婷婷亚洲欧美丁香五月| 五月色色色| 国产精品久久久久久久久久免费| 99热这| 久久99免费视屏| 婷婷色五月综合| 色欲午夜无码久久久久久张津瑜| 久久久思思热| 五月婷婷综合成人| 67194成I人在线观看线路1| 婷婷五月天激情在线观看 | 99视频只有精品| 99爱精品视频| 色三级色三级| 无码人妻少妇色欲AV一区二区| 激情丁香六月| 色一情一乱一乱一区91Av| 九九色婷婷五月天| 9月色婷婷| 日本天天综合| 微拍92| 婷婷啪啪| 激情五月天网页| 97婷婷在线视频| 91久久久久久| 五月天另类视频| 亚洲综合在线视频| 久久久久9久无码视频| 97碰超级人人看| 5月婷婷性视频| 97亚洲婷婷| 久久久天堂国产精品女人| 99性色| 五月天婷亚洲综合在线嫩草网| 九月婷婷激情久久| 天天草天天爽| 99国产在线| 五月激情综合网| 日日操夜夜擼| 第四色激情网| 日韩操逼小电影| 五月总合激情网| 综合久久8| 亚洲精品婷婷| 免费视频99| 五月婷婷久久开心网| 综合www色| 99re在线播放| 色五月婷婷91| 激情九九这里只有精品| 美日韩成人| 青青久久91| 天天拍天天操| 日本99色| www,婷婷五月天777me,com| 超碰大香蕉网| 婷婷五月丁香综合瑟瑟| 79精品视频在线观看,| 舔色婷婷| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 99在线小视频| 噼里啪啦在线观看免费完整版视频| 久久99激情| 五月天激情网页| 五月丁香亚洲校园欧美| 香蕉97碰碰碰超视精品| 最近中文字幕2019视频1| 中文资源在线a| 丁香五月激情综合啪啪| sS丁香五月婷婷| 久久hd| 依人大香蕉在钱1| 91日本在线观看| 日日撸夜夜操| 五月天婷婷黄色| 六月婷婷天天操夜夜爽视频| 婷婷五月天情色| 色吧婷婷五月亚洲| 99久在线精品99re8热| 99热只有| WWW.色婷婷.COM| 五月天激情综合首页| 久久婷五月综合| 黄色av网站在线免费播放| 久久婷婷五月综合| 亚洲乱码w在线观看| www.26uuu.com亚洲电影| 五月天婷亚洲天综合网综合| 超碰93在线观看| 婷婷六久久| 成人做爰高潮A片免费视频| 99人人干| 草综合14| 伊人狠狠操| 天天天操天天天爰| 色五月综合在线| 人妻操日日| 婷婷色色亚洲| 婷婷丁香五月综合| WWW久久久| 中文av网站| 性生活久久人妻| 五月天激情网图片 - 百度| 99ri精品| 91久久电影| 色激情网| 日本一级黄色片。| www.超碰在线| 亚洲天堂热| 婷婷五月天国产| 色色丁香激情五月| 襙比视频| 五月丁香六月婷婷,婷| 香蕉国产2013| 99热在线看片| 六月色 亚洲| 久久婷婷五月综合色欧美| 99综合| 久久99热这里只有精品| 久婷| 91热视频色网站| 天天色亚洲| 在线可以看的av网址| 色色亚卅| caopeng97日韩| 欧美精品久久久久久视频观看| 婷婷激情中文综合| 五月婷亚洲精品AV天堂| 26.uuu丁香五月婷婷| 99色久| 人人97操| 久久综合香蕉国产国产蜜臀AV| 色五月丁香A欧美com| 欧洲电影在线观看免费版英语版| 色婷婷五月天在线观看| 色色操| 久热中文字幕| 日韩av在线免费观看| 亚洲五月婷婷| 最新av在线观看| 婷婷丁香色五月天久久88| 欧美亚洲婷婷五月| 婷婷五月天视频免费在线观看| 91婷婷| 99人妻碰碰久久久禁片| 久久国产高清| 欧美情月伍月天| 色五月成人在线| xx久久| 欧美日韩欧美| 综合超碰熟| 思思视频久久| 日日噜狠狠色| 五月丁香婷婷基地| 日本熟妇乱妇熟色A片蜜桃| 国产综合81p| 国产成人AV人人爽人人澡Va| 五月婷婷婷丁香播| 91chinese在线| 性色做爰片在线观看WW| 久久婷婷超碰| 色婷婷激情| 我爱va亚洲va52| 丁香五月在线| 五月丁香婷婷综合| 婷婷伊人綜合中文| 丁香九色不卡aaa| 久久久9久| 久久爱综合| Y11111111111少妇电影院| 人操综合| 九九色网| 99re久热| 色五月色五天色情网址| www.com在线操视频免费观看| 99视频综合| 五月伊人91| 黄色片avv| 97成人在线视频| 九热av| 亚洲图色五月天| 热婷婷久| www.99久久久久99| 婷婷天堂视频| 蜜桃婷婷狠狠久久| 五月婷婷啪啪啪| 成人AV在线网站| 欧美情月伍月天| 五月丁香爱婷婷深深| 人人操Av| 六月婷婷色五月| 97色色色色色色色色色色色色色| 先锋av性爱成人电影| 五月丁香啪啪综合网| 五月色丁香视频精品| 婷婷五月花丁香| 99热66| 色五月婷婷91| 99日本黄站| 久久婷婷综合五月天| 激情六月天| 国产精品扒开腿做爽爽爽A片唱戏 青青草国产亚洲精品久久 | 五月婷婷六月色| 久久激情视频| 国产精产国品一二三在观看| 青青草婷婷五月天| 96精品国产综合久久久久久| 无码动漫AV| 激情六月天婷婷| 99热综合在线观看| 色五月婷婷777| 欧美三级大片AA在线看| 色色影院黄大片| 激情综合网五月| 久久综合激情| 丁香色六月婷婷| 丁香亚洲婷婷五月| 丁香五月综合在线观看| 欧洲亚洲精品| 99操久久| 狠狠干,狠狠操| 婷婷久久五月| 91 影音先锋| 玖玖九九9999在线观看视频精品| 欧美天天搞| 99re免费精品视频| caopeng超碰| 五月丁香色狠狠干大屄| 亚洲a色| 狼人婷婷久久| 色五月av| 国产乱妇乱子在线播视频播放网站| 99九九精品视频推荐| 99日视频在线| 婷婷激情人妻| 99久久99视频只有精品| 婷婷色系婷色| 这里精品| 丁香婷婷色色| 五月综合色| 逼特逼在线免费播放| 久久伊人婷| 97碰| 在线VA视频| 人人草人人爱手机视频看看| 欧美色频| www,天天干| 欧美久久一级内射wwwwww.| 9久9久9久女女女九九九一九| 色九月欧美| 97色色色色| 在线五月色播| 激情综合色播| 六月婷婷久久| 日本久久精品| 超极99精品| 色综合久久中文| 亚洲va日| 丁香婷婷中文字幕| 久热超碰91| 五月丁香六月婷综合成人综合| 丁香伍月婷电影全集| 七七色色综合| 日韩婷婷五月| 丁香五月婷婷欧美成人色图| 婷婷在线五月天观看| 久久人妻人人槡| 色色五月婷婷久久| 色情成人五月天| 99精品久| 五月丁香婷婷色色| 婷婷五月俺要去| 日日夜夜天天综合| 激情av| 欧美内射AAAAAAXXXXX| 激情五月天福利| 九九伊人网| 丁香五月在线观看综合| 五月狠狠| 99视频内射三四| 久久久人人操A V| 久热大香蕉| 狠狠插狠狠| 99热精品99| 中文字幕无码人妻少妇免费视频| 五月伊人91| 日本三级日本黄色| 色婷| 婷婷五月天伦理| 婷婷五月天成人网| 亚洲天堂色色| 日本97在线观看| 九九色图| 婷婷五月天婷婷| 天天操加勒比| 久久99热网| 婷婷色吧| 激情五月综合免费| 中文字幕 中文字幕明步| 91啪啪视频| 激情五月天福利| 色很很96| 涩五月色婷婷| 99热在线观看免费精品| 草榴视频黄色网| 热中文字幕| www.ppypp| 久久99网站| 天天射天天操天天干| 丁香综合网| 久久久久久综合五月婷婷| 在线视频你懂得| 色狠狠色噜噜AV天堂五区| 99久久久久久www| 丁香六月啪啪| 五月色天情| 丁香五月婷婷基地| 中文字幕在线不卡视频| 再綫Av免费視品| 五月亭亭狠狠| 久久人妻视频| 丁香 亚洲 久久| 亚洲射激情| 99在线资源| 久久五月婷综合| 色婷婷狠狠爱| 天天婷婷色六月| 婷婷五月婷婷| 99啪在线| 高清无码 一区 二区 三区| 久久伦乱| 成人视频网| 91色九| 欧美草久久五月天91| 99爱视频在线观看这里只有精品| 久久99免费视频| 蜜臀av无码久久久久久久久| 少妇搡BBBB搡BBB搡毛茸茸 | 中国女人内射6XXXXX| 久操综合| 99热在线观看免费| www.色99| 91chinese 在线| 色色亚卅| 婷婷综合激情| 五月婷婷狠狠久久| 丁香婷婷射| 激情久久久久久| 永久天堂日本| 色五月激情问网站| 婷婷五月天激情电影| 伊人久久丁香狠狠婷婷综合香蕉| 玖玖视频福利| 五月婷婷色五月| 国产欧美熟妇另类久久久| 国产.亚洲.欧洲视频在线| 五月天另类小说久久小说网| 五月婷婷中文| 狠狠色丁香久久婷婷综合五月| 我爱婷婷五月天综合88| 91色久| 久人人操| 一二三区视频韩国| 99久热这里只有精品| 欧美人人超级碰| 97涩涩丁香五月天| 色五月婷婷久久| 在线观看亚洲AV| 婷婷爱婷婷| 激情视频网址| 91九色在线视频| 桔色成人在线| 激情五月天婷婷| 97久久超碰| 婷婷色片| 琪琪狠狠干| 欧美毛片www|