欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

CentOS 7下NVIDIA驅(qū)動(dòng)安裝全流程及常見故障排查

CentOS 7下NVIDIA驅(qū)動(dòng)安裝全流程及常見故障排查 1. 項(xiàng)目背景與環(huán)境預(yù)檢搞GPU服務(wù)器的朋友肯定都有體會(huì)CentOS 7系統(tǒng)穩(wěn)是穩(wěn)但裝驅(qū)動(dòng)這件事稍不留神就黑屏、卡死、循環(huán)登錄甚至內(nèi)核直接崩潰。我給一臺(tái)某高校實(shí)驗(yàn)室的深度學(xué)習(xí)服務(wù)器裝機(jī)時(shí)就折騰了整整一下午這里把完整流程和踩過的坑都記錄下來。先說清楚這臺(tái)設(shè)備的配置CPU是Intel至強(qiáng)系列顯卡是某型號(hào)的NVIDIA專業(yè)卡系統(tǒng)是CentOS 7.9內(nèi)核版本3.10.0機(jī)器上有兩塊機(jī)械硬盤一塊裝系統(tǒng)一塊純做數(shù)據(jù)盤內(nèi)存64G。整個(gè)流程的目標(biāo)很簡(jiǎn)單裝上NVIDIA官方驅(qū)動(dòng)讓nvidia-smi能正常輸出GPU計(jì)算能跑起來后續(xù)跑深度學(xué)習(xí)框架不報(bào)錯(cuò)。動(dòng)手之前這四件事必須先做少一件都容易翻車。1.1 確認(rèn)顯卡型號(hào)和系統(tǒng)環(huán)境這一步很多人會(huì)跳過但偏偏最容易踩坑。驅(qū)動(dòng)不是越新越好顯卡型號(hào)不同、顯存大小不同對(duì)應(yīng)能裝的驅(qū)動(dòng)版本差異很大。我遇到過有人拿著老掉牙的卡硬裝最新驅(qū)動(dòng)結(jié)果編譯直接報(bào)錯(cuò)報(bào)錯(cuò)信息看著像內(nèi)核頭文件缺失其實(shí)是驅(qū)動(dòng)壓根不支持老架構(gòu)。lspci | grep -i nvidia cat /etc/redhat-release uname -rlspci顯示的是硬件層面的顯卡型號(hào)比如NVIDIA GeForce GTX 1080或者NVIDIA Tesla V100。這一步確認(rèn)了實(shí)際硬件后去NVIDIA官網(wǎng)查對(duì)應(yīng)驅(qū)動(dòng)版本的適配表。這里有個(gè)原則優(yōu)先選擇NVIDIA官網(wǎng)提供的對(duì)應(yīng)顯卡型號(hào)的長(zhǎng)期支持版本Long Lived Branch不要追新。實(shí)驗(yàn)室那臺(tái)服務(wù)器最終選的驅(qū)動(dòng)版本是530.41.03適配Tesla系列和部分GeForce系列CUDA 12.2配套也穩(wěn)定。系統(tǒng)環(huán)境主要看內(nèi)核版本CentOS 7默認(rèn)是3.10.0如果自己編譯過內(nèi)核或者升級(jí)過版本會(huì)更高。NVIDIA驅(qū)動(dòng)需要對(duì)應(yīng)版本的內(nèi)核頭文件和源碼包這兩個(gè)東西必須和當(dāng)前內(nèi)核完全匹配。我見過有人裝完驅(qū)動(dòng)后重啟系統(tǒng)起不來排查半天發(fā)現(xiàn)是內(nèi)核頭文件版本不對(duì)驅(qū)動(dòng)模塊編譯出來加載不上。1.2 確認(rèn)nouveau開源驅(qū)動(dòng)占用情況CentOS 7默認(rèn)帶著開源的nouveau驅(qū)動(dòng)這個(gè)驅(qū)動(dòng)和NVIDIA官方驅(qū)動(dòng)沖突一起加載必出問題。裝官方驅(qū)動(dòng)前必須把nouveau徹底禁用掉否則你在nvidia-installer時(shí)它會(huì)提示nouveau正在使用然后直接退出。檢查nouveau的狀態(tài)lsmod | grep nouveau只要輸出里有nouveau字樣就說明它已經(jīng)加載到內(nèi)核里了。禁用它的做法是在/etc/modprobe.d/下新建一個(gè)配置文件寫入黑名單設(shè)置然后重建initramfs讓系統(tǒng)啟動(dòng)時(shí)不再加載nouveau模塊。禁用操作本身不難但要注意改完initramfs之后必須重啟系統(tǒng)而且重啟前要確認(rèn)配置寫對(duì)了。我見過有人改了配置沒重啟就急著裝驅(qū)動(dòng)裝到一半卡死然后一頭霧水。另一個(gè)坑是某些系統(tǒng)鏡像預(yù)裝了圖形界面拿nouveau做桌面顯示的這種機(jī)器要進(jìn)入純字符模式再操作否則圖形界面會(huì)占用GPU設(shè)備驅(qū)動(dòng)安裝時(shí)訪問/dev/nvidia0失敗。1.3 確認(rèn)內(nèi)核頭文件和gcc等編譯環(huán)境NVIDIA官方驅(qū)動(dòng)的run包是現(xiàn)場(chǎng)編譯內(nèi)核模塊的需要內(nèi)核頭文件包和gcc、make、glibc-devel等基礎(chǔ)工具。缺少任何一個(gè)裝驅(qū)動(dòng)時(shí)都會(huì)在編譯階段報(bào)錯(cuò)而編譯報(bào)錯(cuò)的類型很多看著嚇人但原因往往就是環(huán)境不全。yum install -y gcc make kernel-devel-$(uname -r) epel-release上面這條命令的關(guān)鍵在于kernel-devel-$(uname -r)的動(dòng)態(tài)匹配。很多人分不清kernel-headers和kernel-devel的區(qū)別前者只提供頭文件后者才包含完整的聲名和部分源碼連接是鏈接到/usr/src/kernels/目錄下的內(nèi)容NVIDIA驅(qū)動(dòng)編譯時(shí)需要的是kernel-devel。如果裝完后執(zhí)行l(wèi)s /usr/src/kernels/沒看到對(duì)應(yīng)版本目錄那就是裝錯(cuò)了。個(gè)別情況下yum源里找不到匹配內(nèi)核版本的kernel-devel這時(shí)候要么換一個(gè)可用的源要么手動(dòng)去某軟件倉庫下載對(duì)應(yīng)RPM包安裝。1.4 規(guī)劃驅(qū)動(dòng)安裝方式驅(qū)動(dòng)安裝主要有四種方式不同方式適配不同場(chǎng)景我這里簡(jiǎn)單對(duì)比一下后續(xù)章節(jié)會(huì)詳細(xì)講其中兩條路線安裝方式適用場(chǎng)景優(yōu)點(diǎn)缺點(diǎn)官方run包絕大多數(shù)生產(chǎn)環(huán)境、服務(wù)器最穩(wěn)定、可選參數(shù)多、可控性強(qiáng)需要編譯環(huán)境、操作繁瑣ELRepo kmod-nvidiaCentOS/RHEL官方社區(qū)源安裝快、自動(dòng)更新版本滯后、某些特定卡不支持CUDA toolkit捆綁驅(qū)動(dòng)跑深度學(xué)習(xí)框架一次搞定CUDA版本綁定后續(xù)升級(jí)驅(qū)動(dòng)麻煩系統(tǒng)自帶gnome軟件有圖形桌面的場(chǎng)景圖形化簡(jiǎn)單兼容性差服務(wù)器一般不碰我最終選了官方run包方式原因很簡(jiǎn)單這臺(tái)機(jī)器是給深度學(xué)習(xí)用的CUDA版本要自己控制驅(qū)動(dòng)版本也要和CUDA做匹配run包方式可以精準(zhǔn)控制這些變量。ELRepo雖然簡(jiǎn)單快速但它的驅(qū)動(dòng)版本通常滯后幾個(gè)月新卡支持往往跟不上CUDA toolkit捆綁的驅(qū)動(dòng)則存在互相覆蓋的問題后續(xù)想單獨(dú)換驅(qū)動(dòng)版本時(shí)會(huì)比較繞。2. 驅(qū)動(dòng)安裝方案的完整流程CentOS 7下裝NVIDIA驅(qū)動(dòng)選官方run包是相對(duì)最靠譜的一條路。這里我把每一步操作和背后的邏輯都拆開講清楚。2.1 禁用nouveau驅(qū)動(dòng)的完整操作先創(chuàng)建一個(gè)黑名單配置文件vim /etc/modprobe.d/blacklist-nouveau.conf寫入以下內(nèi)容blacklist nouveau options nouveau modeset0第一行告訴內(nèi)核不要加載nouveau第二行關(guān)閉它的模式設(shè)置功能。寫完保存后需要重新生成initramfs鏡像mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak dracut /boot/initramfs-$(uname -r).img $(uname -r)注意這里不是直接用dracut -f強(qiáng)制覆蓋而是先備份原文件這樣萬一新生成的initramfs有問題還能回滾。重新生成鏡像的過程大概十幾秒輸出會(huì)顯示/boot/initramfs-3.10.0-1160.99.1.el7.x86_64.img之類的字樣后面跟一串模塊列表看到nouveau出現(xiàn)在其中也不用慌黑名單配置早就寫好了它不會(huì)再被加載。改完后重啟系統(tǒng)重啟后再次執(zhí)行l(wèi)smod | grep nouveau這條命令不輸出任何內(nèi)容就對(duì)了。如果還有輸出大概率是黑名單配置文件沒生效檢查一下文件權(quán)限和路徑拼寫。順便說一下有時(shí)候/etc/modprobe.d/里已經(jīng)有別的文件寫入了nouveau相關(guān)內(nèi)容比如某些云鏡像生成的blacklist.conf這種需要仔細(xì)檢查不要一個(gè)文件沒生效就急著繼續(xù)。2.2 進(jìn)入純命令行模式安裝RPM系發(fā)行版在安裝NVIDIA驅(qū)動(dòng)時(shí)通常建議停掉圖形界面因?yàn)閄 Server會(huì)占用GPU設(shè)備。服務(wù)器有圖形界面的情況雖然不多見但還是提一下CentOS 7如果裝了GNOME桌面要先把默認(rèn)運(yùn)行級(jí)別切到多用戶模式。systemctl get-default systemctl set-default multi-user.target如果是臨時(shí)切換可以用systemctl isolate multi-user.target或者直接init 3進(jìn)入字符界面。切換之前注意保存工作因?yàn)閳D形界面會(huì)直接殺掉。還有一種情況是SSH遠(yuǎn)程連接安裝根本不需要圖形界面直接按命令行操作就行但如果機(jī)器上裝了X Server且正在運(yùn)行建議還是先停掉。跑安裝腳本前需要把驅(qū)動(dòng)run包上傳到服務(wù)器比如放到/tmp目錄下然后加上執(zhí)行權(quán)限chmod x NVIDIA-Linux-x86_64-530.41.03.run ./NVIDIA-Linux-x86_64-530.41.03.run --silent --no-opengl-files--no-opengl-files這個(gè)參數(shù)很關(guān)鍵OpenGL文件會(huì)和系統(tǒng)已有的GL庫沖突有時(shí)會(huì)導(dǎo)致圖形界面起不來。如果純計(jì)算服務(wù)器不需要桌面顯示直接帶上這個(gè)參數(shù)最保險(xiǎn)。2.3 處理Secure Boot和內(nèi)核模塊簽名問題現(xiàn)在的服務(wù)器主板基本都默認(rèn)開啟Secure Boot這會(huì)給NVIDIA驅(qū)動(dòng)安裝帶來額外麻煩。CentOS 7內(nèi)核如果是在Secure Boot模式下啟動(dòng)的加載第三方內(nèi)核模塊時(shí)會(huì)要求模塊有合法簽名否則直接被拒。安裝時(shí)如果沒注意這個(gè)裝完驅(qū)動(dòng)重啟后會(huì)看到類似這樣的提示Loading /var/lib/dkms/nvidia/530.41.03/build/nvidia.ko Error: Module nvidia not foundnvidia-smi執(zhí)行時(shí)報(bào)Failed to initialize NVML: Driver/library version mismatch也是這個(gè)原因的一種表現(xiàn)。解決方法有幾個(gè)最簡(jiǎn)單的就是進(jìn)BIOS把Secure Boot關(guān)掉。但有些服務(wù)器是托管的BIOS密碼都在機(jī)房管理員手里改不了。這種情況可以走模塊簽名流程生成自簽名密鑰然后用mokutil導(dǎo)入系統(tǒng)Linux內(nèi)核啟動(dòng)時(shí)會(huì)按MOK列表驗(yàn)證模塊簽名。生成簽名密鑰的流程openssl req -new -x509 -newkey rsa:2048 -keyout MOK.priv -outform DER -out MOK.der -nodes -days 36500 -subj /CNNVIDIA-MODULE-SIGN/然后用mokutil --import MOK.der導(dǎo)入密鑰重啟后系統(tǒng)會(huì)進(jìn)入MOK管理界面按提示完成密碼確認(rèn)和密鑰加載。之后再用/usr/src/kernels/$(uname -r)/scripts/sign-file對(duì)編譯好的nvidia.ko、nvidia-modeset.ko等一堆內(nèi)核模塊逐一簽名。這個(gè)操作比較繁瑣但卻是唯一的正規(guī)路線。我分享一個(gè)經(jīng)驗(yàn)簽名腳本要對(duì)lib/modules/$(uname -r)/extra/nvidia下所有.ko文件執(zhí)行不要只簽主模塊。漏簽一個(gè)對(duì)應(yīng)的功能就會(huì)受限比如nvidia-modeset.ko沒簽顯示器驅(qū)動(dòng)就加載不上nvidia-uvm.ko沒簽CUDA統(tǒng)一內(nèi)存就不可用。2.4 DKMS方式的替代方案CentOS 7里還可以通過DKMS框架來管理NVIDIA驅(qū)動(dòng)模塊。DKMS的好處是當(dāng)內(nèi)核升級(jí)時(shí)驅(qū)動(dòng)模塊會(huì)自動(dòng)重編譯不用每次升級(jí)內(nèi)核后手動(dòng)重裝驅(qū)動(dòng)。yum install -y dkms裝好DKMS框架后在安裝NVIDIA run包時(shí)加上--dkms參數(shù)模塊文件會(huì)交給DKMS維護(hù)。裝完后每次系統(tǒng)通過yum升級(jí)內(nèi)核DKMS都會(huì)檢測(cè)到新內(nèi)核在重啟前自動(dòng)把NVIDIA模塊編譯好避免升級(jí)內(nèi)核后驅(qū)動(dòng)失效的尷尬。我在生產(chǎn)環(huán)境里更推薦這種方式因?yàn)榉?wù)器總要打安全補(bǔ)丁升級(jí)內(nèi)核的不會(huì)自動(dòng)重編驅(qū)動(dòng)的話每次升級(jí)都要心驚膽戰(zhàn)。DKMS方式有幾個(gè)注意點(diǎn)第一kernel-devel必須和當(dāng)前運(yùn)行內(nèi)核完全一致DKMS編譯就是依賴它第二導(dǎo)入MOK密鑰的頻率也要跟上內(nèi)核升級(jí)后簽名密鑰不會(huì)自動(dòng)變但模塊會(huì)重新編譯所以建議保留MOK密鑰文件方便重新簽名。第三NVIDIA驅(qū)動(dòng)run包在DKMS安裝模式下會(huì)往/usr/src/nvidia-530.41.03/寫入源碼不要手動(dòng)刪否則DKMS無從編譯。2.5 設(shè)置環(huán)境變量和持久化配置驅(qū)動(dòng)裝完后還需要設(shè)置CUDA相關(guān)的環(huán)境變量。雖然NVIDIA驅(qū)動(dòng)本身不依賴CUDA但跑深度學(xué)習(xí)框架時(shí)需要讓系統(tǒng)找到nvcc編譯器和CUDA運(yùn)行庫。在/etc/profile.d/下新建一個(gè)文件vim /etc/profile.d/cuda.sh寫入export PATH/usr/local/cuda-12.2/bin:$PATH export LD_LIBRARY_PATH/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH保存后source /etc/profile生效。這里要注意/usr/local/cuda是一個(gè)軟鏈接指向?qū)嶋H安裝的CUDA版本目錄。系統(tǒng)里如果之前裝過別的版本軟鏈接指向可能不是你想要的需要確認(rèn)一下。ls -l /usr/local/ | grep cuda看清楚鏈接目標(biāo)別配了個(gè)幽靈路徑。還要處理電源管理問題GPU服務(wù)器功耗這塊需要配置持久化模式否則每次重啟NVIDIA驅(qū)動(dòng)都會(huì)恢復(fù)到默認(rèn)的非持久化模式GPU工作頻率管理混亂而且在某些虛擬化環(huán)境下會(huì)隨機(jī)掉卡。nvidia-smi -pm 1這條命令的意義是讓NVIDIA驅(qū)動(dòng)服務(wù)在后臺(tái)常駐管理GPU狀態(tài)。它會(huì)把電源管理配置寫入/etc/nvidia/目錄下的配置文件中SDK服務(wù)隨開機(jī)自動(dòng)啟動(dòng)不用每次手動(dòng)開。順便說一下加了-pm 1后nvidia-smi每次查詢GPU狀態(tài)的速度會(huì)明顯變快算是個(gè)意外之喜。3. 簡(jiǎn)單測(cè)試與性能驗(yàn)證裝完驅(qū)動(dòng)最要緊的就是立刻驗(yàn)證這一步能確認(rèn)驅(qū)動(dòng)是否真的對(duì)系統(tǒng)所有組件都兼容而不是僅僅“裝上沒報(bào)錯(cuò)”。3.1 nvidia-smi基礎(chǔ)信息檢查剛裝完驅(qū)動(dòng)先跑一下nvidia-smi這是判斷驅(qū)動(dòng)安裝是否成功的最直接手段。正常輸出會(huì)顯示顯卡名稱、驅(qū)動(dòng)版本、CUDA版本、顯存使用情況等。常見的問題場(chǎng)景是驅(qū)動(dòng)版本顯示出來了但CUDA Version顯示N/A或者顯示版本號(hào)但和預(yù)期不一致。如果是N/A說明CUDA toolkit沒有裝或者系統(tǒng)環(huán)境變量沒配對(duì)驅(qū)動(dòng)本身沒問題。根據(jù)經(jīng)驗(yàn)先檢查/usr/local/cuda軟鏈接是否存在再檢查L(zhǎng)D_LIBRARY_PATH里的路徑是否正確大多數(shù)情況是環(huán)境變量配置漏了。nvidia-smi下方會(huì)有一個(gè)進(jìn)程列表顯示當(dāng)前占用GPU的進(jìn)程。正常狀態(tài)下這里是空的但如果之前有過別的進(jìn)程運(yùn)行會(huì)看到殘留這個(gè)不用管如果顯示錯(cuò)誤進(jìn)程名或者PID異??梢杂胒user -v /dev/nvidia*查具體占用者。供電方面nvidia-smi -q -d POWER可以查看當(dāng)前功耗注意如果是老平臺(tái)的PCIe 2.0插槽供電限制可能導(dǎo)致GPU性能跑不滿但這類問題一般不是驅(qū)動(dòng)故障是硬件槽位約束。3.2 檢查內(nèi)核模塊加載狀態(tài)lsmod | grep nvidia正常情況下至少會(huì)有nvidia、nvidia_uvm、nvidia_drm、nvidia_modeset這幾個(gè)模塊輸出。其中nvidia_drm是顯示輸出模塊純計(jì)算場(chǎng)景下有沒有它不太影響CUDA計(jì)算但如果有桌面顯示需求它必須存在且正確加載。模塊加載情況的順序也值得注意。nvidia_modeset和nvidia_drm依賴nvidia父模塊如果父模塊沒加載成功后面這幾個(gè)也會(huì)顯示不可用。用dmesg | grep nvidia查看內(nèi)核日志能看到模塊加載的具體錯(cuò)誤信息。我遇到過nvidia_uvm模塊加載失敗的情況nvidia-smi能正常顯示但跑CUDA程序時(shí)統(tǒng)一內(nèi)存初始化報(bào)錯(cuò)。原因是有個(gè)特定的內(nèi)核參數(shù)匹配問題重新加載一次模塊就正常了modprobe -r nvidia_uvm nvidia_modeset nvidia_drm nvidia modprobe nvidia_uvm3.3 圖形渲染能力測(cè)試Ubuntu桌面用戶或者有大規(guī)??梢暬枨蟮呐笥芽梢栽谘b有圖形界面的CentOS 7機(jī)器上運(yùn)行g(shù)lxinfo查看OpenGL渲染器信息。如果顯示的是NVIDIA型號(hào)說明硬件加速已經(jīng)生效如果顯示的是llvmpipe或者M(jìn)esa說明還在用軟件模擬渲染性能會(huì)差太多。glxinfo | grep OpenGL renderer軟件渲染通常是因?yàn)闆]裝glxinfo工具或者X Server沒有正確加載NVIDIA的GLX模塊。如果顯示libGL error: failed to load driver: swrast那就是GL庫文件路徑混亂了常見的解決辦法是用--no-opengl-files參數(shù)重新跑一遍安裝流程把OpenGL文件的選擇權(quán)交給系統(tǒng)本身。3.4 計(jì)算能力測(cè)試與CUDA基礎(chǔ)驗(yàn)證如果CUDA toolkit已經(jīng)裝好最簡(jiǎn)單的計(jì)算測(cè)試就是寫一段CUDA的向量加法或者直接跑deviceQuery示例。這里有個(gè)更簡(jiǎn)單的方法用Python加PyTorch來驗(yàn)證import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0)) print(torch.cuda.get_device_capability(0)) a torch.randn(10000).cuda() b torch.randn(10000).cuda() c a b assert torch.allclose(c, a b, rtol1e-5) print(CUDA runtime test passed)PyTorch能正確輸出顯卡名稱和計(jì)算能力說明CUDA驅(qū)動(dòng)部分已經(jīng)工作正常。向量加法的結(jié)果驗(yàn)證能確保顯存讀寫沒有異常。在實(shí)驗(yàn)室機(jī)器上實(shí)測(cè)輸出計(jì)算能力是(7,5)一張Tesla V100級(jí)別的卡跑起來單精度乘加運(yùn)算快得出奇幾毫秒的運(yùn)算根本沒必要用性能計(jì)數(shù)器去測(cè)損耗直接用torch.cuda.synchronize()卡一下時(shí)間就能測(cè)出大致水平。真實(shí)場(chǎng)景中跑深度學(xué)習(xí)計(jì)算測(cè)試時(shí)要注意顯存占用torch.randn(10000).cuda()這種小規(guī)模計(jì)算占不了多少顯存但如果是大模型的加載測(cè)試顯存不夠時(shí)PyTorch會(huì)拋出CUDA out of memory錯(cuò)誤這個(gè)錯(cuò)誤和驅(qū)動(dòng)故障無關(guān)是要調(diào)batch size。3.5 用NVIDIA自帶工具做壓力測(cè)試驅(qū)動(dòng)包自帶的nvidia-bug-report.sh和nvidia-smi diag這些工具可以更深入地檢測(cè)GPU健康狀態(tài)。nvidia-smi -q -d PERFORMANCE nvidia-smi -q -d TEMPERATURE nvidia-smi -q -d MEMORY跑一次完整的顯存壓力測(cè)試可以用nvidia-smi -q -d ECC查看ECC糾錯(cuò)計(jì)數(shù)在深度學(xué)習(xí)訓(xùn)練環(huán)境中ECC計(jì)數(shù)如果持續(xù)增長(zhǎng)說明顯存有硬件問題需要立刻排查。另一個(gè)方法是編譯驅(qū)動(dòng)包里的NVIDIA CUDA Sample里面的bandwidthTest和deviceQuery示例非常適合驗(yàn)證計(jì)算和帶寬。make -C /usr/local/cuda/samples/1_Utilities/bandwidthTest ./bandwidthTest輸出結(jié)果中Host to Device和Device to Host的帶寬值如果遠(yuǎn)低于理論峰值或者波動(dòng)很大就要檢查PCIe通道是不是沒跑在滿速狀態(tài)。我遇到過一次顯卡插在PCIe 3.0 x4槽位上帶寬只有x16的五分之一裝驅(qū)動(dòng)時(shí)一切正常但訓(xùn)練速度非常慢。最后發(fā)現(xiàn)是主板上第二根PCIe插槽實(shí)際只有x4通道換槽后性能大幅提升。4. 常見問題與故障排查實(shí)錄驅(qū)動(dòng)裝多了總會(huì)遇到各種問題這一節(jié)我把遇到的典型故障和排查路徑整理成速查表也把幾條重要的排查思路單獨(dú)講清楚。4.1 安裝完成后啟動(dòng)卡在登錄界面或黑屏現(xiàn)象重啟后無法進(jìn)入系統(tǒng)顯示器黑屏或者卡在登錄界面循環(huán)跳轉(zhuǎn)。在CentOS 7這種以X Server為主的系統(tǒng)里最常見的原因是OpenGL庫被覆蓋。解決辦法分兩種路徑如果是已經(jīng)裝好了驅(qū)動(dòng)系統(tǒng)起不來進(jìn)單用戶模式重裝驅(qū)動(dòng)加上--no-opengl-files參數(shù)如果驅(qū)動(dòng)還沒裝只是預(yù)先配置了nouveau黑名單導(dǎo)致桌面起不來那就進(jìn)字符模式把/etc/modprobe.d/blacklist-nouveau.conf里內(nèi)容注釋掉先恢復(fù)系統(tǒng)再重新規(guī)劃安裝。新老司機(jī)都要記住純計(jì)算服務(wù)器上完全沒必要裝OpenGL相關(guān)的文件顯存計(jì)算和OpenGL沒有任何關(guān)系驅(qū)動(dòng)包帶的那份OpenGL庫是針對(duì)桌面Linux用戶寫的服務(wù)器上加了它反而容易出事。4.2 NVIDIA-SMI報(bào)錯(cuò)Failed to initialize NVMLFailed to initialize NVML: Driver/library version mismatch是頻率最高的報(bào)錯(cuò)。原因通常是驅(qū)動(dòng)/內(nèi)核模塊和用戶態(tài)庫的版本不一致比如內(nèi)核里還是老版本的nvidia.ko而用戶態(tài)的libnvidia-ml.so已經(jīng)被更新到新版了。排查思路nvidia-smi --version cat /proc/driver/nvidia/version兩者版本對(duì)不上就要用lsmod | grep nvidia看內(nèi)核模塊狀態(tài)用modprobe -r nvidia卸載再重新加載。如果重新加載后直接被拒絕需要重啟系統(tǒng)進(jìn)入新內(nèi)核后用干凈的方式重新加載模塊。另一種類似報(bào)錯(cuò)是NVML library version mismatch這種多數(shù)是驅(qū)動(dòng)run包重裝但沒有徹底清理舊文件導(dǎo)致的。裝新版本前建議用nvidia-uninstall卸載一遍或者手動(dòng)刪掉/usr/lib64/libnvidia*下的舊庫文件再重裝。4.3 內(nèi)核升級(jí)后驅(qū)動(dòng)失效CentOS 7如果通過yum update升級(jí)了內(nèi)核重啟后往往發(fā)現(xiàn)nvidia-smi無法運(yùn)行因?yàn)樾聝?nèi)核需要重新編譯NVIDIA內(nèi)核模塊。這就是前面提到DKMS價(jià)值的活案例沒配DKMS就要手動(dòng)把驅(qū)動(dòng)run包重新執(zhí)行一遍。重新執(zhí)行的方法很簡(jiǎn)單./NVIDIA-Linux-x86_64-530.41.03.run --silent如果沒勾DKMS記得先檢查kernel-devel版本是否匹配新內(nèi)核不匹配先裝kernel-devel-$(uname -r)。升級(jí)內(nèi)核這個(gè)操作還有個(gè)大坑CentOS 7的yum update默認(rèn)會(huì)保留多個(gè)內(nèi)核版本重啟時(shí)如果不小心選錯(cuò)了舊內(nèi)核nvidia-smi也會(huì)報(bào)版本不匹配錯(cuò)誤。所以升級(jí)完內(nèi)核重啟時(shí)最好確認(rèn)一下當(dāng)前啟動(dòng)的是哪個(gè)內(nèi)核版本uname -r一查便知。4.4 編譯錯(cuò)誤Kernel header not found安裝run包時(shí)在編譯階段報(bào)Kernel header not found這個(gè)錯(cuò)誤很多新手看到就慌。排查方向很簡(jiǎn)單yum list installed | grep kernel-devel ls /usr/src/kernels/kernel-devel沒裝或者版本和uname -r不一致。有時(shí)候yum install kernel-devel會(huì)自動(dòng)裝一個(gè)最新版本的內(nèi)核頭文件但這個(gè)最新版本和當(dāng)前運(yùn)行的內(nèi)核不是同一個(gè)這就會(huì)導(dǎo)致問題。解決方法是明確指定版本號(hào)安裝yum install -y kernel-devel-$(uname -r)如果當(dāng)前運(yùn)行的內(nèi)核版本在yum源里找不到對(duì)應(yīng)的kernel-devel包極大概率是機(jī)器內(nèi)核被手動(dòng)升級(jí)過了而CentOS 7的基礎(chǔ)yum源沒有新到那個(gè)內(nèi)核版本的開發(fā)包需要額外添加源或者直接去官網(wǎng)鏡像站點(diǎn)找那個(gè)版本的RPM文件。4.5 CUDA版本與驅(qū)動(dòng)版本不匹配CUDA運(yùn)行時(shí)對(duì)驅(qū)動(dòng)版本有下限要求比如CUDA 12.2要求驅(qū)動(dòng)版本530.30.0。驅(qū)動(dòng)版本太老時(shí)運(yùn)行CUDA程序會(huì)報(bào)CUDA driver version is insufficient for CUDA runtime version。NVIDIA官方有個(gè)CUDA兼容矩陣表格列出每個(gè)CUDA版本要求的最低驅(qū)動(dòng)版本。查這張表再?zèng)Q定是升級(jí)驅(qū)動(dòng)還是降級(jí)CUDA不要憑感覺來。我遇到過CUDA庫版本和驅(qū)動(dòng)版本都滿足要求但運(yùn)行程序仍報(bào)這個(gè)錯(cuò)的情況最后發(fā)現(xiàn)是LD_LIBRARY_PATH里混入了多個(gè)CUDA版本的路徑系統(tǒng)優(yōu)先加載了舊CUDA運(yùn)行庫。用ldd檢查當(dāng)前程序的動(dòng)態(tài)庫依賴就能發(fā)現(xiàn)ldd /path/to/your_binary | grep libcuda正常應(yīng)顯示libcuda.so.1如果是libcuda.so.530.41.03這類帶完整驅(qū)動(dòng)版本號(hào)的庫文件說明庫路徑混亂了需要調(diào)整LD_LIBRARY_PATH。4.6 顯卡掉卡與PCIe鏈路異常有些雙卡甚至四卡服務(wù)器會(huì)遇到某張卡間歇性檢測(cè)不到nvidia-smi里卡的數(shù)量時(shí)多時(shí)少。這個(gè)問題在虛擬化環(huán)境下特別常見宿主機(jī)的PCIe拓?fù)涓綦x不徹底會(huì)出現(xiàn)物理服務(wù)器通常沒那么容易掉卡但PCIe插槽接觸不良仍然可能。排查分兩步lspci | grep -i nvidia nvidia-smi -L第一句看系統(tǒng)是否識(shí)別了所有卡第二句看驅(qū)動(dòng)是否管理了所有卡。如果lspci能看到但驅(qū)動(dòng)管理不到可以用nvidia-smi -r重置這張卡或者用nvidia-smi --gpu-reset強(qiáng)制重置指定GPU。物理接觸不良的情況關(guān)機(jī)斷電重新插拔顯卡和供電線才是終極辦法這個(gè)問題在密集機(jī)架環(huán)境中出現(xiàn)概率不小移動(dòng)服務(wù)器后經(jīng)常遇到裝了再好的驅(qū)動(dòng)也解決不了接觸不良。5. 實(shí)戰(zhàn)心得與后續(xù)優(yōu)化建議跑了這么多年Linux服務(wù)器裝NVIDIA驅(qū)動(dòng)像是每個(gè)運(yùn)維都要走過的獨(dú)木橋。這里把后續(xù)值得做的事情和最終的體會(huì)寫一下給新接觸GPU服務(wù)器的朋友一個(gè)落地的收尾。5.1 單卡與多卡環(huán)境的差異單卡服務(wù)器裝驅(qū)動(dòng)相對(duì)簡(jiǎn)單多卡環(huán)境在多卡互聯(lián)、中斷路由、PCIe帶寬分配上會(huì)有更多需要檢查的點(diǎn)。多卡環(huán)境裝好驅(qū)動(dòng)后nvidia-smi topo -m可以查看GPU之間的拓?fù)潢P(guān)系是NVLink直連還是走PCIe交換。運(yùn)行深度學(xué)習(xí)任務(wù)時(shí)盡量讓通信頻繁的進(jìn)程跑在同一根PCIe交換機(jī)下的GPU組合上延遲會(huì)低不少。雙卡環(huán)境還有一個(gè)常見問題系統(tǒng)默認(rèn)的MMIO映射空間不夠兩塊卡共用一個(gè)中斷分組會(huì)導(dǎo)致性能異常。這種問題一般通過內(nèi)核參數(shù)pcirealloc解決配置到/etc/default/grub的CMDLINE_LINUX里執(zhí)行g(shù)rub2-mkconfig -o /boot/grub2/grub.cfg后重啟生效。5.2 驅(qū)動(dòng)程序占用的顯存和MIG配置nvidia-smi啟動(dòng)后每個(gè)GPU會(huì)預(yù)留一部分顯存給驅(qū)動(dòng)上下文顯存越大預(yù)留比例越高。初步估算驅(qū)動(dòng)預(yù)留顯存通常是數(shù)十到兩三百M(fèi)B的量級(jí)對(duì)訓(xùn)練任務(wù)只占用個(gè)位數(shù)GB顯存的時(shí)候影響不明顯但如果是小顯存卡跑模型這個(gè)開銷不能忽視。預(yù)留的顯存可以在nvidia-smi輸出里看到分成FB Memory Usage的used項(xiàng)。新一代專業(yè)卡支持MIG多實(shí)例GPU可以把一塊物理GPU切成多個(gè)獨(dú)立分區(qū)每個(gè)分區(qū)擁有獨(dú)立的顯存和計(jì)算單元。配置MIG后面向多租戶場(chǎng)景非常有用但要注意MIG開啟后驅(qū)動(dòng)必須在root權(quán)限下運(yùn)行nvidia-smi -mig 1啟用并且CUDA版本要支持MIG特性。跑深度學(xué)習(xí)多任務(wù)分片時(shí)這種方式能大幅提升單卡資源利用率。5.3 推薦自動(dòng)監(jiān)控腳本方案生產(chǎn)環(huán)境建議寫一個(gè)簡(jiǎn)單的Shell腳本監(jiān)控GPU的功耗、溫度和顯存使用出現(xiàn)異常自動(dòng)重啟驅(qū)動(dòng)或記錄日志。分享一個(gè)簡(jiǎn)化版的監(jiān)控思路#!/bin/bash GPU_TEMP$(nvidia-smi --query-gputemperature.gpu --formatcsv,noheader | awk {sum$1} END {print sum/NR}) if [ $GPU_TEMP -gt 85 ]; then echo $(date) GPU temperature $GPU_TEMP 85, please check cooling /var/log/gpu_monitor.log fi腳本思路很簡(jiǎn)單做不做取決于現(xiàn)場(chǎng)環(huán)境。個(gè)人建議如果機(jī)器放在機(jī)房里散熱沒把握或者跑的是長(zhǎng)時(shí)間訓(xùn)練任務(wù)這類監(jiān)控一定不能省。至少每周看一眼nvidia-smi的功耗和溫度走勢(shì)花不了兩分鐘能省掉不少半夜被叫起來處理故障的麻煩。5.4 安裝之后需要養(yǎng)成的習(xí)慣裝機(jī)完成不是終點(diǎn)日常維護(hù)才是重點(diǎn)。根據(jù)個(gè)人經(jīng)驗(yàn)裝機(jī)后會(huì)再養(yǎng)成的習(xí)慣包括工具鏈全家桶保持干凈kernel-devel和gcc這些編譯組件不要隨便卸載指不定哪天升級(jí)內(nèi)核就要用。安裝驅(qū)動(dòng)時(shí)生成的各種備份文件不要急著刪比如initramfs的bak文件留著占不了多少空間關(guān)鍵時(shí)刻能救命。涉及/etc/modprobe.d/和/etc/profile.d/的修改記得寫注釋表明改了什么和原因不然三個(gè)月后你再回來看自己寫的配置文件多半會(huì)一頭霧水。更重要的一點(diǎn)CentOS 7已經(jīng)在逐步進(jìn)入維護(hù)末期如果新裝機(jī)項(xiàng)目還在規(guī)劃階段建議同步評(píng)估新版系統(tǒng)的遷移路徑。NVIDIA驅(qū)動(dòng)在新系統(tǒng)上裝機(jī)流程更順因?yàn)樾掳嫦到y(tǒng)自帶的內(nèi)核模塊簽名機(jī)制和DKMS管理更成熟不用像CentOS 7里這樣費(fèi)勁手動(dòng)管理模塊。但如果短期跑的是存量CentOS 7環(huán)境這套流程穩(wěn)定用幾年是沒問題的。5.5 回歸一下裝驅(qū)動(dòng)這件事的心態(tài)把驅(qū)動(dòng)裝上nvidia-smi能打印出來訓(xùn)練能跑起來這只是起步。真正的價(jià)值在于通過這次折騰把系統(tǒng)底層、顯卡硬件、內(nèi)核模塊之間的關(guān)系理清楚了后續(xù)再遇到類似問題就不再是黑盒試探而是有思路可循的排查過程。我個(gè)人在實(shí)際操作中的體會(huì)是裝NVIDIA驅(qū)動(dòng)這件事情最大的敵人不是復(fù)雜的技術(shù)難點(diǎn)而是心急。每一步都驗(yàn)證過了再往前走比一口氣跑完所有命令要穩(wěn)妥得多。尤其是重啟這個(gè)環(huán)節(jié)每次重啟前想清楚要不要備份、要不要改啟動(dòng)項(xiàng)、確認(rèn)哪些服務(wù)會(huì)受影響這些習(xí)慣能省掉的麻煩遠(yuǎn)超你的想象。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
热久91| 五月丁香综合啪啪啪啪啪| 天干夜夜操| 丁香五月影| 青青五月天婷婷| 玖玖婷婷五月天| 色色激情五月天| 亚洲AV成人精品日韩在线播放| 五夜丁香| 综合网五月| 成人AV免费观看| 成人亚洲精品| 免費亭亭成人| 奇米色大香蕉| 九九婷婷综合| 丁香五月婷婷久久久| 久久精彩免费视频| 五月婷婷乱| 丁香五月婷婷综合激情啪啪啪| 丁香五月天激情网| 日本婷久久| 五月色婷| www.五月天。com| 亚洲黄色网址| 五月婷婷六月情| 插逼综合网| 色婷婷色99国产综合精品| 久草天堂| 久99婷婷色综合| 色99网站| 久久婷婷激情五月天一区二区| 超碰在线人妻| 79精品视频| 五月天伊人久久久久| 99热免费精品| 六月丁香五月亭亭| 另类 在线| 美国十月色婷婷在线观看| 亚洲无码11| 九九精品热| www色婷婷com| 综合久久人妻| 99九九精品| 婷婷激情六月综合| 五月婷婷成人网首页| 亚洲激情在线| 色色色色综合网| 五月婷婷六月丁香综合在线| 久久久久久久久人妻| 丁香五月视频在线观看| 欧美婷婷五月激情| 婷婷丁香激情五月| 99精品7| 色婷婷五月天av在线| 一区二区三区XXXXXX| 国产精品天天狠天天看| 九色自拍| 日本色色网站| 精品久热| 99这里只有精品| 五月丁香啪| www.99热. com这里只有精品| 国产在线6| 黄色大片又大粗又爽| 久操福利| a片在线免费观看一区| 久久综合激情| 久久涩视频| 色狠狠色噜噜AV天堂五区| 亚洲无码99| 黄色成人网站在线播放| AV在线大香蕉| 婷婷五月天色| 婷婷激情五月天激情小说| 欧美性二区| 欧美色碰| 婷婷色导航| 99ri视频| 五月天激情网址| 天天日日天天| 激情深爱综合网| 婷婷精品综合| 色婷婷88| 国产日产亚洲系列最新| 91九色超碰正在播放| 色999五月色| 琪琪布丁香社区激情五月天| 婷婷五月天综合久久| 99久久婷婷国产综合亚洲| 九色自拍| 无套内射极品大美女| 青青草原中文字幕| 天天摸天天肏| 九九色区| 天综合日日夜综合7799| 五月久久丁香| 四LLL少妇BBBB槡BBBB| 巴基斯坦粉嫩无码视频| 99久久6| 天天色视频| 伊人五月婷婷| 久久综合久色欧美综合狠狠 | 久久3p| 在线不卡视频| 另类综合网| 婷婷丁香六月天| 综合激情婷婷| 五月婷狠狠| 91视频免费后入强操| 深夜男女福利刺激影院一区| 疯狂做受XXXX高潮A片| 强辱丰满人妻HD中文字幕| 五月天婷婷狂暴白浆| 狠狠狠狠青草| www.色综合| 婷婷五月欧美综合| 亚洲成人中心| 九九色婷婷五月天| 久久97| 丁香五月人妻熟女| 色优久久| 亭亭丁香97| 五月丁香啪啪婷婷| 操射国产日本| 99色色网| 97碰碰视频在线观看| 亚洲色婷婷婷婷人人爽| 六月丁香综合| 9 9热这里有精品| 亚洲另类在线观看| 婷婷王月天影院| 六月丁香综合| 99丝袜精品视频网站| 久久婷五月婷| 女人被男人吃奶到高潮| 超碰操日| 五月天六月丁香| 久久精品视频在这里有| 不卡在线超碰| 77799热| 九九精品免费| 色色性爱视频| 啪啪91| 美日韩成人| 五月丁香婷婷综合| 日本熟妇乱妇熟色A片蜜桃| 久热大香蕉| 色一情一乱一乱一区91Av| 激情深爱五月天| 国产成人综合网| 91啪啪视频| 中文字幕无码人妻少妇免费视频| 久久五月婷综合| 国产乱轮一区二区三区| 偷偷操99| 五月丁香网av| 就爱射中文字幕资源网| 免费视频99| 精品久久这里热66| 五月婷婷激情综合网| 99人人干| 狠狠色噜噜狠狠狠狠狠色综合久久| 任我肏视频精品| 999九九九久久久99HD| 久9视频免费播放| 五月丁香综合在线| 色综合xx| 亚洲精品国产精品乱码视99| 九九热10| 666555。COm毛片| 99九九这里有免费视频| 青青草色在线视频观看| 激情综合五月.....| 淫荡综合网| 色偷偷色婷婷| 天天爱天天操| 精品操逼一区二区| 色综合色色| 欧美亚洲999| 五月天激情久色| 中文AV网站| 久久婷婷综合基地| 国产AV一区二区三区最新精品 | 五月天啪啪啪| 五月婷婷性爱网| 色色色在线观看| 婷婷综合网| 婷婷狠狠五月综合| 99热这里| 日日操夜夜操不卡| 久久婷婷亚洲| 韩国婷婷丁香五月| 五月婷婷激情| 99丁香五月| 日韩在线观看亚洲| 99热这里只有精品23| 五月天综合在线观看| 97碰久久| 久久无码成人| 9l视频自拍9l九色成人| 综合五月丁香六月婷婷| 亚洲精品国产成人AV在线| 日本A片一区| 天天做天天爱天天要| 人人爱摸视频| 久久五月婷婷综合网| 天堂成人久久| 久久成人天| 大香蕉婷婷五月天| 日韩有码一区| 人人摸人人射| 六月丁香综合| 伦乱人妻| 五月婷婷 六月丁香| 深爱激情五月天| 丰满少妇猛烈A片免费看观看| 婷婷玖玖丁香| 俺去也婷婷| 激情深爱综合| 9色在线视频精品观看| 99无码精品| 99在线视频精品| 久久久久er热| cc精品国产性传播| 丁香五月激情六月欧亚激情综合导航| 91 影音先锋| Www.激情| 五月丁花色综合网| 另类A片| 久久久久久婷| 九九热区一区二区三区| 大香蕉AV在线| 五月婷视频久久| 五月丁香六月综合激情无码软件亮点| 4399啪啪视频| 激情的五月婷婷蜜桃| 伊人玖玖婷婷| 色色色色区| 丁香六月婷婷色XXXX| 天天狠狠色| 99九九这里有免费视频| 色九月| 五月婷婷色情| 婷婷八月激情| 亚洲色图日韩网址| 9久热精品在线视频| 五月天国产| 五月天激情综合网俺也去| 日日影院 | 狠狠色噜噜狠狠| 婷婷久久五月| 丁香五月婷婷亚洲综合精品| 丁香五月熟女| 99在线免费视频| 丁香五月激情啪啪| 欧美猛片| 亚洲中文乱字字幕在线永久| 激情啪啪五月天| 性色99| 麻豆AV一区二区三区| 69热在线| www婷婷| 激情五月综合第一页| 日韩十国产极品久久| 丰满少妇猛烈A片免费看观看| 激情五月天久久丁香| 色久九| 欧美日韩成人在线网站| 久久精彩综合视频| 久久爱综合| 99色在线观看| 激情五月久久| 狠狠色综合网站久久久久| 五月婷婷开心丁香| 另类小说五月天综合网| 丁香色六月婷婷| 任你搞网站| 久久综合66| 久久99视频| 日本天堂免费99| 26uuu亚洲欧美| 久久婷婷成人视频| 色就是色婷婷五月亚洲激情| 丁香五月欧美成人| 大香蕉久久久| 女同激情久久av久久| 天天综合中文| www99在线观看视频| 色色色婷婷五月天| 操操操av| 开心激情站| 日日日,com| www.色婷婷.com| 婷婷五月天777| 丰满少妇猛烈A片免费看观看| AV五月丁香| 强辱丰满人妻HD中文字幕| 美女激情婷婷| 国产精品色婷婷99久久精品| 日本五月婷| www.人人操人人看人人想人人摸 人人人人操,COM| 九九人人操| 日韩999| 婷婷五月天成人网| 丁香六月婷婷高清| 婷婷五月天综合中文| 五月丁香婷婷激情在线| 小视频一区 | 五月天国产婷婷精品视频在线| 日日干干天天干| 亚洲五月婷婷在线| 婷婷中文字幕版| 五月丁香六月欧美综合| m色激情网| 女人露出p毛视频www网站| 啪啪综合网| 99re在线观看视频| 婷婷丁香黄色| 天天色亚洲| 电影爱拉战争免费观看| 永久天堂日本| 色色色色网| 丁香六月 婷婷六月| 国产五月视频| 丁香五月区| 久久久久婷婷五月热综合| 九月激情婷婷丁香| WWW.99热| 超碰人妻在线| 色婷婷亚洲婷婷| 粉嫩AV久久一区二区三区| 国产做爰视频免费播放| 九九99九九精品视频| 97sese婷婷| 精品九九网| 天天综合五月| 99热这里只有精品免费| 五月伊人91| 综合网色综合| 婷婷五月在线综合| 九九视频在线观看| 色婷婷丁香五月| 色香蕉婷婷| 五月丁香在线观看99| 日本色色色| 很很干在线视频| 狠狠色噜噜色狠狠狠综合久久成人波 | 丁香六月婷月91婷月| www.久久久久久久久久.com| 久久久亚洲精品一区二区三区浴池| 国产激情在线| 欧美五月丁香| 丁香五月色情| ji'qing'luan'ren'lun| 九九熱最新視頻| 九9九9无码| 国产五月视频| 亚洲第一综合| 久久机热/这里只有精品| 久久伊人9| 丁香六月婷婷久久综合| 五月天婷婷乱论小说| 五月丁香激情综合网| 日本高清不卡免费一区二区三区| 亚洲五月激情| 九色在线五月婷婷网址| 最近中文字幕2019视频1| 人妻AV在线| 美女五月狠狠| 色激情五月| 99热精品一区| 这里只有精品99www| 丁香五月激情啪啪| 亚洲国产成人在线| 伊人久久大香蕉网| 4438成人电影| 伊人色综合久久久| 草榴视频网| 婷婷国产五月天17c| 色婷婷丁香五月| 日本人妻A片成人免费看片| 99热这里只有精品8| 色区域网站视频| 五月激情婷婷色| 精品婷婷五| 综合激情五月丁香| AV九九| 人伦30P| 国产AV不卡福利| 一区二区你懂的| 久久九九热re6这里有精品| 开心五月激情网| 97操操| 日本色99| 丁香九月激情| 五月天成人综合| 激情五月天电影| 另类专区在线| www,天天干| 亚洲成人免费在线| 六月丁香综合| 成人开心五月天| 九月婷婷在线视频| 亚洲精品无AMM毛片| 九九热这里| 五月天婷婷久久视频| 夜夜骑夜夜撸| 亚洲国产精品VA在线看黑人| ztEJj| 97碰精品| 99人妻碰碰碰久久久久视| www:99热视频| 丁香五月综合激情性爱 | 5月丁香六月婷婷| 久久人妻在线| 停婷丁五月在线| 亚洲午夜电影| 国产超碰在线| 国产日产亚系列精品版优势| 淫视馆av三区| 98永久精品| 色欲丁香| 天干天天干天天天天天| 婷婷丁香五月综合激情小说| 天天日天天色| 色欧洲| 专区无日本视频高清8| 夜夜爽77777妓女免费下载 | 99热最新| 91麻豆国产三级精品福利在线观看| 五月婷护士| 激情五月婷婷色色| 五月丁香婷婷综合网| 秋霞三级色戒| 99热只有这里才是精品| 五月激情天| 99精品久久| 99re6在线视频精品免费| 亚洲岛国电影| 大香蕉网站,大香蕉综合| 婷色人人狠| 色婷婷五月天堂资源| 婷婷五月天精品| 天天久久狠狠色综合| www.狠狠| 亚洲123区高清入口| 国产成人高清| 丁香花五月天| 激情丁香六月| 人人爽网| 大香蕉五月天婷婷丁香91| 五月婷五月婷伊人伊人五月婷| 亚洲色婷婷网站| 夜夜骑天天玩天天日| 超碰日日操| 天天日夜夜爽| 久久久久98| 欧美激情 日韩无码 婷婷 五月天| 婷婷色Av| 婷婷激情小说| 人人干人人操外国| 97丁香花五月天激情小说| 丁香五月六月激情| 日日色综合| 亚洲狠狠丁香婷婷香蕉| 九九久久99精品免费观看www| 66久久视频在线| 色播五月婷婷| 欧美叉叉叉BBB网站| 色婷婷色| 欧美成人网婷婷综合在线| 五月天激情综合| 成人做爰高潮A片免费视频| 啪啪五月综合| 日韩激情人伦人| 99精品视频偷拍| 99热网精品| 五月激情综合网| 五月婷婷开心六月激情小说| 国产激情综合五月久久| 婷婷爱五月| 26uuuu精品一区二区| 在线另类视频| 区啪精品| 婷婷激情啪啪| 国产精品一区在线观看你懂的| 大香蕉狠狠爱主页| 思思热久久婷婷五月天| 九九色婷婷| 99热加勒比| 五月天激情网页| 亭亭五月丁香五月天激情| 久久大香蕉伊人| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 色9999日韩国产| 久人操| 国产在线另类五月婷婷| 91欧美| 婷婷五月综合社区| 五月婷婷亚洲色视频| 亚洲妇女熟BBW| 婷婷综合久久| 亚洲成人av在线| 婷婷五月天大香蕉在线视频观看| 精品人妻久久久| www.激情五月| 色综合激情| 少妇综合网| 亚洲第一成人AV| 激情网站综合五月天| 亚洲激情五月| 国产超碰在线| 99无码黄色视频| 久久精品99久久| 五月婷婷婷婷| 岛国资源站| 色婷婷视频综合| 午夜69成人做爰视频| 亚洲夜五月| 亚洲综合成人网| 色婷婷啪啪啪啪啪啪| 国产VA亚洲VA96| 久久99久久99久久99| 五月 丁香 欧美| 狠狠色婷婷7777久| 亚洲激情无码久久| 99国产精品白浆在线观看免费| 久久最新色色色| 丁香婷婷网| 婷婷激情九月| 97在线精品| 丁香色色色| 九九热啪啪| 大香蕉婷婷丁香| 天天做天天爱天天高潮| 99玖玖在线视频| 能看的av网站| 日韩 中文 欧美| 国产免费一区二区三区三州老师F1F1.CC| 伊人久热91| 人人草人| 九九av在线| 丁香六月综合| 国产脫衣舞一区二区三区| 99热网址| 超碰人人色| 色屌丝中文字幕| 久久er这里只有精品| 热久精品| 丁香激情合作五月| 日本三级日本黄色| 尔尔AV一区| 超碰国产在线观看| 成人电影一区| 六月色日韩| 国产乱人偷精品人妻A片| 五月丁香综合精品| 九月性爱网| 九九热在线视频观看| 美欧成人视频| 久草五月天| 婷婷丁香77777| 欧美大片免费播放器| 天天拍久久| 婷婷五月丁香色色| 久久99精品久久久久久三级| av九九| 久久久久9| 丁香五月宝贝激情网| 日本成人噜噜噜噜噜| 五月丁香六月玩女人| 狠狠色五月| 丁香五月色情| 99热这里只有精品23| 国内精品免费一区二区2009| 日本色色网站| 激情丁香婷婷六月天| 99ER热精品视频| 噜噜色com| 色你久久| 另类少妇人与禽zOZZ0性伦| 久色中文| 婷婷五月丁香花综合| 色综合99| 九玖欧洲亚洲| 色99日韩| 欧美色一级色| 久久婷婷五月综合啪| 激情五月婷婷丁香六月| 精品九九九久| www.久久久.com| 天天在线久久综合 | 婷婷五月天婷婷| 操人精品| 99热这里都是精品| 天天爱综合网| 日本人妻丁香婷婷久久寝取熟女五月| 精品自拍99| 丝袜人妻| av在线色五月丁香婷区久| 91日视频| 丰满少妇乱A片无码| 欧美精品18| 青草性爱视频| 色综合香蕉| 日日夜夜干| 99色热视频在线| 六月综和久久| 久久性刺激| 国产视频色色色色色色色| 亚洲五月天婷婷| 丁香六月 婷婷六月| 亚州婷婷五月激情综合| 色婷婷成人做爰A片免费看网站| 色色亚洲五月天| 立川无码av| 好色婷婷| 婷婷最新地址| 极品人妻VideOssS人妻| 天天干夜晚夜操| 亚州精品色情在线观看| 色婷婷丁香九月| 4399无码视频| 99精品视频网站| 久久开心五月天激情| bbwcuckold精品熟妇| 久9精品| 午夜天天精品视频| 久久激情网| 日日操天天操| 这里只有精品视频一区| 九九激情网| 亚洲色色五月天| av操B网站| 超碰国产在线| 亚洲成人综合在线| 丁香五月伊人| 人妻VideOssS人妻| 婷婷色五月亚洲| 久久久18| 色综合丁香婷婷| 奇米影视在线视频| 1024亚洲无码| 国产精品涩涩涩视频网站| 91碰碰视频| 噜噜色婷婷| 婷婷五月丁香色情| 天天天操天天天爰| 色婷婷丁香五月| 大香蕉久久婷婷| 久久ri精品视频| 天海翼中文字幕高| 2018国产大陆天天弄| 超碰久热| 99操视频| 婷婷97碰碰| 婷婷五月六月丁香| 五月丁香六月婷婷操操操| 九九久久综合网站| 丁香色播五月天| 狠狠色噜噜狠狠色噜噜噜999| 色色色婷婷五月| 91丨人妻丨国产丨丝袜| 曰本aaaaaa丈片| 五月婷三级片| AV大片在线播放| AA片在线观看视频在线播放| CHINESE熟女老女人HD视频| 无码99| 色婷婷狠狠| 欧美六月| 99在线精品免费视频| 色婷婷六月天| 色婷婷中文在线| 五月激情婷婷综合| 五月丁香性爱| 在线成人网站| 激情综合网五月天| 思思99热| 色婷婷狠狠18禁| 婷婷激情五月| 精品一二三区久久AAA片| 97人人草| 丰满人妻妇伦又伦精品国产| 色135综合网| av免费在线看不卡无毒| 天天干天天日蜜臀av| 中文字幕婷婷9月天| 啪啪日热| 伊人激情网| 成人AV综合在线| 久婷婷五月天影院| 影音先锋一区二区三区| 色婷婷丁香五月天| 激情婷婷五月天网址| 五月婷婷熟女| 婷婷五月天免费视频在线观看| 激情网综合| 综合一本道| 婷婷六月色开| 久9无码视频| 中文字幕不卡+婷婷五月| 五月天婷婷激情小说电影| 激情五月天婷婷| 99精品免费| 色婷婷五月天av在线| 丁香婷婷综合色五月激情国产基地| 日日干日日| 99热国内精品| 九九在线视频| 九九综合九| 伊人影院久久网| www一起操| 婷婷色婷婷亚洲成人| 久久er九九| 亚洲色综合性| 欧洲一区二区| 丁香婷婷大香蕉| 丁香五月婷婷图片综合| 丁香九月激情久久| 五月天亚洲图片婷婷| 少妇久久诱惑视频| 五月婷婷亚洲| 亚洲人妻av| 99精彩视频网站在线| 大香蕉在线观看9| 97人人操在线| 丁香婷停五月激情综合深爱| www夜夜操| 色播五月天激情| 色五月婷婷7777| 激情婷婷五月少妇| 久热这里只有精品在线观看| 日日爽日日爽| 99这里只有精品视频| co超碰在线观看| 五月天激情网址| 欧美大奶熟女噜噜噜噜| 五月丁香激情婷婷| www.久久| 亚洲中文字幕在线电影| 色婷婷九月| 米奇影视五月天| 久久 婷婷 五月天| 久久一级AV| 玖玖婷婷色五月| 2020久久婷婷五月| 五月婷婷成人| 极品人妻VIDEOSSS人妻| 久久在线92| 日日干综合| 超碰网站在线观看| 亚洲视频在线网站| 51成人| 日本激情五月| 色婷婷影院| av人人操| 欧洲亚洲免费视频区| 第四色五月天| 国产成人精品一区二三区熟女在线| 99色在线观看视频| 五月丁香婷婷人体| 五月婷婷影院| 综合激情四射一theav| 激情久久四色| 91狠狠综合网| 高清a片基地| 五月天婷综合网站| 99爽视频| 丁香五月激情啪啪啪| 色9色| 免费啪啪亚州视频| 无语停婷丁香网| 亚洲中文无码成人| 99re视频在线播放| 9色免费网| 九九热这里有精品23| 亚洲综合在线播放| www.99操| 久久五月婷婷开心网| 精品久久久人妻| 婷婷五月天AV在| 久99久热只有精品国产99| 九九人人操| 色五月婷婷天堂| 色婷婷亚洲在线| 婷婷伊人綜合中文字幕| 乱码操操| 五月天淫乱视频| 色综久久久| 丁香五月婷婷精品视频| 丁香六月婷| 91婷婷色五月| 天天做天天爽| 色吊丝99| 亚洲一区二区无码蜜乳av| 97色在线| 日韩欧美五月丁综合| 五月天丁香久久| 久久色午夜在线导航| 婷婷五月色综合| 久久精品99国产精品日本| 丁香五月天在线观看视频| 99操无码视频观看| 9伊人网| 九九热只有精品| 99热超碰人| 五月婷婷免费视频| 无码少妇高潮喷水A片免费| 亚洲小视频免费看| 天天操人人干| 色噜噜婷婷| 色婷婷97| 爆乳熟妇一区二区三区爆乳照片| 成人免费在线电影| 五月天婷婷色情| 狠狠操狠狠插| 大香AV| 99热只有| 久久久久久久久久久97| 日本成人噜噜噜| 丁香97综合| 五月丁香人妻| 欧洲区自拍| jizzdr| 婷婷激情五月视频| 日日干日日| 99碰网站| 99自拍视频在线观看| 色九网| 天天干狠狠| 久久99热这里只有精品首| 婷婷六月色| 中文网AV| 亚洲爆乳无码精品AAA片蜜桃| 亚洲五月天第一综合干| 亚洲综合在线视频| 深爱激情九九五月天| 亚洲电影在线观看| 久久这里只有国产视频| 亚洲综合色激情色五月| 欧州色色| www.日本91| 久久9久| 好好干Av| 精品国产一区二区三区四区阿崩| 五月丁香欧美综合免费视频| 亚洲成人在线电影网站| 日本熟女二区| 国产.亚洲.欧洲视频在线| 丁香九月婷| 色五月开心婷婷| 免费看欧美成人A片无码| 色婷婷色五月综合| 婷婷人妻激情| 亲子乱AV一区二区三区下载| 激情小说五月天社区丁香 | 婷婷爱五月| 婷婷五月天激情综合| 久久婷青青草原| 久久a热| 九九热99视频| 开心五月婷婷| 99成人免费热视频| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 亚洲精品久久久无码| 米奇影视五月天| 第四色大香蕉| 五月婷婷色播| 丁香五月婷婷骚视屏| 丁香五月婷婷99| 色九月| 激情丁香网| 蜜桃婷婷狠狠久久综合| 久久丁香五月天| 色天天综合色| 伊人玖玖综合| 99亚洲精品视频| 婷婷免费无视频| 欧美乱码国产一级A片| 色播五月丁香| 99思思热只有在这里看| 激情久久久久久久久久久| 91狠狠色丁香婷婷综合久久| 俺也去在线视频 | 丁香六月狠狠干| 天天爽,天天操。| 国产综合丁香五月天| 色中色综合| 久狠日av| 九九色中文| 182.t午在线观看| 天天操加勒比| 亚洲 小说 欧美 激情 另类| 2020日日干| 精品人妻伦九区久久AAA片| jizzdr| 99re熱| 日逼影音先锋AV男人资源站| 五月丁香影院| 婷婷五月天美女视频| 狼友视频在线观看18| 天久综合91综合首页| 五月激情婷婷综合| www狠狠| 色吧五月| 丁香婷婷婷婷十二月在线观看视频| 99久视频| 丁香五月激情在线| 五月丁色AV| 99人人操| AAA级久久久精品| 丁香五月自拍| 激情五月天无人视频在线| 99色在线观看免费| 色色色色色色色色色色色色色五月天| 丁香婷婷久久 | 午夜丁香综合婷婷| 久久婷婷五月综合色欧美| 成人AV在线网站| 色五月六月| 狠狠干2007| 99ri在线| 岛国操B不卡在线| 小香蕉av| 中文av网站| 激情亭亭五月| 99热成人在线| 色婷婷六月激情| 五月丁香无码| 五月婷婷9| 国产精品第一国产精品| 91久久婷婷| 激情六月天婷婷| 人人综合五月人人婷婷| 99综合视频在线| 九九热99视频在线| 丁香色情五月综合激情| 国产美女无遮挡裸体毛片A片| 丁香五月首页| 99re这里只有| 婷婷丁香五月综合激情视频| 五月婷婷综合激情| 五月婷婷大香蕉| 天堂爱啪啪| 99精品综合在线| 免费无码毛片一区二区A片| 操一操干一干| 亚州操操| 另类激情五月在线视频欧美| 天天综合社区| 久99久热只有精品国产99| 就要去操亚洲成人精品五月天丁香婷婷| 九九热99视频在线| 色情五月| 日笨久久网| 丁香狠狠色婷婷久久无码视频| 男妓跪趴把舌头伸进我的嘴巴| 这里只有精品1| 影音先锋色婷婷| 丁香激情五月| 色五月婷婷小说亚洲中文字幕组| 停停五月天激情网| 日本九九热| 五月激情婷婷六月丁香| 99这里精品| 国产裸舞福利资源在线视频| 亚洲热手机在线观看| 人妻av在线| 五月丁香免费视频| 色综合久久天天综合网| 99色热视频| 99丁香五月婷| 99毛片| 激情人妻综合| 中文字幕AV网址| 婷婷激情视频| 五月天婷婷香蕉狠狠超碰综合| 国产肏屄大片| 亚洲性视频| 五月天婷婷操逼视频| 五月丁香少妇| 九九re精品视频在线观看| 91凹凸在线| 色玖玖爱| 色色丁香| 久久婷婷丁香五月一二三| 5月婷婷视频网站综合| 五月天色狠狠| 综合激情五月丁香| 激情二色月| 五月婷婷之美女图片| 五月婷婷基地| 99综合| 成人AV中文字幕| 日本色色色| 超碰三级秋霞| 我要色综合五月婷婷| 久久久婷丁香五月| 精品51XX| 色婷婷的五月天| 婷婷情色五月天| 97人妻碰碰中文无码久热丝袜| 99性视频| 亚洲欧洲中文日韩久久AV乱码| 日本人妻伦在线中文字幕| 9|人妻人人操| 精品综合爱| 三级三久久线久久99久目本WW| 99色这里| 九九热99精品在线| Www.狠狠| 综激情网| 91狠狠综合久久| 北条麻妃九九九国产精品视频| 天天射天天操天天干| 冬月かえでAV无码播放| 日良久久| 人人舔人人色人人高潮| 思思热国产在线| 97碰碰在线观看视频| www99热| 无码人妻AV久久久一区二区三区| 丁香影院五月综合| 97人操人免费视频| 天堂婷婷五月在线| 丁香五月,激情五月,深爱五月| 天天搞天天爽| 日韩视频99| 丁香香蕉射射射| 五月天基地| 99精品激情| 激情五月,深深爱五月| 五月婷婷综合在线| 丁香五月影院| 久久久久视剧HD| 色婷婷久久久| 婷婷激情丁五月| 五月丁香六月婷婷久久肏| 亚洲五月婷| 亚洲成人av中文| 超碰在线视屏| 呦呦v线| 类似婷婷激情综合网站| 色婷婷五月天| 激情婷婷99| 97色碰| 久热A| 国产激情综合五月久久| 99干日日干| 国产avapp 网| 综合在线丁香五月| 亚洲碰碰碰| 51精品国自产在线| 黄网在线观看免费| 五月天成人网婷婷| 婷婷五月激情的图片| 激情内射人妻1区2区3区| 亚洲天堂无码| 激情五月天之六月婷婷| 激情五月婷黄版| 熟妇内谢69XXXXXA片| 久久hd| 丁香五月婷婷色综合基地| 99精品在线观看| 夫妇交换刺激做爰| 婷婷色啪| 99热这里只有精品官网| 亚洲午夜AV| 国产综合A片| 新久久五月天激情| 丁五月激情视频免费| 专区无日本视频高清8| 在线资源av-超碰中文在线-成人AV | 色 噜噜 九月 婷婷| 五月网激情| 丁香五月AV| 久热99中文字幕| 五月婷婷深深的爱| www.色婷婷.com| 亚洲成人影视在线| 99热只有精品综合| 这里只有精品1| 思思久久99热只有频精品66| 操久久网| 婷婷va| 成人中文网| 色情五月婷婷| 激情五月天社区| W色综合| 婷五月天天| 亚洲性爱电影| 色婷婷AV久久| 丁香五月婷婷色综合基地| 六月激情婷婷| 激情丁香五月AV| 丁香激激情网| 九九色综合| 亚洲综合九九| 大香蕉欧美在线| 91丨九色丨国产打屁股网站| 人色五月天婷婷| 亚洲这里只有精品| 久99久热| 日日撸夜夜操| 五月婷婷综合在线视频| 色插综合网| 99热这里只有精品9| 九九自拍网| 五月婷婷中文字幕AV| 婷婷不卡基地| 99热这里只有精品13| 五月天成人在线视频网站| 8区视频在线| 99热这里有精品| 亚洲成人av在线观看| 99精品爱| 精品国产乱码久久久久久免费| 五月天激情综合网俺也去| 在线天堂9| 五月天激情网址| 天天干天天日天天操| 操逼综合激情网| 狠狠色综合五月| 亚洲狠狠色丁香婷婷综合久久| 五月丁香婷婷AV天堂| 色色婷婷丁香| 成人做爰A片免费看网站找不到了| 在线网黄| 色婷婷丁香综合中文字幕| 天天天天操| 五月婷婷六月丁香玖玖玫瑰91| 韩国天天婷婷| 高清av在线国产| 色婷婷久综合久久一本国产AV| 操97在线观看| 日本AAAAAAAAAAAAAA片| 99久久97| 99色最新在线视频网站| 九久九精品| 人妻精品久久久久久久| 国产精品成av人在线视午夜片| 五月丁香婷婷啪啪综合网| 丁香五月花| 五月天婷婷乱| 7777国产盗摄农村女人| 亚洲九九99精品视频在线播放| 91久久日日| 欧美天天干天天草| 99ri精品在线观看| 五月激情偷拍| 91xxxx九色| 欧美性猛交99久久久99| 久操福利| 五月天色社区| 免费色色色| 校花娇喘呻吟校长陈若雪视频| 亚洲成人电影aaaa| 九九热视频精品999| 99re视频精品| 91 九色 入口| 91综合国免费久入| 婷婷九月| 麻豆AV一区二区三区| 色五月丁香激情视频| 成人视频一区| 99热性色| 色六月婷婷| 激情五月天久久丁香| 五月天综合| 丁香六月婷婷色XXXX| 久久丁香综合精品综合| 色五月AV| 激情久久五月天| 996热| 婷婷五月开心中文字幕在线| 亚洲成人网址在线观看| 久久婷婷五月天蜜桃| 亚洲视频操| 人妻少妇色综合| 色综合久久伊伊婷婷五月| 五月婷护士| 91热网址| 欧美丁香婷婷天天操| 五月婷婷色欲| 激情五月五月婷婷| 五月天啪啪视频| 玖玖色综合| 五月婷婷亞洲中文| 亚州操逼网| 99色色网| 激情网综合| 99噜噜| 大香蕉久久| 美国色五月天婷婷资源站| 九九色色色| 色情成人五月天| 五月婷婷激情四月| 麻豆雪千夏| 久操操| 五月天婷婷婷| 啊V视频在线观看| AA片在线观看视频在线播放| 99热网站| www.超碰| 亚洲综合色婷婷文学| 亚洲AV综合网| 天天色五月| 97五月天婷婷综合激情网| 欧美99热| 无码人妻一区| 久久机热这里只有精品免费视频| 天天插操| 天堂中文国产| 久久婷婷五月综合色播| 天堂综合久久| 国产真人做爰视频免费| 九九婷婷网五月天| 丁香五月综合久久八| 麻豆123区| 色五月亚洲| 亚洲免费婷婷| 激情桃色网 | 丁香五月成人av| 九九热色视频| 欧美碰碰| 天天日日夜夜| WWW.17C亚洲精品| 五月丁香综合精品| 亚洲性爱电影| 色婷婷8| 五月大香蕉| 久久性爱视频这里只有精品| 啪啪综合网| 婷婷久久女人| 成人精品视频99在线观看免费| 五月精品| 这里只有精品99www| 91黄址| 红桃91人妻爽人妻爽| 噜噜视频| 十一月婷婷激情四射| 26UUU亚洲欧美| 99在线播放视频| 一本狠婷婷综合| 免费视频WWW在线观看网站| 外国碰视频网站97| 国产一二三四五六七八视频| 99色这里| 久久综合婷婷五月| 九月丁香八月婷婷加勒比| 婷婷五月丁香六月| 婷婷五月天激情网| 久久这里只有国产视频| 激情 五月 婷婷 丁香| wWW九九在线播放| 综合久久五| 天天干天天做| 一本久道综合色婷婷五月| 欧美一级操逼视频| 五月天婷婷丁香蜜桃91| 五月天婷婷色在线视频免费观看| 丁香久久九九99| 色色色五月天婷婷| 香蕉AV福利精品导航| 99这里只有精|