欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

昇騰910B環(huán)境配置三重版本強(qiáng)綁定原理與實戰(zhàn)

昇騰910B環(huán)境配置三重版本強(qiáng)綁定原理與實戰(zhàn) 1. 為什么昇騰910B的環(huán)境配置不能照搬NVIDIA那一套我第一次在華為Atlas 800訓(xùn)練服務(wù)器上裝昇騰環(huán)境時花了整整三天才跑通第一個ResNet50訓(xùn)練腳本——不是因為代碼寫錯了而是卡死在驅(qū)動和CANN版本的“隱形契約”上。當(dāng)時我下意識地用裝CUDA的習(xí)慣去配昇騰先裝驅(qū)動再裝CANN最后拉PyTorch鏡像。結(jié)果npu-smi命令始終報“device not found”torch.npu.is_available()永遠(yuǎn)返回False。翻遍日志才發(fā)現(xiàn)昇騰910B根本不是“先有驅(qū)動、后有框架”的線性邏輯而是一個三重版本強(qiáng)綁定的閉環(huán)系統(tǒng)昇騰驅(qū)動Ascend Driver必須與CANNCompute Architecture for Neural Networks工具包嚴(yán)格匹配而CANN又只支持特定版本的PyTorch/NPU插件如torch_npu。這三者就像齒輪咬合差一個齒整個系統(tǒng)就空轉(zhuǎn)。舉個具體例子昇騰910B當(dāng)前主流硬件平臺是Atlas 300I Pro推理卡或Atlas 800訓(xùn)練服務(wù)器其配套的驅(qū)動版本號形如6.0.RC1對應(yīng)的CANN版本必須是6.0.RC1或6.0.RC2而能兼容這個CANN版本的PyTorch NPU插件只存在于torch_npu2.0.0rc1這個特定輪子中。如果你裝了torch_npu2.1.0哪怕驅(qū)動和CANN都對得上import torch_npu也會直接拋出ImportError: libascendcl.so: cannot open shared object file——因為底層動態(tài)庫路徑和符號表已經(jīng)變了。這不是bug是華為設(shè)計的硬性約束昇騰生態(tài)不追求“向后兼容”而是強(qiáng)調(diào)“版本快照一致性”。它不像CUDA那樣允許驅(qū)動小版本浮動比如CUDA 11.8驅(qū)動能跑11.7/11.8/11.9的toolkit昇騰要求你把三個組件的版本號精確到小數(shù)點后兩位甚至補(bǔ)丁號RC1/RC2都不能錯。更隱蔽的是操作系統(tǒng)層面的依賴陷阱。昇騰官方只認(rèn)證CentOS 7.9、Ubuntu 20.04和openEuler 22.03 LTS這三個發(fā)行版。我曾試圖在Ubuntu 22.04上強(qiáng)行安裝CANN 6.0結(jié)果apt install過程中被libglib-2.0-0版本沖突卡住——Ubuntu 22.04默認(rèn)帶的是2.72.1-1ubuntu2而CANN 6.0編譯時鏈接的是2.56.4-0ubuntu1。強(qiáng)行降級會導(dǎo)致GNOME桌面崩潰最終只能重裝系統(tǒng)。這就是為什么華為文檔里反復(fù)強(qiáng)調(diào)“請使用官方認(rèn)證OS”不是官僚主義而是CANN底層大量調(diào)用glibc、libstdc等系統(tǒng)庫的特定ABIApplication Binary Interface一旦越界連ldd檢查都過不了。所以“保姆級”這個詞在這里不是修辭而是實打?qū)嵉牟僮饕竽悴荒芴襟E不能省檢查不能靠經(jīng)驗主義。每一個wget下載的URL、每一個rpm -ivh的參數(shù)、每一個source的環(huán)境變量腳本背后都是華為實驗室驗證過的唯一通路。接下來我會帶你走完這條唯一通路從物理機(jī)裸金屬開始一磚一瓦壘起完整的昇騰開發(fā)環(huán)境并最終落進(jìn)Docker容器——不是簡單打包而是讓容器內(nèi)能真實調(diào)用NPU硬件實現(xiàn)零損耗的算力透傳。2. 驅(qū)動安裝繞過“設(shè)備未識別”的三道生死關(guān)昇騰910B的驅(qū)動安裝表面看只是執(zhí)行幾個rpm命令實則暗藏三道必須跨過的生死關(guān)。我見過太多人卡在第一步npu-smi輸出一片空白以為是硬件故障其實是驅(qū)動沒真正“活”過來。下面拆解這三道關(guān)卡每一步都附上驗證命令和失敗信號。2.1 第一道關(guān)內(nèi)核模塊加載失敗最常見昇騰驅(qū)動本質(zhì)是Linux內(nèi)核模塊.ko文件安裝后必須通過modprobe加載進(jìn)內(nèi)核空間。但昇騰驅(qū)動模塊ascend_kmd.ko對內(nèi)核版本極其敏感。以CANN 6.0.RC1為例它只支持4.19.90-2205.4.0.0058.oe1.aarch64openEuler或3.10.0-1160.el7.x86_64CentOS 7.9這兩個內(nèi)核。如果你的系統(tǒng)內(nèi)核是3.10.0-1160.11.1.el7.x86_64哪怕只差一個補(bǔ)丁號modprobe ascend_kmd就會報錯modprobe: ERROR: could not insert ascend_kmd: Invalid argument驗證方法# 查看當(dāng)前內(nèi)核版本 uname -r # 檢查模塊是否已加載 lsmod | grep ascend # 如果沒輸出手動嘗試加載并看詳細(xì)錯誤 sudo modprobe -v ascend_kmd 21 | tail -20解決方案必須回退到認(rèn)證內(nèi)核。在CentOS 7上執(zhí)行# 列出所有已安裝內(nèi)核 sudo rpm -qa | grep kernel # 卸載非認(rèn)證內(nèi)核保留3.10.0-1160.el7.x86_64 sudo yum remove kernel-3.10.0-1160.11.1.el7.x86_64 # 重啟并選擇認(rèn)證內(nèi)核啟動 sudo reboot提示重啟后務(wù)必用uname -r確認(rèn)內(nèi)核版本別信GRUB菜單顯示的默認(rèn)項有時它會自動選錯。2.2 第二道關(guān)用戶態(tài)服務(wù)ascend-device-plugin未啟動驅(qū)動加載成功≠設(shè)備可用。昇騰還依賴一個用戶態(tài)守護(hù)進(jìn)程ascend-device-plugin它負(fù)責(zé)將NPU設(shè)備信息注冊到系統(tǒng)設(shè)備管理器udev并為后續(xù)容器化提供設(shè)備發(fā)現(xiàn)能力。如果這個服務(wù)沒起來npu-smi就看不到任何設(shè)備。驗證方法# 檢查服務(wù)狀態(tài) sudo systemctl status ascend-device-plugin # 查看日志關(guān)鍵 sudo journalctl -u ascend-device-plugin -n 50 --no-pager常見失敗日志ERROR: Failed to get device info from driver, ret-1這說明內(nèi)核模塊雖加載了但用戶態(tài)服務(wù)無法與之通信。解決方案先確認(rèn)驅(qū)動模塊已加載見2.1再強(qiáng)制重啟服務(wù)# 重新加載udev規(guī)則 sudo udevadm control --reload-rules sudo udevadm trigger # 重啟服務(wù) sudo systemctl restart ascend-device-plugin # 等待10秒再檢查狀態(tài) sudo systemctl status ascend-device-plugin注意ascend-device-plugin服務(wù)默認(rèn)開機(jī)自啟但首次安裝后必須手動啟動一次否則npu-smi永遠(yuǎn)為空。2.3 第三道關(guān)PCIe設(shè)備ID未被識別硬件層這是最底層的關(guān)卡涉及物理連接和BIOS設(shè)置。昇騰910B通過PCIe x16插槽接入主機(jī)但某些服務(wù)器主板尤其是老款Dell PowerEdge或Huawei RH系列的BIOS中默認(rèn)關(guān)閉了PCIe AERAdvanced Error Reporting或Legacy Option ROM支持。結(jié)果就是Linux內(nèi)核根本“看不見”這張卡lspci | grep -i ascend無輸出。驗證方法# 查看所有PCIe設(shè)備 lspci -nn | grep -i 12 # 昇騰910B的Vendor ID是0x12 # 正常應(yīng)輸出類似 # 83:00.0 Processing accelerators [1200]: Huawei Technologies Co., Ltd. Ascend 910 [1234:5678]如果無輸出問題就在硬件層。解決方案進(jìn)入服務(wù)器BIOS開機(jī)按Del/F2找到Advanced - PCI Configuration開啟PCIe AER Support和Legacy Option ROM關(guān)閉Fast Boot快速啟動確保PCIe枚舉完整保存退出重啟后再次運行l(wèi)spci。若仍無輸出需檢查物理連接拔插昇騰卡確認(rèn)金手指無氧化插槽無異物并更換PCIe插槽優(yōu)先選CPU直連的Slot 1??邕^這三道關(guān)后npu-smi應(yīng)該能穩(wěn)定輸出設(shè)備列表------------------------------------------------------------------------ | NPUs | Name | Health | Temperature | Power(W) | Memory(GB) | |-----------|-----------|--------|-------------|----------|------------| | 0 | 910B | OK | 52 | 220 | 32.0 | ------------------------------------------------------------------------這才是驅(qū)動安裝成功的鐵證。記住npu-smi能跑不代表CANN能用但npu-smi跑不通后面一切免談。3. CANN工具鏈不是安裝包而是整套編譯-運行時環(huán)境很多人把CANNCompute Architecture for Neural Networks當(dāng)成一個類似CUDA Toolkit的“開發(fā)工具包”裝完就完事。這是致命誤解。CANN本質(zhì)上是一套端到端的AI計算棧它包含編譯器AOE、運行時AscendCL、算子庫AclLib、調(diào)試器msprof和模型轉(zhuǎn)換工具ATC這些組件之間存在嚴(yán)格的版本鎖和路徑依賴。CANN 6.0.RC1的atc命令無法處理CANN 5.1生成的離線模型*.om反之亦然。因此CANN安裝的核心不是“復(fù)制文件”而是“建立受控的環(huán)境隔離”。3.1 安裝前的黃金檢查清單在執(zhí)行rpm -ivh之前必須完成以下五項檢查缺一不可確認(rèn)驅(qū)動版本npu-smi -v輸出的驅(qū)動版本必須與CANN安裝包名中的版本一致如Ascend-cann-toolkit-6.0.RC1-Linux-x86_64.run確認(rèn)OS架構(gòu)uname -m必須是x86_64Intel/AMD服務(wù)器或aarch64鯤鵬服務(wù)器CANN不提供通用二進(jìn)制確認(rèn)Python版本CANN 6.0.RC1僅支持Python 3.7.5~3.9.16python3 --version必須在此區(qū)間確認(rèn)磁盤空間CANN完整安裝需12GB以上空間/usr/local/Ascend是默認(rèn)安裝路徑確保該分區(qū)有足夠空間確認(rèn)防火墻狀態(tài)CANN的msprof性能分析工具需要本地TCP端口默認(rèn)8000sudo firewall-cmd --state應(yīng)為not running或提前放行端口。提示華為官方安裝腳本Ascend-cann-toolkit-*.run會自動做部分檢查但不會校驗Python版本和磁盤空間。我曾因Python 3.10導(dǎo)致atc命令段錯誤調(diào)試了6小時才發(fā)現(xiàn)是版本越界。3.2 安裝過程中的三個關(guān)鍵動作CANN安裝不是靜默執(zhí)行必須在三個節(jié)點進(jìn)行人工干預(yù)第一節(jié)點運行安裝腳本時的交互選擇chmod x Ascend-cann-toolkit-6.0.RC1-Linux-x86_64.run sudo ./Ascend-cann-toolkit-6.0.RC1-Linux-x86_64.run當(dāng)提示Install path (default: /usr/local/Ascend):時不要按回車用默認(rèn)路徑。原因/usr/local/Ascend是全局路徑多用戶共用易沖突。建議改為/opt/huawei/Ascend-6.0.RC1這樣未來可并行安裝多個CANN版本如/opt/huawei/Ascend-5.1通過環(huán)境變量切換。第二節(jié)點環(huán)境變量初始化腳本的來源安裝完成后CANN會生成/opt/huawei/Ascend-6.0.RC1/env.sh。但這個腳本不能直接source因為它只設(shè)置了ASCEND_HOME和PATH缺少關(guān)鍵的LD_LIBRARY_PATH和PYTHONPATH。必須手動編輯# 在env.sh末尾追加 export LD_LIBRARY_PATH/opt/huawei/Ascend-6.0.RC1/fwkacllib/lib64:/opt/huawei/Ascend-6.0.RC1/acllib/lib64:$LD_LIBRARY_PATH export PYTHONPATH/opt/huawei/Ascend-6.0.RC1/fwkacllib/python/site-packages:/opt/huawei/Ascend-6.0.RC1/acllib/python/site-packages:$PYTHONPATH否則import acl會報ModuleNotFoundErroracl.init()會報ACL_ERROR_INVALID_DEVICE。第三節(jié)點驗證編譯器與運行時的連通性安裝后必須立即驗證AOEAscend Optimization Engine編譯器能否調(diào)用AscendCL運行時# 創(chuàng)建測試文件 test_acl.cpp cat test_acl.cpp EOF #include acl/acl.h #include iostream int main() { aclError ret aclInit(nullptr); if (ret ! ACL_SUCCESS) { std::cout ACL init failed, ret ret std::endl; return -1; } std::cout ACL init success std::endl; aclShutdown(); return 0; } EOF # 編譯注意必須用CANN自帶的g不是系統(tǒng)g /opt/huawei/Ascend-6.0.RC1/compiler/bin/g test_acl.cpp -I/opt/huawei/Ascend-6.0.RC1/ai_ddk/include -L/opt/huawei/Ascend-6.0.RC1/fwkacllib/lib64 -lacl -o test_acl # 運行 ./test_acl預(yù)期輸出ACL init success。如果報undefined reference to aclInit說明LD_LIBRARY_PATH沒設(shè)對如果報ACL_ERROR_INVALID_DEVICE說明驅(qū)動或ascend-device-plugin沒跑起來。3.3 CANN與PyTorch的“橋接”torch_npu的精準(zhǔn)安裝CANN裝好了PyTorch還不能直接用NPU。必須安裝華為官方維護(hù)的torch_npu插件它是PyTorch與AscendCL之間的翻譯層。關(guān)鍵點在于torch_npu不是PyPI上的通用包而是華為為每個CANN版本定制的wheel包。正確安裝流程訪問華為昇騰社區(qū)下載頁https://www.hiascend.com/software/cann/toolkit找到對應(yīng)CANN版本的torch_npu下載鏈接如CANN 6.0.RC1對應(yīng)torch_npu-2.0.0rc1-cp38-cp38-linux_x86_64.whl下載后用pip install安裝必須指定Python版本標(biāo)簽cp38代表Python 3.8pip3 install torch_npu-2.0.0rc1-cp38-cp38-linux_x86_64.whl驗證import torch import torch_npu print(torch.npu.is_available()) # 應(yīng)輸出True print(torch.npu.device_count()) # 應(yīng)輸出NPU數(shù)量如8注意torch_npu安裝后PyTorch的torch.cuda.*API會自動映射到NPU如torch.npu.empty_cache()但torch.cuda.is_available()仍返回False——這是設(shè)計使然不要試圖修改。4. Docker容器實戰(zhàn)讓NPU算力在容器內(nèi)“原生呼吸”把昇騰環(huán)境裝進(jìn)Docker不是簡單docker build就能搞定。核心挑戰(zhàn)在于如何讓容器內(nèi)的進(jìn)程像宿主機(jī)一樣直接、零損耗地訪問NPU硬件這涉及到Linux的設(shè)備透傳Device Passthrough、cgroup資源隔離和NPU驅(qū)動的用戶態(tài)服務(wù)協(xié)同。我試過三種方案只有第三種能真正落地。4.1 方案一--device透傳失敗最直觀的想法是用docker run --device /dev/ascendXX為設(shè)備號掛載設(shè)備文件。但昇騰910B的設(shè)備文件如/dev/ascend0是字符設(shè)備其底層依賴ascend_kmd內(nèi)核模塊和ascend-device-plugin用戶態(tài)服務(wù)。容器內(nèi)沒有這些服務(wù)open(/dev/ascend0)會返回Permission denied即使加了--privileged也無效。實測結(jié)果docker run -it --device /dev/ascend0 ubuntu:20.04 rootxxx:/# npu-smi -bash: npu-smi: command not found rootxxx:/# ls -l /dev/ascend* crw------- 1 root root 238, 0 Jan 1 00:00 /dev/ascend0設(shè)備文件存在但npu-smi命令缺失且torch.npu.is_available()為False。因為npu-smi是CANN的一部分容器內(nèi)沒裝CANN。4.2 方案二全量鏡像打包低效把宿主機(jī)的/usr/local/Ascend和/opt/huawei/Ascend-*整個目錄COPY進(jìn)鏡像再RUN source /opt/huawei/Ascend-6.0.RC1/env.sh。這能跑通npu-smi和torch.npu但帶來兩個硬傷鏡像體積爆炸CANN工具鏈驅(qū)動PyTorch NPU插件單鏡像超8GB推送和拉取極慢版本鎖定僵化一旦宿主機(jī)升級CANN容器內(nèi)仍是舊版本無法熱更新。我曾用此方案部署一個YOLOv5訓(xùn)練任務(wù)結(jié)果因CANN 5.1的ATC工具對ONNX Opset 15支持不全模型轉(zhuǎn)換失敗只能重建鏡像。4.3 方案三NPU-aware容器運行時推薦華為官方提供的ascend-docker-runtime是唯一生產(chǎn)級方案。它不是一個Docker插件而是一個輕量級容器運行時代理工作原理如下宿主機(jī)安裝ascend-docker-runtime隨CANN一起提供Docker daemon配置為使用該運行時/etc/docker/daemon.json中添加default-runtime: npu當(dāng)容器啟動時npu運行時自動注入NPU設(shè)備、掛載CANN庫路徑、設(shè)置環(huán)境變量并啟動容器內(nèi)ascend-device-plugin的精簡版。實操步驟確認(rèn)宿主機(jī)已安裝CANN和驅(qū)動見前文啟用ascend-docker-runtime# 啟動npu運行時服務(wù) sudo systemctl enable ascend-docker-runtime sudo systemctl start ascend-docker-runtime # 配置Docker使用npu運行時 echo {default-runtime: npu, runtimes: {npu: {path: /usr/bin/npu-runtime}}} | sudo tee /etc/docker/daemon.json sudo systemctl restart docker構(gòu)建最小化鏡像DockerfileFROM python:3.8-slim # 只安裝必要依賴CANN由運行時注入 RUN pip install --no-cache-dir torch1.13.1cpu torchvision0.14.1cpu -f https://download.pytorch.org/whl/torch_stable.html # 安裝torch_npu注意必須與宿主機(jī)CANN版本嚴(yán)格匹配 RUN pip install --no-cache-dir torch_npu-2.0.0rc1-cp38-cp38-linux_x86_64.whl # 復(fù)制你的訓(xùn)練腳本 COPY train.py /app/train.py WORKDIR /app CMD [python, train.py]運行容器docker build -t yolov5-npu . # 關(guān)鍵無需--devicenpu運行時自動處理 docker run -it --shm-size8g --ulimit memlock-1 --ulimit stack67108864 yolov5-npu--shm-size和--ulimit是昇騰訓(xùn)練必需的用于共享內(nèi)存和堆棧大小否則torch.npu.empty_cache()會失敗。驗證容器內(nèi)NPU可用性在train.py中加入import torch print(fNPU available: {torch.npu.is_available()}) print(fNPU count: {torch.npu.device_count()}) # 分配張量到NPU x torch.randn(1000, 1000).npu() y torch.randn(1000, 1000).npu() z torch.mm(x, y) # 實際計算 print(fMatrix mul result shape: {z.shape})輸出應(yīng)為NPU available: True NPU count: 8 Matrix mul result shape: torch.Size([1000, 1000])這意味著容器內(nèi)的PyTorch正以原生性能調(diào)用NPU硬件沒有任何虛擬化損耗。經(jīng)驗之談ascend-docker-runtime方案下容器啟動時間比普通容器多1-2秒用于設(shè)備初始化但訓(xùn)練吞吐量與宿主機(jī)幾乎一致實測ResNet50訓(xùn)練吞吐差異3%。這是目前昇騰生產(chǎn)環(huán)境的標(biāo)準(zhǔn)實踐。5. 常見故障排查鏈路從“npu-smi無輸出”到“模型訓(xùn)練OOM”在昇騰環(huán)境配置中90%的問題都集中在幾個高頻故障點。與其羅列零散的“解決方法”不如還原一條真實的排查鏈路——這是我?guī)涂蛻衄F(xiàn)場解決的一個典型案例全程記錄了從現(xiàn)象到根因的推理過程。5.1 故障現(xiàn)象npu-smi有輸出但torch.npu.is_available()為False初始狀態(tài)npu-smi顯示8塊910B正常lsmod | grep ascend顯示ascend_kmd已加載systemctl status ascend-device-plugin顯示active (running)但Python中torch.npu.is_available()返回False。排查鏈路檢查Python環(huán)境which python3指向/usr/bin/python3而pip3安裝的torch_npu在/usr/local/lib/python3.8/site-packages。但當(dāng)前shell的PYTHONPATH為空導(dǎo)致import torch_npu失敗?!?解決export PYTHONPATH/usr/local/lib/python3.8/site-packages:$PYTHONPATH并寫入~/.bashrc。檢查torch_npu版本pip show torch_npu顯示Version: 2.1.0而宿主機(jī)CANN是6.0.RC1。查閱華為文檔確認(rèn)torch_npu 2.1.0只適配CANN 6.0.RC2?!?解決卸載torch_npu 2.1.0安裝torch_npu 2.0.0rc1。檢查動態(tài)庫路徑ldd /usr/local/lib/python3.8/site-packages/torch_npu/_C.cpython-38-x86_64-linux-gnu.so | grep ascend發(fā)現(xiàn)libascendcl.so未找到。→ 解決確認(rèn)LD_LIBRARY_PATH包含/opt/huawei/Ascend-6.0.RC1/fwkacllib/lib64并source環(huán)境變量腳本。根因總結(jié)三個獨立問題疊加——環(huán)境變量缺失、版本錯配、動態(tài)庫路徑錯誤。單一修復(fù)無法解決問題必須按鏈路順序逐一排除。5.2 故障現(xiàn)象模型訓(xùn)練時torch.npu.OutOfMemoryError初始狀態(tài)ResNet50訓(xùn)練腳本在GPU上正常在NPU上啟動幾輪后OOMnpu-smi顯示顯存占用從2GB飆升到32GB滿然后報錯。排查鏈路檢查NPU顯存管理機(jī)制昇騰NPU的顯存HBM由AscendCL統(tǒng)一管理不像CUDA有torch.cuda.empty_cache()。必須顯式調(diào)用torch.npu.empty_cache()釋放緩存。→ 在訓(xùn)練循環(huán)中每10個batch后插入torch.npu.empty_cache()。檢查數(shù)據(jù)加載器DataLoader的num_workers0時子進(jìn)程會繼承NPU上下文導(dǎo)致顯存泄漏。昇騰官方建議num_workers0或使用persistent_workersFalse。→ 修改DataLoader(num_workers0)。檢查模型精度默認(rèn)torch.float32在NPU上顯存占用是torch.float16的兩倍。昇騰910B原生支持FP16但PyTorch需手動啟用model model.npu().half() # 模型轉(zhuǎn)FP16 for data, target in train_loader: data, target data.npu().half(), target.npu() # 數(shù)據(jù)轉(zhuǎn)FP16 output model(data)根因總結(jié)NPU顯存管理與GPU邏輯不同必須遵循昇騰特有范式。盲目套用CUDA經(jīng)驗必然OOM。5.3 故障現(xiàn)象Docker容器內(nèi)npu-smi報“Failed to connect to device plugin”初始狀態(tài)容器啟動后npu-smi報錯torch.npu.is_available()為False宿主機(jī)npu-smi正常。排查鏈路檢查Docker運行時docker info | grep Runtime發(fā)現(xiàn)Default Runtime: runc而非npu?!?修正/etc/docker/daemon.json重啟Docker。檢查容器特權(quán)docker inspect container_id | grep Privileged返回false。ascend-docker-runtime需要--privileged權(quán)限來掛載設(shè)備?!?重新運行容器docker run --privileged -it yolov5-npu。檢查設(shè)備掛載docker exec -it container_id ls -l /dev/ | grep ascend發(fā)現(xiàn)/dev/ascend*不存在?!?確認(rèn)ascend-docker-runtime服務(wù)已啟動sudo systemctl status ascend-docker-runtime。根因總結(jié)ascend-docker-runtime不是魔法它依賴Docker配置、容器權(quán)限和宿主機(jī)服務(wù)三者協(xié)同。漏掉任何一個環(huán)節(jié)設(shè)備透傳就失效。這些排查鏈路不是教科書式的答案而是我在數(shù)十次現(xiàn)場交付中從日志、命令輸出和系統(tǒng)狀態(tài)中一步步“讀”出來的。昇騰環(huán)境配置沒有捷徑唯有把每個組件的職責(zé)、依賴和邊界摸透才能穩(wěn)穩(wěn)落地。6. 生產(chǎn)環(huán)境加固讓昇騰集群7x24小時穩(wěn)定運行配置完成只是起點生產(chǎn)環(huán)境要求的是長期穩(wěn)定。我運維過一個8節(jié)點昇騰訓(xùn)練集群連續(xù)運行18個月零故障核心在于三道加固措施。這些不是華為文檔里的“建議”而是血淚教訓(xùn)換來的實操守則。6.1 驅(qū)動與CANN的“雙版本快照”管理集群中每臺服務(wù)器我都維護(hù)兩套完全隔離的昇騰環(huán)境/opt/huawei/Ascend-6.0.RC1當(dāng)前主力環(huán)境/opt/huawei/Ascend-6.0.RC1-rollback上一穩(wěn)定版本的完整快照含驅(qū)動、CANN、torch_npu??煺罩谱髂_本create_snapshot.sh#!/bin/bash # 備份驅(qū)動 sudo rpm -qa | grep ascend | xargs sudo rpm -q --dump /opt/huawei/Ascend-6.0.RC1-rollback/driver.list # 備份CANN目錄 sudo cp -r /opt/huawei/Ascend-6.0.RC1 /opt/huawei/Ascend-6.0.RC1-rollback # 備份環(huán)境變量腳本 cp /opt/huawei/Ascend-6.0.RC1/env.sh /opt/huawei/Ascend-6.0.RC1-rollback/env.sh # 備份torch_npu wheel包 pip show torch_npu | grep Version | awk {print $2} | xargs -I {} pip download torch_npu{} --no-deps -d /opt/huawei/Ascend-6.0.RC1-rollback/當(dāng)新版本升級失敗時一鍵回滾# 卸載新驅(qū)動 sudo rpm -e $(cat /opt/huawei/Ascend-6.0.RC1-rollback/driver.list | awk {print $1}) # 安裝舊驅(qū)動 sudo rpm -ivh /opt/huawei/Ascend-6.0.RC1-rollback/ascend-driver-*.rpm # 切換CANN環(huán)境 source /opt/huawei/Ascend-6.0.RC1-rollback/env.sh # 重裝舊torch_npu pip install /opt/huawei/Ascend-6.0.RC1-rollback/torch_npu-*.whl經(jīng)驗回滾操作必須在凌晨窗口期執(zhí)行且提前在一臺測試機(jī)上驗證腳本。我曾因rpm -e誤刪了系統(tǒng)內(nèi)核模塊導(dǎo)致服務(wù)器宕機(jī)從此所有rpm操作都加--test參數(shù)預(yù)演。6.2 Docker容器的“NPU健康探針”Kubernetes集群中我為每個NPU Pod添加了一個livenessProbe不是簡單的HTTP探測而是真正的硬件級心跳livenessProbe: exec: command: - sh - -c - | # 檢查npu-smi是否能獲取設(shè)備溫度 TEMP$(/usr/local/bin/npu-smi info -t | head -2 | tail -1 | awk {print $2}) if [ -z $TEMP ] || [ $TEMP N/A ]; then exit 1 fi # 檢查torch_npu是否能初始化 python3 -c import torch; torch.npu.init(); print(OK) /dev/null 21 || exit 1 initialDelaySeconds: 60 periodSeconds: 30這個探針每30秒執(zhí)行一次如果NPU硬件失聯(lián)或PyTorch初始化失敗Kubelet會自動重啟Pod。它比tcpSocket探測更精準(zhǔn)因為npu-smi命令的失敗往往意味著驅(qū)動或設(shè)備插件已崩潰。6.3 日志聚合與告警的“昇騰專屬字段”ELK日志系統(tǒng)中我為昇騰日志添加了專用解析規(guī)則。例如npu-smi日志中的Power(W)字段會被提取為npu_power_watts指標(biāo)msprof性能日志中的KernelTime會被提取為npu_kernel_time_ms。然后在Grafana中創(chuàng)建儀表盤監(jiān)控單卡功耗突增250W持續(xù)5分鐘→ 可能散熱故障torch.npu.empty_cache()調(diào)用失敗率 5% → 顯存泄漏風(fēng)險acl.rt.set_device()耗時 100ms → 設(shè)備通信延遲。當(dāng)npu_power_watts超過閾值企業(yè)微信機(jī)器人自動推送告警“Atlas 800-Node3 NPU0功耗異常當(dāng)前268W請檢查散熱風(fēng)扇”。這種基于昇騰特有指標(biāo)的監(jiān)控比泛化的CPU/MEM監(jiān)控有效十倍。最后分享一個小技巧昇騰910B在長時間滿載后NPU核心溫度會緩慢爬升從52°C到75°C此時npu-smi仍顯示“OK”但訓(xùn)練吞吐量下降15%。我的解決方案是在訓(xùn)練腳本中加入溫度感知邏輯import subprocess def get_npu_temp(): try: out subprocess.check_output([npu-smi, info, -t]) return int(out.decode().split(\n)[1].split()[1]) except: return 0 if get_npu_temp() 70: print(NPU temperature high, reducing batch size...) batch_size max(16, batch_size // 2) # 動態(tài)降批處理這能讓集群在高溫下自動降頻保穩(wěn)定而不是硬扛到宕機(jī)。昇騰環(huán)境配置的終點不是跑通一個Demo而是構(gòu)建一套可監(jiān)控、可回滾、可自愈的生產(chǎn)級基礎(chǔ)設(shè)施。這條路沒有捷徑但每一步扎實的積累都會變成你技術(shù)護(hù)城河里最堅硬的磚石。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
情欲综合网| 午夜大香蕉| 99爽视频| 色亭亭丁香五月天| 婷婷99狠狠| 天天干天天操天天爱| 日本欧特黄色刺激一区影视久精品无码| 五月丁香激情四射| 天天天天天天操| 婷婷五月天六点丁香五月| 99性视频| 婷婷激情四射| 久久狠狠干| 丁香狠狠| 婷婷五月天av网| 91人人人人人人人| 国产一区二区av免费| av在线观看网站| 狠狠色官网| 久久精品综合色| 青草视频在线播放| 日韩成人无码| 亚洲乱码日产精品BD| 欧美三日本三级少妇三99| 日日干综合| 91视频综合网| 99热精品超碰| 人人爽欧美婷婷久久久五月丁香| 婷婷狠狠青青| 日本韩国视频在线观看社区免费的9| 成人婷99最新| 久久玖玖综合| 婷婷五月天开心网| 五月婷婷之综合激情| 亚洲婷婷月丁香五月| 激情婷婷五月| 四色五月婷婷| www.婷婷久久五月天| 五月婷婷综合网| 久热 91| 久久A V无码视频| 婷五月天天| 狼友超碰| 五月天激情综合网俺也去| 碰碰碰97免费精彩视频| 99视频在线啪| 婷婷五月天综合AV| 超碰免费大香蕉| 五月婷视频在线观看| 乱岳熟女50岁| 狠狠精品干练久久久无码中文字幕| 开心激情网在线| 黄网在线观看免费| 亚洲成人免费电影| 99热九九热| 精品久久9| 九九在线视频| 婷婷色五月天在线| 色99色| 五月丁香激情综合网| 99熟女视频| 亚洲综合另类| 色婷婷丁香五月天| 激情又色又爽又黄的A片| 久久三级视频| 香蕉AV777XXX色综合一区| 五月婷婷,六月丁香| 色99色| 五月天婷婷乱论小说| 开心激情网五月天| 色三级色三级| 天天操天天操天天操天天操天天操 | 男女啪啪做爰高潮无遮挡| 亚洲五月天激情| 97色碰| 蜜桃人妻无码AV天堂三区| 天天插天天射| 国产无套精品一区二区| 亚洲国产另类av| 极品五月天| 成人va在线| 97人妻碰碰碰碰碰久久久久久| 99啪在线视频| 九九色婷婷| 色婷婷综合视频| 亚洲艹网| 色婷婷五月天天天干天天操天天爽 | 婷婷五月另类网站| 六月婷婷综合| 色婷婷成人做爰A片免费看网站| 亚洲精品久久久久AV无码| 夜精品无码A片一区二区蜜桃| 99精彩视频| 91久久精品国产91性色TV| 色五月婷婷7777| 五月丁香 狠狠爱| 综合久久综合五月天婷婷| 五月亭大香蕉| 99热6这里只有精品6| 色五月婷婷啪啪五月| 中文网av| 大香蕉婷婷丁香视频在线| 开心深爱激情网| 办公室少妇激情呻吟A片在线观看| 九九操屄| 丁香色五月 97干| 婷婷丁香五月av| 99热这里只是精品| 五月天另类小说| www.夜夜操| 任你爽在线视频| 久久婷.com| 激情五月天激情网| 色五月婷婷在线| 亚洲AV免费在线| 少妇人妻丰满做爰XXX| 五月天久久小说| 99久久国产宗和精品1上映 | 婷婷综合| 久99久精品视频| 亚洲日韩人妻操逼| 大香蕉伊人99| 九九热内射| 欧美色久| 五月天综合在线观看| 五月丁香操婷逼| 成人综合网站| 综合玖玖性爱免费视频| 五月天婷婷在线播放| 色爱亚洲| 色婷婷综合成人| 开心五激情网| 久久人人妻| 色播jjjj| 色情丁香五月天| 久久久天天啊| 激情操逼婷婷| 日本狠狠爽| 精品人妻伦一二三区久久| 色综合久久久久| 9超碰在线| bbwcuckold精品熟妇| 日日杆天天| 99热精品免费| 亚洲艹网| 久久五月激情综合| 亚洲人人操| 蜜乳A√| 99在线视频精品| 久草婷婷在线| 婷婷五月综合在线视频| 五月天婷婷基地| 色玖玖玖| 天天天综合网| Caoporn公开| 色播五月天天| 免费观看的av| 热这里只有精| 亚洲 视频 导航 一区| 91聚色综合网| 五月天婷婷导航| 99久久9| 色婷婷五月影视| 五月婷深深爱激情网| 婷婷成人视频| 婷婷国产综合| 色婷婷网| 欧洲日韩一区二区三区| 亚洲国产精品二二三三区| 丁香九月激情| 久久婷婷亚洲| 97色在线| 丁香色婷婷| 99er这里只有精品| 日本九九九九| 人人添人人| 久久五月婷| 综合激情伊人影视在线| 97人人超| 久久这里都是精品视频| 欧美黄色一级| 色情五月综合婷婷| 激情丁香六月| 丁香六月在线| 五月婷婷丁香五月亚洲色| 色啪影院| 九九家庭影院| 五月婷婷啪啪啪啪| 婷婷五月天免费视频| 1024AV视频| 热的无码综合视频| 久久丁香综合精品综合| 婷婷五月在线视频| 亚洲丁香花色| 一本大道嫩草AV无码专区| 这里只有精品视频国产| 97色干在线观看| 99热这里有精品24| 超碰中文字幕在线| 久操人妻| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 精品人妻伦一二三区久久| 久久视屏这里只有久久| 99热这里只有99| 五月丁香欧美综合| 色婷婷手机在线| www.婷婷.com| 美女天天久久| 国内熟女黄色系列| 97色天堂| site:wpjngj.com| 99碰碰| 天天色爽| 9 9热这里有精品| 日本色狠狠| 性热视频99精品| 中文字幕AV在线播放| 玖玖婷婷五月天| 日本99久久| 婷婷色Av| 91九色丨国产丨爆乳| 色综合婷婷| 婷婷五月激情片| 亚洲av另类在线观看| 五月婷婷五月天| 婷色五月天| 色五月婷婷五月天| 99免费| 超碰男人色| 婷婷六月色| 夜夜夜叫天天天做| 激情五婷网| 九九热免费视频| 婷婷十月激情综合网| 99爱爱网| 影音先锋男人女人| AA丁香综合激情| 99综合视频一体| 99热这里只有精品无码| 日日干五月天婷婷| 人妻操日日| 亚洲成人在线播放| 日本成人噜噜噜| 91操人| 影音先锋AV资源男人站| 操91| 99色干| 337p午夜影院| 99久久久久| 激情五月天天| 天天射影院| 五月天激情无码专区| 九色PORNY自拍成人精彩视频| AA片在线观看视频在线播放| 91丨九色丨白浆秘| 99这里只有精品99| 国产成人AV人人爽人人澡Va| 操久久网| 欧洲亚洲午夜| www.99免费视频| 日日夜夜狠狠| 五月激情六月综合| 久久久久激情网| 国产一级婬片毛片| 婷婷五月丁香狠狠| 亚州精品色情无码A片| 婷婷黄色网| 欧美成人精品A片免费一区99| 五月婷婷激情综合网 | 婷婷丁香六月天激情四射网| av亚洲国产小电影| 99日韩| 夜夜躁婷婷AV| 婷婷五月天激情开心网| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪| www.色婷婷.com| 另类图片五月天婷婷| 五月丁香啪综合| 丁香五月玖玖| 久久99久久99久久99| 色婷婷丁香五月| 婷婷综合一二三| 色亚洲婷婷| 五月天婷婷色在线视频免费观看| 超碰色综合| 五月婷婷亚洲综合在线| 精品九九久久| 亚洲天堂青草| 亚洲啪啪精品| 久久免费试看120秒| 久综合九综合99| 色五月婷婷五月天| 激情内射人妻1区2区3区| 国产成人网| 亚洲 视频 导航 一区| 色五月丁香伊人五月| 2025天天爽天天摸| 五月天成人手机在线视频| 秋霞午夜理论| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 色婷婷丁香| 超碰AAAAAAV| 99热99日…..| 五月丁香六月婷婷色| 高潮毛片遮挡费高一百度| 五月天综合久久| 粉嫩av蜜桃av蜜臀av| 伊人玖玖婷婷| 九热精品| 激情五月深爱五月| 天天狠狠插| 激情com| 天天射影| 久久99热免费| 五月花亭亭| 五月丁香狠狠地噜噜噜噜| 色五月婷婷婷婷| 婷婷深爱五月亚洲综合| 婷婷中文字暮| 婷婷六月丁综合| 刘玥精品一区| 日韩欧美一道四区中文字幕| 欧美六月| 丁香五月婷婷六月婷| www.五月天性.com| 亚洲第一精品成人999久久精品| 99色视频免费在线规看| 婷婷五月天中文字幕| 久久人妻久久| 色婷婷久久综合| 亚洲中文乱字字幕在线永久| 九月丁香久久网| 九九色video| 99在线精品视频在线观看| 超碰免费人人肏| 成人人操| 五月丁香亚洲校园欧美| 精品九九视频| 亚洲午夜电影| 色婷婷成人做爰A片免费看网站| 日本激情综合| 91碰| 五月丁香婷婷伊人| A片一曲| 六月色婷婷| 午夜无码熟熟妇丰满人妻 | 超碰免费人妻| 亚洲成人AV高清字幕| 伊综合蕉| 色婷婷五月综合| 天天射综合网天天插| 丁香婷婷深情五月亚洲| 香蕉久久国产AV一区二区| 欧洲色色| 久99久精品视频| 色婷婷综合久久久久| 天天 青草 制服丝袜 在线| 6080av| 新激情五月天天在线网| 日日天天干| 国产精品激情AV久久久青桔| 手机在线日韩视频中文字幕| 99re26视频| 96五月丁香熟女| 91九色精品女同系列| 一本色道久久88综合日韩精品| 国产超碰av| 五月婷网| 深爱五月激情| 97在线观视频免费观看| 97人人超| 丁香五月婷婷AV在线| 热九九精品| 欧美日韩国产成人在线| 亚洲美女婷婷五月天| 五月天啪啪啪| 国产,欧美,学生妹,视频| 91.com男女操| 婷婷色情六月| 亚洲日韩一页精品发布| 婷婷五月激情综合| 另类激情五月天| 成人丁香五月天| 五月色婷丁香| WWW.开心五月天.COM| 五月婷婷激情性爱| 婷婷久久女人| 99.色| 97色色视频| 综合激情sV| www.狠狠狠.com| 成人日韩欧美| 激情综合国产| 99视频在线精品| 日日操夜夜擼| 色综合色综合色综合高潮| 精品久久艹| 激情五月激情综合网| 99久扒热| 日韩黄色电影| 丁香五月最新网址| 可似看的AV| 亚洲无AV在线中文字幕| 夜夜夜天天操| 26UUU欧美| 日本色久| 九九99热久久精品66中文字幕| 亚洲欧洲美女在线观| 狠狠操天天操综合| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 天天干天天干天天| 97人人看一| 99爱无码| 婷婷久久婷婷色五月| 久久草婷婷丁香网站| 色五月综合网| 色婷婷欧美在线| 99亚洲精品视频| 欧美人人超级碰| 狠狠五月天婷婷激情网。| 久99| 九九热这里只有精品556| 婷婷综合五月天| 久婷首页| 啪啪激情综合| 色啪影院| 五月婷婷色| 六月丁香啪啪| 精品五月天| 香蕉狠狠爱视频| 99热在线精品观看| 97人妻碰碰中文无码久热丝袜| 五月综合激情网| 丁香婷婷婷五月综合色情| 五月丁香六月激情综合欧美| 青青999| 久久精品只有这| 欧美色偷偷大香| 五月丁香淫淫婷婷婷| 久久日本wwww色| 色亚洲欧洲| 亚洲第一影院高清无码网站| 久9免费视频| 91碰| 久久er99热精品一区二区 | 色99在线观看| 五月激情开心婷婷| 国产av第一专区| 在线可以看的av网址| 日韩无码亚欧无码| 人人澡玖玖一| 色亭亭五月天网扯| 99情色五月天| 99久久99久久| 婷婷五月天色综合翘| 成人国产欧美大片一区| 久久爱婷婷| 婷婷五月综激情| 丁香五月婷婷在线| 99热最新网址| 久久码久久无清| 91无码视频| www.婷婷网| 538在线精品| 99国产这里只有精品| 丁香五月电影院在线观看| 大香蕉婷婷色| 五月婷婷m| ...婷婷五月综合不卡,国产在线手机| 亚洲精品国产成人AV在线| 新久久五月天激情| 色拍九九九| 日本在线视频播放91| 秋霞黄色一级久久| 久久亭亭电影| 中文字幕 中文字幕明步| 五月综合婷婷久久在线| 色婷婷亚洲| 风流少妇A片一区二区蜜桃| 婷婷五月天视频亚洲| 天天射综合网站| 欧美精品在线观看| 人妻AV在线观看| va中文资源在线观看| 97久久超视频| 激情又色又爽又黄的A片| 天天操屄网| 久色网| 色婷婷综合久久| 欧美日韩123| 26UUU在线观看| 91人人超碰在线| 人妻丰满精品一区二区A片| www.操.com| 在线视频色五月| 国产三级在线播放| 人妻熟女一区二区AV| 日本色色网站| 日韩精品二三区| 婷婷五月综合色中文字幕| 九九色情网五月天| 亚洲精品一区中文字幕乱码| 操人无码| 能看的av| 丁香六月色婷婷| 精品视频99看在线视频| 操操人人| 月丁香久久久| www.丁香六月婷婷久久天堂影院.con| 丁香色婷婷| 久久久免费精彩视频| 亚洲成人电影aaaa| 五月花综合网| 久99| 婷婷综合亚洲| 啪啪东京热| 九九九九九999999| 国产成人精品亚洲线观看| 影视av久久久噜噜噜噜噜三级| 精品,99| 色黑鬼导航| 超碰在线精品| 人人综合久| www.九九婷婷| 天堂网亚洲色图| 亚洲V国产V欧美V久久久久久| 国产67194| 九九在线精点品| 人人看人人草人人摸| 七七九九色色| 激情婷婷五月亚洲| 中文精品久久久久人妻不| 婷婷五月天激情电影| 色婷综合| 91碰九色| 激情丁香五月| 在线亚洲综合网| 婷婷六月丁香五月图区| 国产在线激情视频| www五月婷婷88导航| 97碰碰碰免费公开在线视频| 狠狠色色| 国产AV国片偷人妻麻豆| 午夜成人片400| 成人做爰A片免费看视频| 五月天天天色| 精品人妻一区二区| 五月婷婷开心网| 五月天婷婷色| 日日爽夜夜爽| 九九综合| 内射爽无广熟女亚洲| 色五月激情网| 无码91中文字幕| 久久精品国产AV一区二区三区 | 无码人妻AV久久久一区二区三区| 伊人五月天| 日韩成人网址| 成人.在线日韩| 黄色国久久| 亚洲综合五月天婷婷| 丁香花社区av| 国产中文字幕在线视频免费观看 | 99热在线播放| 777影视理论片大全在线观看 | 9操在线| 久久五月天视频| 九九自拍网| 超碰在线成人| 91艹人| 丁香五月天五码婷婷| 激情五月婷婷综合网| 婷婷色情小说| 久久性爱视频| 激情五月天婷婷丁香| 这里有精品| 午夜69成人做爰视频| 婷婷在线日韩综合| www狠狠com| 中文字幕成人| 月婷婷亚洲| 五月天性色| 久久这里只有精品无码| 色综合天天综合成人网| 无码操B| 强辱丰满人妻HD中文字幕| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 99啪啪| 乱精品一区字幕二区| 北条麻妃伊人 | 第五婷婷伊人丁香| 99思思在线视频| 深爱激情久久| 九九这里是免费的视频5| 成人丁香五月天| 国产伦亲子伦亲子视频观看| 久久婷婷色综合老司机| 超碰AV在线| 五月婷婷co.m| 五月婷婷五月天| 五月天综合| 国产特黄色精品一区二区三区精品无广告| 六月丁香六月婷婷欧美| 狠狠久久婷五月综合色| 五月激情影院| 国产精品久久久久久久久久| 五月婷婷综合影院| 很很操很很操| 美女精品一级不卡视频| 人妻AV在线| 亚洲AV无码成人精品电影| 色五月在线播放| 玖玖综合色| 五月天婷婷综合| 日韩操啪| 深爱激情九九五月天 | 久久婷婷综| 99精品久久久久久久婷婷久久| 天天搞天天色综合| 黄色视频网站在线播放| 九九久久五月天| 成人婷婷深爱综合网| 婷婷 丁香 精品| 国产在线aaa片一区二区99| 懂色av蜜臀av粉嫩av永陈冠希| 99区视频| 久久久99久久| 色婷婷五月丁香色| 日本一级一级一级一级| 天天日天天干天天操| 亚洲亚洲人成综合网络 | 1024日韩| 色蜜婷婷| 五月丁香婷婷俺| 色播综合| 99久久99九九99九九九| 99精品综合| 狠狠精品干练久久久无码中文字幕| 色情五月天丁香社区| 99久久九九| 色婷婷小说| 99色婷婷| 超碰人人操人人干| 婷婷伊人75| 色五月天天| 超碰av在线| 综合亚洲AV| 九月丁香五月婷婷| 国产亚洲精品久久久久久久久动漫| 1024人妻| 九九色婷婷| 青青草原伊人网| 婷婷精品性视频| 日本eVa一区=区视频| 99热热九九| 婷婷激情社区| 婷婷五月图片小说视频| 99热免费| 99热在这里只有免费精品| 色屌丝中文字幕| 99色热视频| 色情五月综合婷婷| 综合网网欲色| 色五婷婷开心缴| 色综合久久无码| 丁香五月aV| 丁香五月色| 六月丁香五月激情亚洲AV| 97热这里精品在线视频| 婷婷午夜精品久久久| 操日视频| av在线观看网站| 中文色婷婷| 99色热视频| 久草视频一,二三四| 第四色五月婷婷| 婷婷五月天综合AV| 婷婷97碰碰| AV在线观看网站| 亚洲综合婷婷| 午夜丁香| www激情网| 日本熟妇乱妇熟色A片蜜桃| 婷婷五月天影视网址| 免费无码毛片一区二区A片| 先锋av性爱成人电影| 成人 在线观看国产| 天天天摸夜夜夜玩| www.五月婷| 激情丁香五月| 久久伊人五月天| 丁香五月大香蕉| 五月激激网w'w'w| 色和综合网| 超碰熟女拍拍| 激情婷婷五月| 99热这里只有精| 五月丁香在线婷婷蜜桃| 色女人久久| 无码少妇高潮喷水A片免费| 黄色五月婷婷| 玖玖婷婷五月天| 色婷婷五月婷婷五月婷婷五月| 激情图片亚洲| 中文字幕 中文字幕明步| 生活片五区| 狼人久草| 五月丁香在线婷婷美女| 大香蕉婷婷丁香| 99热免费精品| 精品久久久久久久久久久久人妻| www九月婷婷| 亚洲99综合| 色婷五月天亚洲| 91碰九色| 亚洲激情五月天| 久热a| 国产精品国产| 99热这里是精品| 五月婷婷开心综合| 亚洲情色一区| 国产偷人爽久久久久久老妇APP| 99操逼| 激情四射五月天| 日韩艹比| 色欲婷婷五月天| 狠狠操天天操综合| 婷婷的色色五月天| 日本精品久久久久中文字幕| 五月激情婷婷国产精品久久久久久 | 五月天激情久久| 久久精品亚洲热| 色私五月婷婷| 五月丁香亭亭电影久久| 五月婷在线观看| 亚洲一区二区无码蜜乳av| 中文资源在线a | 丁香婷婷啪啪啪| 日熟女| 少妇性按摩无码中文A片| 色色日本欧美| 色五月婷婷开心| 婷婷射图五月天| 色五月 婷婷, 大香蕉| 97在线综合| 99热99干| 亚洲视频色色| 五月丁香婷婷综合视频| 久99久视频精品| 可以看的AV| 激情五月婷婷丁香| 天天撸夜夜爽| 蜜臀丁香黄色婷婷五月天| 色综合色综合色综合| 色噜噜狠狠色综无码久久合欧美| 日本天堂爱爱| 久久婷婷五月综合色和| www.日日日.com| 97人操| 强辱丰满人妻HD中文字幕 | 丁香婷婷基地| 久99久精品| 深爱婷婷丁香五月激情| 婷婷在线五月天观看| 色综合中文| 91精品国产色猫| 精品久久久中文字幕大豆网推荐理由| 激情图片五月天| 九热精品| 日韩在线99| 色色网站在线| 狠狠色激情在线| 久久综合综合久久| 五月丁香色婷婷久久| 麻豆123区| 三级黄色大片视频| 五月婷婷六月天| 国产精品电影| 五月天操逼网| 日本色色网站| 九九在线精点品| www夜夜操com| 色狠狠色综合| 天天日天天做天天操| 激情五月综合六月丁香婷婷狠狠干| 在线不卡视频| 丁香五月综合高清在线| 五月婷婷色播视频| 久热这里有精品视频| 91丨熟女丨首页| 五月丁香色色综合| 69五月天视频| 丁香婷婷久久老熟女综合网| 。久久久久久久久久久久久久人妻 | 99ri精品| 久久免费操| 亚洲午夜电影| 五月婷婷亚洲| 91超碰在线观看| 婷婷五月天小说| 青青草五月天| 婷婷五月天AV| 五月丁香好婷婷A片网| 婷婷永久在线| 国产一级片| 中国女人做爰A片| 黄色av网站在线免费播放| 操逼综合网| 在线观看欧美| 婷婷丁香色五月亚洲| 婷婷五月天另类视频| www,婷婷五月天777me,com| 婷婷深爱五月丁香网| 色婷婷视频在线| www.91九色| 婷婷五月天网| 91夫妻视频| 日本三日本三级少妇三级66| 五月婷婷偷拍| 丁香五月婷婷少妇| www.五月天社区| 婷婷六月综合基地| 色五月婷婷老师| 天天狠狠综合精区| 成人毛片在线免费观看| 99色综合| 久久在线人妻| 久草热在线视频| www.99热这里只有精品| 久久AV无码精品人妻系列试探| 3DAV亚洲香蕉久久 一区二区| 琪琪色热色色| 婷婷五月天直播| 26UUU欧美| 狠狠干婷婷| 亚洲亚洲人成综合网络| 婷婷玖玖丁香| 激情丁香婷婷六月天| 婷婷五月综合视频| 九九aV| 免费在线观看AV网站| 亚洲天堂有码| 亚洲小视频免费看| 日本社区五月天激情| 99ri在线视频| 在线播放 精品| 久久人人九九| 亚洲第一视频 久久| 激情久久久久| 色宗合久久五月婷婷| 十月色综合| www婷婷| 精品一区二区三区三区| 五月丁香怕怕综合| 免费在线观看欧美激情xx小视频| 99精品综合| 五月黄色婷婷| ...婷婷国产成人亚洲日韩| 天天综合网在线| 极品少妇XXXX精品少妇偷拍| 亚洲色夜| 亭亭五月天黑人2014| 激情婷婷色色| 99热99思午夜精品| 五月花成人网| 九九精品99| 91熟妇大香蕉| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 婷婷五月天小说| 五月天停婷基地| 五月天欧美 另类小说| 色狠狠综合网| 996热re视频在线观看视频| 精品99久久久久成人网站免费| 丁香五月成人网| 超碰97在线操| 欧洲永久精品| 五月丁香婷婷基地| 清纯唯美 激情四射| 欧美成性色| 婷婷五月天Av| 九月丁香欧美综合| 婷婷成人小说综合| 中文字幕 中文字幕明步| 亚洲秘 无码一区二区三区妃光/1| 26uuu欧美亚洲日韩| 亚洲九九夜夜| 97婷婷在线| Www.激情| 7777国产盗摄农村女人| 日本丁香五月婷婷| 人人播| 九九久久99精品免费观看www| 色激情五月| 九九九九操逼| 五月久久噜噜| 亚洲综合色婷婷| 激情小说五月天| 色三级色三级| 久久精品五月天| 天天日天天舔| 久久婷婷五月激情综合| 天天天天天久久久久久| 国产内射婷婷| 精品一区二区三区木瓜| 精品亚洲国产成AV人片传媒| 五月丁香综合网色欲| 开心激情婷婷| 视频这里只有精品| 五月天婷婷成人网| 做爱夜夜干天天操| 亚洲天堂99| 综合婷婷六月| 99热这里有精品| 青草久久五月婷伊人| 国产精品VIDEOSSEX久久发布| 久久五月天合网| 色婷婷五月综合| 蜜臀av无码久久久久久久久| 综合婷婷| 色婷五月天亚洲| 婷婷不干网| 五月婷婷乱| 亚洲AV无码成人电影| 五月综合缴情网| av超碰在线| 99热国产免费| 九九热精品99| 久99视频| 天天玩天天摸| 成人免费120分钟啪啪| 五月天小说激情| 激情图片亚洲| 色五月丁香网| 日韩另类在线观看| 综合网色| 免费国产VA国产免费| 超碰免费人人| 久久99这里只有精品视频 | jiZZdr| 狠狠色综合777| 少妇性BBB搡BBB爽爽爽视頻| 日日撸日日操| 久久婷婷亚洲无码一起| 91色在线/日韩| 高潮毛片遮挡费高一百度| 国产精品人成A片一区二区| 99视频精品全部免费 在线| 五月天啪啪网| 91九色国产熟女| 四月婷婷五月色综合| 国产肥白大熟妇BBBB视频| 狠狠干五码| 无码橾| 99久视频| 99亚洲色| 成人网站免费在线播放| 九九碰九九爱97| 久热只有这里精品| 色色色五月婷| www久| 中文字幕色色| www.99热视频| 亚洲精品久久久久久久久久吃药| 26uuu欧美激情另类| 99视频网址| 丁香五月偷拍| 色色色色色色色色综合网| 日韩av在线电影| 成人精品视频99在线观看免费| 激情开心五月天婷婷基地丁香社区| 婷婷婷久久久| 99精品国产在热久久| 偷拍五月丁香| 日日日日做夜夜夜夜无码| 色吊丝99| 99视频在线精品| 17.c黄色| 久九色| 久热99狠| 成年人丁香五月| 五月天综合图片| www.久久| 99精品久久久久久久久| 日本99视频| 韩国三级五月天婷婷。| 开心五月婷婷激情| 天堂网操| 婷婷亚洲综合| 婷婷天天婷婷天天澡| 天天做综合| 影音先锋男人资源站一区二区| 色99色| 99九九视频| 丁香五月在线视频黑人| 天堂A∨在线| 一区=区操屄高清大全av| 五月丁香六月激情在线| 深爱激情丁香| 天天日夜夜夜操操操操| 久久网日本| www.1024久久| 亚洲V国产V欧美V久久久久久| 婷婷五月天奸女| 99热这里都是精品| 综合色激情| 激情婷婷亚洲五月| 噜噜干日本| 综合 蜜月 婷婷| 少妇AB又爽又紧无码网站| 亚洲视频二区| 99久久6| 五月丁香啪啪啪啪| 少妇激情基地| 啪啪操超碰| 九九色黄色| 国产69精品久久久久999小说| 九九热黄色| 日韩aaaaa| 五月网网站| 色综合久久伊伊婷婷五月| 欧美va视频| 国产精品国产| 五月婷久久综合| 日曰躁夜夜躁2026| 五月香婷婷| 五月婷婷综合激情| 天天综合精品| www、色色色| 蜜臀九九九九| 丁香五月六月婷婷自拍| 韩日在线熟女| 在线色色| 99在线免费视频| 亚州综合色| 成人va在线| 久cao香蕉影院| 全部老头和老太XXXXX| 激情综合久久| 亚洲色久| 色综合久| 色色丁香五月天| 超碰日日操| 天天日夜夜| 日本天天色| 久草五月天| 99热免费看| 五月天激情啪啪| 五月花亭亭| 五月天色在线| 九九热这里只有精品一| 婷婷五月天99| 很很干五月天| 亚洲 无码 中文字幕 中出| 成人五月天在线视频在线观看| 天天插综合在线| 亚洲五月天第一综合干| 五月婷婷高清| 99免费热在线精品| 九九热再线九九视频免费在线观看 | 色色九九五月天 | www99精品日韩| 99riAV成人在线视频| 五月刺激丁香月综合| 日本wwww在线| 久久中国毛毛片爱久久| 国产精品岛国片在线观看免费| 中文字幕精品推荐免费在线观| 大香蕉久久伊人网| 国产黄色av| 伊人碰碰婷婷| 色五月婷婷av| 久鲁鲁色网| 色婷婷色五月色丁香| 欧美综合五月丁香五月天| 色婷婷丁香五月综合| 五月天精品视频| 亚洲中文乱字字幕在线永久| 婷婷激情六月综合| 大香蕉人妻| 涩五月婷婷| 日韩av手机在线观看| 182无码| 丁香五月综合首页| AAA久久久| 久热2025无码| 性生活久久人妻| 人人播| 亚洲色在线观看| 大战熟女丰满人妻AV| 91精品刘玥| 久久激情天堂| 五月亭亭开心网| 99国产精品久久久久久久久久久| 五月婷婷 激情按摩| 五月丁香视频色色| 国产精品人妻欲求不满| 亚洲视频丁香网va| 777色色色| 色欲天天综合网| 亚洲精品白浆高清久久久久久| 九九综合网| 亚洲旡码| 五月激情偷拍婷婷| 综合网亚洲| 丁香五月香蕉| 沈娜娜av| 九九色逼| 五月婷婷激情中心| 亚洲旡码| 思思re最新视频| 久久免费丁香| 婷婷五月天xxx| 天天日本夜夜谢| 激情综合婷婷| 丁香97综合| 天天弄天天爽| 激情欧美丁香五月| 97啪啪| 青青草Avb在线| 偷偷狠狠久久婷婷五月天| 夜夜爽天操| 深爱综合网| 五月婷婷丁香综合,亚洲天堂| 97色婷婷| 丰满熟女人妻一区二区三| www.久热| 黄色99热| 婷婷一本和五月丁香| 九月综合| 丁香婷婷成年| 色亚洲无码| 天天插天天插天天插天天插| 婷婷五月天视| 国产夫妻操逼内射视频| 婷婷六月丁香欧美视频在线| 亚洲综合成人网| 丁香五月婷婷欧美成人色图| 九九成人精品免费视频| 思思热久久久在线| 九九视频在线| 大香婷婷| 开心五月综合激情综合五月| 色情婷婷| 2013AV天堂| 69激情小说| 丁香五月色| 噜噜五月天综合| 人人爱天天摸摸天天爱| 亚洲在线资源| 久久九九99.www| 激情婷婷五月天伊人在线观看| 4438激情网| 日本一区二区三区精品视频| 色综合爱综合| 天天爽人人综合免费7799| 色色六月| 婷婷成人五月天一区| 五月婷婷在线免费观看| 六月婷婷色色色| 五月丁香花婷婷玉莉AV| 青草青草视频2免费观看| 一本久道综合色婷婷五月| www五月| 色就色94欧美setu| 狠狠夜夜五月丁香| 丁香色色网| 六月丁香婷婷综合狠狠爱夜夜爱| 99er精品视频| 夜色五月天| 色 丁香婷婷| 婷婷综合五月| 9色在线| 综激情网| 天天色99| 99久久这里只有精品| 婷婷天堂伊人| 激情综合另类| 激情玖玖sh| 伦乱美欧| 久久婷婷六月综合| 久久精彩综合视频| 五月色婷| 天堂资源欧日浪女在线播放| 天堂综合久久| 九九色之九九色之88| 亚洲精品国产精品乱码视99| 色九月综合| 欧美成人五月天| 婷婷丁香六月天| 丁香五月综合在线播放 | 色丁香久综合在线久综合在线观看| 国产激情综合| 在线va网站| 激情婷婷五月| 淫视馆AV在线| av在线观看免费| 五月婷啪啪| 国产熟女一区二区三区五月婷| 丁香婷婷综合激情五月色| 天天插天天插| 五月色情婷婷| 婷婷五月天激情电影小说| 日本三日本三级少妇三级66| 国产欧洲欧洲精品久久| 五月婷婷丁香网| 免费看欧美成人A片无码| 五月久久网| 五月丁香无码| 亚洲中文字幕网| 亚洲精品视频在线播放| 丁香五月婷婷少妇| AA片在线观看视频在线播放| 五月丁香综合精品| 天堂婷婷综合| 思思久热| 五月天婷婷激情四射综合| 久久久久er热| 亚洲 欧洲 国产 伦综合| 亚洲婷婷五月天| 99性视频| 麻豆AV一区二区三区| 五月丁香亭亭天天舔| 超碰97在线观看免费| 婷婷射丁香| 天天肏在线观看| 99热这里只有精品3| 久久婷婷五月天懂色| 国产午夜精品AV一区二区麻豆| 五月丁香六月合| 色 噜噜 九月 婷婷| www.久久久久久久| 久操大香蕉| 99色在线| 五月天色婷婷成人| 色五婷婷| 亚洲成人一区| 国产亚洲在线观看| 青草视频在线观看视频| 人人舔人人| 91热久久| 丁香五月天婷婷激情| 五月天婷爱综合| 啪精品| 婷婷在线视频| 六月丁香啪啪| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 五月婷婷综合激情小说| 99久在线精品99re8| 五月丁香婷草| 久久人妻视频| 天天夜夜操| 人人操AV| 九九成人电影婷婷| 日本va欧美va欧美精品88| 中文字幕视频在线播放| 欧洲MV日韩MV国产| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 免费视频在线观看的网站| 五月丁香六月婷婷久久| 色综合九九色综合88| 八戒青柠影视剧在线观看| 丁香五月另类小说| 欧美色狠婷久| 九月色婷婷综合亚洲| 日本91在线|