欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Atlas 300V部署YOLO完整實(shí)戰(zhàn):從推理卡解析到性能調(diào)優(yōu)

Atlas 300V部署YOLO完整實(shí)戰(zhàn):從推理卡解析到性能調(diào)優(yōu) 大概兩年前我開始折騰邊緣端的AI推理方案手里過過幾塊不同的加速卡也從純GPU路線一步步走到了國產(chǎn)算力平臺。最近后臺經(jīng)常有人問兩個問題第一Atlas 300V 24G到底算不算運(yùn)算加速卡第二這東西能不能用來跑YOLO怎么部署。今天干脆把這塊卡從身份定位到Y(jié)OLO部署的完整鏈路一次說清楚順便把實(shí)測過程中踩過的坑和排查思路都分享出來。先說結(jié)論Atlas 300V是一塊標(biāo)準(zhǔn)的AI推理加速卡不是訓(xùn)練卡也不能當(dāng)普通GPU來用。它的設(shè)計目標(biāo)非常明確——數(shù)據(jù)中心和邊緣側(cè)的高密度推理場景尤其是視頻分析、圖像分類、目標(biāo)檢測這類任務(wù)。而YOLO部署在Atlas上不僅是可行的而且只要轉(zhuǎn)換鏈路選對性能表現(xiàn)和穩(wěn)定性都能達(dá)到工程落地水平。下面我會從硬件參數(shù)、選型邏輯、部署實(shí)操、性能實(shí)測和避坑經(jīng)驗(yàn)五個維度展開盡量讓看完這篇文章的人能直接上手復(fù)現(xiàn)。1. Atlas 300V的身份溯源它到底是什么卡1.1 一張卡上的三個芯片與24G顯存之謎很多第一次接觸Atlas 300V的人第一眼看到的參數(shù)是24G顯存、150W功耗、單槽半高卡下意識會拿它和RTX 4090或A10去做對比。這么對比其實(shí)說明還沒有理解它的架構(gòu)。Atlas 300V板卡上整合了兩顆Ascend 310P芯片每顆芯片配備12GB LPDDR4X顯存對外表現(xiàn)為24G總顯存。這和單芯片24G顯存的設(shè)計有本質(zhì)區(qū)別——你可以把它理解為一張卡上跑了兩路獨(dú)立的推理引擎中間通過內(nèi)部總線通信而不是像GPU那樣所有計算單元共享一個大顯存池。從定位上劃分Atlas 300V對應(yīng)的是昇騰推理卡里的中間檔位。往上走有300V Pro同樣雙芯片但顯存帶寬更高往下有300I Duo和300I Pro前者是雙芯片無獨(dú)立顯存后者是單芯片8GB。300V的24G對于YOLO這類目標(biāo)檢測模型來說屬于非常充裕的規(guī)格一張卡跑滿4路1080P視頻流做實(shí)時檢測完全是設(shè)計范圍內(nèi)的標(biāo)準(zhǔn)工況。1.2 推理卡與訓(xùn)練卡的分工邏輯要理解300V到底是不是運(yùn)算加速卡得先理清推理卡和訓(xùn)練卡的分工邏輯。訓(xùn)練卡追求的是超大算力、大顯存、全精度矩陣運(yùn)算目的是在最短時間內(nèi)把梯度算完推理卡則完全反過來——它追求的是單位功耗和單位成本下的吞吐量對精度要求是FP16甚至INT8夠用就行對單次請求延遲敏感但不像訓(xùn)練那樣需要海量中間狀態(tài)存儲。所以Atlas 300V的硬指標(biāo)放在這里INT8算力140 TOPSFP16算力70 TFLOPS這不是拿來做大模型訓(xùn)練的料但用來跑YOLOv5s、YOLOv8n這類模型單芯片并發(fā)跑四五個實(shí)例都很輕松。它的運(yùn)算加速主要體現(xiàn)在推理側(cè)用它們自己的話說是極致性價比的推理算力。如果把一張Atlas 300V拆開看硬件架構(gòu)每顆310P內(nèi)部有AI Core昇騰的自研計算核心、Vector Core和Cube Unit分別負(fù)責(zé)標(biāo)量、矢量和矩陣計算。整個架構(gòu)和NVIDIA的Tensor Core思路類似但是軟件棧完全不同需要走昇騰自家的CANN工具鏈。這一點(diǎn)是后續(xù)所有部署工作的前提——你手里的PyTorch權(quán)重不能直接扔上去跑必須經(jīng)過格式轉(zhuǎn)換和算子適配。1.3 24G顯存到底能裝下多少模型關(guān)于顯存和模型規(guī)模的關(guān)系很多做部署的同學(xué)有誤解以為YOLO這種小模型用不上24G。實(shí)際工程里顯存夠不夠從來不是看單個模型大小而是看你想在單卡上并發(fā)多少個推理流。以YOLOv8n為例FP16權(quán)重大約12MB運(yùn)行時加上輸入輸出緩沖、中間特征圖、后處理臨時空間完整推理上下文大約占1-1.5GB。24G顯存意味著即便留出足夠的碎片余量同時跑12-16路YOLOv8n線程都沒有壓力。如果用YOLOv5s單實(shí)例運(yùn)行空間大約1.8-2.5GB整卡跑8路并發(fā)也游刃有余。即便改用YOLOv8l這類更大體量的模型單實(shí)例4GB也夠了整卡4-5路并發(fā)毫無壓力。所以從顯存容量這個角度看300V的24G對YOLO家族全系模型都是降維打擊。2. 部署YOLO前必須想清楚的選型問題2.1 你該用ACL、MindSpore Lite還是MindX SDK昇騰平臺跑推理有三條主流路線很多人一上來就卡在選型上。我直接把這三條路線的適配場景講透了你就能少走彎路。第一條是底層ACLAscend Computing Language接口對應(yīng)的是CANN Toolkit里帶的運(yùn)行時API。ACL的定位類似CUDA Runtime API需要自己管理設(shè)備初始化、內(nèi)存申請釋放、模型加載和執(zhí)行流。優(yōu)點(diǎn)是掌控力最強(qiáng)、沒有多余封裝開銷缺點(diǎn)是需要寫的代碼量很大而且對模型輸入輸出結(jié)構(gòu)的理解要求高。如果你只需要跑一個固定模型、不涉及復(fù)雜的前后處理流水線ACL是性能和代碼量的最佳平衡點(diǎn)。第二條是MindSpore Lite昇騰的推理引擎框架對標(biāo)的是TensorRT。它提供了Python接口和C接口可以直接加載ONNX模型做離線轉(zhuǎn)換也可以讀入OM模型執(zhí)行推理。MindSpore Lite的好處是API設(shè)計更友好內(nèi)置了后處理算子和圖像預(yù)處理算子適合快速驗(yàn)證模型效果。缺點(diǎn)是編排復(fù)雜模型輸入輸出時接口文檔有些地方寫得不夠清晰容易翻車。第三條是MindX SDK昇騰的行業(yè)應(yīng)用開發(fā)套件對標(biāo)DeepStream。它把視頻解碼、圖像縮放、模型推理、目標(biāo)框繪制這些通用能力都封裝成了插件用配置文件就能串聯(lián)一條推理流水線。如果你做的是視頻流分析MindX SDK是效率最高的方案幾張卡并行、多路視頻接入都能通過改配置實(shí)現(xiàn)。缺點(diǎn)是定制化程度低模型結(jié)構(gòu)特殊或需要自定義前后處理邏輯時插件開發(fā)成本反而更高。我的建議很簡單跑YOLO系列做目標(biāo)檢測要么ACL裸調(diào)要么MindSpore Lite。前者適合已經(jīng)寫好了C服務(wù)端的場景后者適合快速驗(yàn)證的Python腳本場景。MindX SDK雖然省事但YOLO的NMS后處理邏輯個性化很強(qiáng)用它的通用插件反而要花時間適配。2.2 PyTorch權(quán)重到OM模型的轉(zhuǎn)換鏈路不管選哪條推理路線最后落地到Atlas上都需要把權(quán)重文件統(tǒng)一轉(zhuǎn)換成OM模型格式。整個轉(zhuǎn)換鏈路從PyTorch開始一般有兩種方式。第一種是PyTorch直接導(dǎo)出ONNX再用ATC工具轉(zhuǎn)OM。這是最常見也最靈活的方案因?yàn)閅OLOv5和YOLOv8官方倉庫都支持一鍵導(dǎo)出ONNX。導(dǎo)出的時候有一些關(guān)鍵參數(shù)需要留意opset_version建議設(shè)成11到13之間的值太高或太低都可能導(dǎo)致算子不支持dynamic_batch在部署階段可以先不開固定batch能簡化后續(xù)開發(fā)和性能優(yōu)化。第二種是直接在MindSpore框架里訓(xùn)練或加載權(quán)重再導(dǎo)出這個更適合從零訓(xùn)練模型的場景。如果你手上已經(jīng)有一個跑得通的PyTorch權(quán)重完全沒必要為了原生而用MindSpore重新訓(xùn)一遍ONNX中轉(zhuǎn)完全夠用。ATC轉(zhuǎn)換這一步是整個部署鏈路里坑最多的環(huán)節(jié)。命令基本長這樣atc --modelyolov8n.onnx \ --framework5 \ --outputyolov8n \ --soc_versionAscend310P3 \ --input_shapeimages:1,3,640,640 \ --loginfo這里有個常踩的坑--soc_version參數(shù)必須和你手中的卡完全匹配。Atlas 300V對應(yīng)的芯片型號是Ascend 310P但310P還分310P1、310P2、310P3等不同版本參數(shù)填錯轉(zhuǎn)換過程報錯還算好的更麻煩的是轉(zhuǎn)換成功后上板直接跑出亂碼推理結(jié)果。用npu-smi info命令查一下芯片完整型號再對著官方支持列表確認(rèn)SOC版本這一步能省下大量排障時間。另一個值得注意的坑是ONNX模型里某些算子ATC不支持。YOLOv8新版本的C2f模塊和SPPF模塊經(jīng)過ONNX導(dǎo)出后個別版本會包含ATC不支持的上采樣或自定義算子報錯信息通常是Unsupported op type。解決思路分兩步先看算子是否有昇騰的替代實(shí)現(xiàn)比如自適應(yīng)池化算子替換方案如果找不到替代實(shí)現(xiàn)就需要回退到Y(jié)OLOv5或者換一個ONNX導(dǎo)出版本。實(shí)測中發(fā)現(xiàn)YOLOv8n/v8s在Pytorch官方版本的ONNX導(dǎo)出在較新版本CANN下已經(jīng)能直接轉(zhuǎn)換但如果遇到老版本CANN建議直接降級YOLO版本或打算子補(bǔ)丁。2.3 CANN版本的牛頓第一定律能不動就不動昇騰軟件棧的版本管理是個容易讓人心態(tài)爆炸的事情。CANN Toolkit、驅(qū)動固件、MindSpore Lite、MindX SDK四者之間有嚴(yán)格的版本匹配關(guān)系CANN升級一個Minor版本驅(qū)動固件經(jīng)常也得跟著動。為了降低部署風(fēng)險我個人推薦一套穩(wěn)定組合目前實(shí)測運(yùn)行半年沒出過問題組件版本驅(qū)動固件23.0.3CANN Toolkit6.3.RC2MindSpore Lite2.2.0Python3.8/3.9這套組合在上板部署YOLOv5和YOLOv8時表現(xiàn)都比較平穩(wěn)。如果你已經(jīng)在生產(chǎn)環(huán)境有跑著的服務(wù)切記不要輕易動版本除非遇到算子缺失或性能瓶頸否則跑得好好的就別折騰在昇騰平臺上真的是金科玉律。3. 一次完整的YOLOv8n部署實(shí)操從環(huán)境配置到推理服務(wù)3.1 驅(qū)動固件和CANN Toolkit的安裝細(xì)節(jié)拿到機(jī)器第一件事不是急著裝CANN而是確認(rèn)硬件狀態(tài)。Atlas 300V是被動散熱設(shè)計必須依賴服務(wù)器風(fēng)道散熱上機(jī)溫度和卡識別是否正常要最先確認(rèn)。命令行執(zhí)行npu-smi info正常情況下會列出卡的索引、芯片溫度、顯存占用和驅(qū)動版本。如果這里看不到卡先檢查PCIe插槽供電和固件狀態(tài)再排查軟件。這部分最常見的坑是主板開啟Above 4G Decoding后沒有把PCIe鏈路速率設(shè)為Gen4導(dǎo)致卡只能跑在Gen3或甚至Gen1下推理性能直接砍半。這個在BIOS里改一下就行。驅(qū)動安裝相對儀式化官方提供了Ascend-hdk-310P-npu-driver_23.0.3_linux-aarch64.run這類安裝包。安裝思路是root執(zhí)行加上--full參數(shù)裝完后重啟再看npu-smi info確認(rèn)狀態(tài)正常。接著裝固件包注意固件包必須在驅(qū)動裝完后再裝順序反了會出現(xiàn)無法加載固件的情況。然后安裝CANN Toolkit也就是常說的Ascend-cann-toolkit_6.3.RC2_linux-aarch64.run。安裝位置建議統(tǒng)一放在/usr/local/Ascend下然后用source /usr/local/Ascend/ascend-toolkit/set_env.sh加載環(huán)境變量。這一步很多人會漏掉結(jié)果跑Python腳本時import acl直接ModuleNotFoundError。如果你打算用MindSpore Lite還需要在Python環(huán)境里額外裝mindspore-lite的pip包或從離線包安裝版本要和CANN保持一致。3.2 用ATC把YOLOv8n的ONNX轉(zhuǎn)成OM環(huán)境就緒后第一步是導(dǎo)出ONNX。YOLOv8官方倉庫里已經(jīng)有現(xiàn)成的導(dǎo)出腳本最簡單的方式是yolo export modelyolov8n.pt formatonnx opset12 dynamicFalse導(dǎo)出后建議用onnxsim做一遍靜態(tài)圖精簡去掉一些冗余節(jié)點(diǎn)能顯著降低ATC轉(zhuǎn)換失敗率。這一步不是必選但實(shí)測能減少20%-30%的轉(zhuǎn)換報錯概率。接下來固定shape轉(zhuǎn)換atc --modelyolov8n.onnx \ --framework5 \ --outputyolov8n_bs1 \ --soc_versionAscend310P3 \ --input_shapeimages:1,3,640,640 \ --logerror轉(zhuǎn)換大概需要一兩分鐘成功后輸出.om文件。如果中途報錯先把--loginfo打開看日志日志里會指明不支持算子的名稱和位置。最常見的報錯是ONNX里出現(xiàn)Resize算子的坐標(biāo)變換模式不兼容這種情況要么換導(dǎo)出版本要么修改ONNX圖結(jié)構(gòu)。曾經(jīng)遇到過YOLOv8s的C2f模塊被onnxsim優(yōu)化后產(chǎn)生了一個自定義fused算子ATC不認(rèn)最后的解決方案是回退到未simplify的原始ONNX反而轉(zhuǎn)換成功了。這一點(diǎn)想特別提醒大家onnxsim不是萬能的遇到不支持的算子時無腦精簡反而會引入新問題。3.3 用ACL寫一個可運(yùn)行的推理腳本模型轉(zhuǎn)換完成接著寫推理腳本。我推薦先用Python版本的ACL接口快速驗(yàn)證流程跑通后再用C重寫性能版本。這里給一個最小可用的推理腳本骨架代碼邏輯就是標(biāo)準(zhǔn)的ACL五步走初始化設(shè)備、加載模型、申請輸入輸出內(nèi)存、執(zhí)行推理、釋放資源。設(shè)備初始化import acl ACL_SUCCESS 0 ret acl.init() assert ret ACL_SUCCESS ret acl.rt.set_device(0) assert ret ACL_SUCCESS context, ret acl.rt.create_context(0)接著加載OM模型model_path b./yolov8n_bs1.om model_id, ret acl.mdl.load_from_file(model_path) assert ret ACL_SUCCESS desc acl.mdl.create_desc() ret acl.mdl.get_desc(desc, model_id)此時可以拿到模型輸入輸出的shape和size。YOLOv8n的輸入是[1, 3, 640, 640]輸出是一個[1, 84, 8400]的張量84代表4個框坐標(biāo)加80個類別概率。這一步需要注意數(shù)據(jù)排布昇騰默認(rèn)是NCHW格式如果輸入圖像是內(nèi)存連續(xù)排布的NHWC數(shù)據(jù)需要用acl.rt.memcpy做一次轉(zhuǎn)換或者提前用numpy轉(zhuǎn)好img_nchw img.transpose(2, 0, 1)[None, ...].astype(np.float32) / 255.0數(shù)據(jù)拷貝到device端nbytes img_nchw.nbytes data img_nchw.tobytes() mem_ptr, ret acl.rt.malloc(nbytes, ACL_MEM_MALLOC_NORMAL_ONLY) ret acl.rt.memcpy(mem_ptr, nbytes, data, nbytes, ACL_MEMCPY_HOST_TO_DEVICE) output_size 1 * 84 * 8400 * 4 # 依據(jù)實(shí)際shape計算 out_ptr, ret acl.rt.malloc(output_size, ACL_MEM_MALLOC_NORMAL_ONLY)執(zhí)行推理stream acl.rt.create_stream() ret acl.mdl.execute_async(model_id, [mem_ptr], [out_ptr], stream) acl.rt.synchronize_stream(stream) out_np np.zeros((1, 84, 8400), dtypenp.float32) ret acl.rt.memcpy(out_np.tobytes(), output_size, out_ptr, output_size, ACL_MEMCPY_DEVICE_TO_HOST)到這里推理核心邏輯就完成了后面的后處理邏輯解碼框坐標(biāo)、置信度過濾、NMS、畫框和標(biāo)準(zhǔn)PyTorch推理沒有區(qū)別直接用numpy實(shí)現(xiàn)就行。整體腳本跑通之后再把圖像預(yù)處理從numpy遷移到DVPP硬件解碼單元能進(jìn)一步降低host CPU負(fù)載這是后續(xù)優(yōu)化方向首次跑通不強(qiáng)制要求。3.4 MindSpore Lite路線的做法如果你不想寫這么多底層代碼用MindSpore Lite的Python接口會輕松很多。一組固定shape下的推理循環(huán)大致長這樣import mindspore_lite as mslite model mslite.Model() model.build_from_file(yolov8n_bs1.om, mslite.ModelType.MINDIR, context) inputs model.get_inputs() outputs model.get_outputs() inputs[0].set_data_from_numpy(img_nchw) model.predict(inputs, outputs) out_np outputs[0].get_data_to_numpy()和ACL的核心區(qū)別在于MindSpore Lite接管了大部分資源管理你不用手動malloc和memcpy。對于模型驗(yàn)證、Demo演示、算法快速迭代來說這條路用起來非常順手。不過MindSpore Lite跑YOLO也有個細(xì)節(jié)要注意它的模型輸入張量默認(rèn)已經(jīng)要求NCHW排布通道順序反了的話檢測結(jié)果會徹底亂套排查起來很費(fèi)勁。4. 實(shí)測性能數(shù)據(jù)不同模型、不同并發(fā)下的真實(shí)表現(xiàn)4.1 單路推理延遲與吞吐量基線我實(shí)測的服務(wù)器配置是雙路Intel Xeon Silver 4314Atlas 300V插在PCIe Gen4 x16插槽上。測試輸入圖片統(tǒng)一縮放為640×640batch size固定為1測試集是COCO val2017中隨機(jī)抽樣的500張圖片取平均延遲和總吞吐量。模型平均延遲ms吞吐量FPS顯存占用GBYOLOv5s6.81472.1YOLOv8n4.22381.4YOLOv8s7.51332.8YOLOv8m16.3614.2從數(shù)據(jù)上能看出Atlas 300V的INT8推理性能對YOLO這一檔模型是完全沒有短板的。尤其YOLOv8n的4.2ms延遲在實(shí)時視頻流場景要求單幀延遲33ms里只占了不到13%的預(yù)算剩下的時間完全可以留給解碼、前后處理和網(wǎng)絡(luò)傳輸。如果打開多batch比如一次喂8張圖YOLOv8n的吞吐量可以進(jìn)一步增強(qiáng)實(shí)測batch8時相對batch1的吞吐提升大約有45%。不過batch增大也會帶來首幀延遲上升具體怎么取舍還是得看業(yè)務(wù)模型——視頻流場景固定batch1夠用離線批處理則強(qiáng)烈建議開batch4或8。4.2 四路視頻流同時檢測的壓力表現(xiàn)更貼近實(shí)際應(yīng)用的測試是視頻流場景。我這里用4路1080P RTSP流接進(jìn)來每路視頻流都跑一個獨(dú)立的YOLOv8n推理實(shí)例四個實(shí)例分別占用兩個芯片的算力。運(yùn)行時整卡功耗穩(wěn)定在120W上下距離150W的TDP上限還有余量說明這張卡在滿負(fù)荷邊緣工況下依然沒到極限。整卡每秒處理的圖片數(shù)大約在200-220張之間比單實(shí)例跑滿4路略低一點(diǎn)原因是多路視頻流的解碼、縮放、內(nèi)存拷貝對host側(cè)CPU也有額外消耗。實(shí)測host側(cè)CPU占用大約70%-80%左右。如果想進(jìn)一步壓榨性能可以把圖像解碼和縮放都挪到DVPP硬件上CPU占用能降到40%以下。4.3 和常見GPU方案的橫向?qū)Ρ饶肁tlas 300V和NVIDIA的幾款推理卡做個直觀對比這里列的是大致的FPS數(shù)據(jù)具體環(huán)境不同會有出入但量級可以說明問題硬件YOLOv8n FPS整卡功耗備注Atlas 300V238120W雙芯片各跑一路GTX 1080 Ti180200W老卡皇單芯片RTX 3060210140W消費(fèi)級甜點(diǎn)Tesla T426065W同類競品價格更高T4的絕對吞吐略高但Atlas 300V在同等FP16精度下的性價比、國產(chǎn)軟硬件適配性、以及視頻解碼能力整卡支持48路1080P硬解上有自己的優(yōu)勢。關(guān)鍵還是看你所在的業(yè)務(wù)環(huán)境對國產(chǎn)化有沒有硬性要求如果有那Atlas 300V一定是繞不開的選項。5. 部署過程中真實(shí)踩過的坑和完整排查鏈路5.1 驅(qū)動固件版本不匹配導(dǎo)致的假死現(xiàn)象首次上電調(diào)試時遇到過一次假死npu-smi info能正常顯示卡信息驅(qū)動加載也顯示success但一跑推理就報ACL_ERROR_RT_PARAM_INVALID。一開始懷疑是ACL接口調(diào)用參數(shù)錯誤翻了半天代碼沒發(fā)現(xiàn)問題最后用npu-smi info -t log看了下驅(qū)動日志定位到是固件版本比驅(qū)動低了好幾個迭代導(dǎo)致設(shè)備端算子指令集不匹配。這里要特別提醒昇騰的驅(qū)動和固件有嚴(yán)格配套關(guān)系官方的配套表里明確給出了版本矩陣。我的習(xí)慣是每次部署前先去昇騰社區(qū)查最新的兼容性列表把固件和驅(qū)動版本都用配套表中的版本而不是盲目裝最新版。一旦出現(xiàn)上述情況處理辦法是下載配套的固件包重新刷固件然后重啟設(shè)備問題即消失。5.2 ATC轉(zhuǎn)換失敗時的定位路徑ATC轉(zhuǎn)換失敗是部署階段最常遇到的攔路虎報錯信息通常只給一行Unsupported op和一堆字符串。排查思路按照以下順序走基本能找到根因第一步看報錯位置是framework階段還是compile階段。framework階段報錯說明模型解析有問題優(yōu)先檢查ONNX是否完整onnx.checker.check_model可以快速驗(yàn)證。第二步看具體是哪一層算子不支持。YOLO系列常見的坑集中在Focus、SPP、Resize、hardswish這幾個算子上。YOLOv5官方倉庫的導(dǎo)出代碼里有針對性的規(guī)避處理換成官方導(dǎo)出邏輯后大多數(shù)算子問題能解決。第三步如果某個算子ATC確實(shí)不支持去昇騰社區(qū)搜算子適配表看看是否有近似替代方案或者直接用更高版本的CANN來轉(zhuǎn)換。第四步找到替代方案后重新轉(zhuǎn)再造一個假輸入驗(yàn)證OM輸出的shape和精度是否符合預(yù)期。我記得有一次YOLOv8s在舊版CANN下轉(zhuǎn)換失敗報錯指向AdaptiveAvgPool2d一查替代方案是GlobalAvgPool手動實(shí)現(xiàn)用ONNX的graph editor改了幾行圖結(jié)構(gòu)轉(zhuǎn)換就通過了。所以遇到算子在ONNX圖里看起來不是大問題的時候先看看能不能用已有的基礎(chǔ)算子重構(gòu)它而不是急著換模型版本或者改算法。5.3 host-device數(shù)據(jù)拷貝的隱形損耗推理性能實(shí)測數(shù)據(jù)好看是好看但一開始沒有注意數(shù)據(jù)拷貝開銷實(shí)際跑視頻流時發(fā)現(xiàn)端到端延遲比模型推理延遲高了將近一倍。這個問題的根因是host和device之間的內(nèi)存拷貝耗時太長——圖像數(shù)據(jù)從CPU內(nèi)存搬到NPU內(nèi)存這一步走PCIe總線一張1080P的RGB圖大約6MB單次拷貝花費(fèi)約3-5ms加上視頻流持續(xù)的幀數(shù)據(jù)搬運(yùn)累積開銷不小。解決思路有三條按優(yōu)先級排序優(yōu)先用DVPP做圖像解碼和縮放讓圖像數(shù)據(jù)直接落地在device端不需要host參與。盡量復(fù)用device端內(nèi)存提前申請好輸入輸出buffer避免每幀都malloc和free。數(shù)據(jù)從網(wǎng)絡(luò)或視頻流讀取后立即做一次連續(xù)內(nèi)存整理避免零散的Python對象拷貝導(dǎo)致的額外延遲。這三條優(yōu)化做完端到端延遲基本能壓到模型推理延遲加2-3ms整體性能體感會好很多。5.4 多路并發(fā)時CANN上下文管理不當(dāng)導(dǎo)致顯存泄漏這個問題隱蔽性很強(qiáng)。當(dāng)時用MindSpore Lite跑四路視頻流每路視頻流建了一個獨(dú)立的模型實(shí)例跑了大概六小時后顯存占用從12G緩慢漲到了22G最后觸發(fā)OOM。一開始懷疑是模型實(shí)例沒釋放仔細(xì)查代碼發(fā)現(xiàn)實(shí)例釋放邏輯沒什么問題罪魁禍?zhǔn)资荂ANN的context沒有正確切換和釋放。昇騰的context類似CUDA context多路并發(fā)時需要確保線程或進(jìn)程內(nèi)部對context的使用是配對的創(chuàng)建多少個context就要在結(jié)束時釋放多少個。如果某一路處理線程異常退出context沒有被回收顯存就泄漏了。這個問題的排查思路是先確認(rèn)代碼里會不會出現(xiàn)異常分支我這里是回調(diào)函數(shù)里處理幀數(shù)據(jù)出錯直接返回了沒走到context釋放的finally語句。修復(fù)方法是把context的創(chuàng)建和釋放包在try-finally里確保異常路徑也走釋放邏輯。更進(jìn)一步用一個獨(dú)立線程專門管理任務(wù)隊列不直接在每個視頻流線程里創(chuàng)建和銷毀context而是復(fù)用固定數(shù)量的context徹底避免頻繁創(chuàng)建銷毀帶來的泄漏。修復(fù)之后連續(xù)跑了48小時顯存占用穩(wěn)定在14G左右再也沒有出現(xiàn)持續(xù)增長的情況。5.5 NMS后處理在NPU上執(zhí)行還是回host執(zhí)行最后一個值得展開的問題是NMS該放在哪里做。YOLO系列的NMS邏輯如果用純Python跑在640×640輸入下單幀NMS耗時大約5-8ms比NPU推理4.2ms還慢成了新的性能瓶頸。這個問題在低端CPU上尤其明顯。兩種優(yōu)化路徑路徑一把NMS寫成C算子用pybind11封裝在host端調(diào)C版本的NMS總耗時能降到1ms以內(nèi)。路徑二在ATC轉(zhuǎn)換時把NMS并進(jìn)模型里用昇騰的Range、TopK、NonMaxSuppression算子組合成自定義后處理網(wǎng)絡(luò)讓NPU直接把最終結(jié)果輸出給host。這條路性能最好但實(shí)現(xiàn)復(fù)雜度較高且不同版本的CANN對NMS融合支持度不同建議先做路徑一見效快且穩(wěn)定。我實(shí)際生產(chǎn)環(huán)境的選擇是路徑一的變體——C寫了一個獨(dú)立的后處理動態(tài)庫Python調(diào)用整個推理加后處理管線單幀耗時6.5ms左右完全滿足業(yè)務(wù)要求。6. 一些長期使用后的心得Atlas 300V這塊卡在我手里的定位一直是一臺不顯山不露水的吞吐機(jī)器。從最開始當(dāng)作普通GPU去理解它中間被各種算子不兼容和版本匹配問題折磨過到最終把YOLOv5、YOLOv8都穩(wěn)定跑在它上面整個過程讓我對推理硬件的選型有了全新的感知。如果你正準(zhǔn)備在Atlas 300V上部署YOLO建議第一次跑通時保持克制先固定batch1固定輸入尺寸640×640用ACL把全流程跑通哪怕是純Python也無所謂關(guān)鍵是確認(rèn)鏈路是通的。跑通之后再用MindSpore Lite做優(yōu)化或者用DVPP替代Host預(yù)處理一步步把性能壓榨出來。千萬不要一上來就想著把前后處理全部塞進(jìn)NPU里跑那樣排障難度會指數(shù)級上升。還有個小技巧想分享Atlas 300V的雙芯片在CANN里默認(rèn)會合并成一個邏輯設(shè)備但也可以顯式地指定設(shè)備編號把兩個芯片分開用。如果你的業(yè)務(wù)是多個獨(dú)立模型并發(fā)比如同時跑一個檢測模型和一個分類模型把兩個芯片分開管理反而更能發(fā)揮硬件潛力避免其中一個任務(wù)占滿算力影響另一個。這個可以在acl.rt.set_device的參數(shù)上直接指定不同的設(shè)備ID來實(shí)現(xiàn)非常靈活。我個人在這些卡上積累的部署經(jīng)驗(yàn)總結(jié)成一句話國產(chǎn)算力平臺的學(xué)習(xí)曲線確實(shí)比CUDA生態(tài)陡峭但只要能耐住性子把版本兼容性管住、把模型轉(zhuǎn)換鏈路吃透它完全可以成為高性能推理方案里的可靠選擇。希望這篇內(nèi)容能給正在折騰或者準(zhǔn)備折騰Atlas 300V的同行省下幾個通宵。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香欧美综合| 天天插天天爱| 无码激情| 九月丁香欧美综合| 日本人妻伦在线中文字幕 | 日韩aaa| 婷婷五月色情| 好叼操在线观看| 国产白丝在线一区| 婷婷开心激情综合五月天| 99九九视频| 香蕉国产2013| 国产操逼网站| 以及AA大片看看| 色噜噜夜夜夜综合网| 99riAv1国产在线观看| 久热久色| 色 五月 天 婷婷 丁香 九月| 五月天色色网站| 日日婷婷不卡| 人人澡天天色天天做| 五月天大香焦| 91人人爽狠狠狠| 五月丁香| 色综合久久888| 久久丁香五月天| 日本的α片xxxwww| 婷婷五月天成人五月天| 婷婷天堂站| 潘金莲AAAAAAAAAA| 涩丁香| 五月天色图| 丁香六月亭亭久久综合| 丁香成人综合| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 少妇激情五月天| 这里只有精品日韩精品| 狠色狠色狠狠色综合网| 婷婷五月丁香啪啪| 中文字幕综合| 亚洲综合草草| 丁香色五月 97干| 99久久終合| 99在线精品免费视频| 综合色播| 永久精品| 色婷婷操逼| 五月天婷婷婷| 久久这里都是精品| 99精品在线观看视频| 色婷婷影音| 99热只有精品在线播放| 亚洲AV激情五月综合网| 天天爽,天天操。| 日韩成人综合网| 9色天堂| 2025天天爽天天摸| 婷婷久久六月天| 琪琪理论片| 五月丁香狠狠爱| 色色色五月婷| 国内9l视频自拍老熟女九色| 五月天偷拍| 综合一本道| 五月天激情AAAA| 色五月久久成人婷婷| 五月婷婷六月丁| 综合网色| 五月激情网五月综合网| 激情五月狠狠| 99色在线观看视频| 99视频久久| 五月天婷婷基地综合网| 99这里只有精品| jiZZdr| 26uuu亚洲| 婷婷色五月丁香六月欧美啪| 亚洲色色色| 一本色道久久88综合日韩精品| 亚洲激情网| 色色色999| 亚洲视频99| 99久热| 九热视频在线精品15| 日91高清无玛| 亚洲视频在线观看| 丁香花婷婷五月天| 亚州激情网站无码| 亚洲 视频 导航 一区| 亚洲狠狠婷婷| 秋霞免费三级片| 婷婷五月黄色激情在线| 五月天婷婷爱丁香中文字幕| 久狠日av| 精品99在线| 久久五月视频| 99久久97| 激情丁香社区| 激情婷婷狠狠干| 清色五月天| 一本久道综合色婷婷五月| 5月婷婷激情在线| 一起草无码| 99精色| 精品一区二区三区免费毛片爱| 精品一二三区久久AAA片| 99riAV成人在线视频| 五月婷婷色色网址| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 九九色天堂| 激情五月最新网址| 97丁香花五月天激情小说| 婷婷五月激情欧美大胆视频| 婷婷久草| 97热九九| 涩涩网五月天| 97干视频在线| 七月丁香婷婷 色色| 色吊丝99| 欧美在线骚货| 九色无码| 1024人妻无码中文字幕| 99re最新地址视频| 日日操天天操| 99久久欧美| 色婷婷狠狠久久YY| 99视频网址| 婷婷色五月丁香六月欧美啪| 五月婷婷草| www.五月婷婷久久.com| 国产成人精品亚洲线观看| 67194中文在线| 激情综合文学| 色蜜婷婷| 五月天激情社区| 中文字幕成人| 99热99| 久久人妻久久久久| 婷婷五月18永久免费视频| 婷色五月| 中文AV在线观看| www.五月天。com| 九九婷婷网五月天| 色色色色色日韩午夜激情 | Www.se.久久| 天天爽夜夜爽夜夜爽精品| 熟女网站久久| 国产成人综合在线| 婷婷五月丁香基地| 激情网五夜婷婷| 激情婷婷丁香五月天| 婷婷精品| 亚洲成人在线播放| 色五月婷婷五月| 99国产小视频2013| 日韩欧美成人片| 色婷婷狠狠久久综合五月 | 欧美激情-区二区三区| 无码任你操| 91婷婷五月丁香碰| 日日干夜夜干| 六月婷欧美| 日日爱699| 青青草视频免费观看| 久久久久久综合88| 无码动漫av| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 激情婷婷五月女| 色色五月天网站| 91热久| 激情五月婷婷欧美极品| 99热这里全都是精品| 五月花在线观看视频| 五月天综合在线| yw国产AV| 日韩AAAAAAAAAAA片| 狠狠色综合无线观看| 99激| 日本精品人妻无码77777| 亚洲精品va| 思思99久久| 婷婷色啪| AV中文在线| 丁香婷婷免费| 色很久综合| 五月婷婷在线免费观看 | 国模淫穴色图| 天堂久久婷婷| 大地9中文在线观看免费高清| 天天做综合| 久久色亭亭五月天| 99碰碰视频| 久久狠狠干| 六月丁香啪啪啪| 国产91视频| 99操逼| 大香蕉99热| 久久久久久久久久91| 天天影院色| 色情五月| 五月婷婷之综合激情| 中文字幕不卡+婷婷五月| 91色色色18| 9有码中文| 岛国AV网| 丁香六月视频免费观看| 天天搞天天色综合| 欧美大肥婆大肥BBBBB| 热久久思思热思思| 国产女生爱爱AA| 操逼六区| 人人综合五月人人婷婷| 日日操夜夜操无码免费| 夜夜爱网站| 91艹人| 激情婷婷丁香| 精品在线网站| 婷婷激情五月天色| 国产精品视频免费看| 激情六月丁香| 91精品丝袜久久久久久久久粉嫩| 天天日天天插| 婷婷综合五月天| 九九激情网| 99精品丁香五月| 色色色色色色网| 亚洲精品成人| 亚洲日本三级片| 可以免费观看的AV| www天天干| 9 9热这里有精品| 99操久久| 色欲AV导航| 综合激情在线| 五月天婷婷网站| 婷婷五月天在线视频网站| 亚洲欧美综合7777色婷婷| 综合久久99| 新男人天堂人妻| 色婷婷综合影院| 思思色播| 日韩综合久| 色播播五月天| 香蕉操亚洲| 夜夜天天久久婷婷| 亚洲色情久久| 色五月婷婷大香蕉| 9999热免费视频视频| 草草视频91| 激情综合亚洲色婷婷五月| 丁香婷婷五月六月久久| 91主播在线| 亚洲综合1024| www五月天com| 五月丁香欧美综合免费视频| 激情久久五月天| 亚洲操女| 99热| 五月丁香啪综合| WWW.桔色成人.COM入口| 丁香婷婷激情综合五月激情 | www.夜夜| 国产激情久久| 久草婷婷网| 亚洲精品又粗又大又爽A片 | 色色色色丁香| 日韩青青| 久久人视频| 色色色com| yazhou seshipin| 成人综合视频网址| 婷婷五月天AV激情| 色综合色婷婷色伊人| 亚洲成片在线观看| 亚洲无码免费看| 超碰免费在线| 五月丁香五月综合欧美| 色欲丁香| 99无码超碰| 婷婷五亚洲| 美女五月天婷婷| 91成人视频| 国产三级在线播放| 123草逼网| 欧美色必爱| 超级碰碰99| 色五月激情五月| 欧美日本黄色| 91色逼| 天天操狠狠操| 五月婷婷开心综合| 无码色色| 精品成人a v无码内射| 狠狠干2007| 99re熱| 天天插天天插天天操| 精品99在线| www91久久| 激情婷婷另类| 女人天堂 AV| 五月婷婷六月色| 亚洲啪啪视频| 五月天sesese| 欧美精品A片一区在线观看| 91精品综合久久久久久五月丁香 | 丁香五月电影| 激情色情五月天| 丁香九月综合激情| 婷婷五月精品在线| 农村熟妇高潮精品A片| 久久资源网五月婷| 综合网天天| 婷婷六月啪啪| 激情六月天| 成人做爰A片免费看视频| 99精品偷自拍| 日本久久久97| 五月婷丁香久久综合| 久久五月丁香综合| 91人碰| 五月婷婷色啪| 天天色播| 天天日夜夜夜操操操操| 99热6色| 久久人妻伊人| 五月天婷婷免费| 五月天久久久| 中国无码av| 亚洲AV日韩AV永久无码网站| 欧洲一区二区| 26uuu淫色| www.丁香黄色五月天人与| 黄色AAAAA| 婷婷成人五月天成人文学小说| 激情综合五月婷婷六月丁香 | 亚洲欧洲中文日韩久久AV乱码| 欧美私人家庭影院| 五月婷婷丁香网| 九九色大香蕉| 国产亚洲精品AAAAAAA片| 99re久久| 91欧美| 婷婷国产日本欧美| 99综合免费视频| 久久青青日本视频| 色情综合网| 丁香五月婷婷五月| 99热欧美在线观看| 99精品在线播放| 丁香五月天堂网AV| 直接看的AV| 婷婷97色| 在线观看玖玖资源免费观看| 五月天激情小说网| 99天堂在线观看免费视频| 婷婷色色欧美| 日本三级中国三级99| 久久九九99| AV国产有码| 五月天伊人| 五月丁香激情综合| 99免费在线视频| 五月天婷婷一起草| 色综合五月| 色婷婷香蕉| 精品九九久久| 乱女乱妇熟女熟妇综合网站| 另类激情五月在线视频欧美| 免费观看全黄做爰的视频| 538任你爽视频不一样的| 久久99热免费| 亚洲操逼片| 中文字幕 中文字幕明步| 高清 码 免费看片短视频| 国产99热在线看| 五月天国产婷婷精品视频在线| 伊人五月天在线| 91女人18毛片水多国产| 六月丁香深深爱综合网| 我去色色网五雨天| 色五月色开心开心五月| 狠狠肏综合网| 99热这里只有精品99| 欧美人人超级碰| 米奇激情婷婷| 五月天色综合| 在线看片av| 五月丁香婷爱在线| 伊人久久大香线蕉精品| 激情丁香婷婷五月天| 婷婷五月天在线视频网站| 亚洲精品无码一区二区| 色色综合无码| 综合色五月| 97五月婷婷| 无码人妻一区二区三区免费九色| 国产精品人成A片一区二区| 日日色综合| 91精品刘玥| 亚亚州久久高潮| ′久久99一| 丁香五月天黄色片| 久久丁香五月婷婷激情综合网| 亚洲人人操| 天天综合网亚洲综合网| 国产免费一区二区三州老师F1F1| 婷婷五月天激情小说| 五月丁香六月激情综合| 日本精品人妻无码77777| 亚洲激情免费视频| 天天色图| 亚洲人成播放网站| 色播五月婷婷| 99精品视频网站| 婷婷九月| 色色五月综合| 69精品人人人人人人人人人| 婷婷九月在线| 人妻videos人妻高清| 99只有精品9| 97婷婷狠狠| 五月丁香啪啪拍| 婷婷色色丁香| 欧美人与性动交CCOO| 激情久久综合网| 大香蕉婷婷久久| 4399无码视频| 伊人五月综合网| 开心五月激情婷婷| 天天日夜夜B久久| 日韩三级视频一区二区| 天天干一干| 五月天综合网| 涩涩涩.com| 妇激情基地| 丁香操逼| 内射干少妇亚洲69XXX| 国产毛片精品一区二区色欲黄A片| 久久婷婷六月天| 久久人操-久草婷婷-成人AV| 色五月丁香五| 亚洲激情综合| 婷婷开心激情| 色丁香五月天| 日91高清无玛| 欧美五月丁香| 婷婷五月深深爱| 五月久久五月激情| 97热久久五月婷婷| 丁香社92视频| 丁香五月瑟瑟| 色色色香蕉五月婷| 亚洲精品V天堂中文字幕| 亚洲操b| 色婷婷五月天激情久久| 他改变了拜占庭| 久九九热| 四月婷婷五月丁香| 五月叮香啪| 丁香五月激情图片婷婷| 日韩精品一区二区三区,四区,五区视频| 99久久网站| 色婷婷激情| 五月婷婷第四色| 丁香五月天在线直播观看| www.99视频| 亚洲 视频 导航 一区| 亚洲宗合激情| 激情丁香五月婷婷| 五月婷婷黄色| 精品久久人妻| 婷婷五月色| 极品人妻VideOssS人妻| 五月天色五月| 熟女人妻一区二区三区免费看 | 色情成人五月天| 少妇人妻偷人精品无码视频新浪 | 黑人无码一区| 婷婷七月丁香色色| 国产9色在线/日韩| 97操视频| 激情五月开心五月在线视频| 琪琪理论片| 夜夜骑操AV| 97碰在线视频| 日日日,com| 色五月婷婷 成人| 丁香五月情色| 五月婷婷亚洲综合网| 欧美天天干五月丁香| 欧美日韩大黄| 色丁香婷婷| 五月激情婷婷在线| 99操久久| 99精品偷自拍| 狠狠色噜噜狠狠亚洲A∨| 丁香六月婷婷社区| 婷婷五月天久久| 天天色天天搡| 先锋av性爱成人电影| 欧美成人精品老美女噜噜噜| 五月天偷拍| 日本一级黄色电影| 青青草青青草五月天| 久9热插入| 久综合九| www.91.com处女在线直播| 嫩草AV久久伊人妇女超级A| 99热这里只有精品亚洲| 99久久综合| 五月丁香六月成人| 久久视频在线视频| 成人啪啪色婷婷久| 丁香五月AV在线| 另类视频丁香五月| xx久久| 色婷婷综合网站| 婷色天堂| 99激情网| 激情五月婷婷丁香综合网| 激情综合99| 99视频在线精品免费观看2| 色135综合网| A1片久久| 99亚洲欧洲| 波多野结衣AV无码Porn| AV在线不卡播放| 日本在线99| 一區四區歐美日韓| 色色丁香婷婷| 五月天丁香看婷婷| 亚洲天天免费| 婷婷5月九九| 亚洲欧美999| 日日操天天操| 91丨九色丨白浆秘| 超碰熟女拍拍| 国产婷婷色综合AV蜜臀AV | 欧美激情综合五月色丁香| 91夫妻视频| 99热在线观看免费精品| 激情五月婷婷网| 天天看A片| 日本视频99| 成人网在线视频| 色激情五月天| 九九婷婷网五月天| 99热97| 日日爱激情| 丁香激情综合| 天天天天干| 色五月综合| 五月天亚洲综合网| 国产精品视频免费看| 丁香五月激情网| 先锋资源91| 五月婷婷基地| 丁香五月亚洲激情婷婷射| 大香蕉啪啪网| 亚洲乱码日产精品BD| 91干在线视频| 丁香五月天在线| 亚洲精品一区中文字幕乱码| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 日本天天综合| 任你草| 丁香五月另类色婷婷麻豆| 99免费热视频在线| 九九九九成人| 99精品综合| 精品国婬伦V无码久久久| 黄页大全十八禁| 激情五月六月婷婷综合啪啪| 亚洲综合五月天综合| 人人射av| 日日噜噜夜夜狠狠久久丁香六月| 色婷婷久久综合| 深爱激情五月网| 99操免费视频| 日日干天天| 五月天丁香欧美激情| 天天免费日日夜夜夜夜| 99超级超级超级碰| 婷婷瑟瑟五月天| WWW色色色COM| 天天爽天天操| 99人碰碰碰| 国产成人av在线播放| 香蕉操亚洲| 五月婷婷激情五月| 91色色色18| 五月丁香婷中文| 久99久在线| 色五月婷婷基地| 影音先锋按摩| 国产看真人毛片爱做A片| 森林影视大全,最好看的2019年视频| 大学生高潮无套内谢视频| 色综合爱综合| 色色综合网。| av九九| 五月天综合| 欧美人与性动交CCOO| 丁香五月激情五月| 99这里只有精品视频免费| 五月情涩综合婷婷| 能直接看的av网站| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 99热这里只有精品9| 六月婷婷香蕉| 天天干天天做| 人。妻久久| 9精品在线| 国产超碰在线| 五月丁香婷婷成人综合网| 综合色影院| 色综合久| 无码区婷婷五月花开| 丁香九月婷婷综合| 婷婷色色亚洲| 色情久久久| 激情五月天之六月婷婷| 婷婷五月色情| 午夜精品人妻无码一区二区三区 | 久草热8精品视频在线观看| 五月婷婷免费| WWW·色色色·COM| 妻久久久久| 9月色婷婷| 9|人妻人人操| 日本婷婷综合精品| 99久久久免费| 大香蕉人人人| 四虎成人精品永久免费AV九九| 思思热在线| 婷婷五月天天天日日夜夜| 开心五月婷婷伊人| 婷婷五月天影院| 色播激情五月天| 婷婷五月天美女| 狠狠综合久久综合| 全部老头和老太XXXXX| 丁香五月av| 九九久久99| 欧美综合五月丁香六月婷| 丁香,开心成人,久久| 六月丁香av| 日韩精品无码99| www.天天色综合| 热九九九九| 中文字幕丰满孑伦无码专区| 婷婷六月色开 | 色色色色色日韩午夜激情| 深爱五月天| 色九九九九| 啪啪啪啪五月天| 97色片| 丁香五月婷婷Av| 激情欧美丁香五月| 成人亚洲精品久久久久| 婷婷五月天伦理| 六月丁香啪啪| 99热免费18| 色婷婷综合网| 99操逼| 99在线免费观看| 丁香五月乱中文字幕| 成人羞羞啪啪 全 视频| 色色吧综合| 日亚二欧美| 内射人妻视频国内| 三级三久久线久久99久目本WW| 噜噜狠狠色综合久| 色综合另类| www天天色天天射| 天天色天天舔天天爱天天爽| 天天干天天操天天上| 五月天综合缴情网网站0| 五月婷婷综合激情网| 日韩精品一区二区亚洲AV观看| 丁香五月色情| 五月婷六月| 色区久久| 79精品视频在线观看,| 久婷| 高清无码视频网址| 婷婷爱五月| 蜜桃五月天| 亚州精品色情在线观看| 99久久66综合| 丁香六月天婷婷开心综合| 狠狠ri| 91人人爽久久涩噜噜噜| 婷婷五月色影视先锋| 久久久久久久久久久久久久人妻视频| 成人欧美日韩| 婷婷第六色| 色五月婷婷激情综合网| 丁香婷停五月激情综合深爱| 丁香五月狠狠在线观看| 99在线免费视| 色综合日日| 色情五月停停丁香| 久久香蕉丁香| 人妻久久久久久| 疯狂做受XXXX高潮A片动画| 大香焦啪啪啪| 国产免费一区二区三州老师F1……| 亚洲av另类在线观看| 9精品久久999| 中文字幕五月久久婷婷| 日韩另类| 五月婷婷中文网| 99国产视频网| 色婷婷狠| 成人做爰A片免费看视频| 懂色av粉嫩av蜜臀av| 九九色黄色| av在线观看网站| 大香蕉综合| 亚洲综合丁香婷婷六月天| 99成人免费热视频| 99亚洲视频| 色色五月天激情| 婷婷酒色网| 五月丁香六月成人| 欧美激情五月天在线观看| 99色亚洲| 97色久| 性爱视频99| 草草色情综合网| 91九色小视频| 先锋资源 996| 久久婷婷五月综合色奶水99啪| 亚洲激情在线| 婷婷色五月天色| 久久色五月天| 天天操比比| 久久五月视频| 激情宗合 激情宗合| 丁香五月婷婷亚洲色图| 日韩1区2区| 26uuu国产| 97精品自拍视频| 伊人春天av| 国产无套精品一区二区| 99色热| 亚洲精品在线视频| 狠狠干总合| 五月激情啪啪啪| 色九九九综合| 9+1视频网址| 色色色色色色色色综合网| 亚洲激情另类| 久9无码视频| 亚洲小说欧美激情| 99热这里只有精品8| 黄色99热| 五月婷婷丁香五月亚洲色| 天堂久久性| 色九九中文字幕| 国庆精品久久| 亚洲人妻av| 激情五月婷婷啪啪| 久久在这里有精品| 色五月天综合网| 婷婷五月天网址| 久色国产| 婷婷五月激情四射手| 婷婷五月激情热播| caop在线视频| 色天堂A| 日婷婷久久开心| 99热国品| 人妻乱码久久久| 五月丁香久久| 超碰成人在线观看| 亚洲性爱电影| CAOBIBI| 天天综合影院| 无遮羞AV| 五月丁香六月婷婷玖玖| 天天干天天干天天干| 色婷婷五月天激情| 欧美在线视频99| 久久色天堂| 国产avapp 网| 亚洲日本三级片| 成年人99热| 激情都市另类| 日韩久久这里只有精品| 婷婷在线网| 久一这里有精品国产| 久久久噜噜噜久久人妻| 久久婷婷五月综合精品蜜芽| 欧美日比视频| 天天色天天射天天日| 亚洲不卡| 婷婷久久五月天| 亚洲天天操| 大香蕉综合在线| 亚洲AV成人精品日韩在线播放| 精品久久久999| 亚洲愉拍99热成人精品| 久久婷婷激情| 亚洲激情在线| 日韩免费乱轮网站| 99爱视频| 久久综合天天综合| www.久操| 99免费热视频| 草婷婷在线| 久久思思精品| 播播网色播播| 一起草Av| 久久五月综合| 激情五月婷婷综合秋霞| 91美女啪啪| 99热欧美偷拍| 五月天综合激情网| 久久亚洲A| 亚洲婷婷丁香五月天激情小说 | 99热热九九| 欧美婷| 丁香婷婷色五月合集| 婷婷五月天伊人网| 激情综合网五月丁香| 久狠日av| 日韩成人影片在线观看| www.婷婷五月| 国产免费一区二区在线A片视频| 色综合久久888| 五月天四色房丁香| 九伊人网| 激情六月婷婷| 99免费视频网| 婷婷五月综合在线| 丁香五月花| 五月精品| Se.婷婷五月天| 嫩草AV久久伊人妇女超级A | www.9797国产| 99热最新| 丁香婷婷五月综合欧美另类| 女婷久久| 白人荫道BBWBBB大荫道| 婷婷激情图片| 九色PORNY自拍成人精彩视频| 五月婷婷激情综合| 激情五月婷婷丁香| 激情五月天婷婷久久久久久久久久久 | 超碰成人在线观看| 中文字幕操比影片| 久久综合五月| 五月丁香综合激情| 千人斩操逼| 国产亚洲网站在线| 99久视频| 激情综合色婷婷啪啪六月天| 丁香五月98| 99网址在线看| 亚洲AV成人一区二区在线观看| 色婷婷久久综合| 永久地址 色| 中文AV在线观看| 久久色大香蕉| 天天射影院| 欧美日韩成人在线网| 另类小说五月天激情| 日本啪啪天堂| 中文字幕五月久久婷婷| 99精品偷自拍| 亚洲久热| 色五月激情综合| 欧美va欧美va差| 综合激情网五月激情| 九九人人精品| 综久久久| 97碰碰叉| 日韩色色视频| 99自拍网| 99热综合网| 开心激情站婷婷五月天| 热久久思思热思思| 久久草大香蕉| 99精品一二三四视频| 日韩精品一区二区三区,四区,五区视频 | 国产精品99久久久久久猫咪| 熟妇天天综合| 婷婷五月丁香亚洲| 怡红院AV亚洲一区二区三区H| 婷婷色五月天在线观看| 国产欧美第五十五页| 99婷婷综合| 亚洲中文字幕在线观看| 色色色9| 香蕉综合在线| 五月丁香六月香香蕉| 国产美女视频久| 色99网站| 79精品视频在线观看,| 国产精品色一哟哟| 视色网在线播放| 99极品视频| 五月婷婷六月丁| 欧洲永久精品| 色婷婷丁香六月| 玖玖综合玖玖| 第四色大香蕉| 婷婷六月视频| 99网址在线看| 国产成人+综合亚洲+天堂| 玖玖爱资源站| 337p大胆噜噜噜噜噜91Av| 99热费观看| 内射综合网| 九九久久99| 亚洲视频a| 五月丁香婷婷福利| 狠狠干2007| 色婷婷六月综合| 第一区久久网站| 久久综合激情婷婷激情| 久久综合人妻| 婷婷五月色综合| 99综合视频| 婷婷五月天电影网| 极品人妻VIDEOSSS人妻| 狠狠色综合五月人人| 五月婷无码| 久久婷中文字幕| 人人九色| 成人精品一区二区三区四区五区| 天天综合干| 99热这里只有精品最新网址| 五月婷婷综合在线| 日本99热| 超碰在线caop| 婷婷日韩| 国产精典视频在线观看| 狠狠草天天草| 日日操天天爽| 99热天堂| 久久人妻精品| 色色综合网。| 五月天色综合| 综合逼五月激情婷婷| 六月五月婷婷| 狠狠99| 99久久九九| 99综合视频| 另类亚洲电影| 92久久| 激情久久天天| 狠狠做婷婷| 欧美日韩成人在线| 九九黄色网| 五月丁香综合网| 九九热精品| 激情com| 亚洲精品大片| 婷婷五月色| 伊人五月天久久| 激情网五夜婷婷| 一级A片天天操夜夜操| 亚洲激情婷婷| 久久激情五月| 色色综合激情| 天天天添天天操| 美女激情综合| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 夜夜夜叫天天天做| 亚洲综合成人网站| 91久久婷婷| 美妞av| 草久私拍| 丁香五月婷婷色| 婷婷久久久| 久久女婷| 激情五月天激情小说| 91色在线/日韩| 五月天激情网图片| 五月天激情.com| 婷婷成人AV| 九九热视频在线观看| 久久久精品色色色| 青青草原伊人网| 九九aV| 丁香婷婷久久激情| 97操| 九九性视频| 欧美综合激情丁香五月六月婷| 丁香五月久久| 2015在线中文字幕| 日韩成人电影AV| 久久在线视频只有这里有精品| 五月丁香婷婷激情图片| 大香蕉九九| av中文网站| 99精品久久| 另类婷婷五月天啪帕帕| 91狠狠色丁香婷婷综合久久精品| 九九色99| 超碰99在线| 欧美六月婷婷| 色噜噜狠狠色综无码久久合欧美| 五月婷婷官网色| 久久婷婷五月草视频在线播放| 五月婷婷久久爱| 丁香六月婷| 丁香婷婷月| 操逼福利视频| 999热在线视频| 91se精品国产| 中文字幕在线不卡| 99热99热不卡| 久久五月天综合视频网站| AV亚洲在线| 九久9精品| 99视频网址| 热成人网| 丁香五月婷婷深爱综合激情| 开心五月婷婷综合在线精品素人| 亚洲乱码日产精品BD| 九九色人| 婷婷爱五月天| 十月丁香九月婷婷综合| 六月色色婷婷| 婷婷色香六月综合激情| 99色这里| 4438国产免费看| 五月婷视频| 91九色|疯狂|高潮|对白|| 99热只有这里才是精品| 天天做天天爱天天日| 玖玖99免费视频| 久热在线观看视频9| 九九99久久精品| 欧美性爱五月天| 99热在线精品播放| 国产成人综合电影| 99热这里都是精品| 婷婷五月天久久久| 久久网日本| 日日爱激情| 99热99热在线观看| www.激情.com.| 色婷婷AⅤ| 在线免费观看激情视频| 无码免费人妻A片AAA毛片西瓜| 久久色情| 天天噜日日噜综合无码| 五月婷婷导航| 色婷婷五月天不卡| 丁香五月23111| 婷婷五月激情片| 五月视频日本免费观看| 亚洲五月婷婷| 日夜操B| 乱码操操| 99热日韩| 色色色综合色| 久久婷婷五月综合伊人| 丁香密臀AV激情网| 天堂综合久| 4438全国最大视频成人网站在线观看| 亚洲欧美综合7777色亭亭| 超碰在线观看三级片| 日本不卡高字幕在线2019| 亚洲精品一区中文字幕乱码| 五月色综合| 色婷婷小说| 国产免费一区二区在线A片视频| 日日噜噜夜夜狠狠久久丁香五月| 婷婷六月激情| 色9999日韩国产| 涩综合网| 91操操| 天天插综合网| 亚洲精品99| 五月婷婷啪啪| 91人在线观看| 97碰精品| 97性高潮久久久| 六月婷婷最新网址| 激情五月综合第一页| 天天艹| 91九色在线视频| 婷婷亚洲天堂| 亚洲丁香五月综合| 六月丁香激情最新更新| 天天搽天天射| 激情狠狠丁香月| 天天干天天射色综合| 五月天激情久久| 色婷婷狠| 无码色| 超碰在线网站9| 67194中文在线| 丁香久久激情俄| 在线观看免费狠狠色丁香香综合 | 日韩成人电影在线播放| 中文字幕 码精品视频网站| 五月丁香激情综合网| 狠狠色 综合色区| 怡红院91a√| 亚洲免费看片| 久久有码| 五月丁香影视| 思思热在线| 亚洲传媒在线观看| 色九九丁香九月色九九色| 99久久婷婷国产综合| 久久五月网| 久久综合人妻| 日韩视频99| 极骚大香蕉伊人| 国产精品人妻在线网址| 日韩色色网| 五月天激情开心网| 99久在线精品99re8| 婷婷久草| 蜜臀综合久草| 99色干| 久99久热只有精品国产99| 五月天影院| 色婷婷网| 狠狠干.com| 六月婷婷久久| 黑人糟蹋人妻HD中文字幕| 六月丁香狠狠爱| 先锋男人99资源| 亚洲综合色色| 黄色av网站在线免费播放| 五月丁香啪啪| 欧美五月丁香| 三年高清大片免费观看国语| 亚洲av日韩无码| 五月婷婷自拍视频| 亚洲va综合va国产va中文| 色婷成人狠干| 天天cha成人综合网| 九九AV| 日韩无码91| 这里只有国产精品在线| 色色色成人网| 激情五月综合第一页| 五月丁香啪啪综合网| 久久怡红院| 91久久精品无码一区二区三区| 天天做天天爱天天玩夜夜爽| 丁香五月性| 成人av在线电影| 十一月婷婷激情四射| 五月停性愛| 日本五月婷婷久久久六月丁香| 久久婷婷激情| 99草视频在线观看| 99九九精品视频| 蜜桃五月天| 中文精品久久久久人妻不| 棕合影院色色| 伊人久久大香线蕉AV最新午夜| 欧美视频在线观看噜噜| 在线播放成人| 日韩av在线免费观看| 色婷婷五月天天天干天天操天天爽 | 色逼综合网| 袁子仪视频观看| 婷婷五月天综合在线| 91久久综合亚洲鲁鲁五月天| 五月婷亚洲精品| 丁香五月停停av| 五月婷婷久久内射| 六月天婷婷| 狠狠色丁香| 综合色播| 在线视频另类| 色噜噜狠狠色综合成人网| 色色色婷婷| 五月丁香六月玩女人| 九九视频在线观看视频在线播放69| 人妻久久久久久久久| 亚洲亚洲人成综合网络| 久久精品在线| 99色在线观看| 五月天快乐开心激情网| 久久久久9999| 久久黄色免费视频| 成人片在线播放| 99久久66| 99热精品在线| 99rewww| 激情四射五月天| 96人人操人人操人人| 超碰碰碰碰| 久久亚洲色导航| 年轻的妺妺伦理HD中文| 婷婷丁香五另类网站| 日本少妇裸体做爰高潮片| 狠狠擼综合| 牛牛热这里只有jingpin| 婷婷激情丁五月| 97人人妻人人艹| 色婷婷五月天不卡| 婷婷五月天性爱视频| 五月丁香激情综合网| 国产熟女大叫受不了| 亚洲在线操| AV九九| 欧美激情五月天| 亚洲人妻一区二区 | 99热精品无码| 天天天操天天天爰| 国产午夜精品一区二区三区四区| 婷婷综合激情五月综合| 九九色黄色| 五月天激情综合网| 亚洲啪啪啪啪| 成人看片网站| 高清无码中文字幕aVDV| 久久亭亭电影| 九月婷婷色色| 九九色中文| 欧美叉叉叉BBB网站| 丁香五月乱中文字幕| 婷婷五月,偷窥偷拍网| 久热91| 色欲五月天| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 色播丁香五月婷婷操:屄| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 狠狠色噜噜狠狠狠888| 色综合久久天天综合网| 亚洲色五月| 欧美VA在线观看| 国产熟女大叫受不了| 久久九九色| 五月激情网络| 婷婷久久性爱| 色色色999| www.ppypp| 五月丁香久久呀| 狠狠干狠狠色| 国产毛片欧美毛片久久久| 99热这里只有精品10| 淫视馆av三区| 亚洲激情免费久久| 99成人精品| 永久AⅤ1| 亚洲综合无码| 夜夜操夜夜操| 日韩无码成人电影| 狠狠操天天干| 中字幕视频在线永久在线观看免费 | 狠狠va| 亚洲综合丁香五月| 婷婷五月天伊人在线| 美女黄频aⅴ视频| 大香蕉五月天婷婷| 成人在线精品| 91热视频色网站| 大香蕉伊人久久| 狠狠色综合777| 九九九成人在线视频| 久久最新色|