欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

全國(guó)產(chǎn)化AI開(kāi)發(fā)板HD300I-DK實(shí)解:從環(huán)境搭建到邊緣推理性能評(píng)測(cè)

全國(guó)產(chǎn)化AI開(kāi)發(fā)板HD300I-DK實(shí)解:從環(huán)境搭建到邊緣推理性能評(píng)測(cè) 上個(gè)月我把一塊巴掌大的HD300I-DK全國(guó)產(chǎn)化AI開(kāi)發(fā)套件塞進(jìn)了廠區(qū)邊緣機(jī)柜旁邊是工控機(jī)、路由器和一堆理不清的線纜。它不是樹(shù)莓派也不是Jetson核心是一顆昇騰310P處理器。這塊板子解決了我大半年里一直頭疼的事客戶現(xiàn)場(chǎng)要求推理設(shè)備必須走全國(guó)產(chǎn)化平臺(tái)預(yù)算有限、供電環(huán)境一般還要同時(shí)跑兩路視頻流做實(shí)時(shí)分析與告警。我花了一個(gè)多星期把它完整跑通部署檢測(cè)模型壓測(cè)了幾輪也踩了不止一個(gè)坑。這篇文章不聊PPT參數(shù)只講這塊板子的定位、環(huán)境搭建、真實(shí)推理性能以及我實(shí)際使用過(guò)程中積累的排錯(cuò)經(jīng)驗(yàn)。1. 為什么我盯上這塊全國(guó)產(chǎn)的AI開(kāi)發(fā)板1.1 我評(píng)估AI開(kāi)發(fā)板時(shí)到底在看什么做邊緣AI項(xiàng)目這幾年我經(jīng)手的開(kāi)發(fā)板不少但真正敢放進(jìn)客戶現(xiàn)場(chǎng)長(zhǎng)期跑的沒(méi)幾塊。評(píng)估一塊開(kāi)發(fā)板能不能用我基本只看四件事。第一是算力類型是否匹配場(chǎng)景。邊緣推理絕大多數(shù)場(chǎng)景跑的是INT8量化模型而不是FP32訓(xùn)練任務(wù)。所以標(biāo)稱算力必須看INT8下的有效值而不是看FP16或者亂七八糟的峰值。昇騰310P這個(gè)定位本身就是一臺(tái)面向推理場(chǎng)景的NPU處理器和用GPU硬塞進(jìn)邊緣盒子的思路不一樣能效比和功耗表現(xiàn)更可控。第二是開(kāi)發(fā)資料和工具鏈?zhǔn)欠颀R整。很多開(kāi)發(fā)板芯片規(guī)格寫(xiě)得漂亮真上手時(shí)發(fā)現(xiàn)SDK殘缺、算子兼容性差一個(gè)模型轉(zhuǎn)換就要折騰一周。這塊板子的價(jià)值恰恰在于它背后有完整的CANN工具鏈模型轉(zhuǎn)換、推理調(diào)用、視頻解碼都有現(xiàn)成的接口至少不用從匯編開(kāi)始寫(xiě)算子。第三是運(yùn)行環(huán)境是否夠用。內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)接口、視頻輸出這些決定了它能接入什么樣的傳感器和現(xiàn)場(chǎng)設(shè)備。邊緣場(chǎng)景不是實(shí)驗(yàn)室現(xiàn)場(chǎng)可能只有PoE供電、一個(gè)千兆交換機(jī)、一路RTSP視頻流板子接口不夠就得額外配轉(zhuǎn)換器一配就是故障點(diǎn)。第四是量產(chǎn)一致性。開(kāi)發(fā)板能不能從樣機(jī)平滑過(guò)渡到小批量產(chǎn)品影響項(xiàng)目周期。核心板加底板設(shè)計(jì)的套件評(píng)估完之后可以把核心板直接挪進(jìn)自己的外殼減少重新畫(huà)板的成本這一點(diǎn)對(duì)做產(chǎn)品的團(tuán)隊(duì)來(lái)說(shuō)非常關(guān)鍵。1.2 “全國(guó)產(chǎn)化”在開(kāi)發(fā)板上意味著什么“全國(guó)產(chǎn)化”這個(gè)詞在不同人眼里的分量完全不一樣。對(duì)我來(lái)說(shuō)最直接的感受是三個(gè)層面的東西能閉環(huán)。芯片層昇騰310P是國(guó)產(chǎn)AI處理器這意味著在供應(yīng)鏈角度上項(xiàng)目交付時(shí)不需要向客戶解釋“為什么必須用某款進(jìn)口芯片”。很多行業(yè)客戶對(duì)這個(gè)點(diǎn)有硬性要求板子本身是國(guó)產(chǎn)方案在招投標(biāo)和驗(yàn)收環(huán)節(jié)能省掉大量溝通成本。系統(tǒng)層這套開(kāi)發(fā)板除了支持常見(jiàn)的Ubuntu也能跑openEuler這類國(guó)產(chǎn)操作系統(tǒng)。NPU驅(qū)動(dòng)和系統(tǒng)版本的適配做得比較及時(shí)不是那種“硬件國(guó)產(chǎn)但只能配國(guó)外系統(tǒng)”的半吊子方案。我實(shí)際裝系統(tǒng)時(shí)的體驗(yàn)是鏡像燒進(jìn)去就能識(shí)別NPU設(shè)備不用自己去編內(nèi)核模塊這一點(diǎn)比很多小廠商的國(guó)產(chǎn)板卡強(qiáng)太多。工具鏈層CANN、MindSpore這些從算子上層到推理框架的路徑都是國(guó)內(nèi)團(tuán)隊(duì)在維護(hù)。英文文檔看累了可以切到中文文檔求助社區(qū)反饋的問(wèn)題能流轉(zhuǎn)到原廠維護(hù)者手里。對(duì)一個(gè)做交付的工程師來(lái)說(shuō)“遇到問(wèn)題能找到人”比任何廣告詞都實(shí)用。1.3 和Jetson、樹(shù)莓派放一張桌上的對(duì)比很多入門(mén)的朋友會(huì)把這三類板子混在一起看實(shí)際上它們的定位差異非常大。我整理了一張對(duì)比表方便你根據(jù)項(xiàng)目性質(zhì)做初步判斷。維度HD300I-DKJetson系列樹(shù)莓派核心處理器昇騰310P NPUNVIDIA GPU不同型號(hào)差異大ARM CPU典型推理能力面向INT8邊緣推理適合檢測(cè)/分類/分割模型強(qiáng)在GPU生態(tài)支持CUDA基本依賴CPU推理算力有限工具鏈CANN、MindSpore、昇騰推理生態(tài)CUDA、TensorRTOpenCV、TFLite等通用軟件全棧國(guó)產(chǎn)化芯片/系統(tǒng)/工具鏈閉環(huán)芯片和軟件棧依賴境外生態(tài)整板方案依賴較多進(jìn)口供應(yīng)鏈上手難度中等模型轉(zhuǎn)換有學(xué)習(xí)成本中等資料雖多但CUDA環(huán)境坑也不少低社區(qū)資料極其豐富適合場(chǎng)景行業(yè)項(xiàng)目交付、全國(guó)產(chǎn)化要求、邊緣視頻分析算法原型驗(yàn)證、中小規(guī)模AI應(yīng)用教學(xué)、輕量自動(dòng)化、原型演示我個(gè)人的建議是如果你做的是長(zhǎng)期跑在客戶現(xiàn)場(chǎng)的交付型項(xiàng)目并且對(duì)全國(guó)產(chǎn)化有要求HD300I-DK這類板子值得認(rèn)真評(píng)估。如果只是做原型驗(yàn)證或者自己想玩一玩Jetson的CUDA生態(tài)門(mén)檻更低樹(shù)莓派則勝在便宜和資料多。三條路線沒(méi)有絕對(duì)的優(yōu)劣只有匹配不匹配。2. 硬件設(shè)計(jì)拆開(kāi)看它到底能扛多少活2.1 核心板加底板的設(shè)計(jì)思路拿到HD300I-DK時(shí)第一反應(yīng)是這不是一片“單板電腦”而是“核心板加上擴(kuò)展底板”的結(jié)構(gòu)。核心板把昇騰310P處理器、內(nèi)存、eMMC存儲(chǔ)這些關(guān)鍵器件做在一塊小板上底板則把電源、網(wǎng)口、USB、HDMI、調(diào)試串口這些對(duì)外接口引出來(lái)。這個(gè)設(shè)計(jì)思路的目的很明確開(kāi)發(fā)評(píng)估時(shí)用整套板子跑通流程到了做產(chǎn)品階段只保留核心板自己畫(huà)一塊尺寸、接口完全定制的載板直接嵌進(jìn)機(jī)箱。這樣不會(huì)因?yàn)橥鈿は拗票黄戎匦略O(shè)計(jì)整個(gè)運(yùn)算單元。我實(shí)際畫(huà)過(guò)類似的載板明白這個(gè)模式對(duì)產(chǎn)品化有多重要。如果整塊AI板所有接口都固定死了做產(chǎn)品時(shí)經(jīng)常會(huì)出現(xiàn)接口數(shù)量不對(duì)、方向不對(duì)、高度不對(duì)的問(wèn)題被迫在結(jié)構(gòu)件上加轉(zhuǎn)接板既丑又不穩(wěn)定。核心板加底板的設(shè)計(jì)算是一上來(lái)就考慮好了這個(gè)問(wèn)題。需要提醒的是不同批次的核心板可能在內(nèi)存容量和存儲(chǔ)顆粒上有差異拿到板子后先從系統(tǒng)里確認(rèn)一下實(shí)際識(shí)別到的內(nèi)存和eMMC大小再?zèng)Q定用什么系統(tǒng)鏡像。我見(jiàn)過(guò)有人直接拿大容量鏡像去刷小存儲(chǔ)的板子刷到一半鏡像寫(xiě)不進(jìn)去回頭還以為是U盤(pán)壞了。2.2 從接口反推它能接哪些現(xiàn)場(chǎng)設(shè)備接口配置是評(píng)估一塊板子實(shí)用程度最直接的方式。我這套板子上的關(guān)鍵接口每個(gè)都能對(duì)應(yīng)到一個(gè)實(shí)際使用場(chǎng)景。雙千兆網(wǎng)口是最實(shí)用的配置。一個(gè)口接內(nèi)網(wǎng)視頻流和業(yè)務(wù)系統(tǒng)另一個(gè)口接外網(wǎng)做遠(yuǎn)程運(yùn)維物理上隔離安全又省事。很多邊緣項(xiàng)目都要求把業(yè)務(wù)網(wǎng)和運(yùn)維網(wǎng)分開(kāi)單網(wǎng)口板子在這個(gè)場(chǎng)景下就很尷尬只能加USB網(wǎng)卡穩(wěn)定性還不一定好。HDMI輸出對(duì)調(diào)試階段很重要。AI板剛燒完系統(tǒng)、還沒(méi)有配置好網(wǎng)絡(luò)的時(shí)候最可靠的調(diào)試路徑就是接顯示器進(jìn)桌面或者接串口進(jìn)命令行。如果板子上連HDMI都沒(méi)有首次配置就得全靠猜IP體驗(yàn)會(huì)難受很多。USB3.0接口決定了外設(shè)擴(kuò)展能力。接USB攝像頭做視覺(jué)驗(yàn)證、接U盤(pán)拷貝模型文件、接4G上網(wǎng)卡實(shí)現(xiàn)遠(yuǎn)程回傳這些在項(xiàng)目現(xiàn)場(chǎng)都很常見(jiàn)。我特別看重至少有一個(gè)直連核心板的USB口能穩(wěn)定大流量傳輸因?yàn)榻覷SB攝像頭時(shí)數(shù)據(jù)搬運(yùn)量大供電不足或者走Hub很容易掉設(shè)備。2.3 功耗與散熱機(jī)柜里能不能放得穩(wěn)開(kāi)發(fā)板的性能參數(shù)再好看如果散熱設(shè)計(jì)不合理放到機(jī)柜里跑兩個(gè)小時(shí)就過(guò)熱降頻那一切等于零。我拿到板子后做的第一件事不是跑AI程序而是先把CPU和NPU壓力測(cè)試跑起來(lái)觀察功耗和溫度曲線。實(shí)測(cè)下來(lái)整板滿載功耗大概在一個(gè)20瓦上下的區(qū)間具體數(shù)值會(huì)隨著負(fù)載類型和系統(tǒng)版本浮動(dòng)。這個(gè)功耗水平意味著一個(gè)標(biāo)準(zhǔn)的12V供電適配器就能帶得動(dòng)現(xiàn)場(chǎng)的工業(yè)電源也基本都能覆蓋。散熱方面板子自帶主動(dòng)風(fēng)扇和鋁制散熱片。裸板放在桌面上跑YOLOv5連續(xù)推理NPU溫度能維持在一個(gè)比較健康的水平風(fēng)扇聲音在辦公室環(huán)境里能聽(tīng)見(jiàn)但不刺耳。放進(jìn)機(jī)柜后機(jī)柜本身空氣流通一般我建議在安裝時(shí)給板子周?chē)舫鲎銐虻纳峥臻g不要和交換機(jī)等發(fā)熱大戶緊貼著疊放。有一點(diǎn)非常值得注意開(kāi)發(fā)板用的風(fēng)扇屬于易損件。長(zhǎng)期在粉塵環(huán)境跑項(xiàng)目建議定期拆開(kāi)檢查風(fēng)扇是否積灰或者停轉(zhuǎn)。很多看似莫名其妙的性能下降最后排查下來(lái)都是風(fēng)扇卡住、NPU過(guò)熱降頻導(dǎo)致的。3. 開(kāi)發(fā)環(huán)境搭建從裸板到跑通第一個(gè)模型3.1 系統(tǒng)燒錄與開(kāi)機(jī)搭建環(huán)境的第一個(gè)環(huán)節(jié)是燒錄系統(tǒng)。HD300I-DK支持從TF卡啟動(dòng)也可以把系統(tǒng)裝進(jìn)SSD或eMMC。我的建議是初期評(píng)估階段用TF卡啟動(dòng)隨時(shí)換卡換系統(tǒng)成本最低到了準(zhǔn)備長(zhǎng)期集成測(cè)試的時(shí)候再把系統(tǒng)遷移到SSD或eMMC上因?yàn)門(mén)F卡的壽命和讀寫(xiě)速度在長(zhǎng)期跑讀寫(xiě)密集型任務(wù)時(shí)不太夠用。燒錄系統(tǒng)的工具沒(méi)有太多講究balenaEtcher或者Rufus都可以選擇對(duì)應(yīng)板子的官方系統(tǒng)鏡像直接寫(xiě)入即可。我常用的是Ubuntu版本的系統(tǒng)openEuler版本也跑過(guò)一遍兩者在NPU驅(qū)動(dòng)識(shí)別上都不需要額外折騰系統(tǒng)起來(lái)后執(zhí)行npu-smi info能看到NPU芯片信息、溫度、功耗這些狀態(tài)就說(shuō)明驅(qū)動(dòng)工作正常可以進(jìn)入下一步。如果這個(gè)命令報(bào)錯(cuò)先別急著裝任何軟件優(yōu)先排查驅(qū)動(dòng)和固件版本是否與當(dāng)前系統(tǒng)匹配。3.2 CANN工具鏈的安裝順序與常見(jiàn)報(bào)錯(cuò)CANN是昇騰平臺(tái)的異構(gòu)計(jì)算架構(gòu)類似NVIDIA生態(tài)里的CUDA。裝CANN的時(shí)候最容易犯的錯(cuò)誤是版本不匹配。板子固件、驅(qū)動(dòng)、CANN toolkit、上層推理引擎之間存在對(duì)應(yīng)關(guān)系官方文檔通常會(huì)給一張版本配套表先對(duì)照好版本再動(dòng)手安裝。安裝文件一般是一個(gè)帶版本號(hào)的.run包下載后執(zhí)行./Ascend-cann-toolkit_xxx.run --install安裝過(guò)程會(huì)輸出大量日志默認(rèn)安裝路徑通常是/usr/local/Ascend。裝完需要執(zhí)行或者寫(xiě)入環(huán)境變量文件source /usr/local/Ascend/ascend-toolkit/set_env.sh我遇到過(guò)的安裝報(bào)錯(cuò)里最常見(jiàn)的是依賴庫(kù)缺失比如OpenBLAS、Python開(kāi)發(fā)的某些擴(kuò)展包沒(méi)裝。這類問(wèn)題在網(wǎng)上基本都有對(duì)應(yīng)的修復(fù)記錄缺什么就補(bǔ)什么不用慌。還有一類報(bào)錯(cuò)是權(quán)限問(wèn)題。CANN可能在設(shè)備節(jié)點(diǎn)操作上需要特定權(quán)限如果安裝時(shí)提示設(shè)備訪問(wèn)失敗檢查當(dāng)前用戶是否在HwHiAiUser用戶組里不在就添加上。3.3 三種開(kāi)發(fā)方式怎么選CANN裝好之后開(kāi)發(fā)方式有幾種選擇我第一次跑的時(shí)候也在糾結(jié)走哪條路線后來(lái)發(fā)現(xiàn)三條路線的適用場(chǎng)景完全不同。第一種方式是PyTorch模型導(dǎo)出ONNX再用ATC工具轉(zhuǎn)換為昇騰的OM格式最后通過(guò)ACL接口做推理。這是兼容性最成熟、資料最多的路線適合絕大多數(shù)從現(xiàn)有PyTorch項(xiàng)目遷移過(guò)來(lái)的情況。缺點(diǎn)是中間多一次模型轉(zhuǎn)換格式和算子要額外驗(yàn)證。第二種方式是使用torch_npu插件讓PyTorch模型直接跑在昇騰NPU上。這個(gè)方案對(duì)PyTorch用戶最友好改動(dòng)量小但需要注意模型里某些不支持在NPU上執(zhí)行的算子可能回退到CPU導(dǎo)致速度反而變慢。第三種方式是直接用MindSpore框架開(kāi)發(fā)。如果你是從零開(kāi)始的新項(xiàng)目MindSpore框架與昇騰平臺(tái)的配合是最深入的性能和算子支持都更順。但如果你團(tuán)隊(duì)里所有人都是PyTorch習(xí)慣重寫(xiě)訓(xùn)練推理代碼的成本也不低需要權(quán)衡。我的建議是手頭有現(xiàn)成的PyTorch模型優(yōu)先走ONNX轉(zhuǎn)OM路線一步一個(gè)腳印先把鏈路打通如果只是驗(yàn)證推理效果且模型結(jié)構(gòu)簡(jiǎn)單直接用torch_npu更省事。3.4 跑通第一個(gè)推理腳本的關(guān)鍵鏈路第一個(gè)推理腳本不求復(fù)雜關(guān)鍵是打通“數(shù)據(jù)預(yù)處理→模型推理→結(jié)果后處理”的完整鏈路。下面這段偽代碼代表了我跑通模型推理時(shí)的核心流程# 等比例縮放并填充到模型輸入尺寸 # 轉(zhuǎn)成NPU要求的排布格式再拷貝到設(shè)備側(cè) input_data preprocess(frame) # 加載OM模型指定運(yùn)行在0號(hào)設(shè)備 session load_model(detect_model.om, device_id0) # 執(zhí)行推理輸出的可能是檢測(cè)框或分類得分 outputs session.run(input_data) # 拿到結(jié)果后做NMS、畫(huà)框等后處理 boxes postprocess(outputs)這里最需要關(guān)注的是預(yù)處理階段。很多人第一步就跑不通不是模型轉(zhuǎn)換的問(wèn)題而是圖像尺寸沒(méi)有按照模型要求的格式縮放和填充。比如模型訓(xùn)練時(shí)用的是640×640的輸入你送進(jìn)去一張1920×1080的原圖NPU側(cè)的預(yù)處理單元不一定幫你自動(dòng)做這些變換推理結(jié)果就會(huì)變得莫名其妙。我習(xí)慣把“預(yù)處理—推理—后處理”拆成三個(gè)獨(dú)立函數(shù)分別測(cè)試。先把一張固定圖片的預(yù)處理結(jié)果打印出來(lái)人工核對(duì)尺寸和數(shù)值范圍再單獨(dú)跑一次推理核對(duì)輸出張量的維度最后才做后處理。這樣層層排查出了任何問(wèn)題都能快速定位到具體環(huán)節(jié)。4. 性能實(shí)測(cè)跑YOLOv5、多路視頻流的真實(shí)數(shù)字4.1 我測(cè)的模型與實(shí)測(cè)數(shù)據(jù)說(shuō)了一大堆原理性能到底怎么樣才是大家最關(guān)心的。我拿幾類典型模型做了測(cè)試環(huán)境是Ubuntu系統(tǒng)、CANN最新工具箱、固定輸入分辨率、單batch推理結(jié)果僅供參考。模型輸入分辨率單幀推理耗時(shí)備注ResNet50224×224約10毫秒分類模型速度快YOLOv5s640×640約30毫秒常見(jiàn)檢測(cè)模型YOLOv5s1280×1280約90毫秒高分辨率下人臉/小目標(biāo)檢測(cè)自訓(xùn)練行人檢測(cè)模型640×640約32毫秒含部分自定義算子單幀耗時(shí)不等于端到端延遲實(shí)際從攝像頭取流到畫(huà)面顯示還要加上解碼、前后處理、傳輸?shù)暮臅r(shí)。上面這些數(shù)據(jù)是在板子沒(méi)有大幅度降頻、環(huán)境溫度正常的條件下測(cè)出來(lái)的放在機(jī)柜里持續(xù)跑成績(jī)會(huì)略有波動(dòng)。如果只是做每秒一次的低頻檢測(cè)這些延遲完全夠用。如果你要做實(shí)時(shí)視頻流的每一幀檢測(cè)就需要考慮流水線優(yōu)化了不能讓NPU在解碼和推理之間空等。4.2 22TOPS文本數(shù)字與真實(shí)延遲之間的落差很多剛接觸昇騰平臺(tái)的人會(huì)拿官方標(biāo)稱的22TOPS INT8算力直接估算性能結(jié)果一測(cè)發(fā)現(xiàn)和預(yù)期差距不小就以為板子有問(wèn)題。實(shí)際上TOPS這個(gè)指標(biāo)只是理論峰值真實(shí)跑模型的延遲還取決于模型本身結(jié)構(gòu)、算子的調(diào)度效率、數(shù)據(jù)在內(nèi)存和NPU之間的搬運(yùn)開(kāi)銷等多個(gè)因素。舉個(gè)簡(jiǎn)單例子一個(gè)模型如果全是卷積層在NPU上的執(zhí)行效率通常很高算力利用率能到不錯(cuò)的水準(zhǔn)。但如果模型里頻繁出現(xiàn)小算子、動(dòng)態(tài)shape、復(fù)雜的分支結(jié)構(gòu)NPU每執(zhí)行一段就要停下來(lái)等數(shù)據(jù)或者做算子調(diào)度大量時(shí)間其實(shí)花在了等待上理論算力根本發(fā)揮不出來(lái)。這個(gè)落差的應(yīng)對(duì)辦法也很直接一是用固定shape的模型盡量讓模型輸入尺寸在轉(zhuǎn)換時(shí)就確定下來(lái)減少運(yùn)行時(shí)shape推導(dǎo)的開(kāi)銷二是使用多batch推理把多路視頻流或同批次多張圖像合并成一個(gè)batch一起送進(jìn)NPU分?jǐn)偹阕訂?dòng)的固定開(kāi)銷三是盡量把預(yù)處理放到DVPP硬件單元上執(zhí)行減少CPU和NPU之間的數(shù)據(jù)往返。4.3 多路視頻流的硬解碼與并行推理做視頻分析項(xiàng)目時(shí)大多數(shù)場(chǎng)景不是單張圖片推理而是要從攝像頭實(shí)時(shí)拉RTSP流解碼后進(jìn)行檢測(cè)。昇騰平臺(tái)上有一個(gè)專門(mén)處理圖像的硬件單元叫DVPP可以承擔(dān)視頻解碼、縮放、摳圖這些任務(wù)減少CPU負(fù)擔(dān)。我實(shí)測(cè)了2路1080p視頻流同時(shí)解碼并進(jìn)行YOLOv5s檢測(cè)的場(chǎng)景整體效果是比較穩(wěn)的。具體做法是先用DVPP把視頻流解碼成幀做縮放和格式轉(zhuǎn)換后把多幀合在一起組成一個(gè)batch再交給NPU推理。兩路流的CPU占用率不高NPU的算力利用率也能維持在比較健康的水平。把分辨率降低到720p或者把batch調(diào)整得更大一些理論上還能繼續(xù)擴(kuò)展路數(shù)。但實(shí)際項(xiàng)目中我一般不敢把資源填到100%因?yàn)檫吘壃F(xiàn)場(chǎng)的負(fù)載波動(dòng)和溫度變化經(jīng)常會(huì)導(dǎo)致峰值性能下降留出30%左右的余量會(huì)穩(wěn)妥很多。5. 避坑與優(yōu)化兩個(gè)月項(xiàng)目使用經(jīng)驗(yàn)匯總5.1 系統(tǒng)層面的兩個(gè)坑第一個(gè)坑是供電不足。開(kāi)發(fā)板使用標(biāo)準(zhǔn)DC電源接口但不同廠家的適配器電流輸出能力差距很大。我一開(kāi)始圖省事用了某款標(biāo)注12V但實(shí)際輸出電流剛達(dá)標(biāo)的劣質(zhì)適配器板子在滿載推理時(shí)偶爾會(huì)重啟排查了很久才發(fā)現(xiàn)是電源余量不足。后來(lái)?yè)Q成品名電源問(wèn)題徹底消失。跑AI板子電源預(yù)算至少要留出30%到50%的余量不要卡著標(biāo)稱值配。第二個(gè)坑是風(fēng)扇積灰。這個(gè)前面提到過(guò)一次但值得再?gòu)?qiáng)調(diào)。板子跑在粉塵多的現(xiàn)場(chǎng)一兩個(gè)月風(fēng)扇就會(huì)積一層灰轉(zhuǎn)速下降導(dǎo)致散熱變差NPU溫度升高后自動(dòng)降頻推理速度肉眼可見(jiàn)地變慢。如果項(xiàng)目環(huán)境不理想建議把清理風(fēng)扇納入定期維護(hù)計(jì)劃。5.2 模型轉(zhuǎn)換時(shí)的算子兼容問(wèn)題PyTorch模型轉(zhuǎn)ONNX再轉(zhuǎn)OM最常遇到的問(wèn)題是算子不支持。我在轉(zhuǎn)一個(gè)自訓(xùn)練的檢測(cè)模型時(shí)某個(gè)自定義的采樣模塊在轉(zhuǎn)換時(shí)報(bào)“不支持該算子”的錯(cuò)誤當(dāng)時(shí)卡了一晚上。排查的思路大致是先看報(bào)錯(cuò)信息里明確指出了哪個(gè)算子去昇騰文檔查一下該算子在當(dāng)前CANN版本里的支持情況。如果確實(shí)不支持常見(jiàn)解決辦法有兩種一是把模塊替換成等價(jià)且支持的算子組合二是把模型拆成幾個(gè)子圖不支持的部分放到CPU上執(zhí)行剩下的部分合到NPU上推理。更省事的預(yù)防辦法是在模型設(shè)計(jì)階段就盡量使用PyTorch標(biāo)準(zhǔn)算子避免使用過(guò)于冷門(mén)的自定義模塊。很多算法工程師習(xí)慣寫(xiě)一些結(jié)構(gòu)新奇的自定義算子這在GPU上沒(méi)任何問(wèn)題但換到任何專用AI芯片上都會(huì)面臨適配成本。動(dòng)態(tài)shape是另一個(gè)高頻問(wèn)題。推理時(shí)模型輸入尺寸如果頻繁變化轉(zhuǎn)換時(shí)必須顯式指定shape范圍否則某些算子在NPU上無(wú)法預(yù)先分配內(nèi)存執(zhí)行就會(huì)報(bào)錯(cuò)。我在項(xiàng)目里統(tǒng)一把模型輸入固定成640×640所有測(cè)試圖片都保持這個(gè)尺寸性能和穩(wěn)定性都好很多。5.3 推理性能上不去的排查思路如果某個(gè)模型在板子上跑出來(lái)的性能遠(yuǎn)低于預(yù)期先別急著懷疑硬件有問(wèn)題。我總結(jié)了一個(gè)排查順序基本能覆蓋90%的案例。先看預(yù)處理是否成為瓶頸。如果數(shù)據(jù)還在CPU上用Python做圖像縮放和格式轉(zhuǎn)換CPU會(huì)一直跑滿NPU反而在空轉(zhuǎn)等待數(shù)據(jù)。解決辦法是把縮放和格式轉(zhuǎn)換挪到DVPP硬件單元上讓CPU專注做業(yè)務(wù)調(diào)度。再看batch是否太小。單張圖片推理時(shí)算子的啟動(dòng)開(kāi)銷占比較高把多路視頻幀合成batch之后算力利用率通常會(huì)有明顯提升。前提是模型本身支持batch維度的動(dòng)態(tài)適配轉(zhuǎn)換時(shí)把batch維設(shè)置成-1或者顯式指定一個(gè)較大的值。最后看日志里是否有算子回退到CPU執(zhí)行的記錄。部分算子如果NPU上不支持推理框架會(huì)悄悄把整個(gè)模型切成一堆子圖用CPU來(lái)跑某些部分。這種情況下性能損失非常隱蔽從日志里才能發(fā)現(xiàn)。發(fā)現(xiàn)之后建議嘗試換一個(gè)CANN新版本新版本通常會(huì)補(bǔ)充算子的支持范圍。5.4 日志與現(xiàn)場(chǎng)調(diào)試習(xí)慣現(xiàn)場(chǎng)調(diào)試AI開(kāi)發(fā)板最大的敵人不是性能不夠而是出了問(wèn)題不知道去哪里看原因。我養(yǎng)成了一個(gè)習(xí)慣任何操作之前先確認(rèn)日志輸出通道是通的。昇騰相關(guān)日志默認(rèn)會(huì)在特定目錄下記錄包含設(shè)備側(cè)和應(yīng)用側(cè)兩部分。應(yīng)用側(cè)報(bào)錯(cuò)信息往往不夠具體需要結(jié)合設(shè)備側(cè)日志來(lái)看算子執(zhí)行失敗的具體原因。還有一個(gè)好用的辦法是打開(kāi)環(huán)境變量里的調(diào)試日志開(kāi)關(guān)這樣推理請(qǐng)求的每一層耗時(shí)都會(huì)有詳細(xì)記錄定位性能瓶頸非常直觀?,F(xiàn)場(chǎng)條件允許的話我還會(huì)在部署腳本里加一個(gè)簡(jiǎn)單的健康檢查邏輯定期檢查npu-smi info輸出的設(shè)備溫度、算力利用率和內(nèi)存占用寫(xiě)到本地日志文件里。這樣就算設(shè)備運(yùn)行一周后出現(xiàn)問(wèn)題也能回溯到具體是哪個(gè)時(shí)間點(diǎn)開(kāi)始異常避免靠猜來(lái)分析問(wèn)題。6. 全國(guó)產(chǎn)化落到實(shí)際工作流究竟圖什么6.1 從“能跑”到“敢用”之間的距離一塊開(kāi)發(fā)板能在實(shí)驗(yàn)室里跑通一個(gè)模型和敢把它放進(jìn)客戶現(xiàn)場(chǎng)的機(jī)柜里長(zhǎng)期運(yùn)行是兩個(gè)完全不同的階段。實(shí)驗(yàn)室里最關(guān)注的是精度和速度現(xiàn)場(chǎng)最看重的卻是穩(wěn)定性、可維護(hù)性和出問(wèn)題之后的響應(yīng)速度。全國(guó)產(chǎn)化平臺(tái)在這方面有一個(gè)隱性優(yōu)勢(shì)供應(yīng)鏈和問(wèn)題反饋路徑都在國(guó)內(nèi)不需要跨時(shí)區(qū)等郵件回復(fù)。遇到疑難問(wèn)題可以在社區(qū)里發(fā)帖也可以直接找到原廠的技術(shù)支持溝通效率比很多境外方案高一個(gè)量級(jí)。做項(xiàng)目交付的工程師應(yīng)該都懂設(shè)備故障時(shí)那種“能聯(lián)系到能拍板的人”的感覺(jué)有多重要。另一個(gè)維度是軟件供應(yīng)鏈的確定性。全國(guó)產(chǎn)方案的系統(tǒng)鏡像、工具鏈、推理框架都有國(guó)內(nèi)鏡像源離線部署環(huán)境下拷貝安裝包也方便。這一點(diǎn)在工廠、園區(qū)等不便于訪問(wèn)境外服務(wù)網(wǎng)絡(luò)的場(chǎng)景里尤其關(guān)鍵很多看起來(lái)基礎(chǔ)的事情到了隔離網(wǎng)絡(luò)環(huán)境里會(huì)變成巨大的麻煩。6.2 什么樣的團(tuán)隊(duì)適合選它坦白說(shuō)不是所有團(tuán)隊(duì)都適合選HD300I-DK這類板子。如果你的團(tuán)隊(duì)以算法研究為主、主要產(chǎn)出訓(xùn)練好的模型不太愿意關(guān)注推理側(cè)的工程化那么CUDA生態(tài)成熟的方案可能上手阻力更小。如果你所在的團(tuán)隊(duì)正在做行業(yè)AI項(xiàng)目交付比如工地安全帽檢測(cè)、廠區(qū)人員闖入告警、明廚亮灶監(jiān)管這類場(chǎng)景模型相對(duì)成熟主要難點(diǎn)在于把模型穩(wěn)定地部署到現(xiàn)場(chǎng)設(shè)備上并且客戶對(duì)設(shè)備整機(jī)有全國(guó)產(chǎn)化要求那這類型套件會(huì)是一個(gè)匹配度很高的選擇。教學(xué)和科研方向同樣適合。設(shè)備底層的異構(gòu)計(jì)算原理、模型轉(zhuǎn)換流程、推理引擎架構(gòu)都是很好的教學(xué)素材學(xué)生可以直接在板子上做整套實(shí)驗(yàn)比單純?cè)陔娔X上看文檔實(shí)在得多。而且設(shè)備成本可控實(shí)驗(yàn)室批量采購(gòu)不會(huì)給經(jīng)費(fèi)帶來(lái)太大壓力。6.3 給選型者的幾句實(shí)話如果你正在考慮入手這類開(kāi)發(fā)套件我根據(jù)自己的使用經(jīng)驗(yàn)提幾個(gè)建議。第一不要只看算力數(shù)字。算力再高模型跑不起來(lái)或者跑不穩(wěn)都沒(méi)有意義。有條件的話拿自己的模型和數(shù)據(jù)在目標(biāo)設(shè)備上做一輪真實(shí)壓測(cè)重點(diǎn)觀察連續(xù)運(yùn)行兩小時(shí)以上有沒(méi)有性能衰減或設(shè)備重啟。第二預(yù)留足夠的適配時(shí)間。任何AI芯片都有生態(tài)適配成本PyTorch模型直接無(wú)縫跑在任何NPU上是不現(xiàn)實(shí)的。項(xiàng)目排期時(shí)至少預(yù)留一到兩周的模型轉(zhuǎn)換和算子兼容性排查時(shí)間不要等到交付前一周才把硬件買(mǎi)回來(lái)開(kāi)始適配。第三關(guān)注長(zhǎng)期維護(hù)能力。芯片方案選型不是一錘子買(mǎi)賣(mài)。后續(xù)CANN版本是否持續(xù)更新、社區(qū)是否活躍、技術(shù)支持渠道是否暢通,比眼前這版板子的接口配置更重要。選一個(gè)還在持續(xù)演進(jìn)的生態(tài)項(xiàng)目的生命周期才會(huì)更從容。最后分享一個(gè)我自己的習(xí)慣每次在新硬件上完成模型適配我都會(huì)順手記錄一份踩坑清單把燒錄版本、工具鏈版本、遇到的問(wèn)題和解決辦法都整理成文檔。下次做類似項(xiàng)目時(shí)直接翻出這份清單就能繞開(kāi)大半的坑。AI算力硬件迭代很快今天記下的細(xì)節(jié)可能就是下次項(xiàng)目里救你一把的關(guān)鍵線索。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧在线一区| 男同91| 色婷婷综合久色AV五色最新| 碰99在线| 九色视频91| 影音先锋 91工厂| 欧美碰碰| 欧美成人猛片AAAAAAA| 色色网五月激情| 成人电影在线免费试看| 玖玖九九超碰| 成人精品在线观看| VA色婷婷| 亚洲色另类| 亚洲 精品 综合 精品| 毛片蕉地一二| 日韩在线看AV| 99综合免费视频| 五月丁香欧美综合| 亚洲综合婷婷五月| 我要色综合五月婷婷| 五月丁香五月丁香五月丁香五月丁香91| 91丨九色丨大屁股| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 怡红院视频| 内射丰满人妻| 精品色情一区二区三区四区| 久久久久久激情| 六月丁花香啪啪激情欧美| 婷婷射图| 中美日韩成人在线| 99爱视频| 婷婷五月综合社区| 午夜婷婷久久 | 国产在线黄色| 91打屁股视频网站| 99热碰碰| 超碰日日操| 亚洲噜色| 开心五月综合激情综合五月| 天天日夜夜夜操操操操| 久久精品小视频| 91热99| 人人草碰| 97人妻碰碰碰久久| 热99免费在线| 91干在线| 日本91在线| 最新日韩久热免费视频看看| 国产精品视频网| 亚洲视频在线网站| 直接看的AV网站| www色婷婷久久综合久色 | 五月丁香色综合| 色综合久久久久| 69色婷婷| 日韩成人网址| 噜噜视频| 国产黄大片在线观看画质优化| 色婷婷99| 色五月综合激情网| 精品一区二区三区三区| 色五月婷婷自拍| 久久婷婷五月综合一| 日韩熟女啪啪视频| 婷婷五月六月丁香| 青青草tp| 九九精品片一| 色天天综合成人网| 26UUU精品一区二区| 五月天三级| 激情婷婷五月亚洲| 天天影视色综合网| 伊人色综合网| 丁香五月Av| 99久在线精品99re8| 91狠狠综合久久久久久| 97操操网| 中文在线成人| 五月天日日操夜夜操 | 新久久五月天激情| 丁香五月区| 国产精品男人AV不卡| 最近中文字幕大全免费版在线 | 丁香花综合永久入口| 久久se 综合网| www.99精品日操伊人乱碰在线| www.色色色com| 99青青草99| www...com黄在线观看| OUMEIRIHANCHENGREN| 四川操逼站| 婷婷色中文| 久久久久亚洲AV无码网影音先锋| 六月伊人婷婷| 久草五月天| 久久怡红院| 中文字幕不卡+婷婷五月| 亚洲成人免费电影| www,99视频| 99亚洲精品视频| 丁香五月色情| 六月丁香色婷婷| 激情五月深爱婷婷| 开心五月婷婷激情| 97日日碰碰| 91无码视频| 五月婷婷激情四季| 日日爽夜夜爽| 白人荫道BBWBBB大荫道| 五月丁香六月婷婷久久肏| 色性综合| 超碰人人91| 成人无码髙潮喷水A片| 九九视频热| 亚洲成人五月天| 婷婷五月天黄色| 亚洲精品无码一区二区| 人妻激情在线| 手机免费福利视频| 99国产精品久久久久久久久久久| 啪啪 综合网| 亚洲精99| 久99热| 日韩在线视频9色| 亚洲午夜电影| 狠狠色综合久久| www婷婷| www.一区二区三区| 天天爱天天做天天舔| 五月婷婷69| 婷婷五月丁香基地| 婷婷欧美激情| 色婷婷裸体色性在线| 99精品综合| 9久热视频| 久久五月六月| 99re久久| 五月婷啪| 九九热99免费视频| 美国不卡视频| 五月激情综合美女久久| 亚洲AV在线免费看| 亚洲色婷婷婷婷人人爽| 丁香五月天激情婷婷丁香六月 | 婷婷九月狠狠色| 五月婷婷播| 五月婷婷综合视频| 色99视| 精品国产va久| 国产精品大香蕉| 久久免费丁香| 另类激情综合| 日本色色影院| 久久久久丁香婷婷五月天| 激情五月天综合网| 婷婷综合激情五月中文字幕| 9l视频自拍9l九色9l成人| 婷五月天影院| 欧美亚洲婷婷五月| 日韩在线看AV| 色五月开心开心五月激情五月| 99综合免费视频| 九九美女视频| 天天干狠狠| ..真实国产乱子伦对白在线_欧| 91色久| 99热这里只有精品在线观看| 婷婷性爱综合| 婷婷淫淫狠狠六月| 午夜丁香 婷婷| 五月丁香六月婷婷综合伊人| 婷婷六月丁香五月图区| 丁香五月停停av| 色色色综合| 毛片网站谁有| 99ER热精品视频| 天天做天天爱高潮片| 猫咪伊人久久| 综合色情网| 狠狠狠狠狠狠| www.五月天色色.com| 色色色色热| 潮汕成人AV片在线| www.激情五月| 丁香婷婷色九月| 激情六月丁| 久久天堂女人| 五月色综合| 99九九热视频免费| 婷婷综合色图| 99热精品在线观看| 精国产品一区二区三区A片 | 国产日比| 久久久天堂国产精品女人| 国产日批视频免费播放| 九九在线热九九在线热99热| 综合激情五月天六月婷免费视频| 日韩在线观看亚洲| 99精品在线播放| 9+1视频网址| 噜噜五月天综合| 亚洲综合草草| 99久re热视频精品98| 久久久思思热| 亚洲av综合在线| 综合色五月| 激情熟女网| 天天插天天插| 91丨熟女丨首页| 日韩无码专区| 婷婷色色播五月天| 色婷婷综合在线| 第五色婷婷| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 久久久WWW| 五月丁香综合啪啪啪啪啪| 五月丁香影视| 草五月| 99ri精品| 天天综合网~91| 婷婷五月激情六月| 黄色99视频| www久久99| wwccc久久久| 性爱技巧五月| 亚洲第一第二网站| 九九亚洲视频| 日本激情ⅩXX免费视频| 亚洲视频另类| 九九色热| 99九九在线视频| 色婷婷狠狠| 五月丁香六月婷婷综合网| 秋霞av吧| 日本五月婷| 久热最新视频| 美日韩成人| 亚洲网综合在线| 五月婷婷五月天在线| 爱射综合| 伊人久久中文网| 99热这里只有精品青草| 青草五月天| 丁香五月婷婷亚洲人| 九七色色六月丁香| 五月婷婷成人| 超碰高清在线| 日本成人噜噜噜噜噜| 哇嘎成人久久| 综合色色五月| 亚洲爆乳无码精品AAA片蜜桃| 99在线精品视频免费观看20| 五月激情丁香六月狠狠干| www99xxxx五月丁| 久久伊人五月天| 拳交大逼| 九九热短视频在线观看| 青青操绿aaa一区日v| 亚洲无码激情| 日本97在线观看| 五月天色综合| 大香蕉九九| 五月天精品视频| wuyuedingxiang99| 日韩久热| 国产91在线视频| 五月天伊人| 99热成人精品网站| 亚洲成人乱码av网站| 991精品在线视频| 国产乱子轮XXX农村| Av大香蕉| 色五月综合在线| 久久九九Com| 色情五月婷婷| 婷婷丁香成人| 99啪啪视频| 噜噜色噜噜网| 79色色色色| 婷婷六月丁香激情综合| 丁香五月影院| 婷婷操逼| 丁香五月婷婷六月婷婷| 丁香五月综合高清在线| 99热碰碰| 色噜噜五月天| 五月天色色婷婷| 亚洲成人AV在线| 99色人| 五月丁香啪啪网| www久久艹| 综合五月婷婷| 五月丁香激情综合网| 一区二区三区四区无码| 新激情五月天色播| 六月婷婷国产| 大伊久久| 狠狠干综合网| 色五月婷婷九月| 26uuuuuuuu国产| 丁香五月激情婷婷激情| 色高清无码视频| 狠狠色情婷婷| 激情丁香五月婷婷啪啪| 丁香婷婷五月基地| 激情五月天影院| 女高怪谈在线观看| 九九九九大香蕉| 国产九月婷婷| 婷婷中文综合网| 五月桃花网综合| 91无码色色| 蜜乳av一级av| 六月丁香成人| 成片免费观看视频大全| 亚洲精品成人| 婷婷六月色丁香视频在线观看| 狠狠艹狠狠艹| 五月丁香色婷婷熟女| 在线A色| 日本不卡五月婷婷丁香| 99热6这里只有精品| 色XX综合网| 99精彩视频| 久久久久亚洲AV无码网影音先锋| 久机视频这只有精品| 538任你爽| www.激情| 精品国产乱码久久久久久免费| 婷婷午夜| 丁香五月婷婷欧美性爱| WWW·色色色·COM| 亚洲色情久久| 亚洲综合婷婷五月天| 国精产品久久| 久久免费操| 久久伊人五月天| 另类激情中文| 1024成人免费看| 欧美三级视频下载| 久久婷婷成人视频| 天天爽天天做| 亚洲小视频免费播放| 九九热这里只有精品556| 九九热在视频| jizzdr| 国产免费AV网站| 性一交一乱一交A片久久四色| 中文字幕在线aⅴ免费观看| 五月丁香六月激情| 九九亚洲综合| 天天操天天操| 婷婷色在线播放| 99精品视频网| 色五月婷婷青娱乐| 亚洲 25P| 激情图片亚洲| 99色在线观看视频| 五月丁香激情综合网| 婷婷五月天久草在线| 婷婷五月情色| 丁香六月综合激情| 14色综合婷婷| 欧美人人超级碰| 久久AAAA片一区二区| 久热91精品| 天天夜天天色天天| 青草网在线观看| 欧美激情久| 精品久久久久成人码免费动漫| 日日干日日| 五月丁香六月花| aaa丁香五月天| 97超级碰人人| 无码人妻AV久久久一区二区三区| 丁香五月成人社区| 色婷婷亚洲| 天天久综合| 色婷婷精| 国产性爱在线| 国产精品涩涩涩视频网站 | 国产色五月| 色之综合网| 无码人妻激情| 久碰久操| 综合网色| 超碰在线国产| 97色97干| 五月丁香六月婷婷成人| 大香蕉免费9| 欧美日韩国产一二区| 免看黄大片AA | 99超级碰免费视频| 可以免费观看的AV| 天天干天天爽| 99久久九九| 天天色色天天| 欧美精品18| 91久久婷婷| 99九九精品视频| 五月丁香婷婷深深爱| 五月婷婷久草在线视频综合| 这里只有精品视频99| 五月天婷婷色播在线网| 婷婷色五月天综合网| 99这里只有精品8| 草草视频91| 九九九色综合| 99啪啪| 久久亚洲婷婷| 开心六月丁香五月婷婷| 婷婷五月AA五月在线| 日韩草草草草草草草草草草草草| 婷婷五月天视| 婷婷五月精品在线| 韩国久久少妇视屏| 丁香激情五月少妇| 99热66| 国产精品国产| 五月婷婷深深爱| 久久婷婷成人综合色怡春院| 激情五月久久| 欧美色色色色色色色| 99热精品99| 欧美在线操| 久久久五月婷婷| 久久精品五月天| 综合99久久| 久综合| 五月婷婷六月丁香综合| 五月香婷婷| 老司机午夜福利视频金瓶梅| 婷婷之六月丁香| 日韩在线五月天婷婷| 天天五月天综合网址| 婷婷丁香五月亚洲17cao| 婷婷五月天第三页| 日韩啪啪视频| 亭亭玉月丁香| 久久久精品婷婷五月天| 久久999久久999久久999久久| 99精品人人| 日本va欧美va欧美va精品| 欧美成性色| 熟女激情网| 丁香五月激情澎湃一区| 噜啊噜在线| www超碰| www.婷婷六月天| 久久九九99视频| 888久久久| 操久久网| 丁香激情婷婷网| 成人免费va| 99久热在线精品| 99这里都是精品| 九月丁香婷婷网| 青青操丝袜美腿| 婷婷五月香蕉| 婷婷色五月情| 伊人久久大香网| 色五月婷激情| 激情五月婷婷综合| 日韩AAAAA| 内射 无码 伊人| 国产精品操| 婷婷婷色五月| 五月丁香啪综合| 99精品视频在线观看| 五月婷婷9| 五月婷婷丁香| 激情五月四色| 五月天com| 日韩精品VIP| 久热婷婷| 久久五月婷天天干| 激情小说五月天| 激情综合网激情五月俺也去| 色呦呦免费观看| 婷婷五月天综合中文| 色婷| 偷偷操九九| 五月天无码| 婷婷开心久久| 精品一区二区三区免费毛片爱| 婷婷五月天毛片| 久热这里这里有精品| 五月丁香婷婷AV| 操操碰| 五月五月婷婷| 五月综合亚洲| 精品久久久999| 九九操屄| www久久五月com| 六月久久狠狠| 国产伦亲子伦亲子视频观看| 182TV亚洲| 色五月婷婷丁香国产在线| 九九青草热| 婷婷五月综合性爱| 五月天色婷伊人| 日亚二欧美| 五月天激情久色| 99ri国产在线| 色五月中文字幕| 丁香五月久久综合| 亚洲天堂色色| 日本不卡中文字幕| 九九热精品| 9久热精品在线视频| 九月丁香| 九九热自拍| 狠狠爱丁香婷| AV国产有码| 超碰久热| 久热视频A.| 久久久久久97| 99久热精品在线| 欧美啄木乌丝袜人妻系列| 国产亚洲色婷婷久久99精品91| 久草a片| 亚洲热久久| 久久艹 五月天| 五月丁香六月婷| 久久精品系列| 成人国产网| 3p日韩网站视频| 超碰成人免费| 色婷婷狠狠爱| 中文字幕永久免费| 欧美色99| 婷婷亚洲综合| 91热久久| 欧美精品99久久久| 人伦30P| 丁香五月天堂网| 日逼影音先锋AV男人资源站| 五月激情五月婷婷五月天在线| 疯狂做受XXXX高潮A片| 婷婷色五月偷拍| 亚洲色另类| 欧美婷婷丁香五月社区| 婷综合| 一区二区免费看| 干一干xxxx| 久xxxx| 色五月婷婷在线| 五月色婷丁香| 五月天婷婷成人| αV电影| 99re这里有精品手机在线| 熟妇内谢69XXXXXA片| 五月天五月色婷婷综合| 五月丁香影视| 偷拍视频五月天| 丁香六月婷婷色XXXX| 五月婷婷开心六月激情小说| 国产精品24r| 婷婷色av| 欧在线一区| 天天爽天天爽视频| 97色色综合| 久色欧美| 国产亚洲99久久| 丁香六月亚洲综合| 日韩三及成人AV片| 性爱网五月天| 丁香六月婷婷综合色| 亚洲成人在线播放| 色五月婷婷啪啪五月| 97色一二三| 丁香五月婷婷AV在线| 久9热视频| 99ri在线视频| 狠狠另类视频| 五月激情天| 五月丁香六月婷婷综合伊人| 国产女人十八水真多1| 99er6热在线观看精品6| 成人资源在线| 五月天伊人| AⅤ色区| 婷婷六月丁综合| 另类 在线| 激情五月综合| 国产婷婷婷| 亚洲免费婷婷| 97se视频在线| 欧美久热| 色婷婷五月天视频网站| 婷婷伊人綜合中文字幕| 国产av一区二区三区| 丁香五月激情鲁| 九热网站| 九九性视频| 艹| 性爱激情小说AV五月丁香花| 开心五月激情网| 色婷丨日丨天丨综合久久| 丁香婷婷影院| 激情床戏| 久久这里只有精品无码| 九月婷婷色色| AV中文网| 天天爽夜夜操| yazhou seshipin| 九97免费视频| 婷婷五月色| AV五月婷婷露脸| 香蕉综合在线| 美女被操一区二区| www.久久| 这里只有精品视频99| 9久久精品| 99在线资源视频| 91色五月| 日本操逼九九九九58日本操逼| 欧美啪啪9| 激情五月婷婷| 2025天天日爽| 99热精品综合| 色五月激情网| 97ai婷婷| 荫道BBWBBB高潮潮喷| 狠狠爱婷婷丁香| 深爱激情网婷婷| 无码一级片| 亚洲国产精品SUV| 丁香久久久| 五月的婷婷六月丁香| 亚洲啪啪精品| 久久久国产精品黄毛片| 91色五月| 橾逼网| 欧洲亚洲免费视频9 | 97超碰在线免费观看| 一本道在线电影| 99视频在线| 人人色AV| 深爱五月月天| 91色碰| 成人网在线观看视频| 国产无套精品一区二区| AA丁香综合激情| 天天撸夜夜爽| 五月天大香蕉| 91久久电影| 在线看的免费网站| 婷婷五月天AV| 激情婷婷久久| 夜夜骑夜夜撸| 我要射综合| 六月五月丁香五月欧美| 亚洲成人在线免费| 在线观看亚洲AV| 国产免费一区二区三州老师F1……| 9久热| 婷婷的色色五月天| 91成人性爱视频| 在线A色| 婷婷五月天堂网| 久久久性爱视频| 激情婷婷综合网| www.丁香黄色五月天人与| 久久HD| 97在线精品| 99国产精品久久久久久久久久久| 婷婷五月天狠狠| 99激| 丁香婷最新动态| 五月色色网| 激情视频91| se.久久视频在线观看| AV色色天堂中文| 无码AV久久久久久久久| 五月综合激情网| 婷婷五月天社区| 久久综合丁香激情五月| 色9999日韩国产| 人妻aV在线| 狠狠操天天干| 色五月天成人| 久久久久久久人妻| 狠狠狠狠狠干| 五月丁香六月| 色色色热热热| 91日视频| 欧美久久婷婷| 九九热只有精品| 亚洲99热| 日日爽日日| 五月激情婷婷在线| 丁香六月综合激情| 伊人综合网站| 九九综合影音先锋| 综合另类激情| 91亚洲免费片| 色99视| 色色热日| 狠狠综合色网| 婷婷五月综合久久中文字幕| 99热老网站| 五月天婷婷激情网| 丁香蜜臀黄色婷婷五月天| 99色这里| 色久五月| 深爱婷婷丁香五月激情| 久久这里只精品| 9久久久久久久久久久| 噜噜狠狠色综合久| 丁香九月综合激情| 激情五月天综合网| 五月丁香六月激情综合| 日韩在线视频网站| 色五月综合激情| 91seav| 九九热视频这里只有精品| 色噜噜狠狠色综合日日| 色综合综合综合| 国产精品24r| 成人在线高清| 99久久婷婷国产综合| 五月丁香久久综合| 婷婷五月天深爱| 激情婷婷网| 国产美女视频久| 天天操婷婷| 婷婷五月色| 国产精品久久久久久久久久| 婷婷94s| 9久久婷婷国产综合精品性色| 96精品久久久久久久久| 色狠狠激情五月| 天天xxxxxx天天日| 熟女网站久久| 99色婷婷| 亚洲图色五月天| 色九月婷婷综合| 噜噜色天天开心| 五月中旬婷婷丁香六| 久久久久久人妻| 人人摸人人搞| 少妇人妻丰满做爰XXX| 狠狠干狠狠操狠狠爱| 婷婷永久在线| 国产在线另类五月婷婷| 91成人电影| 久久激情五月| 激情综合网站| 人妻系列久久久久久久久久久 | 天天日天天插| 欧美久久久久久久久中文字幕| 在线中文字幕av| 91热er| 人人摸人人| 99热这里只有精品1025| caop视频| 色欲婷婷五月天| 开心五月综合激情综合五月| 激情五月天啪啪| www.天天干| 日韩成人无码片| 女性自慰系列第五页| 一本久道综合色婷婷五月| 99热在线只有精品| 欧美精品久| 99热精品10| 五月丁香偷拍| 国产欧美日韩综合精品一区二区| 五月婷在线影院| 久久网思思| 91chinese在线| 午夜福利成人AV91| 婷婷五月天综合蜜桃| 日本色色网站| 五月四色激情| 无码se| 夜夜骑夜夜操| 色婷婷五月天| 亚洲第一黄网| 激情综合五月色丁香婷婷| 久久九九99| 四色五月视频| 日日噜噜久久婷婷五月天| 大香蕉婷婷五月| 97久久精品视频| 2025中文在线视频字幕免费观看| 久久东京热婷婷五月| 亚洲啪啪自拍| 夜夜爽日日躁| www.超碰在线| 超碰成人在线观看| 六月丁香婷婷色狠狠久久| WWW.开心五月天.COM| 99热色精品| 黄色激情久久| 亚洲情a| 日本操B视频| wuyuedingxiang99| 色婷网| 色婷婷五月天成人网| 九九精品视频在线观看| 激情内射人妻1区2区3区| 亚洲欧洲另类| 五月丁香亭亭操逼| 五月丁香九九| 久久精彩视频| 人碰91| 五月婷婷综合在线观看| 97日韩无套内| 极品 少妇 内射| 婷婷在线精品| 久久久A级视频| 思思热99热| www.久久99精品| 精品一区二区三区木瓜| 国产看真人毛片爱做A片| 久久久久久久综合狠狠综合| 五月大香蕉| 丁香五月性爱| 91久操| 中文字幕九九九九| 日本色色网站| 色情五月| 日本丁香五月| 九九人人看| 五月婷婷在线视频| 激情性爱网站| 丁香五月六月婷婷怡红院| 猫咪伊人AV| 婷婷激情六月天视频| 色一色综合| 色婷婷综合网站| 亚洲av另类在线观看| 婷婷五月天另类网站| 90色免费视频| 五月婷婷综合在线观看| 成片免费观看大全| 婷婷五月天基地| 久久激情天堂| 五月婷婷激情综合网| 色五月婷婷AV| 日韩 中文 欧美| 久久久ww| 岛国AV网| site:minyis.com| 99热在线观看| 天天干天天爽天天操| 五月停停99| 色久天| 天天搞天天色综合| 色婷视频| 亚洲激情无码久久| seuuu婷婷| 激情综合丁香五月| 日韩综合久| 日韩成人无码人妻| 99视频超级精品| av亚洲国产小电影| 99re热视频这里只精品5| 五月丁香成年黄色| 五月丁香久久综合| 99热 免费| 国产乱子轮XXX农村| 婷婷干五月综合在线播放| 伊人碰碰婷婷| 伊人在线视频| 26UUU亚洲欧美| 任你干线上免费视频有3吗| 色五月成人| 91操碰| 91日韩在线| 永久AⅤ1| 青青草色在线视频观看| 欧美性猛交 XXXX 乱大交| 丁香婷婷在线| 亚州操逼网| 99精品在线播放| 亚洲丁香五月在线观看| 中文字幕日韩成人| 狠狠精品干练久久久无码中文字幕 | 五月婷婷丁香五月| 欧美情月伍月天| 激情性爱五月天网页| 99热精品在线| 久热这里这里有精品| 亞洲自怕| 中文字幕婷婷| 丁香五月婷婷激情视频播放| www.99热这里精品| 色婷婷五月天| 国产偷人妻精品一区| 午夜丁香婷婷| a级毛片一区二区免费视频| 任你搞网站| 五月天婷婷在线观看精品男人| 99久热精品在线| 97精品综合久久| 深爱激情丁香五月| 久久丁香五月综合六月激情红杏视频| 欧美情色一区| 婷婷射图| 久久五月激情| 热九九精品| 九九re视频在线视频| 天天骑天天操| 亚洲AV色婷婷人禽五月天| 婷婷五月大| 婷婷五月综合基地| 丁香色五月天| 久久久天天啊| 五月婷婷熟女| 五月丁香好婷婷A片网| 国产精品第一国产精品| 91成人电影| 操笔无码| 成人婷99最新| 碰碰碰碰碰99| 亚洲无AV在线中文字幕| 超碰在线观看9| 久久99色色| 怡红院 久久| 五月婷婷97| 国产毛片欧美毛片久久久| 五月久久婷婷丁香| 天天摸天天日天天舔| 婷婷五月成年人| 铁牛TV人妻| 99久久婷婷国产综合精品| 丁香五月首页| 夜夜骑夜夜撸| 婷婷五月天AV网| 99热精品观看| 7777久久亚洲中文字幕| 国产一级片| 久久曰曰| 草综合14| www.亚洲激情| 77799热| 天天肏天天肏天天肏| 亚洲成AV人片在线观看| 操一区| 狠狠色狠狠| 开心色五月天久久久久久久| 五月婷婷六月爱| 麻豆科斗777| 久久久性爱视频| 9九色首页| 欧美久久久中文字幕| 国产看真人毛片爱做A片| 色婷婷激情| 婷婷五月综合亚洲| 夜夜操夜夜姧| 九九热亚洲中文在线观看免费| 五月丁香六月婷婷久久肏| 日本偷拍九九九| 人人色人人弄人人操| 色情综合| 人人播| 国产激情AV| 丁香五月成人| 久久激情五月婷婷| 婷婷色av| 婷婷四色成人综合色视| 色。 日日日| 成人天天爽| 久热视频A.| 伊人五月婷婷| 丁香五月影视| 久9无码视频| 男人的天堂97| 色五月婷婷综合在线| 9 9 9色色| 婷婷综合九月| 青青999| 五月丁香花激情啪啪网| 欧美日韩色色| 亚洲区在线| 欧美搡BBBBB摔BBBBB| 99热最新网址| 婷婷色综合| 无码AV免费精品一区二区三区| 九九热超碰| 激情五月激情综合网| 五月天色丁香| 夜夜爽天天爽| 图片区 小说区 区 亚洲五月| 超碰在线看| 青青久在线视频免费观看| 五月丁香久久| 激情五月婷婷| 婷婷五月在线影院| 色综合激情图区| 婷久久综合| 成人丁香五月婷| 碰人人操| 激情图片婷婷| 粉嫩av懂色av蜜臀av熟妇| 五月丁香色| 狠狠舔| 怕怕av| 五月综合激情视频| 婷婷五月丁香网| 思思热精品在线| 色婷久| 亚洲AV中文在线| 五月天激情国产综合婷婷| 五月婷婷激情网| 高潮毛片又色又爽免费| EEUSS鲁片一区二区三区| 婷婷五月色播| 中文字幕在线观看视频www| 欧美性生交XXXXX无码小说| 色99久草在线| 久久久久久久久久久44| 婷婷综合网| 欧美精品久久久久久视频观看| 久婷婷久草| 亚洲最大五月六月丁香婷婷| 婷婷丁香五月色| 激情无码网| 久久伊人五月天| 欧美激情综合色综合啪啪五月| 国产精自产拍久久久久久蜜 | www.色婷婷| 色九区| 日韩在线观看网址| 免费观看2018www黄色操逼网站| 婷婷久久99| 99热日韩这里只有精品| 天天操天天谢| 色色a| 九九热99热| 成人草榴视频| 97久久五月丁香婷婷| 99开心五月五月丁香激情| 久久这里只有精品无码| 天天日综合| 婷香五月激情视频| 天天草女人| 久久婷婷五月综合色奶水99啪| 99丁香五月婷| 第四色五月天| 色99网站| 中文字幕在线视频播放| XX久久| 亚洲avjiujiur91| 婷婷瑟瑟五月天| 新97人人上人人| 碰97 久| 五月丁香综合中文| 久久精品在线| 亭亭五月色男人| 激情丁香五月| 超级碰碰碰久久网站| 婷婷丁香成人五月天| 第四色色六月色综合| 五月丁香婷爱在线| 五月丁香六月婷综合成人综合| 真实熟女-91九色| 大香蕉九九| 五月天社区狠狠| 97色婷| 成人小说色图婷婷五月| 久久精品色| 插插五月天| 色一情一乱一乱一区91| 婷婷久综合| 激情久久久久| 久热这里只有精品66| 五月色婷婷中文字幕| 屁股翘好撅高迎合跪趴| 国产亚洲网站在线| 丁香五月婷婷激情123| www.久久爱.com| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 99人人操人人摸| 天天肏夜夜肏| 精品视频网| 深情六月婷婷综合久久| 色 色 色综合com| 亚洲乱码日产精品BD| 色五月天丁香婷婷| 丁香婷婷色情社区成人小说| 99热在线播放| 成人五月天丁香婷| 激情五月天色婷婷综合| 99热这里只有精品青草| 2013AV天堂| 丁香婷五月| 久久只有18视频| 色爱99| 丁香六月天堂| 色五月激情五月| 男人的天堂五月丁香| 五月丁香网站在线播放| 日日夜夜狠狠| 综合激情五月婷婷| 激情五月婷婷网| 五月日韩中文字幕| 黄色大片又大粗又爽| 日日干日日| 色色999三级片| WWW五月天| 久久久久婷婷| 亚洲愉拍99热成人精品| 久色大| 美女久久婷婷| 日日干日日色| 91天天操天天干天天射| 97成人在线视频精品| 色色综合视频| 91狠狠综合久久| 99热国产精品| 国产九九一区二区三区| 丁香五月综合狠狠| 久久视频婷婷视频| 日韩无码专区| 婷婷在线免费| 久久九色| 99九九玖玖| 99热这里是精品| 日韩精品VIP| 九九爱激情| www.色多多婷| 天天爽综合| 欧美人与性动交CCOO| 九九成人高清视频| 色色色色热| 五月天色色网站| 日本三级中国三级99| 超碰93在线观看| 天天插天天爱| 人妻激情视频| 99热这里有精品| 69精品人人人人人人| 99热这里只有精品22| 婷婷视频在线碰| 婷婷四色五月| 人人摸人人干| 色综合综合网| 91久久精品视频| 婷婷欧美激情| 99情色五月天| 亚洲蜜乳AV| 欧美性爱丁香五月| 婷婷香蕉| 色色五月天激情| 玖玖婷婷婷丁香五月| 夫妇交换刺激做爰| 五月WWW| 97色婷婷| 台湾综合丁香五月蜜桃| 欧美激情综合色综合啪啪五月| 婷婷久久婷婷色五月| 色五月首页| 丁香婷婷射| 夜夜操加勒比| 五月天在线视频尤物视频在线看| 日韩ww| 婷婷99狠狠躁天天久久久九九九| 丁香五夜激情四射夜夜夜| 99热精品无码| 激情五月综合久久| 婷婷久久大香蕉| 激情婷婷五月久久| 久久精品99| 五月丁香999| 超碰九热| 五月婷婷在线综合| 激情五月,激情综合网| 五月丁香福利| 亚洲AV成人在线| 狠狠插狠狠插| 亚洲综合色丁香五月天| 99九九这里有免费视频| 99亚州综合精品成人网| 伊人9在线| 久久女婷| 亚洲俩性性爱图片久久第六页| 婷婷五月欧美综合| 激情综合激情五月一起草| 五月天婷婷免费| 色婷婷五月天| 婷婷五月天激情综合深爱| 久久aaaaa| 久9热在线视频| 色VA| 国产操B| 五月丁香激情婷婷| 无码地址| 97婷婷五月丁香| 日日干日日| wwwss在线观看| 亚洲亚洲人成综合网络| 色色色com| 五月婷婷激情性爱| 人妻久久久| 五月综合无码| 婷婷激情综合网| 激情五月四色| 免费AV在线| 欧美精品999| 青青草国产亚洲精品久久| 五月婷婷六月丁香在线| 丁香六月婷婷开心婷婷网| 色优久久| 蜜桃五月天色| 日本一级特黄大片AAAAA级| 国产成人网址| 99热无码首页| 激情五月黄色小说| 婷婷五月丁香四射| 色婷婷成人| 狠狠狠狠狠操| 大香蕉婷婷丁香| 国产亚洲成AV人片在线观黄桃| 五月丁香在线观看| 伊人春天av| 激情综合九| 色综合色色| 这里只有免费的精品| 99热主页日本| 大色鬼综合| 97碰在线视频| 夜夜撸天天日| 五月丁香福利| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 日日噜噜久久婷婷五月天 | 欧美人人操| 五月刺激丁香月综合| 色婷婷导航| 色99热| 丁香六月AV| 啪啪五月综合| 精品香蕉99久久久久网站 | 日本九婷婷| 婷婷色5月天在线。| 九九re精品视频在线观看| 九九热123| 五月婷婷,六月丁香| 色婷婷久久综合丁香五月| 婷婷久久久久| http://www.com久久久精品一区| 啪啪激情综合| 少妇达人正片在线播放_ikun_福利吧| 日本熟女视频一区二区| 91九色小视频| 色婷婷伊人激情在线观看| 久久三级视频| 五月天伊人| 久久婷婷一级片| 精品色情一区二区三区四区| 日韩在线一级| 91在线精品一区二区| 精品夜夜澡人妻无码AV| 狼人狠狠操| 99热这里只有精品1| 先锋男人99资源| 丁香五月婷婷深爱综合激情| 69天堂99| 俺也去五月婷婷丁| 丁香五月色| 久久久18| 香蕉国产2013|