欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

STM32N6部署U-Net:Neural-ART Oauto編譯失敗排查與解決指南

STM32N6部署U-Net:Neural-ART Oauto編譯失敗排查與解決指南 1. 問題現(xiàn)場訓(xùn)練好的 U-NetNeural-ART 量化成功但優(yōu)化失敗先說個我最近反復(fù)遇到、也幫幾個朋友遠(yuǎn)程看過的問題。模型用的是非常典型的 U-Net 結(jié)構(gòu)輸入是單通道灰度圖輸出是同樣尺寸的分割掩碼訓(xùn)練完在 PC 上驗證精度沒問題轉(zhuǎn)成 ONNX 后導(dǎo)入 STM32N6 的 Neural-ART 工具鏈前面幾步都很順利模型解析成功、量化校準(zhǔn)跑完、精度報告也生成了結(jié)果跑到優(yōu)化階段直接報錯Oauto did not find valid compile options當(dāng)時第一反應(yīng)是“我量化都成功了怎么可能編譯選項找不到”。但踩了幾次坑之后發(fā)現(xiàn)這個報錯其實并不是算法問題而是工具鏈在自動搜索可用 NPU 編譯策略時沒能在一個合理的解空間里找到滿足約束的配置。換句話說問題不是“沒有編譯器”而是“編譯器在當(dāng)前模型調(diào)度條件下組合不出合法結(jié)果”。這個報錯對 U-Net 類模型尤其典型因為 U-Net 不是簡單的鏈?zhǔn)?CNN它包含 skip connection、concatenation、上采樣、深度可分離卷積等多種結(jié)構(gòu)一旦量化后的中間表示出現(xiàn)某些維度約束或算子融合條件不滿足Oauto 的搜索就會直接失敗而不是退回到一個基礎(chǔ)配置繼續(xù)跑。這篇內(nèi)容適合誰看手頭正在做 STM32N6 端側(cè)圖像分割、醫(yī)學(xué)影像分割、工業(yè)缺陷檢測尤其是模型結(jié)構(gòu)里帶 U-Net 這種“編碼器-解碼器 跳躍連接”的同學(xué)。如果你只是跑通了一個 MobileNet 或者 YOLO 類模型大概率不會撞到這個報錯但如果你開始在 NPU 上部署 U-Net這篇文章總結(jié)了我在復(fù)現(xiàn)和解決問題過程中所有值得記錄的細(xì)節(jié)。2. 先搞明白 Neural-ART 的 Oauto 到底在做什么2.1 Oauto 的本質(zhì)為 NPU 尋找合適的編譯配置STM32N6 內(nèi)置的 NPU 不是像 GPU 那樣通過 CUDA 指令直接執(zhí)行任意算子而是需要把神經(jīng)網(wǎng)絡(luò)的計算圖映射成一堆硬件可執(zhí)行的“微指令”和對應(yīng)的內(nèi)存搬移任務(wù)。Neural-ART 工具鏈里的優(yōu)化器負(fù)責(zé)做這件事而 Oauto 是其中的自動配置搜索模塊。它的核心思路是這樣給定一個已經(jīng)量化好的模型圖Oauto 會嘗試不同的循環(huán)展開因子、數(shù)據(jù)布局、算子融合順序、內(nèi)存復(fù)用策略然后結(jié)合 NPU 的硬件約束寄存器數(shù)量、DMA 通道、SRAM 容量、支持的數(shù)據(jù)類型和通道對齊要求去搜索一組可編譯的選項。搜索過程中還要考慮避免片上內(nèi)存溢出、中間緩沖區(qū)沖突、以及某些特定算子在硬件上不支持導(dǎo)致的回退限制。Oauto 的搜索目標(biāo)不是“最快”而是“先找到一組能編譯通過的配置”。如果整個搜索空間里沒有任何配置滿足所有約束它就會輸出那句經(jīng)典的報錯。2.2 “did not find valid compile options” 的背后邏輯這個報錯的英文非常直白Oauto 在可選配置集合里沒有找到一條合法路徑。但為什么量化成功了還會這樣關(guān)鍵就在這里量化成功只代表模型的權(quán)重和激活值已經(jīng)能映射到 NPU 支持的低比特數(shù)值格式不代表整個模型的圖結(jié)構(gòu)、數(shù)據(jù)流、內(nèi)存布局都能被編譯調(diào)度。我把問題拆成三類圖結(jié)構(gòu)問題U-Net 的 skip connection 會產(chǎn)生很長的跨層數(shù)據(jù)依賴NPU 編譯器需要把中間結(jié)果暫存在 SRAM 里。如果暫存區(qū)太大或者生命周期重疊嚴(yán)重就可能沒有任何調(diào)度方案能滿足片上內(nèi)存上限。算子支持問題Neural-ART 對常見 Conv、Pooling、ReLU、Concat 支持很成熟但 U-Net 里經(jīng)常出現(xiàn) UpSampling、PixelShuffle、Resize、雙線性插值等算子這些算子如果映射不到硬件指令編譯器就需要用 CPU 回退或拆分執(zhí)行但拆分后又可能破壞 Oauto 搜索的初始約束導(dǎo)致它直接放棄。通道數(shù)對齊問題NPU 對卷積層的輸入輸出通道數(shù)有對齊要求常見的是 8 通道或 16 通道對齊。U-Net 里卷積層通道數(shù)通常是 64、128、256 這種本身對齊的數(shù)但如果你自己改過結(jié)構(gòu)或者拼接層之后通道數(shù)變成 72、136 這類非對齊值Oauto 可能找不到一個能同時滿足對齊和內(nèi)存約束的編譯選項。這三類問題里第三類最隱蔽因為模型在 PC 上跑得好好的轉(zhuǎn)換工具也能解析量化后對數(shù)值分布也沒問題但最終就是編不過。2.3 為什么 U-Net 更容易踩中這個問題U-Net 網(wǎng)絡(luò)結(jié)構(gòu)的最大特點是編碼器逐漸降采樣解碼器逐漸上采樣中間通過 skip connection 把同尺度的特征圖拼起來。這個結(jié)構(gòu)對分割任務(wù)非常有效但對 NPU 編譯調(diào)度來說就意味著大量中間特征圖需要在不同階段被反復(fù)使用。舉個例子一個典型 U-Net 輸入是 512×512×1第一層編碼器輸出 512×512×32隨著下采樣到 256×256×64、128×128×128、64×64×256解碼器再逐步把特征圖恢復(fù)成 512×512×1。這個過程產(chǎn)生的中間特征圖數(shù)量很多特別是 512×512 這個尺度上的特征圖一張 float32 就是 1MBquantized int8 也有 256KB。如果編譯器需要同時保存多張這個尺度的特征圖SRAM 很容易爆掉。Oauto 搜索時會嘗試各種調(diào)度策略來降低峰值內(nèi)存但如果模型的跳躍連接把某些特征圖的生存周期拉得太長編譯器可能發(fā)現(xiàn)無論怎么排都無法把所有必要緩沖塞進(jìn)可用的 NPU 內(nèi)存區(qū)域于是直接判定找不到合法編譯選項。這也就是為什么你量化的 U-Net“越標(biāo)準(zhǔn)”反而越容易出事因為標(biāo)準(zhǔn) U-Net 在特征圖尺寸和跳躍連接上太“規(guī)整”了編譯器難以做激進(jìn)的復(fù)用優(yōu)化。3. 從失敗到復(fù)現(xiàn)我自己的排查路徑網(wǎng)上搜這個報錯大部分答案都是“更新工具鏈版本”“重新安裝”這類不痛不癢的建議。我自己試過之后發(fā)現(xiàn)真正有效的方法是按下面這套順序排查。3.1 第一步確認(rèn)編譯器和工具鏈版本這不是廢話。STM32N6 的 Neural-ART 更新頻率比我預(yù)期高很多不同版本對算子支持和內(nèi)存調(diào)度能力差異很大。我第一次遇到這個問題時用的是 X-CUBE-N6 早期版本后來升級到新版本后同一個模型在同樣的量化配置下直接通過了。具體操作上是這樣先查看當(dāng)前工具的版本號然后去官網(wǎng)確認(rèn)你用的 MCU 封裝庫、模型轉(zhuǎn)換工具、編譯器驅(qū)動三者之間的版本匹配關(guān)系。ST 的生態(tài)里CubeMX、模型轉(zhuǎn)換工具、NPU 固件驅(qū)動這三者不匹配的話Oauto 經(jīng)常會拿到錯誤的硬件能力參數(shù)導(dǎo)致搜索空間被錯誤裁剪。我踩過最離譜的一個坑是CubeMX 自動生成的工程里 NPU 時鐘配置不對導(dǎo)致編譯器以為 NPU 的可用內(nèi)存窗口比實際小結(jié)果所有自動調(diào)度方案都被判成不可行。這種問題如果不先查環(huán)境和版本后面再怎么改模型都白搭。3.2 第二步檢查模型輸入輸出與量化后的中間表示確認(rèn)完環(huán)境下一步是看模型輸入輸出是不是符合 NPU 的輸入約束。STM32N6 的 NPU 輸入通道排布和常見 ONNX 模型不一定一致尤其是單通道輸入。我當(dāng)時用的 U-Net 輸入是 [1,1,512,512] 這種 NCHW 格式轉(zhuǎn)成工具內(nèi)部表示后編譯器需要把輸入重排成它期望的布局。如果工具在輸入端自動插入了一個自定義的布局轉(zhuǎn)換算子而這個算子在 Oauto 搜索時無法與后續(xù)卷積融合就會導(dǎo)致編譯失敗。更準(zhǔn)確的做法是把 Neural-ART 導(dǎo)出過程中的中間圖 dump 出來人工檢查一下量化后的模型結(jié)構(gòu)看看有沒有異常的 Transpose、Reshape、Cast 節(jié)點這些節(jié)點看起來不起眼但往往是 Oauto 搜索失敗的直接原因。我后來寫了個小腳本把 ONNX 模型里每個節(jié)點的輸入輸出維度打出來重點看 concat 節(jié)點前后的維度是否對齊以及上采樣節(jié)點之后有沒有跟著奇怪的 Reshape。這種腳本不復(fù)雜但非常有效。3.3 第三步降低優(yōu)化強(qiáng)度逐個排除算子問題如果圖結(jié)構(gòu)和環(huán)境都沒問題那就考慮是某個算子導(dǎo)致 Oauto 的搜索空間爆炸或者提前終止。此時最直接的驗證辦法是關(guān)掉 Oauto改用非自動模式跑一遍生成一個基礎(chǔ)編譯配置。Neural-ART 工具一般會提供類似optimization_level和search_mode這樣的選項。你可以把優(yōu)化級別降到none或baseline然后手動指定每個算子的執(zhí)行方式。如果基礎(chǔ)模式能編譯通過說明問題出在自動搜索策略上而不是模型本身完全不可編譯。如果基礎(chǔ)模式也報錯那就繼續(xù)往下看是不是算子支持層面的問題。在這個階段我的做法是一個算子一個算子地做“最小模型測試”。比如把 U-Net 里的 UpSampling 換成最簡單的最近鄰采樣編譯一次再換成雙線性采樣再編譯一次或者把 skip connection 里的 concat 改成 add看看能否通過。這種二分定位法雖然慢但比瞎猜配置高效得多。3.4 第四步查官方日志和生成文件很多人看到報錯就慌了其實工具鏈在報錯時往往已經(jīng)把更多細(xì)節(jié)寫進(jìn)了日志。我在工程目錄下找到.log和.txt后綴的編譯輸出里面能看到 Oauto 搜索時嘗試了哪些配置以及每一個配置被拒絕的原因。一次典型日志里會有一大段類似這樣的內(nèi)容Trial 23: config { tile: [1, 32, 128, 128], layout: NHWC, fusion: convrelu } - FAIL (SRAM overflow: estimated 412KB, available 384KB) Trial 24: config { tile: [1, 16, 128, 128], layout: NHWC, fusion: convrelu } - FAIL (data alignment: output channel 72 % 8 ! 0)看到這些就不難定位了。你甚至不需要逐行讀直接在日志里搜FAIL或者reject看拒絕原因出現(xiàn)最多的值是什么。如果大量是 SRAM overflow那說明內(nèi)存瓶頸如果大量是 alignment 或者 unsupported op那說明算子或通道配置問題。我的經(jīng)驗是這個報錯 80% 的根因都能在日志里直接看出來只是很多人不會主動去找日志文件。4. 實際解決方案與參數(shù)調(diào)整記錄下面把我最終驗證有效的幾種方案整理出來。不是每個場景都需要全部使用按優(yōu)先級從高到低試。4.1 方案一顯式指定編譯選項和核心參數(shù)Oauto 報錯后第一步不是改結(jié)構(gòu)而是手動給編譯器你想要的優(yōu)化參數(shù)。Neural-ART 提供了編譯選項配置文件你可以在里面直接指定 tile size、循環(huán)展開因子、數(shù)據(jù)布局等。我當(dāng)時的配置文件中加了這樣的設(shè)置具體參數(shù)名可能隨工具版本變化核心思路一致[compiler] optimization_level 2 enable_fusion true enable_buffer_reuse true force_nhwc true [memory] sram_limit 384 buffer_reuse_window 16重點是sram_limit和buffer_reuse_window。這兩個值如果設(shè)置不合理Oauto 就會在非常狹窄的范圍內(nèi)搜索很容易找不到合法配置。你可以通過逐步放寬限制來觀察編譯結(jié)果比如從 512KB 的 sram_limit 開始每次減 32KB看臨界點在哪里。如果手動設(shè)置這些參數(shù)后能編譯通過說明問題確實出在自動搜索策略的保守上。此時你不需要動模型只需要找到一組可行的顯式參數(shù)后續(xù)就可以穩(wěn)定構(gòu)建。4.2 方案二關(guān)閉/降級 Oauto手動構(gòu)圖如果顯式參數(shù)還是不行那就要考慮繞開 Oauto 自動搜索手工搭一個計算圖版本。Neural-ART 支持手動指定每個層在 NPU 上執(zhí)行的“圖段”或者“l(fā)ayout”。比如你可以把 U-Net 的編碼器部分拆成幾個塊每塊指定一種數(shù)據(jù)排布中間用工具支持的“relay”操作連接。這么做確實繁瑣但能繞開 Oauto 因為全局約束太多而找不到可行解的問題。我在一個 512×512 輸入的分割模型上用過這個方法把模型拆成兩個子圖第一個子圖負(fù)責(zé)編碼器到 bottleneck第二個子圖負(fù)責(zé)解碼器兩個子圖中間通過片外內(nèi)存交換中間特征圖。這樣每個子圖的編譯空間小了Oauto 最終成功找到驗證通過的配置。代價是推理速度慢了約 15%因為兩次子圖之間有額外的內(nèi)存拷貝開銷但至少部署能落地。這個方案適合對延遲要求不苛刻但對穩(wěn)定性要求高的場景。如果你做的是離線固件完全可以接受這種折中。4.3 方案三簡化 U-Net 中的特殊算子和連接方式如果你想把性能損失降到最低還是得從模型結(jié)構(gòu)下手讓模型更適合 NPU 的編譯調(diào)度。常見做法有以下幾種把 UpSampling 換成 ConvTranspose 或反過來取決于工具鏈對哪種算子支持得更好。實測中Neural-ART 對 ConvTranspose 的調(diào)度不如對 UpSampling Conv 的組合成熟但不同版本表現(xiàn)不一樣一定要實際對比。把 concat 跳躍連接盡量放在特征圖通道數(shù)較小的地方。U-Net 中常見的是在 encoder 的 64 通道層做 concat如果你能把 concat 提前到 32 通道層內(nèi)存壓力會小很多。去掉結(jié)構(gòu)中的 Dropout、BatchNorm 推理分支。BN 在推理時可以折疊進(jìn)前面的卷積但有些工具在量化后不會自動做折疊導(dǎo)致中間多出一層 BN 算子增加編譯負(fù)擔(dān)。如果模型太大考慮對輸入分辨率做裁剪比如把 512×512 改成 384×384內(nèi)存峰值會顯著下降。不要小看這一步U-Net 的內(nèi)存占用和輸入分辨率近似成平方關(guān)系縮到 0.75 倍后峰值內(nèi)存可能只有原來的 60%。我在一個工業(yè)缺陷分割項目里就是把輸入從 512×512 降到 384×384配合把 concat 提前Oauto 直接通過推理耗時也從 80ms 降到 52ms精度只損失了 0.5 個點完全可接受。4.4 方案四調(diào)整量化精度和校準(zhǔn)數(shù)據(jù)集減少編譯歧義這個方案聽起來跟編譯失敗無關(guān)但確實在真實項目中幫過我。Oauto 搜到的配置有一部分取決于量化后各層的數(shù)據(jù)范圍和中間張量的精度。如果量化校準(zhǔn)階段部分層的數(shù)據(jù)范圍估算得太寬編譯器會為這些層分配更大的中間緩沖區(qū)從而更容易觸發(fā) SRAM overflow。所以當(dāng)你遇到編譯失敗也可以回頭檢查校準(zhǔn)數(shù)據(jù)集的質(zhì)量。U-Net 訓(xùn)練集如果是分割掩碼背景類占比很高模型輸出層的激活分布可能非常稀疏。如果用默認(rèn)的 1000 張未打亂圖片做校準(zhǔn)某些層的數(shù)值范圍會偏差很大。我改用以下策略后量化穩(wěn)定性提升了很多校準(zhǔn)圖片盡量覆蓋各種分割目標(biāo)的占比不要全是目標(biāo)很小的樣本。每類目標(biāo)至少 50 張代表性樣本。校準(zhǔn)數(shù)據(jù)集大小設(shè)在 200~500 張之間太少不夠穩(wěn)定太多校準(zhǔn)時間很長且收益遞減。量化范圍更合理之后Oauto 在搜索時會獲得更小的中間張量估算值有些 SRAM overflow 導(dǎo)致失敗的情況直接消失。5. 實操經(jīng)驗U-Net 部署到 STM32N6 的“最佳姿勢”5.1 U-Net 部署前的模型結(jié)構(gòu)調(diào)整清單如果你現(xiàn)在還沒開始部署只是在訓(xùn)練階段請務(wù)必在模型設(shè)計時就考慮 NPU 的偏好輸入格式盡量用NHWC而不是NCHW很多 NPU 工具鏈在內(nèi)部都會轉(zhuǎn)成 NHWC但提前轉(zhuǎn)化可以減少圖里的 Transpose 節(jié)點。卷積層通道數(shù)盡量保持為 8 的倍數(shù)特別是最終部署模型的輸入輸出通道數(shù)。避免在 bottleneck 中使用超大卷積核。U-Net 的經(jīng)典結(jié)構(gòu)里最后幾層卷積通常都是 3×3不要隨意改成 5×5 或 7×7這會顯著增加 NPU 計算負(fù)載。上采樣方式優(yōu)先選擇nearest最近鄰其次才考慮雙線性。因為最近鄰在硬件上實現(xiàn)成本低而且生成的特征圖質(zhì)量對分割結(jié)果影響通常不大。跳躍連接不要“全都要”對每個尺度做裁剪或降維比如 concat 前先加一個 1×1 卷積把通道數(shù)減半這樣能保持精度的同時減少內(nèi)存占用。這些點如果能在訓(xùn)練前就規(guī)劃好后面部署會省非常多的精力而不是在模型訓(xùn)練完再回頭改結(jié)構(gòu)重新訓(xùn)練。5.2 應(yīng)用安全區(qū)和非安全區(qū)功能對部署的影響STM32N6 的一個特點是支持應(yīng)用安全區(qū)和非安全區(qū)功能。這個在部署時容易被忽視但實際會影響編譯和運行穩(wěn)定性。簡單說安全區(qū)和非安全區(qū)是系統(tǒng)內(nèi)存保護(hù)劃分。如果你把 NPU 模型數(shù)據(jù)放在非安全區(qū)而模型推理代碼在安全區(qū)或者反過來內(nèi)存訪問權(quán)限沖突會引發(fā)部署時的奇怪問題。雖然不一定會報 Oauto 錯誤但一旦配置不對運行時可能出現(xiàn)內(nèi)存訪問異?;蛲评斫Y(jié)果不正確。我在實際工程中的建議是模型權(quán)重和中間緩沖區(qū)統(tǒng)一放在非安全區(qū)因為 NPU 的 DMA 訪問通常配置在非安全內(nèi)存域。推理函數(shù)入口跑在安全區(qū)時確保通過 API 調(diào)用而不是直接讓 NPU 訪問非安全區(qū)數(shù)據(jù)否則需要額外的安全屬性配置。用 CubeMX 生成工程時仔細(xì)檢查 NPU 和 DMA 相關(guān)硬件的安全屬性分配讓工具鏈在編譯時對內(nèi)存區(qū)域的約束一致。這個坑我在第一次部署 U-Net 時沒有遇到因為當(dāng)時只跑了小模型后來換成分割模型需要更頻繁地交換中間特征圖非安全區(qū)內(nèi)存和 DMA 緩沖沖突導(dǎo)致系統(tǒng)偶爾卡死排查了很久才發(fā)現(xiàn)是安全區(qū)配置問題。所以如果你的模型運行異常不要只盯著網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)存安全屬性也要查。5.3 量化與優(yōu)化流程建議結(jié)合我上面的踩坑經(jīng)驗整理一個比較順的流程先訓(xùn)練好浮點模型轉(zhuǎn) ONNX用工具自帶的驗證工具跑一遍浮點精度。第一次轉(zhuǎn)換時把優(yōu)化等級調(diào)到最低只驗證模型能不能成功編譯到 NPU。最低等級編譯通過后再開量化先跑默認(rèn)校準(zhǔn)方案記錄量化前后精度差。量化通過后才逐步嘗試提高優(yōu)化等級并建議保留一個“優(yōu)化失敗情況下可回退”的基礎(chǔ)配置文件。若 Oauto 報錯優(yōu)先從日志定位拒絕原因然后按第 4 節(jié)方案逐一嘗試。這樣做的好處是每一步失敗的邊界都清楚哪一步出的問題直接對應(yīng)到對應(yīng)的環(huán)節(jié)去排查而不是等到優(yōu)化階段一把梭。如果你要做精度調(diào)試還可以用工具鏈里生成的內(nèi)存報告和層輸出對比功能把每一層的輸出 dump 出來和 PC 端推理結(jié)果做逐層對比。這個工作在模型量化和編譯都通過后非常有用能幫你看到底層 NPU 和 PC 端在數(shù)值細(xì)節(jié)上的差異避免上線后才發(fā)現(xiàn)精度不對。5.4 性能評估與誤區(qū)很多新手把“能編譯通過”等同于“能跑得性能好”。實際上Oauto 能找到的只是合法配置里的一個解不一定是最優(yōu)解。所以編譯通過后一定要用工具生成的 profiling 信息做進(jìn)一步分析。拿 U-Net 來說重點關(guān)注幾個指標(biāo)總推理時間每個算子耗時占比內(nèi)存復(fù)用率DMA 傳輸量我在優(yōu)化后總是先看哪個算子耗時占比最高再去針對性調(diào)整。比如有一次實測時發(fā)現(xiàn)瓶頸在編碼器的第一個卷積層因為輸入從 512×512×1 變成 512×512×32計算量特別大。后來我把輸入層的 stride 從 1 改成 2同時把解碼器輸出做相應(yīng)調(diào)整整個模型推理時間直接下降了 30%分割精度損失也很小這個優(yōu)化比折騰編譯配置有效多了。不要執(zhí)著于“所有層都跑在 NPU 上”某些層在 CPU 上跑反而更快。比如上采樣層和最后的 softmax 層在 CPU 上實現(xiàn)可能比在 NPU 上調(diào)度更高效。工具里通常有算子級調(diào)度配置你可以把一些低計算量但高邊緣開銷的算子在 CPU 上執(zhí)行這樣可以釋放 NPU 資源給真正重的卷積層。6. 常見問題速查表我把這個報錯相關(guān)的典型問題整理成表格方便你快速對照現(xiàn)象可能原因優(yōu)先排查方向Oauto did not find valid compile optionsSRAM 不足調(diào)度空間過窄查看日志中的 SRAM overflow 拒絕原因降低輸入分辨率或減少 concat 特征圖量化成功編譯失敗日志里全是 alignment 錯誤通道數(shù)不是 8 的倍數(shù)調(diào)整模型中通道數(shù)盡量對齊到 8/16編譯通過但推理結(jié)果全為零校準(zhǔn)數(shù)據(jù)集偏差太大量化范圍失真檢查校準(zhǔn)集覆蓋度增加目標(biāo)占比大的樣本推理結(jié)果不穩(wěn)定偶發(fā)死機(jī)安全區(qū)和非安全區(qū)內(nèi)存訪問沖突檢查 NPU DMA 和模型緩沖區(qū)的安全屬性配置編譯通過但內(nèi)存占用比預(yù)期高很多工具沒有有效執(zhí)行 buffer reuse手動開啟 buffer reuse檢查圖中是否有異常的長依賴節(jié)點Oauto 搜索時間極長但沒有結(jié)果算子組合復(fù)雜度過高關(guān)閉自動搜索手動分段編譯或簡化上采樣算子這個表不是標(biāo)準(zhǔn)答案但覆蓋了我實際遇到的大部分情況。碰到問題先對照一下很多時候能省下好幾個小時的排查時間。7. 踩坑后的真心話這次被 Oauto 折騰得最深的一個領(lǐng)悟是嵌入式 NPU 部署的瓶頸往往不在模型的精度而在編譯器和硬件約束之間的“翻譯”能力。U-Net 這類分割網(wǎng)絡(luò)在結(jié)構(gòu)上天然就跟 NPU 的調(diào)度邏輯存在摩擦你在 PC 上跑 Pytorch 時根本看不到這些摩擦因為 CPU/GPU 對內(nèi)存的容忍度高得多。到了 STM32N6 上每一塊 SRAM、每一個 DMA 通道都是錢編譯器找不到合法配置是常有的事。我現(xiàn)在的習(xí)慣是在模型設(shè)計階段就“為部署而設(shè)計”而不是訓(xùn)練完之后再想怎么搬上去。具體做法包括一開始就用 384×384 或者固定輸入尺寸訓(xùn)練避免動態(tài)尺寸通道數(shù)全部設(shè)計成 8 的整數(shù)倍上采樣優(yōu)先用 nearest模型中不插入奇怪的 reshape。這些東西一旦在最開始就定下來后面幾乎不會碰到 Oauto 報錯這種大坑。最后再說一個每次都會用到的技巧給工程自動記錄每次編譯前后的日志差異。我在第一次遇到這個報錯時沒有保存之前的“能編譯成功”配置結(jié)果改來改去改壞了又不知道從哪里恢復(fù)。后來我用腳本把每次編譯前的配置、模型 hash、日志都存成一個文件夾遇到問題隨時能對比出“到底哪一次改動導(dǎo)致失敗”排查效率高了很多。如果你現(xiàn)在正在跟 Oauto 報錯較勁先把日志翻出來找到那些被拒絕的配置原因大概率答案就在里面。不要一上來就重裝工具鏈那是最浪費時間的一條路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日日操夜夜爽| www.天天干| 啄木鸟丝袜美女福利视频| 欧美成人Va| 神马欧美精| 国产精品18久久久| 夜夜躁爽日日| 国产97色在线| 五月久视频| 99精品在| 五月婷婷色| 97久久五月丁香婷婷| 99精品国产在热久久| 婷婷金品综合视频| 在线看片av| 99热九九热| 夜夜骑日日夜夜| 久操大香蕉| 九九十99视频| 超色欲天天| 久久婷婷超碰| 超喷97免费在线视频| 亚洲激情五月天| 五月综合丁香婷婷| 婷婷综合在线| 天天干 夜夜爽| 99这里只有精品在线观看| 天天综合情| 热99免费在线| 大香蕉五月| 日本V在线观看不卡视频网站| 天天拍天天操| 亚洲色频| 色综合伊人网| 婷婷开心激情| 精品久久艹| 99在线免费视频| 噜噜国产| 五月天激情AV| 丁香六月无码播放| 热99精品视频| 99爱在线视频观看| 五月丁香龟婷婷| 日夜夜天天| 天天成人综合| 五月www| 影音先锋色色色资源色资源色| 97碰久久| 超碰99在线观看| 99热综合在线| 超碰97人人操| 六月婷婷激情| 五月婷色| 欧美欧盟性爱网| 色综合激情| 久久狼人天堂| 亚洲中文字幕网| 久婷婷婷| www.99在线| 色三级色三级| 97AV在线视频| 婷婷六月丁香激情| 六月丁香激情综合网| 97色婷| 成人一级片| 成人免费在线电影| 大香蕉狼人久久| 亚洲婷婷五月| 色五月婷婷自拍| 天天综合久久| 青青草色在线视频观看| 五月天丁香综合| 夜夜大香蕉婷婷丁香| 日韩 mm 不卡| 99热丁香| 日本99久久| 婷婷伊人网| 变态另类9| 六月丁香综合| 欧美在线视频99| 97香蕉碰碰人妻国产欧美| 大香蕉99| 五月婷视频久久| 婷婷综合欧美| 色综合xx| 婷婷综合五月色播| 狠狠狠狠狠狠狠狠| 色五月婷婷大香蕉| 丁香六月啪| 婷婷久久五月| 91丨九色丨大屁股| 欧美S码亚洲码精品M码| 碰超亚洲| 在线伦子99热| 九九色影院| 五月婷婷啪啪| 欧美综合激情五月丁香| 激情丁香五月婷婷啪啪| 日日干天天| 9月色婷婷| av在线观看网站| 成片免费播放| 婷婷色色网| 成人精品视频99在线观看免费 | 色135综合网| 亚洲精品又粗又大又爽A片| 免费视频WWW在线观看网站| 最近中文字幕2019视频1| 久九男女天堂| 91九色PORNY中文啦| 婷婷色五月天色| 人人性久久| 色五月综合| 欧美狠狠草| 99在线视频免费| 激情婷婷另类| 九九热在线观看视频| 久久婷婷五月天激情| 婷婷久热| 在线18av | 亚洲日本三级片| 婷婷六月久久| 97碰超级人人看| 久久总和99| 久热无码| 国产精品视频| 婷婷五月中文在线| 婷婷五月天a| 欧洲激情精品婷婷| 色综合久| 亚洲欧洲中文日韩久久AV乱码| 99热香港| 亚洲五月天婷婷| 台湾综合丁香五月蜜桃| 五月永久激情| 日本色综合| 天天看A片| 99精品热| 超碰99热在线观看| 丁香五月激情婷婷| 操丝袜视频影院导航| 99国产这里只有精品| 色婷婷日本| 5月婷婷性视频| 五月天婷婷爱| 成人丁香五月| 久久男人网婷婷| 2015WWW永久免费观看播放| 國語久久婷| 天天日夜夜高潮| 99思思热只有在这里看| 久久婷婷色色| 日本色色色色色色色色一色二色| 色射7856五月天激情四射| 啪啪激情综合| 久久人人人人妻| 天天日天天爽夜夜爽| 国产成人高清| 日产精品一线二线三线芒果| 超碰人人妻| 91ncm视频| 激情五月综合视频| 日本操B视频| 五月婷婷激情综合| 99在线视频观看| 大香蕉九九操| 激情综合五月激情| 婷婷五月激情天| 一本久道综合色婷婷五月| 99这里都是精品| 97人人干。| 亚洲另类在线观看| 婷婷五月天色| 六月婷婷色| 免费一区二区三区| 这里只有精品亚洲| 五月天激情无码| 五月天婷婷色综合| 涩涩激情五月婷婷| 天天激情综合| 久热这里只有精品6| 亚洲操B| 亚洲av另类在线观看| 久久免费操| 亚洲欧洲自拍图片专区五月天| 色婷婷小说网| 国产精品久久欧美久久一区| 色五月婷婷大香蕉| 开心五月丁香啪| 婷婷情色五月天| 全部老头和老太XXXXX| se色综合网| 激情美女五月天| 五月天婷婷在线观看| 99精品色| 婷婷五月综合色中文字幕| 精a品a视a频| 开心激情播播五月天| 九九热精品视频| 亚洲天堂碰碰婷婷| 婷婷五月天 偷拍| 九九无码| 五月J香蕉婷婷| 91人妻人人做人碰人人爽九色| 五月天激情婷婷丁香| 日韩成人av在线| 超碰熟女农村在线69| 大香蕉久久久久| 五月的丁香六月的婷婷| 久久综合中文| 天天色凹凸| 五月婷婷综合热| 99热国产免费| 久久久一级AAA| 丁香五月色色| 综合成人小说婷婷| 五月美女婷婷风骚| 伊人大香五月天| www.天天干| 国色天香成人网| 97色永久免费视频| www.日日夜夜.com| 久久97久久99久久综合欧美| 色999;丁香五月| 五月天五月天激情网| 婷婷精品| 久草A片| 天天色综合网吨吧| 亚洲国产精品SUV| 久久精品99久久| 综合五月激情网| 99色| 亚洲国产成人在线| 日本美女五月天| 成人五月天综合网| 九九免费视频在线| 激情亚洲网| 91jiuseshunv| 五月丁香六月婷婷在线播放| 日本片日本片祼观看网站在线看中文版网页在线看 | 久久看婷婷| 99在线看视频| 五月的丁香六月的婷婷| 婷婷成人视频| 五月丁香色色| 99综合网| 激情五月天色色色| 色色色色色色97| 九九成人| 久久久久9| 久久激情网| 天天色中文字幕女优AV| 婷婷五月俺要去| 色综合婷婷| 欧美日韩国产一区二区| www,99热| 色婷婷狠狠久久综合五月| 久久亚洲色导航| 色婷婷狠狠爱| 久久久香| 六月婷婷色色色| 九九热99精品| 免费观看欧美成人AA片爱我多深| 另类五月激情| 色色99色色| 六月天六月婷| 久久久激情| 夜夜干 夜夜操| 性爱七区| www.婷婷.com| www.久操| 俺也高清无码高清视频| 久久ri精品| 婷婷五月欧美综合| 丁香久久| 五月丁了香蕉综合| 九九视频在线| 狠狠舔| 琪琪色五月天| 超碰在线观看9| 色久丁香五| 奇米色大香蕉| 亚洲丁香五月| 91久女| 有码人妻久久| 天天操天天操天天操天天操天天操 | 中文字幕网站在线观看| 久色婷婷200| 免费日本aⅴ中文字幕| 婷婷五月婷婷五月天| 午夜性做爰电影| 婷婷激情丁香五月天综合| 色五月激情综合网| 九九碰九九爱97| 色色色色色色色色五月先| 激情丁香久久久久久| 色婷婷视频在线| 色99欧洲色19| 99亚洲无码| 大香焦啪啪啪| 国产成人va在线| 欧美性猛交99久久久久99按摩| mmm1717.6dbm人人爱人人操| 九九热视频在线观看| 激情网站五月| 色综合色色| 日本女天天爽| 婷婷97狠狠成人网站| 99这里只有精品8| 久久女婷| 色爱99| 久久丁香五月天| 婷婷五月深情丁香深爱日韩| 超碰在线成人| 婷婷成人在线| 91打屁股免费看| 五月丁香亚洲五月| 国内精品99| 五月婷婷啪啪网| 色无婷婷| 九九在线这里只有精品视频| 99在线小视频| 五月婷婷六月丁香在线视频免费在线观看| 99碰| 中文激情网| 色色婷婷丁香| 丁香六月激情综合| 亚洲AAAA网| 激情涩播| 色小说五月天| 色香久久| 超碰AV在线| 久久丁香五月综合六月激情红杏视频 | 激情小说五月天| 丁香六月开心| 99色在线| 五月丁香六月婷婷婷婷| 五月婷视频在线观看| 六月丁香五月天| 色色婷婷色色| 亚洲av免费在线| 四虎成人精品永久免费AV九九| 5月丁香啪啪啪| 丁香五月色色色色| 字幕网AV中文字幕| 五月婷天天搞视频| 久久婷婷内射| 日本丁香五月| 精品99爱免费视频在线观看| 影音先锋一区二区资源站| 噜噜精品| 丁香蜜臀黄色婷婷五月天| 亚洲成人免费电影| 99爱爱网| 99综合免费视频| 日韩欧美一区二区三区四区| 日韩精品视频中文字幕| 久久久久久久久人妻| 婷婷六月综合基地| 五月亭亭六月天| 色婷婷五月基地在线| 五月婷婷丁香91| 99免费热视频| 激情五月天啪啪| 色色射| 热99视频精品| 久久日婷婷| 五月丁香影院| 日韩免费乱轮网站| 男人的天堂婷婷色五月| 久久人人妻| 97色婷婷成人综合在线观看| 日韩中文字幕| 日日.c| 影视av久久久噜噜噜噜噜三级| 六月综合婷婷开心伊人| 这里只有精品在线播放| 丁香五月成人丝袜| 欧美25p| 色综合五月婷婷狠狠干| 婷五月天| 九月丁香婷婷| 五月婷婷丁香五月婷婷| 日韩精品成人在线| 99热综合| 无码人妻一区| 五月丁香啪啪网| 97精品人人A片免费看| 综合激情五月天六月婷免费视频| 亚洲区视频| A片试看120分钟做受视频红杏| 婷婷丁香五月天中文字幕| 天堂色色色| jiZZdr| 五月激情基地| 大香蕉伊人99| 爱久久小说下载网| 婷婷的色色五月天| 翔田千里aV中文字幕| 91丁香色五月| 中文字幕 码精品视频网站| 天天天添天天操| 亚洲爱婷婷| 狠狠干五月天| 丁香六月激情综合啪啪| 在线播放中文字幕| 激情六月婷婷啪啪| 久久久91| 99精品久久久久久久婷婷久久| 少妇婷婷五月天| 婷婷成人视频| 亚洲视频图片婷婷五月| 五月天色色激情综合| 两性婷婷丁香五月| 日本超碰在线| 九九热视频免费| 久久精品婷婷| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 日日噜噜夜夜狠狠久久丁香六月| 色欲一二三| www.激情.com.| 色色六月| 婷婷综合| 婷婷五月天亚洲丁香| 99精品久久久久| 亚洲亚洲人成综合网络| 国产激情在线| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 一区无码| 婷婷免费视频| 九九热99热| 可以免费观看的av网址| 操婷婷基地| 这里有精品| 思思久久精品| 天堂婷婷五月在线| 色五月大| 色婷小说| 欧美va视频| 丁香激情婷婷网| 玖热精品综合视频| 丁香六月激情综合网| 久久精品99国产精品日本| AV成人在线播放| Va另类视频| 久久九色| 9热久久| 丰满少妇猛烈A片免费看观看| 色色色色色色色色五月先| 亚洲成人噜噜| 天天成人五月天| 婷婷午夜精品久久久| 91人人人人人人人| 成人午夜视频精品一区| 日日综合网| 久久激情五月婷婷| 色婷婷五月天堂资源| www.狠狠| 久久9久久| 思思干精品| 97五月天| 亚洲欧美婷婷五月色综合| 中文在线视频久1| 婷婷 激情 五月| 五月丁香啪啪激情| 草草影院爱爱| 婷婷久久欧美| 亚洲色就是色色色| 99热精品免费| 99热6这里只有精品| 噜噜在线| 五月丁香操亭亭网| 中出内射的人妻视频| 婷婷五月综合婷婷| 婷婷丁香五另类网站| 午夜免费高清AV片| 亚洲天堂爱爱| 久久五月婷天天干| 丁香五月停停av| tingting五月天亚洲| 久久性视频| 91嫩草久久| 精品国婬伦V无码久久久| 免费看欧美成人A片无码| 狠狠干婷婷| 99狠狠操一| 九97免费视频| 天天射天天操天天干| 丁香婷婷综合激情五月色| 久久亚洲激情五码| 超碰在线视屏| 丁香 亚洲 久久| 丁香五月天AV| 丁香五月欧美激情| 99re这里只有精品首页| 伊人婷婷激情| 六月婷婷视频| 98毛片| 超碰国产在线| 91婷婷丁香| 丁香五月激情网| 天堂网色婷婷| 久久久五月天婷婷成人网| 丁香五月天大香蕉啪啪| 无码激情AAAAA片-区区| 男妓跪趴把舌头伸进我的嘴巴| 五月天婷婷丁香| 日韩欧洲亚洲| 久99视频在线观看| 伊人五月婷婷| 丁香六月狠狠干| 激情六月天| 激情五月天婷婷五月天| 久久人妻www| 天天天天天久久久久久| 国产乱妇乱子伦| 欧美色色色| 9久热这里只有精品视频| 99久久黄色顶级视频| 99re思思热在线视频| 丁香五月婷婷色| 日本精品99| 色色五月天丁香| 色婷婷久久天天性爱| 成人在线综合| 五月婷六月| 婷婷五月天黄色网址| 熟女啪啪视频| 欧美性猛交99久久久99| 婷婷欧美激情综合| 美女黄频aⅴ视频| 999激情视频| 99久扒热| 996er热| 在线视频另类| 人妻AV在线| 综合久久99| 噜噜色天天开心| 激情综合色| 成人看片网站| 伍月婷丁香婷| 99er免费在线观看| 五月天综合区| 天天爽夜夜爽| 国产成人99久久亚洲综合精品| 九九久热| 激情六月天婷婷| 性色天| 97色色网| 超碰激情网| 91操熟女| 五月激情综合网| 99精品久久| 老师的粉嫩小又紧水又多A片视频| 中文字幕丰满孑伦无码专区| 色色色五月天婷婷| 97在线天堂| 欧美婷婷综合网| 91chinese 在线| 婷婷丁香色情| 六月婷婷天天操夜夜爽视频| 成人羞羞啪啪 全 视频| 久色五月婷婷综合| 四色AVwww| 亚洲色网络| 大香蕉伊人爱在线| 色综合色色| www色婷婷| 日欧一片内射VA在线影院| 日韩在线看AV| 青青色com久久| 91综合在线视频| 伦乱天堂| 青青夜夜狠狠夜夜狠狠| 久色五月婷婷综合| 可以免费看的AV网站| 亚洲人成色A777777在线观看 | 99福利视频| 人人爽欧美婷婷久久久五月丁香| 激情五月综合婷婷| 丁香色色网| 欧美一级色| 丁香网五月天| www.91AV.com| 香蕉婷婷色五月| 日本一级黄色电影| 丁香婷婷激情五月| 五月网网站| 噜噜狠狠色综无码久久合欧美| 97碰碰在线看视频免费| 深爱五月天| 少妇性BBB搡BBB爽爽爽视頻| 亚洲影院婷婷色| 激情亚洲婷婷| 五月天婷亚洲天综合网综合| 色五月综合网| 五月丁香六月激情| 激情五月天社区| 9精品久久999| 亚洲成Av人片乱码色第1集| 亚韩在线视频| 色天天狠狠干| 日本人人xxx| 一起草Av| 国外亚洲成AV人片在线观看| 91n啪啪| 久久九九玖玖| 天天舔天天摸天天射| 欧美婷婷色五月| 久久久99免费视频| 天天日夜夜爽| 天天综合色99| 97人人超| 先锋av性爱成人电影| 99视频在线观看网址| 91九色国产| 亚洲欧美在线观看| 日本97久久久精品| 做爱夜夜干天天操| 开心五月深爱五月丁香五月激情五月 | 久久99综合| 日日躁夜夜躁狠狠久久AV| 超碰99热在线观看| 日韩婷婷五月| 新伍月婷婷| 五月婷婷色影院| 午夜69成人做爰视频| 97ai婷婷| 丁香六月婷婷激情综合| 九九色视频| 日本激情91| 少妇人妻人伦A片| 大香伊人婷婷影院| 久久狠狠欧美| 99re这里只有精品视频了| 日本啪啪天堂| 丁香五月五月婷婷欧美大香蕉| 丁香婷婷五月综合| 国产色色网址网站| 国产成人亚洲综合A∨婷婷| 99视频精品在线| 五月九九综合| 日本久久99| 欧美久久婷婷| 狠狠干综合| 99热人人艹| 色婷| 激情婷婷五月基地| 99色热| 日韩三级高清无码| 任你草| 乱色色色| 丁香六月五月天| 熟妇国产| 热99精品视频在线观看| 五月天狠狠网| 高清无码网址| 67194中文字幕| 第四色婷婷最爱| 日本久久精品18| 性av| 久99视频在线观看| 狠狠色婷婷六月激情网| 久色网| 婷婷黄色网| 俺来也综合网精品一区 | 色九月婷婷| 亚洲人成网站999综合| 五月婷五月婷伊人伊人五月婷| 无码网站视频| 我爱大香蕉| 色色色色色五月| 97激情五月天| 色五月综合在线| 亚洲日本三级片| 99爱视频精品在线观看| 欧美性丁香色色五月天干干| 日日做A爰片久久毛片A片英语| 色五月婷婷影院| 五月婷深深爱激情网| 九九精品99| 91怕怕网| 色婷婷五月天激情在线播放| 99热综合在线| 婷婷五月综合丁香久久| 亚洲中文无码成人| 9999三级片| 丁香六月婷婷激情| 思思热99er在线视频| 99热99极品观看| 热99色| 丁香婷婷综合精品六月初| 五月婷婷啪啪综合网| 无码成人播放器| 丁香五月婷婷久久综合激情网 | 丁香五月网在线观看| 亚洲综合色色| 加勒比日本一区二区三区| 久久久五月激| 五月激情在线| 日本九九视频| 婷婷王月天影院| 婷婷综合| 99ri国产| 99视频在线观看网址| 超碰人人摸人人操| 五月天色婷婷激情综合| 五月玖玖| 99综合成人视频在线观看| 六月丁香婷婷天堂| 婷婷五月激情小说| av在线中文| 色婷婷视频在线| 四川BBB搡BBB爽爽视频| www,8050,午夜三级| 久久综合首页| 五月婷中文娱乐综合| 天天操天天操天天操| 天天日夜夜爽| 婷婷五月天奸女| 丁香五月在线观看| 黄色av网站在线免费播放| 婷婷五月丁香狠狠| 六月婷婷五月天| 99超级碰碰| 久久人妻久久| 99久久国产综合精品五月天喷水\| 99色啊| 色五月六月| 亚洲综合一区二区| 久久免片| 色五月天 丁香| 人妻久久久久久久久妻久久久久| 六月色婷婷| 大香蕉精品视频| 狠狠色大香蕉| 婷婷五月丁香A∨| 日日操天天| 96自拍视频九色在线观看| 99rewww| 无码任你操| 九九色综合网| 狠狠爱五月婷婷| 婷婷综合干| 五月天婷a| 亚洲欧洲中文日韩久久AV乱码| 婷婷五月亚洲激情| 婷婷五月天精品| 五月丁香成人| 六月婷婷色色色| 丁香激情五月少妇| 99热最新| 大大香蕉综合在线| 久久久久久丁香五月| 性生生活大片又黄又| 久久ER视频com| 久久伊人五月天| 久热久色| 思思热99热| 99久久久久| 婷婷五月情| 91婷色| 久久色五月| 国产性爱一级| 色色国产| 人人插9| www.狠狠操| 9久久精品视频| 婷婷婷婷婷婷婷婷| 中文字幕在线不卡视频| 久久少妇视频| 99热欲| 九九精品视频在线观看| 五月丁香亭亭A片| 激情性五月天免费小说视频| 操精品9| 久久99美女精彩视频| 色婷婷很很丝袜| 天天热夜夜操| 日B日潘金莲BB| 国产丁香五月天婷婷| 色伦专区97中文字幕| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 五月丁香六月激情综合| 伊人五月婷婷| 91人人爽狠狠狠| 婷婷天堂站| 五月天色图| 丁香五月Av| 伊人春天av| 婷婷在线精品| 开心激情色婷婷五月天| 国产AV一区二区三区日韩| 天堂五月婷婷| 无码少妇高潮喷水A片免费| 天天天添天天操| 开心色色五月天综合| 都市激情小说婷婷| 国产女人十八水真多1| 婷婷激情五月综合| 日韩国产在线免费观看| 国产色网站| 狼友视频在线观看18| 色综合久久久久| 99er这里只有精品| 天天干一干| 大狠狠在线| 色色色九九九五月婷婷| 99精品22| 丁香五月婷婷综合91| 五月天偷拍| 色婷婷伊人| 五月丁香777| 久久99热这里| 96自拍视频九色在线观看| 亚洲va欧美va国产综合久久久| 97婷婷五月丁香| 5月婷婷6月六月丁香| 大香蕉久久婷婷| 99综合久久| 天天天久久久| 国精产品一区一区三区免费视频| 五月天激情无码高清| 大大香蕉综合在线| www.婷婷六月天| 久久多色| 丁香五月av| 婷婷丁香视频| 潮汕成人AV片在线| 婷婷五月天综合网| 久九色| 九九99久久| 亚洲精品久久久久久久久久吃药| 五月天堂六月丁香亚州中文字幕久久 | 久久青草国| 久9视频免费播放| 91精品久久久久| 噼里啪啦在线观看免费完整版视频| 求可以看的AV网址| 最新日韩AV中文字幕| 成人免费高清在线播放| 色噜噜狠狠色综合日日| 亚洲精品久久久无码| SESE无码AV| 久久婷婷综合国产| 99热这里只有精品青草| 丁香五月婷婷色综合基地| 性爱111111| 无码99| 狠狠舔| 69超碰在线| 丁香五月香蕉| 久久九色| 亚洲精品白浆高清久久久久久| 骚货艹网站视频| 日韩欧美一道四区中文字幕| 狠狠干无码| 天天爽曰日爽| 丁香六月婷婷色XXXXX| 色欲丁香| 精品综合久久久久久五月天| 色婷婷影视99| 日本91在线| 丁香五月老师| 91九九精品| 五月色网| 色青青视频| 欧美啪啪五月天| 26uuu精品国产| 激情二色月| 国产一区18| 天天操夜夜操| 婷婷五月天成人网站| 色色色区| 色婷婷五月综合| 99er精品视频| 日韩婷婷| 色五月丁香com| 免费看成人747474九号视频在线观看| 人人爽人人射-美女久久久久久久久久-成人AV | 亚洲五月天天| 久久久香港| 色日本五月天| 99色免费视频| 婷婷久久五月丁香| 久久久久久久11111111111| www.天天干| 五月婷婷深深爱爱| 国产亚洲99久久精品熟女| 伊人婷婷五月天| 久久99久久99精品免观看软件| 天天肏天天肏天天肏| 亚洲精品色| 亚州色色色| 欧美情月伍月天| avh片在线观看| 狠狠香蕉| 岛国av电影网站| 成人五月丁香社区| 超碰国产在线播放| 亚洲情色一区| 96性爱视频| 偷偷操99| 亚洲精品一区无码A片| 色丁香五月婷婷| 男人天堂亚洲综合| 日本97久久久精品| 五月天激情网图片| 色5月丁香婷婷| 九九综合久久丁香婷婷,开心激情综合网| 丁香五月天社区婷婷| 色色色综合色| 99re热视频这里只精品| 久久只有这里精品免费| 五月色婷婷夜色| www五月| 夜夜爽天天干| 五月丁香啪啪啪免费看| 色色五月综合| av国产精品| 五月天成人综合| 亚洲五月六丁香激情| 99免费在线视频| 欧美成人精品A片免费一区99| 97碰人人操| 国产美女精品| 久久性操| 影音先锋AV资源男人站| 九九無妻| 色噜噜狠狠一区二区三区| 97五月天婷婷午夜| 婷婷色在线播放| 国产AV一区二区三区日韩| 国产精品成人AV在线| 五月天欧美激情| 伊人久久婷婷| 久久色吧| 少妇高潮呻吟A片免费看软件| 婷婷久久精品| 色婷五月天网站| 任你搞网站| 久久婷婷五月天丁香| 天天爽夜爽| www.激情五月| 六月激情婷婷综合| 成人无码精品1区2区3区免费看| 夜夜爱伊人| 亚洲va欧美va国产综合久久久| 国产欧美日韩性爱| 久久日韩婷婷五月| 久久久国产精品黄毛片| 色婷婷婷婷| 五月丁香激情婷婷| 99久99热| 人人人操| 亚洲色区17| 国产精产国品一二三在观看| 激情婷婷五月| 男人的天堂五月丁香| 这里只有精9| 久久婷.com| 日本99婷婷| 在线18av | 天天操比比| 日本爆乳片手机在线播放| 青青福利网| 久久综合激情五月天| www、丁香五月天| 视频一区二区在线| 五月综合激情婷婷六月色窝| 91丨九色丨高潮丰满日本| 激情丁香图片| 五月天中文字幕在线婷婷| 久久婷婷五月| AV成人在线播放| 色婷婷丁香AV综合| 国产肥白大熟妇BBBB视频| 色色色成人网| 色婷婷五月综合在线| 79色色| 天天摸夜夜爽天天做| 九九色中文| 成人视频在线免费播放| 久久99激情五月天| 亚洲精品无AMM毛片| 超碰在线91| 91啪啪网| 天天狠狠干| 美女激情婷婷| 日本激情ⅩXX免费视频| 日本三级中国三级99| 玖色色综合| 久久婷综| 欧洲色区| 99这里只有精品视频| 五月丁香亭亭操逼| 99热精品无码| 丁香婷婷十月| 嫩草综合网| 久久丁香| 91丁香五月| 婷婷丁香黄色| 丁香五月综合| 国产99热| 色色影院aaaav| 亚洲AV免费在线| 91丨九色丨熟女丰满| 操操熟女| 在线超碰免费| 亚洲成人在线在线| 99这里都是精品| 99久久这里只有精品| 91精品婷婷国产综合久久| 先锋资源婷婷| 激情图片五月天| 激情五月视频在线婷婷| 黄页大全十八禁| 思思热99er在线视频| 五月丁欧美| 99精品自拍| www久久久久久久97| 99精品视频推荐| 99ri视频在线观看| 99热九九九九| 九九精品9| 天久综合91综合首页| 欧美大片免费播放器| 色婷五月| 欧洲色| av大香蕉| 99在线精品观看99| 996er热| 综合性爱网| 婷婷五月色| 99精品免费视频| 深爱激情丁香| 国产26uuu| 婷婷涩涩五月天| 婷婷五月天激情五月天深爱五月天| 久久机热这里只有精品| 婷婷丁香五月天狠狠| 久久人妻情侣| 五月丁香激情综合六月涩涩爱| 丁香五月婷婷动漫| 国产婷婷五月中文字幕高清| 国产在线6| 一区二区三区四区五区| 激情99热| 色婷婷最爱五月| 色婷婷婷综合五月天| 色婷婷国色天香综合| 五月婷成人网| 婷丁香五月天| 亚洲综合丁香婷婷六月天| 五月丁香网站在线播放| 婷婷六月色丁香视频在线观看| 热这里只有精| 深爱激情四射| 婷婷五月开心中文字幕色| 五月丁香直播| 日日干日日s| 99热这里只有精品96| 五月噜噜| 996热re视频精品视频这里| 亚洲 五月 婷婷 成人| 999影院成人在线影院| 九九亚洲视频| 色七七色九九| 996er热| 91九色欧美| 97人人看| 在线99热| 五月丁香香蕉| 色九九综合| 亚洲欧洲中文日韩久久AV乱码| 日本少妇裸体做爰高潮片 | 婷婷99狠狠躁天天躁中文| AV动漫不卡无码免费| 五月激情婷婷综合| 三级黄网站| www.天天干.com| 人人舔人人色人人高潮| 玖操97| 激情五月丁香综合网站| 五月丁查人人| 丁香五月成人婷婷| 伊人www22综合色| 五月丁香婷婷啪啪| 五月婷丁香| 成人免费120分钟啪啪| 秋霞AV吧| 国产精品24r| A1片久久| 99热久草| 久色网| 色久在| 婷婷激情欧美| 99热这里只有免费精品| 国产美女视频久| 91精品婷婷国产综合久久| 五月丁香婷婷综合网| 丁香五月天视频| 色综合久久之分久久| 激情五月婷婷丁香综合网| 一操久久| 中文字幕综合网| 综合五月天亚洲婷婷| 99热这里只有精品96| 色色哒五月婷婷六月丁香| 丁香五月天综合| 色婷婷AAA| 成人短视频在线观看| 欧美A级成人婬片免费看理论| 亚洲中文AV网站| 99久re热| 亚洲综合在线伊人婷| 天堂五月婷婷| 色婷婷社区| 色私五月婷婷| 婷婷五月成人| 九九99久久精品| 色婷综合| 亚洲第一成人无码A片| 五月丁香色婷婷婷基地| 99视频精品全部免费观看| 婷婷开心激情| 色婷婷香蕉| 北京熟妇搡BBBB搡BBBB| www,setingting| 天堂久久性| 色色精品色| 99久久99热这里只有精品| 亚洲色优| 色婷婷综合视频| 成人免费120分钟啪啪| 九九久久腿| 肏屄色播伊人97婷婷| 五月婷婷六月丁香激情深爱| 小视频一区 | 色播五月天激情| 久久婷婷五月天激情新地址| 亚洲色综合色网| 操一区| 激情网开心网| 国产成人亚洲综合A∨婷婷| 91婷婷| 综合av在线| 4399伦理午夜| 人人干天天舔| www.99热. com这里只有精品| 狼人婷婷久久| 国产精品18久久久| 五月激情婷婷四射| 婷婷五月天黄色| 先锋资源996| 这里只有精品视频免费在线观看| 婷婷五月天堂| 99亚洲精品综合在线 | 婷婷五月永远18免费久久久| 五月婷婷 激情五月| 色五月综合| 熟女人妻视频| 99热精品10| 丁香五月在线视频| 五月草视频| 亚洲99热| 久久久久9久无码视频| 伊人色综合影院视频| 综合激情五月丁香| 久久九九国产精品怡红院| 成人午夜无码视频| 婷婷狠狠爱| 色狠狠五月天| 精品色色色| 欧美熟女99| 亚洲视频在线网站| 91ncm视频| 天天艹夜夜爽| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | www.狠狠| 无码人妻少妇色欲AV一区二区 | 天天色天天爽| 激情五月丁香六月| 另类激情综合| 免费V片在线| www,五月天com| 成年人看Va免费视频| 色婷婷性爱| 久久 婷婷 五月天| 国产日日夜夜操| 色九月婷婷丁香| 亚洲精品又粗又大又爽A片| 色九综合| 亚洲综合新99视频| 欧美黄色韩日网| 日本三级中国三级99人妇网站| 97AV人人插人人操| 五月色婷婷综合色| 婷婷激情小说| 97精品综合久久| 亚洲综合成人网站| 99色啊| 99这里只有精品| 中文中文在线| 97色色婷婷五月天| 天堂婷婷丁香六月网| 97碰超级人人看| 久久免费少妇高潮99精品| 91性高潮久久久久久久久| 欧美成人精品一区二区 | 五月婷婷很很色| 中文激情网| 亚洲激情97五月天| 桃色五月天| 五月丁香中文婷婷中文| 月婷婷亚洲| 色综合久久88色综合天天看| 亚洲网在线观看| 日韩啪啪视频| 丁香六月无码播放| 丁香五月激情综合| 九月色婷婷综合| 26uu| 久久9久| 六月丁香婷婷爱| 五月六月婷婷激情网| 激情综合激情综合| 国产99久久久国产精品免费看 | 操人精品| 激情亚洲色图片丁香综合| 日韩欧洲亚洲| 久久五月天 91| 人妻内射麻豆视频| 五月综合激情| 九九综合九色欧美狠狠| 夜夜爽天天| www久久艹| 久月久在线视频| 操操操操操操婷婷五月天| 欧美日本另类| WwW色婷婷| 六月婷婷天天操夜夜爽视频| 久久a热| 无码视频国内精品久久久| 大香蕉综合网| 免费亚洲婷婷| 婷婷五月天性色| 亚洲色色色色色| 婷婷久久色| 国产婷婷婷| 超碰三级秋霞| 色色五月婷婷久久| 岛囯综合激情网| 人妻操逼| 五月停亭六月,六月停亭的英语| 99热99思午夜精品| 九九九成人在线视频| 国产欧洲欧洲精品久久| 色综合视频| 丁香五月激情综合啪啪| 久久大香蕉| 日本久久婷| 婷婷五月天久久| 五月婷婷久久大片| 99热综合在线| 欧美精产国品一二三区|