欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ArmNN源碼審計:從端側AI到Cortex-A算子執(zhí)行鏈路拆解

ArmNN源碼審計:從端側AI到Cortex-A算子執(zhí)行鏈路拆解 1. 追根溯源為什么要把 ArmNN 的源碼從黑盒里拆開來看前段時間我在一塊 Cortex-A 架構的 ARM Linux 板子上做端側AI部署模型跑起來本身不難難的是把它跑明白。一開始我用 TFLite 轉好的模型直接推理發(fā)現(xiàn) CPU 占用忽高忽低某些算子的時延明顯不對但換一個輸入尺寸后表現(xiàn)又完全不同。那時候我開始意識到光會調(diào) API 是不夠的只有把 ArmNN 這類框架的源碼層邏輯弄清楚才能真正理解“邊緣推理引擎”在 ARM 平臺上到底做了什么。這里先潑一盆冷水很多人把 ArmNN 當成了一個跟 TensorFlow Lite、PyTorch 一樣功能的 AI 框架這是最大的誤解。ArmNN 不是一個訓練框架也不是一個通用推理框架它是一個面向 ARM 架構的深度神經(jīng)網(wǎng)絡推理中間層。它做的事情是從前端的模型文件出發(fā)把計算圖解析、優(yōu)化、拆解最終把算子映射到 ARM Compute LibraryACL或者其他后端上去執(zhí)行。還有一個經(jīng)常被誤解的點我在這幾年的社區(qū)討論和搜索記錄里也發(fā)現(xiàn)過很多次大家在搜“ARM 端側AI”的時候經(jīng)常會混入 ARM Compiler 5.06、Keil、JLINK 接線、RVDS 這類 MCU 開發(fā)工具鏈的話題。這些工具確實屬于 ARM 生態(tài)但它們解決的是 Cortex-M 裸機或者 RTOS 下的編譯與調(diào)試問題跟 ArmNN 這種跑在 Linux 用戶態(tài)、面向 Cortex-A 系列的應用處理器推理引擎完全是兩條路。如果你手上拿的是一塊跑 Linux 的 ARM 板子想去部署語音識別或者視覺模型就不要被 keil 或者 armcc 的搜索結果帶偏。我讀 ArmNN 源碼的動機也來自一個很現(xiàn)實的問題一個模型最終在 ARM CPU 上運行的時候數(shù)據(jù)是怎么從輸入端流動到輸出端的為什么同樣的模型在 x86 上用 OpenVINO 跑得很順在 ARM 上換到 CpuAcc 后端之后速度提升卻不明顯為了回答這些問題我去翻了 ArmNN 的 GitHub 倉庫從 include 目錄到 backends 目錄把一條主推理鏈路完整讀了一遍。這篇文章不是官方文檔翻譯也不是逐行代碼注釋而是記錄我從源碼審計視角發(fā)現(xiàn)的架構邏輯和實際部署經(jīng)驗。內(nèi)容包括 ArmNN 的整體架構怎么設計、一條推理請求在框架內(nèi)部經(jīng)歷了哪些轉換、算子如何落到 Neon 或者 CL 后端、以及做端側AI落地時應該避開的幾個大坑。適合已經(jīng)在做 ARM Linux 端模型部署、或者準備把業(yè)務切到端側AI方向上的工程師閱讀。1.1 讀 ArmNN 源碼前先建立一張“執(zhí)行地圖”我在讀源碼之前先把 ArmNN 對外的身份屬性搞清楚了。它不是一個像 OpenCV 那樣提供厚厚 API 的庫而是一個帶編譯性質(zhì)的計算圖調(diào)度框架。如果只靠面向?qū)ο蟮娜肟谌ダ斫馑銜吹揭欢?Network、Graph、Layer、Workload 之類的類名但不知道它們之間的先后關系。我自己參照官方文檔畫過一條簡化鏈路模型文件進入 Parser被解析成內(nèi)存中的靜態(tài)計算圖圖經(jīng)過優(yōu)化 Pass 處理后做后端分配被分配好后再交給 Runtime 做加載運行時最終通過 EnqueueWorkload 觸發(fā)執(zhí)行。這條鏈路等會兒在后面的章節(jié)里會展開講但先記住它的骨架會讓源碼閱讀順暢很多。ArmNN 最打動我的一點是它的“分層解耦”做得相當干凈。模型解析、圖優(yōu)化、算子執(zhí)行互不摻和。如果你只關心 CpuAcc 上的卷積性能完全可以把 Graph 優(yōu)化部分跳過直接去 backends 目錄里找對應的 Workload 實現(xiàn)。如果你需要理解為什么某個算子沒有走 GPU只需要看后端選擇機制和 LayerSupport 支持表。這種結構非常利于源碼審計不像一些框架把算子判斷、內(nèi)存分配、內(nèi)核調(diào)度全部揉在一個文件里。在開始審計之前我還做了一件事把一個簡單的卷積模型分別用 CpuRef 和 CpuAcc 后端跑了一遍。目的不是為了看速度差異而是為了在 debugger 里打兩個斷點觀察同一個模型在不同后端下的調(diào)用棧差異。這比看再多架構文章都管用因為每一條函數(shù)跳轉都變成了直觀的路徑。后面我會詳細介紹這部分的實操方法。2. 全景架構拆解一個模型文件到算子執(zhí)行的五層轉換ArmNN 的源碼審計繞不開一個問題它把“網(wǎng)絡”這個概念拆到了什么程度我把它歸納成五層轉換每一層都有對應的源碼實體。理解這五層基本就能看懂 ArmNN 的主干。第一層是前端解析層。ArmNN 本身不直接認識 PyTorch 的權重文件或者 TensorFlow 的 SavedModel它依靠獨立的 Parser 組件把 TFLite、ONNX、TF 模型讀進來。讀進來的結果是 INetwork 對象這個對象內(nèi)部是一堆 Layer 和 LayerConnection 組成的圖。Layer 在 ArmNN 里并不等價于“神經(jīng)網(wǎng)絡層”它更像是計算圖上的一個節(jié)點一個 Layer 可能負責拼接、拆分、形變、或者僅僅是一個常量輸入??吹竭@里的時候我有點恍然大悟ArmNN 中的 INetwork 其實比我們?nèi)粘@斫獾哪P蛯咏Y構更底層它是圖論意義上的有向無環(huán)圖。第二層是圖優(yōu)化層。INetwork 會被克隆、變換成 Graph 對象緊接著進入 Optimization Pass 管道。我在源代碼里觀察到這層主要是為了提升最終的算子執(zhí)行效率而不是去改模型的拓撲邏輯。常見的有常量折疊、卷積與 BatchNorm 融合、連續(xù) Reshape 合并還有把某些 Permute 重排成 View 操作避免真實拷貝。這些優(yōu)化對最終的 NEON 性能影響非常大如果在 Load 階段忽略了這些 Pass哪怕后端計算再快也會被多余的內(nèi)存讀寫拖垮。第三層是后端選擇與分配層。一個圖里的 Layer 不一定都由同一個后端執(zhí)行。ArmNN 會通過 BackendId 從注冊表中找到具體的后端實現(xiàn)再檢查該后端是否支持這個 Layer 的算子類型和數(shù)據(jù)格式。如果主后端不支持它會根據(jù)邏輯把子圖切給其他后端。常見的選擇是 CpuAcc、GpuAcc、CpuRef 三者共存。這一層在源碼里對應 BackendRegistry、LayerSupport 和 BackendAssignment 相關的邏輯。第四層是 Workload 生成層。當每個 Layer 都被分配好后端后ArmNN 就開始為它生成對應的 Workload。Workload 是 ArmNN 自己定義的執(zhí)行體接口可以簡單理解為一個算子的可執(zhí)行包裝。后端決定這個包裝具體長什么樣Neon 后端會生成一個包含 ACL NEON Function 的 WorkloadCL 后端生成包含 OpenCL Kernel 的 WorkloadCPU 參考后端生成一個普通 C 實現(xiàn)的 Workload。這里也是源碼審計中最有嚼頭的地方我讀到后面才發(fā)現(xiàn)卷積層的權重格式預處理經(jīng)常是發(fā)生在 Workload 構造階段而不是第一次推理執(zhí)行階段。這就是為什么 ArmNN LoadNetwork 有時會顯得很慢——它不是在做計算而是在做算子的預編譯和內(nèi)存重排。第五層是運行時調(diào)度層。IRuntime 加載網(wǎng)絡后得到一個 LoadedNetwork它負責把輸入的張量綁定到內(nèi)存池中并且按順序執(zhí)行網(wǎng)絡內(nèi)的所有 Workload。因為這個模型已經(jīng)被“編譯”成了一組 Workload 的有序列表所以執(zhí)行階段相對薄主邏輯集中在 EnqueueWorkload 的調(diào)用路徑上。如果用 C 的思維理解就是構造函數(shù)干了大量重活調(diào)用方法只負責按清單干活。為了更直觀地展示這五層對應關系我自己整理了一張流程表格在追蹤問題的時候會反復用階段輸入輸出源碼中的關鍵對象模型解析TFLite/ONNX 文件INetwork 圖TfLiteParser、OnnxParser圖優(yōu)化INetworkGraph 優(yōu)化結果Graph、Optimization Passes后端分配優(yōu)化后的圖帶后端信息的圖BackendRegistry、LayerSupport負載創(chuàng)建帶后端信息的 LayerWorkload 列表WorkloadFactory、IWorkload運行時執(zhí)行輸入張量輸出張量LoadedNetwork、Runtime這張表是我在實際排查算子執(zhí)行路徑時最常用的框架。每次看到異常算子我先判斷它到底卡在哪個階段。如果是 Load 階段慢去查權重預處理如果是第一次推理慢查 Workload 構造和 OpenCL 編譯如果每次推理都慢才考慮是不是算子實現(xiàn)本身或者內(nèi)存帶寬問題。2.1 ArmNN 和 Compute Library 的職責邊界很多人在讀 ArmNN 源碼時會困惑“卷積的 Neon 實現(xiàn)不就在 ArmNN 里面嗎”其實不是。ArmNN 本身不直接寫匯編也不直接調(diào) NEON 指令。在 CpuAcc 后端的目錄里你會看到很多 Workload 文件但真正的算子計算是在 Arm Compute LibraryACL內(nèi)部完成的。ArmNN 提供的是“哪個 Layer 用哪個 ACL Function”的映射關系、數(shù)據(jù)格式轉換、以及生命周期管理。ACL 是 ARM 提供的一套計算庫它內(nèi)部實現(xiàn)了卷積、池化、全連接等算子的 NEON 和 OpenCL 版本。ArmNN 作為上層框架只負責把模型圖轉換成語義明確的算子請求然后交給 ACL 的 Function 去跑。所以在分析算子性能時不能只盯 ArmNN 源碼還要配合 ACL 的源碼去看 Kernel 的調(diào)度策略。同理如果某個算子在 CpuAcc 下不支持也不要怪 ACL應該先查 ArmNN 的 LayerSupport 檢查邏輯看是不是 ArmNN 根本沒有把這個算子注冊到 CpuAcc 的實現(xiàn)列表里。這種雙層架構的直接好處是可替換性。舉個例子如果我今天希望把某個算子換成自研的 Neon 實現(xiàn)不需要改動模型解析部分也不用碰 Runtime 調(diào)度只需要在 CpuAcc 后端里新增一個對應的 Workload把 ACL 調(diào)用替換成自己的實現(xiàn)即可。這讓我在做一個自定義算子加速項目時少走了很多彎路因為框架沒有把一切寫死在一起。2.2 兩種典型后端的選擇邏輯ArmNN 內(nèi)置的多個后端里最常用到的是 CpuAcc 和 CpuRef另外還有 CpuAcc 的 GPU 兄弟 ClBackend。CpuRef 是純 C 參考實現(xiàn)不追求速度它的價值是作為正確性參照。CpuAcc 則是真正的加速后端所有算子都由 ACL 基于 NEON 指令優(yōu)化過。讀源碼時值得留意的一點是ArmNN 作者們沒有強行讓所有 Layer 都必須跑在 CpuAcc 上。后端檢查到 Layer 不支持時會自動降級到 CpuRef。這個設計非常實用因為它保證了大部分模型都能“跑起來”但也容易造成性能假象。我曾經(jīng)遇到過一個模型大部分卷積都走了 CpuAcc但有一個 Slice 算子沒注冊 Neon 支持結果整條推理鏈路里這一個算子拖慢了 30% 的延遲。這種問題不打開源碼對照 LayerSupport 表很難發(fā)現(xiàn)。因此我在審計源碼時總結出一個經(jīng)驗凡是在真機上排查 ArmNN 性能第一步永遠不是調(diào)線程數(shù)而是先確認每一個算子的 Workload 到底由哪個后端創(chuàng)建。光是這一步就能解釋很多“為什么我的模型換臺機器就慢一半”的詭異問題。3. 源碼審計主線LoadNetwork 與 EnqueueWorkload 之間到底藏著什么ArmNN 的源碼量不算法但目錄分散新手容易迷。我在審計時選擇了一條最主干的路線從IRuntime::LoadNetwork開始一直跟到推理執(zhí)行入口EnqueueWorkload把這條鏈路里的核心類都過了一遍。接下來是我記錄的審計筆記按實際代碼執(zhí)行順序整理不是目錄介紹。3.1 LoadNetwork 階段從網(wǎng)絡圖到 Workload 的“編譯工程”當你調(diào)用 LoadNetwork 時ArmNN 并不是簡單地把網(wǎng)絡指針存下來而是做了一整套類似編譯器后端的工作。它先拿到 INetwork再把它轉成內(nèi)部更容易優(yōu)化的 Graph 對象。如果你翻過源碼會在src/armnn下面看到 Network.cpp 和 Graph.cpp 這類文件前者負責對外 API 的封裝后者才是真正在內(nèi)存里組織節(jié)點和邊的地方。Graph 里的核心結構是 Layer 和 Slot。Layer 是節(jié)點InputSlot 和 OutputSlot 是節(jié)點之間的連接邊。這個設計不復雜但很關鍵。我之所以特意提它是因為在你寫自定義算子或者修改圖結構時幾乎都在跟這兩個類打交道。比如你要做算子融合本質(zhì)上就是找到兩個相連的 Layer把其中一個的計算并入另一個然后重連 Slot。之后 Graph 進入優(yōu)化過程。我在讀src/armnn/optimizations目錄時看到了幾十個獨立的優(yōu)化 Pass每個 Pass 都實現(xiàn)了名為Run的接口。讓我印象最深的是卷積和 BatchNorm 的融合優(yōu)化。單獨跑一遍 BatchNorm 意味著先要把卷積輸出寫回內(nèi)存再讀出來歸一化再寫回去。融合之后歸一化系數(shù)可以直接折疊進卷積權重和偏置里省掉一整次內(nèi)存寫讀往返。在 NEON 環(huán)境下這種減少內(nèi)存訪問的優(yōu)化比你想的還要值錢。完成圖優(yōu)化之后ArmNN 會做后端分配。它會遍歷每個 Layer依次查看是否支持當前后端的類型、數(shù)據(jù)類型和 shape。如果 Layer 支持則給它標記上后端 ID如果不支持就換下一個后端嘗試。這里有非常關鍵的源碼邏輯對每個 Layer 的支持判斷并不是簡單看算子名稱在不在列表里而是要結合輸入張量的維度和數(shù)據(jù)類型一起判斷。同一個卷積算子如果輸入是 NHWC 的 float32可能支持但如果換成一個很奇怪的維度或者走到了某些不常用的 data layout后端就可能說“我不支持”。隨后 ArmNN 開始創(chuàng)建 Workload。每個后端的 Workload 都由一個實現(xiàn)了 IWorkloadFactory 接口的對象創(chuàng)建。工廠根據(jù) Layer 類型和 QueueDescriptor 生成對應的 IWorkload 實例。你可以在backends/aclCommon、backends/neon和backends/cl下面看到很多具體的工作負載文件。這個階段其實做了不少重計算比如卷積權重從原始權重格式轉換為 ACL 友好的排列方式甚至提前做 Winograd 變換。所以 LoadNetwork 慢并不一定意味著代碼有問題更可能是模型里卷積太多預處理權重需要花時間。3.2 EnqueueWorkload 階段清單執(zhí)行與內(nèi)存綁定模型加載完以后每一次推理都通過 EnqueueWorkload 觸發(fā)。我在源碼里讀這部分時感受到一種明顯的“執(zhí)行期很薄”的設計哲學。推理入口做的事情大致可以拆成三步第一步讀取用戶傳入的 InputTensors把輸入數(shù)據(jù)寫入框架預先分配好的內(nèi)存張量里。第二步遍歷已經(jīng)創(chuàng)建好的 Workload 列表逐個調(diào)用 Execute 方法。第三步把輸出從內(nèi)部張量拷貝回用戶提供的 OutputTensors 中。真正做算子計算的就是第二步里的每個 Workload.Execute。以 CpuAcc 后端的普通卷積 Workload 為例你會在里面看到 ACL 的 NEConvolution2d 對象它的 run 方法會被調(diào)用底層會用多線程把 NEON kernel 分發(fā)到可用的 CPU 核心上。如果你在 GDB 里打斷點會看到調(diào)用棧長這樣EnqueueWorkload - LoadedNetwork 內(nèi)部循環(huán) - NeonConvolution2dWorkload::Execute - ACL 的 NEFunction::run。如果你發(fā)現(xiàn)某一層調(diào)用棧走的是 CpuRefWorkload 而不是 Neon 版本那就說明這一層沒有命中加速后端需要回過去查后端分配邏輯。另外我在實際調(diào)試中發(fā)現(xiàn)ArmNN 的輸出階段經(jīng)常有隱形的數(shù)據(jù)拷貝。如果每次推理都新分配一個很大的輸出緩沖區(qū)時間損耗相當可觀。比較好的做法是復用同一個 OutputTensors 對應的底層存儲避免反復觸發(fā)系統(tǒng)級內(nèi)存分配。這一點對于需要跑到 30FPS 以上的實時端側AI項目來說尤其重要。3.3 內(nèi)存布局與張量生命周期的隱藏規(guī)則源碼審計過程中我一度被張量生命周期問題繞暈。ArmNN 不像 TFLite 那樣把所有張量按 flatbuffer 平坦存儲它在 Load 階段會讓后端創(chuàng)建對應的 TensorHandle 和內(nèi)存池。到了 Enqueue 階段輸入數(shù)據(jù)被拷到某個 WorkingMemHandle 指向的緩沖中計算在這個緩沖上完成。如果只是讀一遍源碼你未必能體會到內(nèi)存布局的重要性。直到我踩了一個坑同一份模型用 NHWC 數(shù)據(jù)格式和 NCHW 數(shù)據(jù)格式導入延遲差了將近一倍。原因不在算子計算本身而在于 ACL 內(nèi)部對 NHWC 更加友好同時 ArmNN 的前端解析和轉換也盡量避免額外 transpose。很多模型轉換工具默認導出 NCHW如果直接塞給 ArmNN某些 Layer 會額外插入 Permute 操作推理時間自然就上去了。因此在部署模型中輸入 layout 的選擇不亞于模型結構選擇。ArmNN 里還有一個容易忽略的機制在網(wǎng)絡加載之后很多中間張量的 buffer 已經(jīng)被固定下來了不支持動態(tài)變化。如果你在 ONNX 里設置了動態(tài) batch或者某些維度是 NoneArmNN 在導入階段就很可能直接報錯。后面在落地那節(jié)我會專門聊這個坑的規(guī)避方式。4. 算子審計視角從 CpuRef 到 Neon 的工作負載生成路徑如果說整條 LoadNetwork 鏈路讓我掌握了 ArmNN 的“骨架”那算子擴展這塊則讓我看清了它的“肌肉”。真正決定邊緣推理引擎能跑多少種模型、每個算子的邊界條件是什么都藏在 Layer、Workload、LayerSupport 這三者關系中。這一節(jié)我以源碼審計為線索講講后端的注冊和執(zhí)行體生成邏輯。4.1 后端注冊表ArmNN 如何找到你想要的執(zhí)行單元ArmNN 把后端抽象成了 IBackendInternal 接口每個具體的后端只要實現(xiàn)這個接口并提供相應的 WorkloadFactory就能接入框架。BackendRegistry 是后端的注冊中心。默認情況下它知道 CpuRef、CpuAcc、Cl 等后端的創(chuàng)建方式。如果你用的是帶 Ethos-N NPU 的平臺也會有對應的后端注冊進來。從源碼審計角度看后端注冊機制給我最大的啟發(fā)是不要被“ARM 官方”四個字限制住思路。這個架構允許你新增一個例如“MyFastNPU”的后端只需要實現(xiàn)接口后注冊進框架上層模型的圖優(yōu)化和調(diào)度邏輯完全不用改。所以 ArmNN 的工程邊界其實比不少商用推理框架要開放得多。值得注意的是多后端并存時ArmNN 在選擇后端上并不是按“哪個最快”來排而是按你傳入的優(yōu)先順序逐個判斷支持度。默認情況下也許 CpuAcc 排前面但如果你沒有顯式指定部分 Layer 也可能落到 CpuRef。這種隱含的回退邏輯是排查性能坑時需要高度關注的點。4.2 LayerSupport支持判定不是一張純字符串表我曾經(jīng)以為框架判斷某個算子支不支持某個后端就是查一個名單。讀完源碼后才發(fā)現(xiàn)不是。ArmNN 的 LayerSupport 是一個接口它要根據(jù) WorkloadInfo 里的輸入張量個數(shù)、寬度、高度、通道數(shù)、數(shù)據(jù)類型、布局等信息共同決定。所以一個算子可能“系數(shù)支持”卻不能用于你現(xiàn)在的具體模型。這個設計在工程上是合理但也會帶來一個令部署工程師頭疼的問題同一個模型在開發(fā)板上新增了一個輸入分辨率就可能觸發(fā)回退路徑。比如某個 Convolution 在支持列表里但輸入 W 或 H 不是 16 的倍數(shù)某些經(jīng)過 Kernel 優(yōu)化的路徑可能失效或者數(shù)據(jù)格式需要 pad最后真實執(zhí)行的效率截然不同。因此在模型上線前最好用與線上完全一致的輸入尺寸去跑一遍 Profile而不是拿一個小尺寸樣例測試后就直接上線。4.3 從參考實現(xiàn)到 Neon 實現(xiàn)的擴展路線如果你要做自定義算子ArmNN 官方文檔和源碼給出了一個非常清晰的路線這也是我在審計時最喜歡的一條路徑。第一步在 CpuRef 后端實現(xiàn)一個最樸素、最容易驗證的計算實現(xiàn)保證輸出正確。第二步為模型解析階段增加對該 Layer 的解析和 Layer 類構建。第三步在目標后端比如 CpuAcc中實例化具體的 Workload并在內(nèi)部調(diào)用 ACL 里的 Function。第四步在 LayerSupport 里為這個后端聲明支持條件。有人覺得四步很多但實際上最難的是第四步之前因為你需要對 ACL 里有沒有合適的 Function 非常清楚。例如你想新增一個特殊形態(tài)的 PoolingACL 未必提供對應的 Kernel這時候你可能需要基于 ACL 的算子組合來間接實現(xiàn)而不是硬寫一個新 Kernel。從源碼審計中得到的一個深刻體會是CpuRef 后端并不是一個多余的“備用輪子”它其實承擔了正確性基準的角色。你在新增或者移植任何算子時先用 CpuRef 得到參考輸出再去優(yōu)化 Neon 實現(xiàn)一旦兩邊輸出不一致問題大概率出在新后端的邊界處理上而不是模型本身。沒有參考后端的框架在調(diào)試這種問題時只能靠紙面計算效率完全不在一個層次。新增算子時更要留意LayerSupport 通常只做靜態(tài)檢查它可能不會驗證所有輸入數(shù)值的范圍。我在做某些量化模型算子時就遇到過浮點模型沒問題、量化模型偶爾觸發(fā)邊界錯誤的情況。最后發(fā)現(xiàn)是某個算子在 uint8 輸入下ACL 實現(xiàn)里對最大值做了特殊處理而支持判定表預判太低導致錯誤在推理時才暴露。這類問題只有通過“試算子、看代碼、改判定”的循環(huán)才能解決也是源碼審計這件事真正值錢的地方。5. 落地復盤Cortex-A 真機上的行為表現(xiàn)與常見認知糾偏源碼讀得再多最終還是要落到 ARM 板子上的真實表現(xiàn)。我過去一年在幾塊不同的 Cortex-A Linux 板子上部署過視覺和語音類模型踩了不少坑。這節(jié)內(nèi)容不寫成“成功案例”而是把那些容易讓部署工程師抓狂的問題和我的排查思路整理出來。5.1 動態(tài) shape 的坑為什么模型加載失敗卻找不到原因ArmNN 對靜態(tài) shape 的支持非常穩(wěn)對動態(tài) shape 就很敏感。常見錯誤場景是你從某個工具導出 ONNX 時把 batch 維度留成了 -1或者某個 Reshape 帶有動態(tài)推導又或者 TFLite 模型的輸入尺寸本身沒有固定。這樣的文件被 ArmNN 的 Parser 讀取時可能直接報錯也可能加載成功但在第一次 Enqueue 時才崩。我遇到過最典型的案例是一個語音前端模型里面有一個動態(tài)時間步的 Reshape。模型導出時維度是 [1, -1, 80]代碼里想讓它支持任意幀長。結果每到推理時 ArmNN 會提示 shape mismatch白白排查了兩天。最后只能把輸入固定到最大幀長度再在外部用 mask 處理多余的幀。雖然浪費了一點計算但換來的是穩(wěn)定可運行。所以如果你的端側AI模型要跑 ArmNN在導出模型階段就盡量把所有維度定死。輸入上的動態(tài)標注越少后期框架層面的兼容性問題越少。這個經(jīng)驗同樣適用于 CpuAcc 的內(nèi)存池設計因為固定 shape 后 ArmNN 可以提前規(guī)劃所有中間張量的大小省去大量運行期的緩沖調(diào)整。5.2 后端起錯與 CpuRef 混入為什么加速了但沒完全加速另一個高頻問題是模型里混入了 CpuRef 工作負載。從我的經(jīng)驗看這個問題的隱蔽性很強因為 ArmNN 的日志默認并不會打印“該 Layer 已回退到 CpuRef”的告警。如果你只是從端到端延遲去判斷很難意識到問題出在某個底層算子沒有后端實現(xiàn)。我的排查方法非常簡單粗暴先用 perf 工具采樣看 CPU 上的熱點函數(shù)是哪些。如果熱點是 ACL 里的 Neon kernel說明算子在 CpuAcc 上執(zhí)行很健康如果熱點是RefWorkload目錄下的函數(shù)或者一堆模板展開的 C 代碼那基本可以斷定有算子回退了。找出回退的算子之后再對照源碼里的 LayerSupport 表去分析為什么不支持。常見原因有三個算子本身沒實現(xiàn)、輸入數(shù)據(jù)類型不匹配、輸入維度過于特殊。解決路徑也相對清晰換模型變體、調(diào)整輸入格式、或者自己按前面說的擴展流程補一個后端實現(xiàn)。5.3 線程、核數(shù)與大核小核分配端側 CPU 推理的執(zhí)行期調(diào)優(yōu)ArmNN 的多線程執(zhí)行是通過 ACL 實現(xiàn)的不像有些框架直接依賴 OpenMP 環(huán)境變量那么好控制。在多核 SoC 上尤其常見的大小核架構上線程調(diào)度其實是端側AI性能的一個決定性因素。默認情況下ACL 會盡量用滿所有核心但小核算力弱占著線程卻貢獻不了太多吞吐反而會拖慢整體時間。我后來采用的辦法是在啟動推理進程時通過 taskset 把進程限制在指定的大核集合上比如只綁定到兩個或者四個 Cortex-A76 核心。這樣既避免了系統(tǒng)把線程調(diào)度到小核上也避免了多進程之間互相搶占。對很多實時推理場景來說四顆大核比八顆全開更容易得到穩(wěn)定的延遲曲線。線程數(shù)也不是越多越好。我在一個小模型上測試過線程從 1 升到 4 時延遲明顯下降繼續(xù)升到 8 時反而因為同步開銷和緩存競爭開始上升。因此不要盲目相信“多核一定更快”。最好在目標平臺上拉一條線程數(shù)-延遲的曲線再決定部署參數(shù)。5.4 數(shù)據(jù)拷貝與 InputTensor 復用被忽略的時延大頭最后一個被我長期忽視的點是輸入輸出張量的數(shù)據(jù)拷貝。由于 ArmNN 內(nèi)部有自己的內(nèi)存池外部數(shù)據(jù)進框架往往需要一次拷貝。在圖像分辨率很大或者涉及連續(xù)多路輸入時這個拷貝成本可能占總延遲的 10% 以上。如果是在 Python 里通過 PyArmNN 做封裝每幀圖像從 numpy 轉成 InputTensor 的耗時更是明顯。減少拷貝的辦法是盡量復用預分配好的 buffer。不要在每次推理循環(huán)里 new 一個輸入向量也不要頻繁創(chuàng)建 OutputTensors。PyArmNN 的 C 綁定在反復構造張量對象時也會產(chǎn)生不小的開銷。對視頻流場景比較理想的設計是啟動時申請一塊內(nèi)存把一幀圖像數(shù)據(jù)直接拷貝到這個固定地址中用同一組張量對象去做循環(huán)推理。這個優(yōu)化看起來不起眼但在嵌入式 Linux 上往往比調(diào)模型結構更容易見效。6. 源碼級調(diào)試方法如何用日志、斷點和單測定位性能與正確性問題如果把前面幾節(jié)看作“紙上談兵”那這一節(jié)就是我真正上真機操作時沉淀出來的調(diào)試手段。端側AI部署最怕的不是模型精度差而是不知道錯誤到底發(fā)生在哪個環(huán)節(jié)。ArmNN 自身提供了不少調(diào)試工具加上通用的 profiler配合源碼閱讀定位問題的效率會高出很多。6.1 CpuRef 作為正確性參照物一勞永逸的精度校驗方案我在新板子上部署模型時第一件永遠會做的事是把同一個模型分別用 CpuRef 和 CpuAcc 跑一遍并比較輸出張量的差異。由于 CpuRef 是純 C 參考實現(xiàn)它的精度最接近理論值。如果 CpuAcc 的輸出和 CpuRef 差別明顯大于浮點誤差范圍那么問題基本出在加速后端的實現(xiàn)上而不是模型轉換上。這個方案成本很低只需要在構建 ArmNN 時保留 CpuRef 后端然后在跑網(wǎng)絡時把后端列表從 CpuAcc 臨時改成 CpuRef。用代碼實現(xiàn)的邏輯甚至不需要模型重載只改后端名參數(shù)即可。無論是排查激活函數(shù)的數(shù)值溢出、量化模型的截斷誤差還是自定義算子擴展后的邊界這個對照實驗都能第一時間縮小問題范圍。我在驗證一個量化卷積算子時CpuRef 輸出是
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久五月天色婷婷| 狠狠干婷婷| 九九美女视频| 熟女强人妻一区二区三区四区无| 五月婷婷片| 综合五月丁香六月婷婷| 五月丁香亭亭激情操逼网| 超碰免费大香蕉| 黄页大全十八禁| 亚洲天堂爱爱| 99久久婷婷五月综合| 五月桃花网综合| 97在线精品| 狠狠色噜噜色狠狠狠综合久久成人波| 丁香网五月网| 在线观看玖玖资源免费观看| Va另类视频| 91日本在线| 婷婷丁香五月天操逼| 天天日天天插| 亚洲妇女熟BBW| 超碰免费大香蕉| 日韩色色视频www| 【乱子伦】黄色| 99精品久久久久| 99亚洲精品综合在线| www超碰| 日本啪啪网| 色色综合网络| 四月丁香五月婷婷久久| 婷婷五月天视频亚洲| 亚洲五月婷婷在线| 色婷婷五月综合在线| 婷婷五月天丁香| 高清成人综合| 婷婷久热| 婷婷五月激情综合| 综合色久| 婷婷99视频在线| 99久久婷婷国产综合精品草原| 538任你爽| 久久人妻www| 五月深爱激情网| 五月丁香婷中文| 欧美黑人巨大猛烈cuckold| 国产亚洲色婷婷久久99精品91| 操日本三片99| 91狠狠综合久久| 丁香五月婷婷色情综合| 日韩色色网| 另类视频一区| 日操五月婷| 99热这里有精品| 性爱综合网| 久久久久亚洲AV成人无码电影| 五月天激情综合| 六月婷婷中文字幕| WWW久久久| 五月天综合网| 超碰日韩成人| 国内久久亭亭| 伊人五月天综合网| 99久久er| 黄色一级影片| 婷婷天堂站| 国外亚洲成AV人片在线观看| WWW、日本色丁香、co m| 97亚洲精品| 涩玖玖免费视频| 色综合久久综合| 97超碰在线免费观看| 色欲九区| 区区欧美你爱| 99自拍视频在线| 婷婷成人视频| 91碰操| 狠狠干在线| www.黄色片-久久成人国产精品在线播放-999AV| 五月丁香久久久久| 亚洲Av入口| 五月婷婷免费看| 日本婷婷| 亚洲日韩乱码一区二区三区四区| 激情婷婷。| 色婷婷成人网| 五月开行婷婷色五月| 婷婷五月天无码| 97性视频| 99re8热精品免费视频| 色婷大香蕉| 黄网在线观看免费| 激情 婷婷 插| 97 A I色色| 婷婷成人基地| 香蕉久久国产av一区二区| 欧美一级色| 五月综亚洲| 午夜丁香五月天综合| 欧美精品99| 99热在线播放| 97人人操| 五月丁香啪啪综合| 秋霞少妇AV网站| 一起草aV| 永久地址 色| 9热在线观看| 99综合视频一体| 欲色人妻| 亚洲AAAA网| 五月天狠狠色| 激情五月瑟瑟| 天天综合永久| 热久久这里只有精品| 婷香五月激情视频| 婷婷综合性爱网| 超碰人人91| 亚洲五月丁| 五月婷婷丁香啪啪| 俺去婷婷 丁香| 另类在线| 久草五月婷婷| 91在线操| 色色射| 99噜噜噜在线播放| 九九熱最新視頻| 99这里只有精品|v| 天堂二区| 婷婷四色成人综合色视| 精品一二三区久久AAA片| 51XX午夜影福利| 激情开心五月亚洲| 亚洲乱码日产精品BD| 色色五月天丁香婷婷| 五月天激情Av| 性生生活大片又黄又| 成人短视频在线| 五月婷婷啪| 久久精品一区二区三区四区| 99re这里只有精品视频6| 天天在线XXX| 不卡的AV网站| 色婷婷五月婷婷五月婷婷五月| 婷婷激情五月综合| 激情五月丁香五月| 综合网色| 综合亚洲六月婷婷在线| 久久人妻久久| 色情综合| 天天做天天视天天谢| 99啪啪网| 人人操日| 亚洲日日操| 五月天婷婷丁香花| 91综合国免费久入| 色9999日韩国产| 久久色亭亭五月天| AV无码免费| 丁香五月天狠狠| 日本在线观看aaa 99| 天天粽合合合合| 久久久噜噜噜久久人妻| 亚洲欧洲色色| seuuu婷婷| 婷婷六月天精品| 青青青在线视频国产| 任你搞免费视频观看| 成人噜噜网| 成人片黄网站色大片免费毛片| 综合狠狠干| 五月婷婷香蕉| 日韩人妻在线观看| 色情五月天se| 欧美性久| 欧美性猛交99久久久久99按摩 | 婷婷六月网| 在线看九一V图片| 婷婷六月天激情影院| 91婷婷视频| 色色综合网络| 色八月婷婷| 亚洲精品一区中文字幕乱码| 天天日天天摸| 广东99色在线| 亚洲天堂有码| 免费看欧美成人A片无码| 国产三级片91| 五月丁香婷婷综合| 天天天天爽爽天干| 五月丁香激情综合啪啪| 五月婷久久| 亚洲婷婷月丁香五月| 嫩草AV久久伊人妇女超级A| 内射丰满人妻| 超碰精品国产首页| 美女五月天| 五月天伊人日日噜影片AV| 超碰人人妻| 亚洲在线操| 激情网站综合五月天| 海外网站专业操老外| 天天爽夜夜操| 人妻久久久| 色丁香五月婷婷婷| 激情六月丁香| 日本三日本三级少妇三级66| 欧美大肥婆大肥BBBBB| 五月天婷婷基地| 麻豆忘忧草午夜| 99视频久久| 欧美日本黄色| 俺也去五月婷婷丁| 色噜噜狠狠色综合日日| 欧美成人精品老美女噜噜噜| 久er7久热| 五月婷婷丁香六月| 操操熟女| 色九月丁香婷婷蜜桃在线观看| 激情婷婷丁香五月天| 丁香五月天视频在线播放| 色情综合网| 久久五月热| 极品少妇XXXX精品少妇偷拍| 开心激情五月天网| 亚洲在线资源| 五月天丁香综合久久国产| AV天堂淫乩| 欧美精品99| 久久免费干| 成人视频网| 久久久18| 亚洲午夜AV| 久久金品黃色| 天天天天天天操| 久久婷婷操| 激情综合五月| 中文精品久久久久人妻不| 日本黄色精品| 久久久久久久久久久97| 久草九九| 91丁香五月| 久久久九九九 99| 丁香婷婷五月色综合| 久久五月丁香| 狠狠色婷婷| 久操操| 亚洲激情婷婷| 婷婷五月天堂| 色噜噜狠狠色综合日日| 国产一区二区三区影院| 97久久人人人干| 99只有精品| 伊人久久婷婷| 97日韩无套内| 激情国产五月| 夜色爱爱亚洲| 激情图片99| 牛牛色av| 丁香五月综合激情啪啪| 久久狠狠欧美| 另类国产综合| 久久久久人妻精品| 色五月激情五月天| 99热个人在线| 中文在线视频久9| 97碰 在线视频观看| 97偷拍对白视频| 久草婷妨| 婷婷午夜激情| 五月熟妇婷婷久久| 天天操夜夜肏| 色综合中文| 婷婷五月激情图片| 国产激情久久久| 在线观看免费人成视频无码| 五月综合激情图片| 丁香婷婷五月天激情四射| 久草婷婷| 五月天影院| 99这里只有精品|v| 天天干狠狠| 超碰在线99| 婷色天堂| 99热99re6国产在线播放| 中文字幕婷婷| 色一区高清| 婷婷五月丁香基地在线视频官网| ss五月天激情| 高清无码中文字幕aVDV| 欧美激情-区二区三区| 五月开心婷婷| 国产午夜精品久久久观看| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 九九热99精品| 久久精彩视频99| 色婷大香蕉| 极品五月天| 色婷婷亚洲综合av| 丁香六月| 99热综合| 丁香五月狠狠综合欧美| 五月婷婷综合在线观看| 天堂综合久| 桃色激情五月天| 欧美日韩精品一区二区三区钱| 天天久久婷婷| 久天综合| 亚洲久久视频| 亚洲色情网站| 欧美影院婷婷| 久热超碰| 沈娜娜av| 亚洲旡码| 综合热无码| 亚洲小视频| 五月婷婷六月丁香综合在线| 在线婷婷| 粉嫩AV久久一区二区三区| 久久色六月| 天堂久久久久天堂网| 五月天婷婷激情四射综合| 韩国19 主播内部福利vip免费播放| 婷婷色五月开心五月| 一级性感黄色内射视频| 丁香5月综合啪啪| 五月婷婷欲色| 婷婷丁香五另类网站| 亚洲色综合| 日韩黄在免| 中文字幕人妻AV| 秋霞AV美国| 婷婷综合| 午夜做爱影院| 久久久精品人妻| 性色做爰片在线观看WW| 九九色区| 六月婷婷狠狠做| 久久婷婷五月免费视频| 这里只有精品久久| 91九色 婷婷| 深爱婷婷基地| 婷婷五月天综合在线| 亚洲综合色婷婷| 深爱网深爱综合网| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 天天天天操| 亚洲无码99| 射满了还射免费在线观看 -午夜版全集-新视觉影院 | 国产三级在线播放| 婷婷六月丁香在线| 中文乱子伦视频| 九九热99视频| ww超碰在线| 激情文学 综合 色| 婷婷99狠狠| 色墦五月丁香| 丁香五月婷婷AV| 天天综合亚洲综合| 五月丁香啪| 涩 五月 婷婷 狠狠| av 一区三区四区| www.婷婷五月天.com| 久久人妻精品| 综合天天综合| 婷婷激情在线| 日韩性爱无码| 亚州性爱99| 婷婷五月天久久久| 久久婷婷网站| 五月开心网| 亚洲偷| 色综合色色| 五月天婷婷视频| 五月婷婷五月天| 日本乱论99| 色五月六月婷婷| 日本丁香五月| 99色热视频| 天天做天天爱天天综合网| 99人人干| 丁香五月婷婷亚洲人| 日本婷色| 秋霞av不能| 五月丁香六月婷婷色| 丁香五月婷婷久久综合激情网| 狠狠激情五月天| 超pen个人视频97| 亚洲成人免费电影| 亚洲av网站| 日本A片一区| 五月婷婷五月天天| 八戒青柠影视剧在线观看| 九九热中文| 激情五月激情综合网| 婷色影院| 狠色狠色综合久久| 狠狠爱成人综合网| 久久久久久丁香五月| 最近中文字幕2019视频1| WWW,色五月| 9久精品视频| 欧美在线视频免费播放| 91肏| 五月丁香久| 99免费在线视频| 天堂亚洲 在线| 情婷婷五月天| 色 免费网站视频| 久久激情综合| 蜜桃五月天| 伊人91| 久草婷婷网| 色综合中文| 九九视频精品在线免费| www.婷婷五月| OUMEIRIHANCHENGREN| 精品五月天| 激情性五月天免费小说视频| 亚洲色色色色色色色色色| 丁香六月成人| 狠狠色综合网| 中文字幕在线不卡| 99热这里只有精品免费| 五月婷六月丁香| 九九99免费理论| 久久女伦| 少妇真实被内射视频三四区| 色色射| 国产五月天欧美色| 九九婷婷五月天影视| 手机在线日韩视频中文字幕| 国产欧美大香蕉一区| 99热这里都是精品| 天天干 夜夜爽| 五月婷婷丁香五月天| 色的色综合| 婷婷99视频精品| 五月做爱| 五月精品99综合| 99在线精品视频| 九色PORNY自拍成人精彩视频| www.av骚货| 中文字幕久久一区二区三区| 久久精彩视频18| 婷婷六月天激情| 欧美综合123区| 九九热视频在线观看| 精品无码色欲AV| 五月天久久小说| 婷婷刺激综合| 欧美色骚婷婷五月天| 激情6月| 丁香五月天激情综合| 九月丁香婷婷综合| 亚洲成人AV高清字幕| www.99情趣网| 久久综合激情五月天| 狠狠五月婷婷| 色色丁香婷婷| 婷婷丁香综合| 丁香五月天导航| 婷婷色五月综合| 另类小说色婷婷| 丁香五月天色综合| 丁香色影院| av人人干| 夜夜谢天天干| 中文字幕精品无码一区二区| 能看的AV| yazhouzonghesese| 超碰九色| 92久操视频| 这里有精品| 这里只有久久精99| 天天噜天天爱| 婷香五月| 黄色91在线观看| 97碰在线视频| 五月婷婷色综图片| 婷婷五月激情视频| 美女100%露全身无挡网站| 日本3级片一区2区| 人妻视频一区而且二区| 免费黄色片子| 亚洲综合草草| 终合激情网| 青青热久久综合| 五月天婷婷情色| 牛牛热这里只有jingpin| 天天搡日日搡aaaaⅩ| 婷婷激情欧美| 欧美激情五月综合| 国产综合网在线| 色婷婷888| 天天爱天天操| Av在线资源| 色综合丁香婷婷| 婷婷五月激情热播| 色五月丁香网| 日本色色色| 婷婷丁香六月天激情四射网| 99色视频在线观看最新| 爱草视频在线观看| 五月天综合在线网| 夜夜爽天天爽| 五月婷婷综合网| 婷婷丁香五月综合| 天天久| 色噜综| 九九九九九无码| 色婷婷九月| 五月天丁香婷婷社区| 久久丁香综合精品综合| 一区二区成人电影免费播放| 日本黄 色 片| 四川BBB搡BBB爽爽视频| 99国产精品久久久久久久久久久| 99色在线| 中文字幕黄色片| 热九九精品| 久久婷婷网| 99热精品在线| 婷婷综合成人| 久99久精品视频| 这里只有精品久久| 狼人婷婷综合| 久综合色| 欧美色五月| 亚洲综合视频网| 91色在线| 人人人操| 丁香六月啪啪| 婷婷五月天激情四射五月天激情| 一起草无码视频| 五月婷婷黄色| 婷婷五月欧美综合| 五月天玖玖狠狠色色| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 日韩aaa| 日本人人xxx| 99热99热在线| 九九精品亚洲| 亚洲永久免费| 色天堂在线| 亚洲精品国产成人AV在线| 99热色精品| 激情五月,色播五月| 欧美婷婷精品激情| 玖玖爱综合网| 色99色| 开心五月深爱五月| 新激情五月天| 精品爆操| 深爱激情中文五月天av| 天天射射夜| 久久激情五月网| 五月花综合视频| 久久丁香五月| 婷婷金品综合视频| 中国女人内射6XXXXX| 婷婷五月丁香青青草在线| 玖玖@三月天天丁香婷婷| 久久激情婷婷| 五月丁香久久综合| 丁香六月婷婷高清| 婷婷伊人网| 色婷精品91| 久9视频| 亚洲AV久久久久久久久久久久久久久久| 超碰免费人人肏| 久久婷视频| 久热久色| 丁香五月六月婷婷怡红院| 丁香六月婷婷综合| 久久综合五月天| 伊人狼人干| 婷婷丁香五月天影院 | 久久婷婷人人| 久久奄也去色色网站| 亚州精品久久久久AV无码| 五月婷婷啪啪| 丁香五月综合| 丁香五月天社区婷婷| 中文字幕,综合,91| 成人精品一区二区三区四区五区 | 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 久色激情| 婷婷色色播五月天| 91九色国产在线| 国产亚洲成AV人片在线观黄桃| 婷婷在线五月综合| 中文字幕在线免费观看视频| 狠狠操.COM| 婷婷五月大香蕉| 男女啪啪做爰高潮无遮挡| 综合久久综合五月天婷婷| 天天肏视频| 五月婷婷狠狠干| 九九热黄色| 91av视频| 天天干夜夜操A片| 婷婷天天日婷婷| 亚洲超碰在线| www.色9| 久久久久久综合五月婷婷| 婷婷九月丁香| 色婷婷久久7777| 99免费成人网| 操逼视频一区| 97自拍视频网| AV 3P| 婷婷的99视频网站| 四川操逼站| 五月丁香婷婷国产精品综合| 色五月天丁香| 婷婷五月丁香A∨| 欧美婷| www.激情五月| 丁香五月人妻| 激情深爱综合网| 亚洲视频在线观看| 国产成人网址| 伊人网碰碰| 色五月激情图片| 日本精品。999| 五月婷婷AV| 97爱综合| 天天操天天操天天操天天操天天操天天操| 极品少妇XXXX精品少妇偷拍| 色噜噜综合网| 亚韩在线视频| 99毛片| 色五月丁香婷婷| 色99综合色88| 这里只有精品99www| 99热这里只有精| 丁香婷婷六月天| 天天弄天天操| 婷婷久久18| 99这里只有精品99| 婷婷丁香五月社区亚洲| 丁香丝袜五月| 色狠狠婷婷| 天天艹天天色| 日本不卡一区二区三区| 人人舔人人色人人高潮| 激情综合网激情五月天| 亚洲俩性性爱图片久久第六页| 99久久婷婷国产综合精品草原| 日韩精品超碰在线观看| 亚洲XX网| 日韩AV免费看| 亚洲成av人影院| 91狠狠综合久久久久久| 开心五月综合激情网| 狠狠狠狠狠干| 噜噜精品| 色五月天综合网| 五月天激情综合10p| 婷五月天在线草| 色婷婷五月开心六月综合| 在线另类视频| 婷婷99视频精品| 黑人熟妇一区二区三区| 久久天堂精品| 9 99免费视频| 99九九玖玖| 精品99在线看| 五月婷啪啪| 26uuu精品一区二区| 大香蕉大香蕉在线影院| WWW免费视频碰碰碰碰| 思思热99热| 激情开心五月天| 草草影院爱爱| av五月天婷婷丁香| 九九99在线视频| www久久久久久久97| 婷婷五月色| 婷婷丁香六月| 五月天激情视频网站| 亲子乱av一区二区三区的| 六月婷婷色综合| 9久久久久| 久久久婷婷婷| 91狠狠综合久久久| 免费黄色视频网址| 久99999热视频在线观看免费| 国产五月视频| 伊人大香久久| 色色激情网| 婷激情五月天视频导航| 丁香六月天色婷婷| 天天狠狠夜夜狠狠2023| 伊人干综合| 在线播放成人网站| 色99久草在线| 亚洲色图五月丁香| 五月天色婷好好| 99er在线观看| 99综合网| 超碰久热| 九九成年视频| 丁香婷婷啪啪| 丁香五月综合在线播放| 四月丁香五月婷婷久久| 色色色999| 人妻体体内射精一区二区| 9热超碰| 欧美性猛交99久久久99| 99久久99热| 五月婷婷激情综合视频| 91色色色18| 专区无日本视频高清8| 亚洲成人在线观看网址| 91久久1118| 五月天激情婷婷丁香| 无码动漫av| 最近中文字幕大全免费版在线| 伊人超碰在线| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 另类综合国产| 亚洲激情综合| 婷婷综合在线视频| 多精窝99在线视频| 国产婷婷综合| se色婷婷视频| 一级黄色影片| 狠狠操狠狠操AV| 久久XX| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 亚洲AV色婷婷人禽五月天| 操人91| 丁香五月色激情| 天天日天天舔天天摸| 色婷婷视频综合| 色偷偷综合| 99热九九在线| www.夜夜騎夜夜狠| 激情五月天婷婷丁香| 97超碰在线观看免费| 婷婷五月丁香狠狠| 玖玖综合色| 亚洲欧洲一二| 天天透天天摸天天舔| 色五月天综合网| 婷婷色偷拍| 婷婷网五月| 五月丁香啪啪网| 美欧日韩国产成人在战| 国产午夜一区二区三区| 岛国在线观看91| 婷婷欧美激情综合| 久99久视频| 婷婷五月网图片区| 26uuu最新地址| 91妻人人爽人人看片| 超碰三级秋霞| 天天综合在线网| 影视av久久久噜噜噜噜噜三级| 深情五月天| 91久女| 久久人妻情侣| 超碰v| 婷婷,五月天,丁香,第一| 综合99综合久久久久久久| 日韩有码一区| 怡红院视频| 亚洲AV无码电影| 五月婷婷精品无在线| 国产性爱在线| 青青草婷婷综合五月| 99精品视频在线观看| 超黄亚洲瑟瑟网站| 99综合免费视频| 99er这里只有精品视频| 五月婷婷啪啪| 色色婷| jiqingliuyuetian| 色婷婷色和| 色色哒五月婷婷六月丁香| www.丁香六月婷婷久久天堂影院.con| 插插干干干色| 麻豆WWWCOM内射软件| 婷婷六月丁香激情综合| WWW.国产| 五月综合激情综合久| 8090在线影视少妇| 岛国av电影网站| 午夜天天精品视频| 婷婷五月花西瓜| 婷婷五月丁香国产| 五月婷婷视频在线观看| www.com色播五月天| 五月丁香影院| 五月婷婷激情久久| 久久性爱视频网站| 综合五月草 | 99热亚洲精品| 99热热这里只精品996小说| 色小说五月天| 色色丁香五月天| av在线资源| 五月婷婷六月丁香激情综合网| 成人av在线网址| 97碰在线视频| 久久精品99国产精品日本| 五月婷婷开心色伊人| 久久久久久99日本| 色五月色五天免费视频| www.五月婷婷久久.com| 综合网五月| 婷婷激情综合网| 婷婷中合| 9热视频在线观看| 日韩色色色色色| 激情性爱五月天网页| 深爱五月日韩| 97久久超碰| 婷婷久久五月天| 伊人啪啪网| 免费看片在线观看| 久久五月情| 伊人激情啪啪| www色婷婷久久综合久色| 岛国AAAV| 久久久性爱视频| 午夜九九电影| 91久草五月天婷婷| 99精品网| 午夜做爱影院| 开心久久xxx色| 日本在线播放97| 天天综合网91| 丁香六月婷婷姐网| 九九热中文| 香蕉AV777XXX色综合一区| 蜜乳中文字| 五月婷婷丁香啪啪| 亚洲日比视频| 人妻无码精品一区| 五月丁香六月婷婷婷婷| 伊人干综合| 久久R激情| 五月天婷婷激情小说电影| 婷婷日日天天| 亚洲第一黄网| 91/九色黑人| 丁香五月影院| 五月婷婷丁香网| 日本操片| 人与禽A片啪啪| 欧美性猛交99久久久99| 久久成人精品视频| 99精品自拍视频| 婷婷丁香精品视频在线观看| 亚洲激情AV| 五月丁香婷婷五月| 激情图片婷婷| 日韩啪啪自拍| 久久色大香蕉| 99色网站| 激情99| 国产熟女日日骚五月丁香爱| 婷婷成人综合| yazhochengrenavwang| 六月丁丁香| 色香欲综合| 人妻在线中文字幕久久| 欧美色色色色色色色色色色影视| 亚洲精品婷婷| 色在线99| 99热这里只有精品国产首页| 九九视频这里是精品五月| 99干99| 91在线看片| 激情综合亚洲| 五月婷婷久久综合| 婷婷色情网| 欧美丁香婷婷五月天| 婷婷五月天天| 天天日天天做天天舔| 91好好热日本在线| 亚洲视频在线网| 北京熟妇搡BBBB搡BBBB| 亚洲激情网| 九九这里是免费的视频5| www色婷婷com| 伊人9999| 色青青视频| 欧美va亚洲va| av在线资源| 日韩性视频| 99操99| 五月婷婷啪啪啪| 99色| 欧美成人精品一区二区| 亚洲精品小视频| 婷婷五月天激情综合深爱| 天天色综合色| 夜夜操狠狠操天天操| henhencao国产在线| sisi热国产| 日本女天天爽| 亚洲精品网站色视频| 五月色婷婷影院| 五月天激情网址| 色婷婷综合久久久久| 超碰在线观看9| 91操人视频| 婷婷综合激情五月中文字幕| 激情深爱婷婷网| 天天舔天天摸天天射| 丁香六月 婷婷六月| 婷婷六月网| 婷婷激情综合网| 丁香五月婷婷成人网| 怡红院一二三| 婷婷五月天狠狠色| 色丁香五月| 激情视频网址| 欧美色必爱| 欧美啪啪9| 在线99热| 激情婷婷另类| 开心激情网在线| yellow视频在线观看91| 日本熟女内射| 99久热| 99热免费观看| 久久久久亚洲AV综合| 午夜激情久久| 九九色之九九色88| 亚洲人成网亚洲欧洲无码久久| 婷婷六月婷婷| 免费观看欧美成人AA片爱我多深 | 淫荡综合网| 国产偷人妻精品一区| 婷婷久久综合久| A短视频免费在线观看| 丁J香六月首页| 激情综合婷婷| caopeng97日韩| 综合色影院| 亚洲乱码精品久久久久..| 超极99精品| 黄色成人网站在线播放| 久久这里只有精彩| 综合激情五月天六月婷免费视频| 综合激情婷婷| 久久久国产精品黄毛片| 五月天综合久久丁香91| 久热这里只有国产| 婷婷五月丁香综合激情| 高清无码网址| 亚洲综合色激情色五月| 永久的网站AAAA | 五月婷在线观看| 六月丁香婷婷六月激情综合| 天天综合中文| 欧美性猛交 XXXX 乱大交| 潮汕成人AV片在线| 狠狠色丁香久久久婷| 玖玖资源站中文| 热久精品| 久久五月天激情婷婷| 丁香婷婷色| www激情网| 玖玖热视频| www.99在线| 五月丁香综合激情网| 婷婷久久婷婷色五月| 很很干夜夜干| 少妇高潮呻吟A片免费看软件| 国产精品国产| 丁香五月天视频在线播放| 色久综合| 日本人人干| 久久精品亚洲一级牲爱综合| 天天做天天爱天天爽| 婷婷第一页| 婷婷五月天美女视频| 五月天激情国产综合婷婷婷| 99视频| 99这里有精品| 婷婷色五月大香蕉在线观看| 欧美激情五月| 色九月婷婷| 91碰在线| 婷婷激情视频欧美视频自拍视频欧美剧| av在线资源| 丁香五月激情综合| 久色大| 五月丁香亭亭A片| 五月丁香亚洲综合网| 99操逼| 九久久精品视频99| 97婷婷五月| 色噜噜综合网| 99热在线观看免费中文| 色色色五月婷| 欧美婷婷色五月网| 九九亚洲视频| 五月综合激情啪啪啪啪啪| Xx色综合| 99热最新| 亚洲成人网在线观看| 丁香六月婷婷色XXXXX| 殴美97色| 五月草影视| 一本色综合色| 亚洲色色色色| 国产偷人爽久久久久久老妇APP| 青青草原中文字幕| 五月婷婷六月天| 国内9l视频自拍老熟女九色| 五月综合色播播丁香婷婷| 丁香婷婷久| 六月丁香激情综合| 操逼综合激情网| 日韩九九| 97操男人的天堂| 天天干天天插| 日本人人干| 丁香五月婷婷偷拍| 99欧州偷拍视频| 亚洲丁香五月天视频| 超级久久久| 99精品在线| 日本久久99久久| 操逼巨乳91| 色噜噜综合网| www.99热| 99热在线免费观看精品| 日韩久久成人| 79精品在线视频| 国产在线aaa片一区二区99| 欧美色小说婷婷| 狠狠噪| AV性爱在线| 色播五月天婷婷老师| 成人网站免费在线播放| 开心婷婷五月天综合| www超碰| 丁香五月日本| 丁香97综合| 激情深爱五月天| 久9热在线视频| 另类少妇人与禽zOZZ0性伦| 五月丁香婷婷久久| 国产AV成人精品| 亚洲综合狠狠艹| 丁香五月先锋| 91日韩在线| 九月婷婷综合八月丁香在线观看| 99久久婷婷国产综合精品电影| 婷婷成人五月天成人文学小说| 秋霞少妇毛片| 色婷婷五月在线| 久久黄A片| 成人做爰黄A片免费看直播室男男| 久久久久久丁香五月| 9l视频自拍九色9l视频在线观看| 久久丁香| 色综合久久88色综合中文字幕| 久久全色| 丁香婷婷大香蕉| 九九草热在线观看| 殴美97色| 99操碰| 丁香五月在线观看综合| 噜噜噜噜噜色| 色婷婷性爱| 久久99热这里只有精品| 人人爽在线视频综合网| 天天射色五月天| 九九av| 九月色婷婷综合| 日韩人妻无码专区| 激情图片亚洲| 色综合久久99色| 婷婷五月综合在线视频| av无码电影| 久热免费视频| 久久久.COM| 色婷五月天网站| 六月久久婷婷| 色天使久久综合| 操操碰| 九九精品视频在线6| 亚洲精品色色| 婷婷五月成人| 少妇搡BBBB搡BBB搡毛茸茸 | 夜夜www| 国产操B视频| 91久久日日| 99性爱视频| 久久婷婷五月综合伊人| 99爱免费视频在线观看| 色10月婷婷视频| 九九re精品视频在线观看| 字幕网AV中文字幕| 久久精彩视频| 91精品在线看| 丁香五月色欲| 婷婷五月天激情视频| 99久久99视频只有精品| 亚洲第二AV| 婷婷五月五月丁香| 免费看欧美成人A片无码| 99免费| 热这里| 久久午夜理论| 人妻性爱| 色五月天激情| 五月丁香婷草| 激情五月天99色| 九色综合网| 1024在线一区| 国产精品a无线| 婷婷五月天综合AV| 激情五月丁香亭亭| 亚洲色情网站| 插插五月天| 五月综合在线婷婷图片| 丁香五月自拍| 久久网址99热| 激情五月天色色色| 色色色五月天激情资源| 奇米色大香蕉| 99人妻碰碰久久久禁片| 狠狠色婷婷7777久| 色999;丁香五月| 大香蕉九九| 79精品视频在线观看,| 日日夜夜天天综合| 九热精品| 97碰碰在线看视频免费| 综合99久久天天综合| 久久久性爱视频| www.99热这里精品| 深爱激情丁香五月| 天插天啪天啪天啪| 日韩av大全| 99日这里只有精品| 996热re视频精品视频这里| 丁香伊人激情| 国产精品婷婷午夜在线观看| 丁香五月在线视频黑人| 大狠狠在线| 天天天天天日| 丁香六月婷婷久久综合| 伊人五月成人| 丁香五月亚洲| 美欧日韩国产成人在战| 亭亭色网| 中文字幕av久久爽一区| 综合色99| 极品人妻VIDEOSSS人妻| 中文字幕网伦射乱中文| www.色色色com| 色蜜婷婷| 97热这里精品在线视频| 色情丁香五月婷婷精品| 婷婷丁香五月天综合AV| 五月丁香亚洲五月| 99re在线这里只有精品视频首页| 裸体美女丁香五月天。| 狠狠色综合网| 天天干,夜夜爽| 久久久99精品免费观看| 午夜色丁香| 五月天婷婷色在线视频免费观看| 婷婷五月丁香综合激情| 婷婷激情五月天网站| 婷婷五月天激情五月天| 五月天婷久精视频| 久久东京热婷婷五月| av国产精品| 丁香社92视频| 五月丁香亭亭操逼| 激情五月综合免费| 亚洲色视频| 久久大香蕉同僚| 婷婷五月色播| 五月黄色婷婷| 99在线精品视频免费| 婷婷五月丁香基| 美女天天爽| 99热官网| 超碰伊人碰婷婷五月| 五月丁香久久网| 成人性爱精品视频| 丁香六月婷婷综合| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 午夜日韩久久久网站| 大香蕉免费9| 婷婷五月天激情小说| 色五月丁香五| 啊V视频在线观看| 五月激情婷婷六月丁香| caopeng超碰| 久草五月天| 免费看欧美成人A片无码| 色99xx| 婷婷丁香六月综合激情站| 久久久人妻门| 激情99| 婷婷伊人五月丁香天堂网| 狠狠人人| 激情综合色图| 色色色色色色色色色影院| 大香蕉伊人爱在线| 亚洲色vA| 激情综合婷婷| 日本三级日本黄色| 日本一毛片| 五月丁香婷婷福利| www.99热视频| 九九热123| 人人干人人干骚美女| 99爱无码| 久久这里只有精品8| 五月婷婷婷| 婷婷激情五月天小说校园| 久久狠狠干| 91九九九色在| 五月丁香六月婷婷综合免| 亚洲中文av| 天天射色五月天| 色婷婷色五月丁香| 99亚洲精品| 欧美色色色色色| 婷婷色情六月| 亚洲亚洲人成综合网络| 狠狠干综合| 黄色AV日韩| 色婷婷影音| 天天操天天操| 97人人草| 丁香五月婷婷婷婷欧美综合| 五月婷婷五月色| 欧美性猛交XXXX乱大交极品| 91久久久久久久久| 五月丁香六月综合激情| 婷婷五月在线影院| 亭亭五月基地在线| 婷婷五月丁香久久| 丰满少妇猛烈A片免费看观看| 丁香丁香激情网| 天天操天天操天天操天天操天天操 | 婷婷五月天AV网| 91碰碰视频| 色级婷婷| 色爱亚洲| 色色热日| 激情五月婷婷六月丁香| 色色欧美。| 久久这里只有精品16| 日韩黄在免| 五月婷婷九月婷婷九月婷婷| 亚洲综合激情五月久久| 亚洲在线综合| 五月婷婷色| 日韩一66精品| 国产乱子轮XXX农村| 五月丁香婷婷五月色|