欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

TFLite算子注冊與Delegate接管機制:從FindOp到執(zhí)行計劃替換全解析

TFLite算子注冊與Delegate接管機制:從FindOp到執(zhí)行計劃替換全解析 如果你在移動端或者嵌入式設備上跑過 TensorFlow Lite大概率見過下面這類報錯Didnt find op for builtin opcode BATCH_MATMUL version 3或者遇到更費解的情況模型在 PC 上推理一切正常換到某個硬件板子上就提示 custom op 找不到再或者你興致勃勃接了一個硬件 delegate結果日志顯示一個算子都沒被接管推理速度紋絲不動。這些問題背后指向的是同一個機制TFLite 的算子注冊機制。你想真正定位這類問題就得順著FindOp這條路一直摸到Delegate。這篇文章我會從模型里算子的存放方式講起一路拆到OpResolver的查找邏輯再講清楚 delegate 接管執(zhí)行計劃時到底發(fā)生了什么最后給一個可以跑的最小 custom delegate 示例和一套排錯思路。內容包括算子模型文件結構、TfLiteRegistration內核接口、FindOp查找路徑、版本匹配邏輯、BuiltinOpResolver與MutableOpResolver的使用場景、ReplaceNodeSubsetsWithDelegateKernels的執(zhí)行鏈以及手寫 delegate 的常見坑。適合在部署 TFLite 模型、接入 GPU/NPU 加速、或者要寫自定義算子的人看。1. 先明確“算子”在 TFLite 里的三個身份模型描述、運行時節(jié)點、執(zhí)行內核很多人在排查算子問題時會卡住是因為沒分清楚“算子”這個詞在不同階段指的是不同東西。模型文件里有一個 operator加載進解釋器后它變成一個執(zhí)行節(jié)點真正運算時它又對應一份內核代碼。這三個身份是同一份數(shù)據(jù)在不同環(huán)節(jié)的投影理解它們的對應關系后面所有問題都好辦了。1.1 模型文件里算子是怎么存放的TFLite 模型是 flatbuffer 格式。整個模型頂層有一張operator_codes表這張表可以理解為“算子字典”table OperatorCode { builtin_code: BuiltinOperator; custom_code: string; version: int; }每個 SubGraph 里有operators數(shù)組數(shù)組里每一個Operator都通過opcode_index指向operator_codes里的某一個條目同時記錄自己的輸入輸出張量索引table Operator { opcode_index: uint; inputs: [int]; outputs: [int]; }這種設計最直觀的意義是省空間一個模型里哪怕用了 50 次 ADDoperator_codes表里也只存一條 ADD 描述50 個算子節(jié)點都指向它。更關鍵的是版本信息只存一份——所有同類型算子在轉換時會被統(tǒng)一寫成一個版本號。這里有個容易忽略的點builtin_code是枚舉值custom_code是字符串。內置算子走枚舉自定義算子走字符串TFLite 運行時查找這兩類算子的方式完全不同后面我會針對這一點展開。1.2 加載模型后每個節(jié)點都要“點名”當你創(chuàng)建Interpreter時必須傳入一個OpResolvertflite::InterpreterBuilder(/* model */, resolver)(interpreter);這個 resolver 就是整本“算子花名冊”。Interpreter 在初始化階段會遍歷每個 subgraph 的每個 operator拿著模型文件里的算子描述去 resolver 里“點名”——找對應的內核注冊信息。點名失敗整個模型加載就會失敗錯誤信息形如Didnt find op for builtin opcode X version Y registration failed一個容易被忽視的細節(jié)是點名發(fā)生在Prepare階段之前。也就是說即使某個算子參數(shù)完全合法、輸入輸出形狀也配得上只要 resolver 里沒有它的注冊項模型就跑不起來。注冊表決定了解釋器“認識”哪些算子而不是“會算”哪些算子。1.3 TfLiteRegistration四個函數(shù)指針就是內核的全部resolver 里查到的注冊信息類型是TfLiteRegistration。結構主體是四個函數(shù)指針typedef struct TfLiteRegistration { void* (*init)(TfLiteContext* context, const char* buffer, size_t length); void (*free)(TfLiteContext* context, void* buffer); TfLiteStatus (*prepare)(TfLiteContext* context, TfLiteNode* node); TfLiteStatus (*invoke)(TfLiteContext* context, TfLiteNode* node); int32_t builtin_code; const char* custom_name; int version; } TfLiteRegistration;用生活化的方式理解這四個函數(shù)init給這個算子實例分配私有狀態(tài)相當于入職時領取工位和電腦。free銷毀狀態(tài)相當于離職時歸還設備。prepare根據(jù)輸入張量形狀推導輸出張量形狀為真正的計算排好班。invoke執(zhí)行實際計算相當于正式干活。以 ADD 為例prepare會讀取輸入張量的 shape給輸出張量也分配同樣的 shapeinvoke才真正逐元素相加。模型里一條builtin_code kTfLiteBuiltinAdd的算子運行時對應到這樣一份TfLiteRegistration四個函數(shù)指針指向 ADD 內核的不同實現(xiàn)函數(shù)。所以在排查算子問題時我習慣先問一個問題問題出在“花名冊里沒這個人”還是“這個人能力不行 prepare 失敗”還是“干活時踩坑 invoke 出錯”三類問題的報錯位置和排查手段完全不同。搞清楚這一點比一頭扎進源碼里翻找有效得多。2. 順著 FindOp 走一遍內置算子的數(shù)組表、自定義算子的哈希表、版本匹配邏輯點名動作的核心就是FindOp。它不是一個普通函數(shù)而是OpResolver基類里定義的兩個虛接口分別應對內置算子和自定義算子class OpResolver { public: virtual ~OpResolver() {} virtual const TfLiteRegistration* FindOp(BuiltinOperator op, int version) const 0; virtual const TfLiteRegistration* FindOp(const char* custom_op, int version) const 0; };注意這里有個容易誤解的點FindOp的返回值是一個注冊結構體的指針。解釋器拿這個指針去調用對應的函數(shù)而不是自己復制一份代碼。這也意味著如果 resolver 在運行期間生命周期提前結束指針懸空會導致崩潰。Android 的 JNI 封裝里如果沒有把 resolver 和 interpreter 綁定好經(jīng)常會出現(xiàn)這種“偶發(fā)段錯誤”。2.1 內置算子的查找路徑builtin_code 當數(shù)組下標BuiltinOpResolver是使用頻率最高的 resolver 實現(xiàn)它的內部組織方式很簡單粗暴——一張按BuiltinOperator枚舉值索引的靜態(tài)數(shù)組或者一組按枚舉值組織的注冊表。查找內置算子時邏輯大致如下const TfLiteRegistration* BuiltinOpResolver::FindOp( BuiltinOperator op, int version) const { // 按枚舉值查表再校驗版本 const TfLiteRegistration* registration LookupBuiltin(op); if (!registration) return nullptr; if (registration-version ! version) return nullptr; return registration; }也就是說內置算子查找的核心是兩個匹配條件builtin_code枚舉值相等version版本相等。這里分享一個實操經(jīng)驗不同 TFLite 版本的BuiltinOperator枚舉值不是穩(wěn)定的。舊版運行時拿到新版轉換器生成的模型很可能在枚舉值重排后指向了錯誤的注冊項或者直接查不到。所以我從不在生產環(huán)境里做“TFLite 運行時版本比模型轉換版本低一點點”這種將就——寧可升級依賴也不要賭枚舉值沒變。2.2 版本匹配為什么經(jīng)常被忽略OperatorCode里有version字段TfLiteRegistration里也有version字段。查找時解釋器會把模型文件里的版本號傳給FindOpresolver 內部再做比對。同一個算子有多個版本通常意味著行為有細微差異。比如某些算子新版支持了廣播、或者補了精度問題、或者換了更優(yōu)的計算策略。模型轉換器會根據(jù)模型的實際使用方式選擇一個版本號寫進文件而運行時的注冊項也有自己的版本號。兩者對不上就報Didnt find op for builtin opcode MUL version 3這里的 “version 3” 指的是模型里期望的算子版本。報錯含義是resolver 里能找到kTfLiteBuiltinMul的注冊項但找不到version 3的那個。一個常被踩的坑是高版本 convert 出來的模型拿到低版本 TFLite 上運行。新版框架可能因為支持了新算子語義就把某個算子的默認版本號抬高了舊運行時沒注冊這個版本直接拒絕加載。排查這類問題最直接的辦法查一下當前 TFLite 版本對應的算子版本映射表或者干脆把tflite依賴升級到和模型轉換環(huán)境一致的版本。2.3 自定義算子為什么走字符串匹配自定義算子在模型文件里沒有枚舉值可用只能靠custom_code字符串標識。FindOp(const char* custom_op, int version)的查找路徑本質就是一次unordered_map的字符串查找auto it custom_ops_.find(std::string(custom_op)); if (it custom_ops_.end()) return nullptr; if (it-second.version ! version) return nullptr; return it-second;和內置算子最大的區(qū)別在于字符串是精確匹配大小寫敏感猶豫一點都不行。轉換腳本里寫的名字是MyCustomOp注冊時寫的mycustomop結果就是找不到。很多人問為什么自定義算子的報錯信息里沒有給出版本不匹配的提示而是直接說 “Didnt find custom op”。因為unordered_map只按字符串找字符串都沒命中版本號自然沒機會參與比較。所以排查自定義算子問題時第一件事永遠是確認模型里的字符串和注冊時的字符串一字不差。另外注冊自定義算子用的接口通常是resolver.AddCustom(MyCustomOp, custom_registration, 1);第三個參數(shù)就是版本號。如果你后續(xù)改了自定義算子的實現(xiàn)并提升了版本號舊模型兼容性會立刻下降轉換新模型時也要注意保持寫進模型的版本和注冊版本一致。3. OpResolver 這套抽象的實際價值裁剪、替換和動態(tài)注冊看到這里你可能會問為什么 TFLite 不直接把所有算子都內置到解釋器里非要繞一圈通過 resolver 去找答案藏在一個現(xiàn)實需求里TFLite 的目標環(huán)境太碎了。從手機到單片機從幾百兆內存到幾百 KB 內存的 MCU全量算子對服務端框架沒問題對端側嵌入式環(huán)境就是災難。注冊機制的價值在于把“解釋器核心”和“算子實現(xiàn)”解耦讓上層按需攜帶、按需替換。3.1 BuiltinOpResolver 和 MutableOpResolver 的差別BuiltinOpResolver就是前面說的“全量花名冊”所有 TFLite 內置算子都注冊在里面。好處是省心壞處是二進制體積大——如果你只需要 MINIMAL 推理背上全套算子顯然吃虧。MutableOpResolver是運行時可變的 resolver支持AddBuiltin和AddCustom動態(tài)增加注冊項。兩者對比如下項目BuiltinOpResolverMutableOpResolver注冊范圍編譯期間全量內置算子運行期按需添加自定義算子需要繼承后 override 或配合使用直接 AddCustom二進制體積較大只包含實際注冊的內核適合場景原型驗證、通用部署裁剪包體、插件化架構實際項目里我更多是組合使用先用BuiltinOpResolver兜底再額外AddCustom自己寫的算子。但如果是做嚴格裁剪的固件就會自己繼承OpResolver只暴露模型里真正出現(xiàn)的那幾個算子。3.2 裁剪二進制體積的實際姿勢假設你的模型只有 ADD、CONV_2D、RELU那完全可以寫一個精簡 resolverclass LiteResolver : public tflite::OpResolver { public: LiteResolver() { AddBuiltin(tflite::BuiltinOperator_ADD, tflite::ops::builtin::Register_ADD()); AddBuiltin(tflite::BuiltinOperator_CONV_2D, tflite::ops::builtin::Register_CONV_2D()); AddBuiltin(tflite::BuiltinOperator_RELU, tflite::ops::builtin::Register_RELU()); } const TfLiteRegistration* FindOp(BuiltinOperator op, int version) const override { return GetBuiltinRegistration(op, version); } const TfLiteRegistration* FindOp(const char* custom_op, int version) const override { return GetCustomRegistration(custom_op, version); } };這個思路再加一層編譯選項配合內核源碼只編譯需要的目標文件能明顯壓縮體積。關鍵是你要先知道模型里到底用了哪些算子——別靠猜直接寫個小腳本遍歷model.operator_codes打印出來就行。3.3 和 FlexDelegate 的配合算子在 TFLite 和 TensorFlow 之間銜接還有一種情況模型里混了 TensorFlow 算子和 TFLite 算子。TFLite 轉換器遇到不支持的標準 TF 算子時如果打開了allow_custom_ops或經(jīng)過一定配置可能會把它保留成自定義算子名字通常帶Flex前綴。這些 Flex 算子不會被BuiltinOpResolver找到需要專門的FlexDelegate來接管。這個 delegate 本質上還是一個通過自定義算子名注冊的機制——解釋器先通過 custom op 的字符串把它標記出來再由 delegate 在運行時調用對應的 TensorFlow Lite Flex 內核。所以嚴格來說一個模型里可以有三種算子來源純內置算子、純自定義算子、由 delegate 支持的算子。理解FindOp只能解決前兩種遇到第三種時要看 delegate 的接管路徑這正是下一節(jié)的重點。4. Delegate 接管執(zhí)行計劃的完整邏輯ModifyGraphWithDelegate 到節(jié)點替換Delegate是 TFLite 里被誤解最多的機制之一。很多人以為 delegate 是“繞過 FindOp 直接走硬件”這個說法不準確。準確的理解是delegate 在 FindOp 之后把已經(jīng)解析好的節(jié)點子圖從執(zhí)行計劃里摘出來交給另一個內核執(zhí)行。4.1 從 ModifyGraphWithDelegate 開始的調用鏈常規(guī)接入 delegate 的代碼長這樣TfLiteDelegate* delegate CreateMyDelegate(); interpreter-ModifyGraphWithDelegate(delegate);ModifyGraphWithDelegate內部會按順序做幾件事遍歷當前執(zhí)行計劃里的所有節(jié)點。調用 delegate 的Prepare回調。Prepare內部決定要接管哪些節(jié)點并調用核心替換函數(shù)。TFLite 把被接管節(jié)點重構成一個或多個 delegate kernel 節(jié)點。后續(xù)執(zhí)行時遇到 delegate kernel 節(jié)點就調用 delegate 內核的invoke。這里的“執(zhí)行計劃”可不是模型文件里的算子順序。TFLite 在內部會做張量生命周期優(yōu)化、內存復用、節(jié)點重排GetExecutionPlan拿到的節(jié)點順序可能和模型里的 operator 順序不一致。寫過 delegate 的人多半都踩過這個坑你按模型里的 operator 順序去對接管節(jié)點結果發(fā)現(xiàn)執(zhí)行計劃里的節(jié)點編號完全對不上。4.2 TfLiteDelegate 和 Prepare 回調delegate 本身是一個結構體關鍵字段和函數(shù)指針如下略去平臺相關字段typedef struct TfLiteDelegate { void* data_; TfLiteStatus (*Prepare)(TfLiteContext* context, TfLiteDelegate* delegate); // ... buffer handle 相關函數(shù)指針 } TfLiteDelegate;Prepare是整個 delegate 的靈魂。TFLite 執(zhí)行ModifyGraphWithDelegate時會回調它而它要做兩件事決定接管哪些節(jié)點、調用替換函數(shù)把節(jié)點子圖換掉。TfLiteContext提供了兩個關鍵接口用于遍歷節(jié)點TF_LITE_ENSURE_STATUS(context-GetExecutionPlan(context, execution_plan)); TF_LITE_ENSURE_STATUS(context-GetNodeAndRegistration( context, node_index, node, registration));拿到node和registration之后registration-builtin_code或registration-custom_name就是判斷是否該接管的依據(jù)。比如想接管 ADD就判斷registration-builtin_code kTfLiteBuiltinAdd。4.3 ReplaceNodeSubsetsWithDelegateKernels 是真正的開關判定完節(jié)點后最核心的一步是調用context-ReplaceNodeSubsetsWithDelegateKernels( context, delegate_kernel_registration, nodes_to_replace, delegate);nodes_to_replace是一個整數(shù)數(shù)組元素是執(zhí)行計劃里的節(jié)點下標。這個函數(shù)做的事情可以理解為TFLite 拿著這份名單把節(jié)點集合重新組合成一個或多個連通的子圖然后每個子圖變成一個“delegate kernel”節(jié)點插入執(zhí)行計劃。被替換之后原算子的TfLiteRegistration不會被銷毀它的 inputs、outputs、原始注冊信息仍然保留在模型運行時數(shù)據(jù)結構里。但它的invoke不會在 CPU 內核路徑上被調用了——執(zhí)行計劃已經(jīng)指向 delegate kernel 的注冊信息后續(xù)跑的是你傳入的delegate_kernel_registration.invoke。這里有個容易誤會的點delegate kernel 的invoke不是逐算子調用的而是按子圖調用的。如果你接管的子圖里有 10 個算子你的invoke會被調用一次內部需要負責把這 10 個算子的計算統(tǒng)一調度到硬件后端。這也是為什么 delegate 能跨算子做融合優(yōu)化——它看到了整塊子圖可以做算子融合、緩沖區(qū)復用而不只是把單個算子搬到別的硬件上執(zhí)行。4.4 真實項目里 delegate 的常規(guī)用法最常見的三個 delegate正好代表了三種不同的接入方式Delegate覆蓋范圍典型用法NNAPIAndroid 上的 CPU/GPU/DSP/NPUtflite::StatefulNnapiDelegate delegate(options);GPU delegateiOS/Android 上浮點模型整圖加速TfLiteGpuDelegateV2Create(options);XNNPACK浮點算子的 CPU 優(yōu)化通過 interpreter options 自動啟用以 NNAPI 為例簡單接入是這樣#include tensorflow/lite/delegates/nnapi/nnapi_delegate.h tflite::StatefulNnapiDelegate::Options options; tflite::StatefulNnapiDelegate delegate tflite::StatefulNnapiDelegate(options); interpreter-ModifyGraphWithDelegate(delegate);而從 TFLite 2.x 之后的版本開始XNNPACK delegate 往往在創(chuàng)建 interpreter 時通過experimental_op_resolver_type或默認設置就參與進來了甚至不需要手動創(chuàng)建 delegate 對象。這些成熟 delegate 能加速跑通底層依賴的就是 4.2 和 4.3 說的這套機制。理解透替換鏈路后你會明白兩個關鍵結論FindOp 不決定 delegate 能否接管某個算子。delegate 判斷的依據(jù)是TfLiteRegistration.builtin_code/custom_name即使 CPU 內核根本不存在delegate 也能在 Prepare 階段把它接管走前提是你的 delegate 后端真的能執(zhí)行它。找得到的算子不一定走 CPU找不到的算子也不一定會加載失敗。這和“resolver 里有沒有注冊”是兩套獨立邏輯只是在實際執(zhí)行計劃里交織在一起。4.5 delegate Prepare 失敗后的策略如果 delegate 在Prepare階段遇到不支持的節(jié)點組合策略TFLite 的處理方式取決于 delegate 自己。有的 delegate 會在內部做回退把部分節(jié)點留在 CPU 執(zhí)行有的干脆整體失敗讓解釋器進入錯誤狀態(tài)。實際項目中我見過最典型的場景模型里混了 float 和 quantized 算子GPU delegate 只支持其中一部分如果設置成嚴格模式strictPrepare 階段直接失敗設置成寬松模式就能部分接管剩下回落到 CPU。這也是為什么“接入了 delegate 但速度沒提升”不一定是你代碼寫錯可能只是你允許了 delegate 部分接管。這個判斷點很重要在動代碼之前先確認 delegate 的 options 配置。5. 手寫一個最小 custom delegate把 ADD 算子從 CPU 內核手里接過來理論鋪墊夠了現(xiàn)在做一個能跑的最小 demo寫一個只接管 ADD 算子的 custom delegate。這個 demo 的執(zhí)行邏輯其實就是用 C 代碼逐元素相加本質上和 CPU 內置內核做的事一樣價值在于讓你完整看到“節(jié)點匹配、子圖替換、后端調度”三段流程長什么樣。5.1 定義 delegate 和 Prepare 回調// demo_delegate.h #ifndef DEMO_DELEGATE_H_ #define DEMO_DELEGATE_H_ #include tensorflow/lite/c/c_api.h #include tensorflow/lite/c/common.h namespace demo { bool IsAddNode(const TfLiteNode* node, const TfLiteRegistration* registration) { return registration-builtin_code kTfLiteBuiltinAdd; } TfLiteStatus DemoDelegatePrepare(TfLiteContext* context, TfLiteDelegate* delegate) { TfLiteIntArray* execution_plan nullptr; TF_LITE_ENSURE_STATUS(context-GetExecutionPlan(context, execution_plan)); TfLiteIntArray* nodes_to_replace TfLiteIntArrayCreate(execution_plan-size); int num_selected 0; for (int i 0; i execution_plan-size; i) { int node_index execution_plan-data[i]; TfLiteNode* node nullptr; TfLiteRegistration* registration nullptr; TF_LITE_ENSURE_STATUS(context-GetNodeAndRegistration( context, node_index, node, registration)); if (IsAddNode(node, registration)) { nodes_to_replace-data[num_selected] node_index; } } if (num_selected 0) { TfLiteIntArrayFree(nodes_to_replace); return kTfLiteOk; } TfLiteIntArray* selected_nodes TfLiteIntArrayCreate(num_selected); for (int i 0; i num_selected; i) { selected_nodes-data[i] nodes_to_replace-data[i]; } TfLiteIntArrayFree(nodes_to_replace); TfLiteRegistration delegate_kernel_registration {0}; delegate_kernel_registration.init DemoDelegateKernelInit; delegate_kernel_registration.free DemoDelegateKernelFree; delegate_kernel_registration.prepare DemoDelegateKernelPrepare; delegate_kernel_registration.invoke DemoDelegateKernelInvoke; TF_LITE_ENSURE_STATUS(context-ReplaceNodeSubsetsWithDelegateKernels( context, delegate_kernel_registration, selected_nodes, delegate)); TfLiteIntArrayFree(selected_nodes); return kTfLiteOk; } } // namespace demo #endif // DEMO_DELEGATE_H_注意這里冒出了一個實踐細節(jié)nodes_to_replace一開始按execution_plan-size分配但實際選出來的節(jié)點數(shù)量可能遠小于它。真正傳給ReplaceNodeSubsetsWithDelegateKernels的數(shù)組必須精確保留“連續(xù)的前 num_selected 個元素”所以我復制了一個緊湊數(shù)組。直接傳原數(shù)組會讓 TFLite 誤以為尾部那些 0 值也是有效節(jié)點下標輕則接管數(shù)量不對重則在節(jié)點索引校驗時直接崩掉。這個坑在成熟 delegate 源碼里一般不會顯眼地寫出來因為官方實現(xiàn)的寫法往往更簡潔但新手照著精簡代碼抄非常容易踩。5.2 DemoDelegateKernel 的三件套被替換后的 delegate kernel 也逃不開 init / free / prepare / invoke 四個函數(shù)。我的 demo 里 init 只用來創(chuàng)建一塊私有狀態(tài)void* DemoDelegateKernelInit(TfLiteContext* context, const char* buffer, size_t length) { return new int(0); // 實際上不需要狀態(tài)只是演示 } void DemoDelegateKernelFree(TfLiteContext* context, void* buffer) { delete static_castint*(buffer); } TfLiteStatus DemoDelegateKernelPrepare(TfLiteContext* context, TfLiteNode* node) { return kTfLiteOk; } TfLiteStatus DemoDelegateKernelInvoke(TfLiteContext* context, TfLiteNode* node) { const TfLiteTensor* input context-GetTensor(context, node-inputs-data[0]); const TfLiteTensor* input2 context-GetTensor(context, node-inputs-data[1]); TfLiteTensor* output context-GetTensor(context, node-outputs-data[0]); const float* a static_castconst float*(input-data.data); const float* b static_castconst float*(input2-data.data); float* out static_castfloat*(output-data.data); int num_elements 1; for (int i 0; i output-dims-size; i) { num_elements * output-dims-data[i]; } for (int i 0; i num_elements; i) { out[i] a[i] b[i]; } return kTfLiteOk; }嚴格來說prepare在這里什么都不做是不對的——正規(guī)實現(xiàn)應該根據(jù)輸入推導輸出 shape但 ADD 的內核行為已經(jīng)保證輸入輸出 shape 一致所以 demo 里偷懶可以跑真實項目中至少要做 shape 一致性校驗。要提醒的是node-inputs-data[0]和node-inputs-data[1]是張量索引要用context-GetTensor(context, index)拿到實際的TfLiteTensor指針。有些 kernel 實現(xiàn)里會用context-GetMutableTensor等變體取決于你是否要寫數(shù)據(jù)。不要直接在node上解引用張量結構那只是索引數(shù)組。5.3 接入 Interpreter 并驗證delegate 定義好之后接入方式非常直接TfLiteDelegate my_delegate {0}; my_delegate.data_ nullptr; my_delegate.Prepare demo::DemoDelegatePrepare; // 創(chuàng)建一個帶 ADD 的模型然后 tflite::InterpreterBuilder(model, resolver)(interpreter); interpreter-ModifyGraphWithDelegate(my_delegate); interpreter-Invoke();驗證是否接管成功最實用的手段是看執(zhí)行計劃。你可以在DemoDelegatePrepare里打印num_selected或者在DemoDelegateKernelInvoke里打日志。如果 Invoke 時打印了你的日志說明這條鏈路是真的通了—— delegate kernel 進入了執(zhí)行計劃并且被執(zhí)行器調度到了。有一點必須說清楚工業(yè)級 delegate 的 invoke 絕不會像我這個 demo 一樣逐個元素算。真實接力場景里delegate 的 Prepare 已經(jīng)在本后端申請好內存、建立好設備句柄invoke 階段直接把這些節(jié)點打包成一次硬件提交比如一次性把整塊 tensor 數(shù)據(jù)拷到 GPU再提交一個 command buffer。這個 demo 的價值在于鏈路演示直接拿去生產環(huán)境一定會遇到性能反噬因為單算子切換帶來的設備調度開銷遠超一個 ADD 本身的計算開銷。5.4 這個 demo 里最容易栽的三個坑沒設置delegate.data_或者Prepare函數(shù)指針沒填對調用ModifyGraphWithDelegate時可能直接段錯誤。這些字段是 POD 結構體里的函數(shù)指針漏一個就是調用空函數(shù)nullptr排查起來很隱蔽。匹配節(jié)點時用了模型 operator 序號而不是執(zhí)行計劃節(jié)點序號。請務必從context-GetExecutionPlan遍歷不要自己去模型文件里數(shù) operators。注冊了 delegate 但沒有一個節(jié)點被接管時ReplaceNodeSubsetsWithDelegateKernels傳空數(shù)組。這個 demo 里我做了num_selected 0的保護真實項目里也要處理這種情況。否則有的 TFLite 版本里會觸發(fā)斷言。我自己第一次寫的時候在第二個坑上耗了一個晚上。原因是模型文件里 ADD 是第 3 個算子執(zhí)行計劃里它排在第 17 位中間插入了若干張量記憶化優(yōu)化帶來的重排。后來我老老實實打了節(jié)點下標映射關系才發(fā)現(xiàn)自己一直在按錯誤編號匹配。6. 從報錯信息倒推排查注冊鏈路的斷點在哪個環(huán)節(jié)最后分享一套排錯思路。每次遇到算子相關的問題我習慣先從報錯信息判斷斷點位置再往下挖。畢竟 TFLite 的報錯文本通常已經(jīng)很明確地告訴了你該看哪里。6.1 “Didnt find op” 類報錯的排查清單報錯內容排查方向驗證手段Didnt find op for builtin opcode X version Ybuiltin_code 枚舉值不匹配或版本不匹配檢查 TFLite 運行時版本確認 converter 版本與運行時一致Didnt find op for custom op Foo自定義算子字符串不匹配dump 模型 operator_codes逐字節(jié)對比注冊名Custom op Foo is not supported模型轉換時未保留該算子轉換時打開 allow_custom_ops如果確實需要保留Node number N failed to prepareFindOp 已成功但 prepare 階段出錯查看該算子內核實現(xiàn)的 prepare 邏輯遇到 BuiltinOperator 相關報錯時我建議先在本地寫個三行腳本打印模型operator_codes的builtin_code和version枚舉值再對照builtin_op_resolver源碼里注冊的版本范圍。這一步能排除掉 80% 的“版本不匹配”問題。6.2 一個真實場景同一份模型在不同設備上的奇偶問題之前有位同學在項目里遇到的現(xiàn)象是同一個 SSD MobileNet 模型在開發(fā)板 A 上跑得好好的換到板子 B 上就報Didnt find op for builtin opcode VERSION something兩個板子跑的是同一個二進制版本唯一區(qū)別是板子 B 的系統(tǒng)庫里意外帶了一個更舊版本的libtensorflowlite.so于是動態(tài)鏈接時加載到了舊實現(xiàn)。這類問題用文本日志排查很容易被忽略因為沒有編譯錯誤——鏈接時符號存在只是行為不一致。解決方式無非兩點不用動態(tài)庫版本管理依賴或者把模型轉換與運行時版本做成 CI 校驗。6.3 delegate 一個算子都沒接管的排查順序如果你已經(jīng)接入了 delegate但推理速度沒有變化需要排查下面幾步確認 delegate 的 Prepare 真的被調用了。在 Prepare 函數(shù)頭尾打日志確認不是你的代碼里根本沒創(chuàng)建 delegate 對象或用錯實例。確認 target 節(jié)點真的存在。打印執(zhí)行計劃里的節(jié)點數(shù)、每個節(jié)點的 builtin_code 列表和你的匹配條件逐一比對。特別檢查 quantized 算子很多 delegate 只接管 float 算子模型是 quantized 時自然一個都不中。確認 ReplaceNodeSubsetsWithDelegateKernels 的返回狀態(tài)。如果返回kTfLiteError后續(xù)就不會有 delegate kernel 節(jié)點。確認 delegate kernel 的 invoke 真的被調了。在最外層 invoke 打日志如果沒日志說明執(zhí)行計劃里根本不存在你的 delegate kernel。確認沒有其他 delegate 搶先接管了同一批節(jié)點。多個 delegate 疊加時先執(zhí)行的 delegate 可能已經(jīng)把 ADD 節(jié)點替換掉了后注冊的 delegate 自然匹配不到。這套順序看起來簡單但執(zhí)行的時候一定要借助日志而不是靠“我感覺”。TFLite 編譯時如果開了 verbose log會在ModifyGraphWithDelegate階段打印節(jié)點替換的詳細信息沒開日志時自己在 Prepare 和 kernel 函數(shù)里埋 printf 是最快的。另一個有價值的經(jīng)驗是delegate 接管率高不等于端到端延遲一定更低。如果被接管節(jié)點夾在大量 CPU 節(jié)點之間tensor 數(shù)據(jù)反復在 CPU 和硬件后端之間拷貝開銷可能抵消掉加速收益。所以做 delegate 優(yōu)化時我會把執(zhí)行計劃畫出來重點看能形成多大塊的連續(xù)子圖而不是追求接管的節(jié)點數(shù)量。這也是為什么前面強調ReplaceNodeSubsetsWithDelegateKernels是按子圖接管——它給了 delegate 做整塊調度的機會而這個機會需要你在 Prepare 里主動用好。最后說一句我自己的感受。注冊機制看懂了之后TFLite 的很多“玄學”問題會變得特別直白模型文件里的算子描述是一回事解釋器里的內核注冊是另一回事delegate 又是在執(zhí)行計劃層面的第三回事。三層之間通過FindOp和ReplaceNodeSubsetsWithDelegateKernels這兩個關鍵點串聯(lián)起來。以后再遇到“明明注冊了為什么沒生效”“delegate 接了為什么沒加速”這類問題順著報錯信息回到這一層層的鏈路里去定位多半就會豁然開朗。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久大香蕉同僚| 婷婷第六色| 亚洲成人无码网站| 欧美日综合| 啊v视频在线观看| 《诡秘之主》在线观看 | 99在线精品免费视频| 丁香八月综合激情| 色吧99| 婷婷久久丁香| 一级片sese片.COM| 极品精品一区二区三区在线| 99热在线看| 久久久性爱网| EEUSS鲁片一区二区三区| 久久这里只有精品无码| 美国不卡视频| 99久热这里只有精品| 日本本土色网第一区| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 99在线爽| 国产99久9在线+|+传媒| 成人 在线 日韩| 狠狠五月激情在线| 99福利视频导航| 六月激情婷婷| 色色精品色| 亚洲乱码日产精品BD| 丁香六月视频免费观看| 任你擦免费视频| 丁香婷婷深情五月亚洲| 思思re视频在线| 综合九九久久| 激情五月天视频| 99视频精品全部免费 在线| 成人丁香五月天| 婷婷五月天日逼| 99精品九九| 天堂综合久久| 狠狠肏综合网| 金品在线视频99| 五月丁香色色| 天天操天天操天天操| 无码一级片| 五月丁香av中文| 色A网| www91色网站| 五月丁香婷婷婷激情爱爱| 99久久综合网| 色五月丁香A欧美com | www.操.com| 五月天色色色| 九九99偷拍视频| 久久er+| 婷婷六月偷拍| 五月婷婷激情久久| 开心五月深爱激情| 婷婷综合五月| 久久全色| 久久激情视频| 色欲午夜无码久久久久久张津瑜| 狠狠色综合777| 婷婷色五月天色色| 福利视频在线播放| 人人综合久| 久热这里有精品视频| 无码激情AAAAA片-区区 | 99精品一二三四视频| 亚洲精品一区中文字幕乱码| 4438激情网| 婷色成人| 九九精品在线观看视频6| 十区AV| 97狠狠色| 日日夜夜综合| 丁香六月婷婷五月天| 婷婷激情五月天桃花网| 另类小说五月天| 538在线精品| 激情网五夜婷婷| 艹色18p| 九九热最新视频| 99热这里只有是亚洲国产| 六月丁香久久| 91人人爽人人操| 99性爱视频| 婷婷五月六月| 五月婷婷香蕉| 五月停亭六月,六月停亭的英语| 激情丁香五月天图片| 亚洲综合九九| 九九激情视频| www.97视频| 国产精品久久久久久白浆色欲| 久热这里只有精品66| 99久在线| 91色干| 99久久国产宗和精品1上映| 综合99视频| 99在线视频在线观看| 丁香五月中文字幕| 成人va视频| 婷婷六月网| 久久婷婷五月综合伊人| 婷婷久久欧美| 国产又色又爽又黄又免费| 久久婷婷五月丁香网| anquye五月| www.99色| 日韩超碰在线| 激情久久网| 99国产在线精品视频| 久草天堂| 色丁香五月| 这里只有精品视频一区| 97涩涩丁香五月天| 色VA| 99色激| 99久久久久久久| 九九九激情综合| 夜夜干天天操| 91美女被操| AV性爱在线| 婷婷五月天Av| 99热最新精品| 九九香蕉网| 久久爱综合| 天天做天天爽| 激情五月天色播| 91婷婷色 | 狠狠精品干练久久久无码中文字幕| 99日在线视频| 99热网址| 五月天激情视频| 一级二级香港秋霞欧美欧美秋霞| 丁香六月婷婷综合麻豆| 激情综合综合综合| 五月婷婷六月丁香免费| 91碰碰视频| 人妻中文av| 国产精品电| 噼里啪啦在线观看免费完整版视频| 97碰啪啪| caop在线视频| 五月丁香久久久久| 999久久久国产精品| 五月情色天| 激情涩涩网| 日韩无码专区| 久久婷婷色色| 激情久久久久久| 国产色视频网站2| 1769在线观看欧美国产| 9|在线观看视频| 久久久婷婷五月天| 久久久国产精品黄毛片 | 成人开心五月天| 婷婷五月天 偷拍| 久热婷婷| 亚洲精品网站色视频| 人人操91| 久久激情五月| 四月婷婷五月色综合 | VA五月激情在线| 五月丁香婷婷综合网| www.日韩国产| 丁香伊人网| www,com,五月色色| 97人操人免费视频| 99九九在线精品热动漫| 九热免费视频| 日韩狠狠色| 激情爱爱网站| 五月婷啪啪| 成人av在线网址| 亚洲午夜一区二区| 97日在线视频| 97色热| 五月天婷婷綜合院| 天天噜日日噜综合无码| 天天色播| 色五月xxx| 综合五月草| 丁香五月婷婷亚洲人| 99久视频| 日本综合久| 九九成人精品免费视频| 婷婷五月天视| 99热99热在线观看| 26UUU在线观看| 激情五月六月婷婷综合啪啪| 伊人婷婷激情| 久久机热这里只有精品| 丁香五月亚综合图片| 婷婷五月天狠狠| 五月丁香亚洲综合| av在线免费网站| 日本99色| 狠狠操狠狠爱| 99精品在线| 精品一区二区三区四区五区六区| 日韩AV无码影片| 成人国产网站在线免费看| 国产精品久久久久9999小说| 天天婬色综合| 九九亚洲无码| 丁香五月亚洲AV| 五月色婷婷在线观看| 色狠狠五月天| 秋霞电影理论| 五月色色激情网| 99热一区| 九九热九九| 深爱五月激情| 亚洲蜜桃精久久久久久久久久久久| 日本不卡一区二区三区| 天啪天啪天啪天啪| 久9无码视频| 亚洲综合五月天婷婷丁香| 婷婷伊人| 99秘 在线| 五月色丁香激情| 91人人爽久久涩噜噜噜| 九九色播五月丁香| 色五月色五天色情网| 99久在线精品99re8热| 99热99色| 波多婷婷久久| 操日视频| 激情小说五月丁香在线视频观看视频| 亚洲婷婷丁香五月视频| 综合五月网| 91热网址| 久热91| 亚洲乱码日产精品BD| 香港九九六区八区99| 伊人大香蕉综合在线| 蜜桃婷婷狠狠久久| 99热99日天天干| 丁香五月综合首页| 操操操操操操婷婷五月天| 99综合色色色| 五月天黄色激情小说| 五月天婷婷在线播放| 玖玖在线视| 在线观看欧美| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 开心五月激情五月丁香五月婷婷| A久久| 久99视频| 九月色婷婷综合| 亚洲网站999| 91男同| 国产亚洲精品久久久久久郑州| 天天射天天操天天干| 99久久.www| 丁香五月久久| 91大屁股| 五月天堂婷婷| 玖玖婷婷五月天| 色色色com| 九9九9无码| 欧美天天草人人草| 停停五月天激情网| 色婷婷网| 久久色大香蕉| 在线观看免费狠狠色丁香香综合| 婷婷美女精品视频| 99无码精品| 五月叮香啪| 精品久久久91久久影视网| 中文字幕+中文在线| 91碰视频| 日本五月视频| 99精品在线观看| 97超碰婷婷五月天| 婷婷五月电影| 激情狠狠丁香月| 99精品在线| 99热在线观看免费精品| 欧美日韩国产成人在线| 色婷婷丁香| 六月婷婷影院| 亚洲中文av| 五月天激情色色| 性爱五月丁香| 九月婷婷丁香| 另类图片天天影视在线观看| 五月婷婷伊| 人人操91| 99在线精品视频免费观看20| 色色色综合网| 日本黄色精品| 婷婷基地成人五月天| 黄色激情五月天| 996er热| 91打屁股免费看| 色婷婷偷拍| 婷婷六月网| 激情亭亭五月| W色综合| 国产91视频| 色色色色色爱| 激情五月综合| 欧美WW在线网| 开心五月婷婷激情网| 人人人操| 另类亚洲电影| 丁香五月激情宗合| 热久精品| 国产在线网| WWW.99热| 99性色| 国产精品18久久久| 婷婷色啪| 天天射色五月天| 99热只有这里有精品| 日本9区视频| 久久五月丁香伊人青草| 欧美色久| 欧在线一区| 丁香六月婷婷综情欧美| 色色色在线观看| 熟女强人妻一区二区三区四区无| 丁香五月激情六月欧亚激情综合导航| 丁香五月天综合| 性av| 狠狠搞五月天| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 中文字幕婷婷| 爱草人视频| A片女女女女女女BBBB| 国产精品人妻欲求不满| 丁香五月成人av| 99热免费| www.久久| 婷婷涩涩五月天| 九色99视频| 五月丁香亚洲校园欧美| 色噜噜狠狠一区二区三区| 性色做爰片在线观看WW| 玖玖婷婷五月天| 五月天网站免费欧美| 免费观看全黄做爰的视频| 色呦呦美女| 丁香激情五月少妇| 秋霞AV吧| 五月丁香婷婷无码A∨| 97影院一级片| 欧美婷婷丁香五月| 夜夜做夜夜愛| 亚洲亚洲人成综合网络| 五月激情五月丁香| 久久久com| 97国产精品女人碰碰| 色色色视频| 亚洲无码成人| 97干在线看| 精品三区影院| 91久久精品国产91性色TV| 色婷婷五月天av在线| www.天天干| 六月婷综合| 丁香五月色综合色播五月| 天堂A∨在线| 久久色吧| 亚洲激情综合免费| 婷婷伊人欧美| 天天碰天天插天天操| 免费视频无码| 色婷婷五月天av在线| 热久国产| 97久人人| www,超碰| 婷婷综合网性| 中文av网| 99碰在线视频| 99视频精品在线| 国产黄色在线观看| 五月丁花色综合网| 久热在线中文字幕色999舞| 综合综合色色| 久久草大香蕉| 久婷婷五月丁香在线观看| 九九久久精品| 91丨九色丨熟女高潮| 九九热欧美| 久久久性爱网| 婷婷丁香五月激情密臀av| 99啪视频在线观看| 99热在线只有精品| 99玖玖人人| 婷婷色五月天在线观看| 久久五月天丁香花| 亚洲日日操| 日韩精品在线观看9| 丁香五月天激情网| 久久99激情五月天| 五月婷婷 激情五月| 99riAV成人在线视频| 日日爽日日操| 日本强伦片中文字幕免费看| 欧美成人精品三区综合A片| h在线看免费版在线看| 任你爽视频| 丁香五月首页| 四色永久成人网站| 婷婷伊人网| 99热偷拍| 这里只有精品久久| 狠狠色性| www.丁香六月婷婷久久天堂影院.con| 日本激情五月天‘| 丁香五月 无码| 九九热免费| 九月婷婷在线观看| 天天干天天干天天干| 婷婷五月天中文字幕| 五月婷婷丁香五月天| 久久久久久久五月| 久久综合影院 | 情欲综合网| 色吧五月| 激情婷婷狠狠干| 激情五月婷婷综合秋霞| 99这里只有精品99| 欧美色色色色色色| 国产欧美日韩综合精品一区二区| 丁香五月天无码AV| 五月婷婷综合网| 亭亭色天香| 99九九这里有免费视频| 日本色狠狠| 97人操人免费视频| 色欲av伊人久久大香线蕉影院| 成人 在线 日韩| 一本色道久久综合狠狠躁小说| 5月色婷婷| 日本人妻伦在线中文字幕| 亚洲麻豆乱码国产2028| 久久人视频| 伊人丁香六月婷婷| 99热99艹在线观看| 五月婷婷开心五月| 丁香狠狠色婷婷| 婷婷色在线| 丁香五月在线视频| 97大香蕉五月天| 久久五月天激情| 狠狠99| 五月婷婷之综合激情| 精品国产va久久久久久久| 日韩欧美成人一区二区三区| 天天色天天爱天天爱天天爱y| 五月丁香毛片| 色五月播五月| 欧美另类五月激情| 9久热在线精品| 91婷婷色五月| 天天天操天天天爰| 久久男人网婷婷| 婷婷 丁香 精品| 色5月婷婷色| 99热日本| 国产三级秋霞| 伊人久久五月天| 99re在线播放| 99re8这里只有精品99re8热视频| 超碰色综合| 九九在线精点品| 亚洲性爱99在线| 久久久久久18| 深爱婷婷网| 99热这里只有精品50| 丁香五月天天| 深爱五月激情五月| 丁香婷婷六月在线资源观看| 激情五月天综合网| 美日韩成人| 九一99| 亚洲乱码在线观看| 成人做爰黄A片免费看直播室男男| 六月丁香五月天| 久久综合激情| 秋霞AV吧| 婷婷五月综合社区| 米奇激情婷婷| 日本色色网站| 超碰99在线观看| 五月丁香成人版| 丁香五月停停基地| 夫妇交换刺激做爰| 日91高清无玛| WWW.桔色成人.COM入口| Caop在线| 国产精产国品一二三在观看| 俺去也婷婷| 婷婷五月激情热播| 婷婷丁香五月天色色| 爆乳熟妇一区二区三区爆乳照片| 99热青青草原| 五月综合丁香婷婷| 激情图片亚洲| 天天射综合网站| 婷婷五月开心中文字幕在线| 99视频35精品视频在线观看| 在线观看免费人成视频无码| 亚洲网站999| 丁香五月天婷婷久久综合| 九九99在线视频| 色色五月天婷婷| 色五月激情五月天| 99热欧| 九伊人网| 国产成人精品一区二区三区视频| 色欲五月婷婷| 九月色婷婷综合| 啊V视频在线观看| 国内精品免费一区二区2009| 狠狠色噜噜狠狠狠狠综合| 色五月婷婷五月丁香五月| 99亚洲天堂| 碰久久精品w| 天天日天天插| 思思热视频| 热的国产,热的综合,热的有码 | 天天日本夜夜谢| 婷婷五月天改成什么了| 97久久五月丁香婷婷| 中字幕视频在线永久在线观看免费| 色婷婷激情四射视频| 99综合99| 久久女人天堂| 人人操超碰| 99热只有| 色五月婷婷91| 色婷婷五月天小说| 888精品福利地址| 亚洲色婷婷久久99精品91| 黄桃AV无码免费一区二区三区| 丁香五月色五月| 婷婷五月天另类网站| 草综合网| 123草逼网| Aaa久久| 婷婷五月天AV| 欧美日韩成人一区二区| 99热日韩| 深爱五月婷婷开心中文字幕| 蜜桃婷婷狠狠久久| 97亚洲精品| 狠狠干综合| 五月婷婷导航| 天天日日夜夜爽。| 亚洲日韩26uuu| 亚洲成人在线播放| 99综合熟女| 操B无码视频国语| 婷婷中文字幕| 99久在线| 人人草人人爱| 精品国产va久久久| 五月婷婷熟女| 99er这里只有精品| 成人av播放| 99亚州综合精品成人网| 五月天婷婷7米| 天天操天天日天天爽| 99国产er热视频| 综合激情在线| 久热这里精品免费| 免费看欧美成人A片无码| 成片免费播放| 欧美婷婷五月天| 26UUU欧美激情一区二区| 国产超碰在线| 97视频91| 亚洲色五月婷婷| 九九碰九九爱97超碰| 日本色色影院| 婷婷五月丁香综合亚洲| 免费视频无码| 丁香五月综合| 激情六月天婷婷| 久久人妻视步| 亚洲、热| 色欲日日躁| 久久久人妻人伦| 色婷婷久久综合久色综| 九九人人看| 97干干干丁香| 亚洲亚洲人成综合网络| 九九久久99| 99热精品在线播放| 久re热视频| 人人射人人高潮| 99爱精品视频| 思思热再线视频| 色五月激情五月丁香五月婷婷啪啪综合 | 另类小说五月天| 超碰免费大香蕉| 天天噜| 五月激情偷拍| 天天做天天摸| 99成人免费热视频| 丁香五月五月婷婷五月天激情四射| 狠狠色激情综合| 一个色的综合| 国产1区2区3区在线观| 在线婷婷| 婷婷久久网| 丁香婷婷基地| 五月天社区婷婷| 人妻丰满精品一区二区A片| 久久色情| 丁香五月天堂| 五月天婷婷丁香| 五月婷婷婷婷| 人人爽天天爽| 免费视频99| 丁香五月婷婷在线| 五月天激情网站| 激情久久久| 亚洲啪啪视频| 亚洲中文av| 五月丁香综合啪啪| 黄网免费看| 婷婷六月色开| 久久精品视频99| 2020日日干| 六月婷婷视频| 五月丁香啪综合| 久久综合五月天| 亚洲va综合va国产va中文| 成人va在线播放| 色播五月天激情| 99在线精品视频| 影音先锋偷偷色男人站| 婷婷丁香九月| 操操啪| 一本色道久久综合狠狠躁小说| 婷婷欧美| 专区无日本视频高清8| 另类少妇人与禽zOZZ0性伦| 成熟妇人A片免费看网站| 免费无码毛片一区二区A片| 91精品激情9| 大香蕉综合视频在线| 97日本操| 久久久婷婷色五月资源网| 月色色综合婷婷网| 中文字幕,综合,91| 97人人操人人干| 激情五月天婷婷久久久久久久久久久| 五月综合激情图片| 国产精品视频久久99| 99热这里只有免费精品| 激情婷婷六月天| 69久久99精品久久久久婷婷| 99久久久| 开心五月网| 激情视频综合| 色五月天丁香| 激情丁香婷婷| 欧洲电影在线观看免费版英语版| 久久密臀婷婷| WWW·色色色·COM| 久久总和99| 国产67194| 天堂爱爱| 五月天婷婷视频30| 激情五月天婷婷| 色婷婷狠狠爱| 天天射影院| 美女久久天堂| 大天天伊人| 大香蕉人妻| 日本狠狠爽| 激情五月天www| 婷婷五月色| 另类综合激情| AA丁香综合激情| 婷婷5月久久综合网站| 日韩精品电影| 精品婷婷| 丁香六月激情综合网| 性色视频| www.五月婷婷久久.com| 噜噜在线| 色噜婷婷| 影音先锋色婷婷| 久久成人性爱| 丁香婷婷婷五月| 丁香五月在线自慰| 99爱视频在线观看| 国产精品激情AV久久久青桔| www99xxxx五月丁| 9 1超碰九色| 亚洲精99| 夜夜夜夜夜操| 91在线日| 内射干少妇亚洲69XXX| 亚洲中文AV网站| 日本精品99网站| 亚洲婷婷开心五月| 伊人五月天在线| 色五月首页| 中文字幕无码人妻少妇免费视频| 色天堂操| 99婷婷五月天| 区区欧美你爱| 亚洲操精品| 国产精品18久久久| 久久一级片| 狠狠操之狠狠操| 五月综合六月丁| 五月丁香婷婷爱| 99热伊人| 色色婷婷婷丁香五月天| 婷婷五月丁香av网站| 亚洲性爱区无码区| 五月婷婷啪啪啪| 777米奇影视第四色| 操操精品| 99激| 五月婷婷自拍| 97色色色色色| 丁香婷婷五月综合欧美另类| 久久婷色| 亭亭五月天成人| 久久婷婷啪啪视频| av中文字幕免费观看| 99人妻碰碰碰久久久久| 精品一二三区视频立| 人。妻久久| 五月婷婷综合在线| 欧美日本不卡黄色片| 久9久9热久热| 天天日,夜夜爽| 色色五月天网站| 国产性av| 亚洲区视频| 国语精品探花| 中文av网站| 丁香伊人五月色婷婷五十路| 99亚色色色| 五月婷婷丁香网| 丁香五月AV| 人人叉久| 免費亭亭成人| 丁香五月六月综合激情| 国产美女无遮挡裸体毛片A片| 色婷婷色综合激情91| 欧美又粗又大一区二区在线观看| 色偷偷五月天| 国产精产国品一二三在观看| 99日本黄站| 2025年最新亚洲在线欧美| 婷婷五月天伊人| 9久9久| 思思综合热| 97精品综合| 亚洲av无码影院| 五月婷婷色男女| 婷婷月综合| 日比视频91| 激情丁香久久| 91碰超| 色色色五月天婷婷| 永久的网站AAAA | 日韩在线一级| XX色综合| 激情网第九色| 丁香婷婷视频| 人妻丰满精品一区二区A片| 日本3级片偷拍网站| 久久黄色片| 五月激情综合网| 九九干视频| 激情网开心网| 婷婷丁香18| 国产中文字幕在线视频免费观看 | 开心五月婷| 丁香六月欧美| 超碰无码318604| 婷婷五月天六月| 色九月婷婷| 亚洲、欧美、国产另类笫二区| 九九九成人在线视频| 五月天婷婷无码| 干一干xxxx| 久久aaaa片一区二区| 开心激情五月天网| 九九精彩久久| 国产日日操夜夜操的肉棒视频| 91色婷婷综合久久中文字幕二区| 久超超碰| 天天搞天天爽| 97碰碰叉| 久久五月天黄色五月天色网址| 大香蕉久久| 五月开心啪啪| 丁香五月亚洲天堂| 免费视频无码| 色色色色色热| 9久久久久| 色五月色五天色情网址| 婷婷日日天天| 99热这里都是精品| 五月丁香| 久色网址| 97婷婷狠狠久久综合9色| 五月丁香婷婷开心| 久久久天堂国产精品女人| 成人精品在线观看| 婷婷性爱网| 婷婷va| 婷婷五月天狠狠| 色色色色色色综合网| 五月天亚洲最大成人| 五月婷综合| 99久扒热| 99久热| 狠狠色婷婷色| 五月婷婷丁香综合| 婷婷综合仓库中文| 婷婷五月天伊人在线| 大香蕉啪啪啪| 无码啪啪| www.久久久久久久| 大香蕉久久婷婷| 深夜A片| 久久大国产香蕉| 色婷丨日丨天丨综合久久| 五月天激情国产综合婷婷婷| 天天摸天天肏| 色婷| 91久久精品无码一区二区三区| 另类视频五月天| 68热超碰在线| 五月天激情网页| 国产精产国品一二三在观看| 五月激情另类| 99re在线观看| 538在线| 亚洲天堂热| 思思久久99热| 成人在线精品| 中文无码婷婷| 色婷婷导航| 日本综合色色| 黄网免费观看| 91人操人人人操人| 激情久久久久久久久久久| www.色五月| 国产精品人成A片一区二区| 婷婷九月丁香| 色色色色色色色色色色色色色97| 青青草Avb在线| 欧美色色色色色| 五月天丁香欧美激情| 五月婷婷官网色| 99在线爽| 思思久久99| 日本99视频精品免费播放| 日本一级淫| 97人人干| 婷婷成人视频| www.激情五月天.com| 色色亚洲视频| 色视频2025| 色五月网址| 成人久久天天x资源站| 97精品人人A片免费看| 久久奄也去色色网站| 婷婷六月天| 亚洲五月丁| 4399无码视频| 五月婷六月天| 五月丁香亚州综合网| 五月婷婷六月丁香色| Caoub青青超碰| 热99这就是精品视频| 91久久电影| 中文AV在线播放| 99热婷婷| 成人在线日韩| 激情丁香网| 中文人妻AV久久人妻18| 婷婷区日本| 婷婷在线五月综合| 99视频精品8| 天天插天天射| 丁香五月天激情小说| 久久3级片| 人人视频人人干人人做| 伊人久久大香天蕉亚洲特级| 99在线资源| 99精品久久| 亚洲超碰在线| 久色中文| 久久月天堂| 色五月婷婷很很操| 99热精品观看| 天天干天天日天天操| 五月天无码视屏播放| 免看黄大片AA | 婷婷激情五月天小说校园| 激情丁香久久久久久| 久热这里| 婷婷综合五月天| 久久久久久久久久8888| 99热99精品在线观看| 热99热久| 98色花堂98t.R| 97碰碰人人| 99在线免费视频| 婷婷丁香五月天小说| 在线观看欧美3区| 婷婷六月亚洲综合| 先锋五月婷婷丁香草草| 九九色色| 丁香网五月天激情| 黑人无码一区| 开心五月深爱五月| 青青夜夜狠狠夜夜狠狠| 久久婷婷五月天大香蕉| 色五月婷婷亚洲最大| 婷婷五月丁香花综合| 欧美一级色| 五月丁香拍拍激情综合| 性爱激情久久| 久久艹99| XXXX岛国| 免费超碰在线观看| 亚洲综合五月| 性色人人爽| www.色五月| 亚洲最大五月天成人网| 九九狠狠干| 天天干天天拍| 五月天婷婷人妻| 性爱网五月天| 国外亚洲成AV人片在线观看| 九九九九这里只有精品| 国产99久久久| 碰97 久| 五月丁香五月婷婷| 丁香六月婷婷综情欧美| 天天爱天天天射AV| 婷婷月综合| 亚洲欧洲色色| 日笨久久网| 久操热线| 久久性爱网站| 五月天狠狠色| 日日日日日| 五月丁香六月婷婷操操操| 婷婷色播婷婷| 51精品国自产在线| 天天干,天天日| 久热这里只有精品性色AV| 六月丁香婷婷爱| 狠狠综合久久| 丁香五月综合在线播放| 另类在线观看视频| 国产又粗又大又爽又黄 | 五月丁香六月婷婷综合伊人| www.久久9| 婷婷丁香18| 婷婷五点亚洲| 97操碰| 九九艹女| 99碰碰| 婷婷伊人激情婷婷| 久碰综合| 麻豆AV一区二区三区| 天天做夜夜爽| 五月丁香婷婷在线综合蜜桃| 伊人久久五月天| 99热日本| 99riAV国产精品视频| 极品人妻VIDEOSSS人妻| 婷婷色在线播放| 亚洲成色综合网站免费观看| 激情婷婷视频在线| 婷婷五月天小说网| 婷婷色成人| 婷婷五月综合在线| 色婷婷91激情小说| 五月在线| 91精品综合久久久久久五月丁香| 丁香五月婷婷深爱综合激情| 色色色色色日韩午夜激情| 99精品网| 五月丁香六月欧美综合网站| 五月丁香六月婷婷综合免| 九色无码| 伊人网色婷婷五月天| 亚洲色五月| 草综合14| 人人爽人人爽人人爽人人爽| 99re视频在线播放| 日韩精品一曲二曲三曲四曲五曲| 色噜噜狠狠色综无码久久合欧美| 九九99久久| 五月婷婷 六月丁香| 久久色五月天| 综合 激情 婷婷| 99爱视频在线观看这里只有精品| 99久久激情视频| 99热这里只有精品国产免费| 天天综合五月天| 色狠狠色综合久久久绯色aⅴ影视| 五月丁香啪啪啪综合网| 久久这里有| 2050人人操免费工开爱| 97碰碰碰| 26uuu欧美| 人人97碰| 超碰色色综合| 久久久久9久无码视频| 五月婷视频| 色色99| 天天天日天天天干| 激情五月婷婷免费视频| 亚洲婷婷五月| 91人妻人人操| 婷婷伊人綜合中文字幕小说| 亚洲欧美婷婷五月色综合| 婷婷开心激情综合五月天| 色五月婷婷中文字幕在线观看| 日韩婷久| 国产欧美熟妇另类久久久 | 久久婷婷网站| 99热99热不卡| 亚洲天堂AV免费片| AV在线免费播放| 丁香五月天婷婷大香蕉| 狠狠精品干练久久久无码中文字幕| 性欧美日本| 五月天色社区| 婷婷色日本| 天天爽在线视频| 97五月婷婷| 婷婷综合在线网| 少妇熟女视频一区二区三区| 97人人干人人操| 日婷婷| 色婷婷五月天综合网| 伊人青草成人| 91久久久久久久久| 91视频免费后入强操| 欧美五月婷婷综合| 丁香五月花| 丁香五月天激情视频| 欧美啪啪9| 夜夜干 夜夜操| 操啊操av| 五月激情另类| 开心五月激情| 色色吧综合| 久久久ww| 五夜丁香| 92久操视频| 天天色凹凸| 欧美色激情四射| 色一情一乱一伦一区二区三区| www.五月天| 婷婷伊人綜合中文字幕小说| 五月天丁香成人社| 天天日天天爽| 日韩色色视频| 日屌日日操日日色| 丁香五月五婷| 天天干、天天日日| 婷婷色日本| 天天天天天操| 五月天另类小说亚洲| 激情五月天色色| 婷婷五月丁香综合| 久久久性爱视频| 99亚洲视频| 色五月大| 色九九丁香九月色九九色| 久艹久| 久久五月天丁香花| 岛囯综合激情网| 大香蕉婷婷婷| 综合五月激情| www.99.色| 婷婷成人av| 天堂呦 呦百度搜索-百度搜索| 日韩黄在免| 亚洲中字AV电影在线网站| 日韩AV免费看| 久久久天堂国产精品女人| 中文字幕网伦射乱中文| 爱久久小说下载网| 国产AV一区二区三区最新精品 | 色婷婷成人做爰A片免费看网站| 丁香五月av| 欧美 日韩 人妻 高清 中文| 五月婷婷激情综合| 成人做爰A片免费看视频| 97碰碰碰免费公开在线视频| 国产伦亲子伦亲子视频观看| 国产毛片欧美毛片久久久| 青草视频在线观看视频| 国产成人一区二区三区在线观看| 亚洲亚洲人成综合网络| 欧美成人AAA片一区国产精品| 精品成人无码A片观看香草视频| 亚洲熟妇AV乱码在线观看| 色情终和网| 五月天天丁香婷婷| 男女激情久久| 久久婷婷五月综合色天| 91大神在线免费看视频全集男男一起操| 一本九九色| 99热丁香五月| 国产婷婷五月天| 久久精典| 丁香婷婷超碰| 四虎国产精品永久在线国在线| 亚洲精品久久久久AV无码| 九九视频在线观看视频6 | 拍真实国产伦偷精品| 国产欧美精品AAAAAA片| 一起草AV入口| 婷婷狠狠综合网入口| 啪啪操网| 99久久精彩视频| 五月天婷婷色色网| A片一曲| 九九精品网站| 六月丁香成人| 午夜爱爱爱成人| 日本 @ va 免费| 成人五月天视频| 色偷偷色婷婷| 狠狠爱综合网| 亚洲综合九九| 国产做爰视频免费播放| 激情欧美丁香五月| 最新激情五月天| 开心五月丁香婷婷| 日韩色色视频www| 亚洲激情五月天| 在线观看亚洲视频影院| 99日本精品视频热| 97人人干人人操| 成人无码髙潮喷水A片| 超碰99热精品在线| 五月丁香视频色色| 碰碰女| 五月天激情综合网俺也去| 婷婷天天插天天爱| 婷婷五月天综合色| 色久五月天| 99视频九九热| 99热色精品| 在线观看免费观看在线9久| 人人操婷婷| 成人Av在线大片| 26UUU一区二区| 五月丁香六月婷婷综合网| 丁香六月婷婷一区二区三区| 六月婷婷色色色| 丁香六月激情综合| 熟妇人妻中文字幕无码老熟妇| 九月婷婷综合色干| 六月婷婷啪啪| www.天天色综合| 色婷婷五月网| 青青草成人网| 色爱综合网| 青青青在线视频国产| 六六久久黄色| 超碰免费人人肏| 日韩在线观看亚洲| 青青草原中文字幕| 激情网 五月天| 成人性爱无码| 婷婷中文无码| 丰满少妇猛烈A片免费看观看| 99色在线观看视频者| 99熟女啪啪视频| 天天做综合| 五月婷婷九| 热99免费在线| 99re在线观看| 91在线人| 婷婷射综合| 激情婷婷综合| 五月天婷婷色综合| 九月丁香亭亭| 婷婷五月天少妇| 99色精品视频| 天天成人丁香美女AV| 综合啪啪| 99综合网| 97操碰98| 激情久久久久久| 五月丁香六月婷婷色| 天天久| 夜夜干 夜夜操| 超碰色热| 开心五月婷婷综合在线精品素人| 九九色中文| 另类图片婷婷五月天| 站长推荐无码播放| 99热综合| 欧美人人超级碰| 華人性愛AV在線| 99热这里只有精品国产首页| 丁香九月久久| 免费超碰在线观看| 五月丁香六月婷婷成人| 99re这里只有精品99| 国产精品视频久久99| www.超碰在线| 婷婷五月丁香青青草在线| 欧美天堂久久| 欧美综合丁香网| 丁香五月综合激情性爱| 中文字幕无码人妻少妇免费视频| 久久天堂色| 日本激情ⅩXX免费视频| 亚洲操b| 久热免费| 99精品丰满| 99久久99视频只有精品| 99视频只有这里精品| 五月婷婷之综合激情| 99爱在线| 天天激情5月天亚洲| 狠狠色噜噜色狠狠狠综合久久成人波| 婷婷五月色情天| 狠狠干五月| 色五月天丁香| 五月天婷婷中文字幕在线播放| 99爱爱| 91碰免费视频| 丁香 婷婷 激情 综合 五月| 婷婷五月另类网站| 亚洲综合激情五月久久| 色碰97| 蜘蛛女免费观看完整版高清电影| 色五月欧美| 一本大道嫩草AV无码专区| 玖玖婷婷精品| 天天狠狠色噜噜| 成人丁香五月| 操草草草| ri电影在线| 91久久电影| 色无婷婷| 五月天堂色| 丁香六月伊人| 九月色婷婷| 亚卅毛片| 五月丁香婷庭在线| 久久怕怕视频| 亚洲成人av在线播放| 丁香五月在线观看综合|