欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

高通QNN SDK實(shí)戰(zhàn):從模型轉(zhuǎn)換到C++推理全流程指南

高通QNN SDK實(shí)戰(zhàn):從模型轉(zhuǎn)換到C++推理全流程指南 在驍龍平臺(tái)做AI推理最忌諱的是把模型拿來直接在CPU上跑一遍就宣布完事硬件加速能力一點(diǎn)都沒用上。Qualcomm QNN SDK本來就提供了一整套從模型轉(zhuǎn)換、量化到C/C運(yùn)行時(shí)調(diào)用的工具鏈大多數(shù)人卡住的地方其實(shí)就兩個(gè)模型不知道怎么轉(zhuǎn)成QNN格式C代碼不知道從哪個(gè)接口下手。這篇文章把這條路完整走一遍從環(huán)境準(zhǔn)備到代碼解析最后再到排坑你可以把它當(dāng)成一份能照著跑的作業(yè)。1. 項(xiàng)目全景與方案設(shè)計(jì)先從QNN的整體架構(gòu)說起動(dòng)手寫代碼之前先把QNN這套東西的地圖畫出來。很多人被QNN勸退不是因?yàn)榇a難寫而是因?yàn)楦拍畈皇?。一頭扎進(jìn)去看到一堆Handle、Descriptor、Profile直接就懵了。其實(shí)QNN的架構(gòu)分得非常清晰理解了那幾條主線后面所有代碼都只是在跟這幾條主線打交道。1.1 QNN SDK到底是什么為什么選它QNN SDK是高通提供的神經(jīng)網(wǎng)絡(luò)推理SDK跑在驍龍平臺(tái)上時(shí)它能把模型調(diào)度到Hexagon DSP或者HTPHexagon Tensor Processor上執(zhí)行。HTP是高通專門為AI推理設(shè)計(jì)的硬件加速單元比CPU省電吞吐能力高出好幾個(gè)量級(jí)。常見的分類、檢測(cè)、分割模型經(jīng)過合理量化之后在HTP上都能跑得飛快。從架構(gòu)上看QNN分兩層一層是Host側(cè)也就是你的C應(yīng)用跑在CPU上的部分另一層是Device側(cè)也就是跑在DSP/HTP上的部分。Host側(cè)通過QNN提供的Backend接口跟Device側(cè)打交道。像libQnnHtp.so就是HTP的Backend實(shí)現(xiàn)庫你的程序通過dlopen或者運(yùn)行時(shí)鏈接的方式加載它然后調(diào)用統(tǒng)一的QNN接口剩下的調(diào)度工作全部交給SDK完成。很多人會(huì)問既然有TFLite、ONNX Runtime這些跨平臺(tái)框架為什么還要折騰QNN原因很簡(jiǎn)單模型要跑得夠快夠省電就必須直接調(diào)用硬件能力??缙脚_(tái)框架為了兼容性往往走的是通用優(yōu)化路徑對(duì)特定硬件的利用程度有限。QNN能直接操作DSP/HTP上的張量緩沖區(qū)和執(zhí)行流水線量化模型跑起來經(jīng)常比CPU快一個(gè)數(shù)量級(jí)。如果你做的是端側(cè)攝像頭、語音助手、手勢(shì)識(shí)別這類對(duì)延遲和功耗極度敏感的場(chǎng)景QNN幾乎繞不開。1.2 完整鏈路拆解從模型轉(zhuǎn)換到C推理一個(gè)模型要跑在QNN上鏈路其實(shí)可以拆成五段準(zhǔn)備模型文件PyTorch導(dǎo)出ONNX或者直接拿TensorFlow/TFLite模型。使用qnn-onnx-converter把ONNX轉(zhuǎn)成QNN的圖描述文件.serialized。使用qnn-context-binary-generator把圖描述文件和HTP Backend綁定生成一個(gè)Context Binary。編寫C程序加載Backend庫和Context Binary。創(chuàng)建輸入輸出張量執(zhí)行推理讀取結(jié)果。很多人會(huì)直接跳到第4步結(jié)果發(fā)現(xiàn)怎么都跑不通原因就是沒有理解Context Binary的作用。Context Binary可以理解為一份提前構(gòu)建好的執(zhí)行計(jì)劃它把模型的算子調(diào)度、內(nèi)存分配、常量數(shù)據(jù)全部打包在一起。運(yùn)行時(shí)只需要把這個(gè)二進(jìn)制文件加載進(jìn)去SDK就能直接在HTP上創(chuàng)建對(duì)應(yīng)的執(zhí)行上下文不用再一條一條去解析算子、做圖優(yōu)化。這一點(diǎn)非常重要。如果你在運(yùn)行時(shí)才去構(gòu)建圖每次啟動(dòng)都要重新做一遍算子的挑選和內(nèi)存規(guī)劃冷啟動(dòng)時(shí)間可能多出幾百毫秒甚至幾秒。而Context Binary方案把重活全部放在離線階段完成運(yùn)行時(shí)就是純加載速度極快。這也是為什么高通官方在端側(cè)部署時(shí)推薦的生產(chǎn)路徑就是Context Binary。1.3 方案取舍用Graph API還是直接用Context BinaryQNN其實(shí)提供了兩條運(yùn)行路徑一條是直接用Graph API在運(yùn)行時(shí)裝圖另一條就是上面說的加載Context Binary。從我實(shí)際用下來的感受來看除非你在做的是需要?jiǎng)討B(tài)修改網(wǎng)絡(luò)結(jié)構(gòu)的實(shí)驗(yàn)場(chǎng)景否則生產(chǎn)環(huán)境一定要走Context Binary。Graph API在運(yùn)行時(shí)構(gòu)建圖的好處是比較靈活可以在代碼里動(dòng)態(tài)指定張量維度、插入算子適合原型驗(yàn)證。但壞處也很明顯每次初始化都要完成完整的圖構(gòu)建流程而且需要在目標(biāo)設(shè)備上具備完整的算子庫和轉(zhuǎn)換工具鏈。這會(huì)讓程序的啟動(dòng)時(shí)間變長(zhǎng)還容易因?yàn)檫\(yùn)行環(huán)境和轉(zhuǎn)換環(huán)境不一致導(dǎo)致各種奇奇怪怪的算子兼容問題。Context Binary則是把模型在開發(fā)機(jī)上轉(zhuǎn)換完畢把校驗(yàn)也做掉之后再把二進(jìn)制文件放進(jìn)設(shè)備里。運(yùn)行時(shí)的代碼路徑極大簡(jiǎn)化就變成幾行固定的調(diào)用標(biāo)準(zhǔn)流程。就算產(chǎn)品發(fā)布了多個(gè)模型版本只要替換二進(jìn)制文件就行C代碼基本不用動(dòng)。我建議做產(chǎn)品落地的朋友直接采用這條路徑下面所有的代碼也都是按這個(gè)方案來寫的。2. 環(huán)境準(zhǔn)備與模型轉(zhuǎn)換這一步值80%的調(diào)試時(shí)間說實(shí)話QNN項(xiàng)目里真正耗時(shí)間的往往不是寫代碼而是環(huán)境搭建和模型轉(zhuǎn)換。很多人編譯報(bào)錯(cuò)、運(yùn)行崩潰最后發(fā)現(xiàn)都是SDK版本不匹配、交叉編譯工具鏈不對(duì)、模型轉(zhuǎn)換時(shí)埋了雷。環(huán)境準(zhǔn)備這一章認(rèn)真看能幫你省下大量排坑時(shí)間。2.1 SDK版本與交叉編譯工具鏈準(zhǔn)備我用的是高通發(fā)布的QNN SDK 2.x版本不同版本接口細(xì)節(jié)略有差異但整體思路是一致的。拿到SDK壓縮包之后解壓到某個(gè)目錄然后設(shè)置環(huán)境變量export QNN_SDK_ROOT/path/to/qnn-sdk export LD_LIBRARY_PATH$QNN_SDK_ROOT/lib/aarch64-unknown-linux-gnu:$LD_LIBRARY_PATH export PATH$QNN_SDK_ROOT/bin/aarch64-unknown-linux-gnu:$PATH注意SDK里的lib目錄下通常會(huì)區(qū)分x86_64-linux-clang和aarch64-unknown-linux-gnu等多個(gè)平臺(tái)目錄。你這臺(tái)開發(fā)機(jī)用的轉(zhuǎn)換工具比如qnn-onnx-converter一般是x86的Python腳本但運(yùn)行時(shí)加載的libQnnHtp.so必須選目標(biāo)設(shè)備對(duì)應(yīng)的架構(gòu)版本。如果程序跑在ARM64的Linux板子上就一定要把a(bǔ)arch64-unknown-linux-gnu目錄下的庫優(yōu)先加進(jìn)LD_LIBRARY_PATH而不是用x86的庫去跑否則直接報(bào)無法加載動(dòng)態(tài)庫。交叉編譯時(shí)還是要用aarch64的GCC工具鏈。我這邊用的是aarch64-linux-gnu-g版本建議在10以上太老的編譯器對(duì)C17支持不友好后面代碼里的智能指針、lambda寫起來會(huì)比較別扭。提前在板子上裝好對(duì)應(yīng)的依賴庫比如libstdc、libc這種基礎(chǔ)運(yùn)行庫避免把編譯產(chǎn)物拷過去之后才發(fā)現(xiàn)缺符號(hào)。如果你跑的是Windows on Snapdragon平臺(tái)那工具鏈又不太一樣要用MSVC或者Clang配合高通提供的Windows庫。今天這篇主要講Linux環(huán)境但代碼邏輯在Windows上一樣能套用關(guān)鍵路徑都是那些接口函數(shù)。2.2 從PyTorch導(dǎo)出ONNX的操作要點(diǎn)我們?cè)赒NN里最常見的第一步是把PyTorch模型導(dǎo)出成ONNX。導(dǎo)出命令很簡(jiǎn)單import torch model torch.load(model.pth, map_locationcpu) model.eval() dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy_input, model.onnx, opset_version13, input_names[input_0], output_names[output_0], dynamic_axes{input_0: {0: batch}, output_0: {0: batch}} )這里有幾個(gè)細(xì)節(jié)非常關(guān)鍵。第一opset_version盡量選13或更高QNN轉(zhuǎn)換器對(duì)高版本opset的支持更完善低版本有些算子表達(dá)過于簡(jiǎn)陋轉(zhuǎn)換器反而容易踩坑。第二dynamic_axes一定要設(shè)置成動(dòng)態(tài)batch因?yàn)镼NN轉(zhuǎn)換器在解析ONNX時(shí)會(huì)對(duì)張量維度做靜態(tài)推理如果你把batch固定為1后續(xù)想換不同batch就得重新轉(zhuǎn)換非常麻煩。第三導(dǎo)出的模型里盡量不要包含自定義算子、數(shù)據(jù)依賴的循環(huán)結(jié)構(gòu)這類ONNX算子QNN不一定認(rèn)識(shí)一旦遇到就只能改成標(biāo)準(zhǔn)算子或者提前把邏輯拆到C里做預(yù)處理。我踩過最大的坑是模型里有一個(gè)torch.where的條件分支導(dǎo)出ONNX之后轉(zhuǎn)換器總是報(bào)算子不支持。后來把網(wǎng)絡(luò)結(jié)構(gòu)里的動(dòng)態(tài)條件邏輯挪到前處理步驟中用mask加法代替條件分支才順利轉(zhuǎn)換成功。所以導(dǎo)出模型之前最好先檢查一遍網(wǎng)絡(luò)里有沒有比較冷門的高級(jí)操作。2.3 使用qnn-onnx-converter的完整轉(zhuǎn)換命令環(huán)境變量配置好之后用轉(zhuǎn)換器把ONNX轉(zhuǎn)成QNN模型描述文件python $QNN_SDK_ROOT/bin/qnn-onnx-converter \ --input_network model.onnx \ --output_qnn_path ./qnn_model \ --input_list ./input_list.txt \ --quantize_full_type_uint16input_list.txt是用于校準(zhǔn)的數(shù)據(jù)列表每一行寫一個(gè)數(shù)據(jù)文件的路徑。這些數(shù)據(jù)文件是原始輸入通常是二進(jìn)制格式或者npy格式。如果你要做全整型量化校準(zhǔn)數(shù)據(jù)必須覆蓋真實(shí)場(chǎng)景的分布比如輸入是圖片最好從驗(yàn)證集里隨機(jī)抽200~500張盡量包含各種光照、角度、遮擋情況。校準(zhǔn)數(shù)據(jù)如果太單調(diào)量化后的模型精度會(huì)有明顯崩塌。--quantize_full_type_uint16表示權(quán)重激活都用uint16量化這是HTP上常用的一種方案精度比uint8高一些性能差異也不大。如果你追求極致性能可以試試uint8但精度掉得比較厲害。這塊可以多測(cè)幾組找一個(gè)準(zhǔn)確率和速度的平衡點(diǎn)。轉(zhuǎn)換完會(huì)在qnn_model目錄下生成一個(gè)model.serialized描述文件。接下來用Context Binary生成器把描述文件和HTP Backend綁定qnn-context-binary-generator \ --backend $QNN_SDK_ROOT/lib/aarch64-unknown-linux-gnu/libQnnHtp.so \ --model qnn_model/model.serialized \ --binary_file model_context.bin生成的model_context.bin就是最終要部署到設(shè)備上的文件。注意這里指定的libQnnHtp.so是開發(fā)機(jī)上的x86版本還是目標(biāo)板子的ARM版本命令行里的庫路徑實(shí)際上會(huì)被運(yùn)行時(shí)路徑替代生成的Context Binary里記錄的是一些后端圖信息最終執(zhí)行還是在設(shè)備的HTP上所以選哪個(gè)版本不是最核心的問題。但為了保險(xiǎn)我一般還是用目標(biāo)架構(gòu)的路徑去生成省得后續(xù)出現(xiàn)莫名其妙的ABI不兼容。2.4 用qnn-model-tool檢查模型信息轉(zhuǎn)換完之后不要急著寫C代碼先用高通自帶的工具檢查一下生成結(jié)果qnn-model-tool --model model_context.bin --print_info這個(gè)命令會(huì)打印模型的輸入輸出張量名稱、維度和類型。我會(huì)把輸入張量的名字記下來后面C代碼里創(chuàng)建張量時(shí)要用這個(gè)名字去匹配。如果名字寫錯(cuò)了graphExecute的時(shí)候通常會(huì)報(bào)張量未綁定或者數(shù)據(jù)填充失敗的錯(cuò)。另外還可以用qnn-model-tool --model model_context.bin --print_buffers查看模型內(nèi)所有緩沖區(qū)的布局方便確認(rèn)輸入數(shù)據(jù)應(yīng)該按什么形狀填充。這一步雖然簡(jiǎn)單但能避免后面代碼里到處猜維度。3. 手寫C推理代碼核心調(diào)用步驟逐段拆解環(huán)境搞定、模型轉(zhuǎn)換完成現(xiàn)在進(jìn)入重頭戲C調(diào)用QNN SDK。我用一個(gè)最簡(jiǎn)單的圖像分類模型做例子把從加載模型到推理輸出的整個(gè)流程寫成代碼。這個(gè)結(jié)構(gòu)也可以直接套用到檢測(cè)、分割等更復(fù)雜的模型上。3.1 核心接口說明QNN SDK的C接口核心其實(shí)就是一組函數(shù)指針表通過QnnInterface_getProviders()拿到接口提供者再從物理設(shè)備加載Backend實(shí)現(xiàn)初始化之后就能使用它提供的能力。QNN最大的特點(diǎn)是把Backend和Context分開抽象Backend是物理能力層負(fù)責(zé)管理NPU/GPU/DSP資源Context是邏輯執(zhí)行層負(fù)責(zé)持有模型圖和內(nèi)部狀態(tài)。整個(gè)調(diào)用序列可以分成四步獲取QNN接口初始化Backend。用導(dǎo)入的Context Binary創(chuàng)建Context。從Context中獲取Graph并綁定輸入輸出張量。執(zhí)行推理讀取結(jié)果。代碼寫起來會(huì)有一些宏和版本差異但接口骨架非常穩(wěn)定。下面我會(huì)拆成幾個(gè)代碼塊來解析。3.2 從QNN Backend初始化到加載Context Binary先看接口獲取和初始化的代碼#include QnnInterface.h #include QnnTypes.h #include QnnContext.h #include QnnGraph.h #include QnnTensor.h #include iostream #include vector #include cstring #include fstream #include dlfcn.h using QnnFunctionTable QNN_INTERFACE_VER_TYPE; QnnFunctionTable* g_qnn nullptr; Qnn_BackendHandle_t g_backend nullptr; Qnn_ContextHandle_t g_context nullptr; bool loadQnnInterface(const char* backendLibPath) { void* handle dlopen(backendLibPath, RTLD_NOW | RTLD_GLOBAL); if (!handle) { std::cerr dlopen failed: dlerror() std::endl; return false; } auto getProviders (Qnn_ErrorHandle_t (*)(const QnnInterface_t***, uint32_t*)) dlsym(handle, QnnInterface_getProviders); if (!getProviders) { std::cerr cannot find QnnInterface_getProviders std::endl; return false; } const QnnInterface_t** providers nullptr; uint32_t numProviders 0; if (getProviders(providers, numProviders) ! QNN_SUCCESS || numProviders 0) { std::cerr no QNN providers found std::endl; return false; } g_qnn providers[0]-QNN_INTERFACE_VER_TYPE; return true; }dlopen那一步就相當(dāng)于在運(yùn)行時(shí)加載HTP驅(qū)動(dòng)的前端庫。為什么要用dlopen而不是直接鏈接因?yàn)槟憧梢酝ㄟ^命令行參數(shù)傳入不同的Backend庫路徑程序變得更靈活。想切到GPU Backend時(shí)只需要換個(gè)路徑即可不用重新編譯。拿到接口之后開始初始化Backend和Contextbool initBackendAndContext(const std::string modelPath) { if (!g_qnn) return false; // 初始化后端 if (g_qnn-backendInitialize(nullptr) ! QNN_SUCCESS) { std::cerr backend initialize failed std::endl; return false; } // 創(chuàng)建后端句柄 Qnn_Backend_Config_t* backendConfig nullptr; if (g_qnn-backendCreate(nullptr, backendConfig, g_backend) ! QNN_SUCCESS) { std::cerr backend create failed std::endl; return false; } // 讀取Context Binary內(nèi)容 std::ifstream binFile(modelPath, std::ios::binary); std::vectoruint8_t buffer((std::istreambuf_iteratorchar(binFile)), std::istreambuf_iteratorchar()); if (buffer.empty()) { std::cerr model binary is empty std::endl; return false; } // 從二進(jìn)制直接創(chuàng)建Context Qnn_Context_Config_t contextConfig; memset(contextConfig, 0, sizeof(contextConfig)); Qnn_ContextCreateFromBinary_Config_t* ctxCreateConfig nullptr; if (g_qnn-contextCreateFromBinary( g_backend, nullptr, buffer.data(), buffer.size(), g_context, ctxCreateConfig) ! QNN_SUCCESS) { std::cerr context create from binary failed std::endl; return false; } return true; }這里要解釋一下為什么用contextCreateFromBinary而不是contextCreate。contextCreate要求傳入網(wǎng)絡(luò)描述符運(yùn)行時(shí)再從描述符構(gòu)建圖。而contextCreateFromBinary接收的是離線生成好的二進(jìn)制執(zhí)行計(jì)劃所有算子的選擇、內(nèi)存分配、依賴關(guān)系都已經(jīng)確定。路徑短、開銷小、穩(wěn)定可靠這就是上一章極力推薦Context Binary的原因。執(zhí)行完以上代碼模型其實(shí)已經(jīng)在HTP上初步建立了執(zhí)行上下文但還缺輸入輸出張量這塊拼圖。3.3 創(chuàng)建輸入輸出Tensor并填充數(shù)據(jù)張量在QNN里是一個(gè)非常重要的抽象它描述了一塊數(shù)據(jù)區(qū)以及它的維度、數(shù)據(jù)類型、量化參數(shù)等信息。創(chuàng)建張量的代碼如下bool createInputTensor(const std::string name, const std::vectoruint32_t dims, Qnn_Tensor_t tensor) { tensor QNN_TENSOR_INIT; tensor.type QNN_TENSOR_TYPE_APP_WRITE; // 輸入張量由應(yīng)用寫入 tensor.dataFormat QNN_TENSOR_DATA_FORMAT_FLOAT_32; Qnn_TensorData_t td tensor.tensorData; td.name name.c_str(); td.rank static_castuint32_t(dims.size()); td.dimensions const_castuint32_t*(dims.data()); td.dataType QNN_DATATYPE_FLOAT_32; td.quantizeParams.encodingDefinition QNN_TENSOR_QUANTIZATION_NONE; if (g_qnn-tensorCreate(g_context, tensor) ! QNN_SUCCESS) { std::cerr tensor create failed: name std::endl; return false; } return true; }QNN_TENSOR_TYPE_APP_WRITE表示這塊內(nèi)存在設(shè)備端由應(yīng)用側(cè)負(fù)責(zé)寫入。還有一種常見類型是QNN_TENSOR_TYPE_APP_READ用于輸出張量表示應(yīng)用需要從設(shè)備端讀取結(jié)果。當(dāng)然也有QNN_TENSOR_TYPE_NATIVE這類直接綁定設(shè)備內(nèi)存的用法但那是性能優(yōu)化階段才需要考慮的事第一次跑通流程時(shí)先用APP_WRITE/APP_READ最省心。創(chuàng)建完輸入張量后要把圖像數(shù)據(jù)填進(jìn)去void fillInputTensor(Qnn_Tensor_t tensor, const std::vectorfloat imageData) { // 先讓QNN獲取一塊可寫入的數(shù)據(jù)指針 void* tensorData nullptr; g_qnn-tensorGetData(tensor, tensorData); if (tensorData nullptr) { std::cerr input tensor data pointer is null std::endl; return; } memcpy(tensorData, imageData.data(), imageData.size() * sizeof(float)); }輸出張量的創(chuàng)建邏輯類似但type要改成QNN_TENSOR_TYPE_APP_READ。這里的核心概念是QNN的輸入輸出張量本質(zhì)上是共享內(nèi)存的通道你往輸入張量綁定的指針里寫數(shù)據(jù)模型執(zhí)行時(shí)直接讀這塊內(nèi)存執(zhí)行結(jié)束后從輸出張量綁定的指針里取數(shù)據(jù)。把數(shù)據(jù)搬進(jìn)去和取出來是整個(gè)流程唯一需要顯式操作內(nèi)存的地方。3.4 執(zhí)行推理和結(jié)果讀取執(zhí)行推理是整個(gè)項(xiàng)目最爽的一步代碼反而是所有環(huán)節(jié)里最簡(jiǎn)短的bool runInference(Qnn_Tensor_t inputTensor, Qnn_Tensor_t outputTensor) { // 獲取模型中的圖句柄 Qnn_GraphHandle_t graphHandle nullptr; Qnn_GraphHandle_t* graphList nullptr; uint32_t numGraphs 0; if (g_qnn-contextGetGraphs(g_context, graphList, numGraphs) ! QNN_SUCCESS) { std::cerr context get graphs failed std::endl; return false; } if (numGraphs 0) { std::cerr no graph in context std::endl; return false; } graphHandle graphList[0]; // 將輸入輸出張量綁定到執(zhí)行 Qnn_Tensor_t tensors[2] { inputTensor, outputTensor }; if (g_qnn-graphExecute(graphHandle, tensors, 2, nullptr, nullptr) ! QNN_SUCCESS) { std::cerr graph execute failed std::endl; return false; } // 讀取輸出數(shù)據(jù) void* outData nullptr; g_qnn-tensorGetData(outputTensor, outData); float* floatOut reinterpret_castfloat*(outData); std::cout Inference done. First 10 outputs: std::endl; for (int i 0; i 10; i) { std::cout floatOut[i] ; } std::cout std::endl; return true; }graphExecute的執(zhí)行是同步的調(diào)用返回時(shí)推理就已經(jīng)完成了。如果你做的是視頻流或者連續(xù)多幀處理建議在創(chuàng)建Context時(shí)打開異步執(zhí)行相關(guān)的配置改成邊采集邊推理的方式提升吞吐。后面章節(jié)會(huì)展開說。一個(gè)容易忽略的細(xì)節(jié)是contextGetGraphs拿到的圖句柄列表是Context內(nèi)部的不需要自行釋放。如果你加載的Context Binary里包含了多個(gè)模型比如一個(gè)檢測(cè)模型加一個(gè)特征模型遍歷這個(gè)數(shù)組就能拿到所有圖句柄分別執(zhí)行。實(shí)際項(xiàng)目中很有用。3.5 資源釋放的正確順序資源釋放順序有講究別小看這最后一步。一個(gè)常見的錯(cuò)誤是先把Backend銷毀了再銷毀Context然后程序崩潰。正確的順序是void cleanup() { if (g_context) { g_qnn-contextFree(g_context); g_context nullptr; } if (g_backend) { g_qnn-backendFree(g_backend); g_backend nullptr; } // 后端terminate放最后 g_qnn-backendTerminate(nullptr); }先釋放Context再釋放Backend最后調(diào)用backendTerminate。原因很簡(jiǎn)單Context還持有Backend內(nèi)部的設(shè)備資源如果先把Backend釋放掉Context在銷毀的時(shí)候會(huì)訪問到一塊已經(jīng)失效的句柄區(qū)域輕則告警重則段錯(cuò)誤。我早期做這塊時(shí)都是直接不釋放進(jìn)程退出讓系統(tǒng)回收后來做長(zhǎng)時(shí)間運(yùn)行的服務(wù)才發(fā)現(xiàn)釋放順序混亂會(huì)導(dǎo)致內(nèi)存持續(xù)上漲最后只能把進(jìn)程重啟。養(yǎng)成正確的釋放習(xí)慣寫出來的服務(wù)才敢跑上幾天幾夜。4. 編譯運(yùn)行與踩坑實(shí)錄從代碼到真正跑起來代碼寫完之后編譯和運(yùn)行階段才是真正開始“打仗”的時(shí)候。這一章我把高頻踩坑點(diǎn)整理出來希望能幫你從報(bào)錯(cuò)大海里快速爬出來。4.1 編譯期錯(cuò)誤怎么排查編譯命令大致是這樣aarch64-linux-gnu-g -stdc17 qnn_runner.cpp -o qnn_runner \ -I$QNN_SDK_ROOT/include \ -L$QNN_SDK_ROOT/lib/aarch64-unknown-linux-gnu \ -Wl,-rpath,$QNN_SDK_ROOT/lib/aarch64-unknown-linux-gnu這里重點(diǎn)說一下-Wl,-rpath的作用。編譯時(shí)鏈接的庫在運(yùn)行時(shí)也要能被找到如果你不在編譯時(shí)指定rpath運(yùn)行前就必須手動(dòng)設(shè)置LD_LIBRARY_PATH。跑服務(wù)的時(shí)候很容易忘記設(shè)置然后看到一連串error while loading shared libraries排查半天才發(fā)現(xiàn)是動(dòng)態(tài)庫路徑問題。把它編進(jìn)二進(jìn)制里一勞永逸。編譯期最常遇到的第一類報(bào)錯(cuò)是找不到頭文件比如fatal error: QnnType.h: No such file or directory。這通常是-I路徑寫錯(cuò)了檢查一下SDK里的include目錄結(jié)構(gòu)把路徑對(duì)準(zhǔn)包含QnnInterface.h的那一層。第二類報(bào)錯(cuò)是鏈接時(shí)找不到QnnInterface_getProviders符號(hào)報(bào)undefined reference。多半是因?yàn)槟阌昧薈編譯器但接口頭文件里的函數(shù)沒有用extern C包裹。QNN頭文件有的版本自帶兼容處理有的版本則需要在包含前手動(dòng)加上extern C { #include QnnInterface.h }這個(gè)問題很隱蔽因?yàn)榫幾g器報(bào)錯(cuò)行號(hào)往往指向你的源文件而不是頭文件讓人誤以為是自己代碼寫錯(cuò)了。后來我在項(xiàng)目規(guī)則里固定了一條所有QNN相關(guān)頭文件一律用extern C包含從此再?zèng)]遇到過這類鏈接問題。4.2 運(yùn)行時(shí)錯(cuò)誤速查表運(yùn)行時(shí)錯(cuò)誤五花八門把幾個(gè)高頻場(chǎng)景列成表格方便對(duì)照排查現(xiàn)象常見原因處理建議dlopen失敗libQnnHtp.so: cannot open shared object fileLD_LIBRARY_PATH沒指對(duì)或者庫架構(gòu)不匹配先確認(rèn)當(dāng)前運(yùn)行的機(jī)器架構(gòu)再設(shè)置對(duì)應(yīng)的庫路徑backendCreate返回錯(cuò)誤沒有更多日志HTP固件版本和SDK版本不匹配檢查設(shè)備的DSP固件版本升級(jí)Hexagon SDK或更換QNN版本contextCreateFromBinary報(bào)RPC_ERRORHTP驅(qū)動(dòng)沒加載或者權(quán)限不足確認(rèn)設(shè)備端是否已經(jīng)啟動(dòng)QNN的RPC服務(wù)用高通提供的run工具初始化環(huán)境輸入張量數(shù)據(jù)寫不進(jìn)去tensorGetData返回空指針張量類型設(shè)置錯(cuò)誤用了NATIVE類型卻沒有綁定設(shè)備內(nèi)存首次跑通流程用QNN_TENSOR_TYPE_APP_WRITEgraphExecute崩潰提示張量名稱不匹配代碼里創(chuàng)建張量的名字和模型里不一致用qnn-model-tool --print_info查看模型真實(shí)張量名推理結(jié)果全是0輸入數(shù)據(jù)沒寫進(jìn)張量或者量化參數(shù)設(shè)置不對(duì)先用float模型跑通再切量化模型對(duì)比結(jié)果這里補(bǔ)充一個(gè)容易忽略的點(diǎn)如果設(shè)備上跑的是沒有root權(quán)限的用戶態(tài)進(jìn)程訪問HTP可能會(huì)被SELinux或者權(quán)限策略攔下來報(bào)一些看起來完全莫名其妙的錯(cuò)誤。遇到這類問題先檢查日志看有沒有權(quán)限相關(guān)的關(guān)鍵字。沒有權(quán)限就用系統(tǒng)管理員協(xié)助調(diào)整配置不要試圖硬繞權(quán)限限制。4.3 打開日志和調(diào)試技巧QNN內(nèi)部有一套完整的日志機(jī)制調(diào)試的時(shí)候打開日志能幫你少走很多彎路。export QNN_LOG_LEVELVERBOSE ./qnn_runner日志級(jí)別從低到高通常是ERROR、WARN、INFO、VERBOSE。平時(shí)跑服務(wù)用WARN就行檢查問題時(shí)開到VERBOSE。開啟后你會(huì)看到SDK內(nèi)部每一步在做什么比如加載后端、創(chuàng)建Context、綁定張量、執(zhí)行算子。有一次模型執(zhí)行結(jié)果不對(duì)打開日志才發(fā)現(xiàn)是某些算子在HTP上走了低精度分支數(shù)值精度下降導(dǎo)致結(jié)果偏差但整個(gè)流程本身沒有報(bào)錯(cuò)。這種問題不開日志根本無從查起。還有一個(gè)小技巧在代碼里加一個(gè)getElapsedTime的計(jì)時(shí)模塊分別統(tǒng)計(jì)模型加載耗時(shí)和推理耗時(shí)。模型加載耗時(shí)可以用來判斷Context Binary是否真的被完整加載推理耗時(shí)可以判斷模型是否真的跑在了HTP上。如果推理耗時(shí)和純CPU實(shí)現(xiàn)差不多那就要懷疑是不是量化沒生效或者Backend配置里禁用了HTP加速。4.4 如何確認(rèn)推理真的跑在HTP上這里插一個(gè)重要驗(yàn)證步驟怎么確認(rèn)模型不是跑在CPU上最簡(jiǎn)單的方法是看執(zhí)行時(shí)間。一個(gè)MobileNetV2量化的模型在驍龍8系列平臺(tái)上跑推理時(shí)間通常只有幾毫秒如果代碼配置正確肉眼可見地比純CPU快。另一種方式是在QNN日志里搜索HtpGraph之類的關(guān)鍵字VERBOSE日志會(huì)打印出后端執(zhí)行時(shí)的算子調(diào)度信息。更嚴(yán)謹(jǐn)?shù)淖龇ㄊ菍?shí)測(cè)功耗。把設(shè)備插上功率計(jì)跑100次推理對(duì)比CPU版和HTP版的功耗差異。HTP版本通常明顯更低。做功耗對(duì)比的時(shí)候建議把屏幕亮度、無線模塊等因素固定住否則數(shù)據(jù)會(huì)被干擾帶偏。日志確認(rèn)和功耗測(cè)量都做過之后基本可以放心你的模型已經(jīng)真正跑在高通NPU上了。5. 性能優(yōu)化與落地建議到這里整個(gè)流程已經(jīng)跑通了模型能夠在C程序里被加載和推理。但跑通只是第一步要想真正落地到產(chǎn)品里還有幾個(gè)關(guān)于性能和穩(wěn)定性的問題需要處理。這部分不是必選項(xiàng)但對(duì)于做長(zhǎng)期項(xiàng)目的人來說非常值得參考。5.1 Tensor內(nèi)存分配與對(duì)齊前面提到APP_WRITE/APP_READ張量類型最省心但在追求極致性能時(shí)可以考慮使用QNN_TENSOR_TYPE_NATIVE并把輸入輸出緩沖區(qū)直接綁到設(shè)備端。這種做法的好處是省去了Host和Device之間的一次內(nèi)存拷貝。如果決定用原生內(nèi)存綁定的方式就必須注意內(nèi)存對(duì)齊。QNN的HTP后端對(duì)緩沖區(qū)有對(duì)齊要求通常是256字節(jié)或者更高具體值可以在SDK的文檔中查到。用posix_memalign分配內(nèi)存設(shè)置QNN_TENSOR_MEM_TYPE_DMA等類型再通過tensorCreateCustom綁定能明顯降低單次推理的負(fù)載。不過這屬于進(jìn)階優(yōu)化第一次做項(xiàng)目不建議直接上。先用APP_WRITE/APP_READ把功能做對(duì)之后再用性能剖析工具找出真正的瓶頸點(diǎn)再有針對(duì)性地替換成原生內(nèi)存方案。5.2 Context復(fù)用與多模型切換在一個(gè)長(zhǎng)期運(yùn)行的應(yīng)用里不要每推理一幀就創(chuàng)建一個(gè)新Context這是非常浪費(fèi)的。一個(gè)Context可以復(fù)用很多次graphExecute是線程安全還是需要加鎖取決于具體后端實(shí)現(xiàn)但通常建議一個(gè)Context對(duì)應(yīng)一個(gè)推理線程保持穩(wěn)定的調(diào)用頻率。多線程場(chǎng)景下要么給Context加鎖要么創(chuàng)建多個(gè)Context每個(gè)線程持有一個(gè)后者吞吐更好。如果你有多個(gè)模型需要切換推理可以一次性把所有模型的Context Binary都加載進(jìn)來每個(gè)模型對(duì)應(yīng)一個(gè)Context和一組輸入輸出張量。執(zhí)行時(shí)按需調(diào)用對(duì)應(yīng)Context的圖切換開銷很小。這種設(shè)計(jì)比每次切換都創(chuàng)建銷毀Context要穩(wěn)得多內(nèi)存占用也更好預(yù)估。5.3 我的個(gè)人維護(hù)習(xí)慣最后分享一個(gè)我自己的習(xí)慣每跑通一個(gè)新模型就在項(xiàng)目目錄下新建一個(gè)model_config.txt把模型版本、輸入尺寸、量化方案、Backend庫版本、生成Context Binary的命令全部記錄下來。這東西看機(jī)器折騰久了半年后回來看項(xiàng)目如果沒有一份配置記錄你會(huì)對(duì)著一個(gè)陌生模型文件發(fā)半天呆。我看過太多人拿著別人給的Context Binary直接接進(jìn)業(yè)務(wù)代碼出了問題不知道是后端不兼容還是模型轉(zhuǎn)換有誤只能從頭排查。提前把版本信息記錄好配合上面說的日志分級(jí)機(jī)制排查問題基本能砍掉一半時(shí)間。QNN整套東西上手之后會(huì)發(fā)現(xiàn)它的接口設(shè)計(jì)一旦理順剩下的就是機(jī)械式調(diào)用。真正決定項(xiàng)目上限的反而是在模型轉(zhuǎn)換階段對(duì)算子兼容性的把握以及在C側(cè)對(duì)張量生命周期的管理能力。第一次跑通別著急上性能優(yōu)化先讓整個(gè)鏈路穩(wěn)定轉(zhuǎn)起來再一步步打磨細(xì)節(jié)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲欧美成人在线观看| 99热8| 欧洲亚洲免费视频9| 色色色五月婷| 夜夜爱伊人| 91chinese 在线| 99ER热精品视频| 97香蕉久久超级碰碰高清版| 色婷婷网| 久久新地址| 另类视在线| 九九热思思| 五月天精品综合| 婷婷色五月久久| 99综合视频在线| 色五月丁香五月激情五月激情| 天天爱天天做天天舔| 97AV在线视频| 欧亚洲在线高清视频| 色情五月婷婷| 日日天天天| 五月欧美色播| 久久黄色免费视频| 99亚洲大片精品永久在线观看| 思思热思在线精品视频| 丁香六月毛片| 五月丁香婷婷基地| 人人操AV| 人妻操逼视频。| 色五月天中文字幕| 婷婷久久亚洲| 外国碰视频网站97| 色丁香五月婷婷| 无遮挡国产高潮视频免费观看| 爱穴久久| 99热天堂| 婷婷五月天成人五月天| 日日干日日s| 色五月丁香五月婷婷五月成人网| www.五月丁香| 婷婷综合五月天| 99精品偷自拍| enecarbon-materials.com污K127封锁请涟系@wip1688 | 久久久久亚洲A∨成人乱码电影| 九九这里只有精品在线视频| 亚洲狠狠狠色婷婷综合激情久久久| 色播五月婷婷| 亚洲人妻av| 狠狠婷婷色综合| 99爱在线| 久久久人妻人伦| 亚洲小说欧美激情| 五月婷婷导航| 色吧婷婷五月亚洲| 亚洲网视屏| 丁香五月视频在线观看| 五月激情综合网| 69精品人人人人| 久久色五月天| 日日影院 | 婷婷中文字幕在线| 亚洲综合丁香五月| 五月丁香啪啪啪| 97色干| 人妻在线观看视频| 天天日天天插天天操| 色情成人五月天| 99热精品在线在线| 色婷婷免费观看| 五月天婷爱综合| 午夜不卡久久精品无码免费| 五月婷婷av在线| 五月丁香综合影院| 色日本五月天| 疯狂做受XXXX高潮A片动画| 久久久五月天婷婷成人网| 思思久久99热| 五月日韩中文字幕| 大香蕉综合| 99色精品视频| 精品亚洲日韩99欧美片| 色婷婷先锋| a九九热www| 成年人夜夜喷水| 天天五月情| 4399欧美另类视频| jiujiuxiangjiaowang| 丁香五月综合激情性爱| 碰人人操| 色播综合| 色5月婷婷| 久久久久久久久久91| 伊久大香蕉| 99久久99九九九99九他书对| 丁香婷婷五月份| 久久玖玖综合| 国内婷婷丁香社区在线播放| 牛牛碰免费| 中文久久婷婷| 久久人妻超碰一区| 五月婷婷亞洲中文| 久久视频婷婷| 99综合一区| 97操碰在线视频| 婷婷久久丁香五月| 色999亚洲人成色| 婷婷.com| 婷香狠狠爱五月| 五月大香蕉| 九九九激情综合| 天天爽天天| 五月婷婷色白丝| 丁香五月香蕉| 另类激情五月在线视频欧美| 色婷婷电影网| 激情四射五月天偷偷看婷婷| 婷婷激情小说| 成人av免费观看| 九九99一区| 五月婷婷六月情| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 伊人大香蕉爱聚| 丁香婷婷影院| 99综合97| 久9热插入| 激情 婷婷| 婷婷八月丁香激情综合| 久久综合中文| 久久国产色| 婷婷中文字幕网| 婷婷五月天成人| 操碰97| 五月婷婷成人网首页| www色五月| 最新色色五月天| 99视频久久| 久久色这里只有精品| 97色婷| 操日视频| 五月婷婷就去色| AV大片在线播放| 天天色综| 丁香成人视频| 亚洲成AV人片在线观看| 激情综合五月色在线| 国产成人AV在线| 色婷大香蕉| 在线观看熟女少妇| 国产成人网| 五月婷婷综合天天操| 狠狠干青青草| 久久婷婷五月综合啪| 婷婷中文字幕| 五月婷婷性爱视频| 日本三级大片| 丁香伊人激情| 另类激情码| 久久精品爱爱| 天天操天天曰| 婷婷久草| 欧美久久网| 欧美噜噜免费观看| 五月天影院婷婷在线观看| 色色丁香婷婷五月天| 国产熟妇乱子伦hd| 超碰日韩人妻在线| 天天综合五月| 七七色色综合| nvrentiantang av| 丁香性爱在线视频| 色欲影香| 一本到不卡高清DVD| 精品爆操| 囯产精品久久欠久久久久久九大| 97人妻碰碰碰久久久久-最近国语高清| 性爱在线播放av| hd五月婷婷在线| 激情综合网五月在线播放| 欧美婷婷日本| 五月丁香激情五月天| 婷婷久久草| 五月天播播| 激情婷婷五月天| 久久五月视频| 国产99久9在线| 成人精品99| 丁香五月AV| 婷婷五月丁香香蕉| 婷婷中文字暮| 五月开心网| 久热精品9999| 久热这里| 色五月成人| 91丨九色丨熟女| 日韩无码专区| AV网在线观看| 久久这里只精品| 久久丁香九| 丁香五月天堂网| 亚洲色图81p| 亚洲视频操| 人人舔人人| 97精品欧美91久久久久久久| 99久久99九九99九九九| 五月丁香激情综合| 无码地址| 欧洲MV日韩MV国产| 狠狠激情五月天| 九色视频入口91| 婷婷丁香色五月久久88| 碰碰碰91| 色婷婷九月| 人妻AV在线| 久久久中文| 久久伊人大香蕉| 人人操碰| 丁香六月婷婷综合网| 激情综合五月| 视频1区2区| 丁香五月电影| 全亚洲最大的婷婷五月天网站COM| 自拍偷窥99热| 99热精品10| 欧美色婷婷| 99精彩视频在线观看| 情涩婷婷五月天| 亚洲天堂色色| www.亚洲激情| 天天搞天天色综合| 免费视频WWW在线观看网站| 99热手机在线精品| 久久久久激情网| 操逼123网| 久久久久久久久月丁| 久久成人综合五月天| 亚洲熟妇AV乱码在线观看| 五月丁香综合网色欲| 成人短视频在线免费观看| 中文字幕按摩做爰| www.99成人视频| 色婷婷综合电影| 天天爱天天做天天| 亚洲av综合网| 午夜天天精品视频| 天天天天干| 日日干天天射| 丁香五月综合激情久久潮喷| 激情综合五月天| 久久成人性爱| 色狠狠色狠狠| 久久精品99国产精品日本| 我爱婷婷五月天综合88| 九九99九九99偷拍视频免费看| 天天激情5月天亚洲| 99a级片| 亚洲成人在线综合| 婷婷五亚洲| 五月婷色| 综合丁香婷婷五月天| 波多野结衣成人作品在线| 久久小说网| 99激情网| 思思久热| 玖久久网站| 婷婷激情五月综合丁| 桃色五月婷婷| 久久久久婷| 婷婷在线免费| 午夜电影网VA内射| 久久婷婷综| 久久精品99国产精品日本| 骚。com| 九九热精品99| 欧美A级成人婬片免费看理论| 丁香六月婷婷综合色| 欧美天堂久久| 久久性爱视频网站| 第五婷婷伊人丁香色| 九月婷婷久久| 天天日天天插| 99热青青草原| 婷婷色影院| 色五月丁香com| 激情床戏| 日夜夜久久| 色色色色五月天| 亚洲久热| 久久婷婷五月综合色丁香| 天天狠天天狠| 五月丁香婷婷狠狠操| 欧美色色色色色色| 婷婷激情综合网| 激情九色| 少妇伦子伦精品无吗| 激情婷婷六月天| 丁香五月婷婷久久综合激情网| 五月天精品| 再次出发二| 黄色av网站在线免费播放| 西瓜美女a片| 激情五月天的婷婷| 久婷久婷激情肉| 色色色综合网| 婷婷色操| 91欧美| 久久无码成人| 丁香五月婷婷在线视频| 91肏| 色婷婷影视99| 国产成人片| 激情五月婷黄版| 99亚洲大片精品永久在线观看 | 婷婷久久色五月婷婷久久久| 九色视频91| 五月婷婷啪啪| 天天插天天插天天插| 99激情网| 91av视频在线观看最新网址| 久久大香蕉丁香| 色欲色香综合网| 丁香五月天论坛| 日韩999| 激情五月婷婷伊人| www.狠狠操.co m| 五月婷婷黄色| 色婷丁香| 91精品刘玥| 伊人综合网站| 日日操,夜夜撸| 天天搞夜夜爽夜夜爽| 色五月中文字幕| 无遮羞AV| 婷婷五月激情中文字幕| 丁香六月色婷婷| 美女妹子后射视频网站在线观看| 五月丁香操婷逼| 久久机热这里只有精品| 五月丁香六月婷婷综合网| 26uu| 激情综合网婷婷久久| 婷婷五月综合中文字幕| 国产日产亚系列精品版优势| 色啪网| 日韩狠狠色婷婷| 欧在线一区| 丁香五月婷久久| 97色欧美| 99九九免费精品| 欧美成人AAA片一区国产精品| 天堂爱爱| 九月婷婷激情久久| 俺也去五月婷婷丁| 疯狂做受XXXX高潮A片动画| 久久99综合| 墨西哥毛片内射精| 亚洲欧洲美女在线观| 国产毛片精品一区二区色欲黄A片| XX久久| 综合婷婷五月丁香在线观看| 激情五月天的婷婷| 五月激情偷拍婷婷| 天海翼中文字幕高| 婷婷视频网| 五月丁香六月婷婷成人电影| 人人人人人人人人人草| 久久久久久18| 久久99网| 久热这里只有精品在线观看 | 久久伊人大香蕉| 久热久色| 丁香五月狠狠在线观看| 亚洲色在线观看| 丁香六月亚洲| 99免费偷拍视频| 99热在线播放| 色色日本| 99热只有国产在线精品| 五月婷婷很很色| 神马欧美精| 婷婷丁香五月,狠狠综合| 丁香婷婷午夜| 五月天婷婷色色| 九九AV在线| 亚洲va在线| 日本色婷婷综合| 五月婷婷AV| 五月丁香综合网| 五月停停大香蕉| 狠狠干,狠狠操| 久热亚洲| 色爱终和网| 五月丁香婷色| 色 丁香婷婷| WWW.国产| 天天综合精品| 五月丁香亚洲婷婷| 在线99热| Www,五月天| 五月丁香激情综合网官网| 伊人热婷婷| 亚洲综合五月天婷婷丁香| 久久在线人妻| 色激情综合狠狠婷婷| 色五月首页| 日本黄色精品| 99热最新精品| 91久久久久久久久| 伊人久久婷| 天天摸天天肏| 玖玖精品婷婷| AV在线免费播放| 久久性都花花世界成人免费视频| 九九99九九精品免费| 99re在线免费视频| 久久九九激情五月天 | 日韩综合久久| 99久久玖玖| 五月色色色| 玖玖热视频| 激情综合五月婷婷| 色色三级视频| 99热在线观看99| 婷婷激情四射五月天| 美女91一起草| 人妻视频在线| 五月天色婷婷网| 日本婷婷色日| 五月婷婷色色| 思思热视频| 北京熟妇搡BBBB搡BBBB | 黄色网址五月婷婷| 日本狠狠干| 婷婷91| 亚洲无AV在线中文字幕| 五月婷婷大香蕉| 五月天大香蕉| 欧美25p| 涩涩五月天| 亚洲久久日| 激情综合亚洲| 欧美色小说婷婷| 婷婷激情六月综合| 天天玩天天摸| 99在线视频播放| 丁香六月婷婷色XXXX| 人人干99| 99只有这里有精品在线视频| 九九色视频| 激情婷婷色小说| 99思思在线视频| 五月婷在线观看| 久久精品五月天| 91丁香| 双性美人被调教到喷水A片| 六月激情网| AV性爱在线| 久久婷婷综合五月趴| 狠狠久综合| 99热精国产这里只有精品| 国产女生爱爱AA| www.色婷婷.com| 久久92| 91丨九色丨白浆秘| 色五月婷婷丁香五月| 超碰99久久| 欧美黄色韩日网| 婷婷五月六月| 五月丁香六月婷婷亚洲综合| 日本va欧美va欧美精品88| 99免费| 天天做天天爱天天玩| 99免费热视频在线| 激情综合网激情五月天| 激情五月,激情综合网| 五月色丁香| 婷婷亚洲五月| 伊人色综合久久久| 五月天.com| 成人无码髙潮喷水A片| 久热伊人91| 色吊丝av中文字幕| 丁香五月激情网| 91热在线| 色高清无码视频| 99热在线观看亚洲区| 婷婷五月婷婷五月| 精品久久人妻| 五月天婷婷在线AN| 性爱激情久久| 日良久久| 99在线观看精彩视频| 久久这里只有国产视频| 婷婷六月丁香在线| 激情WWW| 六月丁香影院| 日本一道久久| 欧美日韩99| 婷婷五月激情黄色| 97干视频在线| 国熟女视频| 五月婷婷官网色| 99在线观看精品视频| 大香蕉伊然在亚洲90| 超级碰碰一区| 91丨九色丨熟女|新版| 久久这里只有国产| 丁香五月婷婷亚洲另类| 欧美视频五区| 狠狠爱深色婷婷综合| 五月天狠狠色| 激情亚洲婷婷六月| 亚洲99热| 青青草伊人婷婷| 1囯产午夜仑鲁鲁| 亚洲色色色色色| 97婷婷五月| 亚洲精品色| 久久婷婷六月综合国际| AV网站免费在线| 丁香激情久久| 婷婷五月天播播| 性爱综合网| 99久久婷婷国产综合亚洲| 激情久久婷婷| av操B网站| 日韩高清久久| 色了色综合| 久久综合干| 一区二区免费看| 五月婷婷开心亚洲无| 草综合14| 国产婷婷婷| 亚洲国产精品五月天| 99熟女啪啪视频| 五月丁香婷婷五月色| 五月丁香六月婷婷久久| 婷婷五月天亚洲丁香| 成人在线日韩| 大香蕉520| 亚州AV超碰人人操| 97人人射| 久婷婷| 五月天久久网站| 第四色色色色色丁香五月天| 66久久视频在线| 久久婷婷网| 99熟女啪啪视频| 99人人操人人摸| 欧美成人AAA片一区国产精品| 色婷婷国产精品综合在线观看| 五月婷视屏在线观看| www.9操| 色婷婷婷av | 日本五月天激情| 成人.在线日韩| 精品色情一区二区三区四区| 九九在线精点品| 色综合久久综合| 日韩小视频在线99| 丁香五月六月激情久久| www久久久久久久久久久久久久久久久| 丁香五月天激情网址| 五月婷婷久久久| 久99在线视频| 99re视频在线播放| 99色婷婷视频| 五月天伊人网| 中文字幕在线免费观看视频| 亚洲熟女色| 亚洲AV成人在线| 天天综合精品| 91n啪啪| 色婷婷在线视频综合| 日本色色色色色色色色一色二色| 婷婷大美在线| 北条麻妃九九九国产精品视频| 激情小说五月丁香在线视频观看视频| 狠狠干婷婷| 天天成人综合| 激情98色婷婷五| www,五月丁,com| 激情小说色五月| 思思久久精品| 久久婷婷久久| 欧美乱码国产一级A片| av免费在线网站| 色婷婷久久| 先锋资源91| 五月丁香六月成人| 久久婷婷激情| 天天操天天插| 激情www| 99精品人人| 色五月久久成人婷婷| 曰韩少妇内射免费播放| 五月天激情AV| 九月丁香亭亭| 成AV人片一区二区三区久久| 中文字幕色色色| 99热热热国产超碰| 97香蕉碰碰人妻国产欧美| 婷婷国产日本欧美| 欧美激情伊人| 色五月丁香五月| 性爱在线播放av| 在线观看免费观看在线9久| www.henhengan| 成人在线视频网| 影音先锋美国A| 久久成人人妻| 天天做天天爱天天爽夜夜揉| 色欲五月丁香| 另类在线免费视频| 九九伦子片| 精品人妻一区| 色噜噜综合网| 久久精品99国产精品日本| 丁香五月综合网亚洲综合欧美狠狠| 一级片操逼视频| 狠狠做深爱婷婷久久综合一区| 99人妻碰碰碰久久久久| 色狠狠色| 青青草蜜臀| 91/九色黑人| 丁香五月欧美午夜视频| 99热日韩| 日本熟妇乱妇熟色A片蜜桃| 亚洲狠狠婷婷| 超碰爱爱爱| 免费操超碰| 国产性爱色| www.com亚洲网站在线免费| 婷婷天堂视频| 婷婷五月激情的图片| 另类五月婷婷| 26uuu另类亚洲欧美日本一| 99热99日…..| 六月婷婷激情图片| 91大操| 欧美一级操逼视频| 婷婷五月深深的爱| 五月丁香天天| 婷婷中文字幕版| 九九视频热| 日日躁夜夜躁狠狠久久AV| 婷婷五月天视频小说| 国产女人十八水真多1| 超碰一区二区| 91超级碰在线| 五月欧美色播| 区区久久妻| 五月婷婷av| 亚洲超碰在线| 99人人操人人摸| 婷婷的色色五月天| 五月婷婷综合在线| 思思热精品在线视频| 亚洲色碰| 91综合视频丁香| 久大香蕉| 五月丁香少妇网| 免费看无码视频A级| 亚洲欧美成人在线| 思思热这里只有精品| 丁香五月 综合| 五月婷婷之综合激情在线| 九九黄色网| 66精品成人免费网站在线观看| 97碰超级人人看| 五月停性愛| 日本色婷婷| 丁香六月视频免费观看| 婷婷久久网| 97久久精品视频| 26uuu精品一区二区| 久久A V无码视频| 婷婷久久18| 最近中文字幕2019视频1| 婷婷综合五月天| 色五月婷婷、老熟女| 9久9久| 五月天婷婷视频| 91精品刘玥| 欧美内射AA| 丁香五月婷婷色播艳门照| 九九色综合| 日韩精品VIP| 五月丁香婷婷福利| 精品久久这里热66| 青青久在线视频免费观看| www.玖玖婷婷在线| 99热在线中出| 97婷婷五月丁香| 激情五月天天| 久久99jiu9| 美女黄频aⅴ视频| 婷婷激情五月视频| 热成人网| 99热这里只有精品在线免费| 久re热视频| 色婷婷丁香花五月天| 婷婷色九月| 综合久久久婷| 99在线观看免费精品视频| 91九色在线视频| 婷婷五月天视频| 久久婷婷五月天激情四射| 天天色天天爱天天舔| 校花娇喘呻吟校长陈若雪视频 | 婷婷亚洲天堂| 欧美久久久中文字幕| 狠狠操狠狠| 无码动漫av| 人人人舔人人人操人人人摸人人人97 | 丁香色情五月综合网站| 五月天激情黄色小说在线观看| 日韩情色在线观看| 五月综合激情久久| 亚洲中文字幕网| 色色丁香五月天| 五月天狠狠网| 99色色最新视频| 亚洲操操| 国产综合色婷婷精品久久| 琪琪色网址| 少妇高潮呻吟A片免费看软件| 丁香六月欧美| 五月天亚洲色| 五月丁香龟婷婷| 99久久思思| 五月婷婷激情四季| 大香蕉手机视频| 操操操AV| 超碰cap| 91精品久久久久| 色婷婷综合亚洲| WWW.国产| 99 热| 五月丁香色婷基地综合久久| 99热色综合| 人妻体体内射精一区二区| 俺去也综合| 99综合久久| 99热香港| 婷婷在线视频| 99色视频在线| 丁香六月婷婷开心| 五月婷婷天堂| 国产无人区大片| 五月天色婷婷综合| 色日本五月天| 婷婷性爱五月天| 99只有这里是精品| 日韩美女羞羞网站在线观看| 久久3p| 欧美性猛交99久久久99| 激情久久综合| 久99| 欧美性爱五月天| 一本道在线电影| 天天操狠狠操| 五月婷婷婷婷婷| 久久婷婷丁香五月一二三| 91日本在线免费| 欧美成人网99网| 在线视频激情网站| 色吧综合网| 五月丁香狠狠爱| 婷婷五月激情综合| 色五月婷婷啪啪五月| 亚洲乱码日产精品BD| 天天爽天天爽夜夜爽| 4399在线观看免费高清毛片| 99热在线观看亚洲区| 视频这里只有精品16| 色丁香影院| 大香蕉综合网| 色婷婷777狠狠| 欧美激情综合| 东京热免费视频| 五月激情小说| 激情综合久久| 久久久免费精彩视频| 色色99| 亚洲色综合| 色婷五月| 婷婷激情97| 91色在线/日韩| 久久久久久综合88| 色婷婷狠狠18禁| 五月天激情久色| 色.五月综合网| 婷婷五月花| 久久狠狠干| 五月天婷婷成人| 人人操操| 色婷婷五月天成人网| 色色丁香五月天| ww亚洲ww在线观看| 丁香色啪综合| 婷婷丁香色五月久久88| 色五月婷婷激情| 天天操夜夜操| 久婷久婷| 激情五月丁香五月| 嫩草AV久久伊人妇女超级A| 91 影音先锋| 操射国产日本| 婷婷六月天天| tingtingcaobi| 91黄操| 这里只有精品久| 婷婷的99视频网站| 99免费热视频在线| 激情六月天| 午夜伊人大香蕉| 久久中文网| 综合色久| 欧美色色色色色色色| 婷婷黄色五月天在线视频| 极品另类| 99在线精品免费视频| 午夜激情综合| 五月天亚洲色| 亚洲视频a| 丁香婷婷性久久| 九月丁香| 激情网五月天| 九色91国产| 双性美人被调教到喷水A片| 伊人五月成人| 五月J香蕉婷婷| 月婷婷婷婷五月| 婷婷激情五月天激情在线| 色情婷婷久久五月天| 五月天色婷好好| 丁香五月婷婷少妇| 91热在线| 操逼福利视频| 夜丁香综合| 五月婷婷五月天| 天天操夜夜操| 欧美性爱五月天| 97人妻碰碰碰久久香蕉| 深爱激情网噜噜色| 人人摸人人操人人爽| 五月婷无码| 久热婷婷| www.婷婷,com| 26UUU欧美| 日本久久色| 色久女| 免费黄色片子| 99精品久久久久久久婷婷久久| 色欲久久久久| 色爱亚洲| 潮汕成人AV片在线| 成人看片网站| VfJxEwPH| 九九在线精点品| 人碰人人人玩91| 久久9视频欧美| 色婷婷六月精品| 天天色亚洲| 丁香婷婷啪啪| 天天日天天肏天天奸| 色婷久九| 欧美综合在线五月天色婷婷| 久99久在线观看| 日日夜夜天天| av五月丁香| www.激情在线| 婷婷五月激情六月| 欧美大片免费播放器| www.久久久久久| 日韩av干| 色色色色五月天| 在线成人va| WWW,五月| 五月天狠狠干| 丁香五月婷婷影院| 91干在线视频| WWW色综合| 99热| 91干婷婷| site:xmssd.com| 五月丁香综合激情| 五月大香蕉| 六月丁香啪啪| 色婷婷成人做爰A片免费看网站 | 99热99艹在线观看| 六月婷婷综合网2| a性生活久久无| 偷拍九九热| 亚洲视频在线网| 国产首页在线| 少妇真实被内射视频三四区| 久久精品99| 91热在线| 亚洲综合婷婷| 在线可以看的av网址| 深爱开心激情网| 久久狠色噜噜狠狠狠狠97| 。久久久久久久久久久久久久人妻| 丁香婷婷色情| www五月天激情com| 色婷婷五月在线| 五月天激情黄色网址| 超碰成人免费| 成人va视频| 综合五月婷婷| 五月婷三级片| 一级黄色操B| 激情五月,激情综合网| 亚洲综人色综网| 丁香五月婷婷亚洲色图| 少妇人妻综合色6699| 日日操,夜夜撸| 五月天激情无码| 香蕉久久国产AV一区二区| 亚洲网视屏| 夜夜骑夜夜撸| 五月天婷婷久久视频| 国产日韩av片| 97色色在线视频| www.色五月| 中文字幕九九九九| 99精品免费| 裸睡玩奶头(高H)| AV操逼网| 五月天婷婷激情网| 99re热在线视频| AA丁香综合激情| 久久婷五月影院| 99视频精品8 | 五月激情婷婷六月| 五月天色色网站| 国产黄大片在线观看画质优化| 久色网址| 色婷婷色和| 另类婷婷丁香| 九色婷婷| 人妻激情综合| 999激情视频| 久久这里有精品在线观看| 99在线精品观看99| 超碰99成人在线| 狠狠五月丁香色婷| 91视频一起草| av在线免费播放观看| 五月丁香激情综合网| 这里只有精品免费视频在线观看| 婷婷伊人网| 久婷婷视平| 丝袜人妻| 天天色天天日| 色婷婷久久综合| 亚洲综合激情五月久久| 丁香五月停停基地| 中文字幕在线观看视频www| 8区视频在线| 久月丁香爱婷婷综合| 噜噜色com| 日本99热| 九月激情综合婷婷| 亚洲成人av在线| 丁香五月婷婷基地| 婷婷丁香激情综合色情| 丁香婷婷色情| 9热久久| 亚洲色无码| 婷婷桃色网| 色九九综合| 操日本三片99| 色五XX| 99热在线观看成人| 婷婷五月综合欧美在线播放| 亚洲天天综合| 日韩专区五月天婷婷丁香| 婷婷五月色播网| 久久五月婷婷电影| 狠狠干综合网| 国产一级黄色影片,| 五月综合激情视频| 超碰日韩人妻在线| 五月激情视频网| 亚洲无AV在线中文字幕| 777.色色| 日本强伦片中文字幕免费看| 第四色婷婷色五月| 99热自拍| 狠狠va| 无码人妻丰满熟妇奶水区码| 1024人妻| 99自拍视频在线观看| 伍月婷婷免费视频| 婷婷五月花| 26UUU在线观看| 色综合五月| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 美欧日韩国产成人在战| 丁香六月啪| 婷婷五月天受日本法律保护| 天天做天天爱天天爽| 色 五月俺去也| 亚洲字幕AV一区二区三区四区| 久香草视频在线观看| 97干在线视频精品店| 51avj视频大全| 97人妻碰碰碰久久| 色九月婷婷综合| 色优久久| www.99热| 色欲资源网| 日韩有码久久| 97丁香婷婷| 久久久思思热| 高清一区二区三区日本久| 玖久精品视频9| 亚洲图色五月天| 五月停停丁香| 婷婷五月天性爱视频| 丁香久久久| 99热精品观看| 婷婷欧美| 久久只有精品| H亚洲| 五月丁香色六月激情干大屄| 97碰| 久久精彩视频| 96性爱视频| 婷婷久久色五月婷婷久久久| 色五月激情五月开心五月| 激情久久五月天| 成人丁香五月| 欧美激情五月天在线观看| 五月停停99| 欧美三日本三级少妇三99| 色综合婷婷| 99精品偷自拍| 丁香婷婷激情网站| 五月丁香精品| 免费亚洲婷婷中文字幕| 热99视频精品| 红桃91人妻爽人妻爽| 精品成人a v无码内射| 免费婷婷| 国产精产国品一二三在观看| 综合久久人妻| 亚洲综合色色| 午夜精品久久久久久久爽| 婷婷综合色五月天| 996er热| 成人综合网站| 色婷婷狠狠| 操97| 久久婷婷六月综合综合| 国产69久久久欧美黑人A片| 天天插天天爽| 色噜综| 九九九热精品| 日本91在线播放| 激情综合网五月婷婷| 久久伊人日日夜夜| av在线观看网站| 成人国产欧美大片一区| 婷婷综合网| 色婷婷成人久久| 婷婷综合五月| 婷婷五月天激情偷拍| 久久一伦| 婷婷五月天开心网| 99操逼视频| 管管補管管紱| 碰碰女| 五月婷婷亚洲天堂97色婷婷| 99热这里都是精品| 五月www| 操操人人| 综合激情四射一theav| 色婷五月天| 人人人操| 中文字幕簧片| www.射伊蕉婷婷| 97大香蕉五月天| 日本久久高清| 色狠狠婷婷| 欧美日韓成人亚洲精品另类| 91凹凸在线| 91婷婷视频| 色香蕉影院| 99热99色| 九九人人操| 九九99九九精品免费| 六月丁香激情| 26uuu激情五月天| 亚洲操逼片| 人妻六月天| 六月激情丁香一道本7777| 伊人啪啪网| 91日本在线| 激情电影五月婷婷| 婷婷金品综合视频| 婷婷午夜天| 婷婷在线操| 91AV婷婷| 成人五月天综合网| 日日爽日日| 91丨九色丨43老版熟女| 色五月 五月婷婷| 激情五月综合网最新| 干婷婷五月天| 丁香婷婷色五月| 九九狠狠干| 亚洲精品成人片在线播| 色综合色| 国产亚洲精品久久久久久牛牛| 正宗黄色毛片| 亚洲中文字幕网| 五月天天爽| 管管補管管紱| 一起草无码| ai97re99一本| 丁香婷婷大香蕉| 婷婷五月天基地| 夜夜噜夜夜奇| 婷婷伊人綜合中文字幕小说| 99综合99| 思思久久99热只有频精品66| 91久久婷婷| 99在线观看免费精品视频| 激情五月丁香社区| 亚洲另类AV| 亚洲六月婷婷| 日本激情91| 久久开心五月天激情| 九九操综合网| 久热这里只有精品3| 4438激情网| 亚洲综合欧美色丁香婷婷888月图片| 五月天婷婷社区| 久久精品视频9| mmm1717.6dbm人人爱人人操| A在线观看| 青青草原爱爱网| 东京热五月婷婷| 五月天伊人| 六月婷婷色色色| 日本婷婷色日| 色六月视频| http://www.lingjunshare.com/ | A片试看120分钟做受图片| 97av在线视频| 色五月偷偷| 操操操Av| 深爱五月婷婷开心中文字幕| 大香蕉婷婷五月天| 97色女人在线| 丁香,开心成人,久久| 天天干天天爽| 激情五月影院| 国产成人av在线| 欧美在线视频免费播放| 十月丁香九月婷婷综合| 亚洲五月天狠狠| 日本www五月婷婷| 精品99久久久久成人网站免费| 欧美色色干| 操人精品| 色月丁| 在线超碰精品| 丁香五月婷婷五月| 婷婷在线播放| 99热日本| 玖玖婷婷五月天| 超碰a女人的天堂| 在线观看欧美| aaa丁香五月天| 天天操天天操| 色五月综合在线| 色色色色色色色色综合网| 情欲禁地| 五月婷婷综合影院| 久热黄色| 99精品这里只有免费视频| 欧美丁香五月天| 九九精品综合| 男同91| 开心五月综合激情网| 五月丁香在线视频观看| 色婷婷AV久久久久久久| 99精品自拍| 激情综合色婷婷啪啪五月天| 人伦30P| 激情深爱婷婷网| 久久久久综合激动五月天| 婷婷欧美偷拍综合| 99热这里只有精品3| 操逼视频一区| 国产看真人毛片爱做A片| 最新日韩AV中文字幕| 丁香婷婷六月天| 99性视频| 中文无码婷婷| 五月天丁香色色| 字母不卡码人逼| 色 五月婷婷基地| 婷婷五月花| 色五月亚洲开心网| 狠狠色网| 国产性爱一级| 激情亭亭五月| 亚州第一黄网| 人人操A| 婷婷的久久网站| 天天精品视频免费观看| 俺去婷婷 丁香| 五月丁香婷婷综合网| 激情五月婷婷| 欧美大肥婆大肥BBBBB| 国产亚洲精品久久久久久牛牛| 99国产精品久久久久久久久久久| 婷婷久久五月天| 中文字幕无码人妻少妇免费视频| 99精品久久| 国产伦亲子伦亲子视频观看| 三男玩一女三A片| 婷婷五月天97干| 综合激情四射一theav| 第四色色六月色综合| 玩熟女五十AV一二三区| 五月丁香婷婷激情图片| 欧美激情 日韩无码 婷婷 五月天| 日本97久久久精品| 婷婷欧美激情| 99热在线观看精品| 天天插天天插天天操| 婷婷综合激情| 精品一二三区视频立| 五月婷婷婷自由综合| av操一操| 五月丁香婷草| 五月丁香婷婷免费视频| 91精品在线看| 婷婷色综合| 婷婷色在线| 99欧美| 久月久在线视频| 激情电影五月婷婷| 九九十99视频| 中文字幕乱码亚洲精品一区| 26uuu成人网| 日本色色网站| 91黄址| 777久久综合视频| 激情五月丁香色婷婷| 九月丁香| 人人色婷婷五月天| 粉嫩AV久久一区二区三区| 五月天婷久精视频| 97色在线| 99re熱| 色丁香五月婷婷| 91精品91久久久中77777| 国产亚洲在线| 98永久精品|