欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

C++動態(tài)庫熱加載實(shí)戰(zhàn):從Windows DLL到onnxruntime引擎熱更新

C++動態(tài)庫熱加載實(shí)戰(zhàn):從Windows DLL到onnxruntime引擎熱更新 搞了十多年 C 服務(wù)端和桌面端我一直覺得動態(tài)庫熱加載是被低估的一項(xiàng)技能。動態(tài)庫誰都會用無非鏈接、調(diào)用、解綁定但一旦加上熱加載三個字性質(zhì)就變了——這意味著在進(jìn)程不重啟的前提下把正在運(yùn)行的模塊從內(nèi)存里卸載、替換、再重新拉起來。這招在 AI 推理服務(wù)、游戲邏輯更新、7x24 小時后臺任務(wù)里都是硬需求而且實(shí)際踩坑遠(yuǎn)比想象中多。這篇文章我會從 Windows DLL 的調(diào)用姿勢講起說清楚隱式鏈接和顯式加載到底差在哪再深入熱加載的核心機(jī)制最后用一個面向 onnxruntime 的動態(tài)庫熱加載實(shí)戰(zhàn)來收尾——包括怎么用 VS 調(diào) DLL、怎么讓推理引擎的模型和庫文件同時做到熱更新、加載不上或卸載不干凈時去哪排查。無論你是寫桌面工具的還是維護(hù)線上服務(wù)的這波內(nèi)容都能直接用。1. 動態(tài)庫熱加載到底解決什么問題1.1 三種加載時機(jī)對應(yīng)三類需求很多人對動態(tài)庫的理解停留在程序啟動時自動加載其實(shí)從工程角度看動態(tài)庫至少有三類完全不同的使用時機(jī)對應(yīng)三種截然不同的業(yè)務(wù)需求。第一種是啟動期加載也就是隱式鏈接。編譯時通過導(dǎo)入庫.lib和頭文件綁定好exe 一啟動系統(tǒng)加載器就會自動把依賴的 DLL 找齊、映射進(jìn)進(jìn)程地址空間。這種方式最簡單絕大多數(shù)桌面軟件都是這么做的缺點(diǎn)是啟動時不行就是不行——少一個依賴 DLL程序直接彈窗報(bào)錯沒有任何補(bǔ)救機(jī)會。第二種是運(yùn)行期按需加載也就是顯式加載。通過LoadLibrary/GetProcAddressLinux 下是dlopen/dlsym在程序跑起來之后根據(jù)配置和業(yè)務(wù)邏輯臨時決定要不要加載某個模塊。比如一個采集軟件只有在用戶選擇了??迪鄼C(jī)才加載相機(jī) SDK 的 DLL選了大華相機(jī)就加載另一家的。好處是靈活、資源不浪費(fèi)壞處是調(diào)用鏈復(fù)雜函數(shù)指針和生命周期都要自己管理。第三種就是我們今天聊的熱加載進(jìn)程長期運(yùn)行中把某個 DLL 完整卸載掉替換成新版本或新實(shí)現(xiàn)再把它重新加載進(jìn)來。這跟前兩種有本質(zhì)區(qū)別——啟動期加載和運(yùn)行期按需加載都是一次加載終身使用而熱加載要求模塊具備可生可滅的能力。你想想一個服務(wù)跑了一個月內(nèi)存里堆了幾十萬個對象如果某個業(yè)務(wù)模塊的邏輯要升級傳統(tǒng)做法是重啟進(jìn)程但如果這個服務(wù)承載著長連接、用戶會話、模型狀態(tài)重啟的成本就可能是幾十萬用戶同時掉線。熱加載解決的就是這個問題讓模塊像 USB 一樣隨時插拔進(jìn)程本身保持存活。用生活化的話說啟動期加載像是你買房時把家電都裝死在墻上按需加載像是租房子時缺啥買啥但買了就用到底熱加載則是酒店客房服務(wù)——客人退房、打掃、下一個客人入住房間還是那個房間但里面的狀態(tài)完全刷新。1.2 熱加載與插件架構(gòu)的關(guān)系熱加載并不是一個孤立的技術(shù)點(diǎn)它天然會和插件架構(gòu)綁定在一起。原因很簡單不是每個 DLL 都能熱加載的。如果一個 DLL 和主程序之間深度耦合、互相傳遞內(nèi)部對象、共享全局狀態(tài)那卸載時必然牽一發(fā)動全身。想做到安全熱加載必須從設(shè)計(jì)階段就把模塊邊界劃清楚讓模塊通過穩(wěn)定的接口層和主程序通信。典型的可熱加載插件架構(gòu)長這樣主程序只依賴一個抽象的接口頭文件比如IPlugin里面有Init、Execute、Release等純虛函數(shù)插件 DLL 實(shí)現(xiàn)這個接口并且對外導(dǎo)出兩個工廠函數(shù)——CreatePlugin和DestroyPlugin。主程序用LoadLibrary加載 DLL調(diào)用CreatePlugin拿到接口指針用完或要升級時先調(diào)用DestroyPlugin銷毀對象再FreeLibrary卸載 DLL。所有跨模塊傳遞的數(shù)據(jù)要么是基礎(chǔ)類型要么是接口指針絕對不能把主程序內(nèi)部的std::string、std::vector直接傳給 DLL 去操作更不能讓 DLL 分配的內(nèi)存交給主程序去delete。這個架構(gòu)聰明在哪它把能熱加載從一種技巧變成了一種紀(jì)律。只要每個模塊都恪守這個邊界卸載就只是銷毀對象 釋放句柄 清引用計(jì)數(shù)的機(jī)械操作沒有隱藏依賴、沒有跨堆內(nèi)存、沒有全局狀態(tài)糾纏。選擇這種方案而不是直接在進(jìn)程內(nèi)改代碼或升級時重啟整個服務(wù)核心原因有三個一是可用性7x24 服務(wù)不允許中斷熱加載能把升級時間從分鐘級壓到毫秒級二是故障隔離插件崩潰不至于拖垮整個主程序壞模塊可以獨(dú)立降級三是灰度能力我可以只對部分連接加載新版本模塊驗(yàn)證沒問題再全量切。這三點(diǎn)在 AI 推理服務(wù)里尤其重要因?yàn)槟P透骂l率高而推理引擎本身也在持續(xù)迭代。2. 從 Windows DLL 講起VS 里調(diào)用動態(tài)庫的完整姿勢2.1 隱式鏈接與顯式加載的區(qū)別先別急著聊熱加載得先把 Windows 下調(diào)用 DLL 的基礎(chǔ)姿勢理清楚。很多新手問如何用 VS 調(diào)用 DLL其實(shí)從機(jī)制上講只有兩條路隱式鏈接和顯式加載。我見過太多人把這兩者混在一起結(jié)果出了問題都不知道是加載階段失敗還是調(diào)用階段失敗。隱式鏈接依賴三個東西頭文件、導(dǎo)入庫.lib、DLL 文件。在 VS 工程里配置好附加包含目錄附加庫目錄附加依賴項(xiàng)編譯出來的 exe 在啟動時就會自動加載 DLL。優(yōu)點(diǎn)是調(diào)用起來跟普通函數(shù)一模一樣編譯器幫你搞定所有地址解析缺點(diǎn)是靈活性差依賴關(guān)系在編譯期定死運(yùn)行時 DLL 缺失或版本不對程序直接起不來更別提熱更新了。顯式加載則是運(yùn)行時完全動態(tài)的。主程序只保存一個函數(shù)指針通過LoadLibrary拿模塊句柄再通過GetProcAddress按名字取函數(shù)地址。整個過程不依賴任何 .lib 或頭文件但最好還是用宏和 typedef 把函數(shù)簽名固化下來程序的啟動不會因?yàn)槟硞€ DLL 不存在而失敗——最多就是加載失敗時給你返回一個NULL。這才是熱加載的底層基礎(chǔ)。我做個簡單對比維度隱式鏈接顯式加載加載時機(jī)進(jìn)程啟動時由系統(tǒng)加載器完成運(yùn)行時按需調(diào)用 LoadLibrary依賴文件頭文件 .lib .dll僅 .dll函數(shù)簽名需要自己聲明靈活性差依賴關(guān)系編譯期固定好可加載、可卸載、可替換失敗處理啟動即失敗無補(bǔ)救機(jī)會返回值可判斷支持重試/降級熱加載不支持支持是熱加載的基礎(chǔ)如果你只是做一個內(nèi)部工具隱式鏈接省事沒問題但如果你的 DLL 要做熱更新或者要在運(yùn)行時決定加載哪個后端實(shí)現(xiàn)那就必須顯式加載。這個選擇題沒有中間態(tài)。2.2 用 VS 調(diào)用 DLL 的關(guān)鍵步驟下面走一遍用 VS 調(diào)用 DLL 的完整流程以 C 為例。假設(shè)我們有一個math_tools.dll導(dǎo)出一個double add(double a, double b)。先說 DLL 這邊的導(dǎo)出。在 Visual Studio 里新建一個動態(tài)鏈接庫(DLL)項(xiàng)目在頭文件里寫#ifdef MATH_TOOLS_EXPORTS #define MATH_TOOLS_API __declspec(dllexport) #else #define MATH_TOOLS_API __declspec(dllimport) #endif MATH_TOOLS_API double add(double a, double b);源文件里實(shí)現(xiàn)#define MATH_TOOLS_EXPORTS #include math_tools.h double add(double a, double b) { return a b; }這里MATH_TOOLS_EXPORTS這個宏是 VS 創(chuàng)建 DLL 工程時自動定義的用來區(qū)分當(dāng)前是在導(dǎo)出還是導(dǎo)入。構(gòu)建成功后你會得到math_tools.lib和math_tools.dll兩個文件——注意.lib不是靜態(tài)庫它只是個導(dǎo)入符號表實(shí)際代碼在.dll里。然后回到調(diào)用方。如果你是隱式鏈接打開工程屬性C/C - 常規(guī) - 附加包含目錄填上 DLL 頭文件所在目錄。鏈接器 - 常規(guī) - 附加庫目錄填上.lib所在目錄。鏈接器 - 輸入 - 附加依賴項(xiàng)填入math_tools.lib。把math_tools.dll放到 exe 同目錄或者放到系統(tǒng) PATH 能搜到的地方。這樣代碼里直接#include math_tools.h然后用add(1.0, 2.0)即可。注意 x64 和 x86 的位數(shù)必須一致Release/Debug 的運(yùn)行時庫設(shè)置也要匹配否則會有一堆莫名其妙的鏈接錯誤。如果走顯式加載則不需要鏈接器和包含目錄的配置代碼改成#include windows.h typedef double (*AddFunc)(double, double); double call_add(double a, double b) { HMODULE hMod LoadLibraryA(math_tools.dll); if (!hMod) { // 加載失敗可以 GetLastError() 看原因 return 0.0; } AddFunc fp (AddFunc)GetProcAddress(hMod, add); if (!fp) { FreeLibrary(hMod); return 0.0; } double result fp(a, b); FreeLibrary(hMod); return result; }每一步都要判空LoadLibrary失敗、GetProcAddress找不到符號都必須處理。這是顯式加載的典型節(jié)奏熱加載的所有代碼都是在這個模式上做文章。2.3 踩過的坑調(diào)用約定與名稱粉碎這個坑我必須單獨(dú)拿出來說因?yàn)閹缀趺總€從隱式鏈接轉(zhuǎn)向顯式加載的人都會踩。前面示例里add是 cdecl 調(diào)用約定這在 C 里編譯后符號名會被粉碎name mangling變成類似?addYANNNZ的形式。你用GetProcAddress(hMod, add)去查大概率返回NULL。解決辦法就是導(dǎo)出時加上extern C。讓符號保持 C 風(fēng)格的名字extern C MATH_TOOLS_API double add(double a, double b);這樣GetProcAddress就能用字面名字add找到它了。但如果你的導(dǎo)出函數(shù)使用__stdcall調(diào)用約定Windows 還會在符號名后面加一個加參數(shù)字節(jié)數(shù)比如add16。C 里用extern C__stdcall導(dǎo)出時符號名同樣會被修飾。最穩(wěn)妥的做法是導(dǎo)出時用模塊定義文件.def 文件顯式指定導(dǎo)出名或者干脆在GetProcAddress里用add16這種修飾名。我個人強(qiáng)烈建議平臺相關(guān)的接口層統(tǒng)一用extern C__cdecl別在調(diào)用約定上玩花活。另一個常見的坑是 CRT 和內(nèi)存管理。DLL 內(nèi)部用new分配的內(nèi)存交給主程序用delete釋放在 Debug 版里十有八九會崩——因?yàn)閮蛇吙赡苕溄拥氖遣煌?。解決方法是把創(chuàng)建/銷毀對象也設(shè)計(jì)成接口的一部分讓內(nèi)存的分配和釋放在同一側(cè)完成。這也是后面熱加載實(shí)戰(zhàn)里的接口必須帶CreatePlugin/DestroyPlugin兩個工廠函數(shù)的原因希望大家現(xiàn)在就記住這個原則。3. 熱加載的核心機(jī)制與實(shí)現(xiàn)路徑3.1 卸載、重載的真正含義從 API 層面看Windows 熱加載的主角只有三個LoadLibrary、GetProcAddress、FreeLibrary。每個 DLL 在被加載時系統(tǒng)會維護(hù)一個引用計(jì)數(shù)LoadLibrary一次計(jì)數(shù)加一FreeLibrary一次計(jì)數(shù)減一只有計(jì)數(shù)歸零DLL 才真正從進(jìn)程地址空間里卸載。這個引用計(jì)數(shù)概念是理解熱加載的第一把鑰匙。但真正卸載四個字遠(yuǎn)沒有字面那么簡單。DLL 被卸載意味著它內(nèi)部所有全局對象、靜態(tài)變量、注冊的回調(diào)、申請的資源都要跟著銷毀。C 里靜態(tài)對象的析構(gòu)會在DllMain收到DLL_PROCESS_DETACH時執(zhí)行但如果你的 DLL 里還駐留著別的線程正在執(zhí)行它的代碼卸載就會變成災(zāi)難——線程下一步就要跳到一個已經(jīng)不存在的代碼地址上瞬間崩潰。更隱蔽的是DLL 里可能有自己的 CRTC 運(yùn)行時有自己的errno、線程局部存儲、堆狀態(tài)。這些狀態(tài)在進(jìn)程啟動時就加載和運(yùn)行中途加載這兩種場景下差異很大。中途卸載再重新加載本質(zhì)上相當(dāng)于在一個已經(jīng)跑起來的進(jìn)程里再啟動一個模塊這個模塊需要重新初始化一切但外部環(huán)境的全局狀態(tài)并不會自動清空。這就是熱加載難的根源不是 API 不支持而是二進(jìn)制模塊自身的狀態(tài)依賴遠(yuǎn)比想象中多。重載的時候DLL 內(nèi)部會重新執(zhí)行全局構(gòu)造、執(zhí)行DllMain主程序的GetProcAddress再拿到一組全新的函數(shù)指針。所以熱加載的本質(zhì)并不是原地更新而是舊模塊退場新模塊入場你要保證整個過程中沒有任何代碼繼續(xù)持有舊的函數(shù)指針或舊的模塊句柄。這個要求聽起來很基礎(chǔ)但恰恰是實(shí)際工程里最難保證的。3.2 在 C 里實(shí)現(xiàn) DLL 熱加載的基礎(chǔ)代碼雖然熱加載難但基礎(chǔ)實(shí)現(xiàn)框架并不復(fù)雜。我先給一個最樸素的 C 顯式加載循環(huán)然后逐步解釋它為什么是能跑的最小骨架#include windows.h #include cstdio typedef void (*InitFunc)(const char* path); typedef void (*ExecuteFunc)(void); int main() { HMODULE hMod NULL; InitFunc init NULL; ExecuteFunc exec NULL; // 1. 加載模塊 hMod LoadLibraryA(worker.dll); if (!hMod) return -1; // 2. 解析導(dǎo)出函數(shù) init (InitFunc)GetProcAddress(hMod, init_module); exec (ExecuteFunc)GetProcAddress(hMod, execute); if (!init || !exec) { FreeLibrary(hMod); return -1; } // 3. 使用模塊 init(C:/config/model.bin); exec(); // 4. 熱卸載不再使用后再 FreeLibrary // 注意這里如果有其他線程正在調(diào)用 exec必須先保證它們退出 FreeLibrary(hMod); // 5. 等待片刻后重新加載新版本 worker.dll // 此時文件已被替換為最新版本 hMod LoadLibraryA(worker.dll); ... }這段代碼的骨架是加載 - 解析 - 使用 - 卸載 - 再加載。但工程上必須給它加很多保護(hù)線程同步、句柄引用計(jì)數(shù)、模塊版本校驗(yàn)、異常處理。比如你在第 4 步FreeLibrary的時候必須確認(rèn)沒有其他線程正趴在這個 DLL 的函數(shù)里執(zhí)行否則就是經(jīng)典的卸載了一個正在被調(diào)用的模塊崩潰。實(shí)際操作中我會把熱加載封裝成一個ModuleManager類內(nèi)部用std::shared_ptrvoid管理句柄用std::atomicbool標(biāo)記模塊是否可用再配合讀寫鎖保證新模塊加載和舊模塊卸載的串行化。不要覺得這是小題大作——我在生產(chǎn)環(huán)境里見過太多裸用 LoadLibrary 導(dǎo)致隨機(jī)崩潰的案例原因全是卸載時機(jī)沒控制好。3.3 為什么熱加載這么難全局狀態(tài)與資源泄漏先說一個很多人沒意識到的事實(shí)熱加載真正難的從來不是加載/卸載本身而是模塊內(nèi)部的全局狀態(tài)清理。一個 C DLL 里哪怕只有一個靜態(tài)局部變量比如const std::string get_name() { static std::string name old; return name; }當(dāng)這個 DLL 被FreeLibrary卸載時name這個全局對象會被析構(gòu)。如果外面還有一份引用比如某些緩存里存了get_name()返回的指針這個引用就成了懸垂指針。如果你看不到這一層就會覺得崩潰毫無規(guī)律某個對象在模塊卸載前一切正常卸載后一訪問就炸。第二個大坑是跨模塊內(nèi)存分配。比如 DLL 里new了一個對象返回給主程序主程序在熱卸載之后才調(diào)用delete此時對象的析構(gòu)函數(shù)已經(jīng)不在進(jìn)程地址空間里了——因?yàn)?DLL 已經(jīng)卸載。輕則訪問違例重則整個堆損壞。這就是為什么我在 2.3 里反復(fù)強(qiáng)調(diào)跨模塊對象的創(chuàng)建和銷毀必須由同一側(cè)通常是插件 DLL 內(nèi)部的工廠函數(shù)完成主程序只調(diào)用DestroyPlugin絕不直接delete。第三個坑是句柄和系統(tǒng)資源。DLL 里可能開了文件句柄、網(wǎng)絡(luò)連接、GPU 資源、線程池。FreeLibrary不會幫你自動關(guān)閉這些資源只負(fù)責(zé)執(zhí)行該模塊的靜態(tài)析構(gòu)和DllMain里的清理邏輯。如果你的DllMain不寫清理代碼資源就會泄漏。這個問題在熱加載場景會被無限放大因?yàn)闊峒虞d通常發(fā)生在長期運(yùn)行的進(jìn)程里泄漏一次不覺得泄漏一百次之后系統(tǒng)資源耗盡進(jìn)程整體崩潰。所以設(shè)計(jì)可熱加載模塊時我強(qiáng)烈建議所有資源都?xì)w接口對象所有Release()里統(tǒng)一釋放。DLL 內(nèi)部不要有跨調(diào)用保持狀態(tài)的全局單例除非你能證明它能在模塊卸載時被完全清理。模塊里不要自行創(chuàng)建線程需要異步邏輯時把開始/停止暴露成接口方法讓主程序在卸載前統(tǒng)一關(guān)閉。4. 實(shí)戰(zhàn)把 onnxruntime 動態(tài)庫玩出熱更新4.1 為什么要熱加載 onnxruntimeonnxruntime以下簡稱 ORT是微軟開源的推理引擎日常做 AI 部署的同學(xué)肯定非常熟悉。它本身以動態(tài)庫形式分發(fā)Windows 上叫onnxruntime.dllLinux 上是libonnxruntime.so。這個 DLL 體量不小還依賴 CUDA、cuDNN、DirectML 等一堆底層庫靜態(tài)鏈接基本不現(xiàn)實(shí)大家都在用動態(tài)庫方式集成。很多人的用法是項(xiàng)目啟動時加載 ORT創(chuàng)建Ort::Session然后一直跑模型推理。模型要更新時就重建 Session加載新的.onnx文件。這個屬于模型熱更新OR DLL 本身不用動問題不大。但真實(shí)生產(chǎn)里還有另一類需求引擎本身要升級比如 ORT 從 1.15 升到 1.16或者為了修復(fù)某個算子 bug 換了一個自定義補(bǔ)丁版 ORT。麻煩在于進(jìn)程是不能重啟的而 ORT 的庫文件已經(jīng)被新版覆蓋舊版還在內(nèi)存里。你總不能把正在運(yùn)行的模型推理停掉然后干瞪眼吧。這種場景下就必須做引擎級熱加載——把承載 ORT 的整個模塊做成可插拔的動態(tài)庫主程序在流量低谷時把舊模塊卸載、加載新模塊、重新初始化。從部署角度看這個能力讓升級推理引擎變成了一個運(yùn)維動作而不是開發(fā)動作新版本 ORT 編譯好替換插件 DLL 文件觸發(fā)一次熱加載服務(wù)自動切到新引擎整個過程用戶無感。4.2 模型熱更新與引擎熱更新的區(qū)別這里必須分清楚兩個層級很多人混在一起之后debug起來異常痛苦。第一層級是模型熱更新ORM 會話Session的配置文件或者權(quán)重文件變了。比如你今天用yolov5s.onnx明天換成yolov5m.onnx推理服務(wù)只需要重新創(chuàng)建一個Ort::Session把新的模型文件路徑傳進(jìn)去舊 Session 釋放掉就行。這個過程不涉及動態(tài)庫加載/卸載純粹是對象級別的重建。第二層級是引擎熱更新onnxruntime 本體這個 DLL 變了。這時舊的Ort::Session對象底層指向的是舊 ORT 模塊里的代碼必須把這個對象銷毀干凈然后卸載舊 DLL再加載新 DLL在新的地址空間里重新創(chuàng)建 Session。本質(zhì)上就是把用 ORT 做推理這一整坨能力封裝成一個獨(dú)立的插件 DLL主程序只認(rèn)識和這個插件之間的接口協(xié)議完全不直接依賴 ORT 任何符號。我見過很多團(tuán)隊(duì)搞模型熱更新搞得很溜但一涉及到換引擎版本就全員重啟服務(wù)就是因?yàn)榧軜?gòu)上把 ORT 直接綁死在主程序進(jìn)程里了。其實(shí)正確的做法是把 ORT 當(dāng)成插件 DLL 的私有依賴永遠(yuǎn)不要讓它出現(xiàn)在主程序的頭文件里。主程序只需要知道IInferPlugin這個抽象接口至于這個插件底層是 ORT 還是 TensorRT 還是自家寫的純 C 推理根本不重要。這樣你不僅能熱加載 ORT還能在 ORT 和另一套推理引擎之間做故障切換。4.3 基于 onnxruntime 的推理插件熱加載示例下面我給一個可以直接抄作業(yè)的框架。設(shè)計(jì)目標(biāo)主程序能在不重啟的情況下替換推理引擎插件 DLL包括插件內(nèi)部使用的 onnxruntime DLL 版本。先定義接口頭文件主程序和插件都要引用它// infer_plugin.h #ifndef INFER_PLUGIN_H #define INFER_PLUGIN_H #ifdef _WIN32 #define PLUGIN_API __declspec(dllexport) #else #define PLUGIN_API __attribute__((visibility(default))) #endif // 跨模塊邊界只使用 C 風(fēng)格接口避免 ABI 問題 typedef struct InferResult { int class_id; float score; } InferResult; #ifdef __cplusplus class IInferPlugin { public: virtual ~IInferPlugin() {} virtual bool Init(const char* modelPath) 0; virtual InferResult Infer(float* input, int size) 0; virtual void Release() 0; }; #endif extern C { PLUGIN_API bool CreateInferPlugin(IInferPlugin** plugin); PLUGIN_API void DestroyInferPlugin(IInferPlugin* plugin); } #endif插件 DLL 內(nèi)部實(shí)現(xiàn)接口包含 onnxruntime 的頭文件和庫依賴// ortor_plugin.cpp #include infer_plugin.h #include onnxruntime_cxx_api.h class OrtPlugin : public IInferPlugin { public: bool Init(const char* modelPath) override { env_ std::make_uniqueOrt::Env(ORT_LOGGING_LEVEL_WARNING, infer); session_ std::make_uniqueOrt::Session(*env_, modelPath, sessionOptions_); return session_ ! nullptr; } InferResult Infer(float* input, int size) override { // 組裝輸入 Tensor執(zhí)行 session_-Run(...) // ... return {0, 0.98f}; } void Release() override { delete this; // 內(nèi)存釋放發(fā)生在 DLL 內(nèi)部 } private: std::unique_ptrOrt::Env env_; std::unique_ptrOrt::Session session_; Ort::SessionOptions sessionOptions_; }; extern C { bool CreateInferPlugin(IInferPlugin** plugin) { *plugin new OrtPlugin(); return true; } void DestroyInferPlugin(IInferPlugin* plugin) { delete plugin; } }主程序的模塊管理器做熱加載切換void ReloadInferenceEngine() { // 1. 摘除業(yè)務(wù)流量暫停新的推理請求等待在途請求結(jié)束 g_requestQuiesce.store(true); // 2. 銷毀當(dāng)前插件實(shí)例 if (g_plugin) { DestroyInferPlugin(g_plugin); g_plugin nullptr; } // 3. 卸載舊插件 DLL舊 onnxruntime 隨插件 DLL 一起退出進(jìn)程 if (g_hModule) { FreeLibrary(g_hModule); g_hModule nullptr; } // 4. 安全替換磁盤文件新插件 DLL 已復(fù)制到位 // 這里可以用 先復(fù)制到臨時文件再 MoveFileEx 加 MOVEFILE_REPLACE_EXISTING 保證原子性 // 5. 加載新插件 DLL g_hModule LoadLibraryA(ort_infer_plugin.dll); if (!g_hModule) { g_requestQuiesce.store(false); return; // 回到舊版本或報(bào)警 } // 6. 獲取工廠函數(shù)創(chuàng)建插件實(shí)例重新初始化模型 auto createFn (CreatePluginFn)GetProcAddress(g_hModule, CreateInferPlugin); createFn(g_plugin); g_plugin-Init(latest_model.onnx); // 7. 恢復(fù)業(yè)務(wù)流量 g_requestQuiesce.store(false); }關(guān)鍵點(diǎn)在于ORT 的env_和session_生命周期完全限制在插件 DLL 內(nèi)主程序不會持有任何 ORT 對象。插件 DLL 被卸載時env_和session_作為插件對象成員先被析構(gòu)然后插件對象再從堆上釋放隨后整個 DLL 卸載ORT 的資源清理動作都發(fā)生在合法范圍內(nèi)不會出現(xiàn)跨模塊釋放。這個流程已經(jīng)可以支撐生產(chǎn)環(huán)境的引擎熱更新了。實(shí)際部署時每次發(fā)布都會生成一個帶版本號的插件 DLL比如ort_infer_plugin_v1.16.dll用一個符號鏈接或配置文件指到當(dāng)前版本。重載時先加載新版本 DLL 測試連通性測試通過再切流量老版本 DLL 保留一個窗口期隨時可以回滾。5. 熱加載的進(jìn)階實(shí)踐與排查技巧5.1 常見問題速查表熱加載的問題通常不是一步崩而是偶發(fā)崩、隨機(jī)崩、只在客戶現(xiàn)場崩。我整理了一份排查表每一條都是實(shí)測里見過的真實(shí)問題?,F(xiàn)象直接原因排查方向LoadLibrary 返回 NULL錯誤碼 126/127DLL 依賴的其他 DLL 找不到用 Dependency Walker 或 dumpbin /dependents 查看依賴檢查 PATH、exe 目錄、系統(tǒng)目錄LoadLibrary 返回 NULL錯誤碼 193位數(shù)不匹配x64 進(jìn)程加載了 x86 DLL確認(rèn) exe 和 DLL 的 Platform 都是 x64且依賴全部匹配GetProcAddress 找不到符號沒加 extern C或被調(diào)用約定修飾用 dumpbin /exports 查看實(shí)際導(dǎo)出名卸載 DLL 時崩潰模塊內(nèi)靜態(tài)對象析構(gòu)順序問題或外部仍持有舊函數(shù)指針用FreeLibraryAndExitThread排查檢查所有回調(diào)注冊確保無線程在執(zhí)行 DLL 代碼文件被占用無法替換 DLL舊 DLL 還在進(jìn)程里引用計(jì)數(shù)不為零確認(rèn)沒有GetProcAddress得到的函數(shù)指針殘留確認(rèn)子進(jìn)程沒有持有句柄重載后行為異常舊模塊的全局狀態(tài)沒清干凈審查 DLL 內(nèi)所有 static/全局變量優(yōu)先改用接口對象管理所有狀態(tài)重載后內(nèi)存持續(xù)增長每次熱加載都泄漏資源每次重載前后抓快照對比重點(diǎn)看 DLL 是否注冊了全局鉤子或創(chuàng)建了常駐線程以上幾個問題的共性就是你得先懷疑模塊邊界。熱加載崩潰 90% 都發(fā)生在模塊交接的那一瞬而不是模塊自身邏輯正確性上。所以排查時先把業(yè)務(wù)線程停干凈再卸載看崩不崩如果不崩就說明是競態(tài)需要補(bǔ)齊同步機(jī)制。5.2 生產(chǎn)環(huán)境熱加載的落地經(jīng)驗(yàn)最后聊一點(diǎn)經(jīng)驗(yàn)向的。熱加載在 demo 里跑通很容易真正上生產(chǎn)有很多細(xì)節(jié)。第一雙緩沖和原子替換。我強(qiáng)烈建議不要直接把worker.dll覆蓋掉而是先寫到臨時文件名等卸載完成后再通過MoveFileEx加MOVEFILE_REPLACE_EXISTING一次性替換。這樣即使新 DLL 有問題磁盤上還能留一份可回滾的舊版本。熱加載失敗時立刻重新加載舊版本 DLL業(yè)務(wù)側(cè)完全無感。第二流量摘除要用優(yōu)雅停止而不是強(qiáng)殺。具體來說就是置一個原子標(biāo)志讓新請求不再進(jìn)入插件對已在執(zhí)行中的推理請求設(shè)置一個合理的超時比如 5 秒等它結(jié)束。千萬不要直接TerminateThread——那會把整個進(jìn)程的堆鎖和 CRT 狀態(tài)搞壞后續(xù)任何malloc/new都可能死鎖。我之前見過一個團(tuán)隊(duì)在熱更新時強(qiáng)殺線程結(jié)果模塊卸載沒問題但整個進(jìn)程從此進(jìn)入每隔幾分鐘隨機(jī)卡死的詭異狀態(tài)。第三版本標(biāo)記和健康檢查要配套。每個插件 DLL 導(dǎo)出一個GetPluginVersion()主程序加載后先校驗(yàn)版本號再加載模型最后跑一次冒煙推理比如用一個固定的輸入向量檢查輸出是否在合理范圍內(nèi)全部通過才切流量。這一步看起來笨實(shí)際上能擋住大量依賴缺失但 LoadLibrary 碰巧成功的問題。第四注意平臺差異。Windows 下 DLL 加載后文件會被映射進(jìn)地址空間即使邏輯上卸載了某些殺毒軟件或文件監(jiān)控工具也可能短暫持有句柄所以替換 DLL 失敗時不要立即放棄重試幾次可能就成功了。Linux 下.so的處理邏輯類似但不會出現(xiàn) Windows 那種文件被占用的鎖問題不過要額外注意.so內(nèi)部的構(gòu)造函數(shù)、析構(gòu)函數(shù)在dlclose時的執(zhí)行順序以及舊版本.so的內(nèi)存未釋放問題。根據(jù)我個人的項(xiàng)目經(jīng)驗(yàn)熱加載這種東西其實(shí)設(shè)計(jì)比實(shí)現(xiàn)重要。你把接口邊界定義清楚把資源生命周期全部收斂到模塊對象里后面所有的加載、卸載、替換都是順理成章的事反過來如果一開始就沒想清楚邊界強(qiáng)行用LoadLibrary做熱更新就是把一個炸彈埋進(jìn)了線上服務(wù)今天不炸明天炸。每次升級 ORT 這類重量級動態(tài)庫時我都慶幸當(dāng)初把插件邊界劃得足夠干凈——因?yàn)檎嬲搅肆璩咳c(diǎn)需要緊急升級引擎的時候需要的不是寫代碼的勇氣而是架構(gòu)上提前留好的那扇門。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天伊人久久| 婷色五月| 超碰99在线观看| 精品成人无码A片观看香草视频| 香蕉久久国产AV一区二区| 亚洲熟妇AV乱码在线观看| 91碰免费视频| 伊人干综合| 麻豆科斗777| 另类小说五月天激情| 亚洲免费在线观看岛国| WWW99热| 99色干| 秋霞午夜理论| 26uuu欧美日本| 婷婷色情网| 大香蕉婷婷| 在线免费观看激情视频| 亚洲精品va| 婷婷六月天精品| 天天综合中文| 色婷婷久久| 久久婷婷青青| 91久操| 天天插轮理| 日韩在线aaa| 大香蕉天堂| 农村熟妇高潮精品A片| 亚洲激情五月| 婷婷六月中文字幕| 五月丁香婷婷啪啪| 国产AV网页| 思思99热这里只有精品| jizzdr| 99爱视频在线观看这里只有精品| 91在线人| 亚洲成色综合网站免费观看| 日韩啪| 亚洲精品久久久无码| 色在线99| 国产精品久久久久9999小说 | 国产精品岛国片在线观看免费| 大香蕉久艹| 密乳视频| 色五月激情五月天| 吊色AV男人的天堂| 色5月婷婷| 久久五月丁香婷婷| 五月天婷婷色色首页| 超碰三级秋霞| WWW.99热| 丁香五月婷婷天堂大香蕉| 丁香婷婷综合精品六月初| 天天高潮夜夜爽| 色色射| 激情国产综合| 丁香婷婷视频一区二区| 五月婷婷六月色| 久久一级免费黄色片| 99re99热| 玖玖资源在线视频| 97婷婷狠狠| 天天擼久久擼在线| 国产AV国片偷人妻麻豆| 性爱先锋AV| 天天插天天插| 9久热在线精品| 丁香五月第九色| 激情婷婷五月| 超91热| 五月天天天综合| 丁香五月天婷婷中文字幕| 99精品偷自拍| 成人婷婷色五月天| 久久婷婷视频| 天天摸天天舔在线视频| 五月天丁香成人| 67194线路二在线观看| 99精品热| 久久久WWW| 大香蕉娱乐| 囯产精品一品二区三区| 国产欧美熟妇另类久久久| 亚洲另类婷婷综合| 级情九色| 天天干,天天舔| 97丁香五月| 婷婷伊人綜合中文| 五月婷综合| 曰韩五月丁香色婷婷无码| 婷婷日| 狠狠操狠狠| www,久久久| 丁香五月天婷婷激情| 激情亚洲五月| 婷婷亚洲色| 人妻丰满精品一区二区A片| 五月婷婷免费在线| 色99在线| 这里只有在线精品| 国产五月视频| 亚洲激情视频网| 婷婷六月激情| 99熟女| 日韩在线99| 99资源在线| 免费播放99性爱视频| 国产美女无遮挡裸体毛片A片| 丁香五月婷婷激情小说| 天天综合网站| 色五月开心五月激情五月| 激情综合色| 丁香五月在线自慰| 九九色热| 天天色·欧美| 亚洲深喉aV| 五月丁香婷中文| 成人无码髙潮喷水A片| 激情婷婷内射| 欧美怡红院黄站| 五月婷婷co.m| 人妻第九页| 26UUU亚洲欧美| 最新高清无码专区| 五月天婷婷视频30| 色综合久久8| 99热这里只有精品在线观看| 任我肏| 狼人久草| 色综合天天网| 在线视频区| 热99只有里视频| 一本大道熟女人妻中文字幕在线| 激情五月婷在线精品| 久久9情免费| 都市激情小说婷婷| 在线观看免费狠狠色丁香香综合| 婷婷久久五月天| 免费黄色视频网址| 成人做爰高潮A片免费视频| 综合久色五月| 色色色五月| 精品无吗va视频免费观看| 激情五月色综合网| 亚洲精品99| 欧美综合激情五月丁香| yirenjiqingshiping| 日本五月天一页| 激情五月丁香六月综合AVXXXX| 激情丁香九九五月综合网| 欧美久久婷婷| 丁香五月五月婷婷欧美大香蕉| 好好干av| 丝袜激情网| 性一交一乱一交A片久久四色| 91久久综合亚洲鲁鲁五月天| 全部老头和老太XXXXX| 日日噜狠狠色综合久久| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 婷婷久久久| 天天插天天很| 99啪视频在线观看| 九九热这里只有精品6| 久er7久热| 97人人操人人插| 99视频在线观看网址| 超碰人人色| 三人荫蒂添的好舒服A片| 亚洲综合色五月| 伊人婷婷91| 99操| 精品无吗va视频免费观看| 99riAV国产精品视频| 26uuu| 丁香五月亚洲无码| 色色色在线观看| 亚洲欧洲另类| 丁香五月影院| 丁香五月丁香伊人| 激情婷婷丁香五月天| 99碰碰| 婷婷六月丁香久| 丁J香六月首页| 丁香六月啪啪| 婷婷激情社区| 五月丁香婷婷AV天堂| 日本三日本三级少妇三级66| 五月天婷婷色综合| 久久婷婷六月综合| 丁香五月天欧美成人| 91人妻九色大屁股| 六月丁香五月婷婷| 日韩成人中文字幕| 婷婷亚洲欧美丁香五月| 九九热这里精品| 久久婷婷五月综合色和| 九九香蕉网| 五月婷婷色激情| 丁香五月在线人妻| 五月丁香婷婷成人版| 色综合久| 天天搞夜夜叫| 婷婷五月天首页激情| 九九热re99re6在线精品| 成人婷婷桔色| 五月天啪啪视频| 91九色PORNY大屁股| 色婷婷狠狠爱| 丁香五月成人婷婷| 婷婷丁香五月亚洲综合网在线视频观看| 婷婷丁香五月91| 婷婷五月天97干| 色五月大香蕉| 婷婷色操| 欧美人妻一区二区| 精品九九视频| 色五月xxx| 久碰综合| 99在线视频观看| 色小说婷婷五月天天天| 99热老网站| 欧美成综合在线观看| 99热超碰在线| 五月天.com| 亚洲色五月婷婷| 婷婷五月天影视| www.色综合| 丁香五月黄色| 肏日网在线看| 最新婷婷五月丁香| 综合AV网| 日韩黄色中文字幕| 国产av天堂| 五月天狠狠色| 丁香五月婷婷香| 六月五月久久丁香| 亚洲激情无码久久| 婷婷五月深情丁香深爱日韩| 另类视频综合| 97在线精品视频| 丁香五月黄色| 国产在线自| 五月婷婷综合在线亚洲视频| 日日做A爰片久久毛片A片英语| 热99精品视频五月| 婷婷五月在线观看| 色偷偷五月天| 天天久| www.五月丁香av| 久色视频首页| 综合逼五月激情婷婷| 99综合视频| 国产精品丝| 久久综合综合综合| 久热伊人在91| 天久久久久| 色色六月| 天堂网色婷婷| 色哟哟性爱av| 99riAv1国产在线观看| 九色PORNY在线精品酒店| 色吧网综合| 综合久久十三| 久热99中文字幕| 成人无码精品1区2区3区免费看| 成功精品影院| 成人做爰高潮A片免费视频| 五月激情天| 九九热这里都是精品6| 99超级碰免费视频| 五月婷俺去也| 日 日干 日日做| 99热这里只有精品在线免费| 色五月av伊人| 激情五月五月五月婷婷| 婷婷丁香五月激情中文字幕版| 丁香综合伊人AV| 婷婷大美在线| 综合激情深爱| 色五月婷婷丁香五月| 婷婷娱乐丁香综合网| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 五月丁香六月婷婷免费| 97色伦另类图片小说视频 | WWW.99热| 五月婷婷中文| 亚洲无线视频| 亚洲激情综合| 亚洲色无码A片一区二区麻豆| 欧美交换配乱吟粗大25P| 久久久久9999| 国产乱子轮XXX农村| 丁香婷婷六月天| 色五月婷婷丁香婷婷| 日本女天天爽| 亚洲九九99精品视频在线播放| 五六月丁香激情视频| 五月色天五月色| 久热视频这里只有精品68| 天天干天天日日| 99综合99| 婷婷五月情天| 99日本黄站| 色婷婷婷婷| 五月天桃色深爱网| 99re热在线视频| 亚洲一色色色色色色色色| 婷婷丁香五月天婷婷| 婷婷六月丁香在线| www.av骚货| 五月色婷婷综合| 色日本网| 99操无码视频观看| 日本猛少妇色XXXXX猛叫| 专区无日本视频高清8| 五月天天丁香婷婷| 久热69| 久婷五月| 色狠狠色狠狠| 欧美精品啪啪| CHINESE熟女老女人HD视频| 丁香五月久久| 久久久久久久久月丁| 欧美色色色色色色色色| 亚洲丁香花色| 五月停停丁香| 91一起操| 91久久日日| 9久久久| 婷婷中文在线| 五月天激情综合10p| 色五月婷婷影院| 欧日韩成人| 另类小说五月天| 婷婷丁香激情五月天色色色| www.五月婷婷.com| 深爱丁香激情| 激情综合五| 99在线小视频| 天天操天天国产三级片处女学生妹| 99国产欧美视频| 国产精品久久久久久白浆色欲| 第2色五月婷| 嫩BBB槡BBBB搡BBBB视频| 激情综合网五月| 五月天婷婷伊人 | 狠狠色色| 丁香婷停五月激情综合深爱| 综合久久久| 免费AV播放| 五月婷在线| 蜜臀99久久精品久久久久| 99视频在线| 九九热这里只有精品31| 色婷婷久久| 韩国不卡AC视频| 97碰碰人人| 五月丁香另类网| 激情AV| 九九热这里只有精品9| 久99在线视频| 婷婷综合五月色播| 天天天天天天操| 日本一区二区三区精品视频| 99热 在线观看| 激情宗合网激情五月天| 夜夜骑夜夜操| 激情四射婷婷色色色| 成人色情五月天婷婷丁香| 激情五月天天狠狠久久| 久久婷婷五月天大香蕉| 天天草人人摸| 色丁香婷婷| 久久受www免费人成| 香蕉久久国产AV一区二区| 亚洲色情网站| 日曰躁夜夜躁2026| 日韩抽插操逼| av九九| 日逼影音先锋男人资源站| 亚洲操操| 射区导航| 99热99思午夜精品| 天天操天天日天天爽| 操操人人| 婷婷七月丁香色色| 久久婷婷国产| jiqingliuyuetian| 内射在线CHINESE| 99操中文视频| 国产成人高清| 婷婷丁香五月激情密臀av| 日在线V视频在线播放| 色色色色色色色色综合网| 色九九综合色| 无码激情精品色婷婷久久久久| 五月综合色| 九月色婷婷综合| 色婷婷五月天成人网| 色五月激情五月天| 91操碰| 天天噜| 91黄色五月天视频| 婷婷五月丁香五月天| 色欲一区二区三区精品A片| 婷婷久久伊人| 六月色播| 啪啪啪丁香五月| 九九蜜臀精品| 五月丁香777| 色狠狠综合网| 97干免费视频| 久久婷婷网| 婷婷五月在线视频| 99精品女人天堂| 久久思思精品| Caoporn公开| 久久色五月天综合网| 国产小精品| 久婷婷五月激情| 激情婷婷人妻| 色日本五月天| 色碰碰| 色色色色五月| 亚洲a色| 婷婷六月天亚州| 天天成人丁香美女AV| 91操片| 久久久91精品| 五月天激情小说| www.开心激情| 日日干夜夜撸夜夜骑| 91无码视频| 色欲五月丁香| 中文人妻AV久久人妻18| 99黄色性生活| 99精在线| 国产精品色一哟哟| 婷婷五月天成人动漫| 热久久这里只有三级视频| 九九热免费视频| 综合网啪| 欧美25p| 69午夜成人影片| 综合天天综合| 91干| 国产脫衣舞一区二区三区| 色婷婷狠狠禁18久久| 99久re热视频精品98| 婷婷五月天Av| 夜夜撸日日操| 五月婷婷六月丁香色| 激情五月天无码| 都市激情久久| 97人人看| 色综合大香蕉| 九月婷婷激情| 小骚穴电影| 国产超碰av| 在线视频婷婷| 五月婷婷啪啪啪啪| 99热在线观看免费| 欧美综合丁香网| 六月激情婷婷色| 婷婷激情肏屄网| 99在线69| 免费亚洲成人电影AV| 欧美超碰亚洲| 丁香五月综合激情久久潮喷| 人人操人人妻| 99九九这里有免费视频| 色婷婷中文| 亚洲国产精品VA在线看黑人| 国产亚洲精品AAAA片APP| 色五月婷婷综合| 婷婷五月丁香综合| 丁香婷婷网| 91操片| 91丁香五月| 综合XX网| www99在线观看视频| 伊人玖玖婷婷| 五月丁香性爱| 日韩啪啪网| 啊V视频在线观看| 色综合久久88色综合天天看| 色婷婷www| 欧洲色| 天天干一干| 日韩一级网站| 91爱操| 91Chinese在线| 国产成人+综合亚洲+天堂| 亚洲精品大片| 综合色影| 久久婷婷伊人| 99久久网站| 婷婷丁香久久| 丁香五月婷婷影院| 日日夜夜狠狠| 婷婷五月天VI| 九九精品碰| 亚洲天堂无码| 91九色|疯狂|高潮|对白|| 日本色99| 只有精品视频在线观看| 色99日韩| 久久婷婷成人视频| 精品国婬伦V无码久久久| 色欲久久99精品久久久久久| 91 影音先锋| 99精品久久久久久| 色婷婷AⅤ| 欧美日韩国产一区| 国产亚洲99| 色婷婷欧美在线| 丁香六月成人网| 亚洲欧美另类在线23p| 亚洲色亚洲精品| 天天干天天干天天操| 97亚洲婷婷| 丁香午夜天| 免费做A爰片77777| 天啪天啪天啪天啪| 婷婷情色五月天| 丁香婷婷六月激情文学 | 亲子乱AV-区二区三区| 丁香久久九九99| 亚洲色婷婷五月天| 色五月天.con| 99热只有国产在线精品| 美女五月狠狠| 久久Xx| 99久视频| 在线观看免费狠狠色丁香香综合| 97色97干| 丁香五月激动深爱欧美| 天天干-天天日| 少妇熟女视频一区二区三区| 国产肏屄大片| 婷婷六月色| 97香蕉久久超级碰碰高清版 | 色五月情| 五月婷婷六月激情| 超碰cap| 激情另类综合| 国产精品五月丁香| 激情床戏| 思思精品热在线| 最近中文字幕2019视频1| 秋霞AV美国| 99国产精品白浆在线观看免费| 亚洲性受XXXX五月丁香| 天天操婷婷| 无码激情AAAAA片-区区| 五月婷婷就去色| 久久新地址| 国产激情在线| 九九精品热播| 亚洲妇女熟BBW| 丁香五月婷婷乱| 99这里只有精品99| 九九热最新| 久久性爱视频| 99人妻碰碰碰久久久久视| 丁香九月综合| 五月天激情电影| 俺去也综合| 综合网色综合| 激情五月天开心网丁香无码| 色色A| 丁香五月成人| 婷婷五月综合在线视频| 性视频久久| 狠狠爱丁香婷| 天天噜天天爱| 丁香五月婷婷香| 超碰二区| 激情爱爱网站超大免费| 婷婷伊人激情婷婷| 色婷婷五月在线| 久草免费福利视频| 亚洲性图一区二区三区| 丁香六月狠狠干| 久久99人人| 26uuu四色| 午夜一区| 91在线日本| 人人爱人人添| 亚洲无AV在线中文字幕| 天堂网色色| 成人色色视频| 嫩草AV久久伊人妇女超级A| 中文无码婷婷| www.久久爱.com| 色色色99韩| 欧美日韩成人免费在线| 国产操B视频| 丁香五月综合久久八| 在线成人网站| 五月天综合缴情网网站0| 99热只有这里才是精品| 99免费超碰在线| 色5月婷婷色| 99热这里只有精品22| 人人综合久| 99热官网| 大香蕉视频99| 妻久久久久| 天天狠天天叉| 丁香五月婷婷骚视屏| 99热这里只有精品9| 99精品国产在热久久婷婷| 婷婷丁香五月天婷婷| 99热这里只有精品1998| 丁香六月婷婷色XXXX| 天天操天天日天天操| 91超级碰碰碰| 色~性~乱~伦~噜| 日本色99| 精品久热| 丁香婷婷五月天激情四射| 色五月丁香五月婷婷五月成人网| 九九热这里有精品23| 99九九精品视频| www.色婷婷.com| 精品人妻在线| 欧美超级视频97| 99热只有这里才是精品| 狠狠综合网| 婷婷丁香水多多视频| 日本99热| 天天操夜夜啊| .精品久久久麻豆国产精品| 99视频内射三四| 九九综合色| 他改变了拜占庭| 国产成人+综合亚洲+天堂| 婷婷五月天AV在线| 9久国产精品| 婷婷久久综| 五月婷婷欧美| 欧美va视频| 操91| 天天综合激情| 婷婷色婷婷| 99色最新在线视频| 欧美激情性做爰免费视频| 五月天激情站| WWW.HENHENL.| 98永久精品| 激情五月天综合婷婷网| 丁香五月停停基地| 五月婷婷激情综合| 色色免费网战视频| 五月天婷婷基地综合网| 日本九九九九| 丁香激情合作五月| 天天揷综合网| 色播五月综合网| 五六月婷婷| tingtingseav| 99免费| 久久婷婷五月综合色丁香| 人人97碰| 综合久久激情久久| av五月天婷婷丁香| 婷婷五月丁香五月| 日日夜夜干| 婷婷五月天综合网| 婷婷五月天渟渟| 九九在线精品| 天天上天天爽| 成人欧美日韩| www.激情| 五月婷婷中文| 9久热| 在线91日韩| 国产精品99久久久久久久女警| www.五月婷婷.com| 超碰99在线观看| 久久99热久久99精品| 日韩成人中文字幕| 免费观看高清无码| 久久性爱视频| 欧美三级欧美一级| 五月丁香六月激情综合啪啪| 九九色插| 久热人妻| aaa日韩| 五月婷婷六月丁| 中文字幕欧美精品久久| 中文av网| 日本色色色| av婷婷丁香 六月| 婷婷日韩| 免费黄网不卡AV| 热九九精品| 九九Av| 国产在线视频1234| 开心五月天激情网| 五月亭亭性| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 精品影院| 五月天色综合| 天天日天天草| 第四色网婷婷| 丁香六月啪啪| 在线只有精品| 天天日天天舔| 欧美亚洲操逼| 亚洲区视频| http://www.com久久久精品一区| 99色热视频| 亚洲欧美国产高清vA在线播放| 亚洲日韩26uuu| 婷婷综合五月| 丁香综合网| 丁香大香蕉| 69精品人妻不卡视频| 激情综合婷婷久久| 丁香8月手机综合| 五月天综合色| 五月婷婷综合网| 这里只有精品视频免费在线观看| 综合图片色色| 日日夜夜天天| 79色色色色| 这里只有国产精品在线| 五月婷婷久久激情| 大香蕉人妻| 色色色综合色| 久热视频A.| 久久久99视频| 日本欧美国产| 九久9精品| 色婷婷操逼网| 夜色热久| 欧美综合激情| 精品色色| 91狠狠色丁香婷婷综合久久| 91视频一起草| 人人摸人人摸| 99噜噜噜在线播放| 久久久天堂国产精品女人| 99色视频| 九九人人操| 91综合在线| 色色丁香| 国产午夜成人AV在线播放| 综合激情五月天六月婷免费视频| 一本道综合网| 五月亚洲激情| 91爱啪啪| 久久五月天丁香花| www.久久爱.com| 五月天丁香六月综合| 色五月首页| 国产探花AV在线| 五月天激情小说婷婷基地| 欧美韩日AAA网站| 五月丁香激情综合网官网| 丁香六月色婷婷| 国产精品社区| 欧美三级巜人妻互换| 激情五月丁香五月综合| Caoub青青超碰 | 91九色熟女| 91欧美日韩综合| 激情小说婷婷| 久久五月天 91| 婷婷五月综合社区| 另类激情五月天。| 婷婷五月天.com| 五月婷婷在线视频| 天天干天天拍| 丁香五月婷婷激情中文| 激情五月婷婷丁香六月| 人人摸人人操人人爽| 99热思思在线观看| 婷婷精品性视频| 成人电影一区| 五月丁香六月婷婷久久肏| 国产精产国品一二三在观看| 久久久久九九九九视屏小说88| 无码se| 五月丁香色婷婷综合| 天天综合色| 色噜噜狠狠一区二区三区| 少妇性按摩无码中文A片| 91久久九九| 一根材五月婷成人| 五月婷在线观看| 五月天色色无码| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 日韩成人综合网| 婷婷色婷婷亚洲成人| www.26uuu.com亚洲电影| 开心五月天激情网| 免费超碰在线观看| 欧美日韩成人高清在线| 久久人妻在线| 激情久久久| 久久ri精品视频| 噜噜噜狠狠色综合| 丁香五月成人av| 国产99久久久国产精品免费看| 热99免费在线| 五月综合缴情网| 开心五月综合激情网| 26uuu精品一区二区| 天天日天天爽| 五月丁香日本一抹本| 亚洲激情视频网| 99精品在线观看| 大香蕉大香蕉在线影院| XXXX岛国| 国产精品日日躁夜夜躁| 六月五月天婷婷涩播在线| 色色网站免费在线视频| 丁香五月香蕉| 中文网AV| 综合激情在线| 五月婷婷六月丁香首页| 色五月婷婷九月| 热九九九九| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 婷婷色五月激情| 婷婷六月色| 开心 五月 综合| 九九热在线精品视频| 色综合播放| 搡BBBB搡BBB搡18| 99色视| 狠狠五月天| 日韩综合网络男女香蕉a片| 2025年最新亚洲在线欧美| 超碰国产在线播放| 蜜桃五月天色| 免费在线观看av网站| 丁香五月婷婷俺也要去| 狠狠色噜噜狠狠亚洲A∨| 五月丁香婷婷五月| www。五月,com| 国产超碰av| 五月婷网站| 欧美啪啪五月天| 丁香六月婷婷综合在线| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 成人美女网| 婷婷激情五月天小说校园| 综合久久五| 丁香五月婷婷香| 91精品久久久久久久久久| 另类图片五月天婷婷| 五月婷婷香蕉视频| 婷婷丁香五月亚洲免费| 免费看成人747474九号视频在线观看| 丁香婷婷激情网站| 九九热99免费视频| 亚洲AV人人操| 亚洲午夜视频| 九月激情网| 婷婷久久五月天| 99热精品在线观看| 色播播之激情五月婷婷| 热99视频精品在线| 97操碰在线视频| √天堂资源在线人妻熟女| 少妇综合网| sisi热国产| 久草五月| 五月天婷婷激情综合| 色色五月婷婷| 六月婷婷色色网| 五月丁香六月激情综合| 久久人妻精品| 亭亭五月天黑人2014| www网站在线观看| 久热亚洲| 激情六月下句是什么| 成熟妇人A片免费看网站| 婷婷亚洲综合| 亚洲激情高潮| 色婷婷色综合激情91| 亚洲综合视频网| 开心五月激情| 77777亚洲午夜久久| 婷婷色色五月| 俺去也综合| 亚洲综合激情五月久久| 激情五月天情色| 91热99| Va另类视频| 天天爽在线视频| 五月天丁香婷婷视频网址 | 丁香婷婷六月激情综合| 九九热精品99| 九色综合五月天婷五月| 国产99热| 99re视频精品| 激情综合播播| 热99精品视频五月| 久久久人妻| 天天天天干| 五月丁香欧美在线| 开心五月婷婷六月丁香| 欲色人妻| 激情婷婷五月天| 日韩成人无码人妻| 日韩五月丁香| 激情色情五月天| 色五月天天在线观看资源站| 97操操操| 天天操天天日天天操| 色婷婷婷av | 日本99久久| 91婷婷丁香五月| 丁香五月婷婷欧美成人色图| 欧洲亚洲免费视频区| 久久超视频| 狠狠色综合无线观看| 亚洲精品视频在线| www.五月.com| 婷婷五月丁香综合激情| www,26uuu,c0m,色情| 日本熟女三区| 五月丁香亭亭操逼| 天堂久久婷婷| 国产精品电影网| yiqicaoav| 91无码色色| 色色操| 伊人色综合网| 91凹凸在线| 综合噜噜| 五月丁香六月婷婷视频| 色宗合,宗合网| 丁香五月婷婷六月婷| 蜜桃婷婷狠狠久久| 操逼五月天| 热99玖玖99玖玖99九九| 久久xx| 99色| 五月丁香免费视频| 狠狠狠狠狠干| 精品无码久久久久久久久| 天天日天天色| 国产成人AV不卡| 99热免费18| 五月丁香最新| www.色综合.com| 九九热视频免费观看| 91婷婷丁香| 淫视馆aV二区一区| 亚洲色图45p| 亚洲1区| 最新久久网址| 五月天大香蕉| 精品综合久久久久久五月天| hd五月婷婷在线| 丁香五月婷婷天激情| 五月婷婷成人网首页| 91精品国产综合久久密臀| 婷婷五月丁香六月天亚洲综合| 99在线观看亚洲| 天天看片日日夜夜| 激情婷婷丁香色情五月天| 婷婷久久国产视频| 99re免费精品视频| 日在线V视频在线播放| 青青草蜜臀| 九九视频这里只有精品| 夜夜谢天天干| 九九99精品| 五月色情| 成人无码髙潮喷水A片| 久热天堂| 97碰碰在线观看视频| 思思热久久阴99| 久久免费婷婷视频| 丁香五月激情综合| 五月婷婷香蕉视频| 五月激情婷婷偷拍| enecarbon-materials.com污K127封锁请涟系@wip1688 | 国产五月丁香在线| 干亚洲天堂| WWW.五月天9999| 91精品综合久久久久久五月丁香| 99激情网| 亚洲日韩人妻操逼| 天天操夜夜操| 少妇性按摩无码中文A片| 青青草Avb在线| 午夜理论片最新午夜理论剧| 五月天综合区| 激情五月天综合网| 97啪啪| 丁香五月婷婷欧美成人色图| 伊人五月婷婷| 天天日夜夜操五月| 丁香六月婷婷姐网| 久久久久9| www.com在线操视频免费观看| 色色综合成人网| 久 久9 9 热 视 频| 开心五月激情网| 中文AV网站| 97色色色| 五月天伊人网| 欧美黄色一级录像| 五月激情丁香六月狠狠干| 九九热精品99| 欧美 色婷婷| 精品色情一区二区三区四区| 激情久久久久久| 久久久9久| 91啪啪| 五月丁香六月情| 欧美亚洲色色色色| 开心深爱五月天| 99热这里全都是精品| 伊人激情AV一区二区三区| 亚洲综合成人网| 久久与婷婷| 一操久久| 亚洲五月停停| 婷婷激情五月天桃花网| 亚洲精| 激情av| 天天爽在线视频| 五月婷婷色播| 伊人五月婷| 激情五月天婷婷激情| 欧美在线操| 99视频在线观看网址| 情趣视频66| 在线sebiav精品视频| 成人性爱精品视频| 丁香激情网| 色 丁香婷婷| 欧美婷| 国产成人精品一区二三区熟女在线| 玖玖婷婷五月天| 婷婷深爱五月天| 中文无码婷婷| 丁香五月激情鲁| 久久久国产精品黄毛片| 97色色色视屏| 婷婷97| 襙比视频| 一区二区成人电影免费播放| 国产在线另类五月婷婷| 婷婷激情小说| 久99| 思思热视频在线观看| 天天色天天爽| 玖玖热视频| 色婷婷九月| 色色色综合| 婷婷天天插天天爱| 五月色亚洲| 久思思久视频| 国产又色又爽又黄又免费| 五月丁香色婷婷伊人| 狠狠干婷婷| 五月色情婷婷开心五月色情| 狠狠色丁香| 狠狠va| 91狼友视频网页更新| 久久99久久99精品免视看婷婷| 婷婷伊人综合| 五月婷婷|欧美| 久久精品系列| 久久久97| 婷婷AV丁香| 色偷偷AV亚洲男人的天堂| 色丁香六月| 香蕉中文在线| 久草五月婷婷| 精热在线综合网| 亚洲深喉AV| 99精彩视频| 99热播放| 欧美精品99久久久| 99re思思久久| 色婷婷黄色网络| 美国少妇性做爰| 亚洲色视频| 亚洲中文av| 亚洲天堂色| 亚洲成人网站在线观看| 色丁香五月婷婷综合久久| 色色色成人网| 青青草a在线| 超碰免费人人肏| 色五月天综合网| 激情五月天啪啪视频| 久久一级AV| 色啪影院| 激情综合色| 六月婷婷久久| 国外亚洲成AV人片在线观看| 丁香激情五月少妇| 激情综合区| 不卡在线中文字幕无| 91人人操人人| 日屌日日操日日色| 亚州激情在线视频| 色玖玖玖| 成功精品影院| 亚洲色色色| 天天干天天射综合网| 99在线精品视频观看免费下载| 五月开心播播网| 99热99美国在线观看| 久久久月丁香| 色狠狠综合入口| 九九久久精品| 精品人妻伦一二三区久| 丁香五月激情六月综合| 国产高清视频91九九九久久久| 亚洲另类在线观看| 九九热re99re6在线精品| 亚洲激情免费视频| 激情五月婷婷色综合| 久久精品91视频| 色婷婷综合久久| 狼人婷婷久久| 五月花婷婷丁香| 色青青视频| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 激情五月婷婷视频一区二区三区| 丁香五月天殴美激情| 色婷婷A| 秋霞AV美国| 一级性爱大片| 超级碰碰碰久久网站视频| 成熟妇人A片免费看网站| 婷婷五月天激情小说| 日本va视频| renrencaoni| 黄网免费观看| 激情五月份婷婷| 国产精品成av人在线视午夜片| 久久综合中文| 26uuu精品一区二区| 日日.c| 丁香五月六月综合欧美| 亚洲色五月婷婷| 丁香五月网在线观看| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 婷婷新网址| 狠狠爱五月婷婷综合六月| 五月天激情国产综合婷婷婷| 天天日夜夜拍| 色色色综合网| 激情综合五月| www.色综合.com| 久久综合激情| 亚州操操| 97婷婷色| 丁香六月啪| 久九色| 欧美啪啪9| 超碰猛烈的性猛交| 激情五月,激情综合网| 国产成人亚洲综合A∨婷婷| 国产精品色| 色天天综合| 这里只有精品69| 日本3级片一区2区| 激情五月婷婷丁香综合网| 97在线观视频免费观看| 拍真实国产伦偷精品| 精品一二三区久久AAA片| 日韩av手机在线观看| 大香蕉福利导航| 国产综合81p| 日本三日本三级少妇三级66| www99精品亚| 自拍视频99| 99热日| 丁香五月色网| 熟女乱论网| 天天综合.com| 日日干天天爽| 亚洲99在线| 99精品久久久久久久婷婷| 影音先锋女人AA鲁色资源| www.九月婷婷丁香.com| 91|九色|动漫| 久久久月丁香| 四色AVwww| 久久久中文| 99天天操夜夜操| 中文字幕AV在线| 婷婷丁香激情| 91九色中文字幕女在线观看| 99综合| 人碰人人人玩91| 99热狠狠操| 99热在线观看| 欧美综合激情五月| 五月天婷婷丁香| 97色色网| 丁香五月婷婷影院| 5月婷婷视频网站综合| 岛国av电影网站| 五月婷婷影| 九九色婷| 99精品无码视频| 日本va欧美va欧美va| 99熟女啪啪视频| www.99色| 久久九九婷婷| 欧美综合婷婷网| 婷婷久久亚洲| 97超喷视频在线观看| 久久婷婷五月国产激情综合片| 九九热这里| 久久伊人大香蕉| 亚洲精品成人片在线播| 六月婷婷狠狠| 91成人电影| av婷婷丁香| AV在线大香蕉| www.婷婷五月| 99无码视频| 色www.con| 九九免费精品| 99爱这里只有精品免费视频| 激情五月婷婷丁香综合网| 99热这里在线精品| 天天干,天天日| 成人无码精品1区2区3区免费看 | 桔色成人在线| 亚洲午夜AV| 久青操| 久久婷婷综合五月天| 这里只有精品96| 在线观看996精品| 牛牛碰免费| 8090在线影视少妇| 天搞天天天天天| 97九色视频| 在线观看欧美3区| 激情 婷婷 丁香五月天| 九九热精品| 天天日天天做天天舔| 丁香五月天黄色片| 婷婷狠狠97| 激情99| 99在线综合视频| 激情内射p| 日韩一级一片内射视频4K| 狠狠艹狠狠艹| 久久六月综合| 超碰在线观看9| 色婷婷成人五月| 爱iii做iiii日日| 凹凸操Av| 久久久久久久久久久久久久久久一道本| 69精品人人人人人人| 五月丁香色| 日本丁香久在线|