欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

WebGPU加速的瀏覽器端以圖搜圖:MobileNet特征提取與本地向量檢索實(shí)戰(zhàn)

WebGPU加速的瀏覽器端以圖搜圖:MobileNet特征提取與本地向量檢索實(shí)戰(zhàn) 你有沒有遇到過這種情況客戶要一個(gè)“以圖搜圖”功能圖片又不想傳到服務(wù)器上要求在瀏覽器里直接完成而且速度還不能慢。傳統(tǒng)前端想都不敢想的任務(wù)現(xiàn)在靠瀏覽器端 AI 加上 WebGPU 加速已經(jīng)能跑得很舒服了。我這次做的項(xiàng)目就是讓瀏覽器加載一個(gè) MobileNet 特征提取模型把用戶上傳的圖片變成 1024 維向量再拿這個(gè)向量去全本地索引里搜相似圖整個(gè)鏈路不依賴 GPU 服務(wù)器也不把圖片發(fā)出去。這套方案的核心技術(shù)點(diǎn)有三個(gè)MobileNet 這種輕量 CNN 為什么適合在瀏覽器端跑WebGPU 和傳統(tǒng) WebGL 推理的差異到底在哪里以及 1024 維特征向量怎么支撐起一套可用的以圖搜圖鏈路。適合看這篇文章的人我大概歸了三類想做前端 AI 應(yīng)用但卡在性能和兼容性上的開發(fā)者正在做素材管理、相冊(cè)去重、版權(quán)比對(duì)這類圖片檢索需求的工程師還有想低成本給自己的網(wǎng)頁應(yīng)用加“相似圖片”搜索能力的產(chǎn)品和技術(shù)決策者。文章里的代碼基于 onnxruntime-web 實(shí)現(xiàn)模型用 MobileNetV2 結(jié)構(gòu)推理走 WebGPU向量檢索在前端用純 JavaScript 完成。我會(huì)把從模型導(dǎo)出、環(huán)境準(zhǔn)備、代碼拆解到踩坑記錄全流程講一遍你跟著操作就能在自己項(xiàng)目里復(fù)現(xiàn)。1. 為什么非要在瀏覽器里跑特征提取1.1 用戶要的“不傳圖”實(shí)際上要的是隱私和速度先說個(gè)挺有意思的現(xiàn)象。做后端推理的兄弟可能覺得客戶端傳圖、服務(wù)器返回結(jié)果不是挺成熟的方案嗎確實(shí)成熟但落地的時(shí)候有三個(gè)問題很難繞開。第一是隱私。相冊(cè)類應(yīng)用、企業(yè)內(nèi)部素材庫、醫(yī)療影像系統(tǒng)的用戶對(duì)圖片數(shù)據(jù)極其敏感圖片一旦上行合規(guī)、加密、審計(jì)的流程就全來了。很多項(xiàng)目根本不是技術(shù)做不到是“圖片能不能出域”這一條直接被客戶否掉了。第二是延遲。圖像上傳要看帶寬服務(wù)器排隊(duì)要看負(fù)載。哪怕后端推理只要 50 毫秒一張兩兆的圖傳上去再加上網(wǎng)絡(luò)抖動(dòng)用戶感知到的就是“轉(zhuǎn)圈”。而瀏覽器端直接處理圖片從本地文件到特征向量幾百毫秒內(nèi)完成這種反饋是實(shí)打?qū)嵉?。第三是成本。做圖片特征抽取要吃 GPU 資源如果只是偶爾查一次專門起一個(gè) GPU 服務(wù)就是浪費(fèi)。把計(jì)算挪到用戶設(shè)備上服務(wù)器只負(fù)責(zé)靜態(tài)資源分發(fā)成本結(jié)構(gòu)完全不一樣。所以“瀏覽器端跑 AI”聽起來像炫技實(shí)際上是在隱私、速度、成本三個(gè)維度上都更優(yōu)的選擇。尤其是圖庫規(guī)模不大比如幾千到幾萬張、查詢頻率不高的場(chǎng)景純前端方案是性價(jià)比最高的一條路。1.2 WebGPU 相比 WebGL 到底強(qiáng)在哪可能有人問瀏覽器端跑神經(jīng)網(wǎng)絡(luò)又不是今天才有WebGL 時(shí)代就有人用 TensorFlow.js 跑過模型了。為什么現(xiàn)在要提 WebGPU因?yàn)檫@個(gè)差距實(shí)在太大了。WebGL 本質(zhì)上是為二維和三維圖形渲染設(shè)計(jì)的 API想在它上面跑神經(jīng)網(wǎng)絡(luò)得把卷積、矩陣乘法這些算子偽裝成片段著色器把數(shù)據(jù)塞進(jìn)紋理再把計(jì)算結(jié)果從紋理里讀回來。這個(gè)過程中紋理讀寫的限制很多內(nèi)存分配和算子控制也很粗糙遇到復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)性能損耗非常明顯。WebGPU 不一樣它引入了 compute shader 的概念能夠直接操作 GPU buffer做通用并行計(jì)算。這意味著卷積、矩陣乘法這類重計(jì)算算子可以用更接近底層的方式組織數(shù)據(jù)不必反復(fù)在紋理和 CPU 之間倒騰。對(duì)神經(jīng)網(wǎng)絡(luò)推理來說WebGPU 還有一個(gè)天然優(yōu)勢(shì)支持更靈活的 tensor 布局比如直接用 NCHW 布局減少推理框架內(nèi)部的 transpose 開銷。我用同一個(gè) MobileNet ONNX 模型做過對(duì)比在同樣的機(jī)器上WebGL 后端跑一次推理大約 300 到 500 毫秒WebGPU 后端降到 30 到 60 毫秒差距接近一個(gè)數(shù)量級(jí)。這種差距決定了“在瀏覽器里做實(shí)時(shí)圖片檢索”是可行的還是只能停留在玩具階段。1.3 選型MobileNet ONNX Runtime Web 的組合怎么定下來的模型選 MobileNet理由很直接。MobileNet 的核心設(shè)計(jì)是深度可分離卷積把標(biāo)準(zhǔn)卷積拆成逐通道卷積和逐點(diǎn)卷積兩步參數(shù)量和計(jì)算量大幅下降很適合瀏覽器這種算力受限的環(huán)境。MobileNetV2 在 ImageNet 上的精度雖然不如 ResNet 這類大模型但作為特征提取器它的瓶頸層輸出已經(jīng)能很好地表達(dá)圖像語義足夠支撐相似圖片檢索。推理引擎我選了 ONNX Runtime Web。這里要說說為什么不用 TensorFlow.js。TensorFlow.js 對(duì) TensorFlow 模型生態(tài)的支持確實(shí)好但我日常更多是 PyTorch 訓(xùn)練模型ONNX 作為中間格式更通用。onnxruntime-web 對(duì) ONNX 算子的覆蓋度一直在提升而且從 1.17 版本開始加入 WebGPU 執(zhí)行后端走的是官方維護(hù)的路線。特征維度定在 1024不是拍腦袋。維度太低相似圖片容易誤判維度太高索引和檢索的開銷明顯增加。人臉識(shí)別領(lǐng)域常見的特征維度是 512 或者 1024這個(gè)區(qū)間在語義區(qū)分度和計(jì)算量之間比較平衡。MobileNetV2 原版瓶頸層輸出是 1280 維我在項(xiàng)目里對(duì)模型做了一點(diǎn)調(diào)整輸出層改成 1024 維的 embedding 頭后面會(huì)詳細(xì)說導(dǎo)出方式。2. 動(dòng)手前的準(zhǔn)備環(huán)境、模型導(dǎo)出與工程骨架2.1 瀏覽器端 WebGPU 能不能用的自檢方法寫代碼之前先確認(rèn)目標(biāo)環(huán)境下 WebGPU 到底可不可用。WebGPU 需要瀏覽器和硬件驅(qū)動(dòng)雙重支持不是裝了新瀏覽器就一定行。最直接的檢測(cè)方法是看navigator.gpu是否存在。Chromium 內(nèi)核的瀏覽器從 Chrome 113 開始默認(rèn)支持 WebGPUEdge 113 也同步支持。Firefox 目前是部分支持Safari 在較新版本里也開始跟進(jìn)。開發(fā)階段建議優(yōu)先用 Chrome 或 Edge 調(diào)試。還有一個(gè)隱藏條件WebGPU 要求安全上下文。也就是說頁面必須在 HTTPS 環(huán)境下打開或者本地 localhost 調(diào)試普通的 HTTP 頁面是拿不到 GPU 權(quán)限的。我寫過一個(gè)簡(jiǎn)單的檢查函數(shù)頁面加載時(shí)直接跑一遍function checkWebGPU() { if (gpu in navigator) { console.log(WebGPU 可用GPU 設(shè)備:, navigator.gpu); return true; } console.warn(當(dāng)前瀏覽器不支持 WebGPU請(qǐng)使用 Chrome 113 或 Edge 113); return false; }如果navigator.gpu存在但推理速度異常慢建議打開chrome://gpu頁面看一下 WebGPU 相關(guān)的狀態(tài)和驅(qū)動(dòng)告警。有時(shí)候是顯卡驅(qū)動(dòng)版本太舊WASM 和 WebGPU 本身沒問題但硬件加速?zèng)]跑起來。2.2 把 MobileNet 導(dǎo)出成 1024 維特征模型這一步把 PyTorch 模型轉(zhuǎn)成 ONNX 格式。我用的 MobileNetV2 來自 torchvision默認(rèn)的分類頭輸出 1000 類現(xiàn)在要把它替換成 1024 維的特征輸出。注意一個(gè)細(xì)節(jié)MobileNetV2 在全局池化之后classifier包含兩層第一層是 Dropout第二層是Linear(last_channel, 1000)其中l(wèi)ast_channel是 1280。要改成 1024 維特征直接替換最后的 Linear 層即可。import torch import torchvision import torch.nn as nn model torchvision.models.mobilenet_v2(weightstorchvision.models.MobileNet_V2_Weights.DEFAULT) model.classifier[1] nn.Linear(model.last_channel, 1024) model.eval() dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy_input, mobilenet_v2_feat.onnx, input_names[input], output_names[feature], opset_version17 ) print(導(dǎo)出完成輸出維度應(yīng)在 ONNX 中為 [1, 1024])這里要提醒一句隨機(jī)初始化的 Linear 頭在沒經(jīng)過微調(diào)時(shí)特征質(zhì)量不一定比原版 1280 維好。我在實(shí)際項(xiàng)目里用的是在業(yè)務(wù)數(shù)據(jù)集上用度量學(xué)習(xí)微調(diào)過的 1024 維 head。如果你只是驗(yàn)證流程可以暫時(shí)用隨機(jī)初始化的 head相似圖片檢索的結(jié)果會(huì)有一點(diǎn)下降但流程能跑通。另一個(gè)方案是直接用原版 1280 維輸出在前端用固定投影矩陣降維到 1024這個(gè)后面再聊。MobileNet 的輸入預(yù)處理要和訓(xùn)練時(shí)保持一致resize 到 224x224像素歸一化到 0 到 1然后按 ImageNet 的 mean 和 std 做標(biāo)準(zhǔn)化。導(dǎo)出 ONNX 時(shí)沒有把歸一化層放到模型里所以這些步驟要在前端預(yù)處理完成。2.3 工程結(jié)構(gòu)、依賴與 wasm 文件放置項(xiàng)目使用 npm 安裝 onnxruntime-web 的穩(wěn)定版本。注意 WebGPU 后端還處于快速迭代期API 有變化建議鎖定一個(gè)大版本不要每次盲目升級(jí)。npm install onnxruntime-web1.19.2onnxruntime-web 底層是 WASM瀏覽器需要加載對(duì)應(yīng)的 wasm 文件。最簡(jiǎn)單的做法是把node_modules/onnxruntime-web/dist/下的 wasm 文件復(fù)制到項(xiàng)目的public/wasm/目錄然后用ort.env.wasm.wasmPaths指定路徑。項(xiàng)目目錄結(jié)構(gòu)參考project/ ├── public/ │ ├── models/ │ │ └── mobilenet_v2_feat.onnx │ └── wasm/ │ ├── ort-wasm-simd-threaded.wasm │ └── ... ├── src/ │ ├── feature-extractor.js │ ├── image-search.js │ └── main.js └── index.htmlfeature-extractor.js負(fù)責(zé)加載模型、圖像預(yù)處理和推理image-search.js負(fù)責(zé)向量歸一化、相似度計(jì)算和圖庫管理。這樣拆開之后模型相關(guān)的邏輯和檢索邏輯可以獨(dú)立測(cè)試。初始化代碼是這樣的import * as ort from onnxruntime-web/webgpu; ort.env.wasm.wasmPaths /wasm/; const session await ort.InferenceSession.create(/models/mobilenet_v2_feat.onnx, { executionProviders: [webgpu], graphOptimizationLevel: all });這里把executionProviders指定為[webgpu]onnxruntime-web 會(huì)用 WebGPU 后端執(zhí)行算子。如果某些算子不支持 WebGPU會(huì)自動(dòng)回退到 CPU。后續(xù)調(diào)試的時(shí)候可以打開日志確認(rèn)算子有沒有發(fā)生回退。3. 核心代碼拆解從圖片到 1024 維向量3.1 圖像預(yù)處理resize、歸一化、布局轉(zhuǎn)換預(yù)處理是整個(gè)流程里最容易寫錯(cuò)的地方因?yàn)槟P蛯?duì)輸入布局極其敏感。ONNX 模型的輸入一般是 NCHW 格式也就是[batch, channel, height, width]在 JavaScript 里就是一個(gè)Float32Array數(shù)據(jù)順序是先放所有像素的 R 通道再放 G 通道最后放 B 通道。下面這段代碼把圖片畫到 canvas 上縮放到 224x224再按 ImageNet mean/std 做標(biāo)準(zhǔn)化輸出ort.Tensorasync function imageToTensor(imageSource) { const width 224; const height 224; const canvas document.createElement(canvas); canvas.width width; canvas.height height; const ctx canvas.getContext(2d, { willReadFrequently: true }); ctx.drawImage(imageSource, 0, 0, width, height); const imageData ctx.getImageData(0, 0, width, height); const data imageData.data; const float32Data new Float32Array(3 * width * height); const mean [0.485, 0.456, 0.406]; const std [0.229, 0.224, 0.225]; for (let i 0; i width * height; i) { const r data[i * 4] / 255.0; const g data[i * 4 1] / 255.0; const b data[i * 4 2] / 255.0; float32Data[i] (r - mean[0]) / std[0]; float32Data[width * height i] (g - mean[1]) / std[1]; float32Data[2 * width * height i] (b - mean[2]) / std[2]; } return new ort.Tensor(float32, float32Data, [1, 3, height, width]); }有幾個(gè)細(xì)節(jié)要提一下。getContext(2d, { willReadFrequently: true })這個(gè)參數(shù)在頻繁讀取像素時(shí)能避免 canvas 使用 GPU 加速導(dǎo)致的問題。如果圖片帶透明通道data[i * 4 3]是 alpha 值這里直接忽略因?yàn)?MobileNet 訓(xùn)練時(shí)用的是 RGB 三通道圖像。如果你用的是createImageBitmap(file)讀取本地圖片得到的ImageBitmap對(duì)象可以直接傳給drawImage性能比先把文件轉(zhuǎn)成img標(biāo)簽再畫要好尤其在批量處理場(chǎng)景下明顯。3.2 用 WebGPU 執(zhí)行推理并拿到特征向量預(yù)處理完之后推理代碼其實(shí)只有三行但背后發(fā)生的事情很多const output await session.run({ input: tensor }); const feature outputs[feature].data;session.run會(huì)走 WebGPU 計(jì)算管線輸入 tensor 上傳到 GPU buffer算子按圖執(zhí)行最后結(jié)果從 GPU buffer 讀回 CPU。第一次調(diào)用時(shí)WebGPU 需要完成管線編譯會(huì)有明顯的等待所以正常做法是在頁面加載后先“預(yù)熱”一次后面會(huì)專門講。拿到outputs[feature].data之后它是一個(gè)類型化數(shù)組長(zhǎng)度理論上應(yīng)該是 1024。但 ONNX 輸出可能帶 batch 維度最好先確認(rèn)一下形狀const shape outputs[feature].dims; // 例如 [1, 1024] const feature new Float32Array(outputs[feature].data); console.log(特征維度:, feature.length);這里用new Float32Array(...)復(fù)制一份很有必要。output.data可能引用的是 onnxruntime 內(nèi)部緩沖區(qū)后面再次推理時(shí)會(huì)被覆蓋復(fù)制出來可以避免臟數(shù)據(jù)。完整的抽取封裝大概長(zhǎng)這樣let session null; async function initFeatureExtractor(modelPath) { if (session) return session; session await ort.InferenceSession.create(modelPath, { executionProviders: [webgpu], graphOptimizationLevel: all }); await warmup(); return session; } async function extractFeature(imageSource) { const tensor await imageToTensor(imageSource); const outputs await session.run({ input: tensor }); const feature new Float32Array(outputs[feature].data); return normalize(feature); }warmup就是拿一張全黑或全白的 224x224 圖先跑一次推理把 WebGPU 管線編譯和算子調(diào)度預(yù)熱完成這樣用戶真正查詢時(shí)就不會(huì)卡在那幾秒的編譯等待里。3.3 把特征向量喂給檢索模塊歸一化與余弦相似度特征向量做檢索之前先做 L2 歸一化。歸一化之后兩個(gè)向量的余弦相似度等于它們的內(nèi)積計(jì)算量小很多而且這種查詢方式在索引層面也更友好。export function normalize(vector) { let sum 0; for (let i 0; i vector.length; i) { sum vector[i] * vector[i]; } const norm Math.sqrt(sum) || 1; const normalized new Float32Array(vector.length); for (let i 0; i vector.length; i) { normalized[i] vector[i] / norm; } return normalized; } export function cosineSimilarity(a, b) { let dot 0; for (let i 0; i a.length; i) { dot a[i] * b[i]; } return dot; }注意如果a和b都已經(jīng)歸一化cosineSimilarity返回的就是余弦相似度值域在 -1 到 1 之間。以圖搜圖場(chǎng)景里返回結(jié)果一般按相似度從高到低排序。我在項(xiàng)目里會(huì)額外保存每個(gè)特征的平方和用來排查向量是否因?yàn)槟撤N原因變成全零向量全零向量直接跳過不參與排序。4. 圖片庫構(gòu)建與檢索鏈路打通4.1 離線入庫批量抽取圖片特征以圖搜圖不止需要“查詢端”能抽特征圖片庫里的每張圖也得有特征。項(xiàng)目初期圖庫不大可以直接在瀏覽器里批量入庫把圖片庫的圖片逐張丟給extractFeature生成特征后存起來。批量入庫比單張查詢更容易做性能優(yōu)化。MobileNet 輸入是動(dòng)態(tài) batch 維度的我可以把多張圖拼成一個(gè)[N, 3, 224, 224]的輸入張量一次推理同時(shí)輸出 N 個(gè) 1024 維向量。這個(gè)優(yōu)化在 WebGPU 后端下收益很大GPU 并行能力被充分用起來。批量特征抽取的示意代碼async function extractFeaturesInBatch(imageSources) { const tensor await batchImagesToTensor(imageSources); const outputs await session.run({ input: tensor }); const data outputs[feature].data; const shape outputs[feature].dims; const [batch, dim] shape; const features []; for (let i 0; i batch; i) { const vec new Float32Array(dim); vec.set(data.subarray(i * dim, (i 1) * dim)); features.push(normalize(vec)); } return features; }batchImagesToTensor就是把預(yù)處理的循環(huán)從單張變成多張構(gòu)造Float32Array(batch * 3 * 224 * 224)。我建議入庫過程放在 Web Worker 里跑避免 UI 卡死這個(gè)后面講工程化時(shí)展開。4.2 特征存儲(chǔ)IndexedDB 與二進(jìn)制編碼入庫生成的特征需要持久化否則每次刷新頁面都要重新抽一遍特征。瀏覽器端的自然選擇是 IndexedDB它支持結(jié)構(gòu)化克隆Float32Array可以直接保存。我的存儲(chǔ)結(jié)構(gòu)很簡(jiǎn)單每條記錄一個(gè) id、一個(gè)Float32Array特征向量、還有圖片的縮略圖 Blob 和元信息。查詢時(shí)把圖庫全部向量取出來在內(nèi)存里做相似度計(jì)算。function saveFeatureToDB(id, vector, thumbnailBlob) { return new Promise((resolve, reject) { const request indexedDB.open(image-search-db, 1); request.onupgradeneeded () { const db request.result; if (!db.objectStoreNames.contains(features)) { db.createObjectStore(features, { keyPath: id }); } }; request.onsuccess () { const db request.result; const tx db.transaction(features, readwrite); tx.objectStore(features).put({ id: id, vec: vector, thumb: thumbnailBlob, createdAt: Date.now() }); tx.oncomplete () { resolve(); }; }; }); }要提醒一句IndexedDB 的結(jié)構(gòu)化克隆在保存Float32Array時(shí)是安全的但所有讀出來的Float32Array都是新的副本不會(huì)和內(nèi)存里的引用沖突這一點(diǎn)用起來很省心。如果你的項(xiàng)目圖庫超過十萬張1024 維 float32 的向量就是 400 多兆純前端暴力檢索的內(nèi)存壓力會(huì)非常大必須引入索引剪枝策略這個(gè)放到最后一節(jié)講。4.3 在線查詢一次完整的上傳檢索流程在線查詢的完整鏈路是用戶選擇圖片 -createImageBitmap讀取 -extractFeature抽特征 - 從 IndexedDB 讀取庫向量 - 逐個(gè)計(jì)算余弦相似度 - 排序取 TopK - 展示結(jié)果。檢索函數(shù)核心代碼async function searchByImage(imageSource, db, topK 10) { const queryVec await extractFeature(imageSource); const allFeatures await loadAllFeatures(db); const results []; for (const item of allFeatures) { const score cosineSimilarity(queryVec, item.vec); if (Number.isFinite(score)) { results.push({ id: item.id, score, thumb: item.thumb }); } } results.sort((a, b) b.score - a.score); return results.slice(0, topK); }細(xì)節(jié)上有一個(gè)性能優(yōu)化點(diǎn)查詢向量在循環(huán)外只歸一化一次庫向量在入庫時(shí)也已經(jīng)歸一化所以內(nèi)循環(huán)就是純乘加運(yùn)算。對(duì)于一萬張圖就是一萬次 1024 維的內(nèi)積主線程上大概 10 到 20 毫秒體驗(yàn)完全能接受。如果查詢過程中發(fā)現(xiàn)結(jié)果明顯不對(duì)先別急著改模型檢查一下查詢向量和庫向量是不是都做了歸一化這是我踩過最多的坑。5. WebGPU 推理的坑我替你踩了一遍5.1 打開頁面發(fā)現(xiàn) navigator.gpu 是 undefined這是最常見的兼容性問題。用戶瀏覽器版本太老或者頁面不在 HTTPS/localhost 環(huán)境下都會(huì)導(dǎo)致 WebGPU API 不可用。我的處理方式是在應(yīng)用入口做雙保險(xiǎn)先檢查navigator.gpu不可用時(shí)給出提示同時(shí)給用戶一個(gè)回退按鈕用 CPU 執(zhí)行器跑同一個(gè)模型。const useWebGPU gpu in navigator; const executionProviders useWebGPU ? [webgpu] : [cpu];不過要把預(yù)期管理好CPU 后端跑 MobileNet一次推理大概在 200 到 400 毫秒小圖庫勉強(qiáng)能接受大圖庫就差很多。項(xiàng)目上線前一定提前確認(rèn)目標(biāo)用戶群用的瀏覽器版本不要指望所有用戶都有最新版 Chrome。5.2 首次推理慢得像假死預(yù)熱能解決多少WebGPU 的“首次運(yùn)行慢”是新手遇到最多的現(xiàn)象明明同一個(gè)模型第二次跑快得很第一次卻可能要等好幾秒。原因是 WebGPU 后端需要把計(jì)算管線編譯成 GPU 指令這個(gè)編譯過程在第一次用一組算子形狀時(shí)觸發(fā)。方案就是預(yù)熱。session 創(chuàng)建完成后立即用一張和真實(shí)輸入尺寸完全一樣的假圖跑一次推理。這里強(qiáng)調(diào)“尺寸完全一樣”因?yàn)?WebGPU 管線編譯是按輸入形狀緩存的你用 224x224 預(yù)熱之后如果突然來一張別的尺寸輸入會(huì)再次觸發(fā)編譯。因此我在項(xiàng)目里把所有輸入都固定 resize 到 224x224避免形狀變化。預(yù)熱還有一個(gè)副作用就是能把 wasm 實(shí)例跑熱后續(xù)的線程調(diào)度也會(huì)更穩(wěn)定。5.3 WebGPU 結(jié)果和 CPU 推理不一致心里慌不慌這個(gè)現(xiàn)象我遇到的時(shí)候也慌了一下。同一張圖CPU 推理出來 Top1 結(jié)果和 WebGPU 推理出來有一點(diǎn)偏差尤其是在 FP16 支持不完整的顯卡上。原因在于 WebGPU 后端為了性能在部分 GPU 算子上會(huì)使用半精度浮點(diǎn)計(jì)算而 CPU 后端通常用全精度 float32。MobileNet 這類模型對(duì)浮點(diǎn)精度誤差有一定容忍度最終特征向量的歸一化數(shù)值不會(huì)差很多但如果你在兩個(gè)后端上對(duì)比精確值會(huì)有細(xì)微差異。處理方式要分場(chǎng)景。如果是檢索排序微小的特征數(shù)值波動(dòng)一般不影響 TopK 結(jié)果不用過度擔(dān)心。如果你在做嚴(yán)格的精度對(duì)比實(shí)驗(yàn)可以在創(chuàng)建 session 時(shí)把 WebGPU 后端的浮點(diǎn)精度設(shè)置調(diào)整一下。具體參數(shù)在不同版本里命名不一樣建議查 onnxruntime-web 官方文檔。我在項(xiàng)目里用的策略是用搜索結(jié)果的相似度閾值來判斷是否可信低于閾值的查詢直接提示用戶“可能沒有相似圖片”而不是讓用戶盯著一個(gè)不靠譜的 Top1 猜來猜去。5.4 跨域與 WASM 加載報(bào)錯(cuò)最容易讓人連夜排查onnxruntime-web 是 WASM 程序要跑多線程還需要 SharedArrayBuffer。瀏覽器對(duì) SharedArrayBuffer 有嚴(yán)格限制要求頁面處于跨域隔離狀態(tài)也就是必須帶上Cross-Origin-Opener-Policy: same-origin和Cross-Origin-Embedder-Policy: require-corp這兩個(gè)響應(yīng)頭。如果你的頁面部署在普通靜態(tài)服務(wù)器上沒配置這兩個(gè)頭控制臺(tái)會(huì)報(bào)一堆跟 WASM 相關(guān)的錯(cuò)誤最常見的是 “SharedArrayBuffer is not defined” 或者 wasm 加載失敗。很多人會(huì)誤以為是模型文件路徑寫錯(cuò)了其實(shí)問題出在響應(yīng)頭。解決方法是讓靜態(tài)服務(wù)器加上響應(yīng)頭同時(shí)給模型文件、wasm 文件等所有跨域資源加上Cross-Origin-Resource-Policy: cross-origin。如果你用的是 Nginx配置大概是這樣add_header Cross-Origin-Opener-Policy same-origin always; add_header Cross-Origin-Embedder-Policy require-corp always; add_header Cross-Origin-Resource-Policy cross-origin always;如果模型文件和頁面在同域也要確保模型文件響應(yīng)里帶上 CORP 頭。這個(gè)坑很容易出現(xiàn)在“本地開發(fā)好好的一部署到線上就崩”的場(chǎng)景里排查順序應(yīng)該是先看控制臺(tái)報(bào)錯(cuò)再檢查響應(yīng)頭最后才懷疑模型文件。5.5 內(nèi)存問題session 重復(fù)創(chuàng)建和 canvas 泄漏瀏覽器端跑推理內(nèi)存泄漏通常不是 GPU 顯存問題而是 JavaScript 堆內(nèi)存被悄悄吃掉。最容易踩的一個(gè)坑是每查詢一次就調(diào)用一次InferenceSession.create。創(chuàng)建 session 要加載模型、實(shí)例化 wasm、初始化 WebGPU 管線這些對(duì)象在多次創(chuàng)建后如果沒有被正確釋放堆內(nèi)存會(huì)持續(xù)上漲。我一開始為了“保險(xiǎn)”每個(gè)查詢都新建 session結(jié)果瀏覽器內(nèi)存從 100 多兆一路漲到 800 多兆頁面開始卡頓。后來改成全局單例 session問題直接消失。另一個(gè)坑是 canvas 對(duì)象。每次預(yù)處理都創(chuàng)建新的 canvas 并保留在局部變量里沒問題但要避免把 canvas 存在全局?jǐn)?shù)組或者事件回調(diào)里。用ImageBitmap讀取圖片后要記得調(diào)用close()釋放底層資源尤其是在批量入庫幾百張圖時(shí)不釋放的話內(nèi)存漲得飛快。6. 工程化優(yōu)化從能跑到跑得穩(wěn)6.1 會(huì)話復(fù)用、預(yù)熱與內(nèi)存回收的落地工程化第一步就是把基礎(chǔ)的資源管理做好。session 全局唯一啟動(dòng)時(shí)創(chuàng)建進(jìn)程級(jí)復(fù)用。預(yù)熱跑一次假推理。索引查詢時(shí)給Float32Array用完后及時(shí)置空引用讓 GC 可以回收。這里給一個(gè)我在項(xiàng)目里用的初始化流程順序很重要checkWebGPU()檢查環(huán)境。創(chuàng)建 session指定executionProviders。執(zhí)行預(yù)熱推理捕獲異常如果 WebGPU 失敗則回退 CPU。從 IndexedDB 加載圖庫特征構(gòu)建內(nèi)存索引。注冊(cè)文件上傳、拖拽等事件。初始化是異步過程要給用戶一個(gè) loading 狀態(tài)。瀏覽器端 AI 應(yīng)用最常見的體驗(yàn)問題就是“沒有任何反饋地白屏幾秒鐘”用戶以為頁面壞了。我習(xí)慣在首屏渲染一個(gè)進(jìn)度條至少告訴用戶模型正在加載。6.2 別讓主線程卡死Web Worker 與多請(qǐng)求并行推理和向量檢索都是 CPU/GPU 密集任務(wù)放在主線程會(huì)阻塞頁面交互。工程化方案是 Web Worker。在 Worker 里創(chuàng)建 onnxruntime session主線程通過postMessage傳ImageBitmap給 WorkerWorker 完成推理后把特征向量傳回來。ImageBitmap在結(jié)構(gòu)化克隆時(shí)是零拷貝的性能影響很小而且 Worker 里跑推理不會(huì)卡住頁面。多請(qǐng)求并行的實(shí)現(xiàn)要特別注意WebGPU 并不適合無限并發(fā)。GPU 的計(jì)算隊(duì)列本身是串行調(diào)度的同時(shí)發(fā)起幾十個(gè)session.run只會(huì)增加線程切換開銷并不會(huì)加快總吞吐。我的做法是在 Worker 內(nèi)維護(hù)一個(gè)任務(wù)隊(duì)列同一時(shí)間最多執(zhí)行一個(gè)推理任務(wù)。如果收到多個(gè)查詢請(qǐng)求按順序排隊(duì)處理。const taskQueue []; let running false; self.onmessage async (event) { taskQueue.push(event.data); if (!running) await processQueue(); }; async function processQueue() { running true; while (taskQueue.length 0) { const task taskQueue.shift(); const imageBitmap task.imageBitmap; const vec await extractFeature(imageBitmap); self.postMessage({ id: task.id, vec: Array.from(vec) }); } running false; }注意postMessage傳Float32Array也是結(jié)構(gòu)化克隆如果向量很大可以改用transferable轉(zhuǎn)移緩沖區(qū)所有權(quán)避免拷貝開銷。但轉(zhuǎn)移之后原數(shù)組就不能用了要確保 Worker 側(cè)不再持有引用。6.3 大圖庫檢索暴力枚舉不是終點(diǎn)純暴力枚舉在幾千張圖的時(shí)候表現(xiàn)不錯(cuò)但圖庫到了十萬張數(shù)量級(jí)每查詢一次就要計(jì)算十萬次 1024 維內(nèi)積主線程就撐不住了。優(yōu)化思路是聚類剪枝。離線入庫時(shí)用 K-Means 把全部特征聚成 K 個(gè)類存下每個(gè)類的中心向量。在線查詢時(shí)先用查詢向量和 K 個(gè)中心計(jì)算相似度選出最相近的幾個(gè)類再只對(duì)這幾個(gè)類里的特征做精確比對(duì)。K 的取值我一般取 64 到 256取決于圖庫總量和目標(biāo)延遲。這個(gè)方案在純前端實(shí)現(xiàn)起來不復(fù)雜效果卻非常明顯十萬張圖可以剪到只比對(duì)幾千張查詢時(shí)間從幾百毫秒降到幾十毫秒。如果向量維度可以降也可以降維。MobileNet 的瓶頸層特征本身有很強(qiáng)的信息冗余我在另一個(gè)項(xiàng)目里用 PCA 把 1024 維降到 256 維檢索 Top10 的召回率只下降了 2% 左右但內(nèi)存和計(jì)算量直接縮小到原來的四分之一。這個(gè)方向?qū)η岸藞?chǎng)景很實(shí)用。6.4 更多落地場(chǎng)景相冊(cè)去重、商品同款、素材管理這套方案能做的事不止“以圖搜圖”一個(gè)場(chǎng)景。做相冊(cè)應(yīng)用時(shí)可以批量抽取相冊(cè)圖片特征然后做去重和相似聚類用戶不用手動(dòng)整理幾千張照片。做電商場(chǎng)景時(shí)用戶拍一張商品圖瀏覽器直接在本地的商品庫里找同款不上傳圖片購物流程更順暢。做素材管理系統(tǒng)時(shí)設(shè)計(jì)師上傳一張參考圖本地檢索相似素材響應(yīng)速度遠(yuǎn)超云端方案。如果你往里再疊加一個(gè)人臉檢測(cè)模型做區(qū)域裁剪檢索精度還能進(jìn)一步提升。我的經(jīng)驗(yàn)是MobileNet 提取的是全局特征對(duì)整圖的配色、構(gòu)圖、物體布局比較敏感但沒法做到精細(xì)的局部匹配。遇到這類需求可以在 MobileNet 之前接一個(gè)檢測(cè)模型或者換用多尺度特征融合的方案別指望一個(gè)全局特征解決所有問題。這個(gè)工程的延展性其實(shí)很好。模型文件可以換后端執(zhí)行器可以切索引策略可以升級(jí)但整體的“瀏覽器端特征抽取 本地向量檢索”架構(gòu)是穩(wěn)定可復(fù)用的。只要把extractFeature這個(gè)函數(shù)的輸入輸出協(xié)議定好后面換成任何其他特征提取模型業(yè)務(wù)代碼都不用改。這也是我在實(shí)際項(xiàng)目中比較受益的一個(gè)設(shè)計(jì)決策。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情九月婷婷九月| 性爱电影科技贸易有限公司| 黄网在线播放| 久久久久久欧美精品se一二三四| 99热免费在线| 色五月天综合| 精品自拍97| 99er6热在线观看精品6| 丁香五月婷婷色偷偷| 五月天综合在线观看| 日本视频久久| 国产午夜一区二区三区| 91艹人| 爱婷婷都市激情| 亚洲另类av| 天天爽天天| www激情网站| 久久综合影院| www,8050,午夜三级| 久久这里都是精品| 六月婷婷网站| 五月丁香婷婷激情四射迷人| 99色婷婷视频| A色色| 97碰碰叉| AV网站免费在线| 超碰人人在线| 色一色综合| 亚洲激情综合免费| 超碰在线精品| 日韩人妻白浆视频系列| 日韩在线一级| 久久综合激情五月天| 色五月亚洲| 亚洲 小说 欧美 激情 另类| 99综合一区| 99热这里只有精品1| 久久久色婷婷五月天| 伊人久久婷婷| 久久99精品久久久久久三级| 伊人干练久| 99内射视频| 久久久97| 开心婷婷五月中文字幕组| www.99免费视频| 九月丁香亭亭| 人人人操97| 久久五月情| 91美女被操| 亚洲性爱99| 大香蕉丁香五月| www.婷婷亚洲基地| 天天色综合网1| 踪合专区啪啪| 亚洲无码影音| 五月丁香大香蕉| wwccc久久久| 超级久久久| 91碰碰视频| 99在线观看这里都是精品| 91久久久久| 日韩欧美颜射| 五月激情综| 亚洲精品亚洲人成人网| 超碰人人妻| 婷婷五月激情欧美| 婷婷五月天激情诱惑| 99视频久久| 激情 久久 婷婷| 国产三级片91| 欧美婷婷五月丁香| 久久九九99字幕| 91大屁股精品| 91九色PORNY大屁股| 91婷婷丁香五月| 亚洲VA欧美VA| 99热这里只有精品1025| 天天透天天干| 婷婷综合丁香| 99热91| 天天做天天爱天天玩| 九九综合精品| 久久xxxx| 亚洲色图81p| 国外亚洲成AV人片在线观看| 日本色道视频网站| 啪啪黄页网| 欧美婷| 五月丁香久久综合| 骚五月婷婷| 久九男女天堂| 99色在线| 99免费视频| 九九热精品在线| 天天摸夜夜爽天天做| 五月婷婷偷拍| 伊人九九综合| 超级97碰碰| 五月激情综合网| 丁香五月手机在线| 丁香九月综合激情| 噜噜视频| 欧美色色色色色| 亚洲女婷婷五月基地综合久久久| 天天日夜夜高潮| 九月激情综合| 五月久熟女| 91九色成人原创视频| 99热久久这里只有精品| 国产精品久久久久久久久久| 99性视频| 任你草| 狠狠久久婷五月| 天天噜噜| 婷婷五月天综合在线| 日日操,天天操| 人人爱干人人爱草| 日本色婷婷久久99精品91| 丁香六月啪| 免费播放片大片| 狠狠色丁香乆乆| 99在线免费视频| 亚洲五月花| 成人丁香色| 五月丁香色| 色啪综合| 综合亚洲色色| 婷婷六月色| 色五月超碰| 伊人色综合久久久| 91欧美日韩综合| 亚洲色图五月丁香| 婷婷久久大香蕉| 91人人操人人爱| 色婷婷先锋| WWW·色色色·COM| 婷婷无码视频| 开心久久xxx色| 色五月首页| 九九综合伊人| 99超在线| 热久久视频99| 亚洲成人婷婷| 超碰成人在线观看| 91久久久久久久| 色婷五月天| 婷婷色影院| 99人人干| 丁香五月天AV在线 | 亚洲精品乱码久久久久久按摩观| 秋霞午夜理论| 五月婷婷九月婷婷九月婷婷| 激情五月婷婷在线观看| 99热最新网址| 亚洲精品久久久久久久久久飞鱼| 九九热内射| 九色porny在线观看激情四射| 五月婷综合激情| 色蜜婷婷| 涩综合在线| 色婷婷六月激情| 婷婷五月综合在线视频| 久久这里只有精品热在99| 五月丁香婷婷爱| 亚洲成人网在线观看| 激情六月丁香| 日本操天堂| 婷婷福利影院| 91avse| 色色无码日韩| 五月激情婷婷女| 五月丁香六月在线| 婷婷在线播放| 六月丁香婷婷综合影院| 天天 青草 制服丝袜 在线| 婷婷五月丁香在线观看| 人。妻久久| 五月婷婷六月开心| 天堂A∨在线| 五月丁香激情综合网| 91人人爱| 人妻操逼视频。| 亚州视频九九99| 色色COm| 色五月婷婷老师| 思思re99视频在线观看| 亚洲综合色激情色五月| 五月丁香网视频| 丁香五月婷婷天激情| 色五婷婷开心缴| 成人在线网| 久久久天堂国产精品女人| 婷婷黄色| 另类丁香五月天区图| 百度4399有码精品V在线观看 | 91久久婷婷| 性无码专区无码| 99在线综合视频| 精品99在线| 五月丁香色色综合| 热久久这里只有精品| 五月丁香久久| 天天射美女| 久久机热这里只有 | 久久久宗合| 五月婷婷视频啪啪美女| 丁香六月啪啪啪| 俺去也五月| 激情综合色婷婷啪啪六月天| 99热这里只有精品50| 99ri视频| 99热这里只有精品5| 在线99热| 国产操碰| 婷婷五月免费视频| 99热最新国内| 丁香五月天激情五月天激情五月天激情网 | 99re在线这里只有精品视频首页| 狠狠色丁香| 91操黄| 操碰91| 婷婷十月激情综合网| 97操碰| 91网站黄| 亚洲天堂aaaa| 99ri精品在线观看| 天天操夜夜玩!| 日本色色色| av人人操| 日日操日日爽| 99国产精品白浆在线观看免费 | 成人网站在线观看视频| 丁香五月伊人| 日本综合九九| 九九草热在线观看| 少妇高潮呻吟A片免费看软件| 色九月婷婷综合| 亚洲色模骚货| 五月天婷婷综合色| 米奇激情婷婷| 99噜噜噜在线播放| 另类五月婷婷| 天天插综合网| 性韩日色婷婷五月天激情啪啪XXX| 狠狠的日| 冬月かえでAV无码播放| 99热国产这里只有精品| 日韩中出视频| 激情五月丁香色婷婷| 综合AV在线| 婷婷五月激情在线| 思思久热| 激情五月婷婷色综合| 丁香五月综合福利视频导航| 丰满女老板BD高清A片| 人人爱操| 亚洲第一第二网站| 久久婷婷五月天| 人人操人人干AV| 久久色大香蕉| 久久婷婷五月综合色丁香| 免费看欧美成人A片无码| 翔田千里 50岁 无码| 五月丁香五月婷婷| 性热视频99精品| 婷婷六月啪啪| 秋霞丝袜啪啪啪| 亚洲热久久| 婷婷六月香| 91碰操| 色色亚卅| 激情久久伊人| 色婷婷五月天综合网| 日韩黄在免| wwccc久久久| AV九九| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 国产精自产拍久久久久久蜜 | 亚洲熟妇无码乱子AV电影| 久久99精品久久久久久青青AR| 天天爽天天草| 欧美超碰人人| 国产午夜精品一区二区| 久青操| 五月丁香婷婷婷激情爱爱| 婷婷久久色| 五月激情婷婷女| 色爱爱综合网| 五月天婷婷伊人| 99色五月| 无码99| 日本www五月婷婷| 国产一区二区三区影院| 深爱激情网综合| 色爱综合五月| 九九热免费| 色婷婷XXXXX| 九九亚洲| 97 A I色色| 色噜噜五月天| 六月婷婷网站| 婷婷色偷拍| 婷婷久久久久| 伊人五月人妻精品| 丁香花操逼| 99亚洲视频| 色香蕉影院| 激情五月综合网| 天天干天天日日| 亚洲无码影音| 99色网站| 天天舔天天| 大香蕉在线观看9| 五月天电影网| 97人妻碰碰中文无码久热丝袜| 九九这里有精品| 91dy.av| 色播色丁香五月| 蜜桃人妻无码AV天堂三区| 久久曰曰| 嫩模草| 国产精品美女| 五月天三级| 丰满老熟妇BBBBB搡BBB| 色婷婷五月天| 婷婷丁香五月天综合网| 99人人操| 老师的粉嫩小又紧水又多A片视频 粉嫩AV久久一区二区三区 | 超碰超碰在线| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月天色色网站| 久久66成人网站| 色吧五月婷婷| 色婷婷精| 五月天色图| 婷婷五月天狠狠| 99热都是精品| 久久丁香九| 国产亚洲99久久精品| 丁香五月天啪啪a日本| 国产乱码久久| www.久久爱.com| 最近中文字幕2019视频1| 婷婷欧美| 色婷婷六月天在线| 99国产小视频2013| 99在线视频色版| 亚洲va久久久噜噜噜久久天堂| 中文字幕AV在线播放| 久噜久噜| 欧洲亚洲免费视频区| 色播五月综合网| 日韩性爱AV| 黄网在线播放| 精品久久人妻| 蜜桃五月天| 婷婷久久午夜网| 日本3级片一区2区| 中文字幕天天干| 九九综合| 色五月婷婷在线| 婷婷色五天| 五月激情婷婷开心| 婷婷五月天无码熟女| 4399在线日本A片| 亚洲性爱AV| 日本欧美成人片AAAA| 婷婷性爱影院| 99热新网址| 熟女激情五月天| 激情五月天网页| 丁香五月色情| 婷婷色丁香五月| 免费成人中文字幕| 99精品久| 婷婷五月综合基地| 亚洲狠狠丁香婷婷香蕉| 七七婷婷综合| 丁香综合网| 热的国产,热的综合,热的有码| 色婷婷中文在线| 国产成人亚洲综合A∨婷婷| 99.色| 久久这里只有精品07| WWW.天天日| 亚洲视频二区| 99色婷婷| 国产精品久久99| 综合久久综合| 国产欧美日韩性爱| 久久九九视频网站| 99在线免费视| 日日干日日s| 婷婷开心激情五月激情网| 欧美色综合天天久久综合精品| 五月丁香激情综合欧美| 99热第一页| 六月婷婷激情| 婷婷丁香五月噜噜噜| 丁香婷婷婷婷十二月在线观看视频| www,天天干| 99ri在线观看视频| 91丁香色| 伊人五月天在线| www..com色爱| 久久婷婷丁香五月宗合| 成熟妇人A片免费看网站| 五月深爱网| 精品在线网站| 亚洲成人精品三区| 综合婷婷| 丁香婷婷色| 激情五月图| 在线sebiav精品视频| 91碰碰视频| 极品人妻videosss人妻| 日本三级中国三级99人妇网站| 久久精品国产AV一区二区三区 | 激情图片五月天| 日日干日日色| 六月婷婷色色色| 粉嫩AV久久一区二区三区| 五月天激情啪啪| 97色婷婷| 狠狠草网| 色亭亭丁香五月天| 亚洲国产精品VA在线看黑人| 国产成人av在线| 99思思热只有在这里看| aaaaaa片| 久99久视频| 精品无码片| CHINESE熟女老女人HD视频| 五月天成人在线视频网站| 日日干日日s| 久久久久亚洲AV成人无码电影| 玩熟女五十AV一二三区| 五月激情视频| 99久久9| 精品乱码久久久久| 精品无码99| 五月激情丁香六月狠狠干| 探花搜索结果 - 黄上黄| 中国女人内射6XXXXX| 五月婷婷色色色| 99乱视频| 丁香六月情| 影音先锋 91工厂| 婷婷丁香五月亚洲欧美| 99久热在线精品| 99碰视频| www,色婷婷| 五月婷婷国产| 五月丁了香蕉综合| 在线成人av播放| 91操人人操| 国产这里只有精品| 国产精产国品一二三在观看 | 成人国产欧美大片一区| 97精品人人A片免费看| 久操婷婷| 超碰在线看| 日韩在线观看亚洲| www.91操| 色色网站在线| 婷婷五月天久久久| 国外亚洲成AV人片在线观看| 日本精品人妻无码77777| 色婷婷基地| 99久视频| 亚洲视频在线观看| 雪千夏麻豆| 五月婷婷综合在线视频| 丁香五月婷婷99| 六月色婷婷综合影视| 天堂网色婷婷| 成人电影在线免费试看| 99九九精品| 六月婷婷色综合| 亚洲小视频免费观看| 婷婷综合欧美| 夜夜夜叫天天天做| 丁香五月婷婷日本| 久久香蕉网| 亚洲激情av| 国产精品久久久久久久久久| 久久久久久久久18久久| 综合精品99| 欧美三级欧美一级| 亚洲激情电影五月天色婷婷丁香一起草 | 亚洲色啪| 大大香蕉综合在线| 欧美日韩成人免费在线| 日本美女天天日天天爽| 九九在线这里只有精品视频| 欧美三日本三级少妇三99| 狠狠干狠狠色| 日韩国产在线精品| 色色色97| 亚洲五月六丁香激情| 久噜久噜| 五月婷婷狠狠干| 深爱五月激情五月| 99久久婷婷综合| 操人视频91| 99久久综合| 极品人妻videosss人妻| 久久综合中文字幕| 怎么样可以看免费的一级av| 97婷婷狠狠久久综合9色| 67194国产| 青青草婷婷综合五月| 五月丁香六月激情在线| 五月丁香六月激情| av线电影| 丁香5月啪啪| 激情五月天婷婷丁香 | 九九九九综合| 天天干天天射综合网| 成人在线综合| 久久久精品免费啪啪国| 噜噜噜狠狠色综合| 五月丁香在线观看| 五月婷视频| 欧美色九| 五月丁香在线婷婷美女| 日日杆天天| 久碰久| 国产永久一二一起草| 99热6这里只有精品| 国产成人+综合亚洲+天堂| 精品一区二区三区三区| 提提热五月天婷婷| 婷婷久久综合| 五月色亚洲| 久久精品小视频| 婷婷中文无码| 国内久久亭亭| 亚洲日日操| 99re6在线视频精品免费| 六月丁香停| 天天热夜夜操| 国产看真人毛片爱做A片| 六月婷婷av| 99re热视频这里只精品5| 婷婷五月天丁香花| 婷婷四色五月| 久9久成人精品视频| 丁香88AV五月婷婷| 六月婷五月丁香| 五月天婷婷激情小说电影| 日都一级A片| 日韩按摩二区| 四川女人毛多水多A片| 精品九九在线观看视频| 欧美日韩一区二区三区四区| 色吧五月婷婷| 久久狠狠干| 六月婷婷AV| 色99欧洲色19| 色吊丝99| 婷婷五月av| 情色五月天 网站| 人人干AV| 1级欧美日韩| 丁香激情六月天婷婷| 日日日日日| 爱之国产色情综合| 九九色综合| 婷婷欧美偷拍综合| 无码AV免费精品一区二区三区 | 五月丁香六月婷婷姐| 亚洲9久久精品| 婷婷五月天综合中文| 91919191919久久成人视频| 亚洲色情激情丁香五月| 色婷婷六月| 丁香激激情网| 综合超碰熟| 另类激情中文| 色五月婷婷综合| 九九伊人网| 欧美va精品va老师va| 婷婷激情六月| 丁香涩涩五月天| 亚洲AV日韩在线观看| 五月婷婷六月丁香在线视频| 亚洲欧美婷婷五月色综合| 婷婷五月天丁香社区| 操日视频| 五月 丁香 欧美| 亚洲AV成人在线| 人人爱人人草| 91精品国产色猫| www.色婷婷| 丁香五月第四色88| 1024人妻| 丁香久久激情俄| 青青热视频| 五月天久久综合婷婷丁香| 婷婷九月激情| 97爱艹婷婷开心丁香激情综合| 99热插| 色五月aV| 欧美色久| 久久久久久久,99精品视频| 日夜操B| 婷婷色成人| 亚洲国产精品VA在线看黑人| www.99热精品99.com| 五月天婷婷六月激情网| 99无码| 成人αV视频免费观看| 日本精品99网站| 丁香五月婷婷手机| 最近中文字幕大全免费版在线| 国产精品岛国片在线观看免费| 丁香五月成人论坛| 综合激情五月天| 色欲色香,www,com| 狠狠干青青草| www.天天干| 99五月婷| 六月婷婷在线| 色综合激情图区| 深爱婷婷基地| 玖玖综合网| 亚洲欧洲一二| 色婷婷激情视频| 国产成人综合网| 丁香六月狠狠干| 九九色区| 五月开心深爱激情网| 免费做A爰片77777| 久久99热这里只有| 人人操插| 久久精品系列| 日本婷婷| 激情五月天福利| 欧美婷| 成人做爰A片免费看视频| 五月婷色色| 亚洲性视频| 9色免费网| 婷婷激情六月天视频| 裸体做A爰片毛片A片免费| 久久久人妻不卡| 99九九综合久久九九| 99热99| www.久久av.com| 级人人91| 婷婷十月丁香| 丁香五月 性爱| www国产亚洲色婷婷com| 色情终和网| 丁香五月婷婷激情123| 欧美成人精品三区综合A片| 狠狠色丁香五月婷巨| www.久久久久| 久久激情网| 99色在线观看| 色色热99| 国产JK精品白丝AV在线观看| 婷婷开心青青草| 伊人无码高清| 婷婷五月天com| 亚洲性爱AV在线| 久久久精久人妻| 久久九网| 草综合14| 五月婷婷三级| h在线看免费版在线看| 激情婷婷五月女| 婷婷五月天小说| 亚洲热综合网在线观看| 超碰免费观看| 超碰人人99| 色欲色天天香综合| 五月婷婷色| 婷色成人| 婷婷日韩| 五月丁香激情四射| 人人干天天舔| 久草婷婷网| 色色色色av色色色色| 婷婷色片| 色五月在线播放| 蜜乳av一级av| 激情婷婷啪啪| 4399在线日本A片| 婷婷五月天在线观看| 激情丰满熟妇五月| 久久99日本精品视频免费观看| 激情五月婷黄版| 九九青青草成人| 国产毛片欧美毛片久久久| 可以直接看的AV网站| 99人妻碰碰碰久久久久| 五月丁香综合在线| 午夜无码精品色综合久久| 国产伊人大香蕉| 玖玖婷婷五月天| 欧美综合丁香网| 综合网网欲色| 人妻久久久久久| 天天干天天爽天天操| 色婷久九| 亚洲色就是色色色| 99综合自拍| 思思视频精品| 91婷婷五月丁香碰| 狠狠穞A片一區二區三區| 99热这里只有精品国产首页| 久/久精品99看9| 影音 五月 婷婷 久久| 五月天激情啪啪| 亚洲天天免费| 97热九九| 国产熟妇乱子伦hd| 99色网站| 婷婷射婷婷舔| 日本a片网址| 五月色婷丁香| 日日夜夜干| 激情深爱五月| 新99思思视频| 国产精品电影网| 中国女人做爰A片| 久久五月激情| 综合五月丁香六月婷婷| 色色综合无码| 91pornav在线| 久久色大香蕉| 九九热精品视频| 舔色婷婷| 思思热在线视频99| 五月丁香婷婷网网网网| 狠狠色丁香久久婷婷综合五月| 最近韩国日本免费高清观看| 婷婷久久五月天丁香| 青青草日本亚洲| 91色久| 99日在线观看视频| 丁香综合日产精品久久| 丁香在线视频| AV在线资源| 婷婷五月天第三页| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 黄色片区子| 婷婷五月丁香六月综合网| 2025天天爽天天摸| 综合五月丁香久久| 任你爽精品免费视频6| 9久热在线视频| 无码激情AAAAA片-区区| 99A片| 婷婷综合亚洲| 天天干,天天日| 丁香六月天之亚州热女| 操逼福利视频| 五月婷婷狠天天色综合| 日韩婷婷五月| 色婷婷丁香五月| 操日视频| 久久婷婷五月天激情| 99久久終合| 丁香五月伊人| 999热这里只有美国精品| 夜精品无码A片一区二区蜜桃| 天天插综合| 久久人人看| 婷婷午夜精品久久久| 色综合99| 五月丁香色综合| 丁香五月激情啪啪| 色婷婷基地| 思思热国产| 五月丁香激情欧洲啪啪| 99爱免费在线视频| 99re思思热这里| 精品人妻久久久| AV 3P| 提提热五月天婷婷| 26uuuavcom| 婷婷六月中文字幕| 黄页大全十八禁| 久噜久噜| 开心五月激情婷婷| www.henhengan| 丁香六月婷婷色XXXXX| 综合婷婷五月丁香在线观看| 婷婷五月天电影区小说区| Www.激情| 99热免费| 97人人干人人操| 91色五月| 九九精品免费| 99∨VTV| 精品爱欲五| 国产在线网址1| 91色欲综合| 九九热在线99| 五月色网| 超pen个人视频97| 精品亚洲国产成AV人片传媒| 婷婷综合中文字幕| 操婷婷久久| 九九色色色| 色区久久| 伊人久久婷婷五月天激情四射| 九九久久综合网站| 婷婷丁香成人五月天| 色婷婷丁香五月| 99色亚洲| 午夜不卡久久精品无码免费| 人人操超碰| 97日在线视频| www.婷婷五月天,com| 狠狠干2007| 丁香九月婷婷色| 99在线免费观看| www.久久99| 99热在线观看| 欧美啪啪五月天| 午夜婷婷| 色五月婷婷啪啪五月| 五月婷婷丁香婷婷| 天天爽夜爽| 熟女强人妻一区二区三区四区无| 婷婷五月六月丁香| 99久久亚洲精品视频| 26uu| 99热99美国在线观看| 99视频| 欧美人人草草| 久久九九爽| 婷婷五月天com| 日日干夜夜干| 久久性爱视频| 久久五月婷婷视频| 综合亚洲五月天| 综合激情站| 九九精品免费| 人人操碰| 激情宗合哪里能看| 天天婷婷色六月| 色色五月丁香| 99热亚州综合| 五月开心婷婷中文字幕| 五月天五月天激情网| 五月天婷婷在线观看| 婷婷五月天成人视频| 色五月综合| 人妻VideOssS人妻高清| 操一操干一干| 久久99久久久| 天天操天天操| 9色视频在线| 五月停停99| 久久99热这里只有精品首| 日韩九九| 色婷婷成人做爰A片免费看网站| 亚洲婷婷激情综合激情999精品| 日日干综合| 色玖玖综合网| 91干在线视频| 大香焦A∨| 午夜婷婷丁香| 婷婷娌伦网| 99丁香五月| 九月丁香婷婷综合激情| 可以免费观看的AV| 狠狠色丁香乆乆| 精品国产va久久久久| 五月婷婷九九热| 香蕉曰比| 婷婷亚洲五月丁香综合在线| 久热人妻| 丁香五月激情综合婷综| 人人做人人看人人摸| 丁香五月婷婷五月| 九九热99免费视频| 激情五月婷婷六月丁香| 国产午夜精品一区二区三区四区| 日本一级一级一级一级| 久久9热| 在线播放成人| 久久这里只有精品16| 久久五月视频| 91色久| 性天堂久久| 丁香婷婷五月人体| 天天爽天天摸| 久久色六月| 人人舔人人色人人高潮| 99色色网| 丁香五月性| 丁香花五月天激情| 超级碰碰91| 六月婷婷五月丁香| 9久操| 夜夜夜夜夜操| 丁香啪啪中文字幕| 五月婷婷婷婷婷| 五月天婷婷婷| 丁香婷婷五月六月天| 噼里啪啦完整版中文在线观看| 噜综合| 婷婷五月在线观看| 99久久丝| 深爱五月天| 婷婷五月激情热播| 亚洲超碰在线| 精品网站99| 另类小说五月天| 大波美女VA网站| 噼里啪啦在线观看免费完整版视频 | 99精品在这里| 激情五月开心五月在线视频| 狠狠色成人影片| 人妻自慰在线| 亚洲乱码日产精品BD| 丁香五月综合福利视频导航| 国产欧美精品AAAAAA片| 夜夜操夜夜姧| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 91丨九色丨熟女|老版| 五月婷婷色综图片| AV在线资源| 只有精品在线观看| 无码少妇高潮喷水A片免费| 婷婷丁香五月天色区| 亚洲视频综合网| 色五月亚洲开心网| av在线不卡播放| 久久hd| 久久久久9| 超碰久热| Jh7Uf088VHafNm| 91成人看| 91丨九色丨丰满人妖| 另类小说五月天| 久99| 欧美激情综合色综合色| 激情五月九九九| 五月婷婷色综图片| 欧日美女Va| 综合久久狠狠| 激情综合激情综合| 婷婷五月丁香久久| 天天干天天爽| 五月婷视屏在线观看| 丁香六月婷| 色婷婷亚洲婷婷| 丁香五月婷婷激情123| YW无码| 欧美精产国品一二三区| 六月婷婷五月丁香首页| 综合狠久久| 婷婷五月天综合在线| 激情久久五月天| 国产亚洲精品久久久久苍井松| 九九爱激情| 最新久久网址| 国产精品A成V人在线播放| 99精品在这里| 丁香五月精品视频| WWW、99热| 超碰操网| 丁香五月综合在线| 天天操天天曰天天射| 婷婷成人视频| 婷婷精品性视频| 成人日韩欧美| 色五月噜噜| www.99视频| 午夜婷婷六月天| 天天肏夜夜肏| 久久9情免费| 六月婷婷色综合| 99re在线这里只有精品视频首页| 91色综合网| 成人草榴视频| 激情网五夜婷婷| 一级视频网址| 26uuu精品一区二区| 欧美啄木乌丝袜人妻系列| 国产 亚洲 在线| 人人操人人妻| 日本狠狠色| 欧美性丁香色色五月天干干| 五月婷免费视频久久久| 欧美人人女女精品综合五月天| 性爱综合网| 婷婷狠狠97| A A色色| 欧美在线视频99| 六月丁香成人| 亚洲精品字幕| 玖玖综合网| 五月婷婷第四色| 婷婷久久免费看| 五月丁香久人妻中文| 久综合九综合99| 热久精品| 综合视频久久| 国产婷婷五月天| 思思99热在线| 五月丁香婷婷久久| 丁香综合久久| seav天堂| 欧美在线视频99| 九月丁香亭亭| 综合成人小说婷婷| 这里只有精品视频一区| 婷婷五月天成人娱乐| 五月丁香欧美综合| 在线播放成人| 蜜臀久久99精品久久久久久酒店| 亚洲日日日| 人人综合久| 99精品性爱| 五月天婷婷视频30| 色亚洲色宗合| 久久国产性爱A V| 婷婷亚洲天堂| 色婷婷丁香综合中文字幕| 色色综合院| 久久丁香婷| 无码成人播放器| 国产在线aaa片一区二区99| www.99热这里只有精品| 丁香五月综合婷婷| 色婷婷色99国产综合精品| 99久久免费精品| 激情五月网站| 美女要搞搞天天搞搞搞网站| 秋霞三级色戒| 91婷婷丁香五月天免费视频网站| 97碰| 欧美综合五月丁香六月婷| 99九九视频精彩在线| 日韩成人综合| 激情色情五月天| 日本97在线观看| 久久婷综| 日日夜夜九九| 九一娱乐在线观看视频| 色色色九九九五月婷婷| 日逼AV影音先锋男人资源站| 国产欧美日韩综合精品一区二区| 丁香五月婷婷色| 色综合色综合网| 人妻AV在线| 国产亚洲精品久久久久久郑州| 欧美性爱五月天| 五月婷在线| 欧美肉大捧一进一出免费视频| 色综合五月| 玖玖精品资源| w婷婷五月婷婷w| 黄页大全十八禁| 永久AⅤ1| 五月天国产婷婷精品视频在线| 嫩草乱码一区三区四区| 5月婷婷6月六月丁香| 亚洲无码色| 久久久ww| 色五月天在线观看| 99综合视频一体| 青青草视频免费观看| 欧美婷婷色| 精品9久| 日韩无码性爱| 久热91精品| 性日本激情| 激情婷婷亚洲五月| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 婷婷色婷婷亚洲成人| 激情五月天婷婷久久久久久久久久久| 色99亚洲| 丁香五月激情鲁| 亚洲综合五月天| 东京热伊人| 色色色综合网| 91久久网站| 婷婷色片| 97色婷婷| 天天日夜夜夜操操操操| 国产日韩亚洲欧美在线观看| 69色婷婷| 亚洲这里只有精品| 日本黄 色 片| 色色九区| 久久婷婷五月综合97色一本| 五月婷久久| 五月婷婷在线播放| 婷婷五月电影院| 亚洲亚洲人成综合网络| 亚洲在线成人| 这里只有精品视频222| 96性爱视频| 日本丁香五月| 五月天婷婷综合| jiujiuxiangjiaowang| 99资源在线视频| 丁香五月丐人妻| 五月色色激情网| 五月丁香激情啪啪| 久久激丁香| 影音先锋毛片网站| 一根材五月婷成人| 99网| 激情综合五月| 中文在线视频久9| 色综天天综合| 国产亚洲精久久久久| 99热这里是精品| 久久久久久久久18久久| 欧美在线看| 五月丁香啪啪啪啪| 97性视频| 狠狠色噜噜狠| 日良久久| 激情五月丁香综合网站| 激情小说五月天| 玖玖伊人网| 综合五月草| 99热这里只有精品青草| 操逼福利视频| 日91高清无玛| 中文字幕网伦射乱中文| 在线观看亚洲视频影院| 婷婷五月天亚洲激情戏精品| 操逼视频一区| 久久免费少妇高潮99精品| 超碰99在线观看| 五月婷婷 激情五月| 大香蕉九九| 色婷婷a v| 色欲五月婷婷| 激情六月天| 99在线公开视频| 激情性五月天免费小说视频 | 99热最新精品| 无码色色| 国产成人精品一区二区三区视频| 五月丁香大相交| av五月天婷婷丁香| 国产精品18久久久| 色一情一乱一乱一区91| 五月婷天天搞视频| EEUSS鲁片一区二区三区| 99色中文| 日欧大屏操| 久久se 综合网 | 五月丁香婷婷三级| 无码免费人妻A片AAA毛片西瓜| 人人妻人人澡| 五月天六月婷婷| 色色婷婷综合| 精品视频99看在线视频| 久久久久婷婷| 亚洲有码在线视频| 婷婷五月天成人网站| 国产精品扒开腿做爽爽爽A片唱戏| 五月天久久婷婷| 天天日夜夜帕| 久久婷色| 一二区成人电影| 999热在线视频| 久久婷婷五月天大香蕉| 久久综合网免费视频| 久九色| 久久99激情| 五月天亚洲色| 激情影院69| 五月天激情图| 疯狂做受XXXX高潮A片| 色婷婷五月影视| 日韩亚洲视频| 4399在线日本A片| 五月天激情四射网站| 大香蕉人人网| 亚洲天堂aaa| 色噜噜狠狠狠狠色综合久欧美| 久久久五月激| 内射干少妇亚洲69XXX| 97丁香五月天| 人妻少妇色综合| 日本a片网址| 开心婷婷五月| 五月婷婷激情综合在线| 色婷婷婷婷| 五月开心婷婷极品激情| 日韩视频99| 7月婷婷六月丁香| 99色视频| 国产裸舞福利资源在线视频| 六月丁香啪啪| 久久er九九| 色狠狠色噜噜AV天堂五区| 色欲日日躁| 又大又粗九一在线| 人人操人人爱丁香五月| 97操资源婷婷| 99精品福利视频| 丁香五月综合久久| 99色视频| 伊人婷婷大香蕉| 操久久网| 91婷婷丁香五月天免费视频网站| 色婷婷五月综合| 国产色色在线| 精品夜夜澡人妻无码AV| 四色女婷婷| αV电影| 婷婷五月色激情欧美激情| 91porn一起草| 91色色色| 丁香五月婷婷久久久| 成人做爰A片免费看视频| 校园激情 亚洲| 亚洲天堂九九九| 婷婷色色丁香五月天| 另类小说五月天| 亚洲综合五月天婷婷丁香| 夜夜操狠狠操天天操| 久久性都花花世界成人免费视频| www天天色天天射| 91色综合网| 丁香色色网| 丁香五月综合亚洲| 亚洲免费av观看| 99在线精品观看99| 新99思思视频| 99热在线成人网站| 五月婷婷九九久久| 婷婷五月成人| 97干婷婷五月天| 九九精品婷| 超碰亚洲天堂| 内射激情在线| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 99er免费在线观看| 欧美三级韩国三级日本三斤| 亚洲综合五月天婷婷丁香| 久久五月婷婷电影| 色色色色丁香| 婷婷综合视频| 婷婷丁香六月五月天| 欧美怡红院黄站| 99精品视频在线观看| 天搞天天天天天| 免費观看aV在线网址| 97操视频| 五月丁香婷婷婷婷综合网| 午夜九九九九九九| 婷婷五月天亚洲| 99热只有精| 午夜一区| 91黄色五月天视频| 丁香五月色色| 国产精品婷婷午夜在线观看| 色噜噜狠狠色综合成人99| 久久黄色片|