欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

WebGL加速瀏覽器端神經(jīng)網(wǎng)絡(luò)訓(xùn)練:從矩陣乘法到反向傳播的完整實(shí)現(xiàn)

WebGL加速瀏覽器端神經(jīng)網(wǎng)絡(luò)訓(xùn)練:從矩陣乘法到反向傳播的完整實(shí)現(xiàn) 1. 從一次“離譜”的需求說起為什么要在瀏覽器里訓(xùn)練神經(jīng)網(wǎng)絡(luò)前陣子有個(gè)做在線教育工具的朋友找我說他們想做一個(gè)“手寫數(shù)字識別”的互動(dòng)教學(xué)頁面學(xué)生用鼠標(biāo)在畫布上寫個(gè)數(shù)字頁面立刻告訴他是幾。聽起來簡單但他們的約束條件很苛刻不能有后端推理服務(wù)不能依賴云端API所有計(jì)算必須在用戶打開網(wǎng)頁的那一瞬間就準(zhǔn)備好而且還得支持“現(xiàn)場教學(xué)微調(diào)”——也就是學(xué)生可以自己補(bǔ)充幾個(gè)樣本讓模型當(dāng)場學(xué)一下識別效果立刻變好。這個(gè)需求翻譯成技術(shù)語言就是在瀏覽器端完成神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理。注意是訓(xùn)練不只是推理。推理在瀏覽器里跑早就不新鮮了用ONNX Runtime Web或者TensorFlow.js加載一個(gè)預(yù)訓(xùn)練模型前向傳播一下這事很多年前就能做。但訓(xùn)練意味著反向傳播、梯度計(jì)算、參數(shù)更新計(jì)算量比推理大得多而且要在用戶設(shè)備上跑不能把瀏覽器卡死。我當(dāng)時(shí)的第一個(gè)反應(yīng)是用CPU跑JavaScript別鬧了。一個(gè)兩層全連接網(wǎng)絡(luò)在MNIST上訓(xùn)練純JS循環(huán)跑一輪epoch可能要幾十秒用戶體驗(yàn)直接崩掉。第二個(gè)反應(yīng)是WebAssembly能快一些但WASM本身不直接支持SIMD并行矩陣運(yùn)算除非你自己手寫SIMD指令開發(fā)成本極高。第三個(gè)反應(yīng)也是最終落地的方案WebGL。WebGL的本質(zhì)是什么很多人第一反應(yīng)是“畫3D圖形的”。沒錯(cuò)但更底層地看WebGL是一套在GPU上執(zhí)行并行計(jì)算的接口。它把數(shù)據(jù)組織成紋理把計(jì)算邏輯寫成著色器程序然后讓GPU的幾千個(gè)核心同時(shí)跑。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練核心就是大規(guī)模矩陣乘法和逐元素運(yùn)算這恰好是GPU最擅長的事情。所以用WebGL來加速瀏覽器端神經(jīng)網(wǎng)絡(luò)訓(xùn)練不是“能不能”的問題而是“怎么把神經(jīng)網(wǎng)絡(luò)的計(jì)算圖映射到WebGL的渲染管線上”的問題。這篇文章我就把這條路徑完整拆開講一遍。從GPU為什么適合做這件事到怎么把矩陣乘法寫成著色器到反向傳播怎么在WebGL里落地再到實(shí)際跑起來會踩哪些坑。如果你正在考慮把模型訓(xùn)練搬到瀏覽器端或者單純好奇“網(wǎng)頁里怎么跑神經(jīng)網(wǎng)絡(luò)”這篇內(nèi)容應(yīng)該能給你一套可復(fù)現(xiàn)的思路。2. GPU的并行邏輯為什么矩陣乘法在WebGL里能快幾十倍2.1 從CPU的“串行思維”切換到GPU的“并行思維”先建立一個(gè)直覺。假設(shè)你要計(jì)算兩個(gè)矩陣相乘A是1000×1000B也是1000×1000結(jié)果C是1000×1000。用CPU做你會寫三層循環(huán)外層遍歷C的行中層遍歷C的列內(nèi)層做點(diǎn)積??偣惨?0億次乘加運(yùn)算?,F(xiàn)代CPU大概有8到16個(gè)核心每個(gè)核心同一時(shí)刻只能處理一個(gè)乘加不考慮指令級并行所以理論上要跑幾億個(gè)時(shí)鐘周期。GPU不一樣。一塊普通的集成顯卡也有幾百個(gè)著色器核心獨(dú)立顯卡更是幾千個(gè)。這些核心可以同時(shí)執(zhí)行相同的指令只是處理不同的數(shù)據(jù)。矩陣乘法里C的每一個(gè)元素都是獨(dú)立的互不依賴。這意味著你可以把C的100萬個(gè)元素分配給GPU的幾千個(gè)核心每個(gè)核心算幾百個(gè)元素并行度直接拉滿。但這里有個(gè)關(guān)鍵限制GPU的并行是SIMD式的同一批核心在同一時(shí)刻必須執(zhí)行相同的指令。你不能讓核心A去做乘法核心B去做加法核心C去讀內(nèi)存。所以寫WebGL著色器時(shí)你的思維要變成“我要對每一個(gè)像素或每一個(gè)數(shù)據(jù)元素執(zhí)行同一套操作只是輸入數(shù)據(jù)不同?!?.2 WebGL的渲染管線如何變成計(jì)算管線WebGL的標(biāo)準(zhǔn)用法是你提供頂點(diǎn)數(shù)據(jù)頂點(diǎn)著色器處理每個(gè)頂點(diǎn)然后光柵化片段著色器處理每個(gè)像素最后寫入幀緩沖。這套流程里片段著色器是最適合做通用計(jì)算的階段因?yàn)樗鼘γ總€(gè)像素獨(dú)立執(zhí)行天然并行。要把矩陣乘法映射進(jìn)去做法是這樣的把矩陣A和矩陣B分別編碼成紋理。紋理的每個(gè)像素存儲一個(gè)浮點(diǎn)數(shù)或者用RGBA四個(gè)通道存四個(gè)數(shù)。創(chuàng)建一個(gè)和輸出矩陣C同樣大小的幀緩沖作為渲染目標(biāo)。寫一個(gè)片段著色器對于輸出紋理上的每一個(gè)像素位置(i, j)計(jì)算A的第i行和B的第j列的點(diǎn)積。用一次繪制調(diào)用drawArrays或drawElements觸發(fā)整個(gè)計(jì)算。這里有個(gè)細(xì)節(jié)片段著色器不能直接“讀取”另一個(gè)紋理的任意位置嗎可以用texture2D函數(shù)傳入歸一化的紋理坐標(biāo)。但要注意紋理坐標(biāo)是0到1的浮點(diǎn)數(shù)你需要把整數(shù)索引轉(zhuǎn)換成歸一化坐標(biāo)。比如要讀A的第k列坐標(biāo)就是(k 0.5) / width加0.5是為了采樣到像素中心。一次繪制調(diào)用就能算出整個(gè)C矩陣。1000×1000的矩陣乘法在GPU上就是渲染一個(gè)1000×1000的矩形每個(gè)像素做1000次乘加。GPU的幾千個(gè)核心同時(shí)跑實(shí)際耗時(shí)可能在幾毫秒到幾十毫秒之間比CPU快兩個(gè)數(shù)量級。2.3 精度問題WebGL的浮點(diǎn)數(shù)夠用嗎這是很多人會忽略的坑。WebGL 1.0的片段著色器默認(rèn)使用mediump精度也就是16位浮點(diǎn)數(shù)范圍大約±65504精度只有10位尾數(shù)。用來做神經(jīng)網(wǎng)絡(luò)訓(xùn)練梯度值很容易下溢到0或者上溢到Infinity。訓(xùn)練直接崩掉。解決方案有兩個(gè)第一在著色器里顯式聲明highp精度。precision highp float;這樣可以用到32位浮點(diǎn)數(shù)具體取決于GPU實(shí)現(xiàn)但大多數(shù)現(xiàn)代設(shè)備支持。highp的范圍和精度足夠覆蓋神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的數(shù)值。第二如果設(shè)備不支持highp一些老舊的移動(dòng)GPU可以考慮用“分塊計(jì)算”或者“縮放因子”來規(guī)避。比如把梯度乘以一個(gè)大的常數(shù)計(jì)算完再除回來。但這會增加復(fù)雜度實(shí)際項(xiàng)目中我建議直接檢測設(shè)備能力不支持highp就降級到CPU路徑。還有一個(gè)隱藏問題WebGL的紋理格式。默認(rèn)的RGBA紋理每個(gè)通道8位只能存0到255的整數(shù)。要存浮點(diǎn)數(shù)必須使用OES_texture_float擴(kuò)展把紋理內(nèi)部格式設(shè)為gl.FLOAT。這個(gè)擴(kuò)展在現(xiàn)代瀏覽器上支持率很高但還是要做特性檢測。3. 把神經(jīng)網(wǎng)絡(luò)拆成WebGL能吃的“圖形任務(wù)”3.1 全連接層的前向傳播一次矩陣乘法加一次激活假設(shè)你有一個(gè)簡單的全連接層輸入向量x維度n權(quán)重矩陣W維度m×n偏置b維度m輸出y activation(Wx b)。在WebGL里這一步可以拆成兩個(gè)渲染過程第一個(gè)過程算z Wx b。把W編碼成紋理x編碼成另一個(gè)紋理或者直接作為uniform數(shù)組傳入如果n不大的話。輸出z是一個(gè)m維向量可以渲染成一個(gè)m×1的紋理。片段著色器里對于輸出紋理的第i個(gè)像素計(jì)算W的第i行和x的點(diǎn)積再加上b[i]。第二個(gè)過程算y activation(z)。這是一個(gè)逐元素操作直接把z紋理作為輸入渲染到y(tǒng)紋理。著色器里對每個(gè)像素應(yīng)用激活函數(shù)比如ReLU就是max(0, z)Sigmoid就是1/(1exp(-z))。這里有個(gè)優(yōu)化點(diǎn)如果網(wǎng)絡(luò)有多層可以把中間結(jié)果一直保留在紋理里不需要讀回CPU。每一層的輸出紋理直接作為下一層的輸入紋理。這樣整個(gè)前向傳播就是一系列繪制調(diào)用數(shù)據(jù)始終在GPU顯存里流轉(zhuǎn)避免了PCIe總線的來回拷貝。3.2 反向傳播的鏈?zhǔn)椒▌t在著色器里怎么表達(dá)反向傳播是訓(xùn)練的核心也是最難映射到WebGL的部分。核心公式是對于每一層先算輸出的梯度dL/dz然后算權(quán)重的梯度dL/dW dL/dz * x^T輸入的梯度dL/dx W^T * dL/dz。在WebGL里dL/dz的計(jì)算通常涉及逐元素乘法比如ReLU的導(dǎo)數(shù)就是z0?1:0和dL/dy逐元素相乘。這個(gè)可以寫成一個(gè)片段著色器輸入是dL/dy紋理和z紋理輸出是dL/dz紋理。dL/dW的計(jì)算是一個(gè)外積dL/dz是m維x是n維外積得到m×n的矩陣。這個(gè)可以映射成一次矩陣乘法把dL/dz當(dāng)作列向量x當(dāng)作行向量。輸出紋理的大小是m×n每個(gè)像素(i,j)的值是dL/dz[i] * x[j]。這個(gè)計(jì)算很簡單但要注意紋理的布局——WebGL紋理是二維的你需要決定怎么把一維向量和二維矩陣對應(yīng)起來。dL/dx的計(jì)算是W^T乘以dL/dz這是一個(gè)矩陣向量乘法。W^T是n×mdL/dz是m維結(jié)果是n維。這個(gè)可以復(fù)用前面矩陣乘法的著色器只是把W的紋理轉(zhuǎn)置一下或者在著色器里交換索引。實(shí)際實(shí)現(xiàn)時(shí)我建議把每一層的反向傳播拆成三個(gè)獨(dú)立的渲染過程算dL/dz、算dL/dW、算dL/dx。每個(gè)過程一個(gè)著色器程序輸入輸出都是紋理。這樣邏輯清晰調(diào)試也方便。3.3 參數(shù)更新在GPU上做還是回CPU做參數(shù)更新是W W - learning_rate * dL/dW。這個(gè)操作本身很簡單逐元素減法。但問題在于更新后的W需要作為下一輪前向傳播的輸入。如果W一直留在GPU紋理里那更新也可以在GPU上做寫一個(gè)片段著色器輸入W紋理和dL/dW紋理輸出新的W紋理。但這里有個(gè)權(quán)衡。如果所有參數(shù)都在GPU上你就沒法方便地查看訓(xùn)練過程中的權(quán)重變化也沒法做復(fù)雜的優(yōu)化器比如Adam需要維護(hù)一階矩和二階矩計(jì)算量不大但邏輯稍復(fù)雜。我的做法是前向和反向在GPU上跑參數(shù)更新回CPU做。每一輪迭代結(jié)束后把dL/dW從GPU讀回CPU用readPixels在JavaScript里更新權(quán)重再把新權(quán)重上傳到GPU紋理。這樣雖然多了兩次數(shù)據(jù)傳輸?shù)`活性大大提高而且對于小網(wǎng)絡(luò)來說傳輸開銷遠(yuǎn)小于計(jì)算開銷。讀回?cái)?shù)據(jù)時(shí)要注意readPixels是同步操作會阻塞渲染管線。如果每輪都讀可能會成為瓶頸。優(yōu)化方法是批量讀——積累幾輪的梯度再一起讀回或者用WebGL 2.0的PBO像素緩沖對象做異步讀回。但WebGL 2.0的兼容性還不如1.0實(shí)際項(xiàng)目中要權(quán)衡。4. 手寫一個(gè)WebGL神經(jīng)網(wǎng)絡(luò)訓(xùn)練器的完整路徑4.1 環(huán)境搭建與基礎(chǔ)工具函數(shù)首先你需要一個(gè)WebGL上下文。創(chuàng)建一個(gè)canvas獲取gl對象。然后檢查必要的擴(kuò)展const canvas document.createElement(canvas); const gl canvas.getContext(webgl); const floatExt gl.getExtension(OES_texture_float); if (!floatExt) { throw new Error(設(shè)備不支持浮點(diǎn)紋理無法進(jìn)行GPU訓(xùn)練); }接下來是幾個(gè)基礎(chǔ)工具函數(shù)這些函數(shù)會反復(fù)用到創(chuàng)建浮點(diǎn)紋理輸入是一個(gè)Float32Array輸出是一個(gè)WebGL紋理對象。注意設(shè)置紋理參數(shù)為NEAREST采樣避免插值導(dǎo)致數(shù)值錯(cuò)誤。function createFloatTexture(gl, data, width, height) { const texture gl.createTexture(); gl.bindTexture(gl.TEXTURE_2D, texture); gl.texImage2D(gl.TEXTURE_2D, 0, gl.RGBA, width, height, 0, gl.RGBA, gl.FLOAT, data); gl.texParameteri(gl.TEXTURE_2D, gl.TEXTURE_MIN_FILTER, gl.NEAREST); gl.texParameteri(gl.TEXTURE_2D, gl.TEXTURE_MAG_FILTER, gl.NEAREST); gl.texParameteri(gl.TEXTURE_2D, gl.TEXTURE_WRAP_S, gl.CLAMP_TO_EDGE); gl.texParameteri(gl.TEXTURE_2D, gl.TEXTURE_WRAP_T, gl.CLAMP_TO_EDGE); return texture; }創(chuàng)建幀緩沖幀緩沖是渲染目標(biāo)你把片段著色器的輸出寫進(jìn)去。每個(gè)幀緩沖綁定一個(gè)紋理作為顏色附件。function createFramebuffer(gl, texture) { const fb gl.createFramebuffer(); gl.bindFramebuffer(gl.FRAMEBUFFER, fb); gl.framebufferTexture2D(gl.FRAMEBUFFER, gl.COLOR_ATTACHMENT0, gl.TEXTURE_2D, texture, 0); return fb; }編譯著色器程序這是標(biāo)準(zhǔn)流程編譯頂點(diǎn)著色器和片段著色器鏈接成程序。頂點(diǎn)著色器通常很簡單就是傳遞一個(gè)覆蓋整個(gè)畫布的矩形。function createProgram(gl, vertexSource, fragmentSource) { const vs gl.createShader(gl.VERTEX_SHADER); gl.shaderSource(vs, vertexSource); gl.compileShader(vs); const fs gl.createShader(gl.FRAGMENT_SHADER); gl.shaderSource(fs, fragmentSource); gl.compileShader(fs); const program gl.createProgram(); gl.attachShader(program, vs); gl.attachShader(program, fs); gl.linkProgram(program); return program; }這些工具函數(shù)看起來簡單但每個(gè)都有坑。比如紋理的寬高必須是2的冪嗎在WebGL 1.0里如果使用NEAREST采樣和CLAMP_TO_EDGE可以不是2的冪。但有些驅(qū)動(dòng)會強(qiáng)制要求所以最安全的做法是padding到2的冪。我一般會把矩陣維度補(bǔ)齊到最近的2的冪比如1000×1000的矩陣實(shí)際分配1024×1024的紋理多出來的部分填0。4.2 矩陣乘法著色器的逐行拆解矩陣乘法是整個(gè)訓(xùn)練流程里最核心的計(jì)算。假設(shè)我們要算C A × BA是M×KB是K×NC是M×N。頂點(diǎn)著色器很簡單就是畫一個(gè)覆蓋整個(gè)輸出紋理的矩形attribute vec2 a_position; void main() { gl_Position vec4(a_position, 0.0, 1.0); }片段著色器是重點(diǎn)precision highp float; uniform sampler2D u_A; uniform sampler2D u_B; uniform vec2 u_A_size; // (M, K) uniform vec2 u_B_size; // (K, N) uniform vec2 u_C_size; // (M, N) void main() { vec2 c_pos gl_FragCoord.xy; // 當(dāng)前像素在C中的位置 float sum 0.0; for (int k 0; k int(u_A_size.y); k) { // 讀A的第c_pos.x行第k列 vec2 a_uv vec2((c_pos.x 0.5) / u_A_size.x, (float(k) 0.5) / u_A_size.y); float a_val texture2D(u_A, a_uv).r; // 讀B的第k行第c_pos.y列 vec2 b_uv vec2((float(k) 0.5) / u_B_size.x, (c_pos.y 0.5) / u_B_size.y); float b_val texture2D(u_B, b_uv).r; sum a_val * b_val; } gl_FragColor vec4(sum, 0.0, 0.0, 1.0); }這段代碼有幾個(gè)關(guān)鍵點(diǎn)第一gl_FragCoord.xy給出的是像素中心坐標(biāo)比如第一個(gè)像素是(0.5, 0.5)。所以計(jì)算紋理坐標(biāo)時(shí)要加0.5再除以尺寸。第二循環(huán)次數(shù)必須是常量或者可以用uniform控制。WebGL 1.0的GLSL不允許非常量循環(huán)邊界但可以用一個(gè)足夠大的常量循環(huán)然后在循環(huán)體內(nèi)用if判斷是否超出范圍。不過現(xiàn)代瀏覽器對動(dòng)態(tài)循環(huán)的支持已經(jīng)不錯(cuò)了實(shí)際測試中大多數(shù)設(shè)備都能跑。第三每次循環(huán)要讀兩次紋理。紋理讀取是GPU計(jì)算中最慢的操作之一因?yàn)橐L問顯存。優(yōu)化方法是把A和B的紋理綁定到不同的紋理單元并且盡量讓循環(huán)內(nèi)的訪問模式有局部性。但矩陣乘法的訪問模式天然是跳躍的所以這個(gè)優(yōu)化空間有限。一個(gè)實(shí)用的優(yōu)化技巧分塊計(jì)算。把大矩陣切成小塊比如32×32的塊每個(gè)塊的計(jì)算可以更好地利用GPU的緩存。但這會增加著色器的復(fù)雜度實(shí)際項(xiàng)目中如果矩陣不大比如全連接層通常幾百維直接算就夠了。4.3 激活函數(shù)與損失函數(shù)的GPU實(shí)現(xiàn)激活函數(shù)是逐元素操作實(shí)現(xiàn)起來簡單。以ReLU為例precision highp float; uniform sampler2D u_input; void main() { vec2 uv gl_FragCoord.xy / vec2(textureSize(u_input, 0)); float val texture2D(u_input, uv).r; gl_FragColor vec4(max(0.0, val), 0.0, 0.0, 1.0); }Sigmoid稍微復(fù)雜一點(diǎn)因?yàn)橐鉫xpfloat sigmoid(float x) { return 1.0 / (1.0 exp(-x)); }但要注意exp函數(shù)在highp下可能會有精度問題特別是當(dāng)x很大或很小時(shí)。一個(gè)穩(wěn)定的實(shí)現(xiàn)是float stable_sigmoid(float x) { if (x 0.0) { return 1.0 / (1.0 exp(-x)); } else { float e exp(x); return e / (1.0 e); } }損失函數(shù)通常用交叉熵。對于分類問題交叉熵的梯度是softmax輸出減去真實(shí)標(biāo)簽。這個(gè)計(jì)算可以放在CPU做因?yàn)橹簧婕拜敵鰧佑?jì)算量小。但如果想全GPU化也可以寫一個(gè)著色器輸入是預(yù)測概率和真實(shí)標(biāo)簽輸出是每個(gè)樣本的損失值。4.4 反向傳播的著色器實(shí)現(xiàn)細(xì)節(jié)反向傳播里最復(fù)雜的是dL/dW的計(jì)算。假設(shè)當(dāng)前層的輸入是xn維輸出梯度是dL/dzm維那么dL/dW是一個(gè)m×n的矩陣每個(gè)元素是dL/dz[i] * x[j]。這個(gè)計(jì)算可以寫成一個(gè)著色器輸出紋理大小是m×nprecision highp float; uniform sampler2D u_dz; // m維向量存成m×1紋理 uniform sampler2D u_x; // n維向量存成n×1紋理 uniform vec2 u_dz_size; uniform vec2 u_x_size; void main() { vec2 pos gl_FragCoord.xy; // pos.x是行索引ipos.y是列索引j vec2 dz_uv vec2(0.5 / u_dz_size.x, (pos.x 0.5) / u_dz_size.y); vec2 x_uv vec2(0.5 / u_x_size.x, (pos.y 0.5) / u_x_size.y); float dz_val texture2D(u_dz, dz_uv).r; float x_val texture2D(u_x, x_uv).r; gl_FragColor vec4(dz_val * x_val, 0.0, 0.0, 1.0); }注意這里紋理坐標(biāo)的寫法。因?yàn)閐z和x都是一維向量我習(xí)慣把它們存成寬度為1、高度為維度的紋理。這樣讀取時(shí)x坐標(biāo)固定為0.5/width即像素中心y坐標(biāo)根據(jù)索引變化。dL/dx的計(jì)算是W^T × dL/dz。W是m×nW^T是n×mdL/dz是m維結(jié)果是n維。這個(gè)可以復(fù)用矩陣乘法的著色器只需要把W的紋理坐標(biāo)交換一下?;蛘邔懸粋€(gè)專門的著色器precision highp float; uniform sampler2D u_W; // m×n uniform sampler2D u_dz; // m維 uniform vec2 u_W_size; uniform vec2 u_dz_size; void main() { float i gl_FragCoord.y; // 輸出向量的索引 float sum 0.0; for (int j 0; j int(u_W_size.x); j) { vec2 w_uv vec2((float(j) 0.5) / u_W_size.x, (i 0.5) / u_W_size.y); float w_val texture2D(u_W, w_uv).r; vec2 dz_uv vec2(0.5 / u_dz_size.x, (float(j) 0.5) / u_dz_size.y); float dz_val texture2D(u_dz, dz_uv).r; sum w_val * dz_val; } gl_FragColor vec4(sum, 0.0, 0.0, 1.0); }這里W的讀取是W[j][i]因?yàn)槲覀円鉝^T的第i行也就是W的第i列。所以w_uv的x坐標(biāo)是j行索引y坐標(biāo)是i列索引。這個(gè)索引交換很容易搞混寫的時(shí)候要特別小心。5. 實(shí)測中那些文檔不會告訴你的坑5.1 紋理尺寸限制與矩陣分塊策略WebGL有一個(gè)硬性限制MAX_TEXTURE_SIZE。這個(gè)值在不同設(shè)備上不一樣低端手機(jī)可能只有2048高端顯卡能到16384。如果你的權(quán)重矩陣超過這個(gè)尺寸就必須分塊。分塊矩陣乘法的思路是把A切成若干行塊B切成若干列塊然后逐塊計(jì)算。每個(gè)塊的計(jì)算結(jié)果寫到一個(gè)臨時(shí)紋理最后拼起來。但這樣會增加繪制調(diào)用次數(shù)和紋理切換開銷。我的經(jīng)驗(yàn)是對于全連接層權(quán)重矩陣通常不會超過4096×4096那已經(jīng)是1600萬參數(shù)了所以大多數(shù)設(shè)備都能直接放下。但如果做卷積層特征圖可能很大就需要分塊。實(shí)際項(xiàng)目中我建議先檢測MAX_TEXTURE_SIZE如果矩陣維度超過限制就自動(dòng)降級到CPU計(jì)算或者用分塊策略。還有一個(gè)隱藏限制MAX_RENDERBUFFER_SIZE和MAX_VIEWPORT_DIMS。這些通常和紋理尺寸限制一致但有些設(shè)備上幀緩沖的尺寸限制更嚴(yán)格。創(chuàng)建幀緩沖后一定要檢查checkFramebufferStatus確保返回FRAMEBUFFER_COMPLETE。5.2 浮點(diǎn)紋理的讀寫精度陷阱前面提到要用OES_texture_float擴(kuò)展。但即使擴(kuò)展存在不同設(shè)備對浮點(diǎn)紋理的支持程度也不一樣。有些設(shè)備只能渲染到浮點(diǎn)紋理但不能讀取有些設(shè)備讀取時(shí)會有精度損失。一個(gè)實(shí)用的檢測方法是創(chuàng)建一個(gè)浮點(diǎn)紋理寫入一個(gè)已知值比如0.123456789然后讀回來看精度是否滿足要求。如果誤差超過1e-6就說明這個(gè)設(shè)備的浮點(diǎn)紋理不可靠需要降級。另外readPixels讀回浮點(diǎn)數(shù)據(jù)時(shí)返回的是Float32Array。但有些設(shè)備會返回Uint8Array即使你請求的是浮點(diǎn)格式。所以讀回后要檢查數(shù)據(jù)類型必要時(shí)做轉(zhuǎn)換。還有一個(gè)坑WebGL的texImage2D在傳入Float32Array時(shí)如果數(shù)據(jù)長度和width×height×4不匹配會靜默失敗或者產(chǎn)生未定義行為。一定要確保數(shù)據(jù)長度正確。我習(xí)慣在創(chuàng)建紋理前先算好width * height * 4然后檢查數(shù)組長度。5.3 訓(xùn)練不收斂的排查鏈路GPU訓(xùn)練最讓人頭疼的問題是訓(xùn)練不收斂但你看不到中間過程。CPU訓(xùn)練時(shí)你可以打印每一層的梯度、權(quán)重但GPU上數(shù)據(jù)都在紋理里讀回來很麻煩。我總結(jié)了一套排查鏈路第一步檢查前向傳播。用一個(gè)已知的輸入手動(dòng)算一遍CPU版本的前向結(jié)果然后和GPU版本對比。如果前向就不對那反向肯定不對。對比時(shí)要注意精度GPU的浮點(diǎn)運(yùn)算和CPU可能有微小差異但應(yīng)該在1e-5以內(nèi)。第二步檢查梯度。用數(shù)值梯度法驗(yàn)證對于某個(gè)權(quán)重w計(jì)算Loss(wε)和Loss(w-ε)然后(Loss(wε)-Loss(w-ε))/(2ε)就是數(shù)值梯度。和GPU算出的梯度對比如果差異大說明反向傳播有問題。第三步檢查參數(shù)更新。如果梯度對了但Loss不下降可能是學(xué)習(xí)率太大或太小。GPU訓(xùn)練時(shí)梯度值可能因?yàn)榫葐栴}被截?cái)鄬?dǎo)致實(shí)際學(xué)習(xí)率和設(shè)定值不符??梢韵劝褜W(xué)習(xí)率調(diào)小10倍試試。第四步檢查數(shù)據(jù)。有時(shí)候問題不在GPU而在輸入數(shù)據(jù)。比如標(biāo)簽編碼錯(cuò)了或者輸入沒有歸一化。GPU訓(xùn)練對輸入尺度很敏感因?yàn)楦↑c(diǎn)數(shù)的動(dòng)態(tài)范圍有限。5.4 性能調(diào)優(yōu)從每秒幾輪到每秒幾百輪最初的實(shí)現(xiàn)可能每秒只能跑幾輪迭代慢得讓人懷疑人生。優(yōu)化方向有幾個(gè)減少繪制調(diào)用。每次繪制都有固定開銷包括狀態(tài)切換、著色器綁定、紋理綁定。如果能把多個(gè)操作合并到一個(gè)著色器里就能減少調(diào)用次數(shù)。比如把矩陣乘法和偏置加法合并把激活函數(shù)和損失函數(shù)合并。使用頂點(diǎn)緩沖對象VBO。畫矩形時(shí)不要每次都用gl.vertexAttribPointer重新指定頂點(diǎn)數(shù)據(jù)。創(chuàng)建一個(gè)VBO把矩形的四個(gè)頂點(diǎn)存進(jìn)去每次繪制時(shí)直接綁定。避免不必要的紋理切換。紋理切換是昂貴的操作。如果多個(gè)著色器使用相同的輸入紋理盡量把它們安排在連續(xù)的繪制調(diào)用里。使用WebGL 2.0。WebGL 2.0支持更多紋理格式、多重渲染目標(biāo)MRT、以及更靈活的循環(huán)控制。如果目標(biāo)用戶設(shè)備支持優(yōu)先用WebGL 2.0。但要注意兼容性做好降級方案。批處理。如果訓(xùn)練數(shù)據(jù)是小樣本可以把多個(gè)樣本打包成一個(gè)批次一次前向傳播算完。這樣GPU的利用率更高因?yàn)槊總€(gè)著色器調(diào)用處理的數(shù)據(jù)量更大。實(shí)測下來一個(gè)兩層全連接網(wǎng)絡(luò)784-128-10在MNIST上訓(xùn)練優(yōu)化前每秒約5輪優(yōu)化后能到每秒200輪以上。這個(gè)速度已經(jīng)足夠做交互式教學(xué)了——學(xué)生寫一個(gè)數(shù)字模型在幾百毫秒內(nèi)就能完成一輪微調(diào)。6. 瀏覽器端訓(xùn)練的邊界與適用場景6.1 什么規(guī)模的模型適合放在瀏覽器里訓(xùn)不是所有模型都適合瀏覽器端訓(xùn)練。我的經(jīng)驗(yàn)是參數(shù)量在10萬到100萬之間的模型WebGL訓(xùn)練是可行的。超過這個(gè)規(guī)模紋理尺寸和顯存會成為瓶頸而且訓(xùn)練時(shí)間會變得不可接受。具體來說全連接層每層幾百到幾千維層數(shù)不超過5層這樣的網(wǎng)絡(luò)在瀏覽器里訓(xùn)練很流暢。卷積層也可以做但需要把卷積展開成矩陣乘法im2col這會增加內(nèi)存占用。如果卷積核不大比如3×3通道數(shù)不多比如32或64也是可以跑的。不適合的場景包括大型語言模型、高分辨率圖像生成模型、需要大量迭代才能收斂的模型。這些還是交給專業(yè)訓(xùn)練環(huán)境。6.2 隱私保護(hù)與離線可用性的真實(shí)價(jià)值瀏覽器端訓(xùn)練最大的賣點(diǎn)不是性能而是數(shù)據(jù)不出本地。用戶的輸入數(shù)據(jù)、標(biāo)注數(shù)據(jù)、甚至模型本身都可以完全留在瀏覽器里。這對于隱私敏感的應(yīng)用場景很有價(jià)值比如醫(yī)療健康類的個(gè)人數(shù)據(jù)訓(xùn)練、教育類的學(xué)生行為數(shù)據(jù)建模。另一個(gè)價(jià)值是離線可用。一旦頁面加載完成后續(xù)的訓(xùn)練和推理都不需要網(wǎng)絡(luò)連接。這對于網(wǎng)絡(luò)不穩(wěn)定的環(huán)境或者需要完全離線部署的場景是很實(shí)用的特性。還有一個(gè)容易被忽略的價(jià)值即時(shí)反饋。用戶補(bǔ)充幾個(gè)樣本模型立刻更新識別效果當(dāng)場變好。這種交互體驗(yàn)是云端訓(xùn)練做不到的因?yàn)樵贫擞?xùn)練有網(wǎng)絡(luò)延遲和排隊(duì)等待。6.3 和TensorFlow.js的GPU后端有什么不同TensorFlow.js也支持WebGL后端而且封裝得很好幾行代碼就能定義模型并訓(xùn)練。那為什么還要自己寫WebGL著色器區(qū)別在于控制粒度。TensorFlow.js的WebGL后端是一個(gè)通用框架它會把各種操作映射到著色器但中間有很多抽象層。對于標(biāo)準(zhǔn)操作比如全連接、卷積、常見的激活函數(shù)它的性能已經(jīng)很好。但如果你需要自定義操作或者想針對特定硬件做極致優(yōu)化自己寫著色器更靈活。另外TensorFlow.js的WebGL后端在某些設(shè)備上會有兼容性問題而且它的內(nèi)存管理是自動(dòng)的有時(shí)候會導(dǎo)致紋理泄漏或者頻繁的垃圾回收。自己管理紋理和幀緩沖雖然代碼量大但行為完全可控。我的建議是如果標(biāo)準(zhǔn)模型能滿足需求直接用TensorFlow.js省時(shí)省力。如果需要自定義訓(xùn)練邏輯或者對性能有極致要求再考慮手寫WebGL。7. 從原型到產(chǎn)品工程化落地的幾個(gè)關(guān)鍵決策7.1 如何設(shè)計(jì)降級方案保證兼容性不是所有瀏覽器都支持WebGL也不是所有支持WebGL的設(shè)備都支持浮點(diǎn)紋理。產(chǎn)品化時(shí)必須設(shè)計(jì)降級方案。我的做法是三級降級第一級WebGL 2.0 浮點(diǎn)紋理。這是最優(yōu)路徑性能最好。第二級WebGL 1.0 浮點(diǎn)紋理擴(kuò)展。性能稍差但兼容性更廣。第三級純CPU JavaScript。用TypedArray做矩陣運(yùn)算雖然慢但保證能用。對于小模型參數(shù)量小于1萬CPU版本也能在可接受的時(shí)間內(nèi)完成訓(xùn)練。降級檢測在頁面加載時(shí)做一次把結(jié)果緩存起來。用戶不需要知道底層用的是哪條路徑只需要看到訓(xùn)練能跑起來。7.2 訓(xùn)練過程的進(jìn)度反饋與中斷處理GPU訓(xùn)練是異步的你發(fā)出繪制調(diào)用后GPU在后臺跑JavaScript繼續(xù)執(zhí)行。如果訓(xùn)練循環(huán)寫成一個(gè)大的for循環(huán)頁面會卡死用戶看不到任何進(jìn)度。解決方案是用requestAnimationFrame或者setTimeout把訓(xùn)練循環(huán)拆成小批次。每一幀跑幾輪迭代然后更新進(jìn)度條再請求下一幀。這樣頁面保持響應(yīng)用戶能看到訓(xùn)練進(jìn)度。中斷處理也很重要。用戶可能中途關(guān)閉頁面或者切換標(biāo)簽頁。要在beforeunload事件里清理WebGL資源避免內(nèi)存泄漏。另外如果用戶切換標(biāo)簽頁requestAnimationFrame會暫停訓(xùn)練也會暫停。這是符合預(yù)期的行為但要在UI上給出提示。7.3 模型持久化把訓(xùn)練好的權(quán)重存到哪里訓(xùn)練完成后權(quán)重需要保存。GPU紋理里的數(shù)據(jù)不能直接序列化必須先讀回CPU轉(zhuǎn)成Float32Array然后存到IndexedDB或者localStorage。IndexedDB適合存大文件幾MB到幾十MBlocalStorage只適合存小數(shù)據(jù)幾KB。對于神經(jīng)網(wǎng)絡(luò)權(quán)重通常用IndexedDB。存儲時(shí)可以把Float32Array轉(zhuǎn)成Blob或者直接存ArrayBuffer。讀取時(shí)反向操作從IndexedDB讀出ArrayBuffer轉(zhuǎn)成Float32Array再上傳到GPU紋理。整個(gè)過程要注意異步處理因?yàn)镮ndexedDB的讀寫都是異步的。還有一個(gè)細(xì)節(jié)權(quán)重的版本管理。如果模型結(jié)構(gòu)變了舊權(quán)重就不能用了。我習(xí)慣在存儲時(shí)帶上一個(gè)版本號或者結(jié)構(gòu)哈希讀取時(shí)校驗(yàn)不匹配就重新初始化。8. 我踩過的三個(gè)印象最深的坑第一個(gè)坑是紋理坐標(biāo)的0.5偏移。剛開始寫著色器時(shí)我直接用了gl_FragCoord.xy / textureSize作為紋理坐標(biāo)結(jié)果采樣到的總是相鄰像素的值導(dǎo)致矩陣乘法結(jié)果完全錯(cuò)誤。排查了很久才發(fā)現(xiàn)gl_FragCoord給出的是像素中心坐標(biāo)而紋理坐標(biāo)需要的是歸一化的像素中心所以要加0.5再除。這個(gè)細(xì)節(jié)在大多數(shù)WebGL教程里都不會強(qiáng)調(diào)但做通用計(jì)算時(shí)是致命的。第二個(gè)坑是浮點(diǎn)紋理的線性插值。默認(rèn)情況下紋理采樣使用線性插值會混合相鄰像素的值。對于圖像渲染這是好事但對于矩陣運(yùn)算這是災(zāi)難。必須把TEXTURE_MIN_FILTER和TEXTURE_MAG_FILTER都設(shè)為NEAREST。我一開始忘了設(shè)結(jié)果梯度計(jì)算出來總是有微小的噪聲訓(xùn)練完全不收斂。第三個(gè)坑是幀緩沖的完整性檢查。創(chuàng)建幀緩沖后我沒有檢查checkFramebufferStatus直接就開始渲染。在某些設(shè)備上幀緩沖創(chuàng)建失敗但不會報(bào)錯(cuò)渲染結(jié)果全是0。后來養(yǎng)成了習(xí)慣每次創(chuàng)建幀緩沖后都檢查狀態(tài)不完整就拋異常。這個(gè)檢查在開發(fā)階段能省下大量調(diào)試時(shí)間。9. 后續(xù)可以繼續(xù)深挖的方向如果你已經(jīng)把基礎(chǔ)的WebGL訓(xùn)練跑通了還有幾個(gè)方向可以繼續(xù)優(yōu)化。一是用WebGL 2.0的變換反饋Transform Feedback。WebGL 2.0允許把頂點(diǎn)著色器的輸出直接寫回緩沖區(qū)不需要經(jīng)過片段著色器。這對于逐元素操作比如激活函數(shù)、參數(shù)更新可能更高效因?yàn)楸苊饬思y理的創(chuàng)建和綁定。二是混合精度訓(xùn)練。用16位浮點(diǎn)數(shù)做前向和反向用32位浮點(diǎn)數(shù)做參數(shù)更新。這樣可以減少顯存占用和帶寬消耗速度可能提升一倍。但要注意數(shù)值穩(wěn)定性可能需要損失縮放loss scaling來防止梯度下溢。三是多GPU協(xié)同。如果用戶設(shè)備有多個(gè)GPU比如集成顯卡加獨(dú)立顯卡理論上可以用多個(gè)WebGL上下文并行計(jì)算。但瀏覽器對多GPU的支持還很有限實(shí)際可行性不高。四是和WebAssembly結(jié)合。把一些不適合GPU的操作比如數(shù)據(jù)預(yù)處理、復(fù)雜的優(yōu)化器邏輯放到WASM里做GPU專注做矩陣運(yùn)算。兩者通過SharedArrayBuffer通信實(shí)現(xiàn)真正的并行。這條路我走了大半年從最初的“這能行嗎”到現(xiàn)在的“基本能用”中間踩了無數(shù)坑但也積累了不少經(jīng)驗(yàn)。瀏覽器端訓(xùn)練不是要取代專業(yè)訓(xùn)練環(huán)境而是在特定場景下提供一種輕量、隱私、即時(shí)的選擇。如果你的項(xiàng)目恰好需要這些特性WebGL方案值得一試。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九色婷婷Av| www.色九月| 久久激丁香| 国产肥白大熟妇BBBB视频| 伊人久久大香蕉网| 99热婷婷| 九九久久精品| 综合av在线| 国产毛片精品一区二区色欲黄A片 99国产在线精品视频 | 综合色99| 综合网天天| 婷婷色五月天在线观看| 亚洲AV免费在线| 婷婷六月色| 99热手机在线精品| 午夜少妇在线观看视频| 天天干,夜夜爽| www.天天日| 99热这里都是精品| 香蕉久操| 国产精品视频网| 97超级碰碰碰| 97人人操人人爽| 五月丁香亚洲校园欧美| 色五月婷婷基地| 日良久久| 丁香婷婷激情五月| 深爱婷婷丁香五月激情| 天天插天天操| 婷婷五月天亚洲综合| 性色99| 99青青草| 亚洲婷婷91丁香| 综合久久99| 六月丁香五月婷婷| 六月色丁香婷婷| 丁香五月色激情| 五月天婷婷亚洲| 亚洲av日韩无码| 久久婷婷色色| 五月丁香激情婷婷综合字幕| 天天综合天天做天天综合| 五月天婷婷色| 五月色俺婷婷| 看全色黄大色大片| 色婷婷丁香五月天| 婷婷94s| 丁香五月激情综合婷综| 国产婷婷五月天| 色狠狠狠干| 久久婷婷六月综合资源| 婷婷五月天成人基地| 成人婷婷深爱综合网| va中文资源在线观看| 精品视频99看在线视频| 婷婷五月天性| 情色婷婷五月天| 五月天伊人网| 婷婷六月成人| 9久精品| 678五月丁香亚洲综合| 好好日激情五月天| 天天爱天天秀天天做| 丁香五月婷婷在线观看| 天天干天天干天天干天天干天| 久久久久99精品成人片| 欧美成人性爱网| 97精品自拍| 在线中文字幕视频| 色五月丁香91| 久久婷婷五月综合| 天天操天天日天天爽| 亚洲 无码 中文字幕 中出| 99惹精品视频| 久久婷婷伊人| 殴美97色| 79亚洲精品少妇| 日日狠狠久久偷偷四色综合免费 | 久热亚洲| 美臀自射自家人妻| 99热99极品观看| 亚洲九区| 人妻激情视频| 精品色色网| 婷婷的色色五月天| 少妇被下春药玩弄A片| 秋霞av吧| 欧美色图45678| 激情九九这里只有精品| 丁香五月婷婷偷拍| 婷婷五月欧美综合| 99热在线爱| 五月婷婷丁香综合网| 激情五月丁香亭亭| av高清无码| 丁香五月婷婷激情中文| 欧美色婷婷| www.99热这里精品| 色青青视频| 99亚洲视频| www.99视频| 久婷自拍视频| 精品无码色| 狠狠擼综合| 99热免费| 亚洲AV无码成人电影| 婷婷激情五月天小说| 91avse| 激情综合另类| 超碰久热| 99色综合网| 婷婷综合色播网| 91小黄书网址在线观看| 狠狠操天天干| Av中文在线| 亚洲国产色婷婷| 亚洲色网络| 色婷婷丁香五月| 日熟女| 99精品在线下载| 99九九热在线观看| 美国天天操无码| 五月丁香999| 欧美日韩成人免费在线| 成人无码免费一区二区中文| 97干在线观看视频| 曰日爽日日操| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 亚洲欧美国产A片免费观看| 大香蕉五月婷婷| 色99热| 少妇熟女视频一区二区三区 | 日本五月婷婷| 婷婷丁香无码专区| 99成人精品六| 99爱精品| 91精品婷婷国产综合久久| 噜噜色五月| 丁香五月婷婷综合网| 熟女激情五月天| 做爰丰满少妇1313| 99久久99热| 丁香五月Av| 97夫妻超碰| 天天操夜夜爽天天操| 人人爱人人添| 五月精品99综合| 五月丁香综合激情在线观看| 蜜桃人妻无码AV天堂三区| 99在线免费观看| 亚洲欧美成人在线| 婷婷五月AV| 天天日,天天干,天天操| 婷婷五月天大香蕉在线视频观看| 久久久久久xxxxx| 91人操人人人操人| 久婷久婷激情肉| 这里只有免费精品| 丁香五月天堂亚洲社区| 日日色五月天| 六月婷婷综合| 天天综合.com| 国外亚洲成AV人片在线观看| 丁香五月综合| 久久99精品九九久久久婷婷| 人人操人人添人人摸97| 亚洲激情无码久久| 国产成人网址| 婷婷精品| 日日噜噜夜夜狠狠久久丁香五月| 99热插| 国产综合网在线| 在线观看日韩12345区| 免费九九热| 丁香激情久久| 99热婷婷| 五月天综合在线| 中文字幕成人| 久热这里只有| 天天肏屄夜夜爽| 天天爽天天日| 丁香五月色综合色播五月| 欧美 日韩 成人| 男人天堂AV在线一区二区| 五月情婷婷五月| 五月婷婷色| 俺来也综合网精品一区| WWW.桔色成人.COM| 久久资源网五月婷| 玖玖婷婷五月天| 狠狠色婷婷| 婷婷操逼| 快乐婷婷五月天| 激情五月综合| 日日干日日s| 亚洲婷婷五月天| 久久五月人人摸| 欧美久热| www.丁香黄色五月天人与| 成人丁香| 深爱丁香网| 99精品视频在线观看| 国产熟女一区二区三区五月婷| www激情com| 亚洲无码九九九| 日本色婷婷| 色蜜婷婷| 26uuu精品国产| 欧美丁香婷婷天天操| 99自拍视频网站| 久久婷婷网站| 五月丁香影视| 狠狠五月天婷婷激情网。| 99色视频| 亚洲狠狠狠| 中文在线视频久9| 综合久久人妻| 五月丁香网站| 99热官网| 五月天激情开心网| 大香蕉人人人| 色色色色色综合| 激情婷婷色小说| 99超超碰| 66色在线日韩| 婷婷亚洲日本| 色噜噜丁香| www色五月天| 婷婷五月丁香激情图片| 五月天综合在线观看| www.ywav| 久久免费操| 日本99热| 狠狠五月婷婷| 色色色在线观看| 九月婷婷综合| 欧美激情VA永久在线播放| 在线播放中文字幕| 无码成人AAAAA毛片AI换脸| 成人精品在线| 欧类av怡春院| 四月丁香五月婷婷久久| 99九九中文字幕视频| 色五月婷婷一二| 91ncm视频| 99精品综合视频| 五月丁香婷婷激情| av最新在线| 可以看的AV| 五月丁香久久综合精品| 日本美女97在线视频| 99性感视频| 97久操| 亚韩在线视频| 久久狠色噜噜狠狠狠狠97| www.狠狠| 少妇综合网| 五月天激情综合在线| 丁香婷婷色五月| 五月婷婷丁香大陆免费| 狠狠色噜噜狠狠狠狠狠色综合久久| 岛国av电影网站| 无码色综合| 五月婷婷激情中文字幕| 欧美精品999| 亚洲亚洲人成综合网络| 激情小说婷婷五月| 天天操天天爱天天日| 色色色欧美| 久久久久久久久久人妻| 另类 在线| 99色综合| 99激情视频| WWW色综合| 久色大香蕉| 婷婷色五月丁香六月欧美啪| 色五月aV| 婷丁香五月天| 亚洲乱码日产精品BD| 久久婷婷亚洲五月天| 99色综合久久| 久久伦乱| 9999色色色色| 婷婷五月天久久| 国产一级片色色| 五月天com| 激情婷婷内射| 久久精品婷婷五月丁香| 天天爽天天干| 91九色中文字幕女在线观看| 九九热这里精品| 五月婷综合| 五月婷婷久久综合| 99热这里| 九九热精品视频九九| 成人在线高清| 爱99干99| 丁香五月婷婷在线| 丁香五月成人| 人人草人人爱手机视频看看| 婷婷综合色图| 久久五月天 91| 久久538| 亚洲另类视频| 五月丁香av在线| 天天久综合网永久入口17v| 激情综合五月婷婷| 欧美激情综合色综合啪啪五月| 97婷婷丁香| 大香蕉色婷婷伊人在线| 欧美人人操| 情涩婷婷五月天| 玖玖在线视频| 大香蕉久热| 久久九九Com| 色婷婷六月| 五月丁香婷婷深深爱| 色亚洲无码| 色综合av超碰| 90色免费视频| 国产FREESEXVIDEOS性中国| 天天天久久人人人合| 日韩啪啪网| 六月丁香婷婷综合影院| 狠狠综合网| 亚洲在线操| 丁香激情综合| 亚洲、热| 色五月天综合| 九九热再线九九视频免费在线观看 | 天天爽夜夜操| www、色色色| 天天舔天天摸天天射| 婷婷色色宗合网| 色色热| 婷婷综合色图| 五月丁香六月婷婷激情网| 侠女刀之记忆电影在线看免费| 人人操操97| 久久小说网| 丁香五月婷婷影院| 99综合自拍| 思思re99视频在线观看| 思思热在线视频观看精品| 五月天AV大香蕉| www.丁香六月婷婷久久天堂影院.con| 思思热这里只有精品| 99九九精品| 天天插天天干天天舔| 超碰色色综合| 久碰婷婷视频| 激情五月综合网| 天天插,天天射| 五月天激情日色在线| 美欧成人视频| 婷婷综合九月| 综久久久| 五月天婷婷激情四射综合| 超碰在线看| 337p大胆噜噜噜噜噜91Av| 丁香五月a| 婷婷五月天亚洲图片| 免费AV播放| 五月丁香色婷婷色| 國語久久婷| 97碰| 五月六月播婷婷| 国产成人AV在线播放| 桃色五月婷婷| 六月色丁香婷婷| 亚洲电影在线观看| 欧美怡红院黄站| 另类少妇人与禽zOZZ0性伦| 九九色欲网| www.婷婷| 成人亚洲精品| 成人av免费观看| 婷婷五月综合久久中文字幕| 99亚洲色色| 国产成人+亚洲+欧洲| 天天爽天天日人人爱| 亚洲AV网址| 色色色婷婷五月| 91九色熟女| 丁香九月综合| 丁香五月婷婷黑人妻黄色电影院| 丁香五月婷婷亚洲另类| 九九综合九| www.色多多婷| 丁香花综合永久入口| 日产精品一线二线三线芒果| 色五月AV| 国产欧美熟妇另类久久久| 婷婷午夜| 五月婷婷色| 风流少妇A片一区二区蜜桃| 亚洲高清在线| 五月丁香婷婷综合| 丁香五月激情站| 六月香五月婷| 欧美成人精品一区二区 | 好好干Av| 色狠狠六月| 婷婷五月噜噜| www.99热精品| 五月天婷婷在线视频| 1024日韩| 亚洲精品久久久无码| 少妇性按摩无码中文A片| 久久曰曰| 五月婷婷影视| 狠狠色丁香久久婷婷综合五月| 综合激情九月婷婷,激情综合婷婷中文字 | 99热10在线高清播放| 97福利视频| 五月综合激情久久| 99热插| 99操99| 丁香桃色综合网| 深爱激情69热| 91成人视频| 婷婷综合网站| 婷婷五月综合色小姐小说| 91丨九色丨国产| 欧美日韩五月婷婷| 九九热这里只有精品5| 狠狠做五月| 人人射av| 99激情| 99这里| 牛牛澡牛牛爽| 国产成人高清| 99热久久最新地址| 五月天婷婷综合| 开心激情五月天网| 亚洲欧美综合7777色亭亭| 啪啪视频99| 99热主页日本| 99热精品9| 天天做天天爱天天玩| 久久婷婷内射| 高潮毛片又色又爽免费| 怡春院天天干| 国产亚洲在线| 天天爽天天干天天| 五月天综合网| 影音先锋男人AV资源站| 97碰在线免费观看| 亚洲avjiujiur91| 婷婷五月综合视频免费播放| 一月婷婷色色| 91av传媒高清在线视频网| 久久99草五月婷婷| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 婷婷成人基地| 97色色婷婷五月天| 热99久久这里只有精品| 五月婷婷激情久久| 五月丁香激情综合| 久久婷婷激情四射五月天| 欧美色宗和激情| 26uuu亚洲色| 香蕉人在线香蕉人在线 | 99热国产精品| 玖玖九九9999在线观看视频精品| 激情六月天婷婷| 色婷婷激情小说网| 9精品一区| 国产成人AV在线| WWW.桔色成人.COM| 五月丁香婷婷啪啪| 五月天另类小说久久小说网| 日本狠狠网| 色色操| 天天干天天干天天干天天干天天干天天| 人人射人人高潮| 99ri精品| 综合一区二区三区| 色性五月天| 可以看的av网站| 超级碰碰99| 激情美女五月天激情在线| 五月婷婷六月丁香综合| 99热欧| 思思热视频| 亚洲中文字幕在线观看| 97人妻碰碰碰碰碰久久久久久| av线电影| 99热九九这里只有精品10| 五月婷婷手机在线| 婷婷激情综合网| 9久久久| 婷婷在线操| 影音先锋色婷婷| 91a片爽| 色五月丁香总合网| 五月婷婷三级| 大香蕉天堂色| 九月婷婷丁香| 99色在线视频| 性色婷婷| 丁香五月婷婷香| 久久久国产精品黄毛片| 99资源在线视频| 色噜噜狠狠狠综合曰曰曰| 五月天丁香成人社| 婷婷五月丁香激情图片| 九九無碼| 一区视频网站| 欧美三级视频下载| 狠狠久综合| 亚洲第一综合| 色婷婷丁香综合中文字幕| 蜜乳A√| 五月婷婷香| 色婷av| 六月丁香好婷婷| 性做久久久久久久免费看| 亚洲成人无码免费| 五月婷婷视频ab| 久久久婷婷婷| www.激情五月天。com| 五月情婷婷| 99热国品| 久久性爱视频免费| 色停停香蕉视频| 99ri国产在线| 色噜噜五月天| 玖玖综合色区在线观看| 99久热在线精品| 六月丁香综合| 97伦色婷婷| 五月丁香综合精品| 婷婷丁香六月| 精品久久婷婷五月天| 五月天天天色| 热99热久| 美女要搞搞天天搞搞搞网站| 国产成人av在线播放| 大香蕉丁香五月| 日本在线视频手机播放五月婷| 天天草天天摸| 久久久色情| 激情婷婷五月天在线观看| 第四色五月天| 五月天激情四射| 色色丁香五月天| 五月天天综合| 开心激情站| 丁香五月婷婷亚洲另类| 丁香五月综合网亚洲综合欧美狠狠| 色色色综合色| AV激情五月| 99自拍视频| 亚洲无码播放| 午夜五月天| 91热久久| 青青草成人网| 天天插天天插天天日| 丁香婷五月天开心六月| 久久99大| 这里只精品热在线18| 公的粗大挺进了我的密道| 久久艹99| 色婷婷大香蕉| 亚洲AV成人在线| 九九色热| aaaaa黄色| 亚洲精品婷婷| 亚洲第一色色色| 欧美激情综合| 婷婷六月丁香激情综合| 97婷婷色| 欧美色五月| www.狠狠操| 99精品久久久久久久| 五月色网| 99色.com| 99热免费| AAA久久| 欧美色色色色色| 99在线er热| 五月婷婷综合在线| 99re这里有精品手机在线| 五月丁香在线| 六月丁香婷婷网| 精品欧美性爱超级爽| 亚色网站小视频| 成人中文网| 婷婷丁香基地在线| 激情婷婷久久| 色,激情五月天| 日本欧美成人片AAAA| 99爱爱| 综合五月天| 天天 日综合| 老师高潮流白浆喷水的A片| 色之综合网| 丁香五月AV| 26uuu国产色| 国产偷人爽久久久久久老妇APP| 思思99精品视频| 99视频| 天天综合天综合| 九9九9无码| 影音先锋色婷婷| 狠狠干五月天婷婷网| 六月激情婷婷| 99热精在线九九久久保| 极品人妻VIDEOSSS人妻| 91丨九色丨国产打屁股| 九九爱激情| 五月成人网站| 色婷婷久久| 五月丁香色情| 淫水导航| 亚州操操| 五月天色五月| 久久思思精品| 欧美色色色色色| 久久草大香蕉| 色停停五月天| 91狠狠综合久久| 日韩中文字幕| 五月色丁香| 噜噜噜噜婷婷五月天| 天天综合色| 激情综合网激情五月丁香| 中文字幕操比影片| 美女激情综合| 婷婷深爱五月亚洲综合| 久99999热视频在线观看免费| 射久久丁香五月| 色五月婷婷综合在线| 欧美在线97| 桃色伊人在线| 色狠狠综合入口| 五月婷婷丁香六月| jiqingliuyuetian| 色情综合网| 丁香五月天成人| 婷婷涩涩五月天| 亚洲中文丁香| 热久久这里只有三级视频| 婷婷五月在线播放| 97人人干| 国产女生爱爱AA| 色婷婷九月| 婷婷六月天激情影院| 色yeye欧美| 婷婷五月天成人| 青草激情在线| 久久久久久久久久91| 99热精品在线| 丁香五月婷婷色| www.婷婷五月天.com| 丁香六月婷| 开心婷婷五月天激情网| 26uuu精品一区二区| 亚洲成人电影在线免费观看| 99热在线免费| 狠狠舔| 日本色超碰| 综合在线色婷婷| 欧美色色色色色色色色色色影视| 99欧美精品99日本精品| 五月天偷拍| 嫩草综合网| 性爱五月婷婷| 五月天婷婷综合网| 99久超碰| 五月婷色啪| 啪啪啪大香蕉| 最新AV在线观看| 五月丁香| 丁香五月区| 亚洲狠狠操| 五月色丁香| 久久九九热38| 欧美成人精品A片免费一区99| 五月激情丁香久久综合网| 日本在线播放97| 久久九九热视频| 狠狠xx| 国产Va视频| 久久婷婷内射| 蜜臀av 粉嫩av 懂色av| 四虎成人精品永久免费AV九九| 亚洲精99| 色99热| 亚洲成人av在线观看 | 墨西哥毛片内射精| 亚洲欧美在线观看| 色播五月| 丁香五月婷婷综合精品素人| 99热6这里只有精品6| 肏日网在线看| 99年操人人爽| 91超碰人人操| 欧美日韩成人免费在线| 丁香五月激情视频在线| 久久永久视频| 九九热99久久99| 亚洲偷| 五月丁香婷婷啪啪| 丁香婷婷六月天| 婷婷狠狠操| 日韩精品无码99| 亚洲成色综合网站免费观看| 伊人碰碰婷婷| 色色色色色日韩午夜激情 | 九九热精品| 香蕉婷婷色五月| 91人人人人人人人| 婷婷五月综合国产精品| 99热这里只有精品2| 五月丁香婷庭在线| 开心五月激情站| 九九成人精品免费视频| 丁香五月天成人| 五月婷婷丁香六月| 天天日天天舔| 成人AV免费观看| 97色天堂| 五月婷婷激情网| 亚洲视频图片婷婷五月| 五月丁香六月欧美综合| 任你爽精品免费视频6| 风流少妇A片一区二区蜜桃| 婷婷九月亚洲| 久re热视频| 五月丁香人妻| 无码色色| 可以免费看AV网站| 亚洲激情精品| 色噜噜在线| 99热这里只有精品69| 亚洲色色色色色色色色色| 久久丁香九| www九月婷婷| 嫩草视频。| 碰99在线| 亚洲AV久久久久久久久久久久久久久久| 久久综合九色综合97婷婷| 综合色播| se99视频| 天天色视频| 久久丁香| 色婷婷五月在线| 夜夜爽天天干| 色五月 五月婷婷| 亚洲精品大片| 狠狠色噜噜狠狠狠狠综合| 中文字幕成人影视| 99久精品视频| 色噜噜五月天| 人人操97| 996er热| 亚洲区视频| 九九Av| 亚洲综合色色| 天天爱天天操| 天天爽天天爽| 4399啪啪视频| 色网五月婷婷| 伊人大香蕉爱聚| 99热人人操人人操| 中文字幕在线不卡视频| 丁香花社区av| 日本97在线观看| 亚洲a片免费观看| 97狠狠碰| Www99热| 任你爽免费视频| 久久综合五月天| 婷婷五月天综合激情| 亚洲婷婷91丁香| 91精品久久久久久77777| 丁香婷婷九月| 婷婷五月天最新综合你懂的| 激情四射网| 开心婷婷中文字慕| 婷婷婷色五月| 人妻videos人妻高清| Av性爱网| 久久人妻系列| 这里只有久久精99| 五月丁香亭亭| 五月天综合在线| www.超碰在线| 99国产在线精品视频| 国产欧美日韩综合精品一区二区| 精品久热| yazhoujiqingav| 综合九色| 五月天久久www| 色婷婷五月天av在线| 婷婷五月色情天| 99精品这里只有免费视频 | 色五月丁香五月婷婷五月成人网| 色婷婷综合网站| 99精品视频网| 欧洲一区二区| 色五月亚洲| 秋霞av吧| 最熟少妇乱码| 激情六月天婷婷| 久久er这里只有精品| 视频综合网| 人人综合五月人人婷婷| 日本激情五月| 久久久无码精品成人A片小说| 色播五月| 天天色播| 久久久国产精品黄毛片| 2050人人操免费工开爱| 天天干在线播放| 亚洲xx网| 五月婷婷六月丁香激情深爱| 婷婷五月天成人娱乐| 亚州欧美国产久精国产99综合视频| 99热 免费| 色婷婷五月天综合网| 九九久久视频| 五月婷婷影| 99这里有精品| 高清av在线国产| www.五月婷婷久久.com| 九九国产视频| 亚洲五月六丁香激情| 久久精品永久免费| 综合性爱网| 日本99视频| 四季日韩AV无码综合| 99久久.www| 六月婷婷天天操夜夜爽视频| wwW天天干| 国精产品一区二区三区| 五月成人天| 丁香花五月天激情| 免费观看全黄做爰的视频| 久9综合| 91碰在线| 久久久五月激| 欧美综合五月丁香六月婷| www.99热这里只有精品| 欧美性猛交99久久久久99按摩| .青娱乐天天操B| 六月婷婷啪啪| 五月天成人网婷婷| 五月天婷综合| 国产又色又爽又黄又免费| 7777久久亚洲中文字幕| 日韩在线观看亚洲| 久久婷五月综合色| 99狠狠| 国产精品成人AV在线观看春天| av操B网站| 色综合婷婷| 五月开心深深爱激情综合| 99在线免费视频| 人妻丰满精品一区二区A片| 久久99免费视频网站| 操操国产| 色性五月天| 热99在线| 无码一级片| 亚洲五月天天| 成人综合AV| 婷婷影视久久| AV色五月婷婷| 中文av网站| 99精品视频在线观看| 变天就操逼婷婷五月| 7超碰自拍| 色婷婷综合网站| 亚洲va综合va国产va中文| 久色激情| 香蕉AV777XXX色综合一区| 久久密臀婷婷| 伊人五月天日日夜夜久久久天天| 亭亭五月天黑人2014| 996日日爱| 色婷婷丁香五月| 日本免费91| 激情婷婷综合| 久久婷婷丁香| 色情婷婷久久五月天| 九九热中文| 五月天五月天激情网| 久久HD| 狠狠 久久| 久久五月天激情视频| 五月天婷婷7米| 亚洲情综合五月天| 色色色色色热| 亚洲成人av在线播放| 性综合网| 五月婷婷综合久久| 婷婷成人五月天成人文学小说| 色婷婷丁香五月天| 久久五月天丁香| 丁香五月婷婷六月婷| 五月天色丁香| 又大又粗九一在线| 噜综合| 久久久WWW| 99热99天堂| www色中色综合| 99热| 五月天婷婷色在线视频免费观看 | 久久婷婷五月综合激情国产| 成人色图情色成人网 www.5b5b5bcom 五月天| 亚洲V国产V欧美V久久久久久| 大香蕉久久婷婷| 日本VA视频| 五月综合激情啪啪啪啪啪| 亚洲旡码| 五月天婷婷影院| 免费观看日韩成人av| 五月丁香六月在线欧美| 丁香五月天论坛| 97碰精品| 偷拍视频五月天| 五月天婷婷色色| 婷婷久久五月天| 97久久精品| 亚洲婷婷激情综合激情999精品| 99这里只有免费的精品| 日韩无码色色| 91狼友视频在线观看| 激情久久久| 婷香五月激情视频| 91av色色乱视频| 99热这里只有精品一区| 一本色道久久综合狠狠躁小说| 亚洲无码九九九| 操逼棍操逼| 婷婷综合性爱网| 婷婷国产日本欧美| 色婷婷电影网| 丁香六月开心| 日本五月婷| 成人视屏在线观看| 成人 视频免费观看网站| 97luluse| 婷婷五月天亚洲综合网| 久久激情视频| 亚洲综合在线伊人婷| 丁香六月激情| 中文在线成人| 可以直接看的av| www.九月婷婷丁香.com| 综合性视频99| 香蕉人妻AV久久久久天天| 激情小说五月天| 99色色网| 色色五月丁香| 婷婷开心激情| 亚洲夜五月| 欧美日韩aaa| 五月婷婷开心亚洲无| 九九亚洲综合| 99热这里都是精品| 97色片| 丁香婷婷性爱| 99久久6| 久热只有这里有精品| 国产婷婷五月天| 久久性操| 另类天堂| 嫩草AV久久伊人妇女超级A| 亚洲视频操| 狠狠第四色| 日本欧美在线| 九玖视频这里只有精品| 色婷婷免费视频| 色婷婷免费观看| 婷婷五月综合激情| 五月天天天综合| 婷婷五月综合激情| 久久久月丁香| 亚洲无码影音| 五月天综合激情网| 免费成人网在线观看| 亚洲色无码| 99热在线爱| 任你搞网站| 色欲影香| 五月丁香婷婷色| anquye伊人| 精品少妇人妻AV无码专区偷人| 国产精品久久在线观看技巧| WWW,五月| 婷婷色色综合激情| 五月天开心色色网| 人妻久久久久久久久久久| 丁香花社区av| 色五月婷婷色五月婷婷色五月婷婷| 婷婷六月香| 天天爽天天日| 九九人人精品| 九月丁香亭亭| 亚洲va日| 亚洲黄色网址| 日日爱699| 丁香五月最新网址| 五月婷婷综合激情网| 99热这里只有精品1025| 婷婷精品免费久久| 激情五月黄色小说| 婷婷97色| 五月婷婷视频| 日本三级大片| 色婷婷视频| 婷婷五月六月丁香综合| 九九热狼人| 五月丁香在线| 伊人春天av| 欧美大片免费观看| 天天操人人干| 色婷五月天| 无码激情AAAAA片-区区| 五月开心六月婷婷在线播放网站| 风流少妇A片一区二区蜜桃| 色五月丁香婷婷综合| 99精品视频免费观看近期发布| 日日激情网| 九九色天堂| 色爱五月天| 五月婷婷插一插| www.久久久久久久久久久| 五月婷婷六月丁香在线视频免费在线观看| 97人人操在线| 一本道在线电影| 精品色| 男人天堂99| 五月丁香激情综合| 色五月婷婷五月天激情综合| 五月丁了香蕉综合| 婷婷亚洲综合| 六月婷婷激情小说网| 啪啪九九色| 婷婷午夜综合| 欧美日韩大黄| 97sese婷婷| 91性高潮久久久久久久久| 激情综合女人网五月播播| 久草热8精品视频在线观看| 亚洲 小说 欧美 激情 另类| 九久久九精品视频| 99热国内精品| 婷婷丁香色五月天久久88| 夜夜嗨一区二区三区直播内容| 天天爽天天爽夜夜爽| 婷婷五月天丁香综合网| 五月丁香六月激情| 蜜乳.comcom| 欧美日韩五月婷婷| 免费观看的av| 日韩视频99| 久久久思思热| 久久精品日| 大香蕉五月天婷婷| 桔色成人在线| 永久的网站AAAA| 精品国婬伦V无码久久久| 丁香五月欧美午夜视频| 97干在线视频| 色就色94欧美setu| 婷婷色导航| 九九精品在线观看视频6| 91狠狠色丁香| 亚洲激情综合| 思思99热| 5月婷婷激情6月| 综合99综合久久久久久久| 狠狠干综合| WWW.婷婷| 日操| 久播影院免费观看电视剧大全最新网| 五月激情综合网| 99视频在线精品| 激情婷婷五月天网址| 久婷狼色诱惑在线| 国产亚洲在线| 狠狠搞亚洲| 五月开心婷婷极品激情| 亚洲综合网在线| 大香蕉久| 99re思思热久久| 性爱动图国产麻豆一区二区三区| 91 影音先锋| 色婷婷久久| 五月天婷婷在线AN| 久久久久久久久久久久久久人妻视频 | 丁香五月天在线观看视频| 性爱网五月婷婷| 色五月在线播放| 九九热只有精品| 99热这里只有精品国产免费| 婷婷丁香五月视频| 久久九九99| 99自拍视频网站| 麻豆五月丁香婷婷| ay2区| 99久精品视频| 亚洲人成播放网站| 丁香五月影院| 99在线精品视频| www夜夜操comwww| 欧美va视频不用播放器的va视频网| 五月天色欧美| 九九九激情综合| 狠狠干综合| 婷婷五月婷婷| 全国最新疫情| 97人人看| 丁香五月手机视频| 婷婷五月天色| 久久婷婷亚洲| 66色在线日韩| www.五月天社区| 综合色五月天| 丁香六月开心| 超碰不卡在线| 丁香五月天日韩无码| 久久天天| 97视频.干com| 婷婷狠狠干| 亚洲国产精品成人va在线观看| 欧美视频五区| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 综合久久99| 久久丁香五月婷婷| 日韩好吊操| www.zbzhongsen.com| 婷婷五月天最新网址| 思思热在线观看| 99综合在线| 99爱在线视频| 亚洲激情.com| 五月久久亚洲| 丁六月激情| 色波激情五月天| 91狠狠综合久久| 日韩精品成人在线| 六月婷婷AV| 影音先锋五月天婷婷丁香在线观看| 热久精品| 成人看片网站| 九九这里是免费的视频5| 国产精品A片| 国产丁香五月天婷婷| 91色色色| 久久久性爱视频| 六月婷婷操逼| 色www99| 大色鬼综合| 无码成人AAAAA毛片AI换脸| www.超碰在线| 欧美色99| 国产精品爽爽久久久久久| 激情综合网激情五月欧美| 六月丁香av| 丁香九月综合| 精品99在线看| enecarbon-materials.com污K127封锁请涟系@wip1688 | 亚洲有码在线视频| 中字幕视频在线永久在线观看免费| 五月激情啪啪| 六月丁香久久| 伊人久久艹| 996热| 久热伊人| 五月丁香婷婷色色| 亚洲综合五月天婷婷丁香| 亚洲热视频在线| 亚洲操b| 5月丁香婷婷激情网| 婷婷丁香激情| 天天爽曰日爽| 超碰男人色| 人人射av| 色色色.com| 五月丁综合在线观看| 久久五月婷婷电影| 五月天婷婷色在线视频免费观看 | 噜噜在线| 婷婷在线播放| 色婷另类| 区美毛片子| 久久se 综合网| 激情深爱五月天| 26UUU精品一区二区| 伊人婷婷五月天| 激情小说婷婷| 玖玖婷婷色五月| 久久久五月五丁香| 色综合综合色| 9l视频自拍9l九色成人| 久热这里只有| 99啪啪网| 五月激情综合网| 99操视频| 亚洲国产精品VA在线看黑人| 91精品久久久久久久| 丁香婷婷六月| 日韩 中文 欧美| 伊人干综合| 99精品免费| 免费视频WWW在线观看网站| 日日日日日| 色婷五月天| 中国无码av| 日噜噜色| 日韩一级网站| 99热最新精品| 操操操操操操婷婷五月天| 六月婷婷啪啪| 碰碰91| 丁香六月激| 丁香婷婷六月激情| 色婷婷六月天在线| 亚洲精品国产精品乱码视99| 婷婷丁香五月高清| 日本va欧美va国产激情| 裸体美女丁香五月天。| 六月丁香综合| 亚洲在线操| 色五月激情五月开心五月| 久久久免费精彩视频| 激情综合久久| 欧美大肥婆大肥BBBBB| 五月天丁香| 色涩视频久久| 欧美日韩成人在线免费| 五月婷久久久| 大香蕉久| 激情文学 综合 色| 五月丁香综合精品| 九九激情视频| 国产三级片91| 精品色色| 8090在线影视少妇| BlACKEDRAW视频一区二区| 色婷婷五月丁香色| 激情图片婷婷| 第2色五月婷| 天天操天天草天天草天天| 六月丁香影院| 五月婷婷九九热| www.99热| 日韩野外 无套| 91综合色| 五月天激情网图片 - 百度| 国产日日夜夜操| www色五月| 亚洲操逼网| 成人国产欧美大片一区| www.久99| 黄色精品五月婷婷| 丁香丁香激情网| 丁香五月婷婷色偷偷| 天天日天天摸| 99性视频|