欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

注意力機(jī)制PyTorch實(shí)現(xiàn)避坑:自注意力、多頭、CBAM與Swin窗口

注意力機(jī)制PyTorch實(shí)現(xiàn)避坑:自注意力、多頭、CBAM與Swin窗口 如果把注意力機(jī)制理解成一句給不同的位置分配不同的權(quán)重那基本可以跳過(guò)很多教材了。但真正上手寫代碼、訓(xùn)模型、調(diào)參的時(shí)候你會(huì)發(fā)現(xiàn)坑根本不在這句話上而在 Q、K、V 到底怎么投影、維度怎么擺、掩碼會(huì)不會(huì)把整行打成 NaN、多頭拆開(kāi)之后顯存為什么突然漲了一倍、SE 和 CBAM 到底該插在 backbone 的哪個(gè)位置。這篇是我在做 Transformer、注意力機(jī)制相關(guān)項(xiàng)目時(shí)攢下來(lái)的筆記整理從最基礎(chǔ)的自注意力機(jī)制一路講到多頭注意力機(jī)制、通道注意力機(jī)制、空間注意力機(jī)制再順帶把時(shí)序注意力機(jī)制和 Swin 的窗口注意力邊界理一遍。適合已經(jīng)會(huì)寫 PyTorch、想直接抄作業(yè)跑通實(shí)現(xiàn)的人也適合剛學(xué)完 Transformer 原理但一寫代碼就報(bào)維度錯(cuò)的朋友。文中所有代碼我都跑過(guò)形狀注釋是真的形狀不是抄來(lái)的。1. 開(kāi)篇先理清注意力機(jī)制到底解決了什么問(wèn)題1.1 從固定權(quán)重到按需分配的直覺(jué)過(guò)渡在注意力機(jī)制普及之前序列建模的主流是 RNN 和 CNN。RNN 的問(wèn)題是信息必須沿著時(shí)間步一步步傳遞第 100 個(gè)詞想用上第 1 個(gè)詞的信息中間要經(jīng)過(guò) 99 次狀態(tài)更新梯度早衰減沒(méi)了。CNN 用卷積核擴(kuò)大感受野但感受野是固定的堆疊層數(shù)越多遠(yuǎn)距離依賴才勉強(qiáng)建立起來(lái)而且權(quán)重在整個(gè)特征圖上共享對(duì)這一幀該看哪一幀這件事毫無(wú)自主性。注意力機(jī)制的核心改動(dòng)在于權(quán)重要根據(jù)輸入內(nèi)容動(dòng)態(tài)算出來(lái)而不是訓(xùn)練好之后固定住。打個(gè)比方RNN 像一條流水線上每個(gè)工位都按固定手順往下傳注意力像開(kāi)會(huì)誰(shuí)跟當(dāng)前議題相關(guān)誰(shuí)的發(fā)言權(quán)重就高相關(guān)性是當(dāng)場(chǎng)根據(jù)內(nèi)容算的會(huì)開(kāi)完權(quán)重就作廢下一句話重新算。這個(gè)當(dāng)場(chǎng)算就是 query 和 key 做點(diǎn)積再 softmax 的過(guò)程。所以注意力本質(zhì)是一個(gè)可微的、內(nèi)容驅(qū)動(dòng)的軟尋址機(jī)制。它同時(shí)解決了兩個(gè)問(wèn)題一是路徑長(zhǎng)度任意兩個(gè)位置之間只需一步就能建立聯(lián)系梯度傳播路徑是 O(1)二是權(quán)重動(dòng)態(tài)化同一套參數(shù)在不同輸入下能表現(xiàn)出完全不同的關(guān)注模式。代價(jià)也很直接兩兩計(jì)算帶來(lái)了 O(L2) 的復(fù)雜度序列一長(zhǎng)顯存和算力就頂不住這才有了后面窗口注意力、線性注意力這些變體。理解這個(gè)取舍關(guān)系非常重要。你后面看到的幾乎所有注意力變體本質(zhì)都是在更強(qiáng)的表達(dá)能力和更低的計(jì)算成本之間做平衡。SE 通道注意力機(jī)制砍掉空間維度只在通道上算就是為了便宜Swin 把全局注意力限制在窗口內(nèi)也是為了把 O(L2) 降到 O(L·M2)。抓住這條主線各路變體就不會(huì)看著像一堆互不相關(guān)的黑盒。1.2 一套貫穿全篇的記號(hào)約定與維度推演維度混亂是初學(xué)者最大的痛點(diǎn)所以這里先把記號(hào)釘死后面全是這套。約定 batch size 為 B序列長(zhǎng)度為 L模型維度為 D頭數(shù)為 H單頭維度為 Dh。輸入張量形狀統(tǒng)一寫成 [B, L, D]這是 PyTorch 里 nn.Linear 最順手的排布。注意 TensorFlow/Keras 的 MultiHeadAttention 默認(rèn)吃 [B, L, D]但內(nèi)部 reshape 邏輯和 PyTorch 手寫版不一樣跨框架遷移時(shí)最容易在這里翻車。張量形狀含義x[B, L, D]輸入序列Q / K / V[B, L, D] 或 [B, L, Dh]投影后的查詢、鍵、值scores[B, H, L, L]注意力打分矩陣attn[B, H, L, L]softmax 后的權(quán)重out[B, H, L, Dh]加權(quán)求和結(jié)果final[B, L, D]拼頭并投影后的輸出有一件事必須提前記住注意力權(quán)重矩陣的形狀是 [B, H, L, L]它的元素總數(shù)是 B·H·L2。這意味著頭數(shù) H 增加時(shí)Q/K/V 投影的參數(shù)量和主計(jì)算量基本不變但注意力矩陣的顯存是線性增長(zhǎng)的。B8、H8、L512、fp32 的情況下單層注意力矩陣約 67MB反向傳播還要再存一份實(shí)際占用接近 200MB。這個(gè)數(shù)字在 L2048 時(shí)會(huì)膨脹到 16 倍也就是 1GB 上下一層而已。很多人調(diào)參時(shí)覺(jué)得頭數(shù)不影響計(jì)算量就隨手把 H 從 8 改成 16然后顯存爆了問(wèn)題就出在這里。1.3 為什么建議先吃透自注意力再碰 Transformer我見(jiàn)過(guò)不少人直接拿 HuggingFace 的 BertModel 跑微調(diào)效果不錯(cuò)但一被問(wèn)到位置編碼怎么加的、為什么是 pre-LN 而不是 post-LN、attention mask 和 key padding mask 有什么區(qū)別就答不上來(lái)。這種狀態(tài)下遇到自定義需求基本寸步難行比如要改成流式推理、要加相對(duì)位置編碼、要做稀疏注意力。自注意力機(jī)制是整個(gè) Transformer 的地基它就是Q、K、V 全部來(lái)自同一個(gè)輸入的最簡(jiǎn)形式。把它的張量流轉(zhuǎn)、縮放因子、掩碼處理這三件事搞透多頭注意力機(jī)制無(wú)非是加了拆頭和拼頭兩步交叉注意力無(wú)非是把 K、V 換成另一個(gè)序列。地基打牢樓怎么蓋都是順的。2. 自注意力機(jī)制Q/K/V 從公式到張量形狀的完整推演2.1 Q/K/V 三個(gè)投影到底在干什么標(biāo)準(zhǔn)公式寫出來(lái)只有一行Attention(Q,K,V) softmax(QK?/√d_k)V。但這里每個(gè)符號(hào)背后都有具體的物理含義值得掰開(kāi)講。Q 是 query代表我在找什么K 是 key代表我有什么可以被匹配的特征V 是 value代表如果匹配上了我實(shí)際貢獻(xiàn)什么內(nèi)容。Q 和 K 做點(diǎn)積得到相似度分?jǐn)?shù)softmax 歸一化成概率分布再用這個(gè)分布去加權(quán)求和 V。整個(gè)流程和數(shù)據(jù)庫(kù)里的軟檢索幾乎一模一樣唯一區(qū)別是這里返回的不是某一條記錄而是所有記錄按相關(guān)度加權(quán)的混合結(jié)果所以它對(duì)參數(shù)是可導(dǎo)的。關(guān)鍵點(diǎn)在于Q、K、V 都不是輸入 x 本身而是 x 經(jīng)過(guò)三個(gè)獨(dú)立的線性投影得到的。為什么必須投影因?yàn)槿绻苯佑?x 當(dāng) Q 和 K那相似度就退化成 x 和 x 自身的點(diǎn)積語(yǔ)義空間里用來(lái)查詢的方向和用來(lái)被查詢的方向被強(qiáng)行綁在一起表達(dá)能力大打折扣。三個(gè)獨(dú)立投影等于讓模型自己學(xué)出三套不同的語(yǔ)義子空間一套負(fù)責(zé)發(fā)問(wèn)一套負(fù)責(zé)應(yīng)答一套負(fù)責(zé)輸送內(nèi)容。這是自注意力機(jī)制能work的前提不是可有可無(wú)的裝飾。還要注意投影矩陣 W_q、W_k、W_v 是所有位置共享的。也就是說(shuō)第 1 個(gè)位置和第 100 個(gè)位置用的是同一套投影參數(shù)注意力的動(dòng)態(tài)體現(xiàn)在 Q、K 的數(shù)值隨輸入變化而不是參數(shù)隨位置變化。這一點(diǎn)常被誤解有人以為注意力是給每個(gè)位置單獨(dú)學(xué)一套權(quán)重那就退化成查表了完全沒(méi)有泛化能力。2.2 縮放因子 1/√d_k 的由來(lái)與數(shù)值實(shí)驗(yàn)分母上那個(gè) √d_k 是最容易被跳過(guò)、也最不該被跳過(guò)的地方。如果只寫 QK? 不縮放在 d_k 較大時(shí) softmax 會(huì)進(jìn)入飽和區(qū)輸出接近 one-hot梯度幾乎為零訓(xùn)練根本推不動(dòng)。推一下為什么。假設(shè) Q 和 K 的每個(gè)分量都是獨(dú)立同分布、均值 0 方差 1 的隨機(jī)變量那么點(diǎn)積 Q·K Σ? q?k? 是 d_k 個(gè)獨(dú)立同分布乘積之和其方差是 d_k標(biāo)準(zhǔn)差是 √d_k。也就是說(shuō) d_k 越大點(diǎn)積的數(shù)值范圍越寬。softmax 對(duì)輸入的尺度極度敏感輸入值差個(gè) 10最大項(xiàng)的概率就能到 0.9999 以上反向傳播時(shí) softmax 的雅可比矩陣幾乎全是 0。除以 √d_k 之后點(diǎn)積的標(biāo)準(zhǔn)差被拉回到 1 附近softmax 的輸入落在一個(gè)梯度友好的范圍內(nèi)。我用一段小實(shí)驗(yàn)驗(yàn)證過(guò)import torch torch.manual_seed(0) for d_k in [16, 64, 256, 512]: q torch.randn(4096, d_k) k torch.randn(4096, d_k) raw q k.T # 不縮放 scaled raw / d_k ** 0.5 # 縮放后 p_raw torch.softmax(raw, dim-1) p_scaled torch.softmax(scaled, dim-1) print( fd_k{d_k:4d} | raw_std{raw.std():7.3f} | scaled_std{scaled.std():5.3f} f| max_prob_raw{p_raw.max(dim-1).values.mean():.6f} f| max_prob_scaled{p_scaled.max(dim-1).values.mean():.6f} )跑出來(lái)的結(jié)果大致是這樣不同隨機(jī)種子有小幅波動(dòng)d_k未縮放點(diǎn)積標(biāo)準(zhǔn)差縮放后標(biāo)準(zhǔn)差未縮放最大概率均值縮放后最大概率均值164.021.000.780.09648.011.000.980.0425616.031.001.00000.0251222.651.001.00000.01d_k256 以上時(shí)未縮放的最大概率已經(jīng)貼著 1.0000 了這就是典型的梯度消失現(xiàn)場(chǎng)??s放后的分布保持在合理范圍模型才有得學(xué)。所以這個(gè) √d_k 不是玄學(xué)常數(shù)是有明確統(tǒng)計(jì)學(xué)依據(jù)的。提示如果你的模型是自己搭的d_k 又設(shè)得特別大比如 128 以上一定要確認(rèn)縮放這一步?jīng)]漏。漏掉它最典型的癥狀是 loss 一開(kāi)始就卡住不動(dòng)而且注意力圖上幾乎每行都是一個(gè)接近 one-hot 的尖峰。2.3 一份可以直接跑的自注意力實(shí)現(xiàn)下面這段是我平時(shí)用的最小實(shí)現(xiàn)形狀注釋都是真實(shí)值可以直接復(fù)制進(jìn) notebook 驗(yàn)證。import math import torch import torch.nn as nn import torch.nn.functional as F class SelfAttention(nn.Module): def __init__(self, d_model, d_kNone, d_vNone, biasTrue): super().__init__() d_k d_k or d_model d_v d_v or d_model self.d_k d_k self.W_q nn.Linear(d_model, d_k, biasbias) self.W_k nn.Linear(d_model, d_k, biasbias) self.W_v nn.Linear(d_model, d_v, biasbias) self.W_o nn.Linear(d_v, d_model, biasbias) def forward(self, x, pad_maskNone): # x: [B, L, D] Q self.W_q(x) # [B, L, d_k] K self.W_k(x) # [B, L, d_k] V self.W_v(x) # [B, L, d_v] scores Q K.transpose(-2, -1) / math.sqrt(self.d_k) # [B, L, L] if pad_mask is not None: # pad_mask: [B, L] 的 boolTrue 表示該位置是 padding scores scores.masked_fill(pad_mask[:, None, :], float(-inf)) attn F.softmax(scores, dim-1) # 整行都是 padding 時(shí) softmax 會(huì)輸出 NaN這里做一次保護(hù) attn torch.nan_to_num(attn, nan0.0) out attn V # [B, L, d_v] return self.W_o(out), attn # 自測(cè) x torch.randn(2, 6, 32) sa SelfAttention(32) y, a sa(x) print(y.shape, a.shape) # torch.Size([2, 6, 32]) torch.Size([2, 6, 6]) print(a.sum(-1)) # 每行和為 1幾個(gè)容易被忽視的細(xì)節(jié)。首先是transpose(-2, -1)而不是transpose(1, 2)用負(fù)索引寫更通用序列維在前還是 batch 維在前都能兼容。其次是masked_fill用 float(-inf) 之后必須處理全掩碼行否則 softmax 的分母是 0結(jié)果就是 NaN而且這個(gè) NaN 會(huì)順著梯度污染整個(gè) batch。torch.nan_to_num是最省事的兜底方案也可以在 mask 時(shí)給一個(gè)極小的負(fù)數(shù)而不是負(fù)無(wú)窮。還有一個(gè)常見(jiàn)困惑為什么最后還有一個(gè) W_o 輸出投影因?yàn)?V 投影之后各位置加權(quán)求和得到的結(jié)果仍然在 V 的子空間里需要再映射回原始 D 維語(yǔ)義空間才能和殘差連接相加。這個(gè)輸出投影不是多余的去掉它殘差路徑的語(yǔ)義就對(duì)不齊了。2.4 復(fù)雜度、顯存和幾個(gè)必踩的坑自注意力的時(shí)間和空間復(fù)雜度都是 O(L2·D)其中 L2 來(lái)自注意力矩陣。L512 時(shí)還好L4096 時(shí)單是這一個(gè)矩陣就夠嗆。實(shí)際部署中L 的平方開(kāi)銷往往是瓶頸所在不是參數(shù)量。踩過(guò)的坑按頻率排序大概是這幾個(gè)。第一個(gè)是 dtype 混用模型 fp16 而 mask 用 fp32導(dǎo)致masked_fill時(shí)隱式類型提升速度掉一半。第二個(gè)是忘記.contiguous()多頭場(chǎng)景下 transpose 之后直接 view 會(huì)報(bào)錯(cuò)這個(gè)下一節(jié)細(xì)說(shuō)。第三個(gè)是 padding mask 和 causal mask 混著用的時(shí)候搞反了維度結(jié)果是左邊信息泄露或者整句被全屏蔽掉。注意fp16 訓(xùn)練時(shí)慎用 float(-inf) 做 mask。某些算子實(shí)現(xiàn)下負(fù)無(wú)窮加上后續(xù)運(yùn)算會(huì)溢出成 NaN改用torch.finfo(scores.dtype).min或者一個(gè)足夠小的常數(shù)比如 -1e4更穩(wěn)實(shí)測(cè)下來(lái)訓(xùn)練曲線也更平順。3. 多頭注意力機(jī)制拆頭、拼頭與工程實(shí)現(xiàn)里的坑3.1 為什么要多頭從多角度觀察到子空間劃分單頭注意力只有一套 W_q、W_k、W_v意味著它只能用一種相似度度量去決定關(guān)注誰(shuí)。但語(yǔ)言里的關(guān)系是多種多樣的有語(yǔ)法上的主謂一致有指代關(guān)系有語(yǔ)義搭配還有單純的位置鄰近。一套投影很難同時(shí)把這些關(guān)系都編碼進(jìn)去。多頭注意力機(jī)制的做法是把 D 維的表示切成 H 份每一份單獨(dú)做一次自注意力最后拼回來(lái)。每個(gè)頭有自己獨(dú)立的投影參數(shù)因此可以學(xué)到不同的關(guān)注模式。有些頭專門盯相鄰位置有些頭專門跟蹤指代有些頭看起來(lái)像在關(guān)注標(biāo)點(diǎn)和句尾。研究里管這個(gè)叫頭 specialization實(shí)際訓(xùn)練中確實(shí)能觀察到部分頭會(huì)退化或者變得相似但整體上多頭帶來(lái)的表達(dá)能力提升是實(shí)打?qū)嵉?。有個(gè)容易誤解的點(diǎn)多頭不是把一個(gè)完整注意力算 H 遍而是把維度切開(kāi)分別算。所以當(dāng) d_model 固定時(shí)參數(shù)量和主 FLOPs 與頭數(shù)基本無(wú)關(guān)。真正的差異在于每個(gè)頭的維度變小了單個(gè)頭的表達(dá)容量下降但視角數(shù)量增加。這個(gè)取舍需要靠實(shí)驗(yàn)決定沒(méi)有萬(wàn)能公式。3.2 兩種拆頭寫法與等價(jià)性驗(yàn)證拆頭有兩種常見(jiàn)寫法我強(qiáng)烈推薦第一種。第一種是合并 QKV 投影再 chunk。用一個(gè)nn.Linear(D, 3D)一次性算出 Q、K、V然后沿最后一維切成三塊。好處是只有一次矩陣乘GPU 利用率更高而且權(quán)重初始化時(shí)三個(gè)投影的分布是一致的。第二種是三個(gè)獨(dú)立的nn.Linear(D, D)可讀性好但多兩次 kernel 啟動(dòng)小 batch 下差距明顯。拆頭的過(guò)程是 reshape transpose這里有個(gè)必須注意的順序問(wèn)題# q: [B, L, D]H 個(gè)頭Dh D // H q q.reshape(B, L, H, Dh) # [B, L, H, Dh] q q.transpose(1, 2) # [B, H, L, Dh] # 計(jì)算完之后 out out.transpose(1, 2).reshape(B, L, D)為什么先 reshape 成 [B, L, H, Dh] 而不是 [B, H, L, Dh]因?yàn)?D 維在內(nèi)存里是連續(xù)的reshape 成 [B, L, H, Dh] 保證每個(gè)頭的維度 Dh 是連續(xù)的一段拆出來(lái)才對(duì)。如果直接 reshape 成 [B, H, L, Dh]那分片的邏輯就變成了按位置切而不是按通道切語(yǔ)義完全錯(cuò)亂。這個(gè)錯(cuò)誤很隱蔽模型照樣能訓(xùn)只是效果差一截很難通過(guò)報(bào)錯(cuò)發(fā)現(xiàn)。transpose 之后張量在內(nèi)存里不再連續(xù)所以往回 reshape 之前必須先contiguous()或者直接用reshape()讓它內(nèi)部自動(dòng)處理。我一般寫.transpose(1, 2).contiguous().reshape(B, L, D)意圖更清晰。3.3 完整的 MultiHeadAttention 代碼class MultiHeadAttention(nn.Module): def __init__(self, d_model, n_heads, dropout0.1, biasTrue): super().__init__() assert d_model % n_heads 0, d_model 必須能被 n_heads 整除 self.d_model d_model self.n_heads n_heads self.d_head d_model // n_heads self.qkv nn.Linear(d_model, 3 * d_model, biasbias) self.out_proj nn.Linear(d_model, d_model, biasbias) self.dropout nn.Dropout(dropout) self.scale self.d_head ** -0.5 def forward(self, x, attn_maskNone, key_padding_maskNone): B, L, _ x.shape H, Dh self.n_heads, self.d_head qkv self.qkv(x) # [B, L, 3D] q, k, v qkv.chunk(3, dim-1) # 各 [B, L, D] # 拆頭 q q.reshape(B, L, H, Dh).transpose(1, 2) # [B, H, L, Dh] k k.reshape(B, L, H, Dh).transpose(1, 2) v v.reshape(B, L, H, Dh).transpose(1, 2) scores (q k.transpose(-2, -1)) * self.scale # [B, H, L, L] if attn_mask is not None: # 因果掩碼之類形狀可廣播到 [B, H, L, L] scores scores attn_mask if key_padding_mask is not None: # [B, L]True 表示該 key 位置無(wú)效 scores scores.masked_fill( key_padding_mask[:, None, None, :], float(-inf) ) attn F.softmax(scores, dim-1) attn torch.nan_to_num(attn, nan0.0) attn self.dropout(attn) out attn v # [B, H, L, Dh] out out.transpose(1, 2).contiguous().reshape(B, L, self.d_model) return self.out_proj(out), attn參數(shù)量的算法可以隨手估一下d_model512、H8 時(shí)qkv 層是 512×15361536 787968out_proj 是 512×512512 262656合計(jì)約 105 萬(wàn)。如果把 H 改成 16參數(shù)量完全不變因?yàn)?3D 的寬度沒(méi)變。但注意力矩陣從 [B, 8, L, L] 變成 [B, 16, L, L]顯存直接翻倍。3.4 頭數(shù)、頭維度與推理速度的取舍選頭數(shù)沒(méi)有理論最優(yōu)解但有幾條經(jīng)驗(yàn)可以少走彎路。頭數(shù) H單頭維度 DhD512特點(diǎn)適用場(chǎng)景4128單頭容量大視角少小數(shù)據(jù)量任務(wù)單一864經(jīng)典配置平衡通用首選1632視角多單頭偏弱大數(shù)據(jù)量長(zhǎng)文本3216單頭過(guò)窄易退化一般不推薦經(jīng)驗(yàn)上 Dh 低于 32 之后收益就開(kāi)始遞減了因?yàn)閱蝹€(gè)頭能表達(dá)的語(yǔ)義太窄很多頭會(huì)退化成近似相同的行為。BERT-base 用 12 頭、Dh64GPT-3 這類大模型反而把頭維度壓到 128 左右但層數(shù)堆得很高思路是用深度換寬度。還有一個(gè)實(shí)際部署時(shí)才暴露的問(wèn)題多頭注意力的計(jì)算是 [B, H, L, L] 的矩陣乘H 增大時(shí) kernel 的并行度提高但單次矩陣乘的規(guī)模變小GPU 利用率反而可能下降。我實(shí)測(cè)過(guò)同一模型在 H8 和 H16 下的推理延遲H16 雖然 FLOPs 一樣但延遲高了大概 8%主要是 kernel 啟動(dòng)和小矩陣乘的效率損失。實(shí)操心得如果你的序列長(zhǎng)度超過(guò) 1024優(yōu)先考慮的不是調(diào)頭數(shù)而是先用torch.nn.functional.scaled_dot_product_attention它會(huì)自動(dòng)選擇 FlashAttention 之類的融合實(shí)現(xiàn)顯存和速度都比手寫版好一大截。手寫版的價(jià)值在于理解原理和方便魔改生產(chǎn)環(huán)境沒(méi)必要硬扛。4. 通道注意力與空間注意力CNN 骨干網(wǎng)里怎么加才有效4.1 SE 通道注意力Squeeze-Excitation 的完整流程通道注意力機(jī)制的代表作是 SESqueeze-and-Excitation思路極其簡(jiǎn)單每個(gè)通道的重要性不一樣那就讓網(wǎng)絡(luò)自己學(xué)一組通道權(quán)重。Squeeze 階段用全局平均池化把 [B, C, H, W] 壓成 [B, C, 1, 1]每個(gè)通道得到一個(gè)標(biāo)量代表這個(gè)通道在整個(gè)空間上的響應(yīng)強(qiáng)度。Excitation 階段接兩層全連接中間有降維過(guò) sigmoid 得到 0~1 之間的通道權(quán)重最后逐通道乘法回原特征圖。class SEBlock(nn.Module): def __init__(self, channels, reduction16): super().__init__() hidden max(channels // reduction, 4) self.pool nn.AdaptiveAvgPool2d(1) self.fc nn.Sequential( nn.Linear(channels, hidden, biasFalse), nn.ReLU(inplaceTrue), nn.Linear(hidden, channels, biasFalse), nn.Sigmoid(), ) def forward(self, x): B, C, _, _ x.shape s self.pool(x).view(B, C) # [B, C] w self.fc(s).view(B, C, 1, 1) # [B, C, 1, 1] return x * w這里 reduction 的比例是關(guān)鍵超參。原論文用 16但在通道數(shù)很少的場(chǎng)景比如 C32下C//162降維太狠信息損失嚴(yán)重所以我在代碼里加了max(..., 4)的下限保護(hù)。反過(guò)來(lái)如果通道數(shù)上千reduction16 中間的隱層還有幾十上百維參數(shù)量也不小可以適當(dāng)加大比例。SE 的代碼量小但它有個(gè)隱蔽的性能問(wèn)題兩個(gè)全連接層在 GPU 上延遲不小尤其是 batch 小的時(shí)候。有一版改進(jìn)把第二個(gè) FC 換成 1x1 卷積或者直接用一次矩陣運(yùn)算完成效果差不多但快一些。4.2 CBAM通道-空間協(xié)同注意力的串行結(jié)構(gòu)CBAM 是在 SE 基礎(chǔ)上的加強(qiáng)版它把通道注意力和空間注意力串起來(lái)用順序是先通道后空間。這個(gè)順序不是隨便定的原論文做過(guò)消融實(shí)驗(yàn)串行優(yōu)于并行通道在前優(yōu)于空間在前。直覺(jué)上說(shuō)得通先確定哪些通道重要在已經(jīng)篩選過(guò)的特征上再定位哪些空間位置重要比反過(guò)來(lái)更合理。CBAM 的通道分支和 SE 有個(gè)重要區(qū)別——它同時(shí)用了平均池化和最大池化兩條路走同一個(gè) MLP 然后相加。最大池化能捕捉最顯著的響應(yīng)平均池化反映整體分布兩者互補(bǔ)。class ChannelAttention(nn.Module): def __init__(self, channels, reduction16): super().__init__() hidden max(channels // reduction, 4) self.avg_pool nn.AdaptiveAvgPool2d(1) self.max_pool nn.AdaptiveMaxPool2d(1) # 用 1x1 卷積實(shí)現(xiàn)避免 Linear 在高維下的額外開(kāi)銷 self.mlp nn.Sequential( nn.Conv2d(channels, hidden, 1, biasFalse), nn.ReLU(inplaceTrue), nn.Conv2d(hidden, channels, 1, biasFalse), ) self.sigmoid nn.Sigmoid() def forward(self, x): a self.mlp(self.avg_pool(x)) m self.mlp(self.max_pool(x)) return x * self.sigmoid(a m) class SpatialAttention(nn.Module): def __init__(self, kernel_size7): super().__init__() assert kernel_size in (3, 7), kernel size 一般取 3 或 7 self.conv nn.Conv2d(2, 1, kernel_size, paddingkernel_size // 2, biasFalse) self.sigmoid nn.Sigmoid() def forward(self, x): avg_out torch.mean(x, dim1, keepdimTrue) # [B,1,H,W] max_out, _ torch.max(x, dim1, keepdimTrue) # [B,1,H,W] cat torch.cat([avg_out, max_out], dim1) # [B,2,H,W] return x * self.sigmoid(self.conv(cat)) class CBAM(nn.Module): def __init__(self, channels, reduction16, kernel_size7): super().__init__() self.ca ChannelAttention(channels, reduction) self.sa SpatialAttention(kernel_size) def forward(self, x): x self.ca(x) x self.sa(x) return x空間分支里用 7x7 卷積而不是 3x3是因?yàn)樾枰诳臻g上聚合足夠大的鄰域信息才能判斷哪塊區(qū)域重要感受野太小容易只看到局部噪聲。但這個(gè) 7x7 卷積本身也帶來(lái)了一些計(jì)算量對(duì)分辨率高的淺層特征圖不太友好。4.3 CA 注意力坐標(biāo)信息嵌入的輕量化思路SE 和 CBAM 都有一個(gè)共同缺陷全局池化把空間信息壓成一個(gè)標(biāo)量位置信息徹底丟了。對(duì)于需要精確定位的任務(wù)比如關(guān)鍵點(diǎn)檢測(cè)、細(xì)粒度分類這個(gè)損失可能很致命。CACoordinate Attention的做法是別做全局池化改成沿 H 方向和 W 方向分別池化得到兩組帶方向的位置信息再融合起來(lái)生成注意力權(quán)重。class CoordAttention(nn.Module): def __init__(self, channels, reduction32): super().__init__() hidden max(8, channels // reduction) self.pool_h nn.AdaptiveAvgPool2d((None, 1)) # [B,C,H,1] self.pool_w nn.AdaptiveAvgPool2d((1, None)) # [B,C,1,W] self.conv1 nn.Conv2d(channels, hidden, 1, biasFalse) self.bn1 nn.BatchNorm2d(hidden) self.act nn.ReLU(inplaceTrue) self.conv_h nn.Conv2d(hidden, channels, 1, biasFalse) self.conv_w nn.Conv2d(hidden, channels, 1, biasFalse) def forward(self, x): B, C, H, W x.shape x_h self.pool_h(x) # [B,C,H,1] x_w self.pool_w(x).permute(0, 1, 3, 2) # [B,C,W,1] y torch.cat([x_h, x_w], dim2) # [B,C,HW,1] y self.act(self.bn1(self.conv1(y))) y_h, y_w torch.split(y, [H, W], dim2) y_w y_w.permute(0, 1, 3, 2) # [B,C,1,W] a_h self.conv_h(y_h).sigmoid() # [B,C,H,1] a_w self.conv_w(y_w).sigmoid() # [B,C,1,W] return x * a_h * a_w注意最后是兩次廣播相乘a_h 沿寬度方向廣播a_w 沿高度方向廣播合起來(lái)就得到了每個(gè)位置 (i, j) 的獨(dú)立權(quán)重。這樣注意力圖不再是 SE 那種一列權(quán)重而是真正有空間分辨能力的二維權(quán)重同時(shí)參數(shù)增加有限。通道保留比例 reduction32 比 SE 的 16 更激進(jìn)因?yàn)?CA 中間的特征圖長(zhǎng)度是 HW本身就不小再乘通道數(shù)容易超標(biāo)。代碼里用max(8, ...)保底。4.4 三種注意力的橫向?qū)Ρ扰c插入位置維度SECBAMCA關(guān)注維度僅通道通道空間通道空間帶方向池化方式全局平均全局平均最大沿 H/W 分別池化位置信息丟失丟失部分保留額外參數(shù)極少少少計(jì)算開(kāi)銷最低中中低典型用途分類骨干網(wǎng)檢測(cè)/分割定位敏感任務(wù)插入位置這件事比選哪個(gè)模塊更影響效果。我的經(jīng)驗(yàn)是這樣幾條。第一不要在網(wǎng)絡(luò)的第一個(gè)卷積層后面就加。淺層特征分辨率高通道數(shù)少注意力模塊的收益小但計(jì)算開(kāi)銷占比大。第二瓶頸結(jié)構(gòu)比如 ResNet 的 bottleneck里應(yīng)該加在殘差相加之前的最后一個(gè)卷積之后這樣權(quán)重作用在待相加的特征上不會(huì)繞過(guò)殘差路徑。第三detection 這類任務(wù)在 neck 部分加收益往往比 backbone 里加更明顯因?yàn)?neck 的特征圖分辨率適中語(yǔ)義也更接近任務(wù)目標(biāo)。注意如果你的 backbone 是預(yù)訓(xùn)練權(quán)重加載的加了注意力模塊之后需要重新訓(xùn)練或者至少用較小的學(xué)習(xí)率微調(diào)較長(zhǎng)時(shí)間直接凍結(jié) backbone 只訓(xùn)新模塊效果通常不好。5. 時(shí)序注意力與 Swin 窗口注意力幾個(gè)容易搞混的邊界5.1 時(shí)序注意力機(jī)制原理掩碼、位置與自回歸時(shí)序注意力機(jī)制和普通自注意力的唯一區(qū)別就是加了因果掩碼保證位置 t 只能看到 1 到 t看不到未來(lái)。這是自回歸生成的基本要求不管你是在做語(yǔ)言模型還是時(shí)序預(yù)測(cè)。掩碼的構(gòu)造很簡(jiǎn)單一個(gè)上三角矩陣未來(lái)位置填負(fù)無(wú)窮def causal_mask(L, device, dtypetorch.float32): # 上三角不含對(duì)角線為 -inf m torch.triu(torch.ones(L, L, devicedevice, dtypetorch.bool), diagonal1) mask torch.zeros(L, L, devicedevice, dtypedtype) return mask.masked_fill(m, torch.finfo(dtype).min) # 用法scores scores causal_mask(L, x.device) # 可廣播到 [B,H,L,L]這里用了torch.finfo(dtype).min而不是負(fù)無(wú)窮理由前面說(shuō)過(guò)fp16 下更穩(wěn)。掩碼是加在 softmax 之前的 logits 上不是在權(quán)重上加順序搞反了結(jié)果就完全錯(cuò)了。時(shí)序場(chǎng)景里還有一個(gè)常被忽略的細(xì)節(jié)如果做的是多變量時(shí)序預(yù)測(cè)位置編碼的選擇影響很大。正弦位置編碼對(duì)固定長(zhǎng)度的序列夠用但如果序列長(zhǎng)度變化劇烈比如傳感器采樣不均用可學(xué)習(xí)的位置嵌入配上一個(gè)長(zhǎng)度上限或者干脆用相對(duì)位置編碼效果更穩(wěn)。另外提一下效率。自回歸推理時(shí)每一步都會(huì)重新計(jì)算整個(gè)前綴的 K 和 V重復(fù)度極高。標(biāo)準(zhǔn)做法是用 KV Cache只算當(dāng)前 token 的 Q、K、V把 K、V 緩存起來(lái)拼接。正確實(shí)現(xiàn)的 KV Cache 能把生成速度提升數(shù)倍但緩存管理容易出 bug最常見(jiàn)的是忘記在生成新序列時(shí)清空緩存導(dǎo)致結(jié)果串味。5.2 Swin 的窗口注意力與移位機(jī)制Swin Transformer 解決的是視覺(jué)任務(wù)里序列太長(zhǎng)的問(wèn)題。224×224 的圖如果按 16×16 的 patch 切序列長(zhǎng)度就是 196看著還行但如果是 1024×1024 的圖序列長(zhǎng)度直接到 4096全局注意力的 O(L2) 就頂不住了。Swin 的思路是把圖像劃分成固定大小的窗口窗口內(nèi)做自注意力窗口之間不交互。這樣復(fù)雜度從 O((HW)2) 降到 O(HW·M2)M 是窗口邊長(zhǎng)一般取 7。但純窗口注意力會(huì)讓不同窗口之間完全隔離感受野受限所以 Swin 又加了 shifted window下一層把窗口劃分整體平移半個(gè)窗口大小讓原本不在同一個(gè)窗口里的 patch 有機(jī)會(huì)碰面。窗口劃分的核心代碼就幾行def window_partition(x, window_size): # x: [B, H, W, C] B, H, W, C x.shape x x.view(B, H // window_size, window_size, W // window_size, window_size, C) windows x.permute(0, 1, 3, 2, 4, 5).contiguous() windows windows.view(-1, window_size, window_size, C) return windows # [B * nW, M, M, C] def window_reverse(windows, window_size, H, W): B int(windows.shape[0] / (H * W / window_size / window_size)) x windows.view(B, H // window_size, W // window_size, window_size, window_size, -1) x x.permute(0, 1, 3, 2, 4, 5).contiguous().view(B, H, W, -1) return xshift 的實(shí)現(xiàn)用 torch.roll分別沿 H 和 W 方向滾動(dòng) -M//2算完注意力再滾回來(lái)。要注意的是 H 或 W 不是窗口大小整數(shù)倍時(shí)需要 pad算完再去掉 pad。這個(gè) pad 邏輯是 Swin 實(shí)現(xiàn)里最容易寫錯(cuò)的部分形狀對(duì)不上時(shí)優(yōu)先檢查這里。移位窗口帶來(lái)的一個(gè)副作用是滾回來(lái)的窗口里包含了來(lái)自不同區(qū)域的 patch注意力計(jì)算時(shí)跨區(qū)域的部分是無(wú)效的需要額外加一個(gè) attention mask 屏蔽掉。這個(gè) mask 的構(gòu)造在早期的開(kāi)源實(shí)現(xiàn)里出過(guò)不少 bug如果你發(fā)現(xiàn)自己的 Swin 訓(xùn)出來(lái)比預(yù)期差可以先用簡(jiǎn)單的窗口注意力不做 shift跑一遍作為 baseline差距太大就說(shuō)明 mask 有問(wèn)題。5.3 PyTorch 與 TensorFlow 落地時(shí)的差異兩個(gè)框架的多頭注意力接口差異比想象中大。PyTorch 從 2.0 開(kāi)始提供了torch.nn.functional.scaled_dot_product_attention參數(shù)順序是 (query, key, value, attn_mask, dropout_p, is_causal)會(huì)自動(dòng)選后端實(shí)現(xiàn)。用is_causalTrue直接開(kāi)因果掩碼比手寫 mask 又快又省事。但要注意它默認(rèn)不開(kāi) dropout 的 RNG 對(duì)齊訓(xùn)練時(shí)如果你想精確復(fù)現(xiàn)得傳dropout_p并把模型設(shè)成 train 模式。另一條路是用nn.MultiheadAttention它的輸入默認(rèn)是 [L, B, D]和你手寫的 [B, L, D] 正好反過(guò)來(lái)batch_firstTrue參數(shù)可以切換。這個(gè)坑我踩過(guò)不止一次形狀沒(méi)報(bào)錯(cuò)但結(jié)果完全不對(duì)因?yàn)?[L, B, D] 和 [B, L, D] 在 L 和 B 數(shù)值接近時(shí)不會(huì)觸發(fā)維度檢查。TensorFlow/Keras 的tf.keras.layers.MultiHeadAttention接口更高層它內(nèi)部處理了拆頭、縮放、拼頭還支持use_causal_mask參數(shù)。好處是不容易寫錯(cuò)壞處是魔改困難比如你想換成自己設(shè)計(jì)的稀疏注意力模式就得從tf.keras.layers.Layer重寫??缈蚣苓w移時(shí)最需要注意的是權(quán)重排布。PyTorch 的 Linear 權(quán)重形狀是 [out_features, in_features]TensorFlow 的 Dense 是 [in_features, out_features]轉(zhuǎn)的時(shí)候要轉(zhuǎn)置。多頭 QKV 合并層的排布在兩個(gè)框架里也不同最好寫一個(gè)小腳本用同一組隨機(jī)輸入對(duì)比兩邊輸出逐層對(duì)齊比憑記憶猜靠譜得多。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 訓(xùn)練不收斂、梯度異常、注意力圖全灰這類問(wèn)題我按癥狀整理一下排查路徑。癥狀一loss 從第一步就卡住不動(dòng)梯度范數(shù)極小。八成是縮放因子漏了或者 softmax 的輸入被掩碼打成了全負(fù)無(wú)窮。打印一下 scores 的標(biāo)準(zhǔn)差如果超過(guò) 10 就基本確認(rèn)了。癥狀二loss 是 NaN。按順序查三處一是掩碼后的全掩碼行二是 fp16 下的負(fù)無(wú)窮溢出三是學(xué)習(xí)率過(guò)大。最快的定位方式是在 forward 里加torch.autograd.set_detect_anomaly(True)雖然慢但能直接告訴你哪個(gè)算子出的 NaN。癥狀三注意力圖幾乎全灰也就是每行權(quán)重接近均勻分布。這說(shuō)明模型沒(méi)學(xué)到任何有區(qū)分度的關(guān)注模式可能原因是縮放過(guò)度分母寫成了 d_k 而不是 √d_k或者溫度參數(shù)設(shè)得太高。偶爾也見(jiàn)到把 softmax 的 dim 寫錯(cuò)沿著 L 維以外的維度歸一化那就完全亂套了。癥狀四訓(xùn)練集 loss 正常下降驗(yàn)證集差距很大。注意力模塊對(duì)小數(shù)據(jù)集特別容易過(guò)擬合尤其是加了 CBAM 這類參數(shù)模塊之后。這時(shí)候先減 reduction 比例或者直接在淺層不加注意力。6.2 顯存與速度優(yōu)化的實(shí)操清單這一塊我做了一輪系統(tǒng)的對(duì)比結(jié)論整理成清單更直觀。優(yōu)先用scaled_dot_product_attention替換手寫實(shí)現(xiàn)L≥512 時(shí)顯存通常能降 30% 到 50%速度提升 1.5 到 3 倍。反向傳播不需要的中間注意力圖用torch.no_grad()包起來(lái)尤其是做可視化的部分很多人忘了它也會(huì)占顯存。頭數(shù)不要為了看起來(lái)更強(qiáng)往上堆注意力矩陣的顯存和 H 成正比。推理階段一定上 KV Cache自回歸生成能省掉大量重復(fù)計(jì)算。如果只做推理把模型轉(zhuǎn)成 fp16 甚至 int8注意力部分的收益比全連接層更明顯因?yàn)樗窃L存密集型算子。長(zhǎng)序列場(chǎng)景考慮分塊計(jì)算注意力比如按 1024 一塊塊間用近似交互犧牲一點(diǎn)精度換大幅顯存下降。6.3 問(wèn)題速查表現(xiàn)象最可能原因快速驗(yàn)證方法處理方式loss 立刻卡住漏了 √d_k 縮放打印 scores.std()加縮放或調(diào)溫度loss 為 NaN全掩碼行 softmax檢查 mask 是否有整行為 Truenan_to_num 或改掩碼值訓(xùn)練正常推理不對(duì)忘了 eval() 或沒(méi)清 KV Cache關(guān)掉 dropout 再測(cè)模型切 eval重置緩存顯存突然翻倍頭數(shù)增加或 L 變長(zhǎng)打印注意力矩陣形狀換融合實(shí)現(xiàn)或分塊加了注意力反而掉點(diǎn)插入位置不當(dāng)或過(guò)擬合對(duì)比不加注意力的 baseline換位置、減 reduction多頭結(jié)果和單頭一樣reshape 順序?qū)戝e(cuò)檢查拆頭后 Dh 的連續(xù)性用 [B,L,H,Dh] 再 transpose不同框架結(jié)果對(duì)不上權(quán)重排布或輸入布局差異同輸入逐層對(duì)齊輸出轉(zhuǎn)置權(quán)重、統(tǒng)一 batch_first實(shí)操心得手寫注意力最大的價(jià)值是調(diào)試友好。我在排查問(wèn)題時(shí)習(xí)慣保留一個(gè)慢速參考實(shí)現(xiàn)用 fp32、循環(huán)寫法跑一小批數(shù)據(jù)。當(dāng)融合算子或者 fp16 版本表現(xiàn)異常時(shí)拿參考實(shí)現(xiàn)的輸出對(duì)比通常五分鐘就能定位是數(shù)值精度問(wèn)題還是邏輯 bug。7. 我個(gè)人在項(xiàng)目里踩出來(lái)的幾條經(jīng)驗(yàn)注意力機(jī)制的代碼看著短但每一個(gè)維度、每一個(gè)掩碼、每一個(gè)縮放系數(shù)都對(duì)應(yīng)著具體的數(shù)學(xué)含義改動(dòng)任何一處都要想清楚它在數(shù)值上會(huì)發(fā)生什么。我最初寫多頭注意力的時(shí)候拆頭順序?qū)懛戳四P驼諛幽苡?xùn)loss 曲線也降只是最終精度比參考實(shí)現(xiàn)低了兩個(gè)點(diǎn)這種沉默的 bug最費(fèi)時(shí)間。另外一條經(jīng)驗(yàn)是別一上來(lái)就追求最花哨的變體。SE 和 CBAM 這種幾行代碼的模塊在大多數(shù)視覺(jué)任務(wù)上已經(jīng)能帶來(lái)穩(wěn)定收益CA 和 Swin 這類復(fù)雜結(jié)構(gòu)需要配套的訓(xùn)練策略和足夠的數(shù)據(jù)量才能發(fā)揮出來(lái)。先在簡(jiǎn)單模塊上把插入位置、reduction 比例這些超參調(diào)明白再上復(fù)雜結(jié)構(gòu)性價(jià)比高得多。最后分享一個(gè)我常用的自檢手法寫完全力注意力相關(guān)的新模塊后先跑三個(gè)測(cè)試——形狀測(cè)試輸入輸出維度一致、權(quán)重測(cè)試注意力權(quán)重每行和為 1、梯度測(cè)試反向傳播后參數(shù)有梯度且不是 NaN。這三條過(guò)了再去跑真實(shí)數(shù)據(jù)。比直接上訓(xùn)練快了不知道多少倍也省了不少顯卡時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91Chinese在线| 丁香婷婷社区| 天天日日人| 天天日天天插| 丁香五月激情图片| 国产精品电影网| 影音先锋一区二区三区| 色青青视频| 亚洲丁香五冃97色| 久久98热re| 国产成人av在线| 久久人妻精品| 色色色色色网站| 97在线/日本| www.五月天色色.com| 久久久97| 九月丁香八月婷婷加勒比| 色停停五月天| 伊人久久婷| 丁香六月五月天| 久久五月婷综合网| 亚洲天堂无码| 日本色超碰| 久热69| 操国产人妻| 婷婷丁香无码专区| 国外亚洲成AV人片在线观看| 丁香蜜臀黄色婷婷五月天| 婷婷色天香| 免费成人网在线观看| 五月丁香| 五月丁香六月色| 五月天色丁香| 五月婷婷真爱激情网| 五月丁香激情片| 超碰人人摸AV| 丁香五月天AV在线 | 大香蕉狠狠爱主页| 99热免费18| 五月丁香操婷逼| 日韩激情人伦人| 97人人操在线| 综合大香蕉| 久久色吧| 99re青青草| 99综合色色色| www.婷婷五月.com| 91av视频| ady狠狠入| 99视频在线观看地址| 偷拍五月丁香| 八戒青柠影视剧在线观看| 99热在线精品观看| 97色色网| 少妇水多A片太爽了| 色播综合| 男男野外做爰全过程69| 亚洲情综合五月天| 婷婷五月综合中文字幕| 丁香五月天日韩无码| 亚洲电影在线观看| 婷婷五月丁香综合瑟瑟| www.婷婷,com| 国产一级片| 成人在线精品| 伦乱美欧| 色噜综| 婷婷综合激情五月综合| 超碰人妻在线| 人人操9| 日韩aaaaa| 在线五月色播| 丁香六月婷婷综合| 日韩国产在线免费观看| 教师性爱毛片| 欧洲第一无人区观看| 99啪99| 99色热视频| 色五月婷婷色| 91婷色| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月天色丁香| 久99在线视频| 亚洲操B| 亚洲婷婷婷| 大香蕉啪啪啪| 亚洲综合1024| 日本婷婷在线| 色婷婷四色| 日本精品人妻无码77777| 99自拍视频网站| 999热在线视频| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 激情久久网| 夜夜嗨一区二区三区直播内容 | 欧美日韩精品人妻狠狠躁免费视频| 五月丁香色色网| 色丁香五月婷婷| 丁香五月婷婷在线| 毛片蕉地一二| 六月婷婷私欲| 五月天激情小说| 国产精产国品一二三在观看| 天天操天天曰天天射| 99热日韩| 国产婷婷五月色情综合| h在线看免费版在线看| 久久一级AV| 欧美成综合在线观看| 久久久久久久8| 婷婷色中文字幕| 提提热五月天婷婷| 久久九九网| 色综合色| 色私五月婷婷| 色婷婷大香蕉| 中文av网| 停停五月色宗合| 九九在线这里只有精品视频| 日本操逼九九九九58日本操逼| 久久午夜理论| 久久婷婷亚洲五月天| 国产色色网址网站| 丁香月五月天婷婷久久| 亚洲丁香五月天在线视频| 久久九九网| 婷婷色吧| 久久在这里99| 久久久人妻人伦| 青青草色在线视频观看| 另类A片| 97人妻碰碰碰久久香蕉| 六月婷欧美| 一区二区三区XXXXXX| 国产原创视频91九色| 婷婷亚洲在线| 伊人久久大香线蕉亚洲五月天,| 亚洲岛国电影| 五月婷婷黄色毛片| 欧美日本黄色| 久久久99久久| 久久只有这里精品免费| 日本www五月婷婷| 久月丁香爱婷婷综合| 五月婷婷激情四季| 能看的AV网站| 裸体美女丁香五月天。| 六月丁香婷婷综合狠狠爱夜夜爱| 丁香婷婷五月综合色情| 97精品综合久久| www.99色| 超碰人人插| 97色综合| 亚洲免费av在线| 手机旧版看人妻1025| 激情五月色综合网| 色婷婷香蕉| 亚洲噜色| 99成人| 婷婷欧美综合| 日本99在线| 超碰成人在线观看| 中文字幕成人| 99精品热视频只有精品10| 色婷婷五月天小说| 五月丁香婷婷老司机| 秋霞三级色戒| 亚洲第一色色色色| 成人无码精品1区2区3区免费看| 色婷| 日本色色色| 欧美操人| AⅤ网站在线看| 美女婷婷六月色| site:pnnrt.com| 久久久99视频| 国产 码在线成人网站| 六月五月丁香五月欧美| 一级黄在线| 婷婷五月色网| 欧美人人女女精品综合五月天| 这里精品| 99热主页日本| 操操操97| 成年人最刺激的综合网| 久久99这里只有精品| 99在线观看| 大香网伊人久久综合| 婷婷色导航| 九九九精品视频免费观看| 丁香五月天啪啪| 99这里只有免费的精品| 婷婷日日夜夜| 91久久综合亚洲鲁鲁五月天| www.色婷婷| 五月丁香婷婷激情在线| 五月婷婷久久久久| 精品一二三区久久AAA片| 久久五月丁香综合17C| 婷婷色色亚洲| 成人片在线播放| 99在线观看视频免费| 九九99九九99偷拍视频免费看| 日本熟妇精品99| 人妻视频一区而且二区| 五月综合色| 九九九九毛片| 六月激情综合| 五月婷视频| 色五月丁香A欧美com | 视频色色色色色色| 久久这里都是精品| 中文色婷婷| 九九色精品| 久久婷婷五月综合网| 激情五月婷| 色五月激情五月丁香五月婷婷啪啪综合| 97色色色色色| 五月天丁香| 六月婷婷天堂| 五月丁香婷婷无码A∨| 亚美欧色影院| 久久久婷| 中文字幕,综合,91| 九月婷婷综合八月丁香在线观看| 五月天播播中文字幕| 91超碰人人操| 综合色网站| 五月婷婷综合网在线播放| 激情五月色播五月| 国产精产国品一二三在观看| 玖玖色综合网| 天天插插天天| 久久人妻熟女一区二区| 亚洲九区| 激情网婷婷五月天| 色婷婷丁香五月天在线观看| 精品国产一区二区三区四区阿崩 | 碰碰操91| 婷婷五月天熟妇| 九九色色网| 射婷婷中文字幕| 99热碰碰热| 337午夜福利| 99热最新| 狼友超碰| 99热亚洲精品| 99热国品| 影音先锋xfplay资源男人网| 99在线免费视频| 五月丁香婷婷五月色| 色婷婷操逼| 精品无码99| 婷婷五月婷婷| 亚洲五月天婷婷| 思思精品热在线| 色婷婷影视| www.com亚洲网站在线免费| ss99热| 久久丁香五月天| 成人一区在线观看| 婷婷精品性性性性性性性| 色色色网站| 另类激情四射| 五月丁香啪啪| 97成人视频| 婷婷5月天av| 五月婷婷色影院| www.91AV.COM| 日夜夜久久| 亚洲经典三级| 日本人妻丁香婷婷久久寝取熟女五月| 狠狠色色| 黄色精品五月婷婷| 天天舔天天爽| www.99久久久久99| 五月婷婷天| 婷婷色色综合| 亚洲人人96@| 欧美色图天堂网| www久久久久| 婷婷五月天偷拍| 免费视频WWW在线观看网站| 九九热黄色| 无码色| 色情婷婷久久五月天| 五月丁香六月婷婷亚洲激情综合| 99爱爱| 96精品久久久久久久久| 日韩成人AV在线播放| 91AV视频| 狠狠色综合网| 超色欲天天| 五月婷婷综合久久| 丁香五月婷婷久久久| 深爱五月亚洲| 97大香蕉五月天| 丁香六月 人妻| 婷婷丁香五月综合| 色婷婷丁香五月天在线视频| 亚洲亚洲人成综合网络| 激情婷婷丁香五月| 久久99热网| 成人色五月天| 五月天丁香婷婷网| 人人操人人爱丁香五月| 天天久久九九| xx人人xx| 六月撸婷婷| 色色亚洲| 在线成人网址| 久色视频| 天天爱天天做天天舔| 亚洲激情综合| 99这里只有精品在线| 99ER热精品视频| 狠狠色丁香婷婷基地| 国外亚洲成AV人片在线观看| 久热这里精品免费| 九九精品免费视频99| 狠狠色噜噜狠狠狠888了| 成人.在线日韩| 天天操天天谢| 婷婷97色| 婷婷伊人网| 婷婷久久图片| 六月丁香综合| 综合激情五月四射婷婷| 99色视频| 九九热在线观看视频网站| 婷婷在线网| 亚洲热久| 成人永久免费视频在线观看| 亚洲色久| 亚洲亚洲人成综合网络| 激情综合网激情五月丁香| 蒲京久久无码视频| 狠狠操天天干| 另类专区在线观看| 丁香网站| 深爱激情六月| 激情五月,激情综合网| 日韩操逼大片| 激情网五夜婷婷| 色墦五月丁香| 婷婷综合网站| 99精品国产在热久久婷婷| 超碰免费大香蕉| www.久久| AV成人在线网站| 色婷婷丁香香香蕉视频| 久久婷婷人人| 激情99| 成人羞羞啪啪 全 视频| 91夫妻网站九色| 九热视频| 成人电影一区| 五月婷婷很很色| 婷婷五月天开心网| 九九碰九九爱97超碰| 图片区 小说区 区 亚洲五月| 婷婷精品在线| 五月婷久久久| 我爱大香蕉| 激情五月天色婷婷综合| 婷婷成人AV| 婷婷色五月天在线| 婷婷伊人久久综合| 伊人网碰碰| 日本一级一级一级一级| 天天五月天综合网址| 五月婷婷色影院| 日日日日日| 婷婷五月天激情基地| 日韩在线99| 五月婷婷六月色| 综合五月激情| 激情丁香社区| 狠狠操狠狠色| 色碰碰视频| 六月激情婷婷综合| 玖玖婷婷精品| 日本欧美成人片AAAA| 天天干天干| 激情五月婷婷综合| 碰久久精品w| 99久久久免费| 播五月丁香六月| 97碰| 日韩人妻在线播放| 丁香婷婷色五月激情综合| 九九热视频免费的| 午夜色婷婷| 九九爱激情| 大香蕉婷婷色| 激情性五月天免费小说视频| 久久婷婷视频| 97久久超视频| 无码人妻AV久久久一区二区三区 | 精品无码久久久久久久久| 另类视频五月天| 久久五月丁香伊人青草| 亚洲午夜一区二区| 大色鬼综合| 婷婷色五月激情强奸四射| 日韩欧美四五区| 97性视频| 香蕉99网| 欧美日韩中文国产一区发布| 中文字幕视频在线播放| 色欲久久久久| 桃色激情婷婷伊人网| 五月丁香色婷婷久久| 91打屁股免费看| 午夜成人AV在线| 激情五月天婷婷视频| 成人AV在线网站| 激情五月黄色| 色综合色色| 色J香五月天| av 一区三区四区| 色月丁| WWW.桔色成人.COM| 亚洲AV成人精品日韩在线播放| 色婷婷视频综合| 如何安全看伊人婷婷| 丁香花婷婷五月天| 久久免费少妇高潮99精品| 99操| 一级二级色大片| 青青草六月丁香| 99操99| 香蕉伊人综合| 五月婷婷综合色啪首页| 日韩综合成人| 久久久久久久人妻| 99九九热在线观看| 五月婷婷五月色| 第一区久久网站| 天天做天天爱天天日| 欧美日韩五月婷婷| 97色综合| 五婷婷综合网| 欧美成人猛片AAAAAAA| 亚洲精品午夜国产va久久成人| 天天操婷婷| 五月天婷a| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸| 大香蕉九九操| 99在线爽| 热99.com婷婷| 色色色色色色综合网| 在线只有精品| 99久久6| 99在线热视频| 99久视频| 婷婷五月在线播放| 日日爽日日爽| 婷婷五月天激情综合深爱激情| 色五月av伊人| 国产成人AV人人爽人人澡Va| 久热这里只有精品性色AV| 91久久五月天| 日韩色色一区| 亚洲精品成人片在线播| 天天射色五月天| 在线观看视频1区| 99精品偷自拍| 中日韩美欧成人一区二区精品在线| www久久99| 婷婷激情六月| 激情婷婷五月| 色综合99| 色情五月综合婷婷| 九九Av| 超碰人人色| 激情婷婷| 久久精彩视频| 亚洲爆乳无码精品AAA片蜜桃| 九九在线精品| AV大香蕉| 亚洲乱码日产精品BD| 天天干一干| 99色在线| 亚洲电影在线观看| 播丁香五月婷婷欧美| 精品一二三区久久AAA片| 国产精品99久久久久久久女警| 婷婷综合久久| 97精品人人A片免费看| 少妇性BBB搡BBB爽爽爽电影| 色伊人91在线视频| 99色色网| 色婷婷五月天在线观看| 九九精品热播| 日本综合色色| 亚洲无码99| 久久久久9999| 亚洲视频一区| av在线免费播放观看| 丁香五月色激情| www.久操| 丁香 久久| 婷婷99视频精品| www.91操| Se.婷婷五月天| 99在线观看视频蜜臀| www.伊人天堂偷偷婷婷| 色五月亚洲开心网| 综合婷婷五月天| 中文字幕AV网址| 天天草天天爽| 九九色99| 五月婷视频| 国产伦亲子伦亲子视频观看| 五月色情婷婷| 九九亚洲综合| 伍月婷婷免费视频| 精品怡红九九九| 99久久玖玖| 婷婷成人AV| 婷婷激情五月| AA片在线观看视频在线播放 | 日本三级大片| 97日本在线播放| 激情性爱网站| 色色五月天激情| 色婷婷在线视频久| 人人爱人人添| 色色激情网| 五月婷婷AV| 婷婷五月天小说| 天天插操| 91碰超| 人妻爽爽爽久久久久久久久| www.夜夜騎夜夜狠| 免费看欧美成人A片无码| 久久五月婷| 国产精自产拍久久久久久蜜| 1024成人免费看| 日韩综合久| 看婷婷五月天网| 五月婷婷导航| 人人爽天天莫| 天天影视色综合网| 久久久久网站| 欧美电影在线观看| 97碰碰电影| 丁香五月天无码AV| 五月开心深深爱激情综合| 91视频五月丁香| AA丁香综合激情| 97操在线| 99天堂网| 久久激情五月网| 色六月婷婷| 超碰v| 91丨九色熟女丨首页| 五月色综合网欧美网| 色五月成人网| 色情综合| 日本在线观看aaa 99| 久激情网| 婷婷五亚洲| 久九色| 婷婷丁香九色| 亚洲激情av| 青草激情在线| 色情五月婷婷| 午夜激情久久| 激情99热| 亚洲欧洲午夜成人精品av| 99精品成人无码A片观看金桔| 一级黄色操B| 婷婷欧美激情综合| 五月丁香综合激情| 国产XXXX搡XXXXX搡麻豆| av激情在线| 婷婷丁香五另类网站| 国产亚洲精品久久一区二区三区| 狠狠精品干练久久久无码中文字幕| 亚洲人人操| 五月丁香999| 人妻视频在线| 91碰免费视频| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 色黑鬼导航| 玖玖五月丁香| 碰碰人人人| 亚洲丁香花色| 六月份天丁香婷婷| 婷婷五月色播天| 色色激情五月天| 婷婷色五月天在线观看| 国产AV一区二区三区最新精品| 婷婷五月天AV在| 99亚洲欧洲| 中文字幕永久在线| 99热资源在线| 亚洲激情精品| 最近中文字幕在线中文视频| 最新色色五月天| 极品五月天| 久/久精品99看9| 91久久综合亚洲噜噜成人在线| 五月丁香婷婷啪啪综合网| 99re思思久久| 中文字幕综合| 激情五月婷婷六月丁香| 最近免费中文字幕大全高清大全1 色狠狠色噜噜AV天堂五区 | 狠狠婷婷色| 色色色色热热| 九九九热精品| 97五月婷婷| 五月激情网综合| 色婷婷五月天| 天天插天天狠| 婷婷五月天影院| 婷婷久久在线| 五月丁香龟婷婷| 欧美三级巜人妻互换| 96精品久久久久久久久| 国产激情婷婷| 人人综合色| 五月天婷婷开心| 五月婷婷六月丁香在线| 人人97碰| 99综合自拍| 天天网曰日曰夜夜综合永久免费| 欧美性爱中文字幕| 婷婷日日夜夜| 伊人大香蕉爱聚| 婷婷激情六月中文| 极品少妇高潮啪啪AV无码| 久久久18| 在线看片av| 七七色色综合| 五月天婷婷在线视频| 五月婷婷先锋| 丁香六月无码| 中文AV网站| 九九亚洲小视频| 国产精产国品一二三在观看| 天天婷婷综合| 色五月av| 婷婷五月天中文字幕.| 免费黄色视频网址| 精品激情| 婷婷激情四射| 婷婷丁香六月| 99久久6| 成人 在线 日韩| 丁香九月婷婷综合| 99在线精品视频| 天堂中文国产| 琪琪色五月天| 日韩九区| 五月婷婷大香蕉| 日本五月婷| 久久视网36| 五月婷婷成人| www.激情五月天.com| 四川操逼站| 99无码超碰| 五月情四婷婷| 欧美激情综合五月色丁香| 另类婷婷五月天啪帕帕| 亚洲色 视频| 亚洲欧美成人在线观看| 婷婷开心六月| 久久五月天影院| 丁香五月综合网亚洲综合欧美狠狠 | 99久热这里只有精品| 1024你懂的欧美曰韩| 婷婷香五月天| av无码电影| 久99久精品| 九九九热精品| 亚洲精品亚洲人成人网| 丁香五月天在线直播观看| 午夜成人片400| 激情激情激情网| 色婷婷狠狠久久综合五月| 五月婷婷在线综合| 人人操人人干AV| 天堂网啪啪| 91精品国产91久久久久青草| 色色亚洲| AV国产有码| 人人97操| www.91九色| 免费观看全黄做爰的视频 | 天天爱天天做天天日| 九九色精品| 激情www.98com| 伊人大香蕉毛片| 色婷婷小说网| 九九人人操| 99国产精品白浆在线观看免费| 色婷婷欧美在线| 丁香五月天大香蕉啪啪| 色婷婷五月天偷拍| 色色色在线观看| 婷婷丁香五月亚洲| 婷婷中文字幕版| 超碰人人妻| 天天做天天爽| 六月99天天婷婷激情综合| 亚洲国产精品VA在线看黑人| 五月天婷婷永久免费视频| 9一精品视频观看| 香蕉国产2013| site:hcxsz888.com| 亚洲视频一区| 综合网视频| 久99视频在线观看| 天堂无码人妻精品AV一区| 色五月婷婷内射| 2013AV天堂| 五月婷婷之综合激情| 激情婷婷狠狠干| 综合久久六月| 99爱视频在线观看这里只有精品| www.五月天。com| 热久69| 五月丁香成人网| 99aese| 久久婷综合网| 婷婷综合视频| 狠狠操狠狠操AV| WWW,色五月| 国内9l视频自拍老熟女九色| 婷婷性爱网| 天天激情夜夜干| 日韩情色在线观看| 激情五月丁香五月| 丁香色综合| 久草性爱| 99综合五月免费视频色婷婷| 国产成人在线精品| 五月色丁香国产在线视频| 婷婷久久伊人| 无码激情AAAAA片-区区| 婷婷综合五月| 亚洲日韩26uuu| 任你擦免费视频| 黄桃AV无码免费一区二区三区 | 五月激情综合五月| 人妻激情视频| 欧美人人草| 五月婷婷色色| 色婷婷成人久久| 99热精品在线| 色久综合| 开心激情久久久久久久| 1024国产| 五月天婷婷色综合| 亚洲综合色网| 丁香婷婷激情五月天无毒不卡蜜桃| 久久久色婷婷五月天| 九九热在线视频观看免费10| 99热这里都是精品| 久久综合影院 | 日韩三及成人AV片| 婷婷五月天AV| 99久久www| 成人丁香婷婷五月天| 亚洲色婷婷| 五月婷婷国产| 亚洲色图欧美色图日本视频| 欧美综合五月丁香六月婷| 久久深爱激情网| 九九激情网| 一级性感毛片| 日韩黄色影院| 99热成人| 五月丁香亭亭操逼| 天天激情| wuyuedingxiang99| 久久加勒比| 秋霞av吧| 激情五月丁香五月| 亚洲操逼片| 婷婷五月av| 99这里只有精品在线| 婷婷综合久久| 人人操人人干AV| 操逼综合激情网| 国产精品久久久久久妇女6080| 欧洲亚洲免费视频9| 99热8| 五月婷婷六月基地| 99精品在| wwW天天干| 婷婷五月天国产精品| 射区导航| 九九九九九九九九九九九九九国产精品| 人妻内射一区二区在线视频| 99综合视频| 久久视频婷婷| 99热免费在线| 丁香五月天天高清在线| 天天操天天操天天操| 人人草成人视频| 五月丁香久人妻中文| 94干大香蕉| 婷婷九月丁香中文| 亚洲综合网在线| 天天综合精品| 免费黄色视频网址| 久久婷五月| 婷婷久久五月丁香| 激情中文在线| 五月天色五月| 色色色色网| 亚洲色激情| 亚洲无码成人性爰网| 亚洲激情免费久久| 色色色色丁香| 国产成人精品一区二三区熟女在线| 天天干天天操天天拍| 婷婷的99视频网站| 婷婷五月天基地| 26uuu精品一区二区| 婷婷综合色播网| 就爱射中文字幕资源网| 91dy.av| 婷婷丁香五另类网站| 桃色伊人在线| 成人婷婷深爱综合网| 第六色在线| 亚洲日韩26uuu| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 六月婷婷无码观看| 亚洲 激情 中文| 开心五月丁香综合久久| 6月丁香婷婷激情| 亚州视频九九99| 欧美视频在线观看噜噜| 五月丁香六月婷婷亚洲| 激情五月天激情综合网| 丁香五月亚洲| 色综合久久五月天| 色婷婷精品视频| 99热青青草| 另类激情综合| 丁香婷婷六月| 婷婷中文字幕| 婷婷丁香五月天综合在线日韩| 婷婷碰碰| 亚洲视频码| 4399欧美另类视频| 婷婷九月狠狠色| 久久精品婷婷| 激情五月深爱五月观看| 婷婷五月天日逼| 天天开心AV色综合婷婷五月天| 天天干、天天日日| 丁香婷婷婷五月| 日韩综合久| 久久草大香蕉| 久久婷婷影院| 婷婷影院A成人| 五月色亭丁香| 久久久jd| 亚洲天堂99| 狠狠五月丁香色婷| 日韩久久这里只有精品| 泰州成人视频| 亚洲天堂热| 久久九九网| 丁香五月天大香蕉啪啪| 91超级碰人人操| 欧美精品啪啪| 久久久妻人人人| 婷婷五月天性| 思思精品视频| 亚洲激情四射| 久草热8精品视频在线观看| 丁香五月婷婷老师网站| aaa久久| 色,激情五月天| 天天干夜夜欢| 天天日天天摸| 天天玩夜夜操| 五月综合视频| 久久曰曰| 五月天丁香色色| 永久热91| 99re思思| 中文字幕色色色| 成人版视频在线观看| av大香蕉| 丁香色色五月| 91狠狠色| 五月丁香综合啪啪対白| 99热综合| www.夜夜| 激情丁香五月| 天天色天天搡| 天天影视色综合网| 九色91国产| 极品少妇XXXX精品少妇偷拍| 97操在线资源| 亚洲九九夜夜| 天天色天天色天天色天天色天天色| 久久与婷婷| JAPANRCEP老熟妇乱子伦视频| 综合九九日本| 任你艹| 婷婷5月九九| 在线成人网址| 在线看片h站| 色欲九区| 深爱激情网婷婷| 中文成人在线| 人人爱操| 婷婷欧美激情| 丁香亭亭久久| 久久婷婷五月天蜜桃| 色五月丁香五月| 亚洲婷婷综合视频| 丁香婷婷五月天网站| 天天摸色吧天天摸色吧| 夜夜撸日日操| 五月五月婷婷| 五月婷婷中字在线| 国产精品色| 国产精品久久欧美久久一区| 九九综舍久久| 色综合五月婷婷狠狠干| 超碰九九热| av网站免费在线| 99久久婷婷国产综合精品草原| 天天橾夜夜爽| 99视频在线精品| 5五月综合网亚洲| 狠狠做五月婷婷| 五月婷婷激情| 五月激情丁香啪啪| 婷婷中文在线| 激情婷婷五月社区| 狠狠操天天干| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 99热精品网| 影音先锋 91工厂| 婷婷五月丁香综合激情| 久久99久久99久久99| 大香线蕉伊人| 亚洲色情网站| 亚洲日韩乱码一区二区三区四区| 六月丁香婷婷色狠狠久久| 97在线/日本| 色色色视频| 五月天婷婷免费| 婷婷五月欧美AA片免费| 欧美在线骚货| 中文字幕在线日亚洲9| 99re8热精品免费视频| 丁香婷婷五月天色综合| 超碰爱爱爱| 国产99久| 天天做天天双| 五月天开心色情网| 蜜桃婷婷狠狠久久综合| 婷婷五月久久| 色五月婷婷网| 玖玖爱资源站| 五月中旬婷婷丁香六| 激情AV| 中文无码婷婷| 99热这里全都是精品| 91a片爽| 久久婷婷五月综合激情国产| 色色婷婷五月| 日本在线99| 天天做天天爱天天玩夜夜爽| 极品人妻VIDEOSSS人妻| 婷婷激情肏屄网| 亚洲婷婷基地| 9久久网| 婷婷五月天第四色| 国产精品A成V人在线播放| 亚洲色涩视频| 丁香五月影视| 黑人熟妇一区二区三区| 五月深爱激情网| 国产成人综合电影| 国产六月婷婷| 亚洲国产99| 丁香六月啪| 国产婷婷综合在线免费视频| 超碰无码老师| 久久亚洲婷婷| 亚洲V国产V欧美V久久久久久| 香蕉婷婷色五月| www.夜夜操.com| 超碰99久久| 免费黄色AV| 大香蕉伊在| 天天狠狠夜夜狠狠2023| 婷婷五月天丁香久久| 九九热这里只有精品一| 中文字幕日本最新乱码视频 | 欧洲亚洲免费视频9| 国产免费一区二区三区三州老师F1F1.CC | 丁香婷婷五月份| 极品人妻videosss人妻| 亚洲第一综合| av在线超清中文| 五月婷婷基地| 区区久久妻| 99这里只有精品视频| 67194国产| 亚洲AV成人精品日韩在线播放| 精品久久久999| 99色综合| 手机旧版看人妻1025| 亚洲啪啪网| 婷婷色五月大香蕉在线观看| 丁香婷婷五月综合| wWW九九在线播放| 婷婷五月丁香五月综合网| 亚洲AVwwwwwww| www.ppypp| 99热伊人综合| 91成人性爱视频| 人妻六月天| 激情五月色播五月| 黄色五月婷| 婷婷激情图片| 狠狠爱婷婷丁香| 人妻九九九九| 伊人婷婷大香蕉| 伊人久久婷婷| 九九热精品| 丁香婷婷五月| 成人精品一区二区三区四区五区| 女人天堂AV| 久久色五月| 夜夜爽77777妓女免费下载| 天天操天天操综合| 无码91中文字幕| 色婷婷丁香五月综合| 五月色情精品| 夜夜撸天天操| 视频一二区| 丁香六月啪啪啪| 久久人人九九| 99综合| 丁香婷婷免费| 九月婷婷在线视频| 日本熟女内射| 九月丁香欧美综合| 成人欧美日韩| 久久伊人五月天| 久青草影院| 天天cha成人综合网| 999热视频精品99免费在线| 色五月天综合网| www.婷婷亚洲基地| 婷婷激情六月| 五月天性色| 91在线观看www| 播五月开心婷婷欧美综合| 久久久网站| 国产亚洲成AV人片在线观黄桃| 99在线视频在线观看| 九月婷婷综合在线| 亚洲旡码| 丁香婷婷精品视频| 影音先锋美国A| 99乱视频| 九月婷婷色色| 九九热在线精品视频| 俺五月| 操B无码视频国语| 伊人五月综合网| 色噜噜狠狠色综合成人99| 婷婷五月色| 人妻精品久久久久久| 91久久国产综合久久| 丁香六月婷婷综合| 99精品视频在线6| 2050人人操免费工开爱 | 激情亚洲网| 丁香花五月天激情| 五月丁香综合啪啪| 这里只有九九精品| 久久九九99桃花视频| 色婷婷综合网| 激情五月综亚网| 99久热精品在线| 久久人妻精品| 婷婷色Av| 日韩在线9| 人妻丰满精品一区二区A片| 天天摸色吧天天摸色吧| 日韩性视频| 色五月婷婷7777| 99精品在线| 99re在线观看视频| 97在线/日本| 色婷婷影视| 九九热这里只有国产精品| 六月丁香中文字幕| 大香蕉AV在线| 五月天婷婷在线播放免费| 综合网色| av一级棒av| 久久性爱视频| 五月丁香拍拍激情综合| 激情av网| 久久免费精彩视频| 婷婷欧美激情| 国产日比| 亚洲 成人 电影av在线观看| 97AV在线视频| 色色婷婷综合网| 天天摸天天肏| 五月丁香啪啪| 五月在线| 五月丁香婷色| 强伦轩人妻一区二区电影| 欧美日韩欧美| 亚洲婷婷欧美婷婷| 五月丁香啪啪拍| 五月天久草| 婷婷91| 天天做天天爽| 天天久久综合| 五月丁香久| 色婷婷在线视频观看| 性爱视频久久| 狠狠色噜噜色狠狠狠综合久久成人波 | 日韩黄色电影| 成人αV视频免费观看| 日韩精品一区二区亚洲AV观看| 国产va在线视频| 日本啪啪网| 丁香五月天久久| 狠狠爱婷婷爱| 日本成人噜噜| 99久久婷婷国产综合精品青桔| 五月婷性爱| 桃色五月天| 六月丁丁香| 五月婷婷在线网站| 色吧五月婷婷| 中文字幕av网站| 久操婷婷| 九色91视频| 99色免费视频| 久久激情网| 久七香蕉| 激情内射人妻1区2区3区| 97人人射| 五月婷综合| 欧美婷| 亚洲小视频免费播放| 欧美日韩日韩成人| 99视频这里有精品| 婷婷成人视频| 人人草人人舔| 天天日天天日天天搞| 一區四區歐美日韓| 婷婷精品在线| 丁香九月综合在线| 色色综合网www| 人妻丰满精品一区二区A片| 99色婷婷视频| 五月婷婷六月丁香综合视频在线| 婷婷激情四射网| 色婷婷亚洲综合网站| www超碰| www.91久久| 五月天综合| 天天爱天天做天天爽| 色噜噜婷婷| 色婷婷色情| 在线亚洲综合网| 五月丁香偷拍| 成人网址在线观看| 天天综合五月天| 九九精品在线观看视频6| 亚洲开心激情网| 丁香六月色香蕉视频| AV操逼网| 亚洲成人网站在线播放| 色爱爱综合网| 大香蕉五月婷婷丁香| 五月婷婷激情网| 无码任你操| 日本九九视频| 日日操夜夜骑| www.丁香五月| 色色色色色色色色色999| 天堂婷婷五月在线| 色丁香久久| 99re在线精品视频| 九热视频在线精品15| www.wuyuetian啪啪| 99热久久这里只有精品| 99在线免费观看| 五月婷婷色播| 婷婷色影院| 久久性爱视频| 大香蕉啪啪| 久久久久久综合88| 激情综合色婷婷啪啪六月天| 99精品在线观看视频| 免费在线观看欧美激情xx小视频| 99性感视频| 巴基斯坦粉嫰无码视频| 婷婷六月丁香色| 婷婷丁香五月久久| 丁香五月天信号| 99,色| 色很很96| 天天做天天爱天天日| 九九色综合| 色婷婷操逼| 亚洲激情在线| 久久五月婷婷电影| 欧美色婷婷| 97碰啪啪| 九九热在线观看6| 亚洲色9| www.99热| 色婷婷丁香网| 亚洲精品网站色视频| 欧美激情丁香五月| 日本色频| 玖玖伦理电影| se色99| 思恩热国产视频右线观看| www.激情.com.| 婷婷五月成人有| 激情综合综合综合| 777.色色| 极品人妻videosss人妻| 色五月婷婷天天操夜夜操| 国产五月婷| 五月天激情国产综合AV| 九九视频在线免费视频| 99热色在线精品| 五月综合婷婷五月| 五月天色丁香| 99热99精品| 欧美色五月| 九九这里只有精品| 97色碰| 大香蕉综合视频在线| 婷婷WWW久久| www.97干视频| 91丨九色丨熟女|老版| 欧美色久| 国产1区2区3区在线观| 色噜噜狠狠色综合日日免费| 婷婷网五月| 色综合天天天天做夜夜| 狠狠操天天干| 91精品综合久久久久久五月丁香| 91久久久久久| 午夜精品久久久久久久爽| 五月久久丁香|