欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從LoRA到OFT:Qwen2.5-VL多模態(tài)微調(diào)在昇騰與CUDA的實(shí)戰(zhàn)

從LoRA到OFT:Qwen2.5-VL多模態(tài)微調(diào)在昇騰與CUDA的實(shí)戰(zhàn) 1. 項(xiàng)目背景為什么要折騰多模態(tài)微調(diào)最近這半年多模態(tài)大模型的應(yīng)用需求暴漲尤其是像Qwen2.5-VL這種既能看圖又能理解文本的模型幾乎成了很多業(yè)務(wù)場(chǎng)景的標(biāo)配底座。我所在的團(tuán)隊(duì)也接到一個(gè)具體需求需要讓模型在某一類特定風(fēng)格的圖片上做細(xì)粒度的圖文理解比如工業(yè)圖紙上的標(biāo)注識(shí)別、特定產(chǎn)品圖上的屬性抽取這類場(chǎng)景用通用底座模型直接推理效果總差那么一截所以微調(diào)是繞不開(kāi)的路徑。一開(kāi)始我們理所當(dāng)然想用LoRA畢竟生態(tài)成熟、資料多、踩坑的人也多遇到問(wèn)題容易搜到答案。但在實(shí)際推進(jìn)過(guò)程中LoRA在昇騰910B上暴露出一些讓人頭疼的兼容性問(wèn)題反倒是后來(lái)切換到的OFTOrthogonal Finetuning方案在昇騰上跑得意外順暢最終效果也更好。這篇文章就把這段從LoRA到OFT的遷移過(guò)程、兩個(gè)硬件平臺(tái)的適配差異、以及過(guò)程中積累的踩坑經(jīng)驗(yàn)完整記錄下來(lái)給準(zhǔn)備做Qwen2.5-VL微調(diào)、尤其是需要跨GPU平臺(tái)CUDA和CANN折騰的朋友一個(gè)參考。閱讀這篇內(nèi)容之前默認(rèn)你已經(jīng)了解什么是LoRA、什么是Qwen2.5-VL、也大概知道transformers和peft庫(kù)的基本用法。如果你還沒(méi)接觸過(guò)這些建議先跑通一遍推理流程再來(lái)看微調(diào)否則部分術(shù)語(yǔ)和參數(shù)解釋會(huì)顯得比較跳躍。文章會(huì)覆蓋從環(huán)境配置到訓(xùn)練調(diào)優(yōu)再到問(wèn)題排查的完整鏈路適合正在準(zhǔn)備做多模態(tài)微調(diào)、或者已經(jīng)在微調(diào)路上被平臺(tái)兼容性折磨的工程師閱讀。2. 方案選型LoRA、OFT與多模態(tài)模型的適配邏輯2.1 LoRA為什么成為首選以及它到底改了什么LoRA的核心邏輯是通過(guò)低秩分解來(lái)模擬權(quán)重更新。原始權(quán)重矩陣W是d×d的規(guī)模LoRA把它拆成一個(gè)d×r的矩陣A和一個(gè)r×d的矩陣B訓(xùn)練時(shí)只更新A和B原始權(quán)重完全凍結(jié)。當(dāng)r遠(yuǎn)小于d時(shí)可訓(xùn)練參數(shù)量就從d2縮減到2×d×r通常只有原來(lái)的0.1%到1%。這個(gè)思路在大語(yǔ)言模型上被驗(yàn)證得非常好原因是語(yǔ)言模型的權(quán)重矩陣本身存在著較低的內(nèi)在秩用低秩擾動(dòng)去適配新任務(wù)完全夠用。但在多模態(tài)模型上情況稍微復(fù)雜一些。Qwen2.5-VL這類模型除了文本的attention層和FFN層還有視覺(jué)編碼器vision encoder和跨模態(tài)連接模塊這些模塊的權(quán)重特性各不相同。視覺(jué)編碼器提取的是圖像的底層視覺(jué)特征它對(duì)任務(wù)適配的敏感度和文本層不一樣如果直接套用語(yǔ)言模型的LoRA策略往往會(huì)出現(xiàn)視覺(jué)特征適配不足的問(wèn)題。我剛開(kāi)始做的時(shí)候就是按慣性把LoRA加在所有的query、key、value和output投影層上結(jié)果在昇騰上跑了兩輪loss降得倒是快但驗(yàn)證集上的指標(biāo)提升非常有限。后來(lái)仔細(xì)分析才發(fā)現(xiàn)視覺(jué)編碼器部分我根本沒(méi)加LoRA模塊模型微調(diào)的實(shí)際上是文本側(cè)對(duì)視覺(jué)特征的“解讀方式”而不是視覺(jué)特征本身。這解釋了為什么在涉及細(xì)粒度視覺(jué)理解的任務(wù)上表現(xiàn)不佳。這是LoRA方案第一個(gè)需要注意的地方多模態(tài)模型微調(diào)必須考慮視覺(jué)和文本兩側(cè)的適配范圍。2.2 OFT是什么為什么它能解決LoRA的局限性O(shè)FT的全稱是Orthogonal Finetuning它和LoRA的底層思路不同。LoRA是在原始權(quán)重上加一個(gè)低秩增量相當(dāng)于允許權(quán)重向量在任意方向上發(fā)生偏移。而OFT做的事情是學(xué)習(xí)一組正交變換矩陣保持特征向量的范數(shù)和相互之間的夾角不變的前提下旋轉(zhuǎn)特征空間。專業(yè)術(shù)語(yǔ)可能不好直接理解我用人話解釋一下LoRA把特征空間的形狀改了OFT只是把特征空間轉(zhuǎn)了個(gè)角度。從數(shù)學(xué)性質(zhì)上講OFT對(duì)特征分布的擾動(dòng)更小特別適合視覺(jué)編碼器這類需要保持特征語(yǔ)義穩(wěn)定性的模塊。這是因?yàn)檎蛔儞Q不會(huì)改變特征之間的相對(duì)位置模型在預(yù)訓(xùn)練階段學(xué)到的知識(shí)不會(huì)被破壞得太狠對(duì)于需要高精度語(yǔ)義對(duì)齊的多模態(tài)任務(wù)來(lái)說(shuō)這種“溫和”的特性反而更有價(jià)值。在Qwen2.5-VL上OFT的一個(gè)經(jīng)典用法是只對(duì)視覺(jué)編碼器的attention層做正交微調(diào)文本部分保持凍結(jié)。這樣一來(lái)模型的文本理解能力完全不動(dòng)只調(diào)整視覺(jué)特征的空間排布以適配目標(biāo)任務(wù)。在我實(shí)際測(cè)試的業(yè)務(wù)場(chǎng)景里OFT在視覺(jué)側(cè)的效果普遍比LoRA高2到3個(gè)點(diǎn)尤其是在細(xì)粒度屬性識(shí)別任務(wù)上優(yōu)勢(shì)更明顯。但OFT也有代價(jià)計(jì)算量比LoRA大。正交約束的更新過(guò)程需要額外做矩陣正交化前向和反向的計(jì)算量都會(huì)增加。在4090上跑的時(shí)候體感不明顯但在昇騰910B上由于CANN和CUDA的算子實(shí)現(xiàn)差異OFT的準(zhǔn)備階段多花了將近兩倍的工程適配時(shí)間。這部分后面詳細(xì)講。2.3 兩個(gè)平臺(tái)的選型決策團(tuán)隊(duì)手頭的算力資源比較特殊一臺(tái)GPU服務(wù)器用的是RTX 4090另一臺(tái)是國(guó)產(chǎn)加速卡的昇騰910B。這兩臺(tái)機(jī)器都要充分利用所以從項(xiàng)目一開(kāi)始就要考慮代碼能否在兩套環(huán)境上無(wú)縫切換。4090的優(yōu)勢(shì)非常明顯CUDA生態(tài)成熟PyTorch的GPU支持開(kāi)箱即用無(wú)論是transformers還是peft庫(kù)都能直接跑通。昇騰910B則麻煩得多雖然算力指標(biāo)不差但它的底層計(jì)算架構(gòu)是達(dá)·芬奇架構(gòu)通過(guò)CANNCompute Architecture for Neural Networks開(kāi)發(fā)套件來(lái)提供PyTorch適配層。PyTorch生態(tài)中的很多算子昇騰上不一定有高效的實(shí)現(xiàn)甚至某些操作需要手動(dòng)改寫為昇騰支持的算子才能運(yùn)行。當(dāng)時(shí)選型時(shí)的策略是先讓LoRA在4090上驗(yàn)證業(yè)務(wù)效果確認(rèn)微調(diào)路線的可行性再遷移到昇騰上做生產(chǎn)環(huán)境的規(guī)?;?xùn)練。事實(shí)證明這個(gè)策略是正確的因?yàn)長(zhǎng)oRA在CUDA上跑通只需要一天而昇騰環(huán)境上的環(huán)境適配就花掉了四天時(shí)間期間還踩了不少算子兼容性的坑。3. 硬件環(huán)境與依賴配置昇騰910B和4090的差異化適配3.1 4090環(huán)境搭建4090的環(huán)境相對(duì)無(wú)腦找個(gè)干凈的Ubuntu 20.04系統(tǒng)裝好NVIDIA驅(qū)動(dòng)和CUDA 12.x然后創(chuàng)建conda環(huán)境裝PyTorch 2.x和對(duì)應(yīng)的tensorflow、transformers、peft、accelerate庫(kù)就能直接開(kāi)始跑。唯一要注意的是4090的顯存是24GBQwen2.5-VL的微調(diào)如果帶上視覺(jué)編碼器的梯度batch size稍微大一點(diǎn)就容易爆顯存這一點(diǎn)后面細(xì)說(shuō)。4090環(huán)境我推薦直接用官方預(yù)編譯的PyTorch wheel包省去源碼編譯的時(shí)間。CUDA版本最好鎖定12.1或12.4因?yàn)樾掳娴腜yTorch對(duì)CUDA版本有一定要求裝錯(cuò)了版本輕則跑不了GPU算子重則整個(gè)環(huán)境都容易出問(wèn)題。確認(rèn)一切都裝好之后可以用一行簡(jiǎn)單的代碼驗(yàn)證GPU可用性import torch print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))輸出都是True和GeForce RTX 4090就說(shuō)明環(huán)境沒(méi)問(wèn)題。還有一個(gè)容易被忽略的細(xì)節(jié)是要確認(rèn)cuDNN的版本和PyTorch編譯時(shí)使用的版本兼容否則某些卷積類的算子在推理時(shí)會(huì)拋出奇怪的錯(cuò)誤信息。3.2 昇騰910B環(huán)境搭建昇騰環(huán)境的搭建就麻煩多了。首先要確認(rèn)設(shè)備型號(hào)昇騰910B有不同規(guī)格算力差異很大需要先檢查NPU信息。然后安裝昇騰的固件和驅(qū)動(dòng)版本號(hào)需要和硬件匹配否則后邊創(chuàng)建context就會(huì)報(bào)錯(cuò)。接下來(lái)是CANN工具包這個(gè)是最核心的部分它包含算子庫(kù)、編譯器、運(yùn)行環(huán)境以及PyTorch適配插件。昇騰上跑PyTorch的核心是torch_npu這個(gè)插件它通過(guò)PyTorch的插件機(jī)制將算子轉(zhuǎn)發(fā)到CANN實(shí)現(xiàn)上使大部分PyTorch代碼可以無(wú)縫運(yùn)行在昇騰NPU上。安裝方式是用pip安裝torch-npu包但需要注意版本必須和PyTorch嚴(yán)格對(duì)應(yīng)比如PyTorch 2.1.0對(duì)應(yīng)torch_npu某個(gè)特定版本版本不匹配會(huì)導(dǎo)致import時(shí)報(bào)錯(cuò)。裝完之后用以下命令驗(yàn)證環(huán)境python -c import torch, torch_npu; print(torch.npu.is_available()) python -c import torch; print(torch.npu.get_device_name(0))如果輸出True和類似Ascend910B的字符串說(shuō)明NPU環(huán)境可以正常使用。但這里要提醒一句能import不代表所有算子都能跑。Qwen2.5-VL的模型中包含很多復(fù)雜的attention實(shí)現(xiàn)某些算子比如某些flash attention的實(shí)現(xiàn)在昇騰上可能不存在直接對(duì)應(yīng)的高效算子需要回退到慢速的普通實(shí)現(xiàn)甚至某些情況下需要手動(dòng)改代碼。這個(gè)是昇騰適配中最耗時(shí)的地方后面會(huì)有專門的小節(jié)講。3.3 代碼層面的雙平臺(tái)兼容技巧為了讓同一份代碼既能在4090上跑又能在昇騰上跑我在項(xiàng)目里加了一個(gè)設(shè)備檢測(cè)模塊思路很簡(jiǎn)單先嘗試import torch_npu如果成功就使用AscendNPU設(shè)備否則回退到CUDA。def get_device(): import torch try: import torch_npu if torch.npu.is_available(): return npu except ImportError: pass if torch.cuda.is_available(): return cuda return cpu有了這個(gè)設(shè)備判斷之后所有涉及device的操作都需要改為動(dòng)態(tài)獲取比如model.to(device)、inputs.to(device)等。還有一個(gè)細(xì)節(jié)是數(shù)據(jù)加載器的pin_memory參數(shù)在昇騰上并不一定被支持如果寫上容易導(dǎo)致打數(shù)據(jù)時(shí)崩潰所以要根據(jù)平臺(tái)動(dòng)態(tài)設(shè)置??ㄔ跁N騰上的一個(gè)常見(jiàn)錯(cuò)誤就是pin_memoryTrue導(dǎo)致Dataloader在取數(shù)據(jù)時(shí)拋錯(cuò)改成pin_memoryFalse后問(wèn)題消失。還有一個(gè)比較隱蔽的問(wèn)題是隨機(jī)數(shù)種子。昇騰NPU的隨機(jī)數(shù)生成機(jī)制和CUDA不完全一樣同樣的seed在不同平臺(tái)上生成的隨機(jī)序列可能不同。為了做跨平臺(tái)的對(duì)比實(shí)驗(yàn)最好在訓(xùn)練腳本里同時(shí)固定Python、NumPy以及框架層面的隨機(jī)種子并且把數(shù)據(jù)加載的shuffle邏輯也控制住否則兩個(gè)平臺(tái)的實(shí)驗(yàn)起點(diǎn)不同效果對(duì)比就失真了。我在做效果對(duì)比時(shí)因?yàn)檫@個(gè)問(wèn)題吃過(guò)暗虧重跑了幾輪實(shí)驗(yàn)才意識(shí)到。4. LoRA微調(diào)實(shí)戰(zhàn)參數(shù)設(shè)置、訓(xùn)練流程與4090上的效果驗(yàn)證4.1 數(shù)據(jù)集準(zhǔn)備這次微調(diào)任務(wù)用的數(shù)據(jù)是某工業(yè)場(chǎng)景下的一批產(chǎn)品圖片每張圖片對(duì)應(yīng)一條文本描述描述中包含產(chǎn)品編號(hào)、顏色、瑕疵類型三個(gè)屬性。數(shù)據(jù)總量大約是2萬(wàn)條訓(xùn)練集1.6萬(wàn)、驗(yàn)證集4000。圖片分辨率統(tǒng)一resize到448×448對(duì)應(yīng)Qwen2.5-VL的視覺(jué)塔輸入尺寸。數(shù)據(jù)格式上參考了Qwen2.5-VL官方微調(diào)的格式用JSON組織每條數(shù)據(jù)就是一張圖片加一段對(duì)話文本。需要注意的細(xì)節(jié)是圖片路徑的處理方式不要在數(shù)據(jù)集中使用絕對(duì)路徑否則遷移到昇騰機(jī)器時(shí)全部要重寫。我用的是相對(duì)路徑配合項(xiàng)目根目錄拼接這樣同一份數(shù)據(jù)在4090和昇騰上都能直接讀取。這個(gè)習(xí)慣在后續(xù)跨機(jī)器實(shí)驗(yàn)時(shí)省了不少事。還有一個(gè)同樣重要的點(diǎn)是數(shù)據(jù)預(yù)處理的像素值歸一化問(wèn)題。Qwen2.5-VL的視覺(jué)編碼器要求輸入圖像經(jīng)過(guò)特定標(biāo)準(zhǔn)的歸一化處理使用ImageNet的mean和std。如果數(shù)據(jù)集中存在不同來(lái)源的圖片有的圖片已經(jīng)做過(guò)歸一化有的沒(méi)有混合在一起訓(xùn)練會(huì)導(dǎo)致loss震蕩得非常厲害。建議用transform的預(yù)處理器一步到位不要在訓(xùn)練代碼里手動(dòng)歸一化否則容易在數(shù)據(jù)加載時(shí)出錯(cuò)。from transformers import Qwen2_5_VLProcessor processor Qwen2_5_VLProcessor.from_pretrained(model_path)數(shù)據(jù)加載時(shí)會(huì)自動(dòng)完成圖片預(yù)處理、token化、padding等操作在數(shù)據(jù)集的getitem方法里調(diào)用processor處理文本和圖片即可。要注意的是processor返回的tensor類型、維度要和模型的forward輸入一致特別是多模態(tài)模型的輸入格式不同版本之間可能有細(xì)微差異。4.2 LoRA參數(shù)選擇與訓(xùn)練細(xì)節(jié)在4090上做LoRA微調(diào)時(shí)我初始的配置是LoRA的r設(shè)為32alpha設(shè)為64alpha是r的兩倍這是一個(gè)常用的初始比例應(yīng)用目標(biāo)模塊選擇query、key、value、output投影層視覺(jué)編碼器不參與LoRA使用bf16精度學(xué)習(xí)率為2e-4使用余弦退火調(diào)度器batch size為8梯度累積4步訓(xùn)練3個(gè)epoch剛開(kāi)始跑的時(shí)候loss曲線下降很快前500步從2.1降到0.8左右但驗(yàn)證集上的指標(biāo)提升不明顯。仔細(xì)排查后發(fā)現(xiàn)問(wèn)題出在LoRA的作用范圍上也就是前面提到的“只修改了文本側(cè)對(duì)視覺(jué)特征的解讀方式?jīng)]修改視覺(jué)特征本身”。解決方案是將視覺(jué)編碼器的部分層也納入LoRA作用范圍。具體操作比較簡(jiǎn)單peft庫(kù)的target_modules參數(shù)支持傳入包含視覺(jué)層名稱的列表。Qwen2.5-VL的視覺(jué)編碼器層命名規(guī)律是visual.blocks我把visual.blocks.*.attn.qkv和visual.blocks.*.attn.proj都加進(jìn)去了。這樣視覺(jué)側(cè)和文本側(cè)同時(shí)做低秩適配驗(yàn)證集上原先表現(xiàn)不好的細(xì)粒度屬性識(shí)別任務(wù)開(kāi)始有明顯起色。從配置參數(shù)上看可訓(xùn)練參數(shù)從約0.4%增加到約0.9%。這里有一個(gè)重要經(jīng)驗(yàn)多模態(tài)模型的LoRA微調(diào)不能只盯著文本側(cè)視覺(jué)編碼器的適配范圍同樣關(guān)鍵。如果視覺(jué)特征沒(méi)有被有效調(diào)整模型對(duì)目標(biāo)任務(wù)中的特殊視覺(jué)模式仍然是“盲”的。但同時(shí)也不能把所有視覺(jué)層都放開(kāi)因?yàn)橐曈X(jué)編碼器參數(shù)體量大全放開(kāi)會(huì)導(dǎo)致顯存占用急劇上升而且容易過(guò)擬合。需要找到一個(gè)平衡點(diǎn)通常的做法是只對(duì)視覺(jué)編碼器的后半部分深層做LoRA淺層保持凍結(jié)。我最后采用的是最后六層視覺(jué)block參與LoRA訓(xùn)練效果和性能平衡最好。4.3 4090訓(xùn)練過(guò)程記錄24GB顯存的4090訓(xùn)練Qwen2.5-VL如果不做任何優(yōu)化batch size最多只能開(kāi)到4左右。我采用batch size8、gradient_accumulation_steps4的方式相當(dāng)于每16個(gè)樣本更新一次梯度顯存峰值大約在21GB上下。訓(xùn)練過(guò)程比較穩(wěn)定loss從2.1降到最后0.4左右驗(yàn)證集準(zhǔn)確率從77%提升到89.5%。訓(xùn)練總時(shí)長(zhǎng)約6小時(shí)3個(gè)epoch總計(jì)約2400步。這個(gè)效果已經(jīng)證明了微調(diào)路線是可行的。但訓(xùn)練過(guò)程中也遇到一個(gè)有意思的現(xiàn)象當(dāng)r值從32降到8之后效果會(huì)有明顯下降說(shuō)明這個(gè)業(yè)務(wù)場(chǎng)景的領(lǐng)域知識(shí)量較大低秩表征不夠用。這說(shuō)明在多模態(tài)任務(wù)中不能無(wú)腦把r設(shè)為小值尤其是視覺(jué)側(cè)的特征適配需要更大的自由度。4090上的完整跑通讓我松了一口氣接下來(lái)就是最難的昇騰遷移過(guò)程。5. OFT的引入從LoRA到OFT的動(dòng)機(jī)與關(guān)鍵改造5.1 昇騰上的LoRA適配難題遷移到昇騰910B的第一個(gè)版本直接用4090上訓(xùn)練好的LoRA配置修改設(shè)備類型后用torch_npu跑。結(jié)果第一輪就遇到了算子不兼容的問(wèn)題主要卡在視覺(jué)編碼器的某些attention算子上。昇騰的CANN算子庫(kù)覆蓋范圍雖然很廣但依然有部分算子的性能極差甚至直接不支持。其中最大的瓶頸是flash attention。Qwen2.5-VL的官方實(shí)現(xiàn)里vision encoder的self-attention默認(rèn)用的是flash attention加速這個(gè)算子在昇騰上要么不支持要么自動(dòng)回退到了普通attention實(shí)現(xiàn)。普通attention在昇騰上跑得極慢一次前向加反向的計(jì)算時(shí)間比4090多了將近3倍。更麻煩的是某些版本的torch_npu對(duì)scaled_dot_product_attention的支持不完善會(huì)出現(xiàn)數(shù)值錯(cuò)誤的情況loss直接變成NaN。排查了一整天才定位到是flash attention回退問(wèn)題。解決方案是在模型初始化時(shí)關(guān)閉flash attention強(qiáng)制使用普通的attention實(shí)現(xiàn)。Qwen2.5-VL的模型初始化參數(shù)里有attn_implementation這個(gè)選項(xiàng)設(shè)置為eager即可。但這也帶來(lái)了訓(xùn)練速度的明顯下降昇騰上的迭代速度比4090慢了大約40%。為了彌補(bǔ)這個(gè)性能差距我們嘗試了多種方案最后轉(zhuǎn)向OFT也是考慮到OFT對(duì)視覺(jué)編碼器的適配方式更“溫和”也許能減少一些算子的復(fù)雜性。另一個(gè)昇騰上LoRA容易踩的坑是梯度累積和混合精度。昇騰上的自動(dòng)混合精度策略和NVIDIA不一樣默認(rèn)情況下PyTorch的bf16在昇騰上會(huì)產(chǎn)生大量數(shù)值不穩(wěn)定的情況。這是因?yàn)闀N騰的bf16計(jì)算精度在某些算子實(shí)現(xiàn)上不如CUDA那么成熟存在精度截?cái)嗾`差累積到梯度上會(huì)導(dǎo)致loss在后期震蕩明顯。解決方案是改用fp16加動(dòng)態(tài)loss scaling這個(gè)在昇騰上情緒穩(wěn)定但需要額外調(diào)試loss scaling參數(shù)否則很容易出現(xiàn)underflow或者overflow。5.2 OFT原理回顧與選型判斷在昇騰的適配過(guò)程中我們順便調(diào)研了一下OFT在昇騰上的可行性。OFT這個(gè)名字很早就有了但在多模態(tài)領(lǐng)域應(yīng)用不多之前主要是用在圖像生成模型和diffusion模型的微調(diào)里。本質(zhì)上OFT是學(xué)習(xí)一個(gè)正交變換而正交變換可以用一個(gè)上三角矩陣的QR分解或者Cayley變換來(lái)參數(shù)化保證變換的正交性。Qwen2.5-VL的模型結(jié)構(gòu)里視覺(jué)編碼器的每一層都有一個(gè)輸出投影層OFT可以直接作用于這個(gè)投影層的權(quán)重上。相比LoRAOFT的優(yōu)勢(shì)在于它不改變特征向量的長(zhǎng)度和夾角對(duì)于視覺(jué)特征這種語(yǔ)義高度密集的表征來(lái)說(shuō)OFT的微調(diào)更安全不容易破壞預(yù)訓(xùn)練模型已經(jīng)建立好的特征空間結(jié)構(gòu)。同時(shí)OFT的可訓(xùn)練參數(shù)規(guī)模比LoRA更小這也在一定程度上緩解了昇騰上訓(xùn)練速度慢的問(wèn)題。讓我下決心從LoRA切到OFT的另外一個(gè)關(guān)鍵原因是昇騰的算子兼容性。LoRA的實(shí)現(xiàn)需要用到多個(gè)小的矩陣乘法和加法在昇騰上算子調(diào)度比較頻繁每一步的kernel launch開(kāi)銷很高。而OFT的實(shí)現(xiàn)是少數(shù)幾個(gè)較大規(guī)模的正交變換算子數(shù)量更少昇騰上的執(zhí)行效率反而更好。這是一個(gè)很有意思的反轉(zhuǎn)在4090上LoRA通過(guò)優(yōu)化過(guò)的CUDA算子可以跑得非??斓跁N騰上由于算子調(diào)度開(kāi)銷更大反倒是OFT這種計(jì)算模式更高效。5.3 從LoRA切換到OFT的具體代碼改造OFT的實(shí)現(xiàn)可以用現(xiàn)成的庫(kù)也可以用PyTorch自己實(shí)現(xiàn)。我們采用的是自實(shí)現(xiàn)方案主要是為了靈活控制變換層的作用范圍。核心代碼如下import torch import torch.nn as nn import torch.nn.functional as F class OFTLayer(nn.Module): def __init__(self, dim, r, deviceNone): super().__init__() self.device device self.r r self.Q nn.Parameter(torch.randn(dim, r, devicedevice)) self.P nn.Parameter(torch.randn(r, dim, devicedevice)) def forward(self, x): # x: [batch, seq, dim] R self.get_orthogonal_matrix() return torch.matmul(x, R) def get_orthogonal_matrix(self): # Q和P的乘積經(jīng)過(guò)QR分解得到正交矩陣 A torch.matmul(self.Q, self.P) Q, R torch.linalg.qr(A) # 確保構(gòu)造出的矩陣是正交的 return Q[:, :self.r] Q[:, :self.r].T應(yīng)用方式是找到Qwen2.5-VL模型中視覺(jué)編碼器的輸出投影層用OFTLayer包一層替換原來(lái)的權(quán)重計(jì)算邏輯。實(shí)現(xiàn)起來(lái)思路清晰但有一個(gè)細(xì)節(jié)Qwen2.5-VL的模型結(jié)構(gòu)和老版本Qwen-VL不完全一樣視覺(jué)編碼器內(nèi)部有一些層的名字變了需要打印model結(jié)構(gòu)后一一確認(rèn)。需要注意的關(guān)鍵點(diǎn)是正交矩陣的初始化方式。如果直接隨機(jī)初始化Q和POFTLayer剛開(kāi)始可能會(huì)輸出非常大的數(shù)值因?yàn)檎痪仃嚨淖V范數(shù)可能大于1導(dǎo)致訓(xùn)練初期loss激增。解決方法是讓Q初始化為接近單位矩陣的結(jié)構(gòu)最簡(jiǎn)單的做法是把Q初始化為單位矩陣的一小部分加少量噪聲同時(shí)把P初始化為接近零的小值。這樣初始階段OFTLayer近似于恒等映射不會(huì)對(duì)預(yù)訓(xùn)練模型的輸出產(chǎn)生劇烈擾動(dòng)。5.4 OFT在昇騰上的訓(xùn)練參數(shù)與表現(xiàn)OFT的引入顯著改善了昇騰上的訓(xùn)練體驗(yàn)。首先是速度問(wèn)題OFT的算子數(shù)量少昇騰的kernel調(diào)度開(kāi)銷不再成為瓶頸迭代速度從LoRA的每秒0.8步提升到每秒1.1步提升約37%。其次是數(shù)值穩(wěn)定性O(shè)FT的正交性質(zhì)讓梯度的傳播更加平穩(wěn)loss曲線沒(méi)有出現(xiàn)性能波動(dòng)也不再出現(xiàn)NaN的情況。從效果上看OFT在昇騰上的最終驗(yàn)證集準(zhǔn)確率達(dá)到了91.8%比LoRA在4090上的最佳效果89.5%還高2.3個(gè)百分點(diǎn)。這個(gè)結(jié)果驗(yàn)證了OFT在視覺(jué)特征適配上的優(yōu)勢(shì)同時(shí)也說(shuō)明昇騰平臺(tái)在硬件性能上并不差關(guān)鍵是要找到適合的算法結(jié)構(gòu)。昇騰上的OFT訓(xùn)練參數(shù)設(shè)置如下學(xué)習(xí)率1e-4比LoRA低因?yàn)檎蛔儞Q的更新幅度相對(duì)溫和不需要太大的學(xué)習(xí)率batch size8梯度累積4步訓(xùn)練epoch3精度f(wàn)p16 動(dòng)態(tài)loss scalingOFT的秩r64比LoRA的r32更大因?yàn)镺FT的正交矩陣需要足夠的空間來(lái)表達(dá)變換方向這些參數(shù)不是一次調(diào)出來(lái)的我前后跑了幾組對(duì)比實(shí)驗(yàn)。最開(kāi)始用和LoRA一樣的2e-4學(xué)習(xí)率發(fā)現(xiàn)loss在前200步下降得非??斓?yàn)證集指標(biāo)在600步左右就開(kāi)始飽和后續(xù)幾乎不漲。后來(lái)將學(xué)習(xí)率降到1e-4訓(xùn)練更加平緩最終效果反而更好。這說(shuō)明OFT的收斂特性確實(shí)和LoRA不同正交約束本身就是一種正則化不需要靠學(xué)習(xí)率來(lái)抑制過(guò)擬合。還有一個(gè)參數(shù)值得關(guān)注OFT的r值。r值是正交矩陣的秩決定了變換能夠表達(dá)的空間維度。我測(cè)試了r32、64、128三組r128時(shí)訓(xùn)練速度明顯變慢但效果提升有限r(nóng)32時(shí)訓(xùn)練速度快但效果差了1.5個(gè)點(diǎn)左右。r64是一個(gè)性價(jià)比較高的選擇這也側(cè)面說(shuō)明了視覺(jué)特征適配需要一定的參數(shù)量作為支撐但也不是越多越好。6. 雙平臺(tái)對(duì)比實(shí)驗(yàn)性能、效果與穩(wěn)定性分析6.1 訓(xùn)練時(shí)間與資源消耗對(duì)比為了做一個(gè)公平的對(duì)比我把LoRA和OFT分別放在4090和昇騰910B上各跑了一遍完整的3個(gè)epoch訓(xùn)練。以下是一組實(shí)測(cè)數(shù)據(jù)配置平臺(tái)單步耗時(shí)秒訓(xùn)練總時(shí)長(zhǎng)小時(shí)峰值顯存/NPU內(nèi)存GBLoRA40900.356.221.3LoRA昇騰910B0.8014.523.8OFT40900.559.822.1OFT昇騰910B0.6211.224.0從表格中可以清晰看到幾個(gè)趨勢(shì)OFT在4090上比LoRA慢多了正交矩陣分解的計(jì)算但在昇騰上比LoRA快算子調(diào)度更少。昇騰上的顯存占用比4090略高主要是由于缺乏優(yōu)化的flash attention算子attention部分需要更多的中間顯存來(lái)存儲(chǔ)attention矩陣。6.2 效果對(duì)比與業(yè)務(wù)指標(biāo)效果對(duì)比維度包括三個(gè)方面整體準(zhǔn)確率、細(xì)粒度屬性顏色、瑕疵的F1值、以及推理速度。這決定了模型能否真正落地到業(yè)務(wù)場(chǎng)景中。配置整體準(zhǔn)確率顏色F1瑕疵F1推理速度圖/秒原始模型未微調(diào)77.2%70.1%74.5%2.8LoRA409089.5%86.4%88.1%2.7OFT409090.6%88.0%89.3%2.6OFT昇騰910B91.8%89.2%90.5%2.5OFT在兩個(gè)平臺(tái)上的效果都比LoRA好且在昇騰上效果最好。這個(gè)現(xiàn)象我推測(cè)試與浮點(diǎn)精度有關(guān)昇騰上用fp16訓(xùn)練時(shí)LoRA的低秩矩陣更新對(duì)數(shù)值波動(dòng)更加敏感而OFT的正交歸一化保障了數(shù)值的穩(wěn)定性使得模型能夠從同樣的訓(xùn)練數(shù)據(jù)中更充分地學(xué)習(xí)到有效特征。當(dāng)然這個(gè)猜測(cè)還需要更多實(shí)驗(yàn)驗(yàn)證但從實(shí)際結(jié)果來(lái)看OFT在昇騰平臺(tái)上的表現(xiàn)確實(shí)比LoRA更加可靠。推理速度方面微調(diào)后模型比原始模型略慢主要原因是微調(diào)后模型的輸出分布發(fā)生了變化導(dǎo)致生成時(shí)解碼的步數(shù)增多這個(gè)問(wèn)題在LoRA和OFT上都存在不屬于平臺(tái)差異。6.3 穩(wěn)定性表現(xiàn)訓(xùn)練穩(wěn)定性的一個(gè)重要指標(biāo)是loss曲線是否有異常波動(dòng)。LoRA在4090上的loss曲線整體平滑在昇騰上則出現(xiàn)了幾次小幅度的跳變峰值大約在0.05左右。這些跳變?cè)隍?yàn)證集上對(duì)應(yīng)了準(zhǔn)確率的短暫回調(diào)影響不大但需要留意。OFT在兩種平臺(tái)上的loss曲線都相當(dāng)平穩(wěn)沒(méi)有出現(xiàn)跳變這也是正交變換對(duì)梯度流控制的直觀表現(xiàn)。另一個(gè)和訓(xùn)練穩(wěn)定相關(guān)的指標(biāo)是梯度的范數(shù)。我記錄了每100步的梯度范數(shù)變化LoRA在昇騰上的梯度范數(shù)波動(dòng)比較大范圍在0.8到2.7之間波動(dòng)OFT則相對(duì)穩(wěn)定基本保持在1.2到1.6之間。這說(shuō)明OFT的優(yōu)化路徑更可控不容易出現(xiàn)梯度爆炸或梯度消失的情況。對(duì)于昇騰這種數(shù)值精度相對(duì)CUDA脆弱一些的平臺(tái)來(lái)說(shuō)這種穩(wěn)定性非常有價(jià)值。7. 踩坑實(shí)錄昇騰與CUDA平臺(tái)差異導(dǎo)致的典型問(wèn)題7.1 算子兼容性flash attention和scaled_dot_product_attention前面已經(jīng)提到了flash attention在昇騰上的問(wèn)題這里展開(kāi)詳細(xì)說(shuō)。Qwen2.5-VL的官方代碼在初始化模型時(shí)會(huì)根據(jù)傳入的attn_implementation參數(shù)來(lái)決定使用什么attention實(shí)現(xiàn)。默認(rèn)情況下它可能自動(dòng)選擇flash attention這在4090上沒(méi)有問(wèn)題的但因?yàn)闀N騰的算子庫(kù)沒(méi)有完全對(duì)應(yīng)flash attention的高效kernel要么回退可能回退失敗導(dǎo)致報(bào)錯(cuò)要么以極低的效率運(yùn)行。遇到的報(bào)錯(cuò)信息大致是NotImplementedError或者kernel launch failed不同版本報(bào)錯(cuò)不一樣。解決辦法是顯式指定attn_implementationeagermodel Qwen2_5_VLForConditionalGeneration.from_pretrained( model_path, torch_dtypetorch.bfloat16, attn_implementationeager )需要注意的是這個(gè)參數(shù)在4090上不設(shè)置也沒(méi)關(guān)系但在昇騰上必須顯式設(shè)置否則很可能會(huì)跑著跑著突然報(bào)錯(cuò)中斷非常影響訓(xùn)練任務(wù)的連續(xù)性。另外scaled_dot_product_attention這個(gè)PyTorch的算子也需要注意。即使你強(qiáng)制了eager模式Qwen2.5-VL的vision encoder內(nèi)部某些函數(shù)可能還會(huì)調(diào)用SDPA所以在昇騰需要用環(huán)境變量來(lái)強(qiáng)制禁用它。這個(gè)在不同版本上的做法不太一樣我最后是通過(guò)源碼替換的方式把模型代碼里調(diào)用SDPA的地方改成標(biāo)準(zhǔn)的attention實(shí)現(xiàn)才徹底解決的。7.2 pin_memory與數(shù)據(jù)加載問(wèn)題昇騰的torch_npu對(duì)pin_memoryTrue的支持不完善之前跑LoRA的時(shí)候把DataLoader的pin_memory設(shè)置為True結(jié)果在昇騰上不定期地拋出RuntimeError: unrecognized error。這個(gè)錯(cuò)最坑的是不一定在訓(xùn)練剛開(kāi)始就報(bào)而是訓(xùn)練過(guò)程中某個(gè)隨機(jī)時(shí)刻突然中斷白白損失好幾個(gè)小時(shí)的訓(xùn)練進(jìn)度。排查了很久才定位到是pin_memory的問(wèn)題。后來(lái)寫了一個(gè)平臺(tái)檢測(cè)邏輯統(tǒng)一設(shè)置use_pinned device ! npu train_loader DataLoader(dataset, batch_sizeargs.batch_size, shuffleTrue, pin_memoryuse_pinned)把pin_memory置為False之后這個(gè)問(wèn)題再也沒(méi)出現(xiàn)過(guò)。如果你的昇騰版本有更新可以先嘗試pin_memoryTrue如果穩(wěn)定則保留但建議做好定時(shí)保存checkpoint的習(xí)慣避免問(wèn)題出現(xiàn)時(shí)損失過(guò)大。7.3 混合精度bf16在昇騰上的數(shù)值穩(wěn)定性前面已經(jīng)簡(jiǎn)單說(shuō)過(guò)昇騰上bf16的訓(xùn)練容易出現(xiàn)梯度不穩(wěn)定問(wèn)題。這里補(bǔ)充一個(gè)具體現(xiàn)象LoRA在昇騰上用bf16訓(xùn)練到第800步左右loss突然從0.5跳到了0.9然后又在100步內(nèi)恢復(fù)。一開(kāi)始以為是學(xué)習(xí)率的問(wèn)題排查了很久發(fā)現(xiàn)是bf16的舍入誤差累積導(dǎo)致某個(gè)維度的梯度過(guò)大激活了模型內(nèi)部的自注意力機(jī)制對(duì)某些異常值放大從而引起loss瞬間變大。fp16加動(dòng)態(tài)loss scaling能解決這個(gè)問(wèn)題主要原因是fp16在昇騰上的實(shí)現(xiàn)相對(duì)更成熟而且動(dòng)態(tài)loss scaling機(jī)制可以自動(dòng)調(diào)整縮放因子避免精度不足導(dǎo)致的梯度溢出或者梯度消失。具體操作用accelerate庫(kù)的混合精度設(shè)置mixed_precisionfp16即可。但fp16也有一點(diǎn)需要注意它對(duì)學(xué)習(xí)率更加敏感。在bf16下合適的學(xué)習(xí)率放到fp16下可能會(huì)導(dǎo)致前幾步loss激增因?yàn)閒p16的表示范圍相對(duì)有限過(guò)大的學(xué)習(xí)率容易讓梯度更新一步跨到數(shù)值溢出區(qū)域。如果遇到這個(gè)問(wèn)題可以適當(dāng)降低學(xué)習(xí)率同時(shí)檢查loss scaler的初始值是否為合理的默認(rèn)值通常是2的16次方。7.4 多卡訓(xùn)練的環(huán)境變量與通信問(wèn)題昇騰上的多卡訓(xùn)練比4090的NCCL多卡訓(xùn)練更容易出問(wèn)題。兩個(gè)平臺(tái)的通信庫(kù)不同4090用NCCL昇騰用HCCL。在代碼層面accelerate庫(kù)會(huì)統(tǒng)一處理不需要顯式區(qū)分。但在環(huán)境變量層面昇騰有一些額外的設(shè)置需要完成。最典型的錯(cuò)誤是HCCL_CONNECT_TIMEOUT默認(rèn)值太小導(dǎo)致多卡之間通信握手超時(shí)。解決辦法是在啟動(dòng)訓(xùn)練前顯式設(shè)置環(huán)境變量export HCCL_CONNECT_TIMEOUT120 export HCCL_OP_TIMEOUT120還有一個(gè)是昇騰的HCCL在單機(jī)多卡時(shí)需要確保所有卡的visible_devices設(shè)置正確不能簡(jiǎn)單地用npu:0、npu:1的方式引用否則通信可能出現(xiàn)死鎖。我這次項(xiàng)目主要跑單卡訓(xùn)練沒(méi)有深入多卡優(yōu)化但在實(shí)際生產(chǎn)環(huán)境中多卡訓(xùn)練大概率會(huì)遇到這部分經(jīng)驗(yàn)是后來(lái)在另一臺(tái)8卡昇騰機(jī)器上驗(yàn)證過(guò)的。7.5 版本兼容性陷阱這里整理一下需要嚴(yán)格對(duì)應(yīng)匹配的版本清單PyTorch和torch_npu版本必須嚴(yán)格對(duì)應(yīng)一個(gè)PyTorch的patch版本對(duì)應(yīng)一個(gè)torch_npu的releaseCANN版本和固件版本必須匹配安裝時(shí)先裝固件驅(qū)動(dòng)再裝CANNtransformers和Qwen2.5-VL的代碼有版本對(duì)應(yīng)關(guān)系某些transformers舊版本無(wú)法load新模型我在昇騰上遇到一個(gè)隱蔽的問(wèn)題transformers版本太新對(duì)Qwen2.5-VL的模型結(jié)構(gòu)做了改動(dòng)導(dǎo)致之前用的processor在加載時(shí)返回的數(shù)據(jù)格式變化訓(xùn)練出來(lái)的模型在推理時(shí)出現(xiàn)了輸出亂碼。這個(gè)問(wèn)題的排查耗費(fèi)了一天半時(shí)間最后回退到固定版本才解決。建議在項(xiàng)目一開(kāi)始就制定一個(gè)requirements.txt并鎖定所有版本號(hào)不要隨手升級(jí)任何包否則很容易在兩個(gè)平臺(tái)之間出現(xiàn)不一致。8. 總結(jié)與經(jīng)驗(yàn)分享項(xiàng)目走到這里回頭復(fù)盤整個(gè)流程有幾個(gè)經(jīng)驗(yàn)想特別分享給正在做類似項(xiàng)目的朋友。第一多模態(tài)模型的微調(diào)視覺(jué)編碼器的作用范圍必須被認(rèn)真考慮。無(wú)論你選擇LoRA、OFT還是其他參數(shù)高效微調(diào)方法只微調(diào)文本側(cè)而忽略視覺(jué)側(cè)大概率會(huì)在細(xì)粒度視覺(jué)任務(wù)上碰壁。參數(shù)高效微調(diào)方法的選擇也很關(guān)鍵LoRA適合文本特征適配OFT更適合視覺(jué)特征的空間調(diào)整選對(duì)方法往往比調(diào)參更重要。第二跨平臺(tái)開(kāi)發(fā)時(shí)優(yōu)先保證在兩個(gè)平臺(tái)上都能穩(wěn)定跑通最簡(jiǎn)版本然后再逐步增加復(fù)雜度。如果我先在昇騰上解決所有兼容性問(wèn)題再開(kāi)始訓(xùn)練可能要耗費(fèi)兩周時(shí)間才能看到第一個(gè)有效結(jié)果。而先在4090上驗(yàn)證路線可行性再花精力做昇騰適配整體效率高很多。實(shí)際項(xiàng)目周期中這個(gè)策略幫我們節(jié)省了至少一周的無(wú)效勞動(dòng)。第三昇騰平臺(tái)并沒(méi)有想象中那么難用關(guān)鍵是找對(duì)思路。LoRA在昇騰上因?yàn)樗阕诱{(diào)度頻繁、bf16精度問(wèn)題等因素體驗(yàn)并不好。OFT這種計(jì)算模式反而能發(fā)揮昇騰的算力優(yōu)勢(shì)最終效果還更好。這是硬件平臺(tái)特性和算法結(jié)構(gòu)相互作用的一個(gè)典型例證多做針對(duì)性適配和實(shí)驗(yàn)國(guó)產(chǎn)卡完全可以支撐高質(zhì)量的模型微調(diào)任務(wù)。最后說(shuō)一個(gè)實(shí)用的小技巧昇騰上訓(xùn)練時(shí)建議開(kāi)啟自動(dòng)checkpoint保存間隔設(shè)置為每200步一次。昇騰的算子兼容性問(wèn)題會(huì)在意想不到的時(shí)候出現(xiàn)即使前面都跑通了某個(gè)batch的數(shù)據(jù)可能會(huì)導(dǎo)致一個(gè)特殊算子觸發(fā)異常。有了定期checkpoint即使中斷也只是損失幾分鐘的訓(xùn)練時(shí)間不至于從頭再來(lái)。這個(gè)習(xí)慣幫我避免了好幾次重大的進(jìn)度損失非常值得養(yǎng)成。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九热只有这里是精品| XX久久| 色99视频| 国产伊人五月天| 91蜜桃婷婷狠狠久久综合9色| 91人操人人人操人| 日日干日日| 狠狠撸激情综合丁香五月天俺来啦| 激情都市另类| 日本欧美成人片AAAA| 99人人操人人操人人精| 色情综合网| 婷婷五月天AV网| 激情婷婷六月天| 97婷婷丁香五月| 97人碰人操| 婷婷色五月色| 色综合久久久久| 五月天婷婷色| 色播丁香婷婷五月激情| 九九综合图片网| 天天狠天天叉| 日夜夜久久| 日韩av在线电影| 国产人妻777人伦精品HD| 人人人va亚洲视频在线| 91精产品自偷自偷综合| 五月亭亭开心网| 热久久视频99| 五月婷激情影院| 五月丁香婷婷欧美| 国产精品久久久60086| 色九九综合| 六月婷婷无码观看| 五月婷婷综合影院| 中文毛片无遮挡高潮免费| 操逼福利视频| 九九99九九99偷拍视频免费看| 激情99| 婷婷狠狠五月综合| 久久狠狠干| 国产成人一区二区三区在线观看| 五月天婷婷伊人| 丁香六月婷婷综合| 手机在线视频观看9| WWW,五月| 五月天激情综合10p| av久热| 另类图片五月天| 色情婷婷五月天| 五月婷婷丁香啪啪| 淫荡A片| 综合色色网| 婷婷五月天免费| 久久一品区| 亚洲成人网站在线观看| 婷婷草| 99色激| 9久久狠狠的| 99热这里只有精品免费| 99久久a线观| 综合另类激情| 99热精品在线| 亚洲欧美婷婷五月色综合| 亚洲色婷婷婷婷人人爽| 久久视频婷婷视频| 国产婷婷五月| 综合色、色综合| 噜噜噜久久| 色五月婷婷五月久久| 99欧美三级视频| 99热伊人| 婷婷色爱| 夜夜www| 日韩精品一区二区亚洲AV观看| 成人无码精品1区2区3区免费看| 五月丁香六月婷婷无码| 色五月婷婷、老熟女| 99免费热视频在线| 美女xx不卡| 国产日韩欧美| 久99热在线观看| 狠狠五月天婷婷| 91精产品自偷自偷综合| 在线亚洲综合| 爱99干99| 五月婷丁香| 五月丁香六月婷婷无码| 色婷婷九月综合| 中文网AV| 人人操91| 91打屁股视频网站| 淫视馆av三区| 亚洲V国产V欧美V久久久久久| 久久 天天| 五月天另类综合网| 日本啪啪天堂| 天天综合久久| 成人综合视频网址| 精品亚洲国产成人A片在线鸭王| 丁香五月天狠狠| 99性感视频| 婷婷色女| 亭亭色网| 天堂综合久久| 五月婷婷婷色| 97碰碰碰免费公开在线视频| 99九九久久| 天天干狠狠| 亚洲色精彩| 91在线操| 九九爱精品网站| 97人人干| 狠狠色婷婷7777久| 色婷婷69| 狠狠操狠狠| 色婷婷综合网站| 久久久久亚洲A∨成人乱码电影| 色五月天丁香婷婷色| 九久久九精品视频| 99热综合| 99热99在线| 狠狠插日日干撸| 五月激情精品视频| 人人干天天舔| 九九这里只有精品在线视频| 久久久久网站| 五月天婷综合| 十区AV| 五月综合激情图片| 亚洲精品无码99热| 4399成人黄A片| 五月婷婷久久久| 99re6久热只有精品6在线直播| 色婷亚洲| www.日韩艹| www超碰| 思思99久久| 操B无码视频国语| 无码日本精品XXXXXXXXX | www.婷婷五月天.com| 亲子乱AV一区二区三区下载| 狼人狠狠操| 久久久噜噜噜久久人妻| 五月婷婷啪啪| 激情网婷婷五月天| 丁香六月婷婷色播| 舔色婷婷| 婷婷五月成人有| 小泽玛利亚视频一区二区| 91女人18毛片水多国产| 99re视频在线精品| 97操碰在线97| 久碰久| 97操女视频| 在线超碰免费| 美国少妇性做爰| 久久久国产精品黄毛片| 六月丁香五月婷婷| 色噜噜狠狠色综无码久久合欧美| 色日本颜射| 国产精产国品一二三在观看| 热久久999| 成人精品视频99在线观看免费 | 碰97久久| 999热在线视频| 一本久道综合色婷婷五月| 激情网第四色| 亚洲激情网站| 久久婷婷六月综合综合色| 欧美97p| 五月天开心成人网| 婷婷五月久久| 丁香激情六月天婷婷| 色婷婷五月综合在线| 久久五月天婷婷视频| 大香蕉五月天婷婷丁香91| 日韩操啪| 婷婷五月综合色拍| 久操热| 色婷婷视频| 丁香五月香蕉在线| 丁香五月婷婷六月婷婷| yazhou seshipin| 99高级会所久久| 情情五月天色| 5月丁香六月婷婷| 六月丁香社区| 停停五月丁香| 亚洲最大视频| 久久婷婷五月天蜜桃| www婷婷| 狠狠xx| 色在线99| www.久久久久久久久久.com| 日本欧美成人片AAAA| 欧美性丁香色色五月天干干| 婷婷五月天影院| 亚洲激情综合| 双性美人被调教到喷水A片| 另类小说五月天| 99热这里只有精品8| 九九無妻| 五月天激情色色| 国产,欧美,学生妹,视频| 亚洲精品久久久无码| 婷婷五月天99综合网站| 精品自拍99| 午夜丁香 婷婷| 日韩黄色电影| 看黄的网站18禁| 婷婷五月永远18免费久久久| 伊人五月成人| 丁香婷婷五月| 91综合色| 激情综合网五月激情| 丁香五月色情| OYIWbGcPu8H| 天天久久九九| 九九性爱网| 久久作爱| 99这里精品| 色五月综合网| 夜夜干 夜夜操| 夜夜久久综合网| 日日操日日撸| 亚洲V国产V欧美V久久久久久| 日本4399天堂中出| 超碰无码老师| 六月婷婷九月丁香| www.久久久久| 日夜夜天天| 99久热这里只有精品| 五月天激情婷婷| 婷婷五月综合网| 99久久这里只有精品| 日本4399天堂中出| 日本99视频精品免费播放| 99自拍视频| 色综合开心五月深爱五月| 色爱五月天| 色999五月色| 成人无码髙潮喷水A片| 五月精品99综合| 婷婷丁香五月天影院| 國語久久婷| 99热这只有| 久久 这里只有精品1| 99热精地址| 久久精品夜色噜噜亚洲a∨| 天天干夜晚夜操| 国产精品一区在线观看你懂的| 操老逼综合网| 色你久久| 日日射天天射| www.五月天婷婷| 激情亚洲网| 成人做爰黄A片免费看直播室男男| 99riAV成人在线视频| 五月丁香综合成人社区| 深爱五月月天| 欧美一级操逼视频| 九九色综合网| 九九婷| 九九干视频| 综合激情五月丁香9999久久精| 99色热视频| 性爱视频久久| 精品久热| 色日本综合| 99精品在线观看| 日韩十国产极品久久| 精品在线网站| 色婷婷在线视频观看| av操一操| www.国产亚洲69ty.久久久久久久久久久久| 久热这里只有精品99re,久热这里只有精品7| 婷婷激情五月综合丁香社| 天天爱天天做天天| www.夜夜| 狠狠爱婷婷丁香| 婷五月天在线草| 久久久久思思热| 婷婷丁香十月| 久xxxx| 秋霞三级影视资源| 婷婷综合色图| 极品嫩草| www.99热国产| 人人草开心五月天| 9久久精品| 国产婷婷久久| 五月天婷婷开心| 涩综合婷婷| 五月婷在线| 九九精彩久久| 五月香六月婷| 色999亚洲人成色| 丁香六月天婷婷| 九九激情网| 丁香在线视频| 丁香网站| 丁香九月久久| 婷婷五月精品中文字幕| 色99热| 色吧五月| 九九热大香蕉| WWW五月| 9久热| 超碰免费电影| 五月丁香成人| 九九婷婷网五月天| 久久久久久久久99精品| 色婷婷精品| 五月激情影视| 夫妻超碰在线| 久久久久8888| 亚洲欧美一区二区三区四区爱爱动图| 操操操Av| 91狠狠综合久久久| 婷婷五月天美女21p| 另类小说色婷婷| 丁香八月综合激情| 婷婷五月天影视网址| 色五月综合在线| 超碰在线caop| 99偷拍视频在线日本| 激情美女五月天| 91丁香五月| 七月丁香五月婷婷在线| wwwss在线观看| 国产,欧美,学生妹,视频| 欧美一级色| 五月色丁香| 色五月亚洲| 免费成人va| 噜噜色噜噜网| 黄桃AV无码免费一区二区三区| www.久久爱.c n| 婷婷五月色综合| 婷婷五月天精品| 婷婷五月中文字幕| 激情综合五月婷婷六月丁香| 亚洲精品第一国产综合亚AV| 开心婷婷五月激情网小说| 六月丁香综合| 久久蜜臀婷婷| 思思热99在线视频| 99年操人人爽| 五月激情久久综合| 欧美槡BBBB槡BBB少妇| 久久综合伊人77777蜜臀| 六月丁香影院| 成人精品视频99在线观看免费| 色色色综合网| 五月天激情四射网站| 97人人干。| 99热在线观看这里只有精品| 噼里啪啦在线观看免费完整版视频| 久99视频| 久久婷婷精品| 一逼色综合| 丁香五月宝贝激情网| 99综合| 97碰成超视频免费视频| 色五月婷婷影院| 精品无码久久久久久久久| 国产精品久久..4399| 99热99美国在线观看| 综合精品啪啪| 99热日韩| 久久这里只有精品视频15| 五月丁香 啪啪啪| 五月婷婷激情| 欧美99热| 99热.com| 91精品无码| 色五月天丁香婷婷| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 国产SUV精品一区二区883| 六月婷婷深深爱| 久色视频| 美女五月激情| 天天色情站| 五月天激情综合网俺也去| 538在线精品| 国产精产国品一二三在观看| 亚洲精品小视频| 综合激情五月丁香| 丁香婷婷激情五月| 五月天婷婷丁香| 色玖玖| 九九综合久久| 色色色色热热| 久久六月综合| 男人天堂伊人五月丁香| 99国产精品久久久久久久久久久| 91丁香婷婷综合久久欧美| 欧美成人精品老美女噜噜噜| 国产精品第一国产精品| 狠狠五月天婷婷激情网。| 色婷婷五月天av在线| 狠狠狠狠狠狠草| 色婷婷亚洲婷婷| 九九sese| 色99在线| 亚洲综合激| 免费无码毛片一区二区A片| 婷婷亚洲激情在线观看视频| 啪啪啪综合网| 开心五月天私房婷婷| 久99热| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 日碰日| 久狠日av| 97人人看一| 99国产在线| 开心五月婷婷伊人| 26uuu成人网| 国产密乳av一区二区三区四区| 久/久精品99看9| 九九热在线精品| 激情视频综合| 久狠狠狠| 97碰碰电影| 天天透天天爱| 六月色激情| 婷综合| 久久婷婷一级片| 五月丁香淫淫婷婷婷| 五月天婷婷亚洲| 欧美天堂久久| 伊人色综合影院视频| 亚洲1区| 久这里只有精品99| 日韩人妻AV在线| 色婷婷六月丁香综合欲精品| 五月丁了香蕉综合| 天天日天天色| 婷婷丁香五月天影院 | 五月天色色色| 高潮毛片又色又爽免费| 色播五月| 五月天丁香成人社| 中文字幕在线资源| 六月色日韩| JAPANRCEP老熟妇乱子伦视频 | 婷婷六月啪啪| 婷婷深爱五月| 美臀自射自家人妻| 五月丁香花激情啪啪网| 玖玖爱伊人| wuyuedingxiang99| 国产黄大片在线观看画质优化| 五月婷婷激情四月| 五月婷婷丁香网| 99综合网| 色婷丁香| 99年操人人爽| 欧美精品18| 婷婷久久网| 亚洲V国产V欧美V久久久久久| 色婷婷AV久久久久久久| 九伊人网| 婷婷色五月激情| 丁香婷婷久久综合在线| 日日噜噜久久婷婷五月天| 五月婷婷综合网| 影音先锋按摩| 国产SUV精品一区二区883| 婷婷丁香六月五月天| 日本色色色色色色色色一色二色| 开心婷婷中文字幕| 日本欧美在线| 国产成人一区二区三区在线观看| 五月激情丁香| 亚洲天堂无码| 色色色五月婷婷| 日韩激情人伦人| enecarbon-materials.com污K127封锁请涟系@wip1688 | 日本全黄一级999| 大香蕉伊人久久| 色婷婷六月精品| 婷婷色在线播放| 丁香五月婷婷啪啪| 亚洲色五月婷婷| 免费国产VA国产免费| 国产乱妇乱子在线播视频播放网站| 九九热视频思思| 亚洲爱婷婷| 九九热在线视频| 久久综合伊人综合在线| 五月色婷丁香| 在线只有精品| 天天干、天天日日| 九九色大香蕉| 激情内射人妻1区2区3区| 久色资源网| 激情久久久| WWW.HENHENL.| 婷婷天天日婷婷| 99免费热视频| 五月丁香啪啪啪免费看| 婷婷va| 亚洲V国产V欧美V久久久久久| 天天操天天爱天天玩| 超碰人人操在线| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 欧美成人色婷婷| 香蕉久久国产AV一区二区| 99久久超级| 九九伊人网| 678五月丁香亚洲综合| 久9热在线免费观看| 丁香五月六月综合激情| 婷婷激情五月天小说| www.色九月| 超喷97免费在线视频| 色情婷婷五月天| 人妻性爱| 99在线视频播放| 人人摸人人操人人爱| 狠狠高潮精品亚洲1| 久操操| 狠狠干狠狠操狠狠爱| 五月色网| 六月婷婷在线视频| 精品国产va久久久久久久| 91操在线| 国产日韩精品SUV| 婷婷五月天av| 蜜臀av无码久久久久久久久| 丁香花成人区| 五月丁香六月激情| 亚洲AV网站| 色色色.COM| 亚洲色色图片| 五月婷婷啪啪啪| 丁香六月婷婷缴情欧美| 国产激情综合五月久久| 久久九精品| 97五月天婷婷| 婷婷六月丁香激情| 五月婷久久草| 天天日天天久久青青| 丁香九九九九| 五月天综合视频| 婷婷中文字幕版| 五月天激情黄色小说在线观看| 啪啪啪丁香五月| 国产成人99久久亚洲综合精品| 91九色网| 亚洲视频国产一区| 色综合99色| 成人国产欧美大片一区| 深爱婷婷网| 97色欧美| 丁香桃色网| 欧洲高清免费久久| 九九热超碰| 久久精品综合色| 成人国产网| 强辱丰满人妻HD中文字幕| 亚洲久热| 99热在线精品播放| 婷婷六月综合激情| 五月天自拍网| 玖玖伦理电影| 九九伊人网| 日本人人干| 色yeye色综合| 97色五月丁香婷婷| 五月天成人综合| 美国十月色婷婷在线观看| 深夜A片| .操區COm| 色九月婷婷综合| 91丨九色熟女丨首页| 在线中文字幕免费视频| wwwav大香蕉| 丁香婷婷影院| 欧美激情综合色综合啪啪五月| 国产在这里只有精品| 六月丁香婷婷网| 成人网站在线观看视频| 丁香五月天婷婷91| 国产操逼网站| 色色综合网www| 久久丁香五月天| 伊人五月综合网| 丁香六月婷婷综合| 九九操操| 丁香五月婷婷啪| 97超碰在线免费观看| 九九在线精点品| 丁香六月激情国产| 五月天色社区| 99热综合在线| 婷婷免费无马| 久99久精品视频| 丁香五月婷婷偷拍| 人人干人人操外国| 狠狠干狠狠操狠狠爱| 91人人人人人人人| 美女久久婷婷| 97色在线视频| 五月网激情| 120分钟婬片免费看| 五月婷亚洲精品AV天堂| 色婷婷综合丁香五月天| 99在线资源视频| 69热91天堂| 五月天丁香啪啪网| 日韩有码久久| 综合另类视频| 天天做天天爱天天爽在| 人人色AV| 99免费| 婷婷伊人网| 性做久久久久久久免费看| 国产亚洲精品久久久久久郑州| 无遮挡国产高潮视频免费观看| 岛国在线观看91| 97se在线视频| 超碰大香蕉网| 五月丁香激情综合网官网| 激情婷婷狠狠干| 人人干人人看| 人人操AV| 天天肏视奸| 99热免费精品| 色婷綜合网| 婷婷五月天电影网| 国产成人AV在线| 精品影院| 97超级免费无码| 97操视频| 色色色在线播放| www.狠狠干com| 99色精品| 色色五月天激情| 97超碰婷婷五月天| www.射伊蕉婷婷| 亚洲区,视频区,视频区免费| 九九re精品视频在线观看| 五月天欧美 另类小说| 久久99网| 9久精品视频| 色噜噜婷婷| 久久精品日| 综合激情伊人影视在线| a久久免费视频| 色999;丁香五月| 五月Huangsewang| 99热久草| 婷婷五月天无码熟女| 99热激情| 五月天成人小说| 日韩一区二区A片免费观看| 亭亭五月基地在线| 丁香六月色情| 丁香五月婷婷偷拍| 97在线观视频免费观看| 91九色无码内射| 99爱视频精品在线观看| 五月亚洲| 婷婷久久综合久| 亚洲av综合在线| 26UUU欧美激情一区二区| 丁香激惜男女| 天天爱天天狠天天透| 天天天天天天操| 变天就操逼婷婷五月| 九九热这里有精品视频| 亚洲精色| 五月花免费视频| 婷婷五月色播天| 欧美性爱中文字幕| 西瓜美女a片| 亚洲综合久| 人人操9| 香蕉视频91| 开心五月婷婷在线视频免费观看| 超碰成人在线观看| 欧美日本不卡黄色片| 天天性视频| 9久热这里只有精品| 99热6这里只有精品| Caoub青青超碰 | 99热99久久| 丁香六月成人| 色色综合无码| 九九蜜臀精品| 五月丁香婷婷视频| 亚洲成人影视在线| 九九無碼| 九九热最新| 欧美槡BBBB槡BBB少妇| 97色啪| 亚洲VA在线| 91色五月| 在线sebiav精品视频| 色色五月丁香婷婷| 久久这里有精品在线观看| 五月婷婷在线视频| 婷婷九月狠狠色| 丁香五月综合亚洲| 成人在线精品| 无码九九九九| 思思热热久久| 激情综合网五月婷婷| 9 1大香蕉| 国产六月婷婷| 色五月激情综合网| av操B网站| 婷婷丁香视频在线观看免费| 亚洲色图五月丁香| 色五月婷婷777| 丁香丁婷五月激情| 色五月播五月| 丁香激情综合| 婷久看人爽| 狠狠爱综合网| 91无码高清| 九九免费精品| 伊人久久大香线蕉av一区| 性爱视频久久| 日本精品人妻无码77777| 久久性爱视频| 婷婷六月五月天综合| 99热免费| 国产婷婷色五月| 五月色色激情网| 五月丁香影院| 天天五月丁香五月| 色噜噜狠狠色综合成人网| 丁香五月婷婷激情97| 日韩欧美一级大黄网站| 婷婷五月天开心激情网| 日曰躁夜夜躁2026| 亚州激情网站无码| 97色在线观看视频| 九九激情视频| 天天干天天射色综合| 无人区码一码二码三码医生系列| 久久婷婷热| 丁香五月电影| 欧洲电影在线观看免费版英语版| 激情综合播播| 日韩 中文 欧美| 9 9 9色色| 99视频这里有精品免费观看| 最近中文字幕大全免费版在线| 五月婷伊人| 综合另类视频| 美女激情婷婷| 国产99久久久国产精品免费看| 婷婷综合视频| 五月天久久综合婷婷| 色色色1网址| 天天色伊人| 91色色色| 色色综合无码| 丁香六月五月天| 无码啪啪| 天天日夜夜爽| 欧美一线视频| 天天婷婷综合亚洲亚洲| 9久9久9久女女女九九九一九| 五月综合影院| 黑人糟蹋人妻HD中文字幕| 日本综合久久| 99热伊人| 极品色丁香| 先锋资源婷婷| 五月婷婷六月综合| 激情小说婷婷五月| 狠狠爱五月婷婷综合六月| 热久久国产视频| 婷婷香草网| 99久久思思| 国产成人精品一区二三区熟女在线| 99热这里只有精品13| 五月婷婷丁香色播网| 久久婷婷五月天大香蕉| 9久热这里只有精品视频| 国产午夜精品一区二区三区嫩草| 袁子仪视频观看| 五月天伊人| 丁香六月亚洲| 中文字幕日产A片在线看| 99热国产精品| 91久久电影| 久久加勒比| 天天狠狠干| 久久综合香蕉国产国产蜜臀AV| 激情综合网激情五月网| 日韩另类| 欧美99| 在线视频另类| 99操无码视频观看| 在线视频另类| 精品久久99| 色综合久久天天综合网| 九九色影院| 五月婷激情| 婷婷激情五月天7| 99热官网精品在线| 噜综合| 99这里都是精品| 99色丁香婷婷综合网| 日韩在线看AV| 婷婷五月丁香色情| 青青久在线视频免费观看| 狠狠狠人妻| 五月天婷a在线| 婷婷 亚洲图片 丁香| 深夜婷婷 丁香| 激情五月综合网最新 | 成人色五月天| 爱超碰性| 成人超碰Av| 影音先锋91男人资源在线播放| 丁香综合婷婷五月天| 色婷婷久久综| 人妻熟妇国产精品| 五月网激情| 五月婷综合网| 性做爰A片免费视频A片直播| 亚洲、欧美、国产另类笫二区| 久久久久9| 日韩在线视频网站| 色欲色香综合网| 久久综合激情五月天| 深爱综合网| 欧美天天干五月丁香| 亚洲乱码精品久久久久..| 天天日夜夜操五月| 丁香久久激情俄| 国产综合婷婷| 丁香五月激情棕合| 久久精品婷婷| 婷婷久久亚洲| 色五月综合网| 精品久久久久久久久久久久人妻| 日韩三级视频一区二区| 亚洲午夜一区二区| 97色在线| 国产午夜成人AV在线播放| 激情丰满熟妇五月| 字幕网AV中文字幕| 十月色综合| 久久伊人9| 五月天婷婷在线视频| 日韩av大全| 色 噜噜 九月 婷婷| 欧美日韩123| 婷婷五月天播| 激情综合网激情五月婷婷| 色色色999| 亚洲精品久久久久久久久久飞鱼 | 图片区 小说区 区 亚洲五月| 丁香五月婷婷天| 精品综合网在线| 日日夜夜天天| AV色五月婷婷| 激情五月成年| 五月天成人免费视频| 五月综合丁香婷婷| 婷婷啪啪| 综合五月丁香久久| www日本熟妇99在线视频| 婷婷五月色激情欧美激情| 涩五月婷婷| 超碰人妻公开在线| 丁香六月婷婷综合| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 色七七九九| 开心五月激情网| 丁香六月色情| yirenjiqingshiping| 精品久久99码| 久久综合丁香五月| 亚洲国产精品二二三三区| 五月婷婷六月丁香色| 色~性~乱~伦~噜| 99热国产| 色播五月婷婷五月| 欧美性爱五月天| 综合色色五月| 91午夜激情| 婷婷五月天成人在线视频| 操碰97| 五月综合激情视频| 亚洲小电影在线观看黄999| 极品人妻VIDEOSSS人妻| 五月婷婷丁香网| 99 热国产在| 在线视频九色97| 久久婷婷综合基地| 六月婷婷五月丁香首页| 人操91在线| 97色色综合| 欧美成人精品一区二区| 香蕉伊人综合| 99热最新| 成人超碰Av| 五月婷婷婷综合网| 少妇性按摩无码中文A片| 色五月亚洲开心网| 九九热中文| 97五月婷| 成人AV免费观看| 婷婷色五月情| 久婷久婷激情肉| 五月婷婷激情综合网| 五月社区婷婷激情| AV成人在线播放| 免费无码毛片一区二区A片| 五月丁香婷婷婷激情爱爱| www.xtbsty.cn.com蜜乳AV| 婷婷六久久| www.91九色| 天天更新天天亚洲| WWW·色色色·COM| 99在线精品免费视频| www.99成人视频| 日日干五月天婷婷| 97色精品视频| 色五月激情婷婷| 激情网开心网| 精品爆操| 中文字幕 中文字幕明步| 色99在线视频| 五月婷婷黄色| 超碰中文字幕在线| 色五月亚洲| 超碰网站在线观看| 丁香五月丁香伊人| 色色色干| 97se在线视频| 五月婷婷AV| 国产无套精品一区二区| 色五月丁香总合网| 色婷婷五月综合色婷婷| 天天操天天插| 99热只有| 五月天激情AAAA| 精品激情| 热久综合| 九九热av| 九九久热| 五月婷俺去也| 九 九九九AV| 99热这里只有精品在线观看| 99免费视频在线观看爱| 永久的网站AAAA| 五月天婷婷激情在线色图| 成人无码髙潮喷水A片| 五月天成人在线播放| 九九热再线九九视频免费在线观看| 97超级碰碰碰| 欧美精品XXXXBBBB| 色九月婷婷综合| 色婷婷五月天不卡| 欧美成人无码一区二区三区| 99ri视频在线观看| 日本欧美成人片AAAA| 色五月 五月婷婷| 狠狠色婷婷在线| 亚洲秘 无码一区二区三区妃光/1| 人人色人人弄人人操| 色噜噜狠狠色综合成人网| 九九精品视频在线6| 伊人婷婷五月天| 婷婷 丁香 久久| 日本eVa一区=区视频| 亚洲精品色| 亚洲成人在线综合| 五月天狠狠草| va中文资源在线观看| 成人在线网站| A片试看120分钟做受图片| 五月婷婷中文字幕| 五月丁香另类图片| 三区激情四射av| 丁香色色色| 9l视频自拍九色9l黑人| 丰满老熟妇BBBBB搡BBB| 九热视频| 狠狠狠狠狠| 亚洲bt丁香五月天婷婷激情小说| 色综合99| 99久精品视频| 免费碰碰视频久| 五月婷婷开心网| 婷婷五月色综合| 青青草激情网| 天天爽夜夜爽| 日韩欧美一区二区三区四区| 狼人狠狠操| 久久99激情五月天| 国产AV一区二区三区日韩| 女人天堂AV| 色人久久| 激情www| 爱草视频在线观看| 亚洲精品色色| 伊人超碰| 五夜丁香| 色五月色开心开心五月| 国产精品久久欧美久久一区| 夜夜骑夜夜撸| 99热这里只有精品1025| 91操色| 99久久久久| 五月天婷婷香蕉狠狠超碰综合| 精品热九九| 久久精品一区二区三区四区| 婷婷色影院| 五月大香蕉| 大香蕉天堂| 五月婷婷丁香社区| 天天舔天天摸视频| 思思热在线视频观看精品| 五月丁香啪啪| 五月丁香久久综合| 亚洲综合无码| 色色色天堂网| 色狠狠婷婷| 免费看欧美成人A片无码| 五月天激情综合| 啪啪综合| 天天摸天天做天天爱天天爽| 亚洲精品性色| 亚洲俩性性爱图片久久第六页| 人妻久久久久| 激情四射五月天| 亚韩在线视频| 丁香五月婷婷99| 五月丁香婷婷综合网色欲| 丁香六月婷婷色XXXX| 婷婷深爱五月天在线| 91chinese在线| 中文字幕 中文字幕明步| 久久人妻伦理| 综合九九| 99热无码| 成人欧美Va| 丁香五月激情婷婷激情| ay2区| 五月丁香六月在线欧美| 99色婷婷视频| 亚洲不卡欧洲| www.色综合.com| 五月天丁香综合在线| 大香蕉婷婷婷| 超碰一区二区| 精品婷婷丁香五| 9l视频自拍九色9l黑人| 五月天大香蕉婷| 偷拍99在线视频观看| 九九久久腿| 无毒黄色网址| 人人综合色| 色丁香五月婷婷综合久久| 人人摸人人操人人爱| 日韩AV中文在线观看| 丁香狠狠干| 91午夜婷婷狠狠久久综合9色| 成人做爰A片免费看网站找不到了| 五月天激情综合网| 国外亚洲成AV人片在线观看| 婷婷五月天影院| 91蜜桃婷婷狠狠久久综合9色| 99热精品在线播放| 丁香婷婷影院| 亚洲激情综合| 涩五月婷婷| www.超碰| 欧美叉叉叉BBB网站| 亚洲av| 综合网精品99| 丁香五月大香蕉在线99| 婷婷丁香五月天之开心少妇| 香蕉影院色| 超碰亚洲欧美| 依人大香蕉在钱1| 欧美综合激情| 五月丁香婷婷狠狠操| 五月婷婷 自拍| 五月天激情综合网| 婷婷久久精品| 精品亚洲日韩99欧美片| 五月丁香久久呀| 丁香五月婷婷偷拍| 99热线观看9| 超碰成人在线观看| 99久久免费性爱视频`| 99er日韩| 啪啪色激情五月天| 66精品国产成人| 亚洲 25P| 久久精彩视频99| 99性感视频| 婷婷五月综合视频免费播放| Www.狠狠| 26uuu精品国产| 99这里都是精品6| 成人综合视频在线| 久久大香蕉同僚| 99久久婷| 午夜天堂啪啪| 五月天开心网| 婷婷大香蕉| 九八Av| 国产精品A片在线| 五月丁香久久综合色| 九九色人| 久久色情| 色婷婷五月天激情| 秋霞网在线观看理论91| 色色综合视频| 狠狠狠色激情综合适合| 激情综合五月天| 九九在线精品| AV中文网| 国av网| 久久99久久久| 人妻aV在线| 99er这里只有精品| 六月丁婷婷| 亚州精品久久久久AV无码| 99青青草| 久久丁香综合| 热99这就是精品视频| 婷婷丁香成人| 丁香五月综合狠狠| 特黄三级又爽又粗又大| 色亚洲中文| 人人玩人人橾| 激情婷婷五月天在线观看| 五月天婷婷激情小说电影| 五月天激情图片| 丁香六月在线| 人与禽A片啪啪| 色97啪啪| 色播综合| 激情综合婷婷| 五月天婷婷7米| 婷婷五月天久久久| 激情五月天色播| 秋霞九九无码| 亚洲综合草草| 丁香五月激情宗合网| 狠狠久久婷五月综合色| 日日操天天| 五月丁香操婷逼| 免费视频99| 5月丁香综合图区| 亚洲欧洲午夜成人精品av| 激情久久四色| 五月丁香成人版| 亚洲综合色网| 五月天综合网| 成人αV视频免费观看| 1024在线视频| 色色色99| 女人天堂av| 婷婷涩涩五月天| 婷婷97碰碰| 欧美精品999| 丁香五月瑟瑟| 婷婷五月丁香啪啪| sewuyue第四色| 丁香五月手机在线| 99啪啪视频| av免费在线看不卡无毒| 成人免费视频一区| 激情小说五月天社区丁香| 丁香五月AV综合激情| 操日挥操日日| 婷婷丁香在线| www.五月天| 艹色18p| 免费AV播放| 不卡影院午夜理论片| 99综合网| 玖玖婷婷五月天| 五月天久久小说| 色五月婷婷91| 久鲁鲁色网| 99热国产这里只有精品| 97精品自拍| 影音先锋高清无码资源网| 九热久| 色综合色综合婷婷热| 丁香婷婷十月| 五月天丁香网| 色99久草在线| 精品亚洲国产成AV人片传媒| 六月五月丁香五月欧美| 99热这| 91超碰人人操| 丁香狠狠色婷婷久久无码视频| 婷婷综合五月天| 婷婷五月天伦理| www.天天干| 欧美成人精品三区综合A片| 影音先锋天天日| 丁香六月 人妻| 色五月天在线观看| 婷婷激情综合网| 色五月大香蕉婷婷| 丁香六月婷婷一区| 五月宗合激情网| 另类激情综合| 99在线视频喷水| 五月六月播婷婷| 色爱终和网| 深爱激情丁香| 亚洲岛国电影| 俺来也综合网精品一区| 热99热9| 操碰99| 香蕉AV777XXX色综合一区| 棕合影院色色| 天天操天天操天天操| 九九色色| 色亭亭影园| wwwss在线观看| 天天精品视频免费观看| 狠狠操狠狠插| 9婷婷内射| 色婷婷五月基地在线| 色噜噜狠狠色综合网| 五月久久丁香| 丁香五月花婷婷开心| 最新va在线播放| 国产成人一区二区三区在线观看| 美女精品一级不卡视频| 99久久免费精品| 激情婷婷| 日韩操逼大片| www狠狠| 99久视频| 狠狠干狠狠操狠狠爱| 噜一噜免费视频| 久久婷婷六月综合| 亚洲乱码精品久久久久..| 婷婷久久影院| 天天操天天操| 亚洲成人在线播放| 日日夜夜亚洲一区| 日本精品在线噜噜噜| 欧美丁香婷婷五月天| http:色情日本com| 99精品一二三四视频| xfplayav在线| 激情五月天社区| 人人操人人干AV| 婷婷五月六月激情| 在线日韩视频| 深夜男女福利刺激影院一区完整| 人妻久久久久久久| 婷婷狠狠综合网入口|