欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

中文BERT預(yù)訓(xùn)練模型調(diào)用與微調(diào)實(shí)戰(zhàn)指南

中文BERT預(yù)訓(xùn)練模型調(diào)用與微調(diào)實(shí)戰(zhàn)指南 簡介自然語言處理NLP中預(yù)訓(xùn)練模型已成為核心技術(shù)范式?;赥ransformer架構(gòu)的BERT通過大規(guī)模語料的自監(jiān)督學(xué)習(xí)捕獲深層語義信息并可通過微調(diào)適配各類中文任務(wù)。本文從實(shí)際工程角度介紹中文BERT預(yù)訓(xùn)練模型的調(diào)用方法涵蓋環(huán)境配置、模型選型、分詞細(xì)節(jié)、批量推理、微調(diào)訓(xùn)練與部署并結(jié)合身份證矯正、文本相似度等場景探討如何將通用模型轉(zhuǎn)化為領(lǐng)域模型提升業(yè)務(wù)效果。適合NLP開發(fā)者快速落地。中文BERT預(yù)訓(xùn)練模型可調(diào)用這兩年做中文NLP相關(guān)的項(xiàng)目我?guī)缀趺看味家形腂ERT預(yù)訓(xùn)練模型打交道。不管你是做文本分類、命名實(shí)體識別、語義相似度計(jì)算還是做問答系統(tǒng)模型選型和調(diào)用方式都直接影響最終效果和開發(fā)效率。這篇東西就是把我自己實(shí)際調(diào)用中文BERT預(yù)訓(xùn)練模型踩過坑、趟出來的經(jīng)驗(yàn)整理一遍從環(huán)境準(zhǔn)備、模型選型到具體的加載調(diào)用、微調(diào)落地完整走一遍流程適合剛接觸BERT、想在自己的項(xiàng)目里快速把模型跑起來的開發(fā)者也適合已經(jīng)在用但想優(yōu)化調(diào)用方式的朋友。這里說的“可調(diào)用”不只是跑通一個(gè)demo而是指你能夠穩(wěn)定地在自己的項(xiàng)目里反復(fù)加載、推理、微調(diào)、部署這個(gè)模型。1. 項(xiàng)目整體設(shè)計(jì)與思路拆解1.1 為什么直接選用中文BERT預(yù)訓(xùn)練模型很多剛?cè)肟拥呐笥褧?huì)問一個(gè)問題我直接用詞向量Word2Vec不行嗎為什么非要上BERT這種又大又慢的東西我自己的體會(huì)是兩者解決的問題不在一個(gè)層次。Word2Vec產(chǎn)出的是一套靜態(tài)詞向量一個(gè)詞無論出現(xiàn)在什么語境里向量都是同一個(gè)遇到“蘋果”這種多義詞就抓瞎了。而中文BERT預(yù)訓(xùn)練模型是動(dòng)態(tài)的它會(huì)根據(jù)上下文實(shí)時(shí)調(diào)整每個(gè)詞的語義表示“蘋果手機(jī)”和“吃蘋果”里的“蘋果”在模型內(nèi)部激活的向量路徑完全不一樣。BERT的核心機(jī)制是Transformer的Encoder部分通過在大規(guī)模中文語料上做“完形填空”和“下一句預(yù)測”這兩個(gè)自監(jiān)督任務(wù)讓模型在出場之前就已經(jīng)掌握了大量的語言規(guī)律和常識知識。我們拿到的中文BERT預(yù)訓(xùn)練模型本質(zhì)上是一個(gè)帶著海量先驗(yàn)知識的特征提取器后面接一個(gè)簡單的分類頭或者序列標(biāo)注頭就能在特定任務(wù)上達(dá)到一個(gè)不錯(cuò)的基線效果。這套思路和早期從零訓(xùn)練一個(gè)LSTM文本分類模型完全不同省下的訓(xùn)練時(shí)間和數(shù)據(jù)量都是數(shù)量級的差距。1.2 中文預(yù)訓(xùn)練模型的常見選擇與適用場景目前市面上開源的中文BERT預(yù)訓(xùn)練模型非常豐富每個(gè)的定位和訓(xùn)練細(xì)節(jié)都有差異?;谖覀€(gè)人的項(xiàng)目實(shí)踐簡單列一個(gè)對比表幫大家快速選型模型名稱參數(shù)量特點(diǎn)說明適用場景BERT-base-Chinese約1.1億HuggingFace官方出品基于中文維基百科訓(xùn)練最穩(wěn)、最通用通用文本分類、序列標(biāo)注、初學(xué)上手RoBERTa-wwm-ext約1.1億哈工大訊飛聯(lián)合發(fā)布全詞掩碼更多數(shù)據(jù)效果優(yōu)于原版大多數(shù)中文NLP任務(wù)的首選MacBERT約1.1億用相似詞代替[MASK]訓(xùn)練更平滑下游遷移效果更好文本匹配、閱讀理解等復(fù)雜任務(wù)NEZHA約1.1億華為出品使用相對位置編碼對長文本更友好長文本、機(jī)器閱讀理解ERNIE 3.0約1.1億到更多百度出品融入了知識增強(qiáng)的預(yù)訓(xùn)練策略對先驗(yàn)知識依賴較強(qiáng)的場景RoBERTa-wwm-ext是我個(gè)人用的最多的一個(gè)?!皐wm”是Whole Word Masking的縮寫中文場景下就是當(dāng)某個(gè)漢字被掩碼時(shí)同一個(gè)詞里的其他漢字也會(huì)一起被掩碼預(yù)測這樣模型能學(xué)到更完整的詞級語義。相比之下原版BERT的掩碼是隨機(jī)掩碼單個(gè)字學(xué)到的詞邊界信息偏弱。實(shí)測下來同樣是做新聞分類RoBERTa-wwm-ext在精度的表現(xiàn)上會(huì)比原版BERT高一到兩個(gè)點(diǎn)。1.3 “可調(diào)用”應(yīng)該怎樣理解標(biāo)題里“可調(diào)用”這三個(gè)字我覺得可以拆成兩個(gè)層次。第一個(gè)層次是模型本身封裝好了你可以通過transformers庫一行代碼把它加載進(jìn)來第二個(gè)層次是你在實(shí)際項(xiàng)目里可以像調(diào)用一個(gè)普通函數(shù)一樣在業(yè)務(wù)代碼里穩(wěn)定地拿到模型的輸出不會(huì)動(dòng)不動(dòng)就報(bào)錯(cuò)、OOM或者推理慢到?jīng)]法用。很多教程只會(huì)帶你走完第一個(gè)層次——加載模型跑一個(gè)例子。但是到了真實(shí)項(xiàng)目里你可能要面對批量推理的效率問題、長文本截?cái)鄦栴}、GPU顯存不夠的問題、模型文件離線部署的問題。這里面每一個(gè)都是“可調(diào)用”能否真正落地的關(guān)鍵。我在后面的實(shí)操部分會(huì)重點(diǎn)圍繞這些細(xì)節(jié)展開而不是只給你一個(gè)“hello world”。2. 環(huán)境準(zhǔn)備與工具選型2.1 Python環(huán)境與依賴庫安裝在開始之前先把環(huán)境準(zhǔn)備好。我的建議是使用Python 3.8到3.10之間的版本太新的版本有時(shí)候會(huì)和部分深度學(xué)習(xí)框架的預(yù)編譯包存在兼容性問題。核心依賴有這么幾個(gè)pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers4.30.0 pip install datasets pip install tokenizersPyTorch的安裝要看你的機(jī)器有沒有NVIDIA顯卡。如果只是CPU環(huán)境用pip install torch默認(rèn)裝CPU版就行如果有GPU建議按自己的CUDA版本去PyTorch官網(wǎng)選對應(yīng)命令而不是直接用默認(rèn)源。這里面的坑我踩過默認(rèn)源往往裝的是CPU版的torch你以為自己在用GPU跑打開nvidia-smi一看顯卡利用率是0%模型訓(xùn)練慢得讓人崩潰。transformers庫的版本也很關(guān)鍵。早期版本的API設(shè)計(jì)和現(xiàn)在差別不小很多老教程的代碼在新版本里會(huì)跑不通。我建議直接裝最新版然后用文檔配合代碼做調(diào)整。datasets庫是HuggingFace出的數(shù)據(jù)加載工具雖然不是必須但配合預(yù)訓(xùn)練模型做微調(diào)時(shí)確實(shí)能省不少事。2.2 硬件配置與顯存規(guī)劃聊一下大家最關(guān)心的硬件問題。一個(gè)中文BERT-base模型有1.1億參數(shù)模型本身占用的顯存大概是400多MB但實(shí)際跑起來會(huì)翻好幾倍因?yàn)槟氵€得算上梯度和優(yōu)化器狀態(tài)如果做微調(diào)的話、中間激活值等。我實(shí)測的經(jīng)驗(yàn)數(shù)據(jù)大概是這樣的純CPU推理內(nèi)存需要8GB以上一次推理耗時(shí)可接受批量吞吐明顯偏慢GPU推理4GB顯存單條推理完全沒問題batch size開16-32都行GPU微調(diào)4GB顯存batch size只能開到8左右需要配合梯度累積GPU微調(diào)8GB以上顯存batch size開到32沒有壓力體驗(yàn)順暢如果你手里只有一塊4GB顯存的卡也不用太焦慮。“可調(diào)用”在小顯存卡上是完全可行的關(guān)鍵是你要學(xué)會(huì)梯度累積和混合精度訓(xùn)練這兩個(gè)技巧。梯度累積的思想是每攢夠N個(gè)batch的梯度再更新一次參數(shù)相當(dāng)于把一個(gè)小顯存設(shè)備模擬成大batch訓(xùn)練?;旌暇扔?xùn)練是用半精度浮點(diǎn)數(shù)跑前向和反向計(jì)算能把顯存占用直接砍掉一半。這兩個(gè)技巧我在后面的實(shí)操代碼里都會(huì)體現(xiàn)。2.3 模型下載與本地緩存管理transformers庫加載模型時(shí)會(huì)把權(quán)重文件下載到本地緩存目錄默認(rèn)是~/.cache/huggingface/。這里有個(gè)非常實(shí)用的小技巧提前用腳本把模型下載到本地然后把環(huán)境變量指向本地路徑之后所有代碼就都能復(fù)用這份緩存不用每次都在線拉取。export HF_HOME/data/models/huggingface把這一行寫進(jìn).bashrc或者項(xiàng)目啟動(dòng)腳本里。這樣做的好處有兩個(gè)一是團(tuán)隊(duì)協(xié)作時(shí)大家共用同一個(gè)模型緩存不會(huì)各自下載一遍浪費(fèi)帶寬和磁盤空間二是在內(nèi)網(wǎng)環(huán)境下也能正常工作因?yàn)橹灰P鸵呀?jīng)在緩存里代碼就不會(huì)嘗試再去訪問網(wǎng)絡(luò)。我維護(hù)過的一個(gè)服務(wù)就是這樣做的——首次部署時(shí)把模型文件下載好后續(xù)每次發(fā)布新版本都不再需要模型相關(guān)的網(wǎng)絡(luò)操作上線速度快很多。3. 核心實(shí)操加載與調(diào)用中文BERT模型3.1 一行代碼加載模型和分詞器真正開始寫代碼之前先明確要調(diào)用什么。這里我以hfl/chinese-roberta-wwm-ext為例因?yàn)樗谥形娜蝿?wù)上的綜合表現(xiàn)很好而且加載方式非常標(biāo)準(zhǔn)。from transformers import AutoTokenizer, AutoModel model_name hfl/chinese-roberta-wwm-ext tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModel.from_pretrained(model_name)為什么使用AutoModel而不是BertModelAutoModel這個(gè)接口會(huì)根據(jù)你傳入的模型名稱自動(dòng)判斷應(yīng)該加載哪個(gè)類。比如你傳入的是bert-base-chinese它就會(huì)加載BertModel傳入的是hfl/chinese-roberta-wwm-ext它會(huì)加載BertForPreTraining對應(yīng)的基礎(chǔ)模型。這個(gè)機(jī)制讓代碼的可遷移性變得很強(qiáng)——以后你想換更強(qiáng)的模型只需要改一個(gè)字符串其他代碼完全不用動(dòng)。AutoTokenizer同理。中文BERT的分詞器用的是WordPiece算法它的詞表里既有整詞也有子詞單元比如“自然語言處理”這六個(gè)字可能會(huì)被拆成“自然”、“語”、“言”、“處理”等幾個(gè)token而不是每個(gè)字一個(gè)token。這樣做的好處是控制了詞表的大小也保留了詞級的部分語義信息。3.2 分詞器的核心細(xì)節(jié)CLS、SEP、PAD、ATTENTION_MASK加載完tokenizer之后需要對輸入文本做處理。這里面的細(xì)節(jié)決定你模型輸出的正確性踩坑概率很高一定不能跳過。text 中文BERT預(yù)訓(xùn)練模型的實(shí)際調(diào)用 encoded tokenizer( text, max_length128, paddingmax_length, truncationTrue, return_tensorspt ) print(encoded[input_ids]) print(encoded[attention_mask]) print(tokenizer.cls_token_id, tokenizer.sep_token_id, tokenizer.pad_token_id)input_ids每個(gè)token在詞表中的索引是模型真正看到的內(nèi)容attention_mask標(biāo)識哪些是有效token1哪些是padding token0。Transformer的注意力機(jī)制會(huì)依據(jù)這個(gè)mask不去關(guān)注padding區(qū)域token_type_ids區(qū)分第一個(gè)句子和第二個(gè)句子的向量做句子對任務(wù)時(shí)才用得到cls_token中文模型是[CLS]通常是第101號token是全句語義匯總的位置sep_token中文模型是[SEP]第102號token用來分隔句子對一個(gè)很容易犯的錯(cuò)誤在paddingmax_length的情況下如果不設(shè)置truncationTrue超過max_length的輸入會(huì)被直接截?cái)嗟粫?huì)報(bào)任何警告你可能會(huì)在毫不知情的情況下丟掉關(guān)鍵信息。我在一次工單分類任務(wù)中就遇到過這種情況某些長工單的關(guān)鍵信息被截掉了模型分類準(zhǔn)確率始終上不去排查了很久才定位到是截?cái)鄥?shù)沒配好。3.3 跑通一次完整的前向推理模型和分詞器都準(zhǔn)備好了正式跑一次前向推理把句子的向量表示提取出來。import torch def get_sentence_embedding(text, tokenizer, model, max_length128): model.eval() encoded tokenizer( text, max_lengthmax_length, paddingmax_length, truncationTrue, return_tensorspt ) with torch.no_grad(): outputs model(**encoded) last_hidden_state outputs.last_hidden_state # 取[CLS]位置的向量作為整句的語義向量 cls_embedding last_hidden_state[:, 0, :] return cls_embedding.squeeze(0) embedding get_sentence_embedding(中文BERT預(yù)訓(xùn)練模型可調(diào)用, tokenizer, model) print(embedding.shape) # 輸出: torch.Size([768])這里的last_hidden_state是模型最后一層每個(gè)token對應(yīng)的隱藏狀態(tài)維度是[batch_size, seq_len, hidden_size]。對BERT-base來說hidden_size是768。model.eval()這一步必須做它會(huì)關(guān)掉dropout和layer norm的動(dòng)態(tài)行為保證每次推理結(jié)果一致。還有一點(diǎn)用torch.no_grad()包住推理過程避免建立計(jì)算圖省內(nèi)存也提速。關(guān)于取[CLS]位置的向量作為整句表示這里也說一下原理。BERT在預(yù)訓(xùn)練的時(shí)候[CLS]這個(gè)位置被設(shè)計(jì)成專門聚合全句信息的在二分類預(yù)訓(xùn)練任務(wù)中模型需要使用[CLS]的輸出做判斷因此它從預(yù)訓(xùn)練階段就學(xué)會(huì)了匯總文本全局信息。當(dāng)然如果你的任務(wù)是計(jì)算短文本相似度直接用[CLS]向量是可以的但如果文本比較長更穩(wěn)妥的做法是把所有token的隱藏狀態(tài)做均值池化或者最大池化。我在語義匹配項(xiàng)目里做過對比池化方式的表現(xiàn)在部分場景下會(huì)比直接用[CLS]高一些建議兩個(gè)方法都試一下再?zèng)Q定。3.4 批量推理與性能優(yōu)化真實(shí)項(xiàng)目里很少一次只處理一條文本。假如你有10萬條文本要算語義向量逐條循環(huán)推理會(huì)慢到懷疑人生。正確做法是把文本拼成一個(gè)batch一起喂給模型。def batch_get_embeddings(texts, tokenizer, model, max_length128, batch_size32): model.eval() all_embeddings [] with torch.no_grad(): for i in range(0, len(texts), batch_size): batch_texts texts[i:i batch_size] encoded tokenizer( batch_texts, max_lengthmax_length, paddingTrue, truncationTrue, return_tensorspt ) outputs model(**encoded) batch_embeddings outputs.last_hidden_state[:, 0, :] all_embeddings.append(batch_embeddings) return torch.cat(all_embeddings, dim0)注意這里我把padding從max_length改成了True表示批次內(nèi)自動(dòng)補(bǔ)齊到本batch的最大長度。這樣做的好處是短樣本batch不用塞一堆無意義的padding token大多數(shù)情況下能省下好幾倍的計(jì)算量。paddingTrue和paddingmax_length在實(shí)際項(xiàng)目里的速度差異非常明顯我測過一批平均長度40字的文本前者的推理時(shí)間大約是后者的三分之一。另外一個(gè)很實(shí)用的技巧是開half()精度推理。如果你的顯卡支持半精度Tensor Core在推理前把模型轉(zhuǎn)成半精度可以讓顯存占用減半速度也快不少。前提是你確認(rèn)模型的輸出精度損失在你的任務(wù)容忍范圍內(nèi)我測下來在語義向量提取和文本分類場景下半精度和全精度的效果差異非常小。model model.half()4. “可調(diào)用”落地再接一個(gè)下游任務(wù)4.1 從純特征提取到文本分類微調(diào)拿到BERT的向量只是第一步實(shí)際項(xiàng)目里我們通常要在它上面接具體的任務(wù)。以文本分類為例把BERT當(dāng)做一個(gè)強(qiáng)大的文本編碼器然后在[CLS]向量后面接一個(gè)全連接層輸出到類別數(shù)維度。這個(gè)全連接層本質(zhì)上是把768維的語義向量映射到分類空間。import torch.nn as nn class BertClassifier(nn.Module): def __init__(self, num_classes10, model_namehfl/chinese-roberta-wwm-ext): super().__init__() self.bert AutoModel.from_pretrained(model_name) self.dropout nn.Dropout(0.3) self.classifier nn.Linear(768, num_classes) def forward(self, input_ids, attention_mask): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) cls_output outputs.last_hidden_state[:, 0, :] cls_output self.dropout(cls_output) logits self.classifier(cls_output) return logits這里有個(gè)關(guān)鍵設(shè)計(jì)分類頭上先加一個(gè)Dropout(0.3)再接全連接層。這個(gè)Dropout不是隨便加的它能在微調(diào)階段防止分類頭過擬合訓(xùn)練數(shù)據(jù)。BERT主體部分在預(yù)訓(xùn)練時(shí)已經(jīng)很強(qiáng)了真正容易過擬合的是后面新加的這個(gè)分類層所以給它加一個(gè)較高的dropout比加到BERT主體上更合理。4.2 微調(diào)過程的參數(shù)設(shè)置與訓(xùn)練邏輯微調(diào)和推理是兩回事。推理時(shí)我們凍結(jié)BERT的參數(shù)直接拿它的輸出用微調(diào)時(shí)我們要讓BERT的參數(shù)也參與梯度更新讓模型適應(yīng)你的特定任務(wù)。這也是領(lǐng)域模型落地的必經(jīng)之路。你手里有一個(gè)現(xiàn)成的領(lǐng)域數(shù)據(jù)集比如客服工單、法律文書、醫(yī)療報(bào)告用這些數(shù)據(jù)微調(diào)之后模型的效果會(huì)比直接拿通用模型去分類好很多??匆幌潞诵牡挠?xùn)練代碼框架from transformers import AdamW, get_linear_schedule_with_warmup from torch.utils.data import DataLoader, Dataset class TextDataset(Dataset): def __init__(self, texts, labels, tokenizer, max_length128): self.texts texts self.labels labels self.tokenizer tokenizer self.max_length max_length def __len__(self): return len(self.texts) def __getitem__(self, idx): encoded self.tokenizer( self.texts[idx], max_lengthself.max_length, paddingmax_length, truncationTrue, return_tensorspt ) return { input_ids: encoded[input_ids].squeeze(0), attention_mask: encoded[attention_mask].squeeze(0), labels: torch.tensor(self.labels[idx], dtypetorch.long) } def train_epoch(model, dataloader, optimizer, scheduler, device, accumulation_steps2): model.train() total_loss 0 optimizer.zero_grad() for step, batch in enumerate(dataloader): input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) labels batch[labels].to(device) outputs model(input_idsinput_ids, attention_maskattention_mask) loss nn.CrossEntropyLoss()(outputs, labels) loss loss / accumulation_steps loss.backward() if (step 1) % accumulation_steps 0: optimizer.step() scheduler.step() optimizer.zero_grad() total_loss loss.item() return total_loss / len(dataloader)關(guān)于訓(xùn)練參數(shù)我自己在多個(gè)中文任務(wù)上反復(fù)調(diào)過一個(gè)比較穩(wěn)的起點(diǎn)是學(xué)習(xí)率2e-5batch size16或32取決于顯存epoch數(shù)3到5warmup比例0.1權(quán)重衰減0.01這里的核心原則是學(xué)習(xí)率要小。BERT的預(yù)訓(xùn)練參數(shù)已經(jīng)收斂得很好了如果學(xué)習(xí)率開太大微調(diào)過程會(huì)把此前學(xué)到的通用語義破壞掉這種現(xiàn)象在NLP圈子里叫“災(zāi)難性遺忘”。2e-5這個(gè)量級是經(jīng)過大量實(shí)驗(yàn)驗(yàn)證的既能有效適配下游任務(wù)又不會(huì)徹底覆蓋掉預(yù)訓(xùn)練的知識。4.3 身份證矯正場景的微調(diào)實(shí)踐結(jié)合熱搜詞里提到的“身份證矯正預(yù)訓(xùn)練模型”這里展開說一下我做過的一個(gè)實(shí)際場景。身份證信息矯正這個(gè)任務(wù)核心場景是在身份證識別OCR之后對識別出來的文本片段做糾錯(cuò)和結(jié)構(gòu)化校正。比如OCR把“張三”識別成了“張二”把身份證號碼里的“0”和“O”搞混了這時(shí)候就需要一個(gè)模型來校對和糾正。這個(gè)任務(wù)本質(zhì)上是序列標(biāo)注加糾錯(cuò)BIO標(biāo)注是常用的范式。B是Begin開始、I是Inside內(nèi)部、O是Outside外部每個(gè)字符被標(biāo)記為它在實(shí)體中的位置。對于姓名、身份證號、住址、簽發(fā)機(jī)關(guān)這些字段模型逐字預(yù)測標(biāo)簽然后再做字段級別的校驗(yàn)和修正。實(shí)現(xiàn)思路是把BERT的輸出接到一個(gè)CRF層上from torchcrf import CRF class BertCrfForIdCard(nn.Module): def __init__(self, num_labels, model_namehfl/chinese-roberta-wwm-ext): super().__init__() self.bert AutoModel.from_pretrained(model_name) self.dropout nn.Dropout(0.3) self.fc nn.Linear(768, num_labels) self.crf CRF(num_labels, batch_firstTrue) def forward(self, input_ids, attention_mask, labelsNone): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) emission self.fc(self.dropout(outputs.last_hidden_state)) if labels is not None: return -self.crf(emission, labels, maskattention_mask.bool()) else: return self.crf.decode(emission, maskattention_mask.bool())為什么要在BERT上面加一層CRF因?yàn)榉诸惾蝿?wù)里各個(gè)token的預(yù)測是獨(dú)立的存在標(biāo)簽不合法的問題比如“B-姓名”后面跟著“I-身份證號”或者名字中間突然出現(xiàn)一個(gè)“B-姓名”。CRF層會(huì)學(xué)習(xí)標(biāo)簽之間的轉(zhuǎn)移規(guī)則和約束從整體序列的角度做最優(yōu)解碼保證輸出的標(biāo)簽序列在語義上是合理的。這在身份證結(jié)構(gòu)化這種對字段邊界要求很高的場景里特別重要。當(dāng)然你同樣可以直接用BERT加全連接層來逐token分類不考慮標(biāo)簽之間的依賴關(guān)系。這種方式實(shí)現(xiàn)簡單速度和顯存占用都更友好。但如果你對字段邊界的準(zhǔn)確率有要求加CRF是明顯的提升。我在身份證矯正項(xiàng)目里兩套方案都跑過加CRF后字段級的F1值大約能提升兩個(gè)點(diǎn)代價(jià)是推理速度稍慢。4.4 從基礎(chǔ)模型到領(lǐng)域模型的完整鏈路我理解熱詞里“身份證矯正預(yù)訓(xùn)練模型”的真實(shí)含義是指針對特定領(lǐng)域做繼續(xù)預(yù)訓(xùn)練得到的模型。通俗點(diǎn)說就是先用通用中文BERT做初始權(quán)重然后在大規(guī)模的身份證OCR語料上繼續(xù)跑一遍預(yù)訓(xùn)練任務(wù)通常是掩碼語言建模讓模型在證件類文本的用詞習(xí)慣、常見錯(cuò)字模式上擁有更強(qiáng)的先驗(yàn)?zāi)芰υ偃プ鱿掠挝⒄{(diào)。這條鏈路的邏輯是這樣的通用BERT對“張三”“簽發(fā)機(jī)關(guān)”“有效期限”這類詞匯的感知能力可能不夠強(qiáng)因?yàn)檫@些詞在通用語料里出現(xiàn)頻率不高。但在海量身份證OCR文本上繼續(xù)預(yù)訓(xùn)練后模型對這類文本的模式會(huì)更加敏感后續(xù)微調(diào)時(shí)學(xué)得又快又準(zhǔn)。這種思路對任何垂直領(lǐng)域都適用醫(yī)療、法律、金融都可以用同樣的方式做領(lǐng)域適配。5. 常見問題與排查技巧實(shí)錄5.1 模型加載失敗的常見原因模型加載是很多人第一個(gè)卡住的環(huán)節(jié)。我歸納了幾類高頻問題并給出了可以直接照著做的解決方案異?,F(xiàn)象可能原因解決辦法網(wǎng)絡(luò)連接超時(shí)或404網(wǎng)絡(luò)受限或模型名拼寫錯(cuò)誤提前下載到本地用本地路徑加載出現(xiàn)Cookie/登錄報(bào)錯(cuò)訪問的是需要授權(quán)的模型換一個(gè)公開的模型如bert-base-chineseKeyError: bert加載權(quán)重時(shí)模型類不匹配檢查模型類型和AutoModel的配對缺少tokenizer_config目錄結(jié)構(gòu)不完整確認(rèn)下載了整個(gè)模型目錄而不是單個(gè)文件從我的經(jīng)驗(yàn)來說最穩(wěn)的辦法是先把模型轉(zhuǎn)成離線包。用snapshot_download把這個(gè)模型目錄完整拉下來from huggingface_hub import snapshot_download model_path snapshot_download(repo_idhfl/chinese-roberta-wwm-ext) print(model_path)然后代碼里直接用這個(gè)路徑完全不依賴網(wǎng)絡(luò)。這在生產(chǎn)環(huán)境里面是必須做的因?yàn)槟悴荒苤竿€上服務(wù)器能隨便訪問外網(wǎng)。5.2 顯存溢出與推理速度慢顯存溢出是BERT落地時(shí)遇到最多的性能問題。4GB顯存跑batch size為32就爆了怎么辦我通常按照這個(gè)順序來排查和調(diào)優(yōu)先把batch_size降下來降到8起步開啟梯度累積batch_size8 累積步數(shù)4等效實(shí)現(xiàn)32的大batch效果開啟混合精度訓(xùn)練使用torch.cuda.amp自動(dòng)混合精度省下一半顯存檢查數(shù)據(jù)和代碼里是否有意外的顯存駐留比如沒用的tensor沒釋放如果以上都不夠考慮換用更輕量級的模型比如distilbert-base-chinese或者albert-chinese-tiny推理慢的問題多半是因?yàn)樵贑PU上跑或者沒有用batch推理。CPU上跑一個(gè)BERT-base單條文本平均要幾百毫秒到一秒鐘這個(gè)體驗(yàn)確實(shí)不理想。如果是模型上線做服務(wù)最優(yōu)解是用GPU如果沒有GPU資源可以考慮蒸餾模型或者使用onnxruntime進(jìn)行加速。我把一個(gè)中文BERT模型轉(zhuǎn)成ONNX格式之后在CPU上的推理速度大約提升了2到3倍這個(gè)性價(jià)比很高。5.3 中文分詞與序列長度的坑中文BERT的分詞是按漢字WordPiece方式進(jìn)行的和jieba這類中文分詞工具不是一回事。transformers的tokenizer自己就能管理好和模型匹配的分詞邏輯如果你在外面套了一層jieba再手動(dòng)把詞轉(zhuǎn)成id給BERT反而會(huì)破壞模型預(yù)訓(xùn)練時(shí)的輸入分布。還有一個(gè)容易忽略的問題是序列長度的處理。BERT的position embedding最大長度是512部分模型是512也有更長的輸入超過這個(gè)長度會(huì)被強(qiáng)制截?cái)唷H绻愕娜蝿?wù)文本普遍超過512字需要在數(shù)據(jù)處理階段想辦法比如只保留開頭和結(jié)尾部分或者把長文檔切成多段分別編碼再做聚合。我做長文本分類的時(shí)候會(huì)采用“頭部250字尾部250字”的拼接策略實(shí)測下來比只保留開頭500字信息保留得更完整因?yàn)楹芏鄨鼍暗年P(guān)鍵結(jié)論都出現(xiàn)在文檔末尾。5.4 微調(diào)后效果反而變差怎么辦很多人在微調(diào)之后發(fā)現(xiàn)效果不升反降第一反應(yīng)是懷疑模型出了問題。其實(shí)更常見的原因是數(shù)據(jù)和訓(xùn)練配置出了偏差。遇到這種情況我的排查思路是這樣的先看訓(xùn)練集的loss是否在下降。如果loss下降但驗(yàn)證集效果變差這是典型的過擬合增加dropout、減小模型大小或增加數(shù)據(jù)量如果loss壓根不降大概率是學(xué)習(xí)率設(shè)置錯(cuò)了BERT微調(diào)的學(xué)習(xí)率一定要比從頭訓(xùn)練小很多一般不超過5e-5檢查標(biāo)簽是否有嚴(yán)重的數(shù)據(jù)不平衡用weighted cross entropy或者焦點(diǎn)損失Focal Loss來緩解看一下訓(xùn)練集和驗(yàn)證集的數(shù)據(jù)分布是否一致很多時(shí)候驗(yàn)證集效果差完全是因?yàn)閿?shù)據(jù)切分時(shí)沒有做分層采樣導(dǎo)致分布差異太大有個(gè)朋友在做細(xì)粒度情感分類時(shí)遇到BERT微調(diào)后準(zhǔn)確率比直接用預(yù)訓(xùn)練向量加邏輯回歸還低的情況。后來發(fā)現(xiàn)他的數(shù)據(jù)集里有一半樣本的標(biāo)簽是錯(cuò)的模型在“努力”擬合錯(cuò)誤標(biāo)注。清洗數(shù)據(jù)之后同樣的配置效果立刻就上來了。所以當(dāng)你覺得模型效果詭異的時(shí)候先看一眼數(shù)據(jù)、再懷疑模型。6. 模型保存、加載與部署經(jīng)驗(yàn)6.1 正確保存和恢復(fù)微調(diào)后的模型微調(diào)完的模型保存時(shí)不能只存權(quán)重還要連分詞器一起保存否則線上調(diào)用時(shí)會(huì)出現(xiàn)tokenizer不匹配的問題。# 保存微調(diào)后的模型 model.save_pretrained(./models/idcard-bert/) tokenizer.save_pretrained(./models/idcard-bert/) # 在生產(chǎn)代碼中加載 from transformers import AutoModelForSequenceClassification, AutoTokenizer loaded_tokenizer AutoTokenizer.from_pretrained(./models/idcard-bert/) loaded_model AutoModelForSequenceClassification.from_pretrained(./models/idcard-bert/)save_pretrained會(huì)同時(shí)保存模型的config.json、pytorch_model.bin和分詞器的所有配置文件。加載時(shí)直接使用同一個(gè)目錄路徑相關(guān)的配置會(huì)自動(dòng)恢復(fù)不需要手動(dòng)指定。這里建議永遠(yuǎn)使用AutoModelForXxx來加載因?yàn)樗鼤?huì)自己讀取config里的architectures字段判斷用哪個(gè)類來反序列化不會(huì)出現(xiàn)類不匹配的問題。6.2 作為服務(wù)對外提供調(diào)用“可調(diào)用”最終要落到可以被業(yè)務(wù)系統(tǒng)使用這意味著你要把模型包裝成一個(gè)服務(wù)接口。最簡單的方式是用Flask或FastAPI封裝一個(gè)HTTP接口from fastapi import FastAPI, Request from pydantic import BaseModel app FastAPI() # 在服務(wù)啟動(dòng)時(shí)加載模型到內(nèi)存中 model model.half().to(cuda) tokenizer tokenizer class InputData(BaseModel): text: str app.post(/embedding) async def get_embedding(data: InputData): encoded tokenizer(data.text, max_length128, truncationTrue, return_tensorspt).to(cuda) with torch.no_grad(): output model(**encoded) embedding output.last_hidden_state[:, 0, :].squeeze(0).cpu().tolist() return {embedding: embedding}這里最關(guān)鍵的設(shè)計(jì)是模型只加載一次所有請求共享同一份模型參數(shù)。千萬不要在函數(shù)內(nèi)部寫from_pretrained否則每次請求都要加載一遍幾百M(fèi)B的權(quán)重文件接口延遲會(huì)直接爆炸。正確的做法是在模塊加載階段把模型初始化好請求處理函數(shù)只做推理。從單機(jī)服務(wù)到分布式部署還可以用model.to(cuda)配合TensorRT、ONNX Runtime做推理加速。我通常的實(shí)踐經(jīng)驗(yàn)是先試ONNX Runtime的加速效果如果還不夠再考慮TensorRT。前者集成簡單后者性能上限更高但復(fù)雜度和踩坑成本也更大。6.3 與ResNet預(yù)訓(xùn)練模型在多模態(tài)項(xiàng)目中的協(xié)同說到熱詞里的“resnet預(yù)訓(xùn)練模型”就不得不提BERT類模型和視覺模型在多模態(tài)場景里的組合。比如身份證識別的完整流程往往需要先做圖像的定位和校正這步由ResNet這類卷積神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)然后對校正后的圖像做OCROCR結(jié)果再交給BERT類模型做語義矯正和結(jié)構(gòu)化。三種模型各司其職ResNet負(fù)責(zé)“看見”O(jiān)CR負(fù)責(zé)“讀出”BERT負(fù)責(zé)“理解”。這種多模型的協(xié)同調(diào)用在代碼層面要做的是流程編排、輸入輸出格式統(tǒng)一、異常處理。我在實(shí)際項(xiàng)目中會(huì)用一個(gè)流水線類把三個(gè)模型串起來每個(gè)環(huán)節(jié)之間通過明確的數(shù)據(jù)結(jié)構(gòu)傳遞信息一旦某個(gè)環(huán)節(jié)出錯(cuò)可以定位到具體的模塊進(jìn)行重試或降級處理。多模態(tài)方案的效果比直接用單一模型硬扛要好得多但架構(gòu)上也確實(shí)更加復(fù)雜需要在工程上做更細(xì)致的規(guī)劃。7. 實(shí)戰(zhàn)案例從零構(gòu)建一個(gè)中文文本相似度服務(wù)7.1 相似度服務(wù)的核心思路文本相似度是一個(gè)很常見的業(yè)務(wù)需求比如智能客服里的相似問題匹配、知識庫里的重復(fù)段落檢測、搜索場景里的語義召回?;谥形腂ERT預(yù)訓(xùn)練模型來做相似度計(jì)算一般有兩種方案。第一種方案是用BERT提取句向量再計(jì)算余弦相似度。這個(gè)方案實(shí)現(xiàn)簡單不需要微調(diào)適合冷啟動(dòng)階段。但直接使用BERT原生輸出的句向量做相似度計(jì)算效果不是最好的因?yàn)锽ERT預(yù)訓(xùn)練的任務(wù)目標(biāo)并不是讓語義相近的句子在向量空間中距離更近。第二種方案是用標(biāo)注好的相似句對做微調(diào)比如使用Sentence-BERT的思路。把兩個(gè)句子分別過BERT拿到各自的句向量然后通過對比學(xué)習(xí)或者三元組損失讓相似句的距離拉近、不相似句的距離拉遠(yuǎn)。這個(gè)方案的遷移效果非常明顯在有幾千對標(biāo)注數(shù)據(jù)的情況下相似度計(jì)算的準(zhǔn)確率可以上升十個(gè)百分點(diǎn)以上。在沒有標(biāo)注數(shù)據(jù)的時(shí)候還有一個(gè)更輕量的技巧直接用“CLS”向量做相似度。如果業(yè)務(wù)對精度要求不高可以先跑起來等積累了足夠的用戶反饋再去做微調(diào)迭代。這個(gè)路線我認(rèn)為是比較務(wù)實(shí)的。7.2 完整實(shí)現(xiàn)與踩坑復(fù)盤下面給出一個(gè)完整的、可以直接跑的相似度計(jì)算實(shí)現(xiàn)import torch import torch.nn.functional as F from transformers import AutoTokenizer, AutoModel class SemanticEncoder: def __init__(self, model_namehfl/chinese-roberta-wwm-ext): self.tokenizer AutoTokenizer.from_pretrained(model_name) self.model AutoModel.from_pretrained(model_name) self.model.eval() def encode(self, texts, max_length128, batch_size16): results [] with torch.no_grad(): for i in range(0, len(texts), batch_size): batch texts[i:ibatch_size] encoded self.tokenizer( batch, max_lengthmax_length, paddingTrue, truncationTrue, return_tensorspt ) outputs self.model(**encoded) # 使用均值池化實(shí)際操作中比[CLS]更穩(wěn)定 attention_mask encoded[attention_mask].unsqueeze(-1) pooled (outputs.last_hidden_state * attention_mask).sum(1) / attention_mask.sum(1) results.append(pooled) return torch.cat(results, dim0) def similarity(self, text1, text2): emb1 self.encode([text1]) emb2 self.encode([text2]) return F.cosine_similarity(emb1, emb2).item() encoder SemanticEncoder() score encoder.similarity(如何申請信用卡, 信用卡申請流程是什么) print(score) # 0.85 左右的分?jǐn)?shù)具體數(shù)值因模型和輸入而異這里我用的是均值池化而不是[CLS]向量因?yàn)槎鄠€(gè)句子做相似度對比時(shí)均值池化對長文本的語義覆蓋更均衡不會(huì)讓[CLS]位置的特殊語義干擾真實(shí)相似度。如果你發(fā)現(xiàn)池化方式和[CLS]的結(jié)果在你的任務(wù)上有差異建議兩個(gè)都跑一遍選擇在驗(yàn)證集上表現(xiàn)更好的那一個(gè)。7.3 相似度服務(wù)的性能優(yōu)化要點(diǎn)服務(wù)上線的性能優(yōu)化我從兩個(gè)維度來說明。QPS做不上去一般瓶頸在tokenizer轉(zhuǎn)換和GPU推理這兩個(gè)環(huán)節(jié)。tokenizer轉(zhuǎn)換很容易被忽略transformers的tokenizer在Python里的運(yùn)行速度其實(shí)不算快對長文本列表進(jìn)行批量轉(zhuǎn)換時(shí)更明顯。有一個(gè)很常用的技巧是tokenizer(texts, max_length..., paddingTrue, truncationTrue)直接傳入列表而不是在Python循環(huán)里逐個(gè)調(diào)用這會(huì)走tokenizer內(nèi)部的batch邏輯能省下不少時(shí)間。GPU推理方面要盡量避免頻繁地在CPU和GPU之間拷貝數(shù)據(jù)。把所有輸入一次性放到GPU然后一次forward再一次性把結(jié)果拿回CPU這是最優(yōu)的。如果使用半精度推理推理速度還會(huì)再提升。我在一個(gè)生產(chǎn)環(huán)境中把這個(gè)相似度服務(wù)的整體吞吐量做到了單GPU每秒處理數(shù)百條文本已經(jīng)能滿足絕大多數(shù)中小業(yè)務(wù)的調(diào)用需求了。8. 我的一些經(jīng)驗(yàn)總結(jié)和后續(xù)擴(kuò)展建議8.1 模型選型要克制現(xiàn)在開源的中文預(yù)訓(xùn)練模型非常多新模型層出不窮。我建議在實(shí)際項(xiàng)目里保持克制優(yōu)先選擇生態(tài)成熟、文檔齊全、社區(qū)使用量大的模型。BERT-base-Chinese和RoBERTa-wwm-ext是目前最穩(wěn)的選擇。大模型的參數(shù)量動(dòng)輒幾十億效果確實(shí)好但部署成本和推理延遲也是真實(shí)存在的。小業(yè)務(wù)場景用一個(gè)大模型可能GPU成本就吃掉了一年的預(yù)算。先在小模型上驗(yàn)證數(shù)據(jù)質(zhì)量和業(yè)務(wù)邏輯再考慮要不要上大模型這是我反復(fù)踩坑之后得出的經(jīng)驗(yàn)。8.2 中文任務(wù)中數(shù)據(jù)質(zhì)量大于模型我見過太多團(tuán)隊(duì)把精力花在換模型、調(diào)超參上結(jié)果發(fā)現(xiàn)瓶頸根本不在模型而在訓(xùn)練數(shù)據(jù)的質(zhì)量。BERT的預(yù)訓(xùn)練已經(jīng)保證了下限你的標(biāo)注數(shù)據(jù)質(zhì)量決定上限。如果你的數(shù)據(jù)里有大量噪聲模型學(xué)到的是錯(cuò)誤模式再好的模型結(jié)構(gòu)也無濟(jì)于事。所以在做微調(diào)之前先把數(shù)據(jù)清洗、標(biāo)簽校驗(yàn)、樣本分布分析這幾件事做到位模型效果自然會(huì)上去。8.3 后續(xù)可以擴(kuò)展的方向如果你已經(jīng)完全掌握了一個(gè)中文BERT模型的調(diào)用和微調(diào)后續(xù)可以嘗試的擴(kuò)展方向還有很多用trainerAPI替代手寫的訓(xùn)練循環(huán)代碼量能減少一半嘗試PEFT參數(shù)高效微調(diào)技術(shù)用LoRA等方法只更新少量參數(shù)顯存占用大幅降低做模型蒸餾把大模型的知識遷移到一個(gè)小模型上讓推理成本降一個(gè)量級在垂直領(lǐng)域做繼續(xù)預(yù)訓(xùn)練打造你所在行業(yè)的專屬預(yù)訓(xùn)練模型也就是我們在4.4里說的“領(lǐng)域預(yù)訓(xùn)練”的完整路徑做多模態(tài)融合把中文BERT和ResNet這類視覺模型組合起來覆蓋圖像加文本的綜合業(yè)務(wù)場景我個(gè)人在實(shí)際操作中的體會(huì)是中文BERT預(yù)訓(xùn)練模型的生態(tài)已經(jīng)非常成熟了學(xué)習(xí)成本其實(shí)不高真正拉開差距的是對“可調(diào)用”這三個(gè)字的理解深度。能夠把模型穩(wěn)定地嵌入到業(yè)務(wù)系統(tǒng)里遇到問題能快速定位解決這比單純追求模型參數(shù)大小要重要得多。希望這篇文章能幫你少走一些彎路。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
一本色道久久综合狠狠躁一二三| 综合亚洲色色| 色网五月婷婷| 色色色色热| 另类激情网| www.五月天婷婷| 九九av| 丁香五月激情站| 婷婷性爱视频在线| 久久5 9视频免费观看| 99爱最新免费视频在线观看| 97人人操人人干| 丁香婷婷五月份| 七七九色| 亚洲男女激情| 五月丁香黄色| 日韩抽插操逼| 国在线激情网| 久99久精品视频| 五月婷婷丁香六月| 久久精彩免费视频| 久久视频婷婷视频| 成人色图情色成人网 www.5b5b5bcom 五月天| 丁香五月六月久久综合 | 99cao婷婷| 色欲丁香| 成人VAV视频在线观看| 久久五月婷| 夜夜操天天爽| 亚洲另类婷婷五月综合| 99热国内| 激情婷婷人妻| 婷婷丁香射射| WWW.天天日| 久操人| 东京热五月婷婷| AVDV久久| 日本色婷婷| 天天爱天天爽| 欧美日本va| 色插综合网| 五月丁香婷婷综合网| 久久成人亚洲欧美电影| 20253AV| 99色视频| 丁香五月大香蕉在线99| ..真实国产乱子伦毛片| 射满了还射免费在线观看 -午夜版全集-新视觉影院 | 婷婷综合色| 亚洲婷婷丁香五月| 九九热99在线视频| 丁香六月婷婷开心婷婷网| 七月婷婷色香综合网| 久操热线| 9热网站| 91久久久久久久久18| 婷婷成人五月天| 天天插天天插天天插天天插| 精品久久久人妻| 狠狠狠狠狠草| 色综合激情| 大陆肏屄视频| 丁香五月婷婷五月| 色婷五月天| 色色亚洲| 热99在线| 天天久综合网永久入口18| 91久久久久久| 午夜伊人大香蕉| 麻豆WWWCOM内射软件| 色色色com| 丁香五月天之婷婷影院| 成人无码精品1区2区3区免费看| 久久激情网| 操操啪| 开心五月婷婷| 久操热线| 日逼影音先锋男人资源站| AV大片在线播放| 五月天久久色| 涩涩婷婷五月| 色五月婷婷天天干| 99爱无码| 欧美色图天堂网| 五月丁香综合激情| 婷婷五月激情五月激情| 日本一级黄色片。| 狠狠干在线| 一区二区乱码视频| www.夜夜夜| 五月婷婷和六月| 日韩六六久久电影| 亚洲熟妇无码乱子AV电影| 狠狠穞A片一區二區三區| 99亚洲视频| 久久精品系列| 欧美性生交XXXXX无码小说 | 九九这里只这里只有精品| 色网站99| 五月丁香影视| 九九热在线视频| 91婷婷视频| 五月丁香亭亭A片| 精品久久婷婷| 婷婷黄色五月天在线视频| 色吧综合网| se色婷婷视频| 久久99精品视频| 国产精品久久久99视频| 99热.com| 91狠狠综合久久| Av狠狠色丁香婷| 啪精品| 影音先锋一区| 色操b| 五月婷婷丁香婷婷| 欧美大片免费观看| 色久九| 噜噜综合网| 99爱在线精品视频免费观看| 亚洲欧美在线观看| 超碰在线成人| 六月婷婷开心| 亚洲妇女熟BBW| 久碰综合| 激情五月丁香六月婷婷| 九九成人| 五月婷婷六月丁香综合| 思思国产99| 另类视频综合| 操日本色| av在线色五月丁香婷区久| 色久综合| 亚洲六月综合激情久久下卡| 大香蕉啪啪啪| 婷婷色啪| 久久99看免费| 五月丁香六月激情欧美综合| 日韩AV在线影片| 色~性~乱~伦~噜| 精品九九视频| 五月天婷婷色| 异能之下短剧免费观看全集| 五月婷婷丁香大陆免费| 婷婷五月久久| 国产精品久久久久久久久久| 深爱五月激情综合| 国产免费AV在线| 色色色色色色色色色影院| 色涩影院六月丁香| 婷婷五月丁香久久| A片试看50分钟做受视频| 色婷婷91| 婷婷色六月| 日本强伦片中文字幕免费看| 99热久只有| 天天射影院| 日本WwW色偷偷丁香花久久久京东热| 99热99在线| 亚洲操b| 激情婷婷五月天| 九热精品| 激情五月天色色网| 黄色成人网站在线播放| 成人婷婷| 久久九区| 亚洲在线操| 激情国产五月| 这里只有精彩亚洲视频推荐| 99视频综合| 婷婷AV丁香| 亚洲激情五月天| 婷婷色五月大香蕉在线观看| 丁香五月欧美| 99色精品| 99热欧美| 丁香五月天欧洲在线| 婷婷午夜综合| 久久婷色| 久色激情| 色综合色欲综合天天免费 | 在热视频精品| 四川女人毛多水多A片| 亚洲色啪| 国产成人综合网| 99噜噜| 亚洲情欲| 黄色精品五月婷婷| 色色色综合色| 色婷婷丁香五月观看| 久久激情综合| 99er在线观看| 国产黄色大片| 亚洲人人操| 另类视屏| 色色色色色色色色综合网| 色婷婷五月综合在线| 97干婷婷| 那里有AV网址| 久久综合26p| 五月婷婷丁香色吧网| 91久女| 五月婷婷激情综合拍| 五月婷婷丁香日韩在线| 99精彩视频| 99热碰碰| 99热精品在线观看| 久久这里有精品视频| 五月婷婷综合色啪首页| 久超超碰| 丁香五月婷婷色| 五月丁香网站| 色五XX| 久久66er久久| 校花娇喘呻吟校长陈若雪视频| 色色99色色| 婷婷亚洲天堂| 色 五月婷婷基地| 色婷婷五月天小说网| 狠狠精品干练久久久无码中文字幕 | 精品一二三区久久AAA片| 丁香激情五月综合网| 亚洲妇女熟BBW| 久久96热| 色五月婷婷av| 97色 五月天丁香| 天天爽天天日天天舔| www.9797国产| 无码日本精品XXXXXXXXX| 五月天激情无码高清| 婷婷激情四射五月天| 玖玖爱资源站| 婷婷丁香综合成人| 久色网| 精品亚洲国产成AV人片传媒| 天天干天天拍| 天天更新天天亚洲| 国产精品视频| 色一色综合| 久久色亭亭五月天| 色五月丁香激情视频| 中文字幕av久久爽| 性爱视频久久| 五月 成人 婷婷| 99 频99热国里只有精品| 色九四色| 激情婷婷五月天| 天天操,天天插| 五月丁香五月丁香五月丁香五月丁香91| 99re8这里只有精品99re8热视频| 最新丁香六月婷婷| 深爱激情五月天色婷婷| 超碰97人人操| 97五月综合网| 久久婷婷五月综合色区| 久久久久人妻| 9l视频自拍九色9l视频自拍九色9l社区 | 六月天六月婷| 五月天激情综合网俺也去| 人五月天婷婷喷水| 五月丁香久久| 久久久久久久97| 婷婷五月天日日日干干干| 六月婷婷视频| 九热视频免费观看| 色色网站| 六月婷婷av| 欧美草久久五月天91| 五月激情综合网| 色婷婷aV四虎| 欧美五月停| 日本色婷婷| 日韩精品二三区| 天堂婷婷五月在线| 婷婷五月天堂网| 人妖色AV色综合| 亚洲精品V天堂中文字幕| www.日韩国产| 久久9热| 综合五月天婷婷色| 色五月色综合| 麻豆123区| 安息电影在线观看完整版| 丁香五月婷婷Av| 狠狠操狠狠色| 综合aV在线| 在线播放成人网站| 色99视频| 狠狠五月天| 亭亭五月色男人| 激情五月,婷婷五月,丁香五月| 免费99情趣网视频| 丁香六月av| 99色综合网| 激情床戏| 九九亚洲视频| 久久婷婷六月综合| 色九月婷婷丁香| 天天婷婷| 五月婷婷六月丁香五月| 91凹凸在线| 99色| 伊人五月婷婷| 综合久| 国产激情在线| 大香蕉久艹| 在线成人网址| 超碰99在线观看| 天天久久狠狠色综合| 超碰高清在线| www99精品| 人妻少妇色综合| 激情小说婷婷五月| 9久热免费视频99| 毛片色五月| 性生活视频98791| 天堂草在线观| 五月丁香婷婷视频| 久99久视频| 婷婷色网| 色色欧美。| 亚洲黄网AV| 综合色、色综合| 五月天久久色| 久久超级碰视频| 婷婷激情五月视频| 五月天色图| 天天玩夜夜操天天爽| 婷婷五月黄色激情在线| 国产片色| 九九在线精点品| 久久96热| 丁香久久久| 色婷丁香| 五月婷婷综合在线亚洲视频| 人人操91色| 欧美色九| 99热www.| 亚洲国产色色| 思思热久久艹| WWW色五月| 国产五月天欧美色| 色综合久久99色| 日本天天色| 农村熟妇高潮精品A片| 香蕉97碰碰碰欧美| 91丁香五月| AV色五月婷婷| 五月婷婷影| 91九色无码日韩| 777色色色| 成人午夜天| 丁香五月天日韩无码| 色综合久久中文| 丁香九月综合| www.henhengan| 97在线综合| 欧洲色| 超碰五月婷婷五月天| 九色自拍| 天天综合影院| 五月丁香综合| 日本成人综合| 99这里只有精彩视频| 亚洲美女高潮久久久久久69| 五月婷婷很很色| 丁香五月激情啪| 五月丁香激情综合网官网| 丰满熟女人妻一区二区三| 亚洲不卡| 久久码久久无清| 高潮毛片遮挡费高一百度| 五月丁香激情六月| 婷婷五月天小说| 欧美叉叉叉BBB网站| 在线资源av-超碰中文在线-成人AV | 色愛综合网| 开心五月婷婷婷美女| 丁香五月综合| 丁香五月婷婷亚洲另类| 日本成人小说婷婷六月| 婷婷五月天福利| 我想看国产大学生口爆吞精的视频| 9999久久久久| 热久国产| 婷婷六月天| www.99热最新视频8| 91熟妇大香蕉| 免費亭亭成人| 少妇激情五月天| 99精品网址| 久久狠色噜噜狠狠狠狠97| 色99色| 五月丁香六月激情| 五月婷婷视频啪啪美女| 色色网站| 成人视频一区| 丁香色成人| 99久久天堂婷婷| 99惹在线精品免费观看| 色丁香五月婷婷| 五月天丁香欧美激情| 欧美婷| 91九色首页| 国产成人综合在线| 精品人妻久久久久久| 色婷婷综合久久| 激情丁香五月婷| 日本色色视频| 日韩黄色中文字幕| www.五月天婷婷姐姐| 久久草大香蕉| 亚洲午夜AV| 9热在线观看| 色 噜噜 九月 婷婷| 色情免费视频播放| 丁香六月婷婷基地| 中出内射的人妻视频| 亚洲超碰在线| 天天色天天爱天天舔| 五月婷婷综合网| 色玖玖综合网| 亚洲久热| 亚洲激情99| 综合色播| 综合五月天天天天天五月| 中国女人做爰A片| 亚洲综合色色| 九九黄色网| 操99| 天天爽天天操| 久久狠色噜噜狠狠狠狠97| 操骚货在线| 99爱视频精品| 成人做爰A片免费看视频| 色色日韩| 97干干干丁香| 九九激情视频| 草草影院爱爱| 91viP在线看| 久久丁香五月天| 狠狠干五月天| 丁香激情六月天婷婷| 色五月综合激情网| 欧美五月丁香| 日韩狠狠色| 色色激情五月天| 色噜噜狠狠色综合伊人| 色婷丁香91| 婷婷五月色网| 久久99看免费| 天天骑天天操| 六月丁香婷婷色69| 九热电影av| 婷婷午夜精品久久久| 婷婷午夜| 婷婷99视频全集高清| 五月婷六月婷婷| 婷婷丁香红五月91C| 狠狠五月综合在线| 嫩草视频在线观看| 久久97久久99久久综合欧美| 丁香五月婷婷成人综合| 5月丁香美女影院| 狠狠草狠狠草| 欧美天堂久久| 日本久久网| 9久热这里只有精品| 免费人人操| 另类天堂| 噜噜久| 人人干99| 国产黄色在线观看| 噜噜操操| 色色色色av777| 色色色色色五月| 婷婷丁香六月| 色婷婷五月天不卡| 六月婷婷天天操夜夜爽视频| 五月丁香六月停停停| 色色色地址| 啪啪综合网| ..真实国产乱子伦毛片| 97干视频| 九九综合久久| 99这里有精品久久97| 变态 另类 在线 | 久久思思热| 婷婷综合六月| 国产色色在线| 丁香六月婷婷开心婷婷网| 思思热视频在线| 丁香色综合| 九九色综合| 欧美人与性动交CCOO| 色五月婷婷五月天激情综合| 午夜色色色极品视频| 久久香视频| 99亚洲天堂| 17.c黄色| 啪啪婷婷五月天激情| 二级黄色毛片| 一本婷婷丁香久久| 91久久久久久久| 色色无码| 色播婷婷五月天| 五月婷婷六月丁香| 26uuu偷拍亚洲欧洲综合| 国产精品久久久久9999小说| 婷婷在线视频| 婷婷六月激情在线视频| 婷婷亚洲激情在线观看视频| 亚洲操精品| 免费V片在线| 天天日日夜夜| 欧美婷婷综合| 精品人人操| 欧美中文五月天| 五月婷婷在线网站| 精品色情一区二区三区四区| 色婷婷丁香| 婷婷色片| 亚洲精品另类| 丁香五月亚洲综合丝袜| 婷婷五月成人| 久久综合九九| 激情另类综合| 久99久精品视频| 天天久| 激情五月婷在线精品| 亚洲五月天综合色| 激情小说五月天社区丁香| 丁香五月情| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 色婷婷19| 日韩成人无码人妻| 亚韩在线视频| 99视频网址| 色五月开心久久网| 狠狠综合久久综合| 欧美69色| 人人妻人人澡人人爽| 丁香婷婷婷| 99青青草99| 91丁香综合| 噼里啪啦在线观看免费完整版视频| 久草五月天| 久热久| 97性视频| 人妻人人操| 五月丁香婷婷综合久久| 久久9视频欧美| A片一曲| 婷婷操超碰| 991精品在线视频| 婷婷九月在线| 91碰| 亚洲激情五月天| 丁香五月婷婷五月| 内射爽无广熟女亚洲| 五月香婷婷| 中字幕视频在线永久在线观看免费| 国产乱妇无乱码大黄AA片| 激情五月天色色| 色婷婷成人做爰A片免费看网站 | 丁香五月天激情| 99久久婷婷国产综合精品草原| 九九在线精点品| 九月av| 成人五月丁香社区| 成人AV在线电影| 国产欧美熟妇另类久久久| 99热精品免费| 免费三级黄色| 男人視頻站| www.色综合.com| 黄网在线免费观看| 亚洲色情激情丁香五月| 久久性爱视频这里只有精品| 久久久久人妻| 婷婷久久综合久| 青青草国产亚洲精品久久| 91人久| 婷婷五月天性爱视频| 超碰在线中文字幕| 色色亚洲无码| 这里有精品2| 九九99九九99偷拍视频免费看| 色五月丁香五月| 成熟妇人A片免费看网站| 色综合久久8| 99热这里只有精品1025| 五月天婷婷色小说| 99国产视频网| 五月天啪啪啪| 六月丁香啪| 婷婷丁香五月综合| 99热只有精品在线观看| 亚洲婷婷基地| 婷婷色色综合| 五月婷婷色影院| 六月丁香婷婷亚洲中文玖玖| 成人性爱精品视频| 五月婷色| 91丁香色五月| 成片免费播放| 日韩乱玛久久| 99热免费在线| 婷婷五月综合免费在线| 丁香综合婷婷开心激情网| 五月丁香亚洲综合网| 五月婷婷AV| 亚洲国产精品SUV| 婷婷激情五月视频| 99热这里只有精品23| 色五月 五月婷婷| 91久久婷婷| 91综合视频丁香| 91精品无码| 五月天停停基地| 色五月大香蕉| 91人人爽人人操| 五月天婷亚洲综合在线嫩草网| 五月天婷婷在线AN| 嫩BBB槡BBBB搡BBBB| 丁香五月电影院在线观看| 色综合久久88色综合天天人守婷| 激情丁香六月| 久久精品五月| 婷婷婷五月天最新综合你懂的| 99热久草| 激情啪啪五月天| 婷婷五月天影视| 另类 在线| AV色色天堂中文| 99久久99视频只有精品| 婷婷五月天网址| 欧美色必爱| 天天爽—爽| 五月婷婷丁香综合| 久热婷婷在线视频| 伊人五月天婷婷| 五月婷婷激情综合| 色五月激情视频在线综合| 天天干 夜夜爽| 亚洲色就是色色色| 久热这里只精品| 真实亲子乱子伦高清在线观看| 国产精产国品一二三在观看| 亚洲五月天第一综合干| 4399在线日本A片| 人人看人人97| 巴基斯坦粉嫩无码视频| 激情涩播| 毛片新网地| 色色热| 久久欧洲久久| 亚洲精品婷婷| 九九人妻福利| 婷婷五月天综合网| 五月婷俺去也| 99热只有这里有精品| 激情熟女网| 激情小说之五月| 人与禽A片啪啪| 这里只有精品99视频| 能看的av| 久1色色| 99无码| 99热最新地址在线| 26uuu成人网| 九九日本视频| 婷婷五月色| 六月婷婷五月丁香首页| 婷婷五月天激情网| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 国产精品色一哟哟| 九九热视频精品999| 久久这里只有国产精品视频| 岛国AAAV| 激情五月天电影| 9热在线视频精品| 天天干,夜夜爽| 天天综合 99久久婷婷| 成人免费高清在线播放| 狠狠色狠狠| 五月丁香黄色视频| sisi热国产| AV网在线| 999热在线视频| 大香蕉人人网| 狠狠色狠狠| 久久综合这里只有精品1| 91久热| 天天添天天摸天天天天做| 久久婷婷五月综合色丁香花| 九九久热| 久久婷婷色综合| 这里只有精品1| 久久婷五月综合色| 五月丁香六月停停停| 色五月丁香婷婷在线观看| 91人碰| 少妇激情五月天| 五月婷婷香蕉| 五月婷婷丁香大香蕉| 99热久草| \\五月天婷婷激情| 五月天激情日色在线| 9热在线观看| 九九这里只有精品在线视频| 丁香五月在线播放| 欧美久久婷婷| 大香蕉网站,大香蕉综合| 大香蕉五月天婷婷| 色99欧洲色19| 婷婷午夜激情| 久热一区| 五月激情网站| www.五月激情.com| 99久久性爱| 五月婷婷在线丁香| 婷婷网五月天| 久久机热这里只有精品免费视频| 色五月,com| 999久久久国产精品| 色婷婷小说网| 永久地址 色| 青青草tp| 日本激情综合| 天天色播| 开心五激情网| 欧美日韩国产一区| 激情综合一| 天天搞天天色综合| 超碰在线国产| 97婷婷丁香五月综合| 色色色色色色色色网站| 婷婷综合精品视频97| 天天日天天做天天舔 | 91大神操美女| 99综合97| 能看的AV| 超碰资源在线| 五月天激情无码高清| 另类激情综合| 国产毛多水多女人A片| 国产激情综合五月久久| 亚洲五月天伊人| 精品牛仔裤超碰| 伊人喵咪a V| 99久久婷| 99久久极情精品一区| 成人久久天天x资源站| 亚洲无码你懂的| 天天干天天插| 99久久成人| 91偷拍视频| 日本wwww在线| 国产亚洲成AV人片在线观黄桃| 丁香五月AV| 俺去啦综合网| 婷婷五月天av网| 五月婷久久草| 亚洲AV成人在线观看| 99激情在线| 色久天| 久久人妻情侣| xx色综合| 六月色婷婷色| 亚韩在线视频| 六月激情婷婷综合| 99超级超级超级碰| 色欲五月丁香| 久九男女天堂| 日日做A爰片久久毛片A片英语| 五月天婷婷丁香基地在线观看| www激情网| 99热6这里之有精品| 丁香五月婷婷色| 色噜噜狠狠色综合成人网| 大香久久伊人网| 一起操最新网址| 色婷婷8| 色色欧美。| 中文字幕欧美日韩VA免费视频| 99热在线精品播放| 久婷婷婷| 丁香综合婷婷五月天| 99热亚洲精品| 在线可以看的av网址| 天天日人人爽| 五月久久亚洲| 五月婷婷色丁香| 五月人人丁香婷婷五月人人丁香| 九九综合视频在线观看| 激情图片亚洲| 色必久悠悠影院| 人妻性爱| 五月天成人网婷婷| 久热只有这里精品| 色综合色综合色综合| 九一99| 五月天婷婷影院影院观看| 开心激情播播五月天| 人妻操逼视频| www.99视频| 激情综合网色播五月| 日本婷婷五月天| 丁香五月婷婷偷拍| www久| 久久丁香五月婷婷| 亚洲欧洲中文日韩久久AV乱码| 亚洲精品国产熟女久久久| 亚洲亚洲人成综合网络| 大香蕉九九| 爱久久小说下载网| 91五月花丁香| 色五月婷婷激情基地| 天天色天天日天天舔| 五月精品| 九九AV| 99热这里是精品| 91操人人操| 亲子乱av一区二区三区的| 男人的天堂在线婷婷| 久久狠婷婷| 九九香蕉网| 91碰视频| 五月色情婷婷开心五月色情| 伊人丁香六月婷婷| 天天爽日日搞| 蜜桃婷婷丁香| 五月婷婷综合视频| 日韩九九| 亚洲中文字幕在线观看| 91干99| 丁香色情五月综合激情| 九九热99视频在线| 五月天色婷婷激情综合| 婷婷五月天视频小说| 欧美丁香婷婷五月天| 殴美日比视频| 精品国产一区二区三区四区阿崩| 六月色 亚洲| www.91操| 久久只有这里精品免费| 五月丁香激情深爱婷婷| 色天堂A| 国产欧美日韩综合精品一区二区| 激情五月天天| 91丁香色五月| 99综合免费视频| 婷婷综合激情五月综合| 狼友超碰| 日韩久久成人| 丁香五月激情啪| 婷婷操逼网| 超碰人人91| 人妻丰满精品一区二区A片| 六月综合婷婷开心伊人| 五月激情六月| 激情五月深爱婷婷| 91热久久| 97色五月丁香婷婷| 伊人网欧美在线男人天堂五月丁香| 99.色| 99精品视频网站| 99久久婷婷精品视频| 亚洲一级AV在线免费播放| 玖玖午夜视频| 人人舔人人色人人高潮| 狠狠色婷婷六月激情网| 婷婷五月综合色拍| 免费无码毛片一区二区A片 | 日本久久99| 亚洲图色五月天| 777久久精品| 久久激情天堂| 日本三级第一页| 五月色视频| 天天干天天拍| 影音 五月 婷婷 久久| 五月大香蕉| 丁香五月中文字幕色播| 久久激丁香| 综合久久婷婷五月丁香| 久久婷婷综合网| 另类图片五月激情| 婷婷深爱色五月| 久热超碰| 香蕉久久六月| 夜夜操天天干| 中文字幕在线aⅴ免费观看| 久久99久久99久久99人受| 色五月激情五月开心五月| 久久丁香网| 中文字幕簧片| 五月天婷婷成人网| 天堂婷婷五月在线| 开心五月激情网| 色婷婷先锋| 色情婷婷五月天| 97午夜一区二区| 天天综合天天做天天综合| 婷婷精品| 日本久热| 五月婷婷中文字幕| 97超碰在线免费观看| 久草热视频在线观看| 90色免费视频| AAA亚洲AV| 无码 av电影| 色欲丁香久久| 色婷五月天| 五月花综合网| 大香蕉网站,大香蕉综合| 无套内射极品大美女| 久在热99| 色亚洲色宗合| 色婷婷呢狠禁久禁| 久热这里这里有精品| 久久激情天堂| 欧日韩成人| 亚洲欧洲国产精品| 人人澡玖玖一| 91精品久久久久久| 激情九月婷婷| 丁香啪啪| 成人婷婷色五月天| 少妇高潮呻吟A片免费看软件| 99这里的视频都是精品| 操91| 婷婷综合成人五月天| 国外亚洲成AV人片在线观看| 天天操天天爽天天爱| 思思热在线| 欧美大奶熟女噜噜噜噜| 可以看的av| 丁香五月激情站| 大香蕉在九| 色性五月天| 99re青青草| 婷婷五月天啪啪| 丁香av网| 狠狠久久婷五月| 久久er视频6| 久久久国产精品黄毛片| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 亚洲日韩国产黑丝黑丝AVAV一区二区三区 | 玖玖在线视| 日日天天干| 五月丁综合在线观看| 婷婷丁香激情五月天色色色| 婷婷色丁香六月| 欧美久久网| 欧美日韩一区二区三区四区| 亚洲五月丁香综合网| 久久曰曰| 亭亭社区五月天| 啪啪操超碰| 色综合色色色| 玖操97| 亚洲黄3级片网站欧美| 婷婷午夜激情| 五月丁香av在线| 神马久久五月天| 婷婷五月电影| 婷婷丁香五月久久| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 五月婷婷六月丁香在线视频免费在线观看| 4438激情网| 五月婷婷激情| 这里只有精品视频在线看| 亚洲爱婷婷| 26uuu国产| 婷婷激情区| 91pornav在线| 五月丁香六月婷综合成人综合| 99黄色| 91九色小视频| 国产毛片精品一区二区色欲黄A片| 射久久丁香五月| WWW.99视频| 婷婷五月色天| 有哪些A片网站| 丁香五月区| 欧美成人猛片AAAAAAA| 五月天久久网站| 成人必爱视| 91AV视频| 丁香五月电影| 狠狠狠色激情综合适合| 成人超碰AV| 婷婷激情啪啪| 噜噜噜久久| 丁香五月在线观看| 色综合网上班开心婷婷久久| 淫视馆av三区| 99精品在这里| 婷婷六月丁| 青青夜夜狠狠夜夜狠狠| www:99热视频| 丁香网站| AAA久久久| 超碰1999| 天天日夜夜高潮| 日熟女| 色五月亚洲| 婷婷婷婷色| 丁香久久久| 五月丁香六月合| 亚洲综合九九| 夜夜久久综合网| 97五月婷| 99成人| 久久婷婷综合基地| dingxiangtingtingliuyue| 五月丁香婷成人网| 日本视频99| 色婷婷精品视频在线播放| 丁香色婷婷| 婷婷五月综合啪| 岛国AV网站| 成人网站免费sxj| 99热国产精品| 婷婷综合日本| 青草视频在线观看视频| 99人妻碰碰碰久久久久禁片| 亚洲色婷婷五月| 6080av| 人妻射精AV| 免费观看2018www黄色操逼网站| 玖玖视频福利| 91大屁股精品| 五月天色色色色色| 丁香五月之久操视频| 26uuu国产| 97狠狠色| 激情第四色| 人人操五月天| 亚洲色激情| 婷婷丁香五月欧美人| 丁香五月色播中文在线播放| 99热丁香| 久久免费试看120秒| 久久男人网婷婷| 最近中文字幕2019视频1| jiZZdr| 另类专区在线| 狠狠操狠狠| 婷婷五月天视频亚洲| 日日夜夜天天综合| VfJxEwPH| 天天色色天天| 婷婷五月天狠狠| 国产热精品| 激情五月婷婷在线区| 国产VA播放| site:xiongshengzz.com| 粉嫩av蜜桃av蜜臀av| 丁香色六月婷婷| 丁香五月日韩| 亚洲小视频免费播放| 日日噜狠狠| 丁香九月久久| 久久婷色| 精品网站:999WWW| 4399伦理午夜| 亚洲无码11| 91日韩在线| 综合97五月| 婷婷五月免费观看| 婷婷五月开心中文字幕色| 色狠狠六月| 狠狠干五码| 久久人妻伊人| 五月天激情婷婷久久| 亚洲热热视频| 五月丁香啪啪| 99热新网址| 色情成人五月天| 亚洲无码色| 亚洲精品又粗又大又爽A片| 8090在线影视少妇| 99久久户外勾搭| 婷婷伊人欧美| 丁香五月婷婷色偷偷| 色婷婷久久天天性爱| 久色网| 天天粽合合合合| 操熟女成人网| 桃色激情网| 日本一级一片免费视频| 91操片| 五月天成人免费视频| 国产成人精品一区二三区熟女在线| 久婷狼色诱惑在线| 日韩成人综合| 97人人做| 亚洲俩性性爱图片久久第六页| 四虎婷婷五月天| 五月天精品综合| 日本va欧美va国产激情| 婷婷五月色色| 思思热视频在线| 亚洲情综合五月天| 97操碰在线97| 先锋资源91| 婷婷欧美偷拍综合| 五月草影视| 九九这里是免费的视频5| 色五月婷婷在线| 色色五月婷婷狠狠| 色色五月天网站| 99rewww| 天天天日天天天干| 五月色婷| 影音先锋美国A| 亚洲成人av在线| 五月丁香啪啪激情| 夜夜操夜夜姧| 婷婷狠狠操| 久久激情网| 9久热在线精品| 五月婷婷啪啪| 99色亚洲| 伊人婷婷五月天| AⅤ在线播放网| 六月色色| 久久久久人妻精选| 九九色99| 99热九九九九| 九九99在线观看视频| 丁香五月天视频在线播放| 亚洲天堂爱爱| 操逼亚洲天堂| 婷婷亚洲影院| 丁香婷婷视频一区二区| 99九色视频在线观看| 日本综合99| 婷婷丁香五月综合| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 香蕉人在线香蕉人在线 | 日本一级一级一级一级| 久久婷婷综合拍| ...婷婷国产成人亚洲日韩| 综合伊人久久| 午夜无码熟熟妇丰满人妻| 国产亚洲在线观看| 五月丁香另类图片| 玖玖精品视频| 变天就操逼婷婷五月| 天天在线天天综合网色| 激情人妻综合| 色五月综合激情网| 性五月激情| 国产成人综合在线| 丁香五月花影院| 看婷婷五月天网| 丁香六月婷婷综合| 在线观看欧美3区| 亚洲色色色色色色色色色| 99精品无码网站| 夜夜撸夜夜骑| 丁香五月天.com| 夜丁香五月婷婷| 草草夜夜操| 99热免费精品热久久66| 2017狠狠干| 久久色吧| 天天日天天日天天搞| 五月天激情四射| 67194成I人在线观看线路1| 小视频久久久aaa| 色综合色香蕉网| 欧美99热| www.99视频| 婷婷色在线| 久久丁香九| 色狠狠综合| 亚洲午夜在线视频| 丁香婷婷六月激情文学 | 香蕉综合在线| 99这里有精品视频| 五月丁香六月婷婷综合| www,av好吊操| 中文字幕无码AV| 日韩黄黄| 粉嫩AV久久一区二区三区| 色婷婷XXXXX| 91精品久久久久久久| WWW99视频| 国产精品美女| 狠狠噪| 色 五月俺去也| 丁香婷婷综合激情五月色| 五月天天天操天天爽夜夜操| 九九色图| 大香蕉Av在线| 婷婷五月免费视频| 日韩在线一级| 久久这里有精品视频| 九九九激情网| 人人操超踫| 超碰97在线观看免费| 婷婷伊人綜合中文字幕| 五月色婷婷综合丁香精品无遮挡| 亚洲六月婷婷| 色婷婷影院| 亭亭玉月丁香| 色欲婷婷夜夜| 丁香五月AV| 五月丁香日本一抹本| 久久综合五月天| 五月丁香婷婷AV天堂| 五月激情小说| 婷婷美女精品视频| 青草视频在线播放| 性天天中文网| 婷婷情色开心五月天99| 五月婷婷免费| 韩日AV片| 99亚洲视频| 激情视频91| 97久久超碰| 秋霞学生妹一二级| 国产成人精品一区二三区熟女在线| 色七色九九| 成人国产欧美大片一区| 激情婷婷网| 丁香色影院| www.五月丁香| 七七色色综合| 亚洲最大视频| 五月天性色| 热99玖玖99玖玖99九九| 99免费热视频在线| 九九大香蕉黄色影院| 五月激情在线| 五月丁婷婷| 日韩AV成人电影| 综合性爱网| 久热这里有精品视频| 久久综合五月情| 99热99色| 国产av基地| 久色网| 天天色激情| 欧美色图天堂网色| 五月婷婷香| 色婷婷六月性| 超碰国产一区| 九九综合| 五月丁香啪啪综合| 噼里啪啦在线观看免费完整版视频| 久久一二三视频| 亚洲激情五月| 色色五月丁香婷婷| 2020久久婷婷五月| 丁香五月停停av| 操逼巨乳91| 夜夜涩涩涩| 色约约视频一区二区三区四区五区 | 激情av在线| A一级操|