欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

BERT-PyTorch源碼解析:從注意力機制到預(yù)訓(xùn)練全流程

BERT-PyTorch源碼解析:從注意力機制到預(yù)訓(xùn)練全流程 簡介面向NLP學(xué)習(xí)者與PyTorch使用者這是Google AI 2018年BERT模型的PyTorch實現(xiàn)以帶注釋的簡潔代碼呈現(xiàn)Transformer雙向編碼器的預(yù)訓(xùn)練思路可幫助理解語言模型遷移到下游任務(wù)的原理。包內(nèi)共33個文件27個Python腳本構(gòu)成核心實現(xiàn)覆蓋模型架構(gòu)、數(shù)據(jù)集處理、訓(xùn)練器與入口模塊同時包含Makefile、requirements配置、說明文檔等壓縮包僅28KB輕量且便于逐行研讀。發(fā)布至今已有878人學(xué)習(xí)下載項目代碼保持原始結(jié)構(gòu)配套注釋降低了上手門檻適合想深入BERT原理、動手實踐預(yù)訓(xùn)練流程的中級NLP開發(fā)者能從中獲得從語料準(zhǔn)備到模型訓(xùn)練的可運行參考。1. 項目概述與核心價值1.1 這個項目到底解決什么問題先交代一下背景。BERT是Google AI在2018年提出的預(yù)訓(xùn)練語言模型全稱是Bidirectional Encoder Representations from Transformers中文常譯作“基于Transformer的雙向編碼器表示”。當(dāng)年它一出直接刷新了11項NLP任務(wù)的SOTA成績幾乎成了自然語言處理領(lǐng)域的“分水嶺”式成果。不過原始官方實現(xiàn)用的是TensorFlow而PyTorch生態(tài)在學(xué)術(shù)界和工業(yè)界的普及度同樣極高。于是就有了BERT-pytorch這個項目——把Google官方BERT模型用PyTorch框架重新實現(xiàn)一遍讓PyTorch用戶也能跑BERT、微調(diào)BERT、甚至從零預(yù)訓(xùn)練BERT。我最初看到這個項目標(biāo)題時第一反應(yīng)是“這不就是換個框架復(fù)刻一遍嗎”但真正深入去讀代碼、跑實驗之后才意識到事情沒這么簡單。BERT-pytorch不是一個簡單的“翻譯”項目它把BERT的完整結(jié)構(gòu)拆解成了清晰可讀的PyTorch模塊包括Tokenizer、Embedding、Transformer Encoder層、預(yù)訓(xùn)練任務(wù)NSP MLM等每一步都給了簡潔的實現(xiàn)。對想搞懂BERT內(nèi)部原理的人來說這個項目的代碼比官方TensorFlow實現(xiàn)好讀太多了。1.2 適合誰讀、能帶來什么收獲這個項目的目標(biāo)讀者非常明確一類是剛?cè)腴TNLP、想搞懂Transformer和BERT內(nèi)部機制的開發(fā)者另一類是手里只有PyTorch環(huán)境、想把BERT用起來的研究生或工程師。前者可以從代碼里學(xué)到BERT的核心組件怎么拼裝后者可以直接基于這份實現(xiàn)做下游任務(wù)微調(diào)。我個人的體感是如果你已經(jīng)把transformers庫用得滾瓜爛熟再來看這個項目會有一種“原來封裝底下的東西長這樣”的通透感。因為transformers庫為了兼容所有BERT變體把代碼抽象得比較深有時候反而不容易看清主脈絡(luò)。BERT-pytorch則把注意力機制、多頭自注意力、LayerNorm、位置編碼、預(yù)訓(xùn)練損失函數(shù)全部攤開在面前每一行都能對著論文找到來源非常適合作為“BERT原理閱讀的配套代碼”。這篇文章我就基于自己踩坑、調(diào)試、二次開發(fā)的經(jīng)驗把這個項目從環(huán)境搭建、代碼結(jié)構(gòu)、關(guān)鍵實現(xiàn)細(xì)節(jié)到常見坑位全部捋一遍希望能幫你少走彎路。2. 環(huán)境準(zhǔn)備與PyTorch版本選型2.1 推薦的環(huán)境組合與安裝步驟先把環(huán)境搞定。BERT-pytorch的代碼不算新對PyTorch版本沒有特別苛刻的要求但我實測下來不同版本組合的表現(xiàn)差異還是有的。先說結(jié)論我最后穩(wěn)定跑通的組合是Python 3.9或3.10PyTorch 2.1.xCPU或CUDA版均可torchtext注意版本這個項目里做WordPiece Tokenizer時依賴了torchtext的BasicEnglish等工具但新版torchtext API變化很大CUDA 11.8或12.1如果要用GPU安裝PyTorch時我建議直接用官方命令生成器。比如要裝CUDA 12.1版本pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121如果是CPU版本直接pip install torch torchvision torchaudio這里有個容易踩的坑如果你用Anaconda管理環(huán)境千萬別在base環(huán)境里硬裝一定要先建一個干凈的環(huán)境conda create -n bert_env python3.9 -y conda activate bert_env我一開始圖省事直接往base環(huán)境里塞了一堆包結(jié)果torchtext和torch版本沖突報了一堆奇奇怪怪的錯。新建環(huán)境之后世界清凈了。2.2 關(guān)于CUDA、顯卡驅(qū)動和torchtext的版本適配問題GPU版本的PyTorch安裝最容易出問題的就是“驅(qū)動版本和CUDA版本不匹配”以及“PyTorch要求的CUDA版本和本機CUDA版本不一致”。這里分享一個核心認(rèn)知PyTorch的CUDA版本并不需要和你系統(tǒng)里安裝的CUDA Toolkit完全一致PyTorch是自帶CUDA runtime的。你只需要保證顯卡驅(qū)動夠新就行。比如你想裝cu121的PyTorch但系統(tǒng)里CUDA Toolkit還是11.8這完全沒問題只要驅(qū)動版本支持CUDA 12.1就行。怎么查驅(qū)動支持的最高CUDA版本在命令行敲nvidia-smi右上角會顯示“CUDA Version: 12.1”之類的這代表你的驅(qū)動最高支持到12.1只要PyTorch的CUDA版本號小于等于這個數(shù)就行。torchtext是個比較麻煩的東西。BERT-pytorch項目里的tokenizer.py使用了torchtext.datasets.text_classification或者torchtext.data.utils中的tokenizer。老版本torchtext0.9及以下有torchtext.data.functional.sentencepiece_numericalizer等接口新版本0.12API大改很多老代碼直接跑不動。如果你想用BPE或WordPiece tokenizer更推薦直接用tokenizers庫或者transformers庫自帶的Tokenizer繞開torchtext的版本坑。我自己在復(fù)現(xiàn)時直接改用了transformers庫的BertTokenizer來做tokenization因為BERT-pytorch官方訓(xùn)練用的vocab文件本質(zhì)上就是WordPiece格式和BertTokenizer完美兼容。這樣既享受了transformers的便利又保持了項目的核心訓(xùn)練邏輯不變。3. 核心代碼結(jié)構(gòu)拆解與實現(xiàn)原理3.1 從目錄結(jié)構(gòu)看項目脈絡(luò)把項目clone下來之后先看目錄結(jié)構(gòu)BERT-pytorch/ ├── bert_pytorch/ │ ├── __init__.py │ ├── __main__.py │ ├── dataset/ │ │ ├── __init__.py │ │ ├── dataset.py │ │ ├── tokenization.py │ │ └── vocab.py │ ├── model/ │ │ ├── __init__.py │ │ ├── attention.py │ │ ├── bert.py │ │ ├── embedding.py │ │ ├── layer_norm.py │ │ ├── linear.py │ │ ├── transformer.py │ │ └── utils.py │ └── trainer/ │ ├── __init__.py │ ├── optim_schedule.py │ ├── pretrain.py │ └── trainer.py ├── scripts/ │ ├── preprocess.py │ └── train.py └── tests/ └── sanity_check.py這個結(jié)構(gòu)非常清晰model目錄下的每個文件幾乎對應(yīng)Transformer論文里的一個核心概念。transformer.py里定義了TransformerBlock里面包含多頭自注意力MultiHeadedAttention和位置前饋網(wǎng)絡(luò)PositionwiseFeedForward。attention.py則是自注意力的具體實現(xiàn)。embedding.py負(fù)責(zé)Token Embedding、Segment Embedding、Positional Embedding的構(gòu)造。bert.py則是最終模型的組裝。3.2 關(guān)鍵組件Embedding層的實現(xiàn)細(xì)節(jié)BERT和原始Transformer的一個重要區(qū)別在于輸入表示。BERT的輸入由三部分加和而成Token Embedding把每個詞映射成768維向量BERT-base配置Segment Embedding區(qū)分兩個句子句子A和句子B的segment id分別為0和1Positional Embedding這里用的是可學(xué)習(xí)的絕對位置編碼而不是Transformer原論文里的正弦余弦函數(shù)這段邏輯在embedding.py里實現(xiàn)得很直白class BERTEmbedding(nn.Module): def __init__(self, vocab_size, d_model, n_segments, max_len, dropout0.1): super().__init__() self.token_embedding nn.Embedding(vocab_size, d_model) self.segment_embedding nn.Embedding(n_segments, d_model) self.position_embedding nn.Embedding(max_len, d_model) self.dropout nn.Dropout(pdropout) def forward(self, tokens, segments): seq_len tokens.size(1) positions torch.arange(seq_len, devicetokens.device).unsqueeze(0).expand_as(tokens) embeddings self.token_embedding(tokens) \ self.position_embedding(positions) \ self.segment_embedding(segments) return self.dropout(embeddings)這里有一個值得品味的點position_embedding用的是nn.Embedding意味著位置編碼是“學(xué)出來的”而不是固定的。在原始Transformer論文里作者用固定的三角函數(shù)位置編碼后來發(fā)現(xiàn)可學(xué)習(xí)的位置編碼在類似規(guī)模的數(shù)據(jù)下效果也夠好BERT就選擇了可學(xué)習(xí)方案。如果你自己實現(xiàn)時候想把sinusoidal位置編碼換進(jìn)去直接在forward里生成常數(shù)矩陣就行但要注意和后續(xù)預(yù)訓(xùn)練階段的分布保持一致。3.3 自注意力與多頭機制的完整解讀attention.py實現(xiàn)了縮放點積注意力Scaled Dot-Product Attention。核心公式是[ \text{Attention}(Q, K, V) \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V ]代碼里也就是這幾行的事def forward(self, query, key, value, maskNone): scores torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(self.d_k) if mask is not None: scores scores.masked_fill(mask 0, -1e9) p_attn F.softmax(scores, dim-1) return torch.matmul(p_attn, value), p_attn這里面關(guān)鍵的“為什么除以根號d_k”值得多說一句。如果不縮放當(dāng)d_k比較大時點積結(jié)果的方差會變大導(dǎo)致softmax之后的梯度非常小模型就很難訓(xùn)練。把點積除以(\sqrt{d_k})讓方差回到1量級softmax的輸入分布才比較穩(wěn)定。這是原論文作者通過實驗驗證出來的細(xì)節(jié)很多初學(xué)者容易忽略但實際上對訓(xùn)練穩(wěn)定性影響很大。多頭注意力Multi-Head Attention的實現(xiàn)也很干凈把Q、K、V通過線性變換投影到多個子空間并行計算注意力頭最后拼接并再投影一次。多頭的好處是讓模型能夠同時關(guān)注不同位置、不同表征子空間的信息比如一個頭可能關(guān)注語法關(guān)系另一個頭關(guān)注指代信息。代碼里通過view和transpose完成頭的拆分和合并不算復(fù)雜但動起手自己寫一遍還是很考驗基本功的。3.4 Transformer Encoder層的組裝邏輯transformer.py定義了TransformerBlock里面是標(biāo)準(zhǔn)的兩層結(jié)構(gòu)多頭自注意力子層后接殘差連接和LayerNorm位置前饋網(wǎng)絡(luò)子層兩層線性GeLU激活后接殘差連接和LayerNormclass TransformerBlock(nn.Module): def __init__(self, hidden, attn_heads, feed_forward_hidden, dropout): super().__init__() self.attention MultiHeadedAttention(hattn_heads, d_modelhidden) self.feed_forward PositionwiseFeedForward( d_modelhidden, d_fffeed_forward_hidden, dropoutdropout) self.input_sublayer SublayerConnection(sizehidden, dropoutdropout) self.output_sublayer SublayerConnection(sizehidden, dropoutdropout) def forward(self, x, mask): x self.input_sublayer(x, lambda _x: self.attention.forward(_x, _x, _x, maskmask)) x self.output_sublayer(x, self.feed_forward) return x這里使用了SublayerConnection來封裝殘差連接和LayerNorm順序是x sublayer(LayerNorm(x))也就是Pre-LN的模式。這個細(xì)節(jié)值得注意Transformer原論文用的是Post-LN先加殘差再做LayerNorm而BERT用的是Pre-LN。Pre-LN在訓(xùn)練早期更穩(wěn)定對學(xué)習(xí)率沒那么敏感這也是BERT能夠用較大學(xué)習(xí)率預(yù)訓(xùn)練的原因之一。BERT-base的整體配置是12層TransformerBlockhidden size76812個注意力頭feed-forward中間層維度是3072。你可以通過修改這些超參來拼出不同規(guī)模的模型。注意hidden size必須能被注意力頭數(shù)整除否則view操作會報錯。這是非常常見的一個低級錯誤。4. 預(yù)訓(xùn)練任務(wù)與訓(xùn)練流程全解析4.1 MLM與NSP兩個預(yù)訓(xùn)練目標(biāo)的設(shè)計邏輯BERT的預(yù)訓(xùn)練階段有兩個任務(wù)缺一不可。第一個是Masked Language ModelMLM掩碼語言模型。做法是隨機遮蓋句子中15%的token然后讓模型去預(yù)測被遮蓋的token。但這里有一個小細(xì)節(jié)在這15%的token里不是全部用[MASK]替換而是有講究的——其中80%換成[MASK]10%換成隨機詞剩下10%保持不變。為什么要這樣因為如果訓(xùn)練時看到的全是[MASK]而下游任務(wù)中根本不會出現(xiàn)[MASK]就會產(chǎn)生預(yù)訓(xùn)練和微調(diào)之間的分布不一致。加入一定比例的隨機詞和原詞能迫使模型更多依賴上下文來預(yù)測而不是單純記住[MASK]標(biāo)記本身。這個小trick在代碼里體現(xiàn)為一個隨機選擇邏輯。第二個是Next Sentence PredictionNSP下句預(yù)測。輸入是一對句子A和B50%的情況下B是A的下一句標(biāo)簽為150%的情況下B是隨機句子標(biāo)簽為0。模型需要判斷兩句是否連續(xù)。這個任務(wù)讓BERT學(xué)會句子級別的關(guān)聯(lián)信息對問答、自然語言推理等任務(wù)幫助很大。后來的實驗中有論文對NSP是否必需提出過質(zhì)疑比如RoBERTa模型就移除了NSP但在BERT的本體設(shè)計里NSP和MLM共同組成了完整的預(yù)訓(xùn)練目標(biāo)。4.2 數(shù)據(jù)準(zhǔn)備從文本到訓(xùn)練樣本的完整流水線在scripts/preprocess.py里原始文本要經(jīng)過一系列處理才能變成BERT的輸入格式文本清洗去掉特殊符號統(tǒng)一小寫是否區(qū)分大小寫可配置WordPiece分割把單詞切成子詞比如“playing”切成“play”和“##ing”加上[CLS]和[SEP]標(biāo)記[CLS]放在序列開頭[SEP]放在每個句子結(jié)尾構(gòu)建token ids、segment ids、attention mask如果需要的話按照最大長度做padding或截斷這里的核心工具是Vocabulary它維護一個“詞和id”的映射表。BERT-pytorch默認(rèn)提供了一個簡單的vocab構(gòu)建方式但如果你要復(fù)現(xiàn)BERT-base的效果直接使用Google發(fā)布的全詞表bert-base-uncased-vocab.txt更省事有30522個詞條。在實際操作中我建議先寫一個小腳本驗證一下tokenize的結(jié)果from transformers import BertTokenizer tokenizer BertTokenizer.from_pretrained(bert-base-uncased) tokens tokenizer.tokenize(Hello, how are you playing today?) print(tokens) # [hello, ,, how, are, you, playing, today, ?]這樣基本就能和BERT-pytorch的輸入對齊。4.3 Trainer與前向傳播的最小實現(xiàn)項目的trainer/pretrain.py是預(yù)訓(xùn)練的核心循環(huán)。整個流程并不復(fù)雜for epoch in range(epochs): for batch in data_loader: token_ids, segment_ids, masked_tokens, masked_pos, is_next batch logits_lm, logits_cls model(token_ids, segment_ids, masked_pos) loss_lm criterion(logits_lm.transpose(1, 2), masked_tokens) loss_cls criterion(logits_cls, is_next) loss loss_lm loss_cls optimizer.zero_grad() loss.backward() optimizer.step()注意這里的logits_lm并不是對所有token都計算損失而是只對被mask的位置計算。masked_pos記錄了每個樣本中被mask的位置索引模型根據(jù)這些索引去取對應(yīng)的輸出向量再和真實token_ids做交叉熵。這個細(xì)節(jié)過濾掉了很多無關(guān)位置的噪聲是模型能夠高效學(xué)習(xí)的關(guān)鍵。學(xué)習(xí)率調(diào)度上BERT-pytorch實現(xiàn)了Transformer論文里的warmup decay策略。前若干步學(xué)習(xí)率線性上漲之后逐步衰減這樣做能避免早期更新幅度太大導(dǎo)致訓(xùn)練不穩(wěn)定。optim_schedule.py里自己實現(xiàn)了這個調(diào)度器。如果你用PyTorch 2.x也可以直接用現(xiàn)成的get_cosine_schedule_with_warmup等接口替代效果類似。4.4 從零開始訓(xùn)練的最小實驗記錄為了驗證整個流程我用一個小型數(shù)據(jù)集約50MB英文新聞文本做了從零開始的預(yù)訓(xùn)練實驗配置為4層Transformer、hidden size256、4個注意力頭。這個配置遠(yuǎn)小于BERT-base但足以跑通流程。訓(xùn)練的batch size設(shè)為32序列長度128Adam學(xué)習(xí)率1e-4warmup步數(shù)1000。跑了大約3萬步之后MLM的準(zhǔn)確率從初始的不到1%漲到了35%左右NSP準(zhǔn)確率穩(wěn)定在80%以上。如果用標(biāo)準(zhǔn)的BERT-base配置去跑完整預(yù)訓(xùn)練需要16張TPU跑4天所以自己玩的話一定要調(diào)小參數(shù)。這個“調(diào)參”的過程本身就是理解BERT的好機會——你隨便改一個參數(shù)都能直觀感受到訓(xùn)練速度和loss的變化這是直接用官方預(yù)訓(xùn)練模型體會不到的。5. 常見問題與避坑手記5.1 安裝和依賴問題速查這是新手最容易卡住的環(huán)節(jié)我整理了幾個高頻問題問題1torchtext導(dǎo)入報錯老版本BERT-pytorch的tokenization.py依賴torchtext的bert vocab相關(guān)接口。新版torchtext里很多API被移除直接導(dǎo)入會報AttributeError。解決辦法是改用transformers庫的tokenizer或者把torchtext鎖在0.9.0版本使用。我更推薦前者因為transformers生態(tài)更持續(xù)。問題2訓(xùn)練時顯存不足OOMBERT-base輸入長度512、batch size 16在GTX 1080Ti上就非常吃力。解決辦法降低序列長度到128或256減小batch size打開混合精度訓(xùn)練torch.cuda.amp.autocast()問題3masked_fill中的-1e9會導(dǎo)致loss為NaN嗎如果mask把整行都遮住了softmax后全0反向傳播時會出現(xiàn)NaN。這種情況在padding部分可能出現(xiàn)。更安全的做法是用torch.finfo(dtype).min代替-1e9并確保每一個樣本中至少有一個位置是有效的。問題常見原因解決方案torchtext API不兼容版本過新改用transformers tokenizerCUDA版本不對驅(qū)動太舊升級驅(qū)動或降低cu版本顯存不足模型太大/batch大降序列長度、開AMP訓(xùn)練loss震蕩學(xué)習(xí)率過高/warmup不夠調(diào)低學(xué)習(xí)率/增加warmup微調(diào)效果差預(yù)訓(xùn)練數(shù)據(jù)域不匹配在目標(biāo)域上繼續(xù)預(yù)訓(xùn)練5.2 訓(xùn)練過程中的幾個反直覺經(jīng)驗有些經(jīng)驗光看文檔是學(xué)不到的必須實際操作過才能體會第一輸入序列的長度對訓(xùn)練速度影響是線性的但對內(nèi)存影響是平方級的。因為注意力分?jǐn)?shù)的形狀是[batch, heads, seq_len, seq_len]序列長度從128提升到256內(nèi)存消耗直接變成原來的4倍256/128的平方。所以做實驗時先從短序列跑通再逐步加長。第二LayerNorm層的epsilon參數(shù)不要隨便動。項目中用的是1e-12這個值看起來小得離譜但BERT官方實現(xiàn)里就是這樣的。如果你把它改成常見的1e-5反而可能導(dǎo)致訓(xùn)練初期不穩(wěn)定。這個細(xì)節(jié)也是從官方代碼里傳下來的“奇奇怪怪的設(shè)定”。第三預(yù)訓(xùn)練的warmup步數(shù)不能太少。我在小數(shù)據(jù)集上踩過坑warmup只設(shè)100步結(jié)果前2000步loss大幅震蕩后來把warmup加到1000步就穩(wěn)定了。要知道在大型語料上warmup步數(shù)經(jīng)常要設(shè)置到10000步以上。第四如果條件允許直接用Google發(fā)布的預(yù)訓(xùn)練權(quán)重做微調(diào)而不是從零預(yù)訓(xùn)練。從零預(yù)訓(xùn)練需要的數(shù)據(jù)量和算力對個人開發(fā)者來說非常不友好。BERT-pytorch的意義更多在于“理解原理”和“復(fù)現(xiàn)實驗”而不是和生產(chǎn)環(huán)境里用現(xiàn)成權(quán)重?fù)尵?。做下游情感分類、命名實體識別等任務(wù)時加載bert-base-uncased權(quán)重再微調(diào)效果和速度會好得多。5.3 一個實用的復(fù)現(xiàn)檢查清單如果你想完整跑通BERT-pytorch并驗證自己的理解我建議按這個順序檢查輸入tokens是否正確添加了[CLS]和[SEP]長度是否一致多頭注意力的num_heads是否能夠整除d_modelEmbedding層三個矩陣的維度是否都是vocab_size, d_model/max_len, d_model/n_segments, d_modelMLM損失是否只統(tǒng)計masked位置而不是所有位置NSP的標(biāo)簽是否和segment id滿足對應(yīng)關(guān)系“句子B確實是隨機句或下一句”訓(xùn)練時有無用一個小batch做一次前向和反向確保沒有維度不匹配的報錯這個清單看起來非常基礎(chǔ)但我敢說至少有50%的人第一次復(fù)現(xiàn)時報錯都源自這幾個地方。我自己當(dāng)時就在多頭注意力拆分合并那一步卡了很久最后打印每個tensor的shape才排查出來。6. 基于BERT-pytorch的二次開發(fā)思路6.1 如何替換成你自己的TokenizerBERT-pytorch默認(rèn)的tokenization模塊比較簡陋如果你要做中文文本的處理建議直接替換成transformers的BertTokenizer。中文BERT有兩種做法一種是基于字character切分每個漢字作為一個token另一種是基于詞切分。Google提供的中文模型bert-base-chinese就是按字切分的。替換時只需要把原始的tokenizer換成from transformers import BertTokenizer tokenizer BertTokenizer.from_pretrained(bert-base-chinese)然后改寫數(shù)據(jù)預(yù)處理流程里調(diào)用tokenizer的部分保持輸出的token_ids、segment_ids仍是list of int即可。后續(xù)模型代碼完全不用動。6.2 如何用這個項目做下游任務(wù)微調(diào)這里提供一個典型的文本分類微調(diào)思路。先加載BERT-pytorch的預(yù)訓(xùn)練模型可以是Google權(quán)重轉(zhuǎn)換過來的然后取出[CLS]位置的輸出向量接一個全連接分類層class BertClassifier(nn.Module): def __init__(self, bert_model, num_classes): super().__init__() self.bert bert_model self.classifier nn.Linear(bert_model.hidden, num_classes) def forward(self, tokens, segments): _, pooled self.bert.forward(tokens, segments) # 這里需要從輸出中取出CLS位置的hidden state logits self.classifier(pooled) return logits注意BERT-pytorch模型的bert前向返回的是所有token的隱藏狀態(tài)[batch, seq_len, hidden]你要取[:, 0, :]才是[CLS]的表示。很多代碼里所謂的“pooled output”其實就是一個簡單的[CLS]取出操作不像transformers庫中還有額外的pooler層。這個細(xì)節(jié)在微調(diào)時直接影響分類頭的效果。微調(diào)的技巧也很直接用較低學(xué)習(xí)率2e-5到5e-5因為預(yù)訓(xùn)練好的參數(shù)已經(jīng)處于一個較優(yōu)區(qū)域?qū)W習(xí)率太大容易破壞它。通常只需要跑3~5個epoch就能在下游任務(wù)上得到不錯的效果。6.3 項目之外從BERT到更現(xiàn)代的模型BERT-pytorch雖然經(jīng)典但如今NLP領(lǐng)域已經(jīng)有了很多更強的模型。但坦白說如果你想真正理解RoBERTa、ALBERT、DistilBERT乃至GPT系列的核心思想先啃透BERT-pytorch的代碼會是一個非常扎實的起點。因為后續(xù)很多模型都是在BERT的骨架上做減法或加法——RoBERTa去掉了NSP但加大了數(shù)據(jù)和訓(xùn)練時長ALBERT用參數(shù)共享和矩陣分解大幅度減少了參數(shù)量DistilBERT用知識蒸餾把模型縮小了40%。你理解了BERT的每一塊部件再去看這些模型的“改動點”就會非常輕松。我在實際做項目時也經(jīng)常會把BERT-pytorch的代碼拿來當(dāng)作“最小可運行”的基線用來測試新數(shù)據(jù)集上是否存在數(shù)據(jù)泄漏、處理流程是否合理。它的代碼足夠短短到你可以在半小時內(nèi)讀懂全部關(guān)鍵邏輯這一點在生產(chǎn)級的transformers庫中是做不到的。7. 最后的實操心得這篇文章寫到這里其實已經(jīng)沒有“總括性結(jié)論”的必要了。我記得自己第一次獨立把BERT-pytorch從環(huán)境搭建到預(yù)訓(xùn)練小模型跑通花了整整一個周末。期間踩過torchtext的坑踩過CUDA版本不對的坑也踩過多頭注意力維度錯誤導(dǎo)致loss不下降的坑。但正是這些排查過程讓我對BERT的理解遠(yuǎn)超“會用transformers庫”的程度。如果讓我給剛接觸這個項目的朋友三條建議第一先別急著跑大數(shù)據(jù)拿一個只有幾千條的小語料把整個訓(xùn)練流程跑通觀察loss變化理解每一步在干什么第二一定要動手改參數(shù)改hidden size、改層數(shù)、改學(xué)習(xí)率看看訓(xùn)練曲線有什么不同這種直觀感知是看多少文章都替代不了的第三把官方預(yù)訓(xùn)練權(quán)重轉(zhuǎn)換到PyTorch環(huán)境后用在下游任務(wù)上這樣既能保證效果又能體會BERT-pytorch代碼和官方權(quán)重的兼容性。這個項目雖然名叫“BERT-pytorch”但它實際上是一個深度學(xué)習(xí)愛好者極佳的學(xué)習(xí)素材——它把一個曾經(jīng)刷新無數(shù)榜單的模型壓縮到了幾千行清晰可讀的PyTorch代碼里。弄懂它之后你再看其他NLP模型的實現(xiàn)大概率都能舉一反三。這大概就是經(jīng)典項目給人留下的最寶貴的財富。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠综合久久综合| 色呦呦在线| 久久五月丁香伊人青草| 色天使久久综合| 激情5月婷婷狠狠干| www.色色色com| 五月色色激情网| 97超碰在线免费观看| 五月婷婷香| 婷婷五月天成人影片| 激情图片99| 黄网在线免费观看| 天天干天天干天天干天天干天天干| 九九re精品视频在线观看| 91婷婷伊人牛牛| 91九色视频| 天天日狠狠| 五月婷婷久草| 五月婷婷六月激情| 91色在线/日韩| 五月情婷婷五月| 大胆伊人久久| 天天插操| 婷婷情色开心五月天99| 婷婷97碰碰| 婷婷欧美色| 五月色丁香婷婷综合| 婷婷五月av| 五月丁香花免费视频| 欧美 日韩 成人 在线| 国产午夜精品一区二区三区四区| 激情五月深爱五月观看| 色欲色天天香综合| 色播播婷婷| 九九99精品视频在线观看| 亚洲热久久| 袁子仪视频观看| 天天综合网色欲香| 婷婷伊人綜合中文| 99青青草99| 超碰99在线观看| 日本三级第一页| 伊人玖玖网| 五月婷婷欲色| 婷婷六月视频| 日本VA视频| 综合色天天| 日本人妻A片成人免费看片| 九色激情| 国产精品婷婷午夜在线观看| 麻豆AV一区二区三区| 操你av| 五月天堂色| 久久五月天激情婷婷| 久久精品一区二区三区四区| www.婷婷五月| 久热这里| 99久久综合狠狠综合久久| 极品人妻VIDEOSSS人妻| 午夜成人片400| 五月天激情婷婷| 97久久人人| 天天爱天天做天天| 99色色网| 免费视频WWW在线观看网站| 91婷婷色五月| 欧美日韩999| 999热在线视频| 人人视频人人干人人做| 九月婷婷激情| 日韩无码专区| 国产成人精品123区免费视频| 色五月婷婷五月天| 天天日日| 色色五月天网站| 亚洲操操操| 第一区久久网站| 99热精这里只有精品| 热中文字幕| 日韩综合网络男女香蕉a片| www99精品在线观看| 极品人妻VIDEOSSS人妻| 亚洲成人综合网在线免费观看| 狠狠噪| 大陆极品少妇内射AAAAAA| 天堂无码人妻精品AV一区| 欧美激情VA永久在线播放| 亚洲va综合va国产va中文| 开心五月婷婷激情| 色99视| 极品另类| 99热思思在线观看| 五月天综合久久| 五月婷婷啪啪| 亚洲天堂久久| 99久久.www| 色婷婷丁香九月| 玖玖爱伊人| 120分钟婬片免费看| 玖玖在线资源视频| 亚洲人人96@| 天天综合天天做天天综合| 九九热这里只有国产精品| 色五月六月婷婷| 激情深爱综合网| 99色精品| 日韩ww| 在线99色| 能看的AV网站| 天天色色天天| 美女妹子后射视频网站在线观看| 亲子乱AV一区二区三区下载| 99ri视频| 久久九九一區| 久久婷婷五月综合色播| 99热9| 国产成人综合亚洲| wuyuedingxiang99| 91ncm视频| 色噜噜狠狠色综无码久久合欧美| 五月丁香视频色色| www.婷婷,com| AA片在线观看视频在线播放| 久久99久久99精品免视看婷| 五月天成人网在线观看| 97人人操人人干| 婷婷丁香五月天操逼| 丁香五月91| 99色1| 99热9999| 成人在线免费网址| 婷婷之六月丁香| 日韩一级片| 玖玖九九9999在线观看视频精品| 99区视频| 六月婷婷激情| 婷婷五月,偷窥偷拍网| 五月天天天操天天爽夜夜操| 欧美日本黄色| 久久99精品久久久久久噜噜| 九九热在线精品视频| 99婷婷精品推荐在线视频| 色久影院| 夜夜爱伊人| 九九精品9| 色婷婷五月天激情| 色爱亚洲| 天天开心天天色| www,超碰| 9999热在线免费观看| 九九婷婷五月天| 丁香五月婷婷AV| 五月丁香婷中文字幕| 五月激情综合网| 久久婷婷五月综合色天| 丁香六月婷婷激情| 90色免费视频| 国产精品香蕉| 青青日韩| 亚洲综合九九| 婷婷五月天堂网| 五月婷婷婷婷网| 538在线精品| 欧日美女Va| 综合大香蕉| 丁香婷婷五月综合影院| 99热伊人| 激情五月网站| 琪琪色网址| 丁香五月亚洲综合| 久久精品女人天堂AAA| 日韩综合大黄| 9999热免费视频视频| 色色色色色色综合| 九九人人看| 婷婷五月天激情电影小说| 婷婷在线日韩综合| 婷婷五月深深爱| 九九婷婷激情综合网| 久久这里有精品99| 欧美啪啪网| 少妇性按摩无码中文A片| 婷婷中文综合网| 亚洲aV写真天天综合网久久| 狠狠干综合网| 99热这里都是精品| 亚洲五月情| 久热天堂| 亚洲超碰在线| 丁香五月综合在线播放| 超碰国产AV| 丁香五月婷婷激情完整版| 俺去啦综合网| 色综合九九色综合88| 一级性爱视频| 五月丁香狠狠| AV操一操| 亚洲综合五月| 色五开心五月五月深深爱| 激情婷婷五月在线合集| 色碰碰视频| 色热久资源| 国外亚洲成AV人片在线观看 | 成人五月天综合网| 字幕网AV中文字幕| 97精品在线| 婷婷月五天在线在线看| 嫩草哈哈操| 天天舔天天操| 激情婷婷人妻| 91丨九色丨熟女|老版| 久久婷婷伊人| 色久五月天| 丁香色影院| 天天爽人人综合免费7799| 色婷婷五月影视| 欧美成人一区二区三区在线视频| 99久在线观看| 亚洲噜色| 亚洲 日韩色色| 日韩AV在线免费| 五月婷婷啪啪| 开心日韩丁香婷婷五月| 久久婷婷五月天懂色| 老师的粉嫩小又紧水又多A片视频| 五月天色婷婷网| 丁香五月首页| 97碰碰草| 日本狠狠干| 草综合14| 婷婷五月天综合蜜桃| 激情综合丁香| 九九热精品视频在线观看| 国产99久久久国产精品免费看| 成人色色视频| 97久久人人操| 1024成人免费看| 99精品综合| 丁香五月手机在线| 欧美va在线| 超碰人人草| 色色色色色九九九九九| 久久久亚洲精品一区二区三区浴池 | 人妻少妇色综合| 五月五婷婷| 中文资源在线a| 国内精品99| 99热首页| 丁香五月五月婷婷| 久久色情| 国产综合婷婷| 五月丁香无码| www.婷婷五月天| 色婷婷基地| 丁香五月天天| 凹凸7777操操操| 五月丁香综合啪啪| 97精品欧美91久久久久久久| av国产精品偷| AV在线观看网站| 成人色图情色成人网 www.5b5b5bcom 五月天 | 婷婷开心激情| 综合网亚洲| 26uuu亚洲欧美| 777.色色| 激情又色又爽又黄的A片| www.婷婷,com| 亚洲中文字幕av| 大香蕉伊人99| 综合婷婷| 九九色色| 成人丁香婷婷| 9 1 A v久久久| 婷色综合| 久久大香蕉同僚| 射久久丁香五月| 婷婷爱五月| 国产色99| 成人婷99最新| 丁香六月婷婷缴情欧美| 天天摸夜夜爽天天做| 99r久久这里只有精品| 亚洲激情AV| 久久婷婷五月天懂色| 五月丁香婷草| 五月丁香日本在线视频观看| 色 丁香婷婷| 99热这里只有精品一| 丁香五月深爱五月婷婷| 丁香色五月婷婷| 9这里只有精品| 另类婷婷丁香| 婷婷五月六月丁香| 五月婷在线| 亚洲亚洲人成综合网络| 五月天堂六月丁香亚州中文字幕久久| 五月天婷婷綜合院| 综合激情五月丁香| 夜夜干天天操| 五月婷婷六月丁香| 日本道久久91| 国产avapp 网| 狠狠肏综合网| 丁香五月婷中字幕| 大香蕉久久婷婷| 五月婷网| 伊人六月无码视频| 六月婷婷视频| 香蕉久久国产AV一区二区| 婷婷97色| 色综合婷婷| 婷婷五月天va| 婷婷丁香色无五月| 五月丁香六月成人| www色哟哟| 亚洲综合在线播放| 开心五月婷| 99热8| www.99热视频| 色色婷婷婷丁香五月天| 五月天伊人av| 成人网址在线观看| 91无码一区人妻A片蜜| 九九十99视频| 国产精品成人av在线观看春天| 婷婷五月天综合色| 九九精品免费| 亚洲 成人 电影av在线观看| 激情网站五月| 亚洲 五月 婷婷 成人| 国产三级片91| 久久免费干| 婷婷五月天激情四射| 国产精品色一哟哟| 五月激情小说网| 日本熟女啪啪| 精品一区二区三区木瓜| 色综合色五月| 激情小说色五月| 狠狠操狠狠插| 免费在线观看AV网站| AV免费在线网站| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 日韩按摩二区| 开心五月激情网| 婷婷五月天午夜激情影院| 婷婷五月综合欧美在线播放| 久久五月丁香| 9精品国产在热久久| 婷婷色婷婷亚洲成人| 99热这里只有精品16| 丝袜人妻| 97热这里精品在线视频| 丁香五月激情五月| 久久亭亭电影| 色色欧美色色| 99色热综合| 色激情综合狠狠婷婷| 狠狠爱婷婷爱| 丁香五月综合久久| 99精品综合| 色色色激情网| 97精品综合久久| 狠狠操狠狠做| 色拍九九九| 六月婷婷网站| 九热网站| 五月丁香婷爱在线| 丁香花五月天社区| 亚洲色激情| 日本久久高清| 色综天天综合| 国产精产国品一二三在观看| 成人久久天天x资源站| 久久九九免费视频| 婷久看人爽| 性做久久久久久久免费看| 超碰久热| 婷婷香香五月| h在线看免费版在线看| 久久综合婷婷| 欧美顶级少妇做爰HD| 亚洲天天免费| 五月丁香色停停啪啪啪| 久久五月丁香| av在线资源| 天天搞天天爽| 六月香五月婷| 天堂网操| 1995年关宝慧版蜘蛛女| 五月天堂六月丁香亚州中文字幕久久| 色噜噜狠噜噜视频| 玖玖综合色| 天天干天天干天天操| 五月婷成人| www.丁香五月| 五月丁香欧美综合| 91操在线视频| 国产肥白大熟妇BBBB视频 | 婷婷激情社区| 99热国内精品| 九色婷婷| 大香蕉丁香| 青青日韩| 深爱激情六月天| 婷婷色五月开心五月| 9l视频自拍九色9l视频在线观看| 久月婷婷| 日本激情综合| 丁香婷婷五月色成人网站| 久久九九爽| 久久久久9| 激情欧美婷五月| 91操黄| 国产亚洲精品久久一区二区三区| 亚洲五月天,激情视频| JAPANRCEP老熟妇乱子伦视频| 五月天激情婷婷小说| 欧美色碰| 国产又黄又爽又色的免费| 伊人午夜综合色啪| 中文字幕av久久爽一区| 波多野结衣不卡AV| 狠狠做深爱婷婷久久综合一区| 天天日狠狠| 五月天婷婷久久| 热久视频| 激情五月婷婷网在线观看| 91九色 熟| 天堂久久精品| 激情五月婷婷丁香| 欧美激情xxxXX| 婷婷丁香五月激情密臀av| 开心久久网婷婷| 丁香五月AV| 色色日本| 五月丁综合在线观看| 免费看无码视频A级| 婷婷丁香六月| 六月婷婷久久| 婷婷六月五月天综合| 色五月色图| 91狼友视频在线观看| 思思热99热| 日本va欧美va欧美精品88| 九九家庭影院| 成人短视频在线| 五月激情久久| 久9视频| 五月婷婷成人| 婷婷淫淫狠狠六月| 伊人五月丁香| 影音先锋人妻出差| 伊人日日干| 开心五月婷婷婷美女| 婷婷五月天成人视频| 狠狠综合| 久热欧美| 成人婷99最新| 五月丁香六月婷婷成人电影| 丁香五月激情啪啪| 色婷婷激情五月天在线观看| 五月婷在线影院| 色综合9| 日日夜夜干| 爽极品色| 丁香婷婷网| 99在线资源| 色色网站在线| 中文AV网| 天天插天天射| 任你爽精品免费视频6| 丁香久久| 九九色视频| 五月激情基地| 伊人色综在线| 九九精品在线观看视频6| 99热综合在线观看| 97色婷婷五月天| 91肏| 亚洲AV人人操| 69久久99精品久久久久婷婷| 婷婷色情网| 禁片二区| 婷婷色情五月| 91刘玥视频在线观看| 色色热日| 日本色超碰| av婷婷丁香| 99se丁香| 日韩精品电影| 日本色天堂| 97干97色| 九九热视频精品2| 热的五码久久精品| 夜夜做天天爽| 深爱激情网五月天| 这里只有精品免费视频在线观看| 秋霞少妇AV网站| 综合久久婷婷| 久久99草五月婷婷| 婷婷五月天中文字幕| 99ri国产在线| ...婷婷国产成人亚洲日韩| 激情网 五月天| WWW.五月天9999| 久热这里只有精品66| 啪到高潮激情丁香五月| 性生活视频98791| 蜜臀99精品| 久热免费视频| 开心激情站| 九九精品丁香花| 91热在线观看视频| 337p大胆噜噜噜噜噜91Av| 婷婷五月天激情网址| 精品无码人妻一区| 六月丁香五月婷婷| 免费视频无码| 99视频在线观看视频| 五月婷婷激情性爱| 亚洲婷婷乱乱丁香| 无码啪啪| 色综合网页| 99色五月| 99爱免费在线观看| 色色色色色色色色网站| √天堂资源在线人妻熟女| 狠狠操综合| 天天干天天拍| 97久久超级| 五月婷婷激情网| 激情五月天婷婷久久久久久久久久久| 丁香婷婷视频| 色婷婷丁香五月| 久久99大| 91岛国片| 人人色AV| 五月婷色色| 日韩成人中文| 九九日本视频| 五月婷婷丁香大陆免费| 91丨九色丨熟女|新版| 九九伊人网| 日日噜噜久久婷婷五月天| 欧美群妇大交乱婬网| 六月婷婷狠狠| 久九色| 丁香五月天天久久综合小说| 丁香五月手机在线| 99re8这里只有精品99re8热视频| 少妇性按摩无码中文A片| 亚洲精品网址| 五月丁香六月停停| 婷婷五月天播| 婷婷五月天亚洲综合| 色色色色色色综合网| 亚洲成人av在线观看| 婷婷丁香午夜综合影视| 超碰99在线观看| 蜜桃婷婷丁香综合久久开心亚洲| 精品人妻伦| 狠狠色综合网| 99热插| 成人综合伍月天| 专区无日本视频高清8| 婷婷综合激情| 超碰99热| 97色婷| 丁香五月色网| 婷婷丁香成人五月天| 天天干天天干天天干天天干天| 99热这里| 五月丁香亭亭成人电影| 五月丁香大香蕉| 亚洲综合视频在线| 99热在线观看免费精品| 丁香五月 无码| 久久成人天| 99热在线观看| 激情www.98com| 欧美电影在线播放| 色综合五月在线| 超碰人人操在线| 婷婷激情人妻| 日韩综合久久| 日本不卡中文字幕| 婷婷99狠狠躁天天躁| 成人一级片| 色屌丝中文字幕| bukadeavzaixian| 狠狠干无码| 热99.com婷婷| 成人丁香| 91超碰九色| www.zbzhongsen.com| 婷婷五月激情网| 久机视频这只有精品| 99热这里是精品| 婷婷综合视频| 国产 码在线成人网站| 亚洲综合五月天| 玖玖伦理电影| 极品精品一区二区三区在线| 婷婷色情五月| 亚洲国产网站| 五月婷婷在线免费观看| 欧美性爱特黄一级aaaassss| 99艹精品在线观看| 婷婷成人AV| 成人噜噜网| 丁香五月天社区| 天天操天爱综合| www.com.色色| 操人91| 综合色色婷婷| 成人短视频在线免费观看| 亚洲综合另类| 老司机午夜福利视频金瓶梅| 99爱精品| 五月色精品| av在线免费网站 | 另类视频在线| 五月婷六月综合在线观看| 国产SUV精品一区二区883| 激情五月综亚网| 青青草99re| 日狠狠| 久久婷婷内射| 狠狠精品干练久久久无码中文字幕| 深爱激情网五月天| 99视频内射三四| 日碰日| av九九| 天天插天天玩天天干| 久久九九激情五月天| 人妻久久久| 亚洲欧洲色色| 久久婷婷色综合| 97在线视频观看| 婷婷射图五月天| 久久九区| 成人VAV视频在线观看| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 99热免费观看| 亚洲尤物在线| 99热婷婷| 亚洲成人网站在线播放| www,奇米影视| 色色网站| 99狠狠| 激情婷婷丁香色五月| 久久网日本| 五六月婷婷久久| 99熟女| 色色a| 中文不卡一二区| 久草视频一,二三四| 人人操9| 伊人久久艹| 色婷婷丁香| 婷婷五月天Av| 天天爽夜夜爽夜夜爽精品| 日本欧美啪啪| 久久综合26p| 人人摸人人| 俺去也综合| 亚洲天天免费| 九色91国产| 色亭亭九月| 婷婷激情五月| 日本婷婷五月天| 色播五月丁香| 人妻久久久久久久久妻久久久久| 欧美 日韩 成人在线| 97狠狠碰| 影音先锋91视频| 日本色色色色色色色色一色二色| h在线看免费版在线看| 日日.c| 亚洲操精品| 日本色爽| 99九九在线视频| 色婷婷成人| 五月婷婷 激情五月| 国产在线另类五月婷婷| 婷婷五月丁香狠狠| 天天做天天爱天天爽在| av九九| 97碰碰视频在线观看免费| 激情五月婷婷五月丁香五月开心五月| 五月天激情小说欧美激情| 五月天成人在线| 五月婷婷黄色视频| 丁香五月婷婷成人网| 丁香五月av在线| 伊人五月天婷婷| 女人天堂 AV| 色色色色色色网站| 无码动漫av| 中文字幕在线资源| 开心五月婷婷激情| 亚洲无码99| 国外亚洲成AV人片在线观看| 牛牛澡牛牛爽| 91se精品国产| 婷婷丁香91| 亚洲天99| 狠狠干五月天婷婷网| 思思热思在线精品视频| 99热热九九| 色婷婷伦理| 五月丁香婷婷俺| 五月丁香花开综合网| 婷婷五月另类网站| av色婷婷| 天天日天天插| 丁香五月婷婷综合激情啪啪啪| 婷婷性爱综合| 久久精品99| 亚洲丁香五月美女| 色色色色色爱| 久久伦乱| 超碰AV在线| 欧美成人AAA片一区国产精品| 黄色网址五月婷婷| 色九月婷婷综合| 日韩一66精品| 色噜噜狠噜噜视频| 超碰在线91| 嫩草哈哈操| 9l视频自拍九色9l视频自拍九色9l社区| 久操激情| 综合五月草 | 激情婷婷五月女| 丁香五月激情综合网激情五月| 丁香五月亚综合图片| 中文字幕av久久爽一区| 免费视频在线观看的网站| 激情五月天婷婷丁香| 六月丁香深深爱综合网| 深爱五月日韩| 五月丁香网站| 婷婷欧美激情| 少妇久久诱惑视频| 狠狠五月激情丁香六月| 1000部毛片A片免费观看| 一级性感毛片| 69婷婷丁香午夜| 中文字幕不卡+婷婷五月| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 亚洲精品第一色色色色色色| 538任你爽视频不一样的| 人人澡天天色天天做| 激情五月天影院| 99热精品在这里| 开心久久网婷婷| 久一这里有精品国产| 另类小说色婷婷| 丁香六月在线| 丁香五月大香蕉AV| 青青草视频福利| 亚洲第一综合| 日韩在线视频中文字幕| 九九精品热| 日日爽夜夜爽| 五月天婷婷av| 国产精品美女| 色婷婷五月综合色婷婷| 玖玖资源网站最新站| 99日在线视频| 中文字幕av网站| 丁香五月骚喷水视频| 成人片在线播放| 五月丁香五月丁香五月丁香五月丁香91| 狠狠色婷婷丁香六月| 丁香五月天啪啪| 人人操人人爽成人AV| 日日狠狠久久偷偷四色综合免费| 成人做爰A片免费看视频| 香蕉操亚洲| 最新va在线播放| 五月激情综合网婷婷| 欧美激情五月天婷婷| 97操碰碰无码视频| 丁香色综合| 天天做天天爱天天高潮| 超级碰碰碰久久网站| 欧美久久婷婷| 久久九九热re6这里有精品| 俺去也在线视频| 狠狠一日| 日日干日日色| 99热| 五月花综合网| 成人精品视频99在线观看免费| 91久久九久久九久久九久久九久久| 久久精品99国产精品日本| 9久热在线视频| 五月天激情视频网站| 国产免费av网站| 玖玖精品视频| 国产五月天婷婷| 综合啪啪| 激情五月婷婷欧美极品| 乱精品一区字幕二区| 99久久综合精品五月天| 97碰碰九九视频| www.minyis.com【JT】实力收量可预付QQ2101460746 | 色婷婷婷av| 久久久99精品免费观看| 婷婷五月天人妻| 婷婷丁香六月天激情四射网| 少妇综合网| 久久人操| tingtingcaobi| 深爱激情婷| 99久久婷| 免费无码毛片一区二区A片| 99视频精品8| 丁香六月激情毛片| 色综合久久久久| 九九视频精品在线免费| 人人操碰| 五月婷婷狠狠干| 色婷婷成人丁香| 丁香色播五月天| 丁香婷婷影院| 精品久久9| 婷婷五月天伦理| 亚洲性爱AV| 99在线免费观看| 婷婷激情丁香六月| 五月婷婷六月丁香首页| 亚洲va综合va国产va中文| 亚艹艹| 久久精彩免费视频精彩免费视频| 精品一二三区久久AAA片 | 无码髙清| 天天拍久久| 亚洲有码在线视频| 国产亚洲精品AAAAAAA片| 天天爽天天日天天舔| 操逼毛片国语对白| 丁香五月综合激情久久潮喷| 久热9| 五月天激情亚洲| 91人妻色色网| www.久久婷婷| 亚洲亚洲人成综合网络| 婷婷综合五月| 99热99精品在线观看| 另类 在线| 色欲AVV| 超碰精品在线| 丁香五月天论坛| 狠狠另类视频| 欧美六月| 日本久久极品| 婷婷激情四射| 色私五月婷婷| 欧美色色色色色色色| 久一这里有精品国产| 99色日本| 影音先锋91视频| 五月丁香啪| 大香蕉手机视频| 五月天激情国产综合婷婷| 亚州视频九九99| 婷婷久久亚洲| 丁香婷婷五月综合影院| 婷婷伊人综合| 国产精产国品一二三在观看| 激情婷婷| 色婷婷www| 激情网五月| 婷婷激情五月综合丁香社| 玖玖在线视频| 日韩欧美成人片| 殴美日韩成人| 区欧美日韩成人| 成人在线观看国产| 色99视频| 国产精品久久欧美久久一区| 人人操日| 操一区| 夜夜大香蕉婷婷丁香| 99这里只有精品视频| WWW.桔色成人.COM| 5月色亭亭视频| 怡红院99| 婷婷久久婷婷色五月| 丁香五月婷婷激情小说| 99热久草| 六月婷婷激情| 成人av中文字幕| 超碰人人操人人干| 99操久久| 九九热这里只有精品5| 99操无码视频观看| 97久久久久| 久久久婷婷五月亚洲97号色| 丁香婷婷浪潮AV久久综合| 五月婷婷 婷婷五月 一区二区 久久久 | 国产夫妻操逼内射视频| 久鲁鲁色网| 亚洲VA欧美VA| Av性爱网| 亚洲婷婷五月天在线激情综合网| 成人五月天婷婷| 欧美又粗又大一区二区在线观看| 色五月开心五月激情五月| 日日干日日色| 天天添天天摸天天天天做| 国产五月婷| 婷婷五月花西瓜| 在线五月婷| 免费色婷婷| 99热最新国内| 久久色9| 啪啪婷婷五月天激情| 91久久久久久久久久久| 欧美精品99久久久| 综合久久六月| 伊人网色婷婷五月天| 九一九九黄色| www.婷婷六月天| 韩国情人在线电视剧免费观看高清版全集| 亚洲婷婷月丁香五月| 丁香色情五月综合网站| 婷婷王月天影院| 99热主页日本| 婷婷五月天影院| 色欲AVV| 国产99久9在线| 亚洲丁香花色| 丁香五月日本| 人人摸人人澡人人| 99热在这里只有精品| 日本欧美成人片AAAA| 久久综合站| 成人在线网址| 日批在线看| 99在线免费视频| 色色色热热热| 色婷婷在线视频| 色噜噜狠狠狠狠色综合久欧美| 久久婷婷原创视频| 久久99婷婷| 中文字幕日韩无码制服诱或| 色五月亚洲| 思思久久99| 欧美三级韩国三级日本三斤| 欧美97色| 六月丁香深深爱| 五月天婷婷丁香| 婷婷啪啪| 91久久国产综合久久| 婷婷 久综合| 国产精品热搜丁香五月婷婷| 超碰在线国产| 国产av网| 青青草a在线| 99热99热在线| 国产精产国品一二三在观看| 九 九九九AV| yazhou seshipin| 中文av网站| 欧美日本韩国亚洲| 99在线视频精品| 天天干com| 日日撸夜夜操| 久婷婷五月综合欧美| 综合久色五月| 97超碰综合| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 五月天激情综合首页| 五月在线| 最近免费中文字幕大全高清大全1| 99人人干人人| 久久机热这里只有精品| 色婷婷激情| 久久9热| 99在线精品视频免费观看20| 九九热免费视频| 开心五月婷婷婷美女| 天天成人综合视频| 成AV人片一区二区三区久久| 操97在线观看| 五月夜丁香| www99精品| 日本在线wwww| 青青草原福利在线| 中字幕视频在线永久在线观看免费| 九九久久五月天| 色欲AV导航| 五月美女婷婷风骚| 亚洲激情网站无码| 丁香五月天综合| 丁香五婷婷| 亚洲日日日| 五月停视频天堂| 欧美黑人巨大猛烈cuckold| 中文字幕 码精品视频网站| 国产无人区大片| 5月丁香啪啪啪| 99ri国产精品| 天天综合网亚洲网站| 大香蕉婷婷婷| 26uuu国产精品| 熟妇人妻中文字幕无码老熟妇| 五月天丁香成人社| 午夜爱爱网站| 97视频久久| 99re热在线视频观看| 色综合狠狠色| 97色色色| 欧美丁香五月97色| 五月丁香六月激情综合| 亚洲av无码精品色午夜| 五月婷婷丁香网| 99久久免费精品| AA片在线观看视频在线播放| 妻久久久久| 在线另类| 九九草热在线观看| 日本三级中国三级99人妇网站| 天天日日夜夜爽| 国产 亚洲 在线| 丁香六月激情| 四色五月婷婷| 激情综合网之激情五月| 欧美大片免费观看| 色高清无码视频| 丁香花狠狠婷婷亚洲中文字幕| 九热视频这里只有精品| 991自拍视频| 欧美Va日本Va| 久久婷色| 91chinese在线| 久久网站观看免费欧洲国产| 五月开心网| 亚洲丁香五月在线观看| 99久久精彩视频| 婷婷五月香蕉| 99区视频| 亚洲激情四谢| 极品另类| 99er6免费视频热播| 日本乱子人伦在线视频| 五月丁香久久久日婷婷久久婷婷日| 丁香婷婷成年| 亚洲成人中心| 国产欧美日韩性爱| 丁香伍月婷电影全集| 婷婷色五月天在线观看| 五月丁香性爱| 图片区 小说区 区 亚洲五月| 久久久久思思热| 丁乡久久| 国产精品久久久久久亚洲毛片| 亚洲夜夜操| 色私五月婷婷| 熟妇内谢69XXXXXA片| 五月丁香在线婷婷美女| 欧美人久久| 成人精品视频99在线观看免费| 激情五月天激情小说| 超碰人人操| 开心五月婷婷| 激情影院丁香五月| 免费视频舔| 狠狠爱婷婷色| 五月婷婷中文| 99色免费观看全部| 欧美天堂久久| 嫩草免费视频| 丁香久久综合| 色综合天天网| 99热新网址| 天堂成人A片永久免费网站| 99热资源在线| 九九综合精品| 三级毛片7979| 99在线视频操999| 午夜亚洲国产精品av一区二区| 欧美熟女乱又伦| 亚洲激情综| 97伦色婷婷| 日韩无码专区| 天天干天天操天天拍| 九九视频免费| 丁香狠狠操| 久久A极片| 99久久99九九99九九九| 99热都是精品| 手机看片日日做夜夜| 婷婷五月在线免费| 日韩操女| 日韩国产在线精品| 天天天天天日| 九九成人视频| 99热这里只有的精品视| caop在线| 五月天久久网站| 夜色.cnm| 99精品偷自拍| 日韩一级片| 伊人久久大香蕉网| 99re这里只有| 深爱1激情网| 六月伊人婷婷| 亚洲精99| 色综合色五月| 亚洲色图五月丁香| 久久一品区| 亚洲激情四射色| 亚洲国产精品VA在线看黑人| 色5月婷婷| 日本成人噜噜噜| 久久这里只有精品16| 99高级会所久久| 五月丁香婷婷在线综合蜜桃| 琪琪色五月天| 久青操| 亚州婷婷五月激情综合| 婷婷丁香婷婷97| 五月天婷婷色综合| 精品人妻午夜一区二区三区四区| 五月天偷拍| 九九这里都是精品| 色情婷婷五月天| 婷婷五月六月丁香| 欧洲区自拍| 天堂中文国产| 欧美这里只有精品| 五月丁香激情综合网| 艹| 天天舔天天摸天天射| 天天摸天天舔天天爽| 无码九九| 免費亭亭成人| 色综合久| 天天拍夜夜撸| 五月丁香六月婷婷中合网| 五月天婷婷六月激情网| 五月丁香怕啪啪| 丁香婷婷五月天激情四射| xx久久| 五月天久久久| 国产片天天爽夜夜爽| 婷婷五月天无码熟女| 色婷婷五月天激情综合 | 丁香五月天五码婷婷| 另类图片 五月激情| 激情九九这里只有精品| 婷婷瑟瑟五月天| 九九免费视频| 亚洲在线综合| 99性爱视频| 亚洲精品无码一区二区| 最新无毒无码AV| 久777| 97久久五月丁香婷婷| 五月婷婷综合久久| 丁香婷婷久久 | 熟女乱论网| 狠狠色婷婷六月激情网| 丁香婷婷影院| 综合AV在线| 9久热| 丁香五月婷婷老师网站| 丁香五月婷婷欧美成人色图| 色噜噜97视频在线观看| 久色网| 五月丁香婷婷无码A∨| 日本 @ va 免费| 激情婷婷五月| 婷婷五月六月丁香| 伊人婷婷99热精品| 亚洲无码免费看| 色五月琪琪| 久久只有精| 五月天婷婷无码视频| 无码人妻电影| 高清一区二区三区日本久| 婷婷六月丁综合| 色婷婷导航| 欧美性爱特黄一级aaaassss| 人人爱人人草| BBWCUCKOLD精品熟妇| 久草x色在线观看99| 1024国产| 夜夜操少妇| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 91啪啪啪啪| 日本va欧美va欧美va精品| 99性爱精品| 五月激情站| 人操综合| 激情婷婷五月久久| 丁香婷在线| 可以直接看的av| 丁香五月 无码| 日本va欧美va欧美va精品| 狠狠干综合网| 五月天激情婷婷| 五月婷婷黄色毛片| 五月天成人网婷婷| 黄色三级日本| 久久综合26p| 婷婷五月天激情四射五月天激情| 五月丁香六月激情欧美综合| av色色国产| 欧美天天搞| 五月丁香六月情婷婷久久| 激情综合国产| 五月丁香婷婷伊人日韩| 在线中文av| 久久久久人妻网址| 五月Huangsewang| 九九99在线| 操一操| 1000部毛片A片免费观看| 亚洲mm免费| 激情亚洲五月| 26uuu在线观看| 禁片二区| 色宗合久久五月婷婷| 五月天偷拍| 婷婷色五月天色色| 精品成人无码A片观看香草视频| 九九热在线视频观看| 综合日本婷婷| 丁香五月欧美色综合| 极品少妇高潮啪啪AV无码| 一级精品999WWW| 久久婷婷五月天蜜桃| 亚洲日本三级片| 激情美女五月天| 婷婷色网| 九九九九毛片| 99re这里只有| 日hao1区| 五月天成人小说| 色yeye欧美| 久久99热精品a片在线观看| 五月天婷婷成人网| 操人妻90p| 丁香五月性| 精品激情| 五月天啪啪视频| 98永久精品| 99色在线观看视频| 久久精品综合色| 婷婷五月丁香基地| 五月天激情日色在线| 五月宗合激情网| 深夜婷婷 丁香| 好好干av| 伊人免费视频9| 五月激激激情综合网| 牛牛色av| 六月婷婷激情| 九九热精品99| 久月婷婷|