欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

BERT情感分析實(shí)戰(zhàn):IMDB影評(píng)微調(diào)與文本分類全解析

BERT情感分析實(shí)戰(zhàn):IMDB影評(píng)微調(diào)與文本分類全解析 簡(jiǎn)介基于BERT模型的情感分析項(xiàng)目旨在對(duì)IMDB影評(píng)進(jìn)行正面或負(fù)面情感的二分類面向自然語(yǔ)言處理入門者、課程設(shè)計(jì)或畢業(yè)設(shè)計(jì)選題的學(xué)生也適合作為NLP教學(xué)中的配套實(shí)戰(zhàn)案例。壓縮包體積僅4KB共包含5個(gè)文件其中4個(gè)為Python腳本1個(gè)為使用說(shuō)明文檔腳本分工明確分別覆蓋數(shù)據(jù)準(zhǔn)備與核心分類邏輯、模型訓(xùn)練流程、GPU環(huán)境測(cè)試以及PyTorch框架下的推理實(shí)現(xiàn)說(shuō)明文檔則提供運(yùn)行步驟與環(huán)境配置注意事項(xiàng)便于快速搭建實(shí)驗(yàn)環(huán)境。所有源碼均經(jīng)過本地編譯并通過運(yùn)行項(xiàng)目難度適中內(nèi)容經(jīng)過助教審定適合在理解BERT原理后通過實(shí)際代碼熟悉tokenizer、微調(diào)、評(píng)估等完整環(huán)節(jié)。項(xiàng)目結(jié)構(gòu)緊湊入口清晰便于按需修改超參數(shù)與數(shù)據(jù)路徑目前已有226人學(xué)習(xí)下載作為一份輕量級(jí)、即刻可跑的參考實(shí)現(xiàn)能夠幫助讀者減少環(huán)境配置彎路更專注于模型與算法本身。1. 從一條IMDB影評(píng)到正面/負(fù)面標(biāo)簽這個(gè)BERT項(xiàng)目真正值得跑的地方第一次解壓這個(gè)“基于BERT模型的情感分析項(xiàng)目”時(shí)我預(yù)想的是看到一整套手寫Transformer結(jié)果打開code.py發(fā)現(xiàn)核心代碼比想象中短很多項(xiàng)目并沒有從零實(shí)現(xiàn)BERT而是借助 Transformers 生態(tài)里的BertForSequenceClassification加載預(yù)訓(xùn)練權(quán)重后在IMDB影評(píng)上做二分類微調(diào)。它解決的問題很實(shí)際給定一段英文影評(píng)文本判斷它是正面還是負(fù)面。這個(gè)項(xiàng)目難度適中特別適合正在做NLP課程任務(wù)、或者想從 TF-IDF 和 Word2Vec 時(shí)代跨到預(yù)訓(xùn)練模型時(shí)代的開發(fā)者。源碼里文件分工也清晰兩個(gè)環(huán)境自檢腳本負(fù)責(zé)確認(rèn)PyTorch和GPU狀態(tài)code.py負(fù)責(zé)訓(xùn)練Examination.py負(fù)責(zé)推理驗(yàn)證。跑通它等于把BERT微調(diào)的標(biāo)準(zhǔn)流程完整走了一遍。2. 項(xiàng)目結(jié)構(gòu)與技術(shù)選型壓縮包里那五個(gè)文件分別干什么解壓之后看到的文件數(shù)量不多一個(gè)主目錄名BERT-IMDB-analysiser-main下面五個(gè)獨(dú)立文件外加一個(gè)使用說(shuō)明.txt。這里有個(gè)容易被忽略的細(xì)節(jié)GPU TEST.py和PyTorch TEST.py這兩個(gè)文件名里帶了空格在命令行里執(zhí)行時(shí)會(huì)被拆成多個(gè)參數(shù)所以后面所有命令都得給文件名加雙引號(hào)。不用急著打開代碼從文件命名就能看出一條作業(yè)流程環(huán)境自檢在前訓(xùn)練在后推理驗(yàn)證收尾。這種編排方式在課程源碼包里很常見比把全部邏輯塞進(jìn)一個(gè)main.py更好排查——哪一步掛了就去對(duì)應(yīng)的文件里看。2.1 文件職責(zé)拆解從環(huán)境檢測(cè)到推理驗(yàn)證文件職責(zé)什么時(shí)候運(yùn)行使用說(shuō)明.txt記錄運(yùn)行順序、環(huán)境要求、常見報(bào)錯(cuò)說(shuō)明全程參照PyTorch TEST.py驗(yàn)證PyTorch能否正常創(chuàng)建張量并完成計(jì)算第一次運(yùn)行前GPU TEST.py檢測(cè)CUDA版本、顯卡是否可用打印顯存信息第一次運(yùn)行前code.py核心主流程加載IMDB數(shù)據(jù)、tokenizer編碼、BERT微調(diào)、保存模型環(huán)境自檢通過后Examination.py加載訓(xùn)練好的模型對(duì)測(cè)試句子做預(yù)測(cè)并輸出標(biāo)簽與概率訓(xùn)練完成之后PyTorch TEST.py和GPU TEST.py這兩個(gè)腳本本質(zhì)上是環(huán)境哨兵。前者會(huì)做一次最簡(jiǎn)單的張量運(yùn)算如果這里就報(bào)錯(cuò)說(shuō)明 PyTorch 本身沒裝好跟BERT一點(diǎn)關(guān)系都沒有后者用來(lái)確認(rèn)你裝的 PyTorch 是否帶CUDA支持。很多課程作業(yè)翻車都不是模型問題而是環(huán)境問題把檢查腳本單獨(dú)拆出來(lái)是這套源碼里比較實(shí)用的設(shè)計(jì)。code.py承擔(dān)了完整流程數(shù)據(jù)集讀入、tokenizer、微調(diào)、保存。按常見寫法它內(nèi)部大概是“數(shù)據(jù)下載 - 編碼 - 構(gòu)造 DataLoader - 加載 BertForSequenceClassification - 兩層 for 循環(huán)訓(xùn)練 - save_pretrained”這一段主線。Examination.py不需要重新訓(xùn)練它讀入code.py保存的模型目錄對(duì)一段文本做推理打印結(jié)果是positive還是negative以及對(duì)應(yīng)的概率。如果把這幾個(gè)文件全部打開對(duì)比你會(huì)發(fā)現(xiàn)重復(fù)導(dǎo)入的代碼不少比如兩個(gè)測(cè)試腳本里都有import torchcode.py里大概率也有同樣的片段。這是課程級(jí)源碼的正常狀態(tài)可讀性優(yōu)先于 DRYDont Repeat Yourself二次開發(fā)時(shí)不要一上來(lái)就重構(gòu)先跑通再合并。這套文件結(jié)構(gòu)的真正價(jià)值在于把一個(gè)大任務(wù)拆成了三個(gè)階段驗(yàn)證環(huán)境、訓(xùn)練、推理。對(duì)開發(fā)者來(lái)說(shuō)最大的收益是出錯(cuò)時(shí)定位范圍小環(huán)境階段報(bào)錯(cuò)不動(dòng)模型代碼訓(xùn)練階段報(bào)錯(cuò)不動(dòng)數(shù)據(jù)代碼。很多項(xiàng)目喜歡把所有內(nèi)容塞進(jìn)一個(gè)入口一旦報(bào)錯(cuò)就要從頭到尾找這套源碼的結(jié)構(gòu)明顯更適合邊跑邊學(xué)。2.2 技術(shù)選型拆解為什么是PyTorch Transformers BERT技術(shù)組件在這個(gè)項(xiàng)目里的作用BERTbert-base-uncased預(yù)訓(xùn)練語(yǔ)言模型提供上下文相關(guān)的語(yǔ)義表示BertForSequenceClassificationBERT加分類頭的完整封裝直接輸出二分類 logitsPyTorch張量運(yùn)算、DataLoader、反向傳播的底層框架Transformers 庫(kù)統(tǒng)一提供模型、tokenizer、保存與加載 APIIMDB 數(shù)據(jù)集25,000 條訓(xùn)練、25,000 條測(cè)試的正面/負(fù)面影評(píng)做情感分析有不少路線。傳統(tǒng)一點(diǎn)的做法是 TF-IDF 加邏輯回歸速度快但看不到語(yǔ)義連 “not good” 這種否定都容易判錯(cuò)。BERT 的方案把每個(gè)詞放到整個(gè)句子的上下文里去表示“not good” 整體會(huì)形成一個(gè)強(qiáng)烈負(fù)向的語(yǔ)義向量這是這個(gè)項(xiàng)目在效果上能跑出高準(zhǔn)確率的核心原因。舉個(gè)例子I loved this movie和I did not love this movie這種句子在詞向量模型里距離可能很近但在 BERT 的 attention 機(jī)制里模型能明確看到not對(duì)后面情感詞的修飾關(guān)系。選擇BertForSequenceClassification而不是手動(dòng)再包一層 Linear是因?yàn)?Transformers 庫(kù)已經(jīng)替你把池化輸出接到分類層了。使用的時(shí)候只需要指定num_labels2模型內(nèi)部會(huì)自動(dòng)計(jì)算交叉熵?fù)p失訓(xùn)練代碼因此變得很干凈。如果你去看 code.py 的訓(xùn)練部分大概率就是標(biāo)準(zhǔn)的 forward loss.backward optimizer.step 三段式不需要自己寫分類頭。為什么用bert-base-uncased而不是其他模型因?yàn)镮MDB是英文語(yǔ)料uncased 會(huì)把大小寫統(tǒng)一對(duì)影評(píng)這種任務(wù)影響很小還能減小詞表壓力。如果你以后想換成roberta-base代碼層面幾乎零改動(dòng)這也是預(yù)訓(xùn)練模型時(shí)代選型帶來(lái)的擴(kuò)展性。IMDB 數(shù)據(jù)集本身對(duì)個(gè)人PC也比較友好單條影評(píng)大多一兩句話tokenize 之后長(zhǎng)度普遍在 200 以內(nèi)。即使沒有 GPU用 CPU 把max_length限制在 128 也能在可接受時(shí)間內(nèi)跑完只是慢。理解這一點(diǎn)后面調(diào)參數(shù)才不至于一上來(lái)就選 512。這份源碼是經(jīng)過本地運(yùn)行驗(yàn)證的腳本之間配合好了可以連續(xù)跑通不是缺頭缺尾的半成品。3. 環(huán)境準(zhǔn)備與首次運(yùn)行先跑兩個(gè)測(cè)試腳本再?zèng)Q定要不要?jiǎng)佑?xùn)練拿到源碼先別急著訓(xùn)練。我的習(xí)慣是把環(huán)境自檢放在第一位這幾步全部通過訓(xùn)練階段報(bào)錯(cuò)就只需要懷疑代碼邏輯不需要再回頭懷疑環(huán)境。3.1 環(huán)境清單與兩個(gè)測(cè)試腳本先證明你的機(jī)器能跑Python 版本建議保持 3.8 以上PyTorch 按你自己的顯卡驅(qū)動(dòng)裝 CUDA 版沒有顯卡就裝 CPU 版Transformers 庫(kù)負(fù)責(zé)模型與 tokenizerdatasets 庫(kù)負(fù)責(zé)數(shù)據(jù)讀取。如果是在干凈機(jī)器上重建環(huán)境我一般會(huì)用一個(gè)獨(dú)立虛擬環(huán)境把這些裝齊避免污染系統(tǒng) Python。安裝依賴時(shí)常見的做法是pip install torch transformers datasets如果在 GPU 機(jī)器上建議先去確認(rèn)驅(qū)動(dòng)支持的 CUDA 版本再安裝對(duì)應(yīng)版本的 torch這樣后面能省不少事。依賴裝完先跑第一個(gè)測(cè)試腳本python PyTorch TEST.py腳本名里的空格不能省這一點(diǎn)值得單獨(dú)強(qiáng)調(diào)因?yàn)橹苯訌?fù)制文件名去終端執(zhí)行會(huì)報(bào)“找不到文件”之類的問題。這個(gè)腳本的本質(zhì)是讓 PyTorch 做一次張量運(yùn)算只要它打印出計(jì)算結(jié)果說(shuō)明框架安裝正常。如果出現(xiàn)ModuleNotFoundError: No module named torch說(shuō)明 torch 根本沒進(jìn)當(dāng)前環(huán)境。再跑第二個(gè)python GPU TEST.py它會(huì)檢測(cè) CUDA 是否可用、打印顯卡型號(hào)和顯存大小。如果顯示 CUDA 不可用通常有兩種可能裝的是 CPU 版 torch或者顯卡驅(qū)動(dòng)和 CUDA 版本不匹配。這個(gè)階段我建議按顯卡驅(qū)動(dòng)支持的 CUDA 版本重新安裝對(duì)應(yīng) torch而不是去降驅(qū)動(dòng)版本后者容易引起別的軟件連鎖問題。提示這兩個(gè)測(cè)試腳本全部通過再進(jìn)入訓(xùn)練。任何一個(gè)失敗后面訓(xùn)練的所有報(bào)錯(cuò)都可能是同一個(gè)原因反復(fù)出現(xiàn)。3.2 跑通主流程code.py訓(xùn)練與關(guān)鍵參數(shù)環(huán)境沒問題就直接執(zhí)行python code.py第一次運(yùn)行會(huì)看到模型權(quán)重下載和數(shù)據(jù)集加載的日志然后進(jìn)入 epoch 循環(huán)。訓(xùn)練過程中每過幾百個(gè) step 會(huì)打印一次 loss正常趨勢(shì)是從 0.7 附近往下掉到第三個(gè) epoch 末尾應(yīng)該落在 0.2 以下。如果你看到的 loss 一直不降或者反而升高優(yōu)先檢查學(xué)習(xí)率和數(shù)據(jù)標(biāo)簽是否對(duì)得上。訓(xùn)練環(huán)節(jié)有幾個(gè)參數(shù)決定了最終效果和顯存占用參數(shù)建議值在這個(gè)項(xiàng)目里的作用epochs3IMDB 小任務(wù)三輪足夠再多容易過擬合batch_size1616G 顯存下穩(wěn)妥顯存小就改 8learning_rate2e-5BERT 微調(diào)標(biāo)準(zhǔn)學(xué)習(xí)率1e-5 更保守max_length128超過部分截?cái)嘤霸u(píng)文本大多足夠用num_labels2與 positive / negative 兩個(gè)類別對(duì)應(yīng)這里的batch_size16是顯存與訓(xùn)練穩(wěn)定性的權(quán)衡單個(gè) step 在 16G 顯存的單卡上大概占 10G 左右。如果你用 CPU 跑batch_size可以保持 16只是每個(gè) step 會(huì)慢很多。max_length調(diào)成 512 能保留更多原文信息但 attention 的顯存占用會(huì)顯著上升對(duì)IMDB這類短文本收益很小。learning_rate千萬(wàn)不要用默認(rèn)的 1e-3預(yù)訓(xùn)練模型微調(diào)用大學(xué)習(xí)率很容易把已經(jīng)學(xué)好的語(yǔ)義表示“沖”掉。如果code.py里用的是load_dataset(imdb)這種聯(lián)網(wǎng)加載方式在網(wǎng)絡(luò)不佳或離線環(huán)境下會(huì)卡很久。常見做法是提前把IMDB原始數(shù)據(jù)解壓到本地目錄再用data_dir參數(shù)指過去具體的解決方案我在第 5 章展開。訓(xùn)練結(jié)束后會(huì)保存一個(gè)模型目錄里面至少包括配置文件和權(quán)重文件。最后執(zhí)行推理驗(yàn)證python Examination.py這個(gè)腳本會(huì)加載剛才保存的模型目錄對(duì)測(cè)試句子或測(cè)試集做預(yù)測(cè)輸出標(biāo)簽和概率。到這里一條“環(huán)境自檢 - 微調(diào) - 預(yù)測(cè)”的完整鏈路就通了。如果你中間臨時(shí)中斷訓(xùn)練也不用擔(dān)心模型保存一般在全部 epoch 結(jié)束后才執(zhí)行損失的只是已經(jīng)跑掉的進(jìn)程時(shí)間如果想隨時(shí)保存中間狀態(tài)就得自己在訓(xùn)練循環(huán)里加 checkpoint 邏輯。4. 核心代碼拆解從Tokenizer到softmax的完整鏈路原包里的code.py和Examination.py我不打算逐行貼出來(lái)因?yàn)閮蓚€(gè)文件核心邏輯高度標(biāo)準(zhǔn)化。下面按最常見結(jié)構(gòu)把關(guān)鍵段落重構(gòu)一遍你拿到源碼后可以逐行對(duì)照參數(shù)含義是一致的。4.1 數(shù)據(jù)管線Tokenizer與DataLoader怎么搭BERT 不能直接吃原始字符串它要求先把文本切成 token再轉(zhuǎn)成 input_ids 和 attention_mask。這一步由 tokenizer 完成from datasets import load_dataset from transformers import BertTokenizer from torch.utils.data import DataLoader model_name bert-base-uncased tokenizer BertTokenizer.from_pretrained(model_name) def encode(examples): return tokenizer( examples[text], truncationTrue, paddingmax_length, max_length128, ) raw_data load_dataset(imdb) tokenized raw_data.map(encode, batchedTrue) tokenized.set_format(typetorch, columns[input_ids, attention_mask, label]) train_loader DataLoader(tokenized[train], batch_size16, shuffleTrue) test_loader DataLoader(tokenized[test], batch_size64)這段代碼的核心是map(encode, batchedTrue)它會(huì)一次性處理整批文本速度比逐條循環(huán)快得多。paddingmax_length的含義是每一條都補(bǔ)齊到 128 的長(zhǎng)度這樣 DataLoader 才能拼成規(guī)整的張量truncationTrue用來(lái)把過長(zhǎng)的影評(píng)截?cái)?。這里選擇固定長(zhǎng)度 padding而不是動(dòng)態(tài) padding是為了代碼簡(jiǎn)單穩(wěn)定——雖然會(huì)浪費(fèi)一點(diǎn)存儲(chǔ)和算力但對(duì)課程級(jí)項(xiàng)目來(lái)說(shuō)先求跑通比追求極致效率重要。set_format(typetorch)把數(shù)據(jù)集字段轉(zhuǎn)成 PyTorch 張量訓(xùn)練時(shí)可以直接喂給模型。字段里只留了input_ids、attention_mask和label沒有token_type_ids因?yàn)閱尉浞诸惾蝿?wù)里這個(gè)字段全為 0不傳也影響不大。DataLoader 的batch_size訓(xùn)練用 16、測(cè)試用 64 是常見做法推理階段不需要計(jì)算梯度可以放寬 batch 大小加速評(píng)估。4.2 訓(xùn)練循環(huán)BertForSequenceClassification的微調(diào)過程模型加載是這套代碼里最省事的一行from transformers import BertForSequenceClassification, AdamW model BertForSequenceClassification.from_pretrained(model_name, num_labels2) optimizer AdamW(model.parameters(), lr2e-5) model.train() for epoch in range(3): for batch_idx, batch in enumerate(train_loader): outputs model( input_idsbatch[input_ids], attention_maskbatch[attention_mask], labelsbatch[label], ) loss outputs.loss loss.backward() optimizer.step() optimizer.zero_grad() if batch_idx % 500 0: print(fepoch {epoch 1}, step {batch_idx}, loss {loss.item():.4f})from_pretrained做的事情很多下載權(quán)重、加載配置、初始化分類頭。num_labels2會(huì)自動(dòng)在 BERT 輸出之上接一個(gè)二分類線性層forward 時(shí)傳入labels參數(shù)損失函數(shù)已經(jīng)在模型內(nèi)部算好了不需要在外面手動(dòng)交叉熵。AdamW是 BERT 微調(diào)場(chǎng)景的標(biāo)準(zhǔn)選擇它把權(quán)重衰減和 Adam 的動(dòng)量解耦對(duì)預(yù)訓(xùn)練模型更友好。學(xué)習(xí)率 2e-5 幾乎是這類任務(wù)的默認(rèn)值如果你發(fā)現(xiàn)訓(xùn)練震蕩可以降到 1e-5。loss.backward()之后必須optimizer.step()再optimizer.zero_grad()順序?qū)懛磿?huì)導(dǎo)致梯度累加到上一個(gè) batch。這里有個(gè)容易忽略的點(diǎn)model.train()會(huì)打開 Dropout訓(xùn)練過程中隨機(jī)丟棄一部分神經(jīng)元這是防止過擬合的機(jī)制。如果直接拿訓(xùn)練模式的模型去做推理預(yù)測(cè)結(jié)果會(huì)帶隨機(jī)性所以 4.3 節(jié)里必須先切換model.eval()。4.3 推理腳本Examination.py如何輸出正面/負(fù)面訓(xùn)練結(jié)束后code.py一般會(huì)把模型目錄保存到本地Examination.py再把它加載回來(lái)執(zhí)行預(yù)測(cè)from transformers import BertTokenizer, BertForSequenceClassification import torch model_dir ./bert-imdb-model tokenizer BertTokenizer.from_pretrained(model_dir) model BertForSequenceClassification.from_pretrained(model_dir) model.eval() label_map {0: negative, 1: positive} def predict(text): inputs tokenizer(text, return_tensorspt, truncationTrue, paddingmax_length, max_length128) with torch.no_grad(): logits model(**inputs).logits prob torch.softmax(logits, dim-1) idx int(torch.argmax(prob[0])) return label_map[idx], float(prob[0][idx]) print(predict(This movie kept me on the edge of my seat.))推理和訓(xùn)練的差異主要在兩點(diǎn)一是torch.no_grad()關(guān)閉梯度追蹤省顯存也加速二是需要手動(dòng)softmax把 logits 轉(zhuǎn)成概率才能得到一個(gè)可解釋的置信度。torch.argmax取出概率最大的下標(biāo)再通過label_map映射成positive或negative。必須提醒的是IMDB 數(shù)據(jù)集的標(biāo)簽定義是 0 對(duì)應(yīng)負(fù)面、1 對(duì)應(yīng)正面這里不要憑直覺寫反否則整個(gè)測(cè)試集的準(zhǔn)確率會(huì)接近 0。model.eval()這行也省不得Dropout 層在推理時(shí)一旦還開著結(jié)果就會(huì)出現(xiàn)“同一條文本每次預(yù)測(cè)不一樣”的玄學(xué)問題。訓(xùn)練完保存模型時(shí)優(yōu)先用save_pretrained它會(huì)把config.json和權(quán)重一起保存下次加載才能恢復(fù)分類頭的配置如果只用torch.save(model.state_dict())換一臺(tái)機(jī)器或者換個(gè)腳本加載就很容易丟失模型結(jié)構(gòu)信息。5. 避坑與排查BERTIMDB訓(xùn)練里最常見的問題現(xiàn)場(chǎng)這一章整理的是這類項(xiàng)目里最容易翻車的五個(gè)點(diǎn)每一條都是實(shí)打?qū)崟?huì)卡住人的問題。它們的共性在于基本不是模型結(jié)構(gòu)問題而是環(huán)境、數(shù)據(jù)和工程習(xí)慣問題。逐條對(duì)照排查比重新讀一遍BERT論文有用得多。5.1 數(shù)據(jù)集一直卡在 Downloading 不動(dòng)現(xiàn)象運(yùn)行code.py后日志長(zhǎng)時(shí)間停留在 Downloading進(jìn)度條幾乎不前進(jìn)最后報(bào)連接錯(cuò)誤換網(wǎng)絡(luò)重試問題依舊。原因load_dataset(imdb)默認(rèn)配置會(huì)在線獲取數(shù)據(jù)集。IMDB 原始數(shù)據(jù)有幾百M(fèi)B在網(wǎng)絡(luò)不佳或離線環(huán)境下拉取基本不可能完成。解決提前準(zhǔn)備本地?cái)?shù)據(jù)把下載好的 IMDB 原始文件解壓成aclImdb目錄然后改動(dòng)數(shù)據(jù)加載這一行raw_data load_dataset(imdb, data_dir./aclImdb)這樣datasets庫(kù)會(huì)直接讀取本地目錄不再走網(wǎng)絡(luò)。模型權(quán)重也一樣先下載bert-base-uncased到本地目錄加載時(shí)直接指目錄路徑即可。這條經(jīng)驗(yàn)后面換大數(shù)據(jù)集同樣適用凡是遇到load_dataset卡住第一反應(yīng)都應(yīng)該改成離線加載。5.2 GPU TEST.py說(shuō)能用訓(xùn)練卻沒幾輪就OutOfMemoryError現(xiàn)象GPU TEST.py打印顯卡顯存充足訓(xùn)練到第一個(gè) epoch 末尾報(bào)CUDA out of memory進(jìn)程直接退出。原因顯存不足通常是參數(shù)組合不當(dāng)。batch_size32加上max_length512attention 矩陣的占用是平方級(jí)增長(zhǎng)的再大的卡也可能被吃掉。解決先降batch_size到 8 或 16max_length保持 128。如果還想保持大 batch 的穩(wěn)定性可以加梯度累積用時(shí)間換顯存optimizer.zero_grad() loss.backward() if (batch_idx 1) % 4 0: optimizer.step() optimizer.zero_grad()這段邏輯的意思是每 4 個(gè) batch 更新一次參數(shù)效果上接近把 batch_size 放大 4 倍但顯存占用沒有同步放大。這是訓(xùn)練腳本里非常實(shí)用的顯存降級(jí)手段。5.3 訓(xùn)練loss在降Examination.py卻把每條都判成同一個(gè)標(biāo)簽現(xiàn)象訓(xùn)練時(shí) loss 從 0.7 降到 0.2看起來(lái)一切正常驗(yàn)證準(zhǔn)確率卻接近 50%或者所有結(jié)果都是同一個(gè)標(biāo)簽。原因最常見的是標(biāo)簽映射寫反了。IMDB 里 0 表示 negative、1 表示 positive如果推理腳本里把 0 映射成了 positive那整個(gè)結(jié)果就正好反過來(lái)。另一個(gè)常見原因是推理時(shí)忘了model.eval()Dropout 還在隨機(jī)丟棄神經(jīng)元輸出自然不穩(wěn)定。解決先確認(rèn)label_map和訓(xùn)練數(shù)據(jù)集真實(shí)標(biāo)簽一致label_map {0: negative, 1: positive}如果不確定可以打印訓(xùn)練集里前十條的 label 值驗(yàn)證一下。推理時(shí)統(tǒng)一加model.eval()和torch.no_grad()。保存模型用save_pretrained不要用裸的state_dict這樣配置和映射關(guān)系不會(huì)跨文件丟失。5.4 兩個(gè)測(cè)試腳本都通過訓(xùn)練卻報(bào)某個(gè)算子版本不支持現(xiàn)象PyTorch TEST.py和GPU TEST.py都輸出正常訓(xùn)練到第一次 forward 時(shí)卻報(bào)某個(gè)算子不存在或版本過舊。原因PyTorch 版本和 Transformers 庫(kù)版本不匹配或者環(huán)境里混裝了多套 Python 包讓模型加載到了另一份舊版依賴。解決用一個(gè)干凈的虛擬環(huán)境統(tǒng)一安裝避免系統(tǒng)里多套 Python 互相搶包。我一般會(huì)在項(xiàng)目跑通后立刻執(zhí)行pip freeze requirements.txt下次重建環(huán)境時(shí)直接恢復(fù)雖然笨但最穩(wěn)??鐧C(jī)器遷移已訓(xùn)練好的模型時(shí)加載權(quán)重可以先用 CPUmodel BertForSequenceClassification.from_pretrained(model_dir, map_locationcpu)再把模型.to(cuda)移回 GPU。這樣做能把權(quán)重加載問題跟算子版本問題分開排查避免兩個(gè)變量混在一起無(wú)從下手。5.5 同樣的代碼跑了兩次準(zhǔn)確率差一大截現(xiàn)象兩次訓(xùn)練參數(shù)完全相同第一次準(zhǔn)確率 93%第二次只有 88%波動(dòng)超出預(yù)期。原因沒有固定隨機(jī)種子。DataLoader 的 shuffle、模型里的 Dropout、張量初始化都會(huì)帶來(lái)隨機(jī)性多線程環(huán)境下波動(dòng)會(huì)被放大。解決在訓(xùn)練入口統(tǒng)一固定種子import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)需要注意的是固定種子并不能保證結(jié)果完全一致GPU 上某些算子本身有非確定性但設(shè)置之后常見波動(dòng)會(huì)明顯收窄。課程報(bào)告里寫“復(fù)現(xiàn)實(shí)驗(yàn)”時(shí)這個(gè)操作幾乎是必需的。6. 二次開發(fā)把自己的CSV變成新的情感分類任務(wù)項(xiàng)目跑通之后最常見的需求是把IMDB換成自己的數(shù)據(jù)做成一個(gè)通用文本分類器。改造點(diǎn)其實(shí)很少。6.1 換數(shù)據(jù)源CSV兩列就夠了訓(xùn)練管線對(duì)數(shù)據(jù)的要求很簡(jiǎn)單一列文本一列標(biāo)簽。準(zhǔn)備一個(gè) CSVtext,label This movie is great!,positive Boring and long,negative然后把load_dataset(imdb)換成from datasets import load_dataset raw load_dataset(csv, data_files./my_reviews.csv, splittrain) raw raw.train_test_split(test_size0.2, seed42) label2id {negative: 0, positive: 1} raw raw.map(lambda x: {label: label2id[x[label]]})Tokenizer 和訓(xùn)練循環(huán)不需要?jiǎng)游⒄{(diào)完就在自己的數(shù)據(jù)上生效了。需要注意 CSV 里不要有多余的空格列l(wèi)abel 大小寫要完全匹配否則 map 階段會(huì)直接報(bào) KeyError。6.2 換模型與驗(yàn)證從BERT到RoBERTa幾乎零成本把所有BertTokenizer和BertForSequenceClassification換成 Auto 類只保留一個(gè)model_name變量from transformers import AutoTokenizer, AutoModelForSequenceClassification model_name roberta-base tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels2)以后想試distilbert、albert就只改一行。如果任務(wù)從二分類變成三分類positive / neutral / negative把num_labels改成 3label2id加一個(gè)鍵模型和訓(xùn)練循環(huán)都不用動(dòng)。驗(yàn)證方法上我習(xí)慣先只取原始數(shù)據(jù)的一小部分比如 500 條跑兩個(gè) epoch 觀察 loss 確實(shí)在下降再上全量訓(xùn)練。這樣能把配置錯(cuò)誤擋在大規(guī)模訓(xùn)練之前而不是等一晚上白跑之后才發(fā)現(xiàn)參數(shù)寫錯(cuò)了。從那以后我每次拿到一個(gè)文本分類任務(wù)都會(huì)先花幾分鐘跑一遍環(huán)境檢測(cè)腳本、確認(rèn)數(shù)據(jù)格式和標(biāo)簽映射再動(dòng)手改模型。這個(gè)順序幫我省掉了無(wú)數(shù)次白等訓(xùn)練。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99人妻碰碰碰久久久久视| 五月婷视频| 久青草影院| 久久99久久99精品免视看婷婷| 99福利导航| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 丁香久色| 超碰cap| 五月天影院婷婷在线观看| 国产Va视频| 天天综合精品| 91精品国产综合久久密臀 | 色五月婷婷少妇人妻| 色色99| 99精品这里只有免费视频| 色色色综合网| 婷婷五月图片小说网| 97丁香视频| 五月丁香婷婷基地| 精品久久99| 婷婷六月久久综合导航| 九九视频精品在线免费 | 丁香五月婷久久| 性做爰1一7伦| 五月婷婷综合丁香视频| 日本久热| 成人做爰黄A片免费看直播室男男| 天天拍天天做视频| 久久超级碰视频| 另类图片激情五月| 五月婷婷香蕉| 亚洲精品在线视频| 成人国产欧美大片一区| 天天干天天做| 丁香五月综合福利视频导航| 欧美色碰| 99热这里有精品| 五月丁香在线婷婷美女| 97碰久久| 九九九九热99超碰| 久热这里只有精品99re| 五月婷婷色激情| 久久99激情| 五月丁香色综合| 婷婷五月天激情综合| 色婷婷五月天av在线| 丁香六月婷婷综合缴| 91干在线| 亚洲99精品九九在线| 五月婷婷六月丁香在线| 色色色99韩| 九九无毛| 色99在线| 久久久无码精品成人A片小说| 天天日天天做天天舔| 亚洲中文字幕在线观看| 91视频一起草| 99er久久| 777.色色| 色狠狠色| 丁香五月婷婷激情完整版| 伊人久久五月天| 成人羞羞啪啪 全 视频| 狠狠第四色| 丰满少妇乱A片无码| 伊人婷婷五月天| 色婷婷基地在线| 丁香五月天AV在线 | 九九热这里精品| 色八戒操婷婷| 精品无码久久久久久久久| 日本婷婷| 毛片毛片毛片毛片| 激情综合4月| 伊人丁香五月婷婷潮吹| 久久婷婷综合五月| 五月丁香色综合| 99精品视频网站| 天天肏屄夜夜爽| 色五月婷婷91在线| 亚洲无码 图片区| 91在线日| 狠狠操综合| 色插人人| 大香蕉520| 中文字幕成人影视| 色中色综合| 777久久综合视频| 伊人网碰碰| 性爱激情综合网| 成人 在线 日韩| 激情五月四色| 天天日天天日天天搞| 激情小说五月天社区丁香 | 大香蕉婷婷五月| 牛牛热这里只有jingpin| 日韩啪啪视频| 日本系列_4页_777FP| VfJxEwPH| 色五月丁香六月欧美综合| 人妻乱码久久久| 日韩影院三级| 99激情网| 亚洲高清在线| 综合色99| 色综合九九| 婷婷99丁香| 色色色色丁香| 日本强伦片中文字幕免费看| 熟女人妻一区二区三区免费看| 亚洲啪啪视频| 丁香激情网| 五月婷婷五月| 五月婷婷色播| 99视频只有精品| AV79| 婷婷开心六月| 丁香五月天在线| 婷婷四色成人综合色视| www久热com| 99色在线观看免费| 人妻久久久久久久久妻久久久久久久久| 久久五月天色婷婷| 色婷婷伊人| 激情久久丁香| 久久婷婷色情7777网站| 色婷五月| 亚洲丁香五月综合| 色999五月色| 日韩人妻无码一区二区| 色欲五月天| 99热热九九| 狠狠看狠狠| 婷婷爱在线观看| 97色在线视频| 色六月天天激情综合网| 婷婷伊人激情婷婷| 五月天婷婷丁香六月| 五月开心激情网| 天天 青草 丝袜制服 在线| 天天爽天天日人人爱 | 少妇丁香婷婷| 五月丁香色婷| 五月婷婷色五月| 激情深爱五月| 婷婷五月综激情| 97热这里精品在线视频| 五月丁香六月婷婷网| 天天肏夜夜肏| 国自产拍偷拍精品啪啪一区二区 | 日韩六十路91性交电影| 久久开心五月婷婷| 六月综合婷婷开心伊人| 久久总和99| 久久婷婷91| 99九九精品| 婷婷五月色天| 人人摸人人干| 免费婷婷| 亭亭色天香| 热99热9| 六月丁香久久| 五月丁香综合啪啪| 欧洲MV日韩MV国产| 婷婷天天五月天| 中文字幕第四色.999| 五月天丁香婷婷社区| 五月婷婷人人人操| 亚洲avjiujiur91| 一本道综合网| 成功精品影院| 九色PORNY9l原创自拍| 五月丁香婷婷成人网| 超碰在线个人观看| 激情综合网丁香| 九九成人高清视频| 玖玖资源在线视频| 在线只有精品| 99欧美三级视频| 色娸娸综合网| 亚洲成人电影aaaa| 丁香婷婷成人网站| 婷婷伊人綜合中文字幕| 欧美123区免| 97香蕉久久超级碰碰高清版| 熟女五月天久久综合| 思思国产99| 狠狠丁香| 亞洲自怕| 婷婷五月综合色中文字幕| 日韩AAA| 日日噜狠狠色综合久| 人妻激情综合| 婷婷9月天| 五月婷婷中文| 成人精品免费在线观看| 五月总合激情网| 欧美啄木乌丝袜人妻系列| 久操福利| 婷婷五月丁香人妻无码高清| 久久丁香五月婷婷激情综合网| 九九热这里只有精品在线观看| 91人人网| 丁香九色不卡aaa| 另类天堂| 人人综合久| 欧美叉叉叉BBB网站| 99热一本| 五月丁香婷中文字幕| 日本久久精品18| 狠狠狠狠狠| 久婷久婷| 99热.com| 丁香狠狠干| 热五月婷婷| 狠狠操.COM| 九九激情网| 狠狠色狠狠色综合日日91| www,久久久人人| 97操操网| 久久精典| 99久热| 欧美三级A做爰在线观看| 操人精品| 66精品成人免费网站在线观看| 丁香五月天激情| 日本天堂久久| 99综合自拍| 五月婷婷激情刺激| 成人超碰网| 91九色精品女同系列| 五月丁香激情综合网官网| 激情五婷网| 婷婷五月色亚洲| 丁香五月天电影| 天天色综| 久久这里只有精品22| 丁香五月天婷婷激情| 激情熟女网| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | www.五月天婷婷.com| 另类视频五月天| 97超级碰| 丁香五月乱中文字幕| 久久久天堂国产精品女人| 玖玖婷婷综合| 久草视频一,二三四| 狠狠狠狠草草| 天天xxxxxx天天日| www五月婷婷88导航| 丁香五月天偷拍| 激情中文在线| 丁香五月综合激情性爱| 丁香五月天视频| 亚洲图片 丁香婷婷| 夜夜骑日日操| 亚洲激情网| 99热最新| 久草五月天| 99精品女人天堂| 久久这里只| 99热这里只有精品一区| 激情九月婷婷九月| 五月婷婷手机在线| 午夜精品久久久久久久爽| 人妻自慰在线| www.天天日| 91成人看片| 丁香六月综合| 狠狠狠狠狠狠色| 久久婷婷亚洲| 五月丁香无码| 爽极品色| 天天插天天插天天操| 久热九九| 青草性爱视频| 99原创自拍视频在线观看| 噜噜噜噜噜日本视频| 久久综合五月天| 亚洲色色图片| 一本久久婷婷| 天天干天天操天天拍| 五月综合激情图片| 玖玖99免费视频| 色色五月天网站| 五月丁香综合激情网| 五月丁香婷草| 特级西西4444www无码| 六月丁香婷婷色狠狠久久| 99久久久久| 色色五月婷| 日日操夜夜撸| 亚洲第一综合| 日日夜夜综合| 婷婷五月激情在线| AⅤ色区| 天天综合情| 色五月婷婷基地| 婷婷伊人五月| 九九热99免费视频| 五月婷婷啪啪网| 色屌丝中文字幕| 丁香激情综合| 天堂中文国产| 色就是色婷婷五月亚洲激情| 天天天天色天天天天天干| 久久婷婷原创视频| 综合色色婷婷| 婷婷丁香69精华| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 天天更新天天亚洲| 婷婷五月综合免费在线| 在线播放中文字幕| 六月婷婷狠狠做| 怡春院天天干| 涩综合婷婷| 天天综合插插| 婷婷网影院| 99色免费观看全部| 噜噜噜噜噜色| 天天日天天舔天天摸| 婷婷在线中文字幕| 色玖玖综合网| 六月亭亭久久综合激情| 色综合偷拍| 99视频在线播放大全| 99爱视频精品在线观看| 情趣视频66| 综合色影| 国产一区二区av免费| 夜夜谢天天干| 天天爽天天日人人爱| 玖玖婷婷五月天毛片| 久久这里只有精品8| 综合久久综合| BlACKEDRAW视频一区二区| 噜噜色婷婷| 久久婷色| 久久综合五月婷婷| 亚洲熟妇AV乱码在线观看| 综合激情视频| 天天在线久久综合| 婷婷色九月| 九九热123| 婷婷九月激情| 天天摸天天日天天舔| 超碰在线超碰| 中文字幕在线视频播放| 九九久久精品| 婷婷伊人综合中文字幕| 丁香六月婷婷姐网| 国产成人VA| 偷拍91九色| 五月开心播播网| 欧美日韩成人免费在线| dingxiangtingtingliuyue| 伊人9草在线观看| 欧美成人精品三区综合A片| 五月天综合在线观看| 97婷婷在线| 精品国产乱码久久久久久免费| 欧洲一区二区| 久久 视频这里只有精总| 人人人操Av| 亚洲午夜Av| 777精品久无码人妻蜜桃| www.91婷婷| 色婷婷色人人射| 丁香色五月直播| 狠狠色狠狠爱| 99精彩视频在线观看| 五月丁香婷婷综合网| 综合五月丁香六月婷婷| 九九热视频精品| 伦乱美欧| 亚洲五月天,激情视频| 婷婷五月天首页激情| 99ER热精品视频| 99re这里| 91精品久久久久久久| 色色哒五月婷婷六月丁香| 99re热| 久热69| 亚洲成人综合网在线免费观看| 中国女人做爰A片| AA丁香综合激情| 这里只有精彩视| 亚洲综合激情五月天婷婷 | 婷婷天天婷婷天天澡| w婷婷五月婷婷w| www.av视频xx999.com| 狠狠人妻色综合| 99ri国产精品| 久久99jiu9| 久久受www免费人成| 亚洲无码99| 中文av网| 大香蕉五月天婷婷| 99综合网| 亚洲成人免费电影| 亚洲天堂99| 天天操婷婷| 久热这里只有精品3| 午夜九九九九九九九九九九九九九| 99视频日韩| 99爱视频| 天天爽天天爽| 日本人妻伦在线中文字幕| 丁香五月伊人| 久久婷婷亚洲| 天天综合精品| 99综合网| 欧美日韩欧美| 婷婷情色开心五月天99| 91打屁股免费看| 国产精品久久欧美久久一区| 色爆五月| 色婷婷四虎| 墨西哥毛片内射精| 99碰| 激情综合网五月婷婷| 久久东京热婷婷五月| 久久五月天视频| 天天操中文字幕| 久Se视频在线观看| 五月丁香久久网| 天天摸天天肏| 99视频精品视频| 色综合五月在线| 激情五月婷婷综合网| 黄页大全十八禁| 丁香久久久| 五月婷婷第四色| 天天插天天插天天插天天插| 免费国产视频| 五月天丁香| 思思热在线视频精品| 国产精品久久久久久妇女6080| 电影91久久久| 伊人婷婷91| 国产脫衣舞一区二区三区| 丁香六月婷婷综合| 九色亚洲| 色婷婷玖玖影院| 五月丁香色婷婷久久| 色色色99| 操操操操操电影网| 五月综合激情网| 丁香九月久久| 色播五月天激情| 少妇性按摩无码中文A片| 五月天小说激情| 国产亚洲99久久| 九九综合九九| 99re这里只有精品免费| 岛国AV网站| 香蕉操亚洲| 天天干,天天日| 久久久一级AAA| 超碰在线播放免费观看| 俺来也综合网精品一区| 激情综合六月| www.婷婷亚洲基地| 激情五月婷婷综合秋霞| 久久99激情| 欧洲永久精品| 性99网站| 97久久久| 五月婷婷欧洲| 热99国产精品| 99热在线免费| 激情综合五月婷婷| 9久操| 激情婷婷五月天。| 成人丁香婷婷| 天天做天天爽| 五月丁香久久婷| 五月丁香六月激情综合网| 五月天激情婷婷丁香| 欧美色五月| 99综合网| 国产资源在线视频| 99re思思精品在线观看| 久久婷婷五月综合97色一本| 五月婷婷六月丁香在线视频| 日日夜夜干| 九九精品婷| aaaaa不卡| 久久婷婷五月激情网站| 久久久性爱视频| 啪啪五月婷婷| 99热这里只有在线播放| 五月天婷婷成人网| 五月丁香色欲| 婷婷免费成人视频| 超碰色色综合| 色婷婷四虎| 五月丁香婷婷无码中文| 91人操人人人操人| 色婷婷啪啪综合网| 激情综合播播| 婷婷五月电影| 中文av在线观看| 综合色五月天| 婷婷综合视频| 第四色色色色色丁香五月天| 九九九九九无码| 激情久久肏屄视频| www. 五月. com| 伊人六月无码视频| 婷婷中文在线| 九九综合网色全集 | 婷婷五月天激情在线| 人妻久久久久久| 久久视频婷婷| 天天日天天爽夜夜爽| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 狠狠舔| 激情五月天网站| 久久久全国免费视频| 深情六月婷婷综合久久| 99色在线观看| 色婷婷五月色| 99草视频在线观看| 丁香激情综合| 久久密臀婷婷| 成人婷婷深爱综合网| se99视频| 久久99网站| 婷婷狠狠18禁久久| 99色日本| 六月丁香五月婷婷| 性爱人人网| 国产色色色色| 亚洲图片 丁香婷婷| 色五月婷婷、老熟女| 国产成人网站在线观看| 26uuu国自产精品| 99在线精品观看99| 91精品丝袜久久久久久| 色婷婷超碰| 97热久久五月婷婷| 五月天社区婷婷丁香社区| 99视频在线看| 成人丁香| 人人操人人爽成人AV| 66色在线日韩| 日本色99| 色婷婷电影| 久久多色| 久久久久9| 夜夜撸天天日| 中文字幕在线日亚州9| 丁香五月婷婷天堂大香蕉| 小视频aaa久久久| 丁香五月AV| 中文字幕 中文字幕明步 | 婷婷五月丁香基地在线视频官网| 亚洲综合色婷婷| 影院久久久| 婷婷丁香社区| 人妻人人操| 国产首页在线| 嫩草哈哈操| 《蜘蛛女》梁铮1995| 99热91| 国产成人AV在线| 91精品久久久久久77777| 超碰chaompinm| 超碰日日操| 久久久久9| 激情五月久久| 深爱激情久久| 丁香五月婷婷免费视频| 99re视频精品| 国产激情av| 狠狠色综合网站久久久久| 五月天激情黄色小说在线观看| www.国产色| 婷婷色色综合激情| 97婷婷五月丁香| 天天爱天天做天天| 91丨九色丨高潮丰满日本| 丁香五月综合| 久久机热思思热| 色婷婷色| www.激情五月| 九九机热| 亚洲五月天婷婷| 国产成人+综合亚洲+天堂| wwccc久久久| 丁香婷婷婷婷十二月在线观看视频| 这里只有精品视频在线| 538午夜激情| 搡BBBB搡BBB搡18| 99久久玖玖| 激情五婷网| 99国产精品久久久久久久久久久| 伊人久久五月天综合| 月色色综合婷婷网| 婷香五月激情视频| 久久A区B区| 色青五月天| 欧美va欧美va差| 香蕉AV777XXX色综合一区| 色97综合婷婷天天色| 深爱激情五月天| 色婷婷五月天亚洲| 国产免费性爱| 久久久久er热| 婷婷久久综| 五月婷婷基地| 9久久久| 色爽九九| 婷婷久久视频| 色青青视频| 五月天久久婷婷| 亚洲V国产V欧美V久久久久久| 五月丁香六月婷婷国产视频| 91久久人人操| 九九激情网| 色性日本| 五月激情视频| 91色色色视频| 九九操操| 狠狠干综合网| 思思久久精品视频| www.jiujiujiu| 成人网在线观看视频| 婷婷五月天天天| 亚洲精品欧洲精品| 91肏| 老师高潮流白浆喷水的A片| AV在线大香蕉| 五月天啪啪| 99日在线视频| 青青艹b| 成人做爰A片免费看网站找不到了| 天天干天天日天天操| 伊人五月天| 激情婷婷六月天| 日本婷婷网| 97人人搞| www.激情五月天.con| 极品少妇高潮啪啪AV无码| 一区二区免费看| 九九精品视频在线6| 天天狠天天狠| 另类激情五月| 99偷拍视频在线日本| 少妇性按摩无码中文A片| 97热视频| 五月天亚洲色| 六月丁香激情婷婷| 色色色在线播放| 婷婷色在线观看| 五月天久久激情| 久久九九激情五月天 | 久久五月六月| 婷婷五月天久久久| 五月婷激情影院| 2022久久婷婷| 五月婷婷黄网站大全| 少妇大叫太大太粗太爽了A片| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 月丁香久久久| 秋霞少妇AV网站| 综合婷婷| 99热这里只有精品8| 丁香花五月天激情| 91久久色| 欧美成人va| 夜夜干 夜夜操| 五月激情网综合| 久久伊人日日夜夜| 色五月天天| 久久人妻久久久久| 五月婷成人| 激情人妻综合| 色婷婷网| 五月婷婷在线免费观看| 丁香五月婷中字幕| 五月婷婷丁香在线视频| 久久婷婷五月天激情唯美| 丁香婷婷五月天色播| 色五月婷婷久久爱| 久热这里只精品| 五月婷婷欧美| 996热| 91Chinese在线| 午夜一区| 五月亭亭六月色| 青青.com| 啪啪五月天啪啪| 久久五月天激情视频| 久久五月婷婷开心网| 亚洲女婷婷五月基地综合久久久| 99色一| 天天摸天天日天天舔| 五月开行婷婷色五月| 九九精品视频在线6| 色噜噜婷婷| 色色色9| 毛片色五月| 99热8| 五月婷婷之综合激情| 久久婷婷视频| www.婷婷五月天| 色婷婷狠狠爱| 国产成人+综合亚洲+天堂| 一本大道嫩草AV无码专区| 精品一二三区久久AAA片| 日韩av一区二区在线/日产精品久久久| 五月天激情国产综合婷婷婷| 国外亚洲成AV人片在线观看| 香蕉久日夜| 丁香六月综合激| 91成人电影| 亚洲Va成人| 精品无码色欲AV| va婷婷在线| av免费人人| 婷婷综合五月| 天天操婷婷| 免看黄大片AA | 影院久久久| 丁香六月狠狠干| 亚洲五月天综合色| 亚洲99在线视频| 国产在这里只有精品| 丁香五月婷婷大香蕉| 99操99| 久久在线视频免费观看| 成人va在线| 五月天色色网站| 激情五月天之六月婷婷| 五月婷婷之综合激情| 丁香六月在线| 九九色婷婷五月天| www.9797国产| 丁香五月天天日| 婷婷五月色播放| 日韩AV大全| 欧美97超碰| 欧美精产国品一二三区| 午夜九九电影| 日本在线va| 五月天综合| 伊人久热91| 久热这里只有精品6官网亚洲| 婷婷情色激情| 我爱大香蕉| 日韩在线观看网址| 色欲丁香| 丁香五月婷在线| 亚洲第一黄网| 永久天堂日本| 天堂婷婷五月在线| 婷婷五月激情图片| 欧美成人猛片AAAAAAA| 激情五月丁香六月综合AVXXXX| 亚洲婷婷丁香五月在线| 亚洲欧美丁香五月天亚洲欧美| 99热最新网址| 婷婷色吧| 99热这里只有精品官网| 亭亭五月丁香五月天激情| 91丨九色丨老熟女激情| 日本婷婷综合精品| 91干视频| 久久婷婷五月综合网| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 丁香六月在线综合| 丁香社区婷婷五月| 五月天亭亭俺也| 五月色亭丁香| 色婷婷婷婷成人网| 综合色色网| 97香蕉人人在线观看| 亚洲婷婷丁香五月天激情小说| 五月天淫乱视频| 久久精品66| 亚洲操操| 婷婷丁香综合| 涩涩涩.com| 五月激情小说| 五月丁香婷婷啪啪综合| www,色婷婷| 秋霞黄色一级久久| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 国产精品18久久久| 天堂AV在线看| 99色视频在线观看最新| 丁香六月综合激情| 日韩操逼小电影| 99热国内精品| 日本熟妇乱妇熟色A片蜜桃| 岛国AV网站| 粉嫩av懂色av蜜臀av熟妇| 五月婷婷激情| 99热6这里只有精品| 婷婷五月天av| 久久综合26p| 青青草轻轻操| 午夜精品777| 97超级操操| 久久久久9| 色五月激情五月天| 99色综合网| 99热99精品在线观看| 丁香五月欧美激情| 伊人丁香婷婷东京| 久久综合影院| 色视频色综合91| 亚洲综合另类| 这里只有视频精品| 色综合狠狠色| 专区无日本视频高清8| 天天做天天爱综合| 人妻性爱av网站| 色爱爱综合网| 久久婷婷伊人| 人人干av| 亚洲婷婷五月草久| 爆乳熟女一区二区三区爆乳| 中文字幕丰满孑伦无码专区| 干一干xxxx| 99热精品一区| 网色99| 国产av天天插天天操天天爽| 99热网站| 人妻无码精品一区| 色情·com| 成人中文字幕在线| 婷婷色色亚洲| 日日色综合| www.99热这里精品| 日本黄色三级片内射| 色色色干| 久久人妻伦理| 99热久只有精品首页| 香焦网五月天| 成人免费超碰| 丁香五月久久| 五月天国产| 丁香五月日啪| 婷婷天堂综合| 狠狠综合久久综合| 亚洲欧洲中文日韩久久AV乱码| 久久久久亚洲AV成人无码电影| 五月婷婷九| 就要爱综合| 久久婷婷五月天激情四射| 日本婷婷激情四射中文字幕在线观看| 国产 码在线成人网站| 亚洲激情综合| 亚洲五月天狠狠| 久久精品爱爱| 影音先锋一区二区三区| 在线91日韩| 黄色国久久| 超碰99在线观看| 91色在线/日韩| 天天爽天天摸人妻综合网| 丁香婷婷五月天色播| 超碰在线人妻| 免费啪啪亚州视频| 九月av在线| 久久5 9视频免费观看| 伊人激情AV一区二区三区| 超碰人人色| 五月婷婷日| 99精品亚洲| 色天天综合成人网| 丁香五月网| 天天天操天天天爰| 在线另类| 亚洲av免费在线| 激情久久 婷婷| 拍色综合| 日比视频91| 色视频色综合91| 久久视频在线视频| 色综合久久888| 大香蕉综合| 99激情在线| 99热在线观看免费精品| 开心激情网五月| 五月天激情综合10p| 6080av| 婷婷五月深深的爱| 九九热亚洲中文在线观看免费| www.婷婷五月| 久草五月婷婷| 久久婷婷综合网| 九九热10| 五月婷婷中文字幕| 丁香婷婷六月天| 久9无码视频| 激情五月天综合网| 黑人无码一区| 性爱五月丁香| 开心激情综合| 操一区| 五月天伊人综合| 久久久ww| 中文字幕在线免费| 人妻av在线| www色色com| 91狠狠综合久久| 开心五月激情网| 日本久久精品| 婷婷五月色播| 色婷婷在线视频| 中文字幕人成乱码在线观看| 成人精品视频99在线观看免费| 精品夜夜澡人妻无码AV| 久久久久久久久久久-久五月天婷婷| 亚洲亚洲人成综合网络| 婷婷99狠狠躁天天久久久九九九| 日本久久激情| 日韩不卡123| www...com黄在线观看| 在线播放成人| 人人看人人97| 97精品在线| 亚洲另类在线观看| 丁香午月AV中文字幕| 99在线观看视频精品| 五月婷婷六月激情在线| 台湾佬天天日丁香婷婷五月天| AV天堂婷婷五月天| 久久色五月天综合网| 欧美日韩一区二区三区四区| 婷婷激情小说| 91九色丨国产丨爆乳| 99热这里全是精品| 亚洲妇女熟BBW| 丁香五月天久久| 欧美日韩国产成人在线| 天堂色色色| 人妻人人操| 五月天激情网图片 - 百度| 五月天激情Av| 99热这里只有精品搜| 色色色五月婷| 五月天亭亭俺也| 久久9热好| 五月婷久草| 狠狠综合久久综合| 无码啪啪| 五婷婷六月合| 狠狠色综合精品视频在线| 婷婷综合一二三| 天天干天天做| 国产毛片操B| 日韩视频女神99| 五月天婷婷综合久久| 五月丁香激情综合六月涩涩爱| 天天草比天天爽| 五月丁香操婷逼| 天天干一干| 久久五月婷天天干| 激情综合色婷婷啪啪六月天| 亭亭五月丁香综合欧美| 久久五月婷综合网| 日本天天色| 天天激情站| 亚洲无AV在线中文字幕| 99热999| 在线播放成人网站| 五月婷婷激清网| 99视频激情四射| 在线另类| 久久激情天堂| 色五月av| 天堂在线婷婷| 久久久婷婷婷| 色五月激情基地| 婷婷五月综合社区| 国产日韩精品SUV| 玖玖五月丁香| bbwcuckold精品熟妇| 小视频久久久aaa| 色婷婷亚洲精品天天综| 97色综合| 99久久99久久综合| 五月丁香色婷婷熟女| 99热日韩| 亚洲狠狠丁香婷婷香蕉| 婷婷色五月丁香六月欧美啪| 亚洲性爱99在线| 超碰超碰在线| 韩日另类| 伊人网大香| 激情综合色婷婷啪啪六月天| 激情九月综合| 狠狠婷婷日韩| 青青.com| 五月天网站免费欧美| 91丨九色丨国产打屁股| 九九人人看| 婷婷五日b| 性爱视频久久| 国产精品色情AAAAA片软件| 操日本三片99| 久久久区区一久久久久久| 久久精品9| 91操女| 人人玩人人橾| 亚洲色夜| 丁香婷婷天堂| 97碰啪啪| 婷婷深爱五月| 国产肥白大熟妇BBBB视频| 91久久综合| 丁香五月综合亚洲| 另类天堂| 综合久久高清| 午夜五月天| 亚洲熟妇AV乱码在线观看| www.久久久久久久| 日日夜夜久| 337p大胆噜噜噜噜噜91Av| 色婷婷激情四射视频| 欧美色色色| www.yw尤物| 啪啪婷婷五月天激情| 亚洲综合激情五月| 曰韩少妇内射免费播放| 亚洲色婷婷| 精品色色| 51精品国内探花| 综合在线丁香五月| 色五月婷婷基地| 另类激情四射| 久久久久久久久久人妻| 乱岳熟女50岁| 久久大香蕉| 亚洲AV综合网| 丁香综合久久| 九九色热视频| 国产成人精品一区二三区熟女在线| 日本片日本片祼观看网站在线看中文版网页在线看 | 久久久91| 综合性爱网| WWW色色色COM| 色婷婷在线综合色播网| se99视频| 日本99在线视频| 五月天六月色| 色五月综合网站| 天天综合天天玩夜夜玩天天玩夜夜玩| 人妻啪啪啪| 五月天开心色情网| 丁香六月婷婷久久综合| 婷婷综合另类| 凹凸操Av| 97干在线视频精品店| 丁香伊人综合| 久久99国产综合精品免费| 激情文学 综合 色| www.99热这里只有精品| 爆乳熟妇一区二区三区爆乳照片| 丁香五月婷婷大香蕉| WWW.久久99| 国产午夜一区二区三区| 日操夜操天天操不卡| 久久精99| 天天色天天舔天天爱天天爽| 9999久久久久| 久久久久久久综合狠狠综合| 噜噜色五月| 99人人干人人| 色五月五月天色婷婷色五月| www.99热这里精品| 99免费在线| 久久五月婷婷视频| 色情五月婷婷| 玖玖99精品视频| 综合网五月| 激情无码网| www,超碰| 亚洲性爱电影| 五月天伊人综合| 操操人人| 无码啪啪| 99五月丁香丁| 人妻久久久久久| sS丁香五月婷婷| 天天做天天爱天天爽| 777久久精品| 亚洲中文字幕在线观看| 深爱激情网婷婷| 亚洲日本韩国| www狠狠| av操B网站| 五月婷婷香| av免费在线网站| www.精品99| 久久五月天婷婷| 丁香六月激情综合| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | mmm1717.6dbm人人爱人人操| 99精品偷自拍| 综合网五月天123| 97成人丁香| 丁香美女五月天婷婷| 偷拍91九色| 国产无套精品一区二区| 五月天激情综合首页| 国产国产乱老熟女视频网站97| 婷婷深爱五月亚洲综合| 99在线视频操999| 久久色五月天激情小说| 吊色AV男人的天堂| 色色色婷婷五月天| 色婷婷五月六月丁香综合视频| 激情第四色| 99色爱| 色99无码| 超碰狠狠操| 26uuu.| 久草x色在线观看99 | 五月丁香激情综合啪啪| 五月六月婷| 色婷婷久久综合| 色色色色热| 99久久a线观| 亚洲激情AV| xxx综合在线| 久久久精品免费啪啪国| 伊人在线视频| 亚洲激情综合| 操一区| 久久狠狠干| 草草影院爱爱| 美国十月色婷婷在线观看| www.久久99热地址发布| 亚洲最大成人综合网720P| 26uuu最新地址| 开心激情网五月天| 丁香五月天欧美在线| 婷婷五月丁香人妻无码高清| 91色在线/日韩| xxxx五月| 婷婷丁香五月视频| 九月激情综合| 99爱免费在线观看| 五月婷婷涩涩爱| 色色影院黄大片| 色婷婷狠狠爱| 激情综合网激情五月网| 亚洲欧美日韩VIP| 婷婷操久久| 婷婷五月激情综合| 丁香五月激情五月| 天天草婷婷五月| 亚洲啪| 五月丁香六月香综合激情| 激情av在线| 97操碰日本女人| 刘玥av在线| 狠狠色婷婷| 激情综合国产| 婷婷综合五月天| 中文字幕乱轮| 这里只有精品在线看| 97婷婷在线| 色婷婷五月基地在线| 风流少妇A片一区二区蜜桃| 欧洲毛片基地c区| 五月婷婷综合在线| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 六月激情婷婷色| 久久久五月天| 久久久97| 九九碰九九爱97超碰| 丁香花色色网| 丁香九月激情| 亚洲无码yw| 99热老网站| 狠狠综合久久| 97自拍视频在线| site:pzdcoin.com| 五月婷婷在线视频免费观看| 欧美成人无码高清一区二区三区| 五月丁香六月婷婷综合在线| 777久久综合视频| 丁香色播五月天| 成人丁香婷婷五月天| 99精品网站| 五月色婷婷在线观看| www,久久久人人| 激情亚洲五月| 大香蕉AV在线| 爱射综合| 久久综合激情| 五月伊人网| 日本99视频| 伊人五月天久久| 亚洲精品久久久久久久久久吃药| 婷丁香五月天| 99思思热只有在这里看| 91操碰| 91综合视频在线| 免费无码毛片一区二区A片| 中文资源在线a| 久久99成人性爱高清视频| 天天色月| 久久久久婷| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | www,色综合| 国产肥白大熟妇BBBB视频| 激情婷婷六月天| 婷婷丁香六月影视| 4438国产免费看| 亚洲激情亚洲激情 | 欧美日韩一区二区三区四区| 色五月丁香五月天| 无月播播激情在线观看视频| 亚洲综合色五月| 99国产性感视频| 色五月婷婷久久| 性综合网| 国产激情在线| 六月丁香网| AV在线免费网站| 天天日,天天插| 超碰在线人妻| 婷婷丁香激情五月天色色| 综合亚洲五月天| 久久在这里99| 欧美三级级99久久| 狠狠精品干练久久久无码中文字幕 | 啪啪五月综合| 婷婷9月天| 国产精品99久久久久久久女警| 日韩aaaaa| 免费婷婷| 91狠狠色丁香| 开心五月天激情网| 激情五月天无人视频在线| site:publishdd.com| 亚色网站小视频| 第2色五月婷| 丁香综合婷婷开心激情网| 久久五月激情综合| 亚洲人人操| 9|在线观看视频| 激情五月丁香五月综合| 青青草免费公开视频| 久99热| 中文字幕在线播放视频| 91.com男女操| 超级碰碰碰97免费| 十一月婷婷激情四射| 丁香六月婷婷综合啪啪| 六月天丁婷婷| 99国产性感视频| 99日韩网站| 九九热思思热| 丁香婷婷啪啪啪| 丁香五月天五码婷婷| 开心五月婷婷在线视频免费观看| 天天爱天天做天天爽|