欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

普通顯卡實(shí)戰(zhàn):從零自研輕量級(jí)神經(jīng)網(wǎng)絡(luò)全流程

普通顯卡實(shí)戰(zhàn):從零自研輕量級(jí)神經(jīng)網(wǎng)絡(luò)全流程 1. 項(xiàng)目緣起與整體設(shè)計(jì)思路1.1 為什么要在普通顯卡上自研神經(jīng)網(wǎng)絡(luò)先說背景。我手頭只有一張消費(fèi)級(jí)顯卡顯存8GB還是幾年前的老架構(gòu)。每次看到那些動(dòng)輒需要A100集群的模型訓(xùn)練方案心里就癢——難道普通人就玩不了神經(jīng)網(wǎng)絡(luò)了嗎這個(gè)項(xiàng)目就是在這種不甘心的驅(qū)動(dòng)下開始的。核心目標(biāo)很明確用一張普通顯卡從零搭建一個(gè)能跑通、能訓(xùn)練、能出結(jié)果的神經(jīng)網(wǎng)絡(luò)。不依賴任何云端算力不租用任何遠(yuǎn)程服務(wù)器所有代碼和數(shù)據(jù)都在本地完成閉環(huán)。這個(gè)定位決定了整個(gè)項(xiàng)目的設(shè)計(jì)思路——輕量化、模塊化、可復(fù)現(xiàn)。為什么強(qiáng)調(diào)“自研”而不是直接調(diào)庫因?yàn)檎{(diào)庫雖然快但你對(duì)網(wǎng)絡(luò)內(nèi)部到底發(fā)生了什么始終隔著一層紗。自己寫一遍前向傳播、反向傳播、參數(shù)更新哪怕只是一個(gè)小型網(wǎng)絡(luò)你對(duì)梯度消失、學(xué)習(xí)率震蕩、過擬合這些概念的理解會(huì)完全不一樣。這就像學(xué)做菜看一百遍視頻不如自己下廚炒一盤。這個(gè)項(xiàng)目適合誰三類人一是剛?cè)腴T深度學(xué)習(xí)、想通過手寫代碼加深理解的學(xué)生二是手頭算力有限、但又想跑自己想法的小型開發(fā)者三是想給孩子或?qū)W生做演示、需要一套能在普通電腦上跑起來的教學(xué)案例的人。不需要你有分布式訓(xùn)練經(jīng)驗(yàn)也不需要你懂CUDA底層優(yōu)化只要會(huì)Python基礎(chǔ)、知道矩陣乘法是怎么回事就能跟著走下來。1.2 整體架構(gòu)選型與取舍邏輯整個(gè)項(xiàng)目我拆成了四個(gè)獨(dú)立模塊數(shù)據(jù)管道、網(wǎng)絡(luò)定義、訓(xùn)練循環(huán)、評(píng)估與可視化。為什么這么拆因?yàn)槠胀@卡的顯存和算力都有限任何一個(gè)環(huán)節(jié)出問題都會(huì)導(dǎo)致整個(gè)訓(xùn)練崩潰。模塊化之后每個(gè)部分可以單獨(dú)調(diào)試比如數(shù)據(jù)管道可以先在CPU上跑通確認(rèn)沒問題再接GPU。網(wǎng)絡(luò)結(jié)構(gòu)上我沒有一上來就搞Transformer或者ResNet這種大塊頭。原因很簡單——普通顯卡跑不動(dòng)而且對(duì)于理解原理來說過大的網(wǎng)絡(luò)反而會(huì)掩蓋很多細(xì)節(jié)。我選擇的是一個(gè)三層全連接網(wǎng)絡(luò)加兩個(gè)卷積層的混合結(jié)構(gòu)參數(shù)量控制在50萬以內(nèi)。這個(gè)規(guī)模在8GB顯存上可以輕松跑batch size 64甚至128訓(xùn)練速度也能接受。框架選擇上我用的是PyTorch但刻意避開了高層封裝。比如我沒有用nn.Sequential一把梭而是手動(dòng)定義每一層的forward邏輯。優(yōu)化器也是手動(dòng)實(shí)現(xiàn)SGD加動(dòng)量而不是直接調(diào)torch.optim.SGD。這么做的好處是每一行代碼你都知道它在干什么出了問題也能快速定位。注意手動(dòng)實(shí)現(xiàn)優(yōu)化器時(shí)參數(shù)更新那一步一定要用torch.no_grad()包裹否則PyTorch會(huì)自動(dòng)構(gòu)建計(jì)算圖顯存會(huì)爆炸。這個(gè)坑我踩過訓(xùn)練到第二個(gè)batch就OOM了。數(shù)據(jù)方面我用的是一個(gè)公開的小型圖像數(shù)據(jù)集大概一萬張圖片分辨率統(tǒng)一縮放到32x32。為什么選這么小的分辨率因?yàn)槠胀@卡的瓶頸往往在顯存帶寬而不是算力小分辨率意味著更小的特征圖顯存占用直線下降。實(shí)測(cè)下來32x32的輸入在8GB卡上可以開到batch size 256訓(xùn)練速度比128x128快將近四倍。2. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)2.1 數(shù)據(jù)管道的輕量化處理技巧數(shù)據(jù)管道是整個(gè)訓(xùn)練流程的“供水系統(tǒng)”如果這里堵了后面再好的網(wǎng)絡(luò)也跑不起來。我的做法是預(yù)先把所有圖片解碼、縮放、歸一化然后打包成一個(gè)二進(jìn)制文件。為什么不在訓(xùn)練時(shí)實(shí)時(shí)讀取因?yàn)槠胀@卡的算力本來就緊張如果每個(gè)batch都去讀硬盤、解碼JPEGCPU會(huì)成為瓶頸GPU利用率可能連30%都不到。具體操作寫一個(gè)預(yù)處理腳本遍歷所有圖片用Pillow讀取后縮放到32x32轉(zhuǎn)成numpy數(shù)組減去均值除以標(biāo)準(zhǔn)差最后用np.save存成一個(gè)大的.npy文件。這個(gè)文件大概幾百M(fèi)B一次性加載到內(nèi)存里訓(xùn)練時(shí)直接切片取batch。實(shí)測(cè)下來GPU利用率能從40%提升到85%以上。import numpy as np from PIL import Image import os def preprocess_data(image_dir, output_path): images [] labels [] for idx, filename in enumerate(os.listdir(image_dir)): img Image.open(os.path.join(image_dir, filename)).convert(RGB) img img.resize((32, 32)) arr np.array(img, dtypenp.float32) / 255.0 arr (arr - 0.5) / 0.5 images.append(arr) labels.append(idx % 10) # 假設(shè)10分類 np.save(output_path _images.npy, np.array(images)) np.save(output_path _labels.npy, np.array(labels))提示歸一化時(shí)減0.5除0.5是為了把像素值映射到[-1, 1]區(qū)間這對(duì)訓(xùn)練穩(wěn)定性幫助很大。如果你用ReLU激活函數(shù)其實(shí)映射到[0, 1]也可以但實(shí)測(cè)[-1, 1]收斂更快。還有一個(gè)細(xì)節(jié)數(shù)據(jù)增強(qiáng)不要放在訓(xùn)練循環(huán)里做。我一開始在__getitem__里隨機(jī)裁剪、翻轉(zhuǎn)結(jié)果每個(gè)epoch要多花好幾分鐘在CPU上。后來改成預(yù)處理階段就生成增強(qiáng)后的副本比如每張圖翻轉(zhuǎn)一次數(shù)據(jù)集直接翻倍。雖然占更多內(nèi)存但訓(xùn)練速度提升明顯。2.2 網(wǎng)絡(luò)定義中的參數(shù)初始化與激活函數(shù)選擇網(wǎng)絡(luò)定義這部分最容易出問題的是參數(shù)初始化。我試過全零初始化結(jié)果所有神經(jīng)元的梯度完全一樣網(wǎng)絡(luò)根本學(xué)不到東西。也試過標(biāo)準(zhǔn)差0.1的高斯初始化結(jié)果深層網(wǎng)絡(luò)的激活值越來越小到第三層就接近零了梯度傳不回去。最后采用的是He初始化也就是標(biāo)準(zhǔn)差為sqrt(2 / fan_in)的高斯分布其中fan_in是輸入連接數(shù)。這個(gè)初始化方法專門針對(duì)ReLU激活函數(shù)設(shè)計(jì)能保證每一層的輸出方差大致相等。實(shí)測(cè)下來用He初始化后網(wǎng)絡(luò)在第三個(gè)epoch就開始明顯收斂而之前用普通高斯初始化要到第十個(gè)epoch才有動(dòng)靜。def he_init(layer): fan_in layer.weight.shape[1] * layer.weight.shape[2] * layer.weight.shape[3] \ if len(layer.weight.shape) 4 else layer.weight.shape[1] std np.sqrt(2.0 / fan_in) layer.weight.data.normal_(0, std) if layer.bias is not None: layer.bias.data.zero_()激活函數(shù)我選的是LeakyReLU而不是普通ReLU。為什么因?yàn)槠胀≧eLU在負(fù)半軸梯度為零一旦某個(gè)神經(jīng)元輸出變成負(fù)數(shù)它就“死”了再也活不過來。LeakyReLU在負(fù)半軸給一個(gè)很小的斜率比如0.01這樣即使輸出為負(fù)梯度也能傳回去。這個(gè)改動(dòng)讓我的網(wǎng)絡(luò)在訓(xùn)練后期少了很多“突然不收斂”的情況。注意LeakyReLU的負(fù)斜率不要設(shè)太大0.01到0.1之間比較合適。我試過0.3結(jié)果網(wǎng)絡(luò)變得很不穩(wěn)定loss震蕩得厲害。2.3 訓(xùn)練循環(huán)中的學(xué)習(xí)率調(diào)度與梯度裁剪訓(xùn)練循環(huán)是整個(gè)項(xiàng)目最核心的部分也是最容易翻車的地方。我總結(jié)下來學(xué)習(xí)率調(diào)度和梯度裁剪是兩個(gè)必須做的操作。學(xué)習(xí)率我一開始設(shè)的是0.01結(jié)果loss直接飛了變成NaN。后來降到0.001能收斂但很慢。最后采用的是階梯式衰減初始學(xué)習(xí)率0.005每訓(xùn)練10個(gè)epoch乘以0.5。這樣前期收斂快后期穩(wěn)定。實(shí)測(cè)下來20個(gè)epoch就能達(dá)到85%以上的準(zhǔn)確率。def adjust_learning_rate(optimizer, epoch, initial_lr0.005): lr initial_lr * (0.5 ** (epoch // 10)) for param_group in optimizer.param_groups: param_group[lr] lr return lr梯度裁剪也是必須的。普通顯卡上跑有時(shí)候一個(gè)異常batch會(huì)導(dǎo)致梯度爆炸整個(gè)網(wǎng)絡(luò)參數(shù)全變成NaN。我的做法是計(jì)算所有參數(shù)梯度的L2范數(shù)如果超過閾值就等比例縮小。閾值設(shè)多少我試過1.0、5.0、10.0最后發(fā)現(xiàn)5.0比較合適。太小會(huì)限制正常梯度太大會(huì)讓裁剪失效。def clip_gradients(model, max_norm5.0): total_norm 0.0 for p in model.parameters(): if p.grad is not None: param_norm p.grad.data.norm(2) total_norm param_norm.item() ** 2 total_norm total_norm ** 0.5 clip_coef max_norm / (total_norm 1e-6) if clip_coef 1: for p in model.parameters(): if p.grad is not None: p.grad.data.mul_(clip_coef)提示梯度裁剪要在loss.backward()之后、optimizer.step()之前調(diào)用。順序錯(cuò)了就沒效果。3. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)3.1 環(huán)境搭建與依賴安裝的極簡方案環(huán)境搭建這塊我走的是極簡路線。不需要裝CUDA Toolkit不需要編譯任何東西只要顯卡驅(qū)動(dòng)正常直接裝PyTorch的預(yù)編譯版本就行。具體命令pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install numpy pillow matplotlib為什么指定cu118因?yàn)檫@是目前兼容性最好的CUDA版本從老卡到新卡都能跑。如果你的顯卡比較老比如GTX 10系列cu118也支持。裝完之后用torch.cuda.is_available()驗(yàn)證一下返回True就說明GPU可用。注意不要用conda install pytorchconda的依賴解析有時(shí)候會(huì)裝成CPU版本而且體積巨大。pip安裝更干凈也更容易控制版本。驗(yàn)證環(huán)境是否正常跑一段小代碼import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0)) x torch.randn(1000, 1000).cuda() y torch.mm(x, x) print(y.mean().item())如果最后輸出一個(gè)正常的數(shù)值說明GPU計(jì)算沒問題。如果報(bào)錯(cuò)大概率是驅(qū)動(dòng)版本太老去顯卡官網(wǎng)更新一下驅(qū)動(dòng)就行。3.2 完整訓(xùn)練流程的代碼實(shí)現(xiàn)與參數(shù)說明訓(xùn)練流程我寫成了一個(gè)單獨(dú)的腳本核心邏輯大概一百行。下面把關(guān)鍵部分拆開講。首先是數(shù)據(jù)加載。我用的是自己寫的Dataset類繼承torch.utils.data.Dataset然后配合DataLoader使用。num_workers設(shè)成2pin_memory設(shè)成True。為什么設(shè)2因?yàn)槲业腃PU只有4核設(shè)多了反而搶資源。pin_memory開啟后數(shù)據(jù)從CPU傳到GPU的速度會(huì)快一些。from torch.utils.data import Dataset, DataLoader class MyDataset(Dataset): def __init__(self, images, labels): self.images torch.from_numpy(images).permute(0, 3, 1, 2).float() self.labels torch.from_numpy(labels).long() def __len__(self): return len(self.labels) def __getitem__(self, idx): return self.images[idx], self.labels[idx] train_loader DataLoader(MyDataset(train_images, train_labels), batch_size128, shuffleTrue, num_workers2, pin_memoryTrue)網(wǎng)絡(luò)定義部分我手動(dòng)寫了每一層。輸入是32x32x3先過兩個(gè)卷積層每個(gè)后面接LeakyReLU和最大池化然后展平接三個(gè)全連接層最后輸出10個(gè)類別。import torch.nn as nn class MyNet(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(3, 16, 3, padding1) self.conv2 nn.Conv2d(16, 32, 3, padding1) self.pool nn.MaxPool2d(2, 2) self.fc1 nn.Linear(32 * 8 * 8, 256) self.fc2 nn.Linear(256, 64) self.fc3 nn.Linear(64, 10) self.leaky nn.LeakyReLU(0.01) def forward(self, x): x self.pool(self.leaky(self.conv1(x))) x self.pool(self.leaky(self.conv2(x))) x x.view(x.size(0), -1) x self.leaky(self.fc1(x)) x self.leaky(self.fc2(x)) x self.fc3(x) return x訓(xùn)練循環(huán)里每個(gè)epoch做四件事前向傳播、計(jì)算loss、反向傳播、更新參數(shù)。loss用的是交叉熵優(yōu)化器是手動(dòng)實(shí)現(xiàn)的SGD加動(dòng)量。model MyNet().cuda() criterion nn.CrossEntropyLoss() optimizer torch.optim.SGD(model.parameters(), lr0.005, momentum0.9) for epoch in range(20): model.train() total_loss 0 for images, labels in train_loader: images, labels images.cuda(), labels.cuda() optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() clip_gradients(model, 5.0) optimizer.step() total_loss loss.item() adjust_learning_rate(optimizer, epoch) print(fEpoch {epoch1}, Loss: {total_loss/len(train_loader):.4f})實(shí)測(cè)下來20個(gè)epoch在8GB卡上大概跑15分鐘最終訓(xùn)練準(zhǔn)確率能到92%左右驗(yàn)證準(zhǔn)確率85%上下。這個(gè)結(jié)果對(duì)于一個(gè)小型網(wǎng)絡(luò)來說已經(jīng)不錯(cuò)了。3.3 顯存優(yōu)化與訓(xùn)練加速的實(shí)戰(zhàn)技巧普通顯卡最大的瓶頸就是顯存。我總結(jié)了幾條實(shí)戰(zhàn)技巧每一條都實(shí)測(cè)有效。第一條用混合精度訓(xùn)練。PyTorch自帶的torch.cuda.amp可以讓部分計(jì)算用float16顯存占用直接減半速度還能提升20%到30%。用法很簡單scaler torch.cuda.amp.GradScaler() for images, labels in train_loader: with torch.cuda.amp.autocast(): outputs model(images) loss criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()注意用了混合精度之后梯度裁剪要在scaler.scale(loss).backward()之后、scaler.step()之前做而且要先scaler.unscale_(optimizer)把梯度還原成float32再裁剪。第二條及時(shí)釋放不用的張量。Python的垃圾回收不是實(shí)時(shí)的有時(shí)候中間變量占著顯存不放。我習(xí)慣在關(guān)鍵位置手動(dòng)加del和torch.cuda.empty_cache()。比如每個(gè)epoch結(jié)束后del outputs, loss torch.cuda.empty_cache()第三條batch size不要貪大。我試過batch size 512結(jié)果顯存直接爆了。后來降到128訓(xùn)練速度反而更快因?yàn)轱@存交換少了。找到合適的batch size有個(gè)簡單方法從64開始每次翻倍直到出現(xiàn)OOM然后退回上一檔。第四條用torch.backends.cudnn.benchmark True。這行代碼會(huì)讓cuDNN自動(dòng)尋找最適合當(dāng)前網(wǎng)絡(luò)結(jié)構(gòu)的卷積算法實(shí)測(cè)能提速10%左右。但注意如果你的輸入尺寸經(jīng)常變就不要開因?yàn)槊看味家匦滤阉鳌?. 常見問題與排查技巧實(shí)錄4.1 訓(xùn)練不收斂的五大原因與解決方案訓(xùn)練不收斂是新手最常遇到的問題。我把踩過的坑整理成一張速查表現(xiàn)象可能原因排查方法解決方案loss變成NaN學(xué)習(xí)率太大打印每步loss降低學(xué)習(xí)率10倍loss震蕩劇烈batch size太小觀察loss曲線增大batch size或加動(dòng)量loss下降但準(zhǔn)確率不漲過擬合對(duì)比訓(xùn)練/驗(yàn)證準(zhǔn)確率加Dropout或數(shù)據(jù)增強(qiáng)loss完全不降參數(shù)初始化不當(dāng)檢查初始輸出分布改用He初始化訓(xùn)練后期突然崩潰梯度爆炸打印梯度范數(shù)加梯度裁剪我印象最深的一次是loss一直卡在2.3左右不降查了半天發(fā)現(xiàn)是數(shù)據(jù)標(biāo)簽沒對(duì)齊——圖片和標(biāo)簽的索引錯(cuò)位了。這種問題最隱蔽因?yàn)閘oss看起來正常只是不降。后來我加了一個(gè)檢查步驟隨機(jī)抽幾張圖可視化確認(rèn)標(biāo)簽正確。提示訓(xùn)練前一定要做一次“ sanity check”——用少量數(shù)據(jù)比如10張圖過擬合如果網(wǎng)絡(luò)能把這10張圖全部正確分類說明網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練流程沒問題。如果連10張圖都過擬合不了那肯定是代碼有bug。4.2 顯存不足的應(yīng)急處理與長期優(yōu)化顯存不足報(bào)錯(cuò)CUDA out of memory是家常便飯。應(yīng)急處理很簡單把batch size減半或者把圖片分辨率降一檔。但長期來看需要系統(tǒng)性優(yōu)化。我的做法是梯度累積。比如你想用batch size 256但顯存只夠128那就跑兩次128的batch把梯度累加起來再更新一次參數(shù)。效果等價(jià)于batch size 256但顯存占用不變。accumulation_steps 2 optimizer.zero_grad() for i, (images, labels) in enumerate(train_loader): outputs model(images) loss criterion(outputs, labels) / accumulation_steps loss.backward() if (i 1) % accumulation_steps 0: optimizer.step() optimizer.zero_grad()還有一個(gè)技巧是動(dòng)態(tài)調(diào)整輸入尺寸。訓(xùn)練前期用16x16的小圖快速收斂后期用32x32的精調(diào)。這樣前期顯存占用少可以開大batch size后期雖然顯存占用多但網(wǎng)絡(luò)已經(jīng)接近收斂需要的epoch少。4.3 模型評(píng)估與可視化的實(shí)操心得訓(xùn)練完了不算完還得知道模型到底學(xué)到了什么。我習(xí)慣做三件事混淆矩陣、特征圖可視化、錯(cuò)誤樣本分析?;煜仃囉胹klearn的confusion_matrix一行搞定能直觀看到哪些類別容易混淆。比如我的模型總是把“貓”和“狗”搞混說明這兩個(gè)類別的特征在淺層網(wǎng)絡(luò)上區(qū)分度不夠。特征圖可視化稍微麻煩一點(diǎn)需要把卷積層的輸出取出來。我的做法是注冊(cè)一個(gè)forward hookfeatures {} def get_features(name): def hook(model, input, output): features[name] output.detach() return hook model.conv1.register_forward_hook(get_features(conv1))然后跑一張測(cè)試圖把features[conv1]的每個(gè)通道畫出來。你會(huì)發(fā)現(xiàn)有些通道專門檢測(cè)邊緣有些檢測(cè)紋理。這個(gè)過程對(duì)理解卷積網(wǎng)絡(luò)的工作原理非常有幫助。錯(cuò)誤樣本分析就是把分錯(cuò)的圖片挑出來看。我經(jīng)常發(fā)現(xiàn)分錯(cuò)的圖片要么是標(biāo)注本身就有問題要么是圖片質(zhì)量太差人眼都難分辨。把這些樣本清理掉之后模型準(zhǔn)確率能提升兩三個(gè)百分點(diǎn)。注意可視化的時(shí)候記得把張量轉(zhuǎn)到CPU上并且用.detach()切斷計(jì)算圖。直接在GPU上畫圖會(huì)報(bào)錯(cuò)而且占用顯存。5. 項(xiàng)目擴(kuò)展與個(gè)人經(jīng)驗(yàn)分享5.1 從單機(jī)到多卡普通玩家的擴(kuò)展路徑如果你后來換了一張更好的顯卡或者又加了一張這個(gè)項(xiàng)目可以平滑擴(kuò)展到多卡訓(xùn)練。PyTorch提供了nn.DataParallel一行代碼就能把模型放到多張卡上model nn.DataParallel(model)但DataParallel有個(gè)缺點(diǎn)它會(huì)在主卡上匯總所有梯度導(dǎo)致主卡顯存占用比副卡多。如果兩張卡顯存不一樣比如一張8GB一張12GB主卡很容易爆。這時(shí)候可以用DistributedDataParallel但配置復(fù)雜很多需要改數(shù)據(jù)加載器和啟動(dòng)腳本。我的建議是如果兩張卡顯存一樣用DataParallel就夠了如果顯存不一樣還是老老實(shí)實(shí)單卡跑或者把大卡當(dāng)主卡。實(shí)測(cè)下來兩張8GB卡用DataParallel訓(xùn)練速度大概提升1.6倍不是線性的因?yàn)橥ㄐ庞虚_銷。5.2 我踩過的三個(gè)印象最深的坑第一個(gè)坑是數(shù)據(jù)加載器的num_workers設(shè)成0。當(dāng)時(shí)為了調(diào)試方便把num_workers設(shè)成0結(jié)果訓(xùn)練速度慢得離譜一個(gè)epoch要跑十分鐘。后來改成2直接降到兩分鐘。原因很簡單num_workers0意味著數(shù)據(jù)加載在主進(jìn)程里做GPU算完一個(gè)batch要等CPU讀下一個(gè)batchGPU利用率只有20%左右。第二個(gè)坑是忘記加model.train()和model.eval()。PyTorch的Dropout和BatchNorm在訓(xùn)練和推理時(shí)的行為不一樣。我有一次評(píng)估時(shí)忘了加model.eval()結(jié)果Dropout還在隨機(jī)丟棄神經(jīng)元準(zhǔn)確率比正常低了十個(gè)百分點(diǎn)。查了半天才發(fā)現(xiàn)是這個(gè)原因。第三個(gè)坑是保存模型時(shí)只保存了參數(shù)沒保存優(yōu)化器狀態(tài)。后來想繼續(xù)訓(xùn)練發(fā)現(xiàn)學(xué)習(xí)率調(diào)度和動(dòng)量都丟了只能從頭開始。正確的做法是保存一個(gè)字典torch.save({ epoch: epoch, model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), loss: loss, }, checkpoint.pth)5.3 這個(gè)項(xiàng)目后續(xù)還能怎么玩這個(gè)項(xiàng)目本身是一個(gè)基礎(chǔ)框架但擴(kuò)展性很強(qiáng)。我后來在這個(gè)基礎(chǔ)上做了幾個(gè)變體一是換成回歸任務(wù)。把最后的分類層改成輸出一個(gè)數(shù)值loss換成MSE就能做簡單的回歸預(yù)測(cè)。比如預(yù)測(cè)房價(jià)、預(yù)測(cè)溫度數(shù)據(jù)換成表格數(shù)據(jù)就行。二是加入注意力機(jī)制。在卷積層后面加一個(gè)簡單的通道注意力模塊參數(shù)量只增加幾千個(gè)但準(zhǔn)確率能提升兩三個(gè)百分點(diǎn)。代碼大概二十行效果立竿見影。三是做成Web演示。用Gradio或者Streamlit寫一個(gè)簡單界面上傳圖片就能看到分類結(jié)果。這個(gè)對(duì)于做演示或者教學(xué)特別有用別人不需要懂代碼就能體驗(yàn)?zāi)愕哪P汀K氖橇炕渴?。用PyTorch的量化工具把模型轉(zhuǎn)成int8體積縮小四倍推理速度提升兩三倍。雖然準(zhǔn)確率會(huì)掉一兩個(gè)百分點(diǎn)但對(duì)于部署到邊緣設(shè)備來說非常劃算。我個(gè)人在實(shí)際操作中的體會(huì)是普通顯卡完全能玩轉(zhuǎn)神經(jīng)網(wǎng)絡(luò)關(guān)鍵是要控制好規(guī)模。不要一上來就搞大模型從小網(wǎng)絡(luò)開始把每一個(gè)環(huán)節(jié)都吃透后面再擴(kuò)展就順理成章了。另外多動(dòng)手寫代碼少復(fù)制粘貼。自己寫一遍反向傳播比看十篇教程都管用。最后再分享一個(gè)小技巧訓(xùn)練前先用小數(shù)據(jù)集跑通全流程確認(rèn)沒有bug之后再上全量數(shù)據(jù)這樣能省下大量等待時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月天精品| 99性爱无码| 久久伊人大香蕉| 五月天婷婷情色| 人人草人人爱| www.婷婷亚洲基地| 97热视频| 婷婷久久国产视频| 超碰成人影视| 9久久婷婷国产综合精品性色| 激情宗合 激情宗合| 色色亚洲| 这里只有精品视频视频在线观看| 四川BBB搡BBB搡多人乱亂| 清色五月天| 日逼AV影音先锋男人资源站| 天天色综网| 久久全色| 久久激情五月婷婷| 五月丁香久久久| 大香蕉在九| www.ppypp| 色婷婷综合电影| 丁香激情五月| 婷婷色无码| 五月丁香色停停啪啪啪| 99久久婷婷五月综合| AV在线观看网站| 色五月六月| 99热国产这里只有| 91窝窝| 亚洲成人av在线播放| 日本一毛片| 四色永久成人网站| 丁香五月成人在线| 任我干视频在线观看| 五月叮香啪| 婷婷中文在线| 丁香五月网| 精品国产AV色一区二区深夜久久| 亚洲激情五月| 三级三久久线久久99久目本WW| 深爱激情五月网| α久久| www.婷婷五月天,com| 色五月欧美| 黄色AV日韩| 欧美顶级少妇做爰HD| 丁香久久久| 99久.| 日本人妻伦在线中文字幕| 天天情色综合网| www.婷婷,com| av在线婷婷| 天天肏高清在线| 丁香五月综合激情久久潮喷| 国产伊人大香蕉| 久热9| 日本va视频| 色综合视频| 亚洲热久久| 色丁香久综合在线久综合在线观看| 亚州色综合| 国产 码在线成人网站| 激情五月丁香综合蜜桃| 日韩精品超碰在线观看| 婷婷丁香五月天激情四射| 久久3p| 五月的丁香六月的婷婷| 久久9精品| 五月婷婷久久大片| 五月天激情小说| 五月天综合图片| 色婷婷视频| 欧美十二区| 97久久超碰| 五月丁香婷在线| 91超级碰在线视频| 五月婷天堂视频| 99热亚洲| 婷婷的99视频网站| 熟女激情五月天| 激情五月天在线观看色婷婷| 久久九九中文字幕| 91久久九色| 大香蕉啪啪网| 色婷婷综合影院| 大香蕉久久| 亚洲精品五十一区| 亚洲国产精品成人免费一区久久久在线观看AAAA | 久久久久久丁香五月| 99在线69| 色五月婷婷91| 99久精品| 97性高潮久久久| 免费看欧美成人A片无码| 99无码超碰| 五月丁香五月婷婷在线观看| 婷婷五月综合在线视频| 亚洲性图一区二区三区| 欧洲亚洲最新精品| 狠狠 婷婷| 亭亭色色五月天| 欧洲区自拍| 成人无码髙潮喷水A片| 色综合久| 99精在线| 九九性视频| 丁香五月日韩| 99免费热视频在线| 蜜桃人妻无码AV天堂三区| 丁香婷婷五色月| 五月色综合| 日91高清无玛| 玖玖99免费视频| 五月天色站| 老司机视频lsj爱就色| 久久婷婷视频| 天天干天天干天天干| 99热综合在线| 色五月综合网| 色色婷婷五月天| 日本色久| 激情视频网址| 91操人视频| 激情综合无码| 久久香蕉网| 99热e| 99热这里只有精品免费观看| 欧美成人精品一区二区 | 深爱激情五月天色婷婷| 亚洲色色色色| 狠狠草狠狠草| 日熟女| 五月婷婷婷丁香播| 久久婷婷91| 97人妻碰碰碰久久香蕉| 丁香六月情| 人人澡玖玖一| 色婷婷香蕉| 99热一区| 激情五月婷婷综合| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 九九这里有精品| 色婷婷综合网站| 日日噜噜夜夜狠狠久久丁香六月| 操骚货在线| 26uuu国产| 久久精品性爱| 男同91| 青青草伊人婷婷| 久草丁香婷婷1024| 97婷婷在线| 91肏| 久久综合网免费视频| 激情婷婷五六月天| 五月综合色播播丁香婷婷| 男女久久婷婷五月天| 99热12| 99re思思热久久| 久久久久人妻网址| 亚洲人妻av| 这里有精品| 激情五月影院| 在线综合亚洲欧美65| 五月丁香激情综合网官网| 67194中文在线| 热久久色| 91丨熟女丨首页| 婷婷色色综合激情| 丁香五月婷婷骚视屏| 久久婷婷五月天蜜桃| 色色五月婷婷久久| 五月丁香婷婷成人网| 九热视频| 亚洲av午夜精品一区二区| 大香蕉久久久| 久久成人天| 欧美婷婷精品激情| www婷婷| 激情综合色婷婷啪啪五月天| 日本婷久久| 色五月之第四色| 亚洲精品乱码久久久久99| 亚洲精品又粗又大又爽A片 | 草一草avb| 丁香五月婷婷呀| 激情婷婷综合网| www久久久| 停停五月天激情网| 色婷婷五月天中文字幕| 97成人丁香| 激情AV在线| 深爱婷婷色| 99热高清在线| 亚洲中文字幕在线观看| 亚洲久热| 激情五月婷婷五月丁香五月开心五月| 91要啪| AV电影在线播放| 五月婷丁香亚洲| 五月婷婷丁香俺日污视频| www.成人婷婷综合| 色综合久久天天综合网| 久热这里只有精品6官网亚洲| 丁香五月婷婷国产在线| 91狠狠综合久久久久久| 五月婷婷影| 久久精彩视频99| 91久久久久久久久久18| 综合网啪| 狠狠撸激情综合丁香五月天俺来啦| 超碰91人人操| 97自拍视频网| 翔田千里无码| 在线观看中文字幕| 91综合在线视频| 四色永久成人网站| 99在线免费视频| 婷婷五月天视频小说| 色综合久久综合中文综合网| 69综合在线| 国产精产国品一二三在观看 | 五月天亚洲图片婷婷| 婷婷日本在线| av操逼网| 亚洲欧洲中文日韩久久AV乱码| 五月婷婷与六月丁香图片激情| 五月天深爱激情网| 天天天添天天操| 亚洲中文av| 亚洲av成人电影在线观看| 少妇大叫太大太粗太爽了A片| 五月丁香啪啪综合| 婷婷的色色五月天| 亚洲综合五月天婷婷| 五月天自拍网| 五月综合婷婷开心网| 久婷婷色| 五月天婷婷久草丁香| 亚洲蜜桃精久久久久久久久久久久| 五月婷婷性爱| 五月婷婷熟女| 丁香婷婷91在线观看视频| 中文字幕乱轮| 久热网站| 人人人舔人人人操人人人摸人人人97| 亚洲丁香网| 激情涩涩网| 久久性操| 欧美久久婷婷| 五月激情综合网| 国产精品国产| 久99热在线观看| 青青草原爱爱网| www,setingting| 日本人妻伦在线中文字幕| 丁香五月天激情视频| 91丨九色丨熟女|新版| 26uuu精品一区二区| 五月激情黄色小说| 丁香五月天成人| 婷婷五月激情热播| www.婷婷网| www.色五月| 99综合一区| 丝袜激情网| ′久久99一| 热久69| 婷婷五月在线| 九九精品99久久久| 另类伊人婷婷| 色综合色五月| 久久久精品99亚洲综合| 六月色日韩| 超碰成人在线观看| 丁香五月影院| www.激情在线| 婷婷区日本| 美女婷婷六月色| 99热思思在线观看| 亚洲综合激| 五月天婷婷午夜丁香| 欧亚色色| 可以直接看的av网站| 丁香五月天在线直播观看| 色婷婷五月丁香在线观看| 丁香五月婷婷色五月| 五月丁香六月婷婷不卡免费无码| 亚洲国产成人裸舞| 五月叮香啪| 热99在线| 夜夜大香蕉婷婷丁香| 涩综合网| 国产成人网址| 26uuu成人网| 丁香婷婷婷婷十二月在线观看视频| 亚洲性爱AV| 色婷天天| 久机视频这只有精品| 色色色色热| 国产亚洲精品AAAAAAA片| 日本少妇裸体做爰高潮片| 亚洲三A| 久久婷鲁| 五月婷婷黄色| 日本婷婷综合精品| 亚城区在线| 996er热| 日本色图综合| 亚洲激情综合| 婷婷中文字暮| 五月婷婷色| 小视频在线亚洲| 九九久久综合网站| 夜夜撸日日操| 国内外色色色色色成人视频| 亚洲免费综合一区| 日本人人干| 丁香色六月| 久久五月丁香六月婷| 国色天香伊人狠狠色| 成年人丁香五月| 丁香五月91| 99色在线| 日本三级网址| 五月天六月天| 五月天婷婷爱| 任你躁XXXXX麻豆精品| 五月久久| 26uuu淫色| 丁香五月婷婷综合网| 99这里都是精品| 色狠狠综合| 午夜激情四射影院| 五月丁香六月综合情在线观看| 欧美英丁香开心快乐六月天网| 亚洲综合五月天婷婷| 天天日综合| 五月婷三级片| 九九这里是免费的视频5| 中文字幕丰满乱孑伦无码专区| 天天操天天草天天草天天| 激情五月天综合网| 色狠狠色噜噜AV天堂五区| 免费观看日韩成人av| 国产精品久久..4399| 丁香五月天欧美在线| 影音先锋91| 欧美S码亚洲码精品M码| 亚洲小电影在线观看黄999| www.夜夜夜| 天天爽天天爽| 五月婷A V在线| 激情久久久久久久久久久| 久热这里只有精品在线观看| 伊人五月天| 五月天婷婷综合| 久久图色4| 操人妻90p| 婷婷五月婷婷| 99国产精品白浆在线观看免费| 综合久久久婷| 六月丁香婷婷在线波多| 五月天色区| 丁香花五月天婷婷成人社区| 天天爽成人综合网站| 丁婷婷五月天在线播放| 性爱综合网| 婷婷五月色情| 巴基斯坦粉嫩无码视频| 成功精品影院| 伊九九三级区| 婷婷久久五月| 99久视频| 五月婷婷激情啪啪| 久久与婷婷| 天天爽天天| 无码人妻丰满熟妇奶水区码| 婷婷五月69| 五月天婷婷丁香社区| 色99在线| 丁香五月综合婷婷| 99精彩视频| 女人被躁到高潮嗷嗷叫小| 色综合网址| 六月丁香六月婷婷欧美| 色综合久久久无码中文字幕999| 婷婷中文在线| 婷婷五月丁香91| 殴美97色| 色丁香婷婷| 久热在线中文字幕色999舞| 婷婷在线精品| 婷婷的99视频网站| 丁香五月婷婷激情四射| 人妻久久久久久久 | 中文AV网站| 日韩99色| 亚洲精品大片| 99热婷婷| 大香蕉久操| www.婷婷,com| 性爱视频久久| 五月天伊人久久| 精品免费99| 乱岳熟女50岁| 色播五月天天| 久青草影院| 久久久久9| 91无码高清| 人妻六月天| 婷婷五月天激情亚洲小说| 超碰av在线| 一起草AV| 五月天开心网| 婷婷激情五月天7| 五月天婷婷视频| 日韩成人电影av| 天天色综合网吨吧| 色欲AVV| 激情丁香网| 农村熟妇高潮精品A片| .操區COm| 老师的粉嫩小又紧水又多A片视频| 丁香五月激情六月欧亚激情综合导航| 天天玩夜夜操| 99色色网站| 婷婷大香蕉| 天天做天天爱天天搞| 综合AV在线| 色色网站在线| 久操b网| 亚洲无码99| 五月丁香久久精品在线观看| 婷婷啪啪| 思思热再线视频| 亚洲中字AV电影在线网站| 色婷五月丁香久亚洲| A片试看50分钟做受视频| 婷婷激情六月中文| 婷久久高清| 特级片神马电影| 婷婷丁香五月在线观看91| 99热成人在线| 99ri视频在线播放| 丁香五月激情啪啪| 国产永久一二一起草| 五月丁香影院| 99热这里只有精品无码| 伊人久久大香线蕉综合网站| 成人版视频在线观看| 91精品久久久久久久久| 亚州操人在线视频| 综合激情网| 日逼影音先锋男人AV资源站| 婷婷五月天色| 国产97色在线| 无码99| 五月天婷婷乱| 97五月综合网| 婷婷天天日婷婷| 五月丁香色色综合| 亚洲综合五月天婷婷| 激情六月日韩| 人人97碰| 老师的粉嫩小又紧水又多A片视频| 五月天自拍视频| 婷久久久| 99热这里只有精品1025| 久久五月网| www.cao.com久久| 六月丁丁香| 九九色逼| 老师高潮流白浆喷水的A片| 六月婷婷五月天| 色播婷婷五月天| 无码激情AAAAA片-区区| 亚洲综合五月| 婷婷成人在线| 婷婷 伊人 久久| 欧美精品999| 日本va欧美va欧美va| 色五月婷婷丁香凹凸| 98色花堂98t.R| 99超级碰免费视频| 偷拍九九热| 亚洲成人网站在线播放| 九九精品片一| 亚洲秘 无码一区二区三区妃光/1| 99热这里只有精品66| 五月综合精品| 婷婷久久五月| 色五月天成人| 天天看片日日夜夜| 色婷婷文字幕| 国色天香成人网| 色婷婷久久综合中文久久一本| 五月婷婷激情综合| 黄色成人AV在线| www色色色com| 天堂草在线看www| 综合久久久| 粉嫩AV久久一区二区三区| 538在线精品| 9九热视频| 丁香五月伊人| 久久HD| 婷婷深爱五月| 米奇激情婷婷| 国产操B视频| 无码成人AAAAA毛片AI换脸| a久久| 国产综合激情五月久久| AV在线中文| 五月色丁香婷婷综合| 99精品在这里| 婷婷色导航| 日本精品。999| 九九十99视频| 日操熟女| a久久| 久久视频这里有精品99| 高清无码 一区 二区 三区| 色九九综合热99| 成人在线观看国产| 99热免费在线| 色情五月天丁香社区| 国产在线另类五月婷婷| 色婷婷五月天激情| 99热丁香五月| 丁香五月婷婷综合激情啪啪啪| 99视频这里有精品| 久久综合影院| 99色色色色| 亚洲综合网激情五月天| 任你艹| 日韩国产在线免费观看| 激情九月丁香婷婷| 日韩AAAAA| 思思99热| 成人丁香婷婷| 天天草天天日| 丁香五月婷婷成人色区| 亚洲五月天,激情视频| 日韩av高清| 日韩少妇内射免费播放| 丁香五月av| 99干日本| 成人短视频在线免费观看| 欧美婷婷五月| 五月天激情婷婷五月天久久| 五月天激情站| 色很很96| 五月天亚洲图片婷婷| 天天操天天曰天天射| 激情精品久久| 国产精品成av人在线视午夜片| 嫩草AV久久伊人妇女超级A | 婷婷综合激情| 激情五月天电影| 五月婷婷中文字幕AV| 天天日天天做天天操| 婷婷六月爽| 性色欲情 网站| 欧美日韩123| 色天堂97| www.yw色| 综合色影院| www.玖玖婷婷在线| 婷婷久久爱| 五月婷婷丁香日韩在线| 色色色激情网| 成人国产网站在线免费看| 天天操综合网| www.色婷婷| 99久在线精品99re8| 丁香六月婷婷开心| 超碰人人艹| 最新va在线播放| 五月婷婷天天| 日日干夜夜干| 九九热99免费视频| 久久久激情视频| 深爱激情五月天| 开心激情网五月天| 天天干,夜夜爽| 色五月婷婷小说亚洲中文字幕组| 天天做天天爱天天爽综合网| 婷婷五月天在线观看| 99在线免费观看| 天天日天天草| 丁香五月AV| 综合激情在线| 国产激情综合五月久久| 丁香五月天电影| 日本一级黄色电影| 国产69久久久欧美黑人A片| 婷婷伊人綜合中文字幕小说| 国产日韩欧美| 国产精品久久久爽爽爽麻豆色哟哟 | 一点色成人网| 无码少妇高潮喷水A片免费| 青草视频在线播放| 天天色凹凸| 久久久久久18| 欧美日韩成人免费在线| AV堂狠狠干| 欧洲婷婷五月天| 五月天激情婷婷五月天久久| 丁香色综合| 开心网五月色婷婷| 六月撸婷婷| 久久丁香五月天| 丁香五月Av| 六月天婷婷| 久久小说| 丁香五月婷婷五月基地| 超碰免费电影| 91色色色18| 蜜乳9188| 天天插天天| 久久视频这里有精品99| 成人 视频免费观看网站| 激情小说五月天| 99热这里都是精品| 色婷婷91激情小说| 99在线观看精品| 新久久五月天激情| 99婷五月| 亚洲有码在线视频| 五月丁香影院| 艹| 激情五月天小说| 色色色婷婷五月| www.色99| 啪啪色激情五月天| 五月婷婷黄色| 五六月丁香激情视频| 五月网在线| 9久热免费视频99| 色婷婷狠狠| 丁香啪啪中文字幕| 大香蕉婷婷色| 色婷婷亚洲在线| 五月婷婷丁香五月 | 五月婷婷五月天| 久久久久久9热不雅视频| 91人操人人人操人| 狠狠色丁香婷婷基地| 伊人五月天在线| 色婷婷av在线观看| 无码碰碰| 欧美极品999| 热99只有里视频| 97在线视频人妻九色| 在线18av | 日韩综合久| www.xtbsty.cn.com蜜乳AV| 99热精品6| 亚洲超碰在线| 玖玖九九9999在线观看视频精品| 婷婷九月亚洲| 天天爽夜夜爽夜爽精品| 99九九久久| 99热这里只有精品9| 亚洲精品影视| 亚洲综合视频八| 激情五月婷婷免费视频| 超碰网站在线观看| 婷婷丁香91综合| 丁香婷婷久久 | 九九99久久| 人人干av| 天天草天天爽| 色情五月丁香| 午夜色婷婷| 五月天堂婷婷| 色婷网| 俺去也五月天| 五月婷婷av| 九九热思思| 丁香五月另类小说| 五月丁香六月婷婷综合网站 | 黄色aaaaa| 激情综合啪啪| 久久之人妻| 99色视频| site:jszngf.com| 另类色视频| 成人五月天色天堂| 六月色婷婷欧美| 五月丁香六月欧美综合| 色情五月天首页| 久久人妻爱爱| 亚洲十月婷婷综合| 99色免费视频| 噜噜视频| 97狠狠色| 婷婷五月天影院| 五月婷婷色| 国自产拍偷拍精品啪啪一区二区| 婷婷婷狠狠| 亚洲无码影片| 99视频热99| 91丁香色五月| 99热在线看片| 日韩性视频| 色色网站免费在线视频| 色婷丨日丨天丨综合久久| 六月五月婷婷| 五月婷婷六月情| 99色天堂| 欧美三级巜人妻互换| 亚洲成人综合网在线免费观看| www五月天com| 99亚色色色| 五月天久久www| 五月婷婷丁香婷婷| 99热网站| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | www.久操| 欧美精品999| 综合在线丁香五月| 夜夜谢天天干| 99操视频| 99操网站| 亚洲综合九九| 我要看激情五月天| 九九AV在线| 亚洲字幕AV一区二区三区四区| 五月天婷婷涩涩| 99久热在线精品| 色五月婷婷久久大| 五月丁香综合激情网| 天天干天天爽| 91人人操人人看| 丁香五月丐人妻| 91精品综合久久久久久五月丁香| 婷婷丁香久久| 99精品久久久久久| 婷婷五月综合在线| 五月久久丁香| 亚洲激情婷婷| 五月婷婷精品视频| 婷婷第六色| 亚洲另类视频| 色色婷婷五月天| 亚洲精品成人片在线播| 成人色站,在线视频,看片-SS1AV| 色婷婷丁香五月天在线观看| 五月综合色| 激情综合色婷婷啪啪六月天| 插插插色综合网| 久久免费操| 婷婷99综合| 激情丁香婷婷| 第五色色色婷婷| 国产FREESEXVIDEOS性中国| 亚洲超级碰| 丁香六月天色婷婷| 色情五月婷婷| 色婷婷瘦婷婷日韩| 米奇影视资源777狠狠色婷婷五月天激情网| 色五月婷婷综合在线| 综合色五月亭亭| 啪啪啪综合网| 九九这里有精品| 国产SUV精品一区二区883| 99日本黄站| 婷婷激情五月综合| 久久AV无码精品人妻系列试探| 丁香五月激情啪| 天天天天色天天天天天干| 99色| 激情五月综合网最新| 天天草比天天爽| 久久在线视频免费观看| 婷婷中文在线| 干一干xxxx| 久久日本wwww色| 五月花成人网| 丁香五月自拍| 久操热线| 久久综合影院| 五月婷婷丁香大香蕉| sewuyue第四色| 欧美色五月| aaa久久| AV人人操| 九九Y精品热播| 天天射天天射一道本日本社区| 人妻久久久| 久久婷五月婷| 久久久久久激情| 久激情| 日本VA视频| 亚洲久久天堂| 东北婷婷五月天| 亚洲精品无码一区二区| 久久九九怡红院| 超碰AV在线| 99精品视频偷拍| 五月丁香六月婷| 99啪在线| 激情五月天影院| 无码人妻一区二区一牛影视| 久久机热这里只有精品| 婷婷五月综合国产精品| 91婷婷五月天综合视频| 一本道在线电影| 九九热视频网站| 99自拍视频| 天天拍夜夜撸 | 99re这里有精品手机在线| 成人无码精品1区2区3区免费看| 婷婷亚洲五| 99在线精品视频| 久青青久| 婷婷在线播放| 日韩无码人妻一区二区三区综合| 大地9中文在线观看免费高清| 99区视频| 91久久精品国产91性色TV| 亭亭色天香| 91夫妻视频| 五月丁香花开综合网| www九九免费视频| 五月综合影院| 中文字幕高清av| 91成人性爱视频| 99日视频在线| 激情爱爱网站| 五月停亭六月,六月停亭的英语| 伊人久久99| 九九香蕉网| 五月综合久久| 开心五月丁香啪| 97婷婷五月丁香| 五月天婷婷激情在线色图| 国产美女主播vip| 丁香婷婷色九月| 婷婷激情综合网| 激情小说五月天| 婷婷五月开心中文字幕色| 性欧美大战久久久久久久83| 99爱无码| 99九九视频| 91操人| 五月丁香好婷婷姑娘综合网| 综合色、色综合| www.henhengan| 五月天丁香婷| 五月婷婷丁香| 五月天激情综合10p| 99婷婷综合| 日韩在线一级| 色噜噜狠狠色综| 免费无码毛片一区二区A片| 99热12| 91精品又长又大又粗又爽又猛| 国产成人AV在线| 99热这是里只有精品| 香蕉婷婷五月| 激情五月天色播| 伊人影音无码一区二区三区| 免费看欧美成人A片无码| 色J香五月天| 夜夜 操无码| 亚洲精品一区无码A片| 激情五月,婷婷五月,丁香五月| 久久久性爱视频| 国产精品久久久久久久久久久久| 九九亚洲视频| AV在线免费网站| 精品夜夜澡人妻无码AV| 久久激情五月婷婷| 开心五月婷婷五月| 婷婷五月另类网站| 九九九九综合| www.五月天婷婷姐姐| 97在线/日本| 婷婷五月天av| 五月婷av| 四色综合网| 91九九热| 色偷偷五月天| 激情六月婷| 久99热| 99热国产在线| 97综合在线| 日日噜狠狠色综合久久| 五月丁香啪啪综合| 久草婷婷网| 久久综合五月天| 免费观看的AV| 色综合色五月| 婷婷五月精品| 九九九九毛片| 激情五月com| 夜夜爱影院| 久久性爱99国产| 天天操天天干天天日| 99热这里只有99| 欧美123区免| 丁香婷婷激情| 欧美影院| 五月天婷婷爱丁香中文字幕| cao久久| AA片在线观看视频在线播放| 色激情五月| 亚洲99视频| 超碰日日操| 精品日本视频444| 九九成人| 婷婷五月天亚洲五码| 人人操A| 精品久久99码| 亚洲色基地| 91色呦哟| 婷婷五月av| 色亭亭五月天丁香综合AV - 百度 - 百度| 99re这里只有精品9| 激情九色| 操草草草| 99噜噜噜在线播放| 五月天激情四射| 激情五月天小说| www.狠狠操.com| 五月丁香综合啪啪| 九九综合88| 中文字幕视频色婷婷| 97福利视频| 色五月婷婷网| 丁香色综合| 青青操avbb| 97干在线| 超级碰碰视频无码| 色色色九九九五月婷婷| 99熟女| 久久久ww| 色五月亚洲| 99久热这里有精品| 亚洲人妻av| 亚洲综合视频网| 丁香五月婷综合| 丁香激情综合| AA片在线观看视频在线播放| 99精品在线播放| 影视av久久久噜噜噜噜噜三级| 九九综合久久| 五月丁香亭亭天天舔| 99热久久这里只有精品| 婷婷五月天av| 97视频.干com| 九九中文字幕九| 久久38视频| 九九色婷| 国产乱人偷精品人妻A片| 婷婷网五月天| 五月婷婷深深爱| 四月婷婷五月丁香| 国产密乳av一区二区三区四区| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 国产精品色| 香蕉综合网| 夜夜干天天操| 99热免费| 99热97| 5月丁香婷婷激情网| www.五月天激情| 永久地址 色| 婷婷五月激情在线| 综合网五月天123| 插插五月天| 去干网最新版本亚洲版| 六月婷婷七月丁香| 天天在线久久综合| 五月丁香六月婷婷免费| 综合激情五月丁香9999久久精| 婷婷五月在线综合| 综合久久婷婷五月丁香| 99免费视频久久| 这里只有精品视频在线观看免费| 成片免费观看视频大全| 丁香色五月婷婷17C| www.25五月婷婷| 99爱欧美| 色色色色色色色色色999| 色情五月天A片| 色性五月天| 九九热视频精品| 五月婷婷综合丁香视频| 久久九九国产精品怡红院| 五月精品| 亚韩在线视频| 五月婷婷片| 噼里啪啦完整版中文在线观看| AA片在线观看视频在线播放| 影音先锋自拍网| 伦乱人妻| 九色地址91视频| 亚洲成人高清在线| 99色这里| sS丁香五月婷婷| 人人干人人操人人摸人人做| 久久欧洲综合网| 五月激情偷拍| 色综合久久中文| 99久热| 99久久婷婷| 色婷丁香91| 2015WWW永久免费观看播放| 9精品视频在线| 激情婷婷五月久久| 99超在线| 停停五月天激情网| 色婷婷精品视频| 亚洲无码另类| 国外亚洲成AV人片在线观看| 男人的天堂99| 日韩成人无码人妻| 丁香九月激情| 五月天久久小说| 97人妻碰碰碰碰碰久久久久久| 久热91精品| 五月天婷a在线| 人人操超踫| 99热日| 丁香五月激情婷婷| 六月婷综合| 色香久久| 99在线观看这里都是精品| 久热这里只有精品66| 丁香五月婷婷在线| 五月婷婷啪啪啪| 国外亚洲成AV人片在线观看| 狠狠综合久久综合| 成人五月天丁香| 91啪级电影| 九九在线精点品| 亚洲色视频| 丁香花狠狠婷婷亚洲中文字幕| 久热中文字幕| 凹凸探花电影| 婷婷丁香五月网| 九九Av| 91猫咪国产在线播放| 中文字幕在线资源| www.26uuu.com亚洲电影| 久色大| 婷婷五月在线视频| 五月激情婷婷四射| 亚洲激情亚洲激情| 99re在线这里只有精品视频首页| 婷婷99中文字幕| www.97视频| 91在线操| 一二三区视频韩国| 97人人操| 亚洲亚洲人成综合网络| 久久婷婷五月综合成人d啪| 夜夜天天久久婷婷| 五月婷婷激情综合av| 中文字幕欧美日韩VA免费视频| 综合激情专区| www.sd-xiangsu.cpm| 久久婷婷人人| 久久99大| 久久婷婷五月| 欧美五月婷婷| AA片在线观看视频在线播放| 国产成人在线不卡AV| 五月色婷婷激情| 99热在线看| 看逼中文字幕| 国产精品噜噜在线视频| 9热精品| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 怎么样可以看免费的一级av| 婷婷久热| 亚洲热久久| 国产一区二区三区影院| 久久总和99| 亚州AV超碰人人操| 婷婷五月天激情网| 日韩操人| 日日干天天爽| 色婷插| 99成人精品六| 色婷婷大香蕉| 热996精品在线观看| 亚洲六月婷| 九九伊人网| 九九青草热| 99这里只有精品99| 天天爽夜夜操| 99色网站| 色色色网站| 热久久婷婷| 第四色婷婷最爱| 九九热九九| 天堂A∨在线| 六月婷婷色| 日韩精品呦呦va| 激情激情激情网| 五月丁香六月婷| 婷婷五月情| 色色激情五月| 色婷六月| 五月天狠狠网| 墨西哥毛片内射精| 可以免费看的av网站| 99热亚洲| 日本本土色网第一区| 色情五月婷婷| 91色吧网| 66色在线日韩| 欧美日韩国产日本精品四虎网网站物| 青娱乐美女福利视频美臀| 激情深爱五月天| 婷婷四月 成人 狠狠干| 日韩视频99| 91操片| 婷婷综合色| 国产av影片| 人人爱人人草| 婷婷色片| 射久久丁香五月| 久久月天堂| 色色色色色色色色色色色色色色,网站| 婷婷丁香无码专区| 久久五月婷天天干| 思思re最新视频| 五月综合六月丁| 四季8848精品成人免费网站| 天天肏屄夜夜爽| 激情五月天网| 六月色色综合| 亚洲亚洲人成综合网络| 九九热视频网站| WWW.桔色成人.COM| 六月丁香婷婷网| 粉嫩AV久久一区二区三区| 激情丁香淫荡婷婷| 欧美三级巜人妻互换| 色噜噜伊人| 九九热精品在线| 五月婷色丁香| 国产毛片操B| 色婷婷五月天天天干天天操天天爽| 激情婷婷五月丁香啪啪啪| 激情色视频| 午夜福利8055| 五月丁香六月婷婷激情视频在线观看免费| 99日在线观看视频| 曰曰久久| 亚洲成人影视在线观看| 思思热精品在线| 色青青五月| 影音先锋男人av资源站| 婷婷色五月综合| av无码电影| 婷婷六月久久综合导航| 色性综合| 亚洲精品又粗又大又爽A片| 色综合久久久久久久久五月| 欧美碰碰碰| 五月天天天天天天天天天天天天天天天婷婷婷 | 久久五月天丁香花| 色噜噜狠狠色综合伊人| 婷婷五月天小说| 激情影院免费视频婷婷五月天| 亚洲av电影网站| 欧美色爱五月天| 久久总和99| 亚洲高清在线| 日韩无码人妻一区二区三区综合| 国产99久| 五月天色色婷婷| 色一区高清| 免费无码毛片一区二区A片| 97婷婷五月天| 五月天丁香成人社| 丁香五月婷婷啪啪| 青青草护士中出内射-欧美电影在线天堂新版| 婷婷五月五月丁香| 这里只有精品久久| 婷婷五月综激情| 亚洲综合在线视频| 色噜噜婷婷| 婷婷激情人妻| 欧美25p| 色五月婷婷久久大| 婷婷九月狠狠色| 99热日本| 日本熟女内射| 色五月婷婷操逼| 天天色情站| 夜夜干夜夜操| 中文字幕在线播放视频| 97操操网| 99亚洲视频| 丁香五月另类小说在线阅读| 五月婷婷黄网站大全| 天天久久狠狠色综合| 色播五月丁香综合| 色五月激情图片| 九九99九九99| 五月婷婷干| 婷婷在线综合| 韩国中文字幕91| 五月丁香六月婷| 五月天欧美 另类小说| 99久热精品在线| 欧美婷婷| 丁香五月激情在线| 丁香五月综合久久八| 丁香九月综合在线| 久久久久9999| 天天摸色吧天天摸色吧| 精品久色| 亚洲免费视频网站| 中字幕视频在线永久在线观看免费| 97婷婷五月天| 五月婷婷综合热| 婷婷激情五月天小说| 国产69久久久欧美黑人A片 | 久久九九思思| www.色婷婷| 99爱精品视频| 婷婷六月丁香开心深深爱| 狠狠色婷婷丁香五月| 五月婷婷性爱| 五月天啪啪啪| 五月婷婷激情色情网| 97狠狠色| 一区无码| 五月综合视频| 女人天堂AV| 欧美英丁香开心快乐六月天网| 综合久| 高清a片基地| 激情五月综合| 丁香五月91| 五月草视频| 欧洲激情五月天婷婷| 99视频久久久| 日韩熟女啪啪视频| 亚洲另类在线观看| 五月婷婷啪啪网| 婷婷五月天六月| 亚洲成色综合网站免费观看| 欧美日本国产欧美日本韩国99| 婷婷五月成人社区| 国产67194| 午夜成人AV在线| 五月婷婷开心网| 五月亭亭综合五码| 久久ER视频com| 欧美五月婷婷| 丁香久久九九99| 97色综合| 色婷婷六月| 五月天久久婷婷| 亚洲成人高清在线|