欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

MATLAB上手GANs:資源包解讀、訓(xùn)練調(diào)參與改造實(shí)踐

MATLAB上手GANs:資源包解讀、訓(xùn)練調(diào)參與改造實(shí)踐 簡介本資源是面向深度學(xué)習(xí)初學(xué)者與MATLAB實(shí)踐者的生成對抗網(wǎng)絡(luò)GANs全流程實(shí)現(xiàn)包聚焦于在MATLAB環(huán)境中從零構(gòu)建、訓(xùn)練與調(diào)試標(biāo)準(zhǔn)GAN模型解決理論理解與工程落地脫節(jié)的問題。資源共544個(gè)文件含305張訓(xùn)練/生成效果對比圖png、56張模型結(jié)構(gòu)或損失曲線示意圖jpg以及7份HTML格式的交互式說明文檔、2份Python輔助腳本用于數(shù)據(jù)預(yù)處理與結(jié)果驗(yàn)證、2份PDF技術(shù)筆記涵蓋Wasserstein距離改進(jìn)與模式崩潰緩解策略整體壓縮包大小為177.21MB。已有269人下載學(xué)習(xí)適合高校學(xué)生課程設(shè)計(jì)、科研入門及工程師快速復(fù)現(xiàn)基礎(chǔ)GAN架構(gòu)。讀者可直接運(yùn)行MATLAB代碼完成生成器與判別器的網(wǎng)絡(luò)定義、雙階段交替訓(xùn)練、Adam優(yōu)化器配置及收斂過程可視化并通過配套圖像樣本與結(jié)構(gòu)圖直觀理解噪聲映射、真假判別機(jī)制與損失動(dòng)態(tài)變化。 這次想聊點(diǎn)實(shí)在的。最近翻到一個(gè)老資源包標(biāo)題寫著“GANs生成對抗網(wǎng)絡(luò)代碼文檔等資源_gansmatlab,matlab 生成對抗網(wǎng)絡(luò)”里面塞了一堆 .m 文件、論文 PDF 和訓(xùn)練日志截圖。這種包本身不稀奇但既然 MATLAB 這個(gè)關(guān)鍵詞占了半邊天說明不少朋友是想在 MATLAB 環(huán)境里把 GANs 跑起來而不是去啃 Python 那一套。我也用 MATLAB 調(diào)過一段時(shí)間生成對抗網(wǎng)絡(luò)從 DCGAN 到條件 GAN 都試過踩過不少坑今天這篇就把“拿到一份 MATLAB 版 GANs 資源包之后到底怎么讀、怎么跑、怎么改成自己的網(wǎng)絡(luò)”這件事講透。先說清楚這篇不是復(fù)述 GAN 的數(shù)學(xué)原理那些內(nèi)容隨處都能找到。我重點(diǎn)解決三類人的問題一是剛把資源包下載下來、打開 MATLAB 不知道先點(diǎn)哪個(gè)文件的入門者二是已經(jīng)能跑通 demo、但遇到損失不下降、生成圖像全是噪點(diǎn)這類問題的進(jìn)階玩家三是想把手里的 GAN 代碼改造成自己的數(shù)據(jù)集和任務(wù)、卻不知道從哪下手的人。你在這篇文章里能找到現(xiàn)成的代碼骨架、參數(shù)對照表還有我在實(shí)際調(diào)試中總結(jié)的“反直覺”經(jīng)驗(yàn)。1. 資源包到底裝了什么為什么“MATLAB 版 GANs”值得看先說資源包的解構(gòu)。社區(qū)里流傳的這類資源包不管標(biāo)題怎么起里面的內(nèi)容大同小異通常由幾塊組成經(jīng)典論文的 PDF 或筆記、訓(xùn)練好的模型權(quán)重、核心代碼文件、以及一份“readme”文檔。我拿到的這份里代碼部分占了大概一半以 .m 文件為主另有一部分 Simulink 模型文件和實(shí)驗(yàn)記錄表格。我在處理這類資源時(shí)一般會(huì)先做一件看似多余、但非常關(guān)鍵的事——把所有 .m 文件按文件名列一個(gè)索引搞清楚哪個(gè)是入口、哪個(gè)是輔助函數(shù)。很多時(shí)候資源包下載下來打不開不是因?yàn)槲募p壞而是因?yàn)槲募窂絹y了比如addpath(utils)指向的目錄被移動(dòng)過或者run_training.m里調(diào)用的loadMNISTImages函數(shù)根本不在當(dāng)前工程目錄下。MATLAB 版的 GANs 和 Python 版的差別并不在模型結(jié)構(gòu)上——生成器、判別器、損失函數(shù)、優(yōu)化器數(shù)學(xué)本質(zhì)完全一樣——差別在工程落地上。MATLAB 的優(yōu)勢是矩陣運(yùn)算的原生語法和自帶工具箱的成熟度比如 Deep Learning Toolbox 里dlnetwork對象、dlarray數(shù)據(jù)類型和自動(dòng)微分機(jī)制配合custom training loop能很方便地寫出“每一步梯度更新都看得見”的訓(xùn)練代碼。對于需要做控制實(shí)驗(yàn)、對比不同損失函數(shù)效果的研究型任務(wù)這種“透明感”比 Python 的封裝式框架好用得多。這個(gè)資源包的核心代碼基本是 DCGAN 架構(gòu)用 MNIST 數(shù)據(jù)集訓(xùn)練生成手寫數(shù)字圖像。結(jié)構(gòu)上沒有太花哨的東西基礎(chǔ)配置如下組件MATLAB 中的實(shí)現(xiàn)方式說明生成器輸入dlarray(randn(miniBatchSize, latentDim, 1, 1), SSCB)潛變量 z維度 100生成器主體transposedConv2dLayerreluLayer從低分辨率逐步上采樣判別器主體convolution2dLayerleakyReluLayer判斷真?zhèn)屋敵鰧觭igmoidLayer或手動(dòng) sigmoid輸出 0~1 的概率優(yōu)化器adamupdate經(jīng)典 Adam 超參數(shù)如果你打開某個(gè) .m 文件第一眼看到convolution2dLayer這類函數(shù)就說明這份代碼用的是 2020a 之后的“新”工具箱語義而不是老舊的nnet.cnn.layer方式。注意MATLAB 的版本差異對 GANs 代碼影響比想象中大。dlnetwork對象在 R2019b 引入之后多個(gè)版本都改過 API。比如forward和predict的行為在不同版本有細(xì)微差別如果你用 R2023a 跑 R2020a 寫的資源包大概率會(huì)碰到Unrecognized property或Invalid argument類報(bào)錯(cuò)。我的建議是先用matlab -version確認(rèn)環(huán)境再看資源包的 readme 里寫的最低版本要求。2. 核心代碼骨架拆解MATLAB 里寫 GAN 的“正確姿勢”這一節(jié)我直接給出一段能跑通 DCGAN 訓(xùn)練的代碼骨架然后逐段拆解每一行的用途。這段代碼是我根據(jù)資源包里的trainDCGAN.m精簡、重寫后的版本去掉了與核心邏輯無關(guān)的文件保存和圖像輸出部分方便你理解主干。2.1 數(shù)據(jù)準(zhǔn)備從 MNIST 到dlarrayMATLAB 里處理圖像數(shù)據(jù)集最方便的方式是imageDatastore但這個(gè)東西在 GAN 訓(xùn)練里并不是最優(yōu)選擇因?yàn)槊看蔚騺y順序和提取批次數(shù)據(jù)不夠靈活。我在資源包里看到作者用了更直接的方式一次性把全部數(shù)據(jù)讀入內(nèi)存轉(zhuǎn)成dlarray然后按索引切片取 batch。% 加載 MNIST 數(shù)據(jù)假設(shè)函數(shù)已從資源包中獲取 [XTrain, ~] loadMNIST(mnist.mat); % 返回 n x n x 1 x numImages 的 double 數(shù)組 XTrain single(XTrain); % 轉(zhuǎn)為 single 節(jié)省顯存 XTrain (XTrain - 0.5) / 0.5; % 歸一化到 [-1, 1]對 GAN 很關(guān)鍵 % 包裝成 dlarray并標(biāo)記維度順序 SSCBSpatial-Spatial-Channel-Batch XTrain dlarray(XTrain, SSCB);這里有一個(gè)細(xì)節(jié)必須注意歸一化范圍為什么要選 [-1, 1] 而不是 [0, 1]因?yàn)樯善髯詈笠粚佑玫氖莟anh激活函數(shù)輸出范圍恰好是 [-1, 1]。如果你把數(shù)據(jù)歸一化到 [0, 1]生成器和判別器之間的“參數(shù)空間”就對不上訓(xùn)練初期判別器很容易直接通過數(shù)據(jù)的取值范圍判斷真?zhèn)螌?dǎo)致生成器梯度消失。這不是玄學(xué)是網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)上的匹配問題。2.2 生成器與判別器的層定義我用layerGraph來搭建網(wǎng)絡(luò)這樣后面如果想加 skip connection 或改結(jié)構(gòu)改起來更靈活。latentDim 100; % 生成器100 - 7x7x128 - 14x14x64 - 28x28x1 genLayers [ featureInputLayer(latentDim, Normalization, none, Name, in) projectAndReshapeLayer(latentDim, [7 7 128]) % 自定義層把向量 reshape 成 7x7x128 transposedConv2dLayer(5, 64, Stride, 2, Cropping, same, Name, tconv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) transposedConv2dLayer(5, 32, Stride, 2, Cropping, same, Name, tconv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) transposedConv2dLayer(5, 1, Stride, 1, Cropping, same, Name, tconv3) tanhLayer(Name, tanh) ];projectAndReshapeLayer是資源包里自帶的一個(gè)自定義層MATLAB 官方?jīng)]有這個(gè)內(nèi)置層。它的作用是把一維的潛向量變成一個(gè)三維的特征圖。這里我特別想提醒一句如果你想復(fù)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)transposedConv2dLayer的Cropping參數(shù)很關(guān)鍵。same表示輸出尺寸與輸入一致除以 stridevalid表示不加 padding。兩種模式下的輸出尺寸計(jì)算不同直接影響能否拼出 28x28 的最終輸出。判別器就是“鏡像”的卷積結(jié)構(gòu)disLayers [ imageInputLayer([28 28 1], Normalization, none, Name, in) convolution2dLayer(5, 32, Stride, 2, Padding, same, Name, conv1) leakyReluLayer(0.2, Name, lrelu1) convolution2dLayer(5, 64, Stride, 2, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) leakyReluLayer(0.2, Name, lrelu2) fullyConnectedLayer(1, Name, fc) sigmoidLayer(Name, sigmoid) ];2.3 訓(xùn)練循環(huán)每一步梯度都在眼皮子底下MATLAB 自定義訓(xùn)練循環(huán)的標(biāo)準(zhǔn)寫法是dlfeval里調(diào)用modelGradients然后在for循環(huán)里用adamupdate更新參數(shù)。我貼一段關(guān)鍵的梯度計(jì)算函數(shù)function [gradGen, gradDis, lossGen, lossDis] modelGradients(gen, dis, XBatch, ZBatch) % 前向傳播計(jì)算判別器對真實(shí)圖像的輸出 YReal forward(dis, XBatch); lossDisReal crossentropy(YReal, ones(size(YReal), like, YReal)); % 生成假圖像 XFake forward(gen, ZBatch); % 前向傳播計(jì)算判別器對假圖像的輸出 YFake forward(dis, XFake); lossDisFake crossentropy(YFake, zeros(size(YFake), like, YFake)); % 判別器總損失 lossDis lossDisReal lossDisFake; % 生成器損失讓假圖像被判定為真 lossGen crossentropy(YFake, ones(size(YFake), like, YFake)); % 自動(dòng)微分求梯度 gradGen dlgradient(lossGen, gen.Learnables); gradDis dlgradient(lossDis, dis.Learnables); end這段邏輯反映了 GAN 訓(xùn)練的根本判別器同時(shí)學(xué)習(xí)“認(rèn)出真圖”和“識(shí)破假圖”生成器只學(xué)習(xí)“欺騙判別器”。兩邊的目標(biāo)函數(shù)是相反的所以訓(xùn)練過程是一個(gè) min-max 博弈。在dlgradient中MATLAB 會(huì)基于dlarray的自動(dòng)微分追蹤計(jì)算圖自動(dòng)計(jì)算損失對每個(gè)可學(xué)習(xí)參數(shù)的導(dǎo)數(shù)——這正是從 R2019b 開始dlnetwork帶來的最大便利不需要像老代碼那樣手動(dòng)寫backprop。實(shí)際訓(xùn)練循環(huán)里每次迭代需要做這幾件事for epoch 1:numEpochs for iter 1:numIterationsPerEpoch % 隨機(jī)采樣一個(gè) batch idx randperm(size(XTrain, 4), miniBatchSize); XBatch XTrain(:, :, :, idx); ZBatch dlarray(randn(latentDim, miniBatchSize, 1, 1), SSCB); % 計(jì)算梯度 [gradGen, gradDis, lossGen, lossDis] dlfeval(... modelGradients, gen, dis, XBatch, ZBatch); % Adam 更新 [gen.Learnables, stateGen] adamupdate(gen.Learnables, gradGen, stateGen, ... learnRateGen, 0.5, 0.999, epoch); [dis.Learnables, stateDis] adamupdate(dis.Learnables, gradDis, stateDis, ... learnRateDis, 0.5, 0.999, epoch); end end這里有兩個(gè)實(shí)戰(zhàn)細(xì)節(jié)一是dlfeval和dlgradient必須在同一個(gè)自定義函數(shù)作用域內(nèi)配合使用。你不用手動(dòng)算梯度但必須把“前向計(jì)算 損失函數(shù) 梯度計(jì)算”整體放在被dlfeval包裝的函數(shù)里。二是adamupdate里的stateGen需要隨Learnables一起被記錄和更新。資源包里很多老代碼用的是手動(dòng)實(shí)現(xiàn)的momentum或sgdmupdate換成adamupdate之后要記得在每次 epoch 開始時(shí)重置state否則 Adam 的動(dòng)量估計(jì)會(huì)跨 epoch 累積導(dǎo)致后期更新步長異常。3. 訓(xùn)練不收斂的排查鏈路我連續(xù)七天損失震蕩后得到的清單GAN 訓(xùn)練不收斂這個(gè)問題幾乎每個(gè)實(shí)操過的人都遇到過。我在調(diào)試這份 MATLAB 代碼時(shí)遇到過最典型的現(xiàn)象是生成器損失掉了兩個(gè) epoch 后開始反彈判別器損失穩(wěn)定在 0.693約等于 ln2生成圖像全是重復(fù)的、模糊的同一張圖。這個(gè)狀態(tài)在 GAN 里有個(gè)名字——模式坍塌。排查這個(gè)問題時(shí)我建議你按下面的鏈路逐項(xiàng)檢查而不是隨機(jī)調(diào)參3.1 判別器是否“太強(qiáng)”或“太弱”模式坍塌最核心的誘因是判別器過強(qiáng)。判別器一旦完美區(qū)分真假梯度傳給生成器時(shí)已經(jīng)趨近于零生成器無法繼續(xù)學(xué)習(xí)。判別器“過強(qiáng)”的常見信號是lossDis快速下降到 0.01 以下而lossGen飆升。這時(shí)候的調(diào)整方向不是增加判別器層數(shù)而是削弱它把判別器的convolution2dLayer特征通道數(shù)減半比如 64 → 32。在全連接層之前加dropoutLayer(0.3)降低判別器的擬合能力。調(diào)低判別器學(xué)習(xí)率讓它“學(xué)得慢一點(diǎn)”。反過來如果判別器太弱lossDis會(huì)一直處于 0.7 左右沒有明顯下降生成器也沒有反饋這種情況要增加判別器容量或提高學(xué)習(xí)率。我在實(shí)際項(xiàng)目里遇到過“判別器太弱”的典型癥狀是生成的圖像雖然各不相同但整體顏色或結(jié)構(gòu)完全隨機(jī)看不出任何類別特征。3.2 標(biāo)簽平滑一個(gè)經(jīng)常被忽略的優(yōu)化點(diǎn)資源包里的原始代碼用的是硬標(biāo)簽也就是ones和zeros。但我試了幾次后發(fā)現(xiàn)硬標(biāo)簽在 MATLAB 這個(gè)環(huán)境里更容易觸發(fā)訓(xùn)練崩潰。原因在于二分類交叉熵對極端預(yù)測的懲罰是無限大的判別器一旦在某個(gè) batch 上“過于自信”梯度就會(huì)異常大整個(gè)訓(xùn)練過程被帶崩。解決辦法是標(biāo)簽平滑label smoothing。具體做法就是把目標(biāo)值從 1 改成 0.9把 0 改成 0.1lossDisReal crossentropy(YReal, 0.9 * ones(size(YReal), like, YReal)); lossDisFake crossentropy(YFake, 0.1 * zeros(size(YFake), like, YFake));這一個(gè)小小的改動(dòng)在很多 GAN 代碼里都能讓訓(xùn)練穩(wěn)定性提升一大截。原理上講它給判別器的輸出留下了一點(diǎn)“容錯(cuò)空間”不讓網(wǎng)絡(luò)為了那微不足道的分類精度去極端化內(nèi)部權(quán)重。3.3 學(xué)習(xí)率的“單獨(dú)設(shè)置”策略GAN 里生成器和判別器并不是必須用同一個(gè)學(xué)習(xí)率。我在資源包里看到作者用的是 2e-4 的均勻設(shè)置但在我自己的實(shí)驗(yàn)里把判別器學(xué)習(xí)率降到 1e-4生成器保持 2e-4 之后訓(xùn)練穩(wěn)定度有明顯提升。組件初始學(xué)習(xí)率說明生成器2e-4適合 Adam 的經(jīng)典推薦值判別器1e-4降低判別器收斂速度避免“壓倒性”優(yōu)勢衰減策略每 10 個(gè) epoch 乘以 0.5讓后期訓(xùn)練更精細(xì)這個(gè)策略背后的邏輯很好理解生成器和判別器的能力差距才是 GAN 訓(xùn)練的核心矛盾而不是兩者的絕對精度。讓判別器慢半拍等于給生成器追趕上來的窗口。3.4 批量大小與潛變量的關(guān)系批量大小對 GAN 的影響經(jīng)常被低估。在我用的 MNIST 數(shù)據(jù)集上miniBatchSize 128比 64 的穩(wěn)定性高不少但顯存占用也會(huì)隨之增加。大 batch 能平滑梯度估計(jì)但過大的 batch 會(huì)讓生成器陷入“只生成少量重復(fù)模式”的狀態(tài)。我試過miniBatchSize 256時(shí)生成的數(shù)字只有 0、1、3 三類其他類別幾乎沒出現(xiàn)過。潛變量維度latentDim倒不是越大越好。100 是經(jīng)典選擇嘗試過 256結(jié)果沒明顯改善反而訓(xùn)練時(shí)間增加。個(gè)人經(jīng)驗(yàn)latentDim維持在 64~128 之間即可更多維度的隨機(jī)噪聲只會(huì)讓生成器學(xué)到一個(gè)更稀疏的映射。經(jīng)驗(yàn)總結(jié)如果你發(fā)現(xiàn)生成圖像從一開始就是“灰蒙蒙的一大片”或者全部是某一種固定模式先把批量大小調(diào)低試試再把潛變量維度調(diào)低這個(gè)順序性價(jià)比最高。4. 從復(fù)現(xiàn)到改造把 MNIST 生成器換成你自己的數(shù)據(jù)集資源包里的代碼跑通之后大部分人下一步想做的就是換成自己的數(shù)據(jù)集。這一步也沒有想象中那么困難但有幾個(gè)“坑”是資源包里原作者根本不會(huì)告訴你的。4.1 數(shù)據(jù)大小和通道數(shù)的適配我最早犯的錯(cuò)誤是直接用 28x28 的單通道結(jié)構(gòu)去訓(xùn)練三通道的 RGB 圖片。改成彩色圖之后imageInputLayer的輸入通道數(shù)從 1 改成 3。生成器最后一層的transposedConv2dLayer(5, 1, ...)要改成transposedConv2dLayer(5, 3, ...)。訓(xùn)練數(shù)據(jù)歸一化同樣要處理到 [-1, 1]。如果你的圖片不是方形比如 64x32 的長方形圖片那么生成器和判別器的上采樣/下采樣倍數(shù)要重新算一下。我建議用“l(fā)og2 縮放”的思路每層 stride2 只改變空間尺寸一半你算一下從輸入到輸出需要多少次 stride2就能確定卷積層數(shù)量。例如 64x64 到 28x28用 3 次 stride2 是 64→32→16→8再加一次 stride1 或轉(zhuǎn)置卷積上采樣回 32最后通過插值或額外卷積到 28。如果你不想手動(dòng)算更省事的方式是讓 MATLAB 的analyzeNetwork函數(shù)幫你檢查每一層的輸出尺寸。4.2 自定義數(shù)據(jù)集的讀取從文件夾到訓(xùn)練數(shù)組MATLAB 里讀取自定義圖片最穩(wěn)妥的方式是imageDatastoreimds imageDatastore(路徑/到/你的圖片文件夾, IncludeSubfolders, true, LabelSource, foldernames); % 讀取全部數(shù)據(jù)到內(nèi)存 allImages readall(imds);但這里有一個(gè)性能坑readall對大數(shù)據(jù)集比如幾萬張 256x256 圖片會(huì)直接撐爆內(nèi)存。正確做法是用augmentedImageDatastore配合minibatchqueue實(shí)現(xiàn)流式讀取不過這會(huì)引入額外復(fù)雜度。如果你只是想快速驗(yàn)證自己的 GAN 能不能學(xué)會(huì)你的數(shù)據(jù)分布建議先用一個(gè)幾百張圖片的子集跑通之后再擴(kuò)展。我實(shí)際測試過同樣一批 500 張 64x64 圖片矩陣運(yùn)算向量的dlarray一次性加載比readall再逐張?zhí)幚砜旒s 30%。4.3 訓(xùn)練日志與中間可視化的設(shè)置資源包里自帶的可視化代碼通常是imshow每若干迭代顯示一次生成的圖像。這個(gè)功能對調(diào)試非常重要一定要保留。我建議你把它升級成“保存訓(xùn)練過程圖到文件夾”的版本方便事后回溯if mod(iter, 100) 0 XFake predict(gen, ZSample); generatedImage extractdata(XFake); generatedImage (generatedImage 1) / 2; % 反歸一化到 [0, 1] imwrite(imresize(generatedImage(:,:,1,:), [128 128]), ... fullfile(output, sprintf(epoch_%02d_iter_%04d.png, epoch, iter))); end這里一個(gè)容易忽略的點(diǎn)是預(yù)測時(shí)要固定一個(gè)ZSample在訓(xùn)練前初始化好的潛變量這樣才能在不同迭代之間對比生成結(jié)果的變化。如果你每次重新采樣看到的圖像變化就會(huì)混入隨機(jī)性無法判斷生成器是否真的在朝正確方向?qū)W習(xí)。5. 資源包里的隱性寶藏R2019b 之后的新函數(shù)你大概率沒用上說完了代碼本身再提一下我在這類資源包里發(fā)現(xiàn)的、但很多使用者沒注意到的“隱性財(cái)富”——文檔和實(shí)驗(yàn)記錄。資源包通常在docs或logs文件夾里有一些非代碼內(nèi)容這些內(nèi)容的價(jià)值不亞于代碼本身。比如我這份資源包里有一份作者手寫的調(diào)參筆記記錄了不同超參數(shù)組合下的訓(xùn)練損失曲線和生成效果圖這種一手實(shí)驗(yàn)數(shù)據(jù)在論文里根本找不到。這些記錄最直接的好處是能幫你避開原作者踩過的坑。比如筆記里明確寫著“batchNormalizationLayer在判別器第一層不要使用否則訓(xùn)練震蕩加劇”。這個(gè)經(jīng)驗(yàn)和我的實(shí)測吻合——判別器第一層用 BN 會(huì)導(dǎo)致輸入分布被反復(fù)調(diào)整不利于模型穩(wěn)定收斂。R2019b 之后 MATLAB 深度學(xué)習(xí)工具箱還新增了幾個(gè)對 GAN 特別有用的 API在舊資源包里不會(huì)出現(xiàn)但你如果能自己補(bǔ)上效果會(huì)更好minibatchqueue自動(dòng)處理數(shù)據(jù)的 batch 切分、維度重排和預(yù)處理不用手寫randperm切片。dlnetwork對象的initialize方法在訓(xùn)練前顯式初始化參數(shù)避免第一次forward時(shí)的初始化不確定性。resetState對帶狀態(tài)層的網(wǎng)絡(luò)在 epoch 開始前重置狀態(tài)防止序列數(shù)據(jù)的記憶跨 epoch 泄漏。我改造資源包代碼時(shí)把原來的randperm切片換成了minibatchqueue代碼量減少了約 20%而且數(shù)據(jù)流更清晰。這個(gè)改動(dòng)對 MATLAB 老版本不可用所以資源包里的原始代碼不包含這些新 API 也情有可原。6. 進(jìn)階改造條件 GANcGAN的 MATLAB 實(shí)現(xiàn)思路復(fù)現(xiàn) DCGAN 只是第一步要想真正把 GANs 這個(gè)工具用于實(shí)際任務(wù)條件 GANconditional GAN, cGAN幾乎是繞不開的。cGAN 的核心思想是給生成器和判別器都額外提供一個(gè)條件信息比如類別標(biāo)簽這樣生成器就能按條件生成指定類別的圖像。6.1 cGAN 結(jié)構(gòu)變化標(biāo)簽如何“塞”進(jìn)網(wǎng)絡(luò)在 MATLAB 中實(shí)現(xiàn) cGAN需要修改生成器和判別器的輸入結(jié)構(gòu)。以 MNIST 的 10 個(gè)類別為例生成器接受兩個(gè)輸入潛變量Z100 維和標(biāo)簽Y10 維 one-hot。最簡單的做法是直接把Z和Y拼接成一個(gè) 110 維的向量然后送入生成器的第一層。判別器則在第一個(gè)全連接層之前把標(biāo)簽信息“注入”到中間特征圖中。我實(shí)現(xiàn)時(shí)是這么處理的判別器不再是單純的圖像分類器而是一個(gè)“圖像 標(biāo)簽”的真?zhèn)闻袆e器。具體來說把 one-hot 標(biāo)簽復(fù)制空間維度后和圖像特征在通道維度拼接% 判別器輸入增加標(biāo)簽通道 % 假設(shè)中間特征圖是 7x7x64標(biāo)簽是 10 維 % 將標(biāo)簽 reshape 成 7x7x10再在通道維度拼接 labelMap repmat(reshape(Y, [1 1 10 miniBatchSize]), [7 7 1 1]); combinedFeature cat(3, featureMap, labelMap); % 7x7x74這種改動(dòng)在 MATLAB 中實(shí)現(xiàn)時(shí)需要自定義一個(gè)dlnetwork的 forward 函數(shù)并在其中手動(dòng)處理標(biāo)簽的維度。6.2 cGAN 訓(xùn)練損失的變化cGAN 的訓(xùn)練循環(huán)和 DCGAN 基本一致只需要在每個(gè) batch 里額外準(zhǔn)備一個(gè)標(biāo)簽 batch并且在modelGradients函數(shù)中把標(biāo)簽傳給生成器和判別器。損失函數(shù)的核心邏輯不變但多了一個(gè)“條件一致性”的約束判別器不僅要判斷圖像真?zhèn)芜€要判斷圖像是否與標(biāo)簽匹配。這帶來的訓(xùn)練難度變化是判別器的任務(wù)變難了所以 cGAN 的判別器容量通常要比同條件的 DCGAN 大一點(diǎn)。我在實(shí)驗(yàn)中發(fā)現(xiàn)把判別器第一個(gè)卷積層的通道數(shù)從 32 提升到 48能顯著改善生成圖像與標(biāo)簽的匹配度。6.3 從“生成圖像”到“生成指定類別”的驗(yàn)證改造完成后如何驗(yàn)證 cGAN 確實(shí)學(xué)到了條件信息一個(gè)直觀的方法是固定潛變量Z只改變標(biāo)簽Y觀察生成圖像能否隨標(biāo)簽變化而變化。ZFixed dlarray(randn(latentDim, 1, 1, 1), SSCB); for labelIdx 1:10 Y onehotencode(categorical(labelIdx - 1), 1, ClassNames, 0:9); Y dlarray(single(Y), CB); XGen predict(gen, ZFixed, Y); % 顯示或保存 XGen end如果生成的 10 張圖像在類別上互不相同且與標(biāo)簽一致就說明條件信息已經(jīng)生效。如果所有標(biāo)簽都生成相同的圖像說明生成器“忽略”了條件信息大概率是因?yàn)闂l件信息的梯度沒有正確回傳——這時(shí)候要檢查標(biāo)簽是否被正確投遞到forward函數(shù)中。提示在 MATLAB 的dlnetwork中如果生成器有多個(gè)輸入使用predict(gen, Z, Y)時(shí)參數(shù)順序必須和dlnetwork初始化時(shí)定義的輸入順序一致。這個(gè)順序錯(cuò)位的問題我在實(shí)踐中遇到過兩次報(bào)錯(cuò)信息并不明顯往往只是輸出結(jié)果不對。7. 幾份資源之間如何取舍同樣是 GANs 代碼為什么有的好跑有的跑不通最后聊聊一個(gè)資源管理層面的經(jīng)驗(yàn)。這類標(biāo)題的網(wǎng)盤資源包在網(wǎng)上非常多但質(zhì)量參差不齊。我下載過的版本里有的下載下來直接能跑通有的則缺文件、缺依賴甚至代碼是故意混淆過的。怎么快速判斷一份資源包的質(zhì)量我有一個(gè)簡單的“三看”法第一看目錄結(jié)構(gòu)。好的資源包會(huì)有清晰的code、data、docs、models分層readme 里會(huì)寫明每個(gè)文件夾的用途。那種所有 .m 文件散落在根目錄、沒有任何說明文檔的包大概率是作者隨手丟出來的不值得花時(shí)間。第二看代碼注釋質(zhì)量。GANs 代碼因?yàn)樯婕暗臄?shù)學(xué)概念多好的注釋會(huì)寫明每個(gè)張量的維度、每個(gè)自定義層的輸入輸出規(guī)格。如果代碼里連基本的% 輸入: 64x64x1, batch128這種注釋都沒有后面改代碼的時(shí)候你會(huì)非常痛苦。第三看是否提供“運(yùn)行驗(yàn)證”信息。質(zhì)量高的資源包會(huì)在 readme 中說明“測試環(huán)境MATLAB R2020b, Windows 10, NVIDIA GTX 1060”甚至附帶訓(xùn)練好的模型和一次前向推理的示例。這些信息能幫你判斷代碼在自己的環(huán)境上是否能跑通。我在本地復(fù)現(xiàn)這份資源包時(shí)前兩次都因?yàn)樯倭薽nist.mat文件而失敗。后來發(fā)現(xiàn)這個(gè)文件需要單獨(dú)下載資源包自帶的下載腳本里用的 URL 已經(jīng)失效了。解決辦法是去官方數(shù)據(jù)集鏡像下載后手動(dòng)放到根目錄下再把代碼里的路徑改對。這種“數(shù)據(jù)文件和代碼分離”的做法其實(shí)是為了規(guī)避網(wǎng)盤上傳體積限制并非代碼本身有問題你不用被它嚇到。還有一些資源包里的代碼打開后發(fā)現(xiàn)是 Python 轉(zhuǎn) MATLAB 的半成品——變量名用的是np開頭或下劃線命名法注釋里還留著import numpy as np。這類代碼通常不值得花時(shí)間去修正因?yàn)轱L(fēng)格差異會(huì)導(dǎo)致你后期維護(hù)成本過高。我的建議是從一份“結(jié)構(gòu)清晰、注釋完整、能復(fù)現(xiàn)結(jié)果”的包開始理解其核心邏輯再自己動(dòng)手重寫不適合的部分。這份資源包的價(jià)值不在于“拿來就能用”而在于它的整體框架和實(shí)驗(yàn)記錄可以當(dāng)作參照系幫你驗(yàn)證自己的實(shí)現(xiàn)是否正確。我自己處理這類資源包時(shí)一直采用的一個(gè)流程是先把所有 .m 文件通讀一遍弄懂網(wǎng)絡(luò)的輸入輸出規(guī)格然后畫一張簡單的數(shù)據(jù)流圖不一定是專業(yè)繪圖工具手寫或用思維導(dǎo)圖就行。把Z的維度、每層輸出的特征圖尺寸、損失函數(shù)的流向標(biāo)清楚后面無論是換數(shù)據(jù)集、改網(wǎng)絡(luò)結(jié)構(gòu)還是加新的損失項(xiàng)都有據(jù)可依。這個(gè)習(xí)慣幫我省下了大量反復(fù)試錯(cuò)的時(shí)間也推薦給你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
玖玖福利视频资源| 就爱射中文字幕资源网| 五月婷婷六月丁香| www.丁香黄色五月天人与| 亚洲日韩一页精品发布| 激情婷婷狠狠干| 中国丰满熟女A片免费观| 天天日夜夜高潮| www.91久久| 99热综合在线| 大陆极品少妇内射AAAAAA| 丁香五月激情综合网激情五月| 99热精品在线| 狠色色狠网| 中文字幕不卡网站| www.色综合.com| 九月激情网| www夜夜| 大香蕉AV在线| 尤物一区二区| 天天日日爽| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 夜夜资源站| 五月婷婷激情中文字幕| 精a品a视a频| 能直接看的av网站| 丁香五月婷婷综合网| 久久99jiu9| 亚洲婷婷五月| 丁香久色| 五月丁香婷婷啪啪网| 欧美日本黄色| 无码G高清天| 欧美 色婷婷| 99热6色| 色 五月 天 婷婷 丁香 九月| 黄色一级影片| 九九成人精品| 久热黄色| 亚洲乱码日产精品BD| 天天精品视频在线观看视频| 欧美久久婷婷| 夜色热久| 99热这里只有精品1| 激情五月丁香色婷婷| 婷婷五月激情基地| 99热这里全都是精品| 五月丁香六月婷婷综合免| 五月婷婷激情啪啪| 99操碰| 99热这里有精品24| 久操福利| 日韩小视频在线99| 免费观看的av| 五月久久丁香| 色欲久久综合| 色J香五月天| 色婷婷香蕉| 一级黄在线| 婷婷成人视频| 五月开心激情网| 色婷久| 9久久精品| 综合图区激情| site:xmssd.com| 在线综合亚洲欧美65| 婷色五月天| 久久五月天激情视频| 色色色色色日韩午夜激情 | 五月丁香成年黄色| 亚洲激情四谢| 1000部毛片A片免费观看| 色五月六月| 六月婷婷五月丁香首页| 五月丁香激| 女人被躁到高潮嗷嗷叫小| 国产精品电影网| 爱草视频在线观看| 99久久99视频只有精品| 五月婷婷九九久久| 在线超碰免费| 新激情五月天| 69精品人人人人| 亚洲中文乱字字幕在线永久| A久网| 中文字幕成人| 久久国产高清| 二区成人视频| 亚洲天堂色| 婷婷色五月丁香六月欧美啪| 欧美性猛交99久久久99| 久久少妇视频| 婷婷激情五月综合在线视频| 五月天婷婷开心| 五月婷啪| 丁香狠狠色婷婷| 色天使色综合| 五月婷婷综合成人| 婷婷D区| 五月丁香婷婷综合网| 99久久综合精品五月天| 久久久婷丁香五月| 再次出发二| 成人 在线 日韩| 青青艹b| 午夜精品久久久久久久爽| 91狠狠综合久久| 五月丁香色婷婷| 中文字幕性爱丰满| 丁香 婷婷 亚洲 熟女| 天天插天天插天天日| 日本久久视频| 五月天久久www| 五月丁香亭亭AV女优| BBWCUCKOLD精品熟妇| 99色天堂| www久| 激情五月丁香五月| 欧美日韩99| 五月丁香激情综合啪啪| 人人爽欧美婷婷久久久五月丁香| 精品无码99| 丁香五月婷婷成人综合| 无码G高清天| 激情六月丁香综合| 婷婷丁香高潮了| 久久五月天精品视频| 久热这里只精品| 丁香五月欧美成人| 婷婷偷拍网| 影音先锋一区二区三区| 亚洲欧洲99| 99久久九九| 色婷婷久久久| 五月天 综合 在线| 99热亚洲精品66| 好吊丝aV| 婷婷金品综合视频| 九九热re99re6在线精品| 天天做天天爱天天爽综合网| 婷婷五月天亚洲综合| 99久在线精品99re5热视频| 欧美黄色韩日网| 国产婷婷五月色情综合| 五夜丁香| 久久久中文| 26uuu| 欧洲亚洲精品| AV网在线| 亚洲婷婷激情综合激情999精品| www.99热精品| 天天插天天玩天天干| AV电影在线播放| 婷婷综合另类小说| 日日肏夜夜干| 亚洲操B| 97精品自拍视频| 99日本黄站| 久激情网| 日本强伦片中文字幕免费看| 色婷大香蕉| 99啪在线| 这里只精品| 亚洲综合婷婷| 久久婷婷内射| 成人视频网| 99热传媒| 欧美色久| 精典久久| 精品亚洲国产成AV人片传媒| 亚洲国产网址| 91黄址| 五月婷成人| 深爱激情九九五月天| 丁香五月六月欧美| 99操久久| 五月婷婷 婷婷五月 一区二区 久久久| 午夜少妇在线观看视频| 青青草原爱爱网| 啪啪婷婷五月天激情| 亚洲精品va| 人人爽亚洲| 91人操人人人操人| 婷婷大香蕉| 色九四色| 7月婷婷六月丁香| 九九热视频免费观看| 华人在线免费| www.狠狠| 色五月婷婷五月天激情综合| 五月天欧美 另类小说| 一级操逼内射在线视频| 久久丁香五月天| 六月婷婷综合网2| 第1影院之五月婷婷| 婷婷综合九月| 婷婷中文字幕版| WWW.17C亚洲精品| 五月丁香久久| 婷婷综合视频| www.99操| 亚洲综合色丁香五月天| 五月激情五月婷婷五月天在线| 六月婷婷综合激情| 色五月婷婷色五月| 99热这里是精品| 国产视频色色色色色色色 | 天天射影院| 67194中文在线| 久久在这里99| 狠狠插狠狠操| ..真实国产乱子伦毛片| 久久色情| 伊人网啪啪| 99在线精品视频观看免费下载| 婷婷在线播放| 久热综合| 91人操人人人操人| 99热爱爱干干日| 色五月婷婷内射| 五月丁香偷拍| 九九亚洲综合| 五月婷婷六月丁香色| 五月婷婷色综图片| www.henhengan| 天天爱天天操| 99精品在线| 超碰99热在线观看| 久久婷婷色丁香| 狠狠久久婷五月| 伊人天堂婷婷| 99视频精品全部免费观看| 人妻久久人妻久久第一区| 国产SUV精品一区二区6| 久久婷婷六月| 99精品在这里| 超碰成人免费| www.五月婷婷| 99九无网码| 99re热视频这里只精品| 香蕉综合网| 婷婷趴趴| 五月婷婷啪啪| 亚洲啪啪精品| 欧州色色| 9久热视频| 五月丁香婷婷激情久久| 亚洲V国产V欧美V久久久久久| 大香蕉九九| 播播网色播播| 在线看av| 久久亚洲天堂| 99色久| 99re这里只有精品在线观看| 色综合色| 天天操天天爽天天爱| 99热最新网址| 久热这里只有国产| 五月婷丁香| 久久久妻人人人| 久操无码| 99日本精品视频热| 亚洲人人操| 亚洲国产网址| 日本VA视频| 超碰2021| 色五月激情婷婷| 中文字幕不卡网站| 五月天婷久精视频| 综合伊人久久| 色丁香久综合在线久综合在线观看| 狠狠色五月| 中文字幕丰满乱孑伦无码专区 | 另类小说色婷婷| 婷婷福利影院| 噜噜狠狠色综无码久久合欧美| 热久久这里只有三级视频| 人人干Av| 日本噜噜色网| 九九久久久综合| 日日爱激情| 成人一区在线观看| 亚洲成人中心| 丁香五月花婷婷开心| 色婷婷综合视频| 婷婷四月 成人 狠狠干| 狠狠色丁香| 久久奄也去色色网站| 99精品偷自拍| 夜夜夜夜做天天天做无码视频| 国产亚洲成AV人片在线观黄桃| 丁香婷五月天| 亚洲啪| 天天插天天插| 丁香六月婷婷激情综合| 99噜噜噜在线播放| 婷婷五月色综合| 激情五月天福利| 亚洲第一精品成人999久久精品| 1024在线观看免费视频| 日本一级| 夜夜夜夜做天天天做无码视频| 色噜噜丁香| 国产精品香蕉| 免费看片操逼| 婷婷激情五月综合| 99亚州综合精品成人网| 婷婷网影院| 婷婷丁香人妻天天爽| 丁香狠狠| 婷婷综合在线播放| 欧美人与性动交CCOO| 亚洲婷婷乱乱丁香| 色五月婷婷激情基地| 九九九色综合| 六月色国内综合| 人人叉久| 嫩草AV久久伊人妇女超级A| 深爱五月亚洲| 欧美va视频| 国产又粗又大又爽又黄| 激情五月综合婷婷| 五月天色婷伊人| 热99玖玖99玖玖99九九| 久久久五月五丁香| 69午夜成人影片| 久久图色4| 99视频在线| 狠色狠色综合久久| 成人短视频在线| 亚洲色就是色色色| 国产精品色婷婷久久久精品| 五月天婷婷激情小说| 大香人妻| 久9视频| 亚洲AV激情五月综合网| 岛国资源站| 天天影院色| 丁香五月婷婷色| 99精品视频推荐| 丁香六月婷| 9999色色色色| 伊人五月天综合网| 久久日本wwww色| 丁香 亚洲 久久| 欧美va视频不用播放器的va视频网| 综合激情九月婷婷,激情综合婷婷中文字 | 色婷婷综合五月| 无码髙清| 国内9l视频自拍老熟女九色| 噜噜噜噜在线| 婷婷色狠狠| 99性色| 丁香五月六月婷婷殴美综合| 综合婷婷| 欧美色色色色色色色色| www免费在线视频| 国产成人网站在线观看| 79精品视频在线观看,| 丁香五月综合激情久久潮喷| 狠狠色97| 第1影院之五月婷婷| 国产精产国品一二三在观看| 思思热在线播放| 激情综合网亚洲色图| 五月婷婷与六月丁香图片激情| 久久激情中文| 五月综合激情婷婷六月色窝| 9热在线观看| 开心五月激情五月丁香五月婷婷| 天天操夜夜啊| 色五月偷偷| 人妻有码乱操| 无码91中文字幕| 91热99| 五月激情小说网| 丁香婷婷六月婷婷六月婷婷六月婷婷 | 亚洲精品久久久久久久久久吃药| 99热主页日本| WWW色五月天| 久久婷婷综合拍| 色五月婷婷成人| 亚洲综合在线视频| 操人91| 亚洲网站999| 婷婷综合爱| 五月婷成人网| 激情五婷精品网在线观看网址| 999九九九久久久99HD| 精品国产AV色一区二区深夜久久 | 99热国产国产| 国产 码在线成人网站| 激情久久婷婷| 涩玖玖免费视频| 激情丁香五月天图片| 欧美色骚婷婷五月天| 婷婷操超碰| 黄色中文字目| 99国产精品久久久久久久久久久| 9久久精品| 色五月婷婷丁香五月| 99热老网站| 91丨九色丨熟女|新版| 六月 丁香 视频| 天天天天色天天天天天干| 99国产小视频2013| 91免费在线视频6| 欧美人人操| 日本97在线视频| 亚洲色图81p| 伊人五月综合网| 九九Y精品热播| 久草五月丁香婷婷综合| 久人人操| 丁香婷婷色| 综合99久久| 婷婷色在线播放| 日本免费91| 97在线/亚洲| 色综合中文色综合网| 91凹凸在线| 色九月婷婷丁香| 一起草无码| 网色99| 五月天久久网站| 久久九九@| 色欲天天综合| 丁香 婷婷 激情 综合 五月| 五月丁香六月色情网欧美| 激情四射五月天偷偷看婷婷| 秋霞电影理论| 超碰熟女拍拍| 色婷婷激情| 91丨九色丨43老版熟女| 另类图片五月天| 久久综合九色综合97婷婷| 精品色色| 超碰97在线观看免费| 精品导航在线x不卡| 精品九九网| 狼人婷婷久久| 99区视频| 日日操日日撸| 欧美日韩成人在线网站| 久久a热| 欧美S码亚洲码精品M码| 久久艹网| 久久99精品久久久久久噜噜| 99热免费精品热久久66| 99热99热不卡| 色久九| 丁香五月婷婷色| 五月天开心网| 久久99精品久| 久久精品99久久| 九月婷婷久久| 婷婷六月天激情影院| 婷婷五月天在线综合导航| AV79| 欧美激情综合| 逼特逼在线免费播放| 久久se 综合网| 狠狠情色| 色播丁香五月婷婷操:屄| 久久精品66| 婷婷激情视频| 五月婷婷啪啪| 五夜丁香| 人妻九九九九| 色色色色热热| 天天操天天操天天操天天操天天操天天操| 丁香五月91| 99年操人人爽| 五月丁香六月婷婷啪啪| 五月天激情图| 丁香六月在线| 99综合99| 亚洲色精彩| 欧美色五月天| www五月| 激情久久月| 丁香五月综合色婷婷| 亚洲 在线 性爱| 久色视频| 狠狠操狠狠插| 大伊香蕉玖玖爱| 激情图片婷婷| 96精品久久久久久久久| tingtingcaobi| 午夜日日| 性爱电影科技贸易有限公司| 激情久久久久| 亚洲成人日韩无码精品| 九九99在线免费在线观看视频| 99国产性感视频| 青草激情综合| 久99久99精品免| 九九九成人在线视频| 9|无码久久久久久| 五月丁香最新| 婷婷五月天资源| 五月激情站| 婷婷综合偷拍| 99无码免费视频| 亚卅毛片| 丁香五月婷婷欧美成人色图| 国产99视频永久免费| 91一起操| 色色婷婷色色| 五月丁香婷婷激情在线| 六月婷婷激情图片| 91婷婷在线观看| 五月天五月色| 色色五月天婷婷| 91趴趴| 亚洲午夜精品久久久久久人妖| 99小视频网站| 激情综合网激情五月俺也去| 99re思思热在线视频| 久久五月天网| 国产精品岛国片在线观看免费| 欧美综合婷婷网| 六月丁香啪啪啪| 丁香五月婷婷老师网站| 五月天婷婷丁香视频| 国产成人亚洲综合A∨婷婷| 欧美日韩国产一区二区| 伊人午夜综合色啪| 黄色国久久| 婷婷在线操| 亭亭玉月丁香| 天天操夜夜爽天天操| 欧美va视频| 日本色色网站| 国产婷婷五月色情综合| 日韩黄在免| 婷婷丁香水多多视频| 很很干天天干| 欧美色色色| 色婷婷a三区麻| 亚洲情综合五月天| 色婷婷五月天激情| 99久久这里只有精品| 五月婷婷色色色| 久久精品视频99| 亚洲免费观看高清完整版AV线| 五月婷婷,六月丁香| 97在线天堂| 丁香五月天在线| 九九99九九精品免费| 丁香五月天激情五月天激情五月天激情网| 午夜色婷婷| 99re久久| 午夜丁香婷婷| 丁香五月在线伊人| 激情深爱五月天| 亚洲熟妇AV综合网五月丁香伊人 | 免费看欧美成人A片无码| 国产色婷婷亚洲| 丁香五月天啪啪| 五月熟妇婷婷久久| 丁香五月天久久| 五月天婷婷永久免费视频| 操大屄五月天视频| 婷婷五月天精品| 97超喷视频在线观看| 99热这里只有精品2| 日本三级日本黄色| 日91高清无玛| 超碰AV在线| 婷婷综合精品| 综合欧美五月婷婷| 五月丁香六月片| 五月天五月天成人网亭亭成人色网站| 碰久久精品w| 天天操天天爱天天玩| AV六月丁香| 五月婷婷激情五月| 91色婷婷综合久久中文字幕二区| 日本三级中国三级99人妇网站| 久久久婷丁香五月| 婷婷色五月天色色| 玖玖在线视| 丁香六月色婷婷欧美| 中国女人内射6XXXXX| 五月丁香狠狠爱婷婷综合| 日操熟女| 久久免费操| 九九热在线精品视频| 成人AV中文字幕| 五月激情婷婷在线| 99热这里只有精品50| 99热观看| 国产在这里只有精品| 99精品国产热久久91色欲| 婷婷丁香六月| 五月精品免费XXX| 日本久久超碰| 国产亚洲精品久久久久久郑州| 精品无码99| 肏屄色播伊人97婷婷| 亚洲成人免费电影| 五月天色丁香| 激情文学天天| 91丁香婷婷综合资源| 丁香五月电影| 国产精品热搜丁香五月婷婷| 啪啪激情网| 色婷婷激情| 玖玖热视频| 丁香色六月| 丁香婷婷综合影院| 激情五月天电影| 亚洲色综久久五月| 久久资源综合| 99色在线| 久久久久er热| 插插插丁香五月婷婷| 另类婷婷五月天啪帕帕| 激情婷婷六月天| 99热这里只有精品16| 九九热黄色| 久久成人亚洲欧美电影| 九九 激情 网| 五月丁香色狠狠干大屄| 黄网在线免费观看| 久久久噜噜噜www成人| 久热这里只有| 天天干天天干天天干| 天天狠狠插| 9人人操人人看| 91操操| 天堂五月婷婷| 密桃激情五月天综合网| 久久这里这里有精品免费视频| 婷婷性爱综合| 国产亚洲精品久久久久久郑州| 婷婷婷久久久| 五月天六月婷| 丁香五月综合在线| 色五月婷婷婷婷婷婷婷婷婷婷| 亚洲啪啪精品| 99视频在线观看地址| 婷婷五月综合在线| 久久这里有精品| 五月婷婷伊人久久| 性色播| 91九色中文| 一本道在线电影| 91热久久| 亚洲婷婷五月天| 夜夜爽天操| 情婷婷五月天在线| 丁香六月婷婷综合激情欧美| 99热在线爱| 亚洲第一综合| 色五月婷婷综合在线| 亚洲五月天婷婷在线| 五月丁香| 久久新地址| 激情亭亭五月| 五月天婷婷涩涩| 伊人无码高清| 色五月婷婷色| 99综合网| 99天堂网| 玖玖综合色| 伊人色综合久久久| www五月天com| 综合一本道| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 人妻丰满精品一区二区A片| 亚洲永久四色| 五月丁香婷婷色色| 伊人婷婷五月天| 色播五月丁香| 五月丁香欧美在线| 五月丁香婷婷伊人| 久久一二三视频| 狠狠操天天操综合| 丁香五月婷婷动漫视频| 婷婷五月天日逼| 开心 五月 综合| 欧美欧盟性爱网| 玖玖国产视频一区| aaa丁香五月天| 综合激情在线| 色五月天堂| 99热9999| 大香蕉综合网| 六月丁香视频网站| 亚洲婷婷月丁香五月| 欧美色骚婷婷五月天| 九九热再线九九视频免费在线观看 | 婷婷丁香18| 丁香色婷婷色手机免费在线| 91麻豆国产三级精品福利在线观看| 亚洲乱码日产精品BD| 亚洲V国产V欧美V久久久久久| 午夜天堂一区人妻| 国产高清av黄色看片| 激情人妻蜜夜系列区| 蜜臀综合久草| 色欧美日| 亚洲六月色婷婷| 婷婷丁香成人| 青青热久精品视频在线观看| 九月婷婷综合| 五月婷婷就去色| 26UUU精品一区二区Com| 五月天久久丁香| 成人开心五月天| 久9久成人精品视频| 天天天干夜夜夜操| 99操逼视频| 99热这里只有精品2| 色婷婷五月综合| 五月丁香婷婷五月色| 色综合网页| 第四色五月婷婷| 丁香视频| 开心婷婷五月天综合| 天天人人天天爽| 五月天小说激情| 五月激激激情综合网| 激情综合色婷婷啪啪六月天| 久热9| 九九这里只有精品| 青青草视频免费观看| 中文字幕人妻一区二区| 91啪啪网| 久久老码第一| 无码婷婷五月天| 九九在线精点品| 六月 丁香 视频| www.9操| 天堂久久大香蕉| 色9999日韩国产| 婷婷六月丁香色| 色五月在线播放| 五月婷色| 婷婷五月激情小说| WWW免费视频碰碰碰碰| 91久久婷婷| 亚洲、热| 成人丁香五月天Av| 超碰免费在线| 五月花激情网| 九九爱这里只有精品| 天天干肏夜夜| 超碰人人超碰| 成人精品视频99在线观看免费| 欧美三级视频| 九九久久综合| 色欲天天综合| 大香蕉婷婷丁香天堂AV| 欧美色片中文字幕久久久久| 日本久久视频| 天天射射夜| 婷婷成人视频| 国产伦亲子伦亲子视频观看| 91干网站| 99热99ai| 99.N在线视频| 九九99久久精品| 色色五月天网站| 国产欧美日韩一区二区三区| 人人九色| 亚洲日韩久久婷婷伊人| 久久性爱视频| 色五月天在线观看| 中文字幕丰满孑伦无码专区| 丁香五月激情月| 亚洲小视频免费播放| www激情婷婷com| 无码人妻少妇色欲AV一区二区| www.99热精品| 伊人久久五月天| 99re在线播放| 五月色亚洲| 嫩BBB槡BBBB搡BBBB| 久久色五月天| 视色综合| 第九色区av天堂| 天天操B| 深情五月天| 涩涩涩五月天| 久草丁香婷婷1024| 丁香色情五月天| 午夜成人综合| 综合激情九月婷婷,激情综合婷婷中文字| 日本色频| 婷婷五月天福利| 色噜噜丁香| 色波激情五月天| 婷婷五月色天| 99久久婷婷国产综合亚洲| 久久无码激情视频| 色播六月| 4438成人电影| 无码人妻一区| 伊人免费视频9| 婷婷久久国产视频| 丁香六月狠狠干| 五月婷婷97| ss视频xx91| 丁香五月五月婷婷欧美大香蕉| 99精品热视频只有精品10| 热五月婷婷| 久久婷婷夜| 婷婷五月天综合中文| 无码少妇高潮喷水A片免费| 99热免费网站| 色色色综合色| 日韩无码成人电影| 九九五月天| 五月婷在线影院| 色激情五月| 亚洲无码激情| 99视频精品全部观看10| www.激情五月天.com| 五月婷婷精品无在线| 无码人妻少妇色欲AV一区二区| 综合亚洲色色| 婷婷五月天基地| 丁香六月激| 婷婷色婷婷| 亚洲人人操| 激情影院丁香五月| 性爱网五月婷婷| 五月婷婷无码专区| 666555。COm毛片| 亚洲综合视频一下| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 97干在线视频| 婷婷五月激情的图片| 99热这里只有精品在线| 人人草公开操| 97人人射| 性色播| 色婷婷六月| 看婷婷五月天网| 五月婷婷丁香综合| 五月婷婷综合久久| www.色婷婷| 99开心五月五月丁香激情| 丁香大香蕉| 天天开心天天色| 99热自拍| 六月色五月天天婷婷| 五月婷视频| 五月丁香六月花| www.婷婷五月天,com| 国产成人亚洲综合A∨婷婷| www狠狠com| 狠狠高潮精品亚洲1| 婷婷久久精品| 99视频内射三四| 欧洲激情网站| 天堂成人A片永久免费网站| 99视频精品全部免费观看| 国产操B| 99热这里只有精品最新| 五月天之色情综合网| 激情99热| 丁香五月色色| 99国产精品白浆在线观看免费 | 青青草六月丁香| 欧美男女婷婷| 久久99久久99精品免视看婷| 亚洲日本激情| 久久婷婷六月综合国际| 五月婷婷丁香婷婷| 亚洲五月婷婷| 欧美三级巜人妻互换| 五月花成人网| 天天肏天天肏| 亚洲午夜视频| 97av在线视频| 日曰躁夜夜躁2026| 夜夜操天天爽| 亚洲网站999| 啪啪啪大香蕉| 激情小说视频图片网| 天天日夜夜欢| 久久婷婷伊人| 亚洲小说欧美激情| 色九九九九| 凹凸7777操操操| AV在线免费观看不卡| 激情亭亭五月| 激情文学天天| 婷婷九九色| 翔田千里 50岁 无码| tingtingjiqingwuyue| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷 激情 五月| 五月婷婷9| 青草五月天| 夜夜操天天爽| 丁香五月婷婷激情中文| 五月婷婷影院| 亚洲精品五月| 欧美婷婷丁香五月社区| 天天日天天插| 久久婷婷五月天| 久久久久网站| 亚洲中文字幕在线观看| 六月激情久久| 丁香婷婷偷拍| 婷婷五月天AV在线| 69精品人人人人| 开心五月深爱五月| 五月丁香六月欧美综合| 人人操操| 99原创自拍视频在线观看| 99乱视频| 思思精品久久艹 | 99免费视频在线观看爱| 九九热a| 狠狠婷婷色| 操97| 美女五月天| 丁香五月天天日| 色狠狠色综合久久久绯色AⅤ影视| αv中文字幕在线观| 色五月天丁香| 午夜色丁香| 色婷婷黄色网络| 色色色色色综合| 五月婷婷激情综合网 | 激情五月图| 五月天丁香综合久久国产| 五月激情天| 狠狠做深爱婷婷久久综合一区| 天天拍夜夜撸| ady狠狠入| 欧美精品中文字幕亚洲专区| 激情久久久久久| 激情五月天无人视频在线| 色色亚洲无码| 婷婷五月天久| 极品人妻VIDEOSSS人妻| www.91.com黄| 99精品视频网站| 青青草蜜臀| 思思久久99热| 久久五月婷综合| 婷婷开心激情| 久久成人人妻| 狠狠五月激情在线| 99热在线中文字幕| 97人人看一| 无码激情AAAAA片-区区| 亚洲色五月| 天天日夜夜爽| 激情深爱五月| 欧美激情2025| 五月综亚洲| 激情五月综合| 狠爱婷色| 亚洲岛国电影| 超碰免费人| 五月丁香天堂网| 99热手机在线精品| 国产精品日韩十五区| 六月婷婷网站| 婷婷丁香五月激情中文字幕版| 久9热在线视频| 激情AV中文| 婷婷天堂综合网| 色综合激情图区| 黄色片久久| 天天干天天干天天干天天干天| 91九色熟女| 婷婷五月天网址| 久久五月综合| 天天撸夜夜爽| 五月综合777| 五月婷婷这里都是精品| 99在线观看这里都是精品| 五月丁香| 看婷婷五月天网| 天天综合情| 伊人网欧美在线男人天堂五月丁香| 99日精品视频| 色呦呦美女| 69久久99精品久久久久婷婷| 五月天激情网址| 99久久97久久欧美综合网| 亚洲图色五月天| 婷婷综合仓库中文| 美女久久天堂| 色婷婷啪啪综合网| 久久婷婷六月综合国际| 婷婷碰碰| 99ER热精品视频| 国产亚洲精品久久久久久久久动漫| AAA久久| 538在线精品| 99精品无码| 五月激情在线| 日韩艹比| 欧美成人在线观看| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 亚洲五月天综合色| www.夜夜操.con| 亚洲精品五十一区| 伊人超碰| 日日爱699| 色综合久久88色综合天天99| 99国产精品久久久久久久久久久| 天天日天天舔| 可以免费观看的av| 99视频这里有精品免费观看| 综合激情视频| 91九色国产在线| 人人爽天天爽| 久久五月视频| 五月婷婷丁香91| 去色色五月天| 婷婷狠狠狠爱| 婷婷九月激情| 婷婷丁香五月综合| 深爱婷婷色| 五月婷婷丁香综合| 激情深爱五月| 狠狠色大香蕉| 丁香五月色| 久草婷婷网| 99热国产婷婷| 久久天天天| 开心五月综合激情综合五月| 综合激情站| 久久久97| 人与禽A片啪啪| 久久日婷婷| 狠狠色噜噜色狠狠狠综合色| 激情视频91| 五月婷婷激情四季| 久久五月丁香综合17C| 99免费在线| 色婷婷五月色| 国产精品美女久久久久AV超清| 123日本不卡在线| 婷婷色五月开心五月| 亚洲成人在线免费| 日日婷婷不卡| 99精品视频免费观看| 激情五婷网| 伊人久久婷婷| 色呦精品| 97久久精品视频| 97在线日本| 日韩久久视频| WWW.开心五月天.COM| 女人被男人吃奶到高潮| 色色操| 色.五月综合网| 色噜噜狠狠色综合网| 色插综合网| 五月丁香网站| 人妻体体内射精一区二区| 丁香色五月AV在线| 成人精品一区二区三区四区五区| 五月丁香在线国产| 天天综合 99久久婷婷| 天天日天天操心| 欧美WW在线网| 五月丁六月香av| 日韩黄色电影| www.色五月| 五月天色综合| 亚洲激情网站| 五月丁香六月激情欧美综合| 97婷婷五月| 日日爱678| 天天日天天草| 最近中文字幕2019视频1| 日本丁香久在线| 影音先锋色色色资源色资源色| 亚洲日日操| 婷婷久久综合久| 伊人综合色干| 1995年关宝慧版蜘蛛女| 久婷婷| 日韩三级视频一区二区| 久久这里在精品视频| 国产美女视频久| 专区无日本视频高清8| 五月婷婷久久久| 色久五月天| 精品一二三区久久AAA片| 亚洲视频二区| 日韩av干| 五月丁香激情婷婷| 色五月噜噜| 九九激情网| 爱婷婷都市激情| 教师性爱毛片| 91热久久| 五月草影视| 日本色婷婷| 爽极品色| 婷婷网五月天| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 天天日日夜夜爽。| 91精品综合久久久久久五月丁香| 日本久久超碰| 色五月首页| 伊人综合网站| 激情性爱婷婷| 色色色色色色色色色999| 欧美成人精品A片免费一区99| 91丁香五月| 婷婷婷婷色| 可以免费观看的AV| 色色色综合色| 噜噜色婷婷| 日本A片一区| 色色色色色色97| 久久视频在线视频| 欧美噜噜免费观看| 五月丁香婷婷婷激情爱爱| 久久爱综合| 国产探花AV在线| 涩五月婷婷| 久久这里精彩免费在线观看| 五月丁香久久久久| 爽tv | 色婷婷深爱五月| 五月天婷婷基地| 色欲影香| 丁香五月成人| 丁香六月婷婷社区| 婷婷五月丁香基地| 另类亚洲电影| 思思国产99| 婷婷六久久| 亚洲综合新99视频| 91狠狠综合久久久| VA婷婷| 天天射影院| 天天色天天爽| 岛国AV网| 超碰九九热| 特黄三级片| 色婷五月天| 9色在线| 日本色婷婷| 色五月激情| 91精品综合久久婷婷九色| 99爱精品| 丁香九月色| 久久婷婷五月天亚洲欧美| 殴美97色| 九九热思思| 丁香花婷婷五月天| 九九热精品| 久9热视频在线观看| 99re这里只有| 超级碰碰视频无码| 性生活视频98791| 狠狠色婷| 婷婷五月六| 99操免费视频| 色婷婷久久综合| 激情图片婷婷| 五月丁香啪啪网| 婷婷国产综合| 欧美性生交XXXXX无码小说| 69热在线| 欧洲色区| 开心五月婷| 成人亚洲精品久久久久| 俺去也在线www色官网| 99情色五月天| 五月丁香六月情| 五月天之色情综合网| 久久五月激情综合| 99视频色在线观看| 国产真人做爰视频免费| 久久精彩视频99| 91亚洲免费片| 综合大香蕉| 色婷婷中文字母五月丁香| 无码成人AAAAA毛片AI换脸| 99热777| 五月丁香在线观看国产| 狠狠色成人影片| 亚洲成人一区| 性做久久久久久久免费看| 五月婷婷熟女| 性爱激情五月| 婷婷五月亚洲一本在线丁香| 99男人天堂| 99热日韩| 这里只有精品日韩精品| 99国产精品白浆在线观看免费| 国产亚洲色婷婷99精品| 7777国产盗摄农村女人| 亭亭玉月丁香| 婷婷五月天奸女| 欧美黄色一级录像| 人人操五月天| 韩国情人在线电视剧免费观看高清版全集 | 综合久久婷婷| 丁香综合网| 狠狠五月激情丁香六月| 激情小说五月天| 米奇影视五月天| 色五月婷婷7777| 97干综合网| 婷婷五月天激情四射| 丁香五月天激情综合| 丁香婷婷色五月| 久久五月天婷婷| 丁香六月激情综合| 激情文学五月丁香六月婷婷| 91Chinese在线| 五月婷婷丁香六月| 亚洲成人婷婷| 天天搡日日搡aaaaⅩ| 国产成人精品亚洲线观看| 欧美α√| 98毛片| 色婷婷精| 九九热超碰| 天天爽天天弄| 97婷婷在线| 免费看欧美成人A片无码| 色丁香五月婷婷在线| 7777激情基地| 无码成人播放器| 夜夜骑天天操| 婷婷丁香色五月天久久88| 久久久久久18| 在线色色| 婷婷激情五月天小说| 欧美色宗和激情| 99国产精品久久久久久久久久久| 噜一噜在线| 激情影院免费视频婷婷五月天| 综合九九久久| 久99视频在线观看| 日日操人人操| 超碰99在线观看| 丁香六月欧美| 少妇高潮A片无套内谢麻豆传| 亚洲欧洲国产精品| 激情5月天天天| 啪啪黄页网| 狠狠ri| 丁香五月天之婷婷影院| 天天摸天天舔天天天天爽| 五月天婷婷六月| 丁香五月 性爱| 99精品无码| 日本啪啪天堂| 老司机伊人| 插插干干干色| 五月色网| 日韩无码人妻一区二区| 久草热8精品视频在线观看 | 激情婷婷啪啪| 激情五月天开心网丁香无码|