欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

WGAN-GP與WGAN-Div實(shí)戰(zhàn):用Keras實(shí)現(xiàn)穩(wěn)定GAN訓(xùn)練的梯度懲罰方案

WGAN-GP與WGAN-Div實(shí)戰(zhàn):用Keras實(shí)現(xiàn)穩(wěn)定GAN訓(xùn)練的梯度懲罰方案 如果你也經(jīng)歷過GAN訓(xùn)練中那種玄學(xué)式的崩潰——生成器輸出一堆噪點(diǎn)、loss曲線像心電圖一樣亂跳、換一個(gè)隨機(jī)種子結(jié)果就天差地別——那么WGAN-GP和WGAN-Div這兩套方案應(yīng)該能幫你從泥潭里爬出來。我最近用Keras在MNIST和CIFAR-10上把這兩個(gè)模型完整搭了一遍都能穩(wěn)定生成圖像。這篇文章就把從原理到代碼再到調(diào)參的整個(gè)過程記錄下來給想動手復(fù)現(xiàn)的人一個(gè)可以直接抄作業(yè)的參考。先說明一個(gè)前提下面所有代碼基于TensorFlow 2.x內(nèi)置的Keras。如果你還在用獨(dú)立的Keras 2.xAPI基本通用但GradientTape那一套只存在于tf.keras里建議直接切換到TensorFlow 2.x省掉版本兼容的折騰。1. 為什么繞不開WGAN這條路線1.1 經(jīng)典GAN的病灶JS散度在偷懶傳統(tǒng)GAN里判別器輸出的是一個(gè)概率用交叉熵做loss本質(zhì)上是在最小化生成分布和真實(shí)分布之間的JS散度。這個(gè)度量方式有個(gè)致命問題當(dāng)兩個(gè)分布的重疊區(qū)域非常小的時(shí)候JS散度會趨于一個(gè)常數(shù)log2梯度幾乎為0。舉個(gè)例子。假設(shè)真實(shí)數(shù)據(jù)分布是二維平面上的一條細(xì)線生成器剛開始只能撒出一些離散的噪點(diǎn)。這兩組點(diǎn)在絕大多數(shù)位置都不重合判別器很容易就把它們分得明明白白。此時(shí)生成器幾乎收不到任何有用的梯度信號不管怎么調(diào)參數(shù)輸出的還是那堆噪點(diǎn)。這就是大家常說的“判別器太強(qiáng)生成器被錘死”。實(shí)際操作中的表現(xiàn)就是判別器的loss快速降到接近0生成器的loss卻不怎么動生成的圖片越來越像噪聲。很多人第一反應(yīng)是調(diào)判別器的學(xué)習(xí)率但根子在于度量方式本身就給不出有效的“距離感”。1.2 Wasserstein距離換了個(gè)度量方式WGAN的核心改動是把判別器換成了“critic”輸出不再是一個(gè)概率而是一個(gè)實(shí)數(shù)得分。它優(yōu)化的目標(biāo)也從JS散度換成Wasserstein距離也就是常說的“推土機(jī)距離”。這個(gè)距離的直覺很好理解假設(shè)真實(shí)分布是一堆土生成分布是另一堆土Wasserstein距離就是把這堆土搬到另一堆土的最小運(yùn)輸成本。即使兩堆土完全不重疊只要它們位置不同這個(gè)成本就是一個(gè)正的有限值梯度就不會消失。這就解決了經(jīng)典GAN里“距離太遠(yuǎn)就無梯度”的問題。所以WGAN的critic要做的事情不是判斷“真”“假”而是給真實(shí)樣本打高分給生成樣本打低分。對應(yīng)到代碼里就是去掉最后一層的sigmoid輸出一個(gè)raw score。這是WGAN與傳統(tǒng)GAN最直觀的區(qū)別。1.3 權(quán)重裁剪的副作用WGAN為了保證Wasserstein距離能算得下去要求critic的函數(shù)滿足1-Lipschitz條件也就是輸出對輸入的改變不能過于敏感。論文作者最初用的方法是權(quán)重裁剪把critic的每一層權(quán)重強(qiáng)行限制在一個(gè)小范圍內(nèi)比如[-0.01, 0.01]。這個(gè)方法實(shí)現(xiàn)起來非常簡單但副作用很明顯。權(quán)重被強(qiáng)行裁剪后critic的表達(dá)能力被壓縮得很厲害很多情況下它只能學(xué)到非常粗糙的判別函數(shù)。我一開始照著原始WGAN代碼跑發(fā)現(xiàn)生成的圖像總有一種“模糊感”細(xì)節(jié)上不去。后來才知道這是權(quán)重裁剪帶來的典型問題critic太弱給生成器提供的梯度質(zhì)量也差。WGAN-GP和WGAN-Div就是在這個(gè)基礎(chǔ)上提出的兩種改進(jìn)。它們的核心思路一模一樣不再裁剪權(quán)重而是通過給損失函數(shù)加一個(gè)“梯度懲罰項(xiàng)”直接約束critic對輸入的梯度從而滿足Lipschitz條件。2. 實(shí)驗(yàn)整體設(shè)計(jì)先定結(jié)構(gòu)再談?chuàng)p失2.1 數(shù)據(jù)準(zhǔn)備與歸一化我用兩個(gè)數(shù)據(jù)集做驗(yàn)證MNIST用來快速驗(yàn)證收斂邏輯CIFAR-10用來驗(yàn)證彩色、復(fù)雜圖像上的生成效果。兩個(gè)數(shù)據(jù)集都縮放到[-1, 1]區(qū)間生成器最后一層用tanh激活輸出自然落在[-1, 1]內(nèi)正好對應(yīng)輸入的數(shù)據(jù)范圍。這里有個(gè)容易忽略的細(xì)節(jié)如果你把圖像歸一化到[0, 1]生成器最后一層還在用tanh輸出那生成圖像的像素會被強(qiáng)制壓到[-1, 1]看起來會“發(fā)灰”。反過來如果數(shù)據(jù)在[-1, 1]內(nèi)生成器卻用sigmoid輸出那圖像永遠(yuǎn)達(dá)不到最大亮度和對比度。所以訓(xùn)練前先確認(rèn)好數(shù)據(jù)的范圍與輸出層的激活函數(shù)。2.2 生成器結(jié)構(gòu)生成器沿用DCGAN那套結(jié)構(gòu)先通過全連接層把隨機(jī)噪聲映射成一個(gè)小尺寸的特征圖再用轉(zhuǎn)置卷積逐步上采樣到目標(biāo)尺寸。我在CIFAR-10上用32×32分辨率從8×8的特征圖開始連續(xù)兩次stride為2的轉(zhuǎn)置卷積到16×16、32×32最后一層改用普通卷積輸出3個(gè)通道。def build_generator(latent_dim128): noise Input(shape(latent_dim,)) x Dense(8 * 8 * 256, use_biasFalse)(noise) x BatchNormalization()(x) x LeakyReLU(alpha0.2)(x) x Reshape((8, 8, 256))(x) x Conv2DTranspose(128, (4, 4), strides(2, 2), paddingsame, use_biasFalse)(x) x BatchNormalization()(x) x LeakyReLU(alpha0.2)(x) x Conv2DTranspose(64, (4, 4), strides(2, 2), paddingsame, use_biasFalse)(x) x BatchNormalization()(x) x LeakyReLU(alpha0.2)(x) x Conv2D(3, (3, 3), paddingsame, activationtanh)(x) return Model(noise, x)生成器里每一層都用LeakyReLUalpha取0.2。這個(gè)選擇是為了防止ReLU死掉——GAN訓(xùn)練過程中生成器的輸入分布變化很大ReLU一旦被壓到負(fù)區(qū)間就可能一直輸出0導(dǎo)致梯度斷流。LeakyReLU可以保證梯度至少有一條通道能流回去。BN層在生成器里很重要能顯著穩(wěn)定訓(xùn)練。但注意調(diào)用生成器時(shí)如果處于訓(xùn)練階段一定要寫generator(noise, trainingTrue)讓BN更新批次統(tǒng)計(jì)量。生成圖像做推理時(shí)再用trainingFalse否則你會發(fā)現(xiàn)同一個(gè)噪聲向量每次生成的結(jié)果不一樣原因是BN在訓(xùn)練模式下用了當(dāng)前batch的均值方差。2.3 Critic結(jié)構(gòu)critic的結(jié)構(gòu)與生成器鏡像但有幾處關(guān)鍵差異不使用BN不使用sigmoid最后一層直接輸出一個(gè)標(biāo)量。def build_critic(img_shape(32, 32, 3)): img Input(shapeimg_shape) x Conv2D(64, (4, 4), strides(2, 2), paddingsame)(img) x LeakyReLU(alpha0.2)(x) x Conv2D(128, (4, 4), strides(2, 2), paddingsame)(x) x LeakyReLU(alpha0.2)(x) x Conv2D(256, (4, 4), strides(2, 2), paddingsame)(x) x LeakyReLU(alpha0.2)(x) x Flatten()(x) x Dropout(0.2)(x) out Dense(1)(x) return Model(img, out)為什么critic不用BN梯度懲罰的計(jì)算要求在插值樣本上對輸入求導(dǎo)而BN在訓(xùn)練時(shí)引入批內(nèi)統(tǒng)計(jì)量使輸出不再只依賴當(dāng)前單個(gè)輸入相當(dāng)于在批維度上產(chǎn)生了信息泄露。這樣一來“對單個(gè)輸入的梯度”就變得不再純粹懲罰項(xiàng)也會受到污染。很多第一次復(fù)現(xiàn)WGAN-GP的人把BN留在critic里結(jié)果訓(xùn)練不穩(wěn)定多半是這個(gè)原因。如果卷積下采樣想保留更多信息也可以不加Dropout。我加了一層Dropout(0.2)是防止critic對訓(xùn)練集過度敏感實(shí)測對穩(wěn)定性有一點(diǎn)幫助但不是必須的。2.4 訓(xùn)練超參整套實(shí)驗(yàn)的關(guān)鍵超參如下latent_dim 128batch_size 64critic更新次數(shù)n_critic 5MNIST上我試過1也能收斂優(yōu)化器Adamlr 1e-4beta_1 0.5WGAN-GP的lambda 10WGAN-Div的k 1p 2起步Adam的beta_1取0.5而不是默認(rèn)的0.9這里說下原因。GAN的loss曲面本身波動劇烈如果動量累積過大梯度更新方向會“剎不住車”導(dǎo)致訓(xùn)練震蕩。beta_1降低以后動量衰減更快更新方向更追隨當(dāng)前梯度穩(wěn)定性會好很多。n_critic是一個(gè)可以調(diào)的空閑參數(shù)。理論上critic需要先訓(xùn)練充分才能給生成器提供準(zhǔn)確的Wasserstein梯度。但如果critic太強(qiáng)、生成器太弱同樣會出現(xiàn)生成器完全跟不上的問題。我在小數(shù)據(jù)集上的經(jīng)驗(yàn)是n_critic1到5都能跑數(shù)據(jù)集越小、越簡單n_critic就可以越小。3. WGAN-GP梯度懲罰的完整實(shí)現(xiàn)3.1 插值樣本與梯度懲罰的計(jì)算WGAN-GP的核心是構(gòu)造一個(gè)“插值樣本”讓critic在這個(gè)樣本上的梯度范數(shù)盡量接近1。所謂插值樣本就是從一對真實(shí)樣本和生成樣本的連線上隨機(jī)取一個(gè)點(diǎn)alpha * real (1 - alpha) * fakealpha是[0,1]間的隨機(jī)數(shù)。為什么要在連線上采樣因?yàn)長ipschitz條件要求函數(shù)的梯度在全空間都有界但真正計(jì)算所有位置不可行。經(jīng)驗(yàn)上真實(shí)樣本和生成樣本中間過渡區(qū)域是最容易違反Lipschitz條件的地方在連線上做懲罰性價(jià)比最高。這個(gè)思想不是嚴(yán)格的數(shù)學(xué)證明但實(shí)驗(yàn)效果非常好。def gradient_penalty(critic, real, fake): alpha tf.random.uniform((tf.shape(real)[0], 1, 1, 1), 0.0, 1.0) interp alpha * real (1.0 - alpha) * fake with tf.GradientTape() as tape: tape.watch(interp) pred critic(interp, trainingTrue) grad tape.gradient(pred, interp) norm tf.sqrt(tf.reduce_sum(tf.square(grad), axis[1, 2, 3])) gp tf.reduce_mean((norm - 1.0) ** 2) return gp這里有個(gè)初學(xué)者容易出錯的地方tf.GradientTape()里除了要計(jì)算critic的輸出還要顯式調(diào)用tape.watch(interp)否則TensorFlow不會自動記錄對interp的梯度。很多報(bào)錯“gradient is None”都是因?yàn)檫@個(gè)。3.2 損失函數(shù)與訓(xùn)練循環(huán)WGAN-GP中critic的損失不是交叉熵而是三部分之和對真實(shí)樣本的輸出取平均對生成樣本的輸出取平均注意方向再加上梯度懲罰。生成器的損失更簡單目標(biāo)是讓生成樣本在critic那里的得分盡量高所以取負(fù)號。with tf.GradientTape() as tape: fake_imgs generator(noise, trainingTrue) fake_imgs tf.stop_gradient(fake_imgs) d_real critic(real_imgs, trainingTrue) d_fake critic(fake_imgs, trainingTrue) gp gradient_penalty(critic, real_imgs, fake_imgs) d_loss tf.reduce_mean(d_fake) - tf.reduce_mean(d_real) lambda_gp * gp grads tape.gradient(d_loss, critic.trainable_variables) d_optimizer.apply_gradients(zip(grads, critic.trainable_variables))注意tf.stop_gradient(fake_imgs)這一行。如果不加GradientTape會把生成器的完整計(jì)算圖記錄下來。雖然我們只對critic參數(shù)求梯度但這部分記錄會白白消耗大量顯存訓(xùn)練速度也會變慢。加上stop_gradient之后tape只追蹤從fake_imgs到d_fake這段計(jì)算內(nèi)存占用小很多。生成器的更新循環(huán)with tf.GradientTape() as tape: fake_imgs generator(noise, trainingTrue) d_fake critic(fake_imgs, trainingTrue) g_loss -tf.reduce_mean(d_fake) grads tape.gradient(g_loss, generator.trainable_variables) g_optimizer.apply_gradients(zip(grads, generator.trainable_variables))整個(gè)訓(xùn)練流程是先固定生成器更新critic n_critic次再固定critic更新生成器1次。critic的更新目標(biāo)是拉開真實(shí)樣本得分和生成樣本得分的差距生成器的更新目標(biāo)是拉高自己樣本的得分。兩者在d_fake這個(gè)點(diǎn)上形成對抗。3.3 訓(xùn)練循環(huán)里的三個(gè)細(xì)節(jié)第一個(gè)細(xì)節(jié)是lambda的取值。WGAN-GP論文給出的經(jīng)典值就是10這個(gè)值在大多數(shù)任務(wù)上都不需要改。lambda太小時(shí)Lipschitz約束形同虛設(shè)訓(xùn)練不穩(wěn)定lambda太大時(shí)critic會把幾乎所有注意力都放在滿足梯度約束上對真實(shí)樣本和生成樣本的區(qū)分能力下降生成圖像會變得模糊。如果調(diào)節(jié)后有類似問題優(yōu)先檢查它。第二個(gè)細(xì)節(jié)是critic的最后一層不要初始化偏置為0或權(quán)重過大。建議使用默認(rèn)的Glorot均勻初始化如果發(fā)現(xiàn)訓(xùn)練一開始critic輸出就很大可以考慮用小標(biāo)準(zhǔn)差初始化最后一層。第三個(gè)細(xì)節(jié)是d_loss的數(shù)值范圍。WGAN訓(xùn)練中critic的loss是一個(gè)不斷變化的負(fù)數(shù)不會像傳統(tǒng)判別器那樣收斂到0附近。我見過很多人看到loss是負(fù)數(shù)就以為訓(xùn)練出了問題其實(shí)這是正常的。WGAN-GP中d_loss穩(wěn)步下降、g_loss圍繞一個(gè)負(fù)值波動只能說明損失函數(shù)這一路沒有崩潰真正的判斷標(biāo)準(zhǔn)還是生成圖像本身。4. WGAN-Div從固定約束到可調(diào)散度4.1 WGAN-Div的原理與損失形式WGAN-Div站在WGAN-GP的肩膀上進(jìn)一步把“梯度懲罰”從一種工程技巧上升成了理論上的“散度”定義。它引入兩個(gè)超參數(shù)k和p懲罰項(xiàng)寫成了k * mean(|grad_norm - k|^p)。這里要交代清楚一個(gè)細(xì)節(jié)WGAN-Div論文原文里的懲罰項(xiàng)寫法與工程代碼并不完全一致。原文更接近k * E[(k - grad_norm)^p]沒有先取絕對值當(dāng)梯度范數(shù)大于k時(shí)懲罰項(xiàng)可能變號。實(shí)際測試中這種寫法在部分p取值下會引入不穩(wěn)定因素。所以我下面給出的代碼采用開源社區(qū)里更通用的穩(wěn)定版本對grad_norm - k取絕對值再求p次冪。如果你想嚴(yán)格對齊論文可以自己去掉絕對值對比效果。def wdiv_penalty(critic, real, fake, k1.0, p2.0): alpha tf.random.uniform((tf.shape(real)[0], 1, 1, 1), 0.0, 1.0) interp alpha * real (1.0 - alpha) * fake with tf.GradientTape() as tape: tape.watch(interp) pred critic(interp, trainingTrue) grad tape.gradient(pred, interp) norm tf.sqrt(tf.reduce_sum(tf.square(grad), axis[1, 2, 3]) 1e-12) penalty k * tf.reduce_mean(tf.abs(norm - k) ** p) return penalty加1e-12是為了防止梯度范數(shù)為0時(shí)開根號出現(xiàn)數(shù)值不穩(wěn)。然后critic的損失函數(shù)變成d_loss tf.reduce_mean(d_fake) - tf.reduce_mean(d_real) wdiv_penalty(critic, real_imgs, fake_imgs, k1.0, p2.0)乍一看和WGAN-GP幾乎一樣區(qū)別只在懲罰項(xiàng)的形式。WGAN-GP是強(qiáng)制梯度范數(shù)等于1WGAN-Div是強(qiáng)制梯度范數(shù)等于k并且用p次冪控制懲罰力度。當(dāng)k1、p2時(shí)兩者非常接近可以互相替代。4.2 與WGAN-GP的代碼差異把WGAN-GP換成WGAN-Div代碼改動量其實(shí)非常小。生成器結(jié)構(gòu)、critic結(jié)構(gòu)、訓(xùn)練循環(huán)框架全部可以復(fù)用只替換梯度懲罰函數(shù)。這也是我推薦在同一個(gè)工程里同時(shí)保留兩套實(shí)現(xiàn)的原因切換成本極低。WGAN-Div訓(xùn)練循環(huán)中生成器的loss不變還是-mean(d_fake)。唯一要注意的是訓(xùn)練critic時(shí)同樣要用stop_gradient隔離生成器擴(kuò)大提高內(nèi)存效率。4.3 p值對訓(xùn)練的影響從實(shí)際效果看p值比k值更值得玩味。p2時(shí)懲罰項(xiàng)對“梯度范數(shù)偏離k”施加的是二次懲罰類似WGAN-GPp增大到4或6意味著梯度范數(shù)偏差越大受到的懲罰越重。這意味著critic會更努力地讓梯度范數(shù)保持在k附近對局部梯度的約束更嚴(yán)格。論文里的實(shí)驗(yàn)偏向于用較大的p比如p6認(rèn)為這讓critic對空間各處的Lipschitz約束更均勻。我自己的測試結(jié)論是p2已經(jīng)夠用p6在某些數(shù)據(jù)集上能略微提升生成圖像的多樣性但代價(jià)是更容易出現(xiàn)數(shù)值波動尤其是訓(xùn)練中期。p的調(diào)節(jié)不要一上來就拉滿先在p2跑通再逐檔對比。k值的作用更像一個(gè)“目標(biāo)梯度范數(shù)”。k越小critic輸出對輸入的敏感度越低生成器收到的梯度相對溫和k越大critic可以更“尖銳”地響應(yīng)輸入變化生成器能獲得更強(qiáng)的修正信號但也更容易震蕩。我的經(jīng)驗(yàn)是k取1或2都可以優(yōu)先從1開始。5. 實(shí)測對比與調(diào)參筆記5.1 兩個(gè)模型的訓(xùn)練曲線差異把兩個(gè)模型都訓(xùn)練20個(gè)epoch之后我記錄到一些有意思的現(xiàn)象。WGAN-GP的critic loss下降非常平穩(wěn)基本是一條斜率穩(wěn)定的曲線生成器loss則在一個(gè)負(fù)值附近小幅波動。WGAN-Div的曲線形態(tài)相似但絕對值大小和波幅會隨p變化p越大critic loss的數(shù)值抖動越明顯。這里必須強(qiáng)調(diào)不要試圖用critic loss的絕對值去橫向?qū)Ρ葍蓚€(gè)模型的優(yōu)劣。WGAN的loss是有意義的“分布距離估計(jì)值”但它受梯度懲罰項(xiàng)的影響較大改變罰項(xiàng)形式后數(shù)值就沒有可比性了。判斷模型好壞一看出圖效果二看是否出現(xiàn)模式崩塌三看訓(xùn)練是否持續(xù)平穩(wěn)。5.2 生成質(zhì)量與穩(wěn)定性對比在MNIST上兩個(gè)模型最終生成的數(shù)字都清晰可辨幾乎看不出明顯差別。WGAN-GP從第8個(gè)epoch左右就能看到像樣的數(shù)字輪廓WGAN-Div在k1、p2時(shí)速度類似換成k1、p6后收斂略慢一點(diǎn)但生成樣本的多樣性感覺稍好一些。在CIFAR-10上兩個(gè)模型的差別開始顯現(xiàn)。WGAN-GP生成的圖像整體更“干凈”邊緣和色塊分明WGAN-Div在p較大時(shí)生成的圖像偶爾能保留更多細(xì)節(jié)紋理但也更容易出現(xiàn)局部顏色溢出。也就是說WGAN-Div的調(diào)節(jié)空間更大但它的最優(yōu)參數(shù)需要針對數(shù)據(jù)集單獨(dú)摸索不像WGAN-GP那樣“開箱即用”。這兩條路線我用表格簡單對比一下對比維度WGAN-GPWGAN-Div懲罰目標(biāo)梯度范數(shù)等于1梯度范數(shù)等于k懲罰形式λ·E[(norm?1)2]k·E[關(guān)鍵超參λ默認(rèn)10基本不用調(diào)k、p需要試驗(yàn)理論統(tǒng)一度面向工程直觀從散度定義出發(fā)更一般訓(xùn)練穩(wěn)定性很穩(wěn)適合首選穩(wěn)定但依賴參數(shù)選擇實(shí)現(xiàn)復(fù)雜度低極低改動一行適用場景絕大多數(shù)GAN任務(wù)想深挖理論或?qū)ふ叶鄻有允找?.3 關(guān)鍵超參調(diào)參心得學(xué)習(xí)率是這場實(shí)驗(yàn)里影響最大的超參沒有之一。我試過把critic和生成器的學(xué)習(xí)率都調(diào)到3e-4訓(xùn)練很快變得顛簸調(diào)回1e-4后馬上一路順風(fēng)。WGAN系列對學(xué)習(xí)率比傳統(tǒng)GAN更敏感因?yàn)閏ritic的梯度是要被“拿來算距離”的步子邁太大等于距離估錯。Batch size也不用太大。64是性價(jià)比很高的選擇。batch太大時(shí)梯度懲罰的插值樣本會更密集理論上更接近理論要求但實(shí)際中顯存壓力和訓(xùn)練速度都會成問題收益卻不成比例。batch太小比如16critic會過度關(guān)注當(dāng)前小批量中的個(gè)別樣本梯度噪聲偏大。n_critic在MNIST上試過1和3收斂速度差不太多在CIFAR-10上n_critic5比1更穩(wěn)。我的建議是復(fù)雜數(shù)據(jù)集用5簡單數(shù)據(jù)集可以縮到1或3省下來的算力拿去多跑幾個(gè)epoch更劃算。5.4 一個(gè)偷懶但有效的調(diào)試技巧訓(xùn)練過程中一定要定期保存生成圖。我習(xí)慣每隔500個(gè)step把固定的一組噪聲向量丟進(jìn)生成器生成一張對比圖保存下來。這樣跑完一遍訓(xùn)練把這些圖按順序連起來看就是一個(gè)動畫訓(xùn)練過程中有沒有崩潰、有沒有從噪聲慢慢變成圖像、有沒有突然模式崩塌一眼就能看清楚。只盯loss曲線是看不出這些信息的。我見過loss曲線一路下行但生成圖像全部是同一個(gè)數(shù)字的情況。模式崩塌時(shí)critic依然可以把真實(shí)樣本和“那一類”生成樣本區(qū)分開loss看起來一切正常。6. 問題排查與避坑記錄6.1 訓(xùn)練崩壞的幾個(gè)典型原因癥狀可能的坑解決方向loss變成NaN學(xué)習(xí)率過高、梯度爆炸學(xué)習(xí)率降到1e-4以下檢查插值樣本是否有inf圖像長期模糊lambda太大 / 數(shù)據(jù)與輸出層不匹配lambda從10往下降或修正激活函數(shù)生成內(nèi)容單一模式崩塌減小batch、降低beta_1、增大latent_dimcritic loss快速歸零去掉sigmoid了嗎經(jīng)典GAN的判別頭混入了確認(rèn)critic輸出層沒有sigmoid圖像顏色發(fā)灰數(shù)據(jù)范圍與激活函數(shù)不一致數(shù)據(jù)[-1,1]配tanh數(shù)據(jù)[0,1]配sigmoid6.2 網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)的坑critic里加BN是我踩過最深的坑之一。最開始為了“讓訓(xùn)練更穩(wěn)”按分類網(wǎng)絡(luò)的習(xí)慣在critic每個(gè)卷積后加了BN結(jié)果訓(xùn)練時(shí)好時(shí)壞。后來查資料才發(fā)現(xiàn)梯度懲罰要求對單個(gè)輸入樣本求梯度BN卻讓輸出依賴于整個(gè)batch的統(tǒng)計(jì)量等于強(qiáng)行讓梯度“去個(gè)體化”。去掉BN后訓(xùn)練立刻穩(wěn)定不少這也直接改變了我的網(wǎng)絡(luò)設(shè)計(jì)習(xí)慣。生成器里BN的training參數(shù)同樣是個(gè)容易出錯的點(diǎn)。如果你在訓(xùn)練循環(huán)里調(diào)用generator(noise)時(shí)不帶training參數(shù)Keras默認(rèn)按推理模式執(zhí)行BN不會更新。短期看loss還在變化但生成器內(nèi)部統(tǒng)計(jì)量一直沒動訓(xùn)練效果會越來越差。正確做法是生成器在訓(xùn)練階段顯式傳trainingTrue。6.3 數(shù)據(jù)與版本相關(guān)的坑圖像歸一化一定要在做batch之前完成。如果你用TensorFlow的Dataset API注意map里的歸一化操作不能在batch之后才做。我試過一次先batch再map歸一化結(jié)果歸一化作用的維度從(H, W, C)變成了(B, H, W, C)整個(gè)訓(xùn)練損失數(shù)值都不對修了很久才定位到。版本兼容上TensorFlow 2.4之后tf.keras和獨(dú)立Keras的混用經(jīng)常出問題。我建議代碼里統(tǒng)一寫from tensorflow.keras import layers別一會import keras一會import tf.keras兩個(gè)庫的變量各自獨(dú)立加載權(quán)重和保存模型時(shí)會莫名報(bào)錯。我個(gè)人在實(shí)際操作中的體會是WGAN-GP和WGAN-Div不是競爭關(guān)系而是兩組可以隨時(shí)切換的“梯度約束方案”。如果手里有個(gè)圖像生成任務(wù)想快速出效果直接上WGAN-GP默認(rèn)參數(shù)基本夠用如果愿意花時(shí)間調(diào)參想觀察多樣性變化再切到WGAN-Div去試不同的k和p。最后再分享一個(gè)小技巧實(shí)驗(yàn)記錄時(shí)把每個(gè)step保存的生成圖統(tǒng)一命名成帶step編號的文件訓(xùn)練完了用腳本拼成動畫你會非常直觀地看到模型是怎么從一片噪聲里慢慢長出結(jié)構(gòu)的——那種感覺比任何指標(biāo)都讓人上癮。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香亭亭| 午夜精品777| 色色色婷婷| 在线观看免费狠狠色丁香香综合| 五月天色区| 六月亚洲| 人妻激情视频| 欧美大片免费播放器| 六月婷婷影院| 99热99美国在线观看| 99久久99久久综合| 蜜桃婷婷丁香| 婷婷五月亚洲综合| 97色精品视频 | 袁子仪视频观看| 久久婷婷青青| 99婷婷| 无码中文一区二区三区| 婷婷色中文| 思思热视频| 日日肏天天操| www99热| 国产精品久久久久9999小说 | 丁香五月,激情五月,深爱五月| 东京热免费视频网站| 91丨九色丨国产打屁股| 色婷婷丁香五月综合| 98色花堂98t.R| 婷婷色网| 日韩超碰在线| 成 人 色 色| 色欲色天天香综合| 超级碰 久久9| 成人做爰A片免费看视频| 99精品22| 成人色站,在线视频,看片-SS1AV| 色激情五月| 九九在线视频| 99re视频在线播放| 色综合射婷婷| 亚洲熟妇AV综合网五月丁香伊人| 玖玖99免费视频| 成人做爰高潮A片免费视频| 91精品久久久久、久五月天| 我要色综合五月婷婷| 色婷婷四色| 五月天激情婷婷| 99A片| 色五月丁香六月资源站| 9l视频自拍九色9l视频在线观看| 久热99视频在线观看| 久久人人超| 台湾佬天天日丁香婷婷五月天| 成人五月丁香社区| 99热在线观看99| 婷婷五月天成人| 99精品在线观看| 26uuu亚洲欧美另类| www.婷婷.com| 极品少妇婷婷五月| 五月婷婷啪啪啪啪| 99色| 五月丁香黄色视频| 五月天色色婷婷| 思思综合热| 99热日韩| 中文字幕丰满人妻无码专区| 大香蕉太香蕉视频97| 五月天综合网| 色情五月婷婷| 五月天综合激情网| a久久| 激情五月天之五月婷婷| 婷婷色五月婷婷姐妹| 99色.com| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 激情网婷婷婷| 久热99热| 成人无码髙潮喷水A片| 国产AV熟妇人震精品一品二区| 伊人五月婷| 九热视频在线伦| 玖色色综合| 97综合色片| 色色婷婷五月| 五月天五月天成人网亭亭成人色网站| 色爽干| 超碰在线观看9| 色七色九九| 色色色在线免费视频| 久热最新视频| 五月婷婷co.m| 色五月丁香六月资源站| 六月丁香色色| 婷婷大乡焦噜噜| 99精品手机在线视频| 婷婷丁香五月综合| 狠狠狠狠狠| 久操福利| 97人人看| 成人在线不卡| 91色婷婷综合久久中文字幕二区| 日韩综合天堂| 影音先锋色婷婷| 色五月欧美| 色色丁香激情五月| 99热精地址| 色五月丁香一区在线| 色色日韩网| 99碰网站| 九九这里是免费的视频5| 中文字幕久久婷九女同| 色在线免费观看| 99国产精品久久久久久久久久久 | 九九色热视频| 日B日潘金莲BB| 日韩成人中文| 亚洲永久免费| 在线看的免费网站| 婷婷久久综合| 婷婷丁香熟妇综合网| 99碰超| 久久99精品久久久久久三级| 色婷婷天堂| 五月丁香久久激情网| 2025最新亚洲激情在线| 狠狠狠人妻| 六月亚洲婷婷6月中文字幕| 九月丁香亭亭| 天天综合网、天天综合色 | 月丁香久久久| 激情av网| 久99久视频免费观看| 久久人操-久草婷婷-成人AV| 色五月婷婷激情基地| 美女爆乳18禁www久久久久久| 日本二级毛片二级毛片| 九九色婷| 97婷婷久久丁香| 激情丁香五月| Caop在线| 九九热啪啪| 99大香蕉| 91丨九色丨国产打屁股| 色婷婷成人影片| 好吊操这里只有精品| 九九蜜臀精品| 婷婷五月天影视| 色综合xx| 婷婷五月花西瓜| 九九免费精品| 99精品国产在热久久婷婷| 另类激情首页| 操99| 九九激情综合| 欧美激情性做爰免费视频| 五月天综合在线| 涩五月婷婷| 思思热在线观看| 白人荫道BBWBBB大荫道| 丁香婷婷综合影院| 日本久久精品18| 亚洲视频五区| 99热99网| 五六月丁香激情视频| 都市激情小说婷婷| 日本WWW九九九| 欧美天堂久久| 色婷婷五月天堂资源| 丁香五月激情站| 激情都市五月天| 久久久久久综合五月婷婷| 天天综合亚洲| 久99久视频| 99热这里精品| av在线免费播放观看| 9|在线观看视频| 色五月大| 丁香五月婷婷少妇| 久久婷婷五月综合伊人| 亚洲天堂爱爱| 69精品人人人人人人人人人| 免费99色| 99热色无码| 婷婷丁香久久五月综合| 婷婷五月天成人小说| 丁香婷五月天开心六月| 久久久五月天| WWW.久久久久久久久久久久久| 亚洲网站999| 五月丁香六月婷婷综合在线| 五月婷在线视频免费播放| 激情丁香五月天图片| 婷婷涩五月| www久久99| 成人婷婷色综合| 激情婷婷九月| 欧美综合激情五月丁香| 五月天四色房丁香亭亭| www.婷婷六月天| 性爱网五月婷婷| 六月激情婷婷综合| 色五月亚洲五月天| 开心婷婷中文字幕| 丁香六月天| 国产高清视频91九九九久久久| 狠狠爱婷婷爱| 亚洲人妻一区二区 | 五月丁香 啪啪| 丁香五月成人论坛| 大香蕉久久婷婷精品综合| 人妻内射视频| 超碰中文字幕在线| 9色小视频在线观看| 77777亚洲午夜久久| 久久天天天| 五月香六月婷| 色综合五月| 丁香五月婷婷激情蜜桃| 888精品福利地址| 在热视频精品| 久久xxxx| 色播播婷婷| 五月婷婷久久开心网| 婷婷五月另类网站| 亚洲亚洲人成综合网络| 超碰com| 5月婷婷性视频| 久热69| av亚洲国产小电影| 超碰免费99| 西瓜美女a片| 久久3p| 亚洲精品久久久久久久久久飞鱼 | 婷婷在线激情| 五月婷婷色在线| 99热主页日本| www天天爽| 婷婷五月六月| 免费97碰碰| 26uuu激情五月天| 丁香婷婷五月色成人网站| 日韩成人不卡| 色五月婷婷狠狠撸| 日韩狠狠色| 国产干逼片| 婷婷丁香久久| 丁香成人五月天| 精品国产乱码久久久久夜深人妻| 99色在线| 久久草中文日韩欧美| 久久R激情| 九九热这里只有精品7| 直接看的AV| 韩国真做片在线观看| 色九亚洲| 日韩AAAAA| 久久国产一区二区三区| 五月丁香啪啪| 久热2025无码| 亚洲激情网| 综合激情九月婷婷,激情综合婷婷中文字 | www.色五月| 青青草国产亚洲精品久久| 色婷婷久久天天性爱| 99成人小视频| 婷婷丁香五月天综合激情| 九九热这里只有精品7| 亚洲a色| 亚洲亚洲人成综合网络| 性爱动图国产麻豆一区二区三区| 97干欧美| 色色色区| 久久免费精彩视频| 丁香九色不卡aaa| 激情婷婷人妻| 91操人| 99精品国产热久久91色欲| 五月天狠狠| 色婷婷丁香女女| 色人五月婷婷| 五月婷婷综合在线| 五月色婷婷综合色| 丁香五月婷婷基地| 欧美日本VA| 97色永久免费视频| 殴美日韩成人| 99久久精品国产色欲| 久久久潮喷-久久久九九-成人AV| 丁香五月激情无码视频| 久久大大香| 思思热精品免费视频| 久久久久久久人妻| 亚洲一色色色色色色色色| 日本三级大片| 色色色激情| 成人 在线 日韩| 97五月婷婷| 色五月婷婷色五月婷婷色五月婷婷| 九九婷婷激情综合网| 久久婷五月综合色| AA片在线观看视频在线播放| 99爱在线| 精品久久久久成人码免费动漫| 综合五月天亚洲婷婷| 777色色色| 99视频久久| AAA久久久| av在线观看网站| 激情图片久久| 五月婷婷啪啪啪| 亚州操操| 色综合九九| 99操| 久热这里只有精品在线观看| 99热在线观看| 色婷五月| 婷婷五月丁香激情图片 | 激情五月开心五月在线视频| 国产毛片欧美毛片久久久| 亚洲99激情| www.夜夜| 婷婷伊人久久综合| 日都一级A片| www.夜夜操.com| 老师把我爽高潮了免费A片| 国产午夜一区二区三区| 五月综合丁| 五月婷婷六月情| 亚洲无码www| 国产婷婷综合| 亚洲综合成人网| www.五月天婷婷| 琪琪理论片| 国产真实乱了老女人视频| 国产探花AV在线| 婷婷五月丁香五月基地| 色情婷婷五月天| 日熟女| 99久在线精品| 欧美综合123区| 俺去也五月天婷婷| 综合五月亭亭9| 超碰人人插| 五月丁香中文字幕| 色婷婷888| 午夜大香蕉| 91干婷婷| 婷婷五月综合网| 天天综合 99久久婷婷| 999激情视频| 久久只有这里精品免费| 琪琪布丁香社区激情五月天| 99视频精品全部观看10| 色婷婷综合视频| 99国产精品白浆在线观看免费| 久久有码| 亚洲午夜Av| 九九99精品| 色婷婷成人丁香| 国产日产亚洲系列最新| 五月丁香六月色| 激情久久五月天| 色色丁香| 婷婷色五月色| 91操操| 四虎国产精品永久在线国在线| 五月丁香欧美| 久久婷.com| 婷婷亚洲综合| 五月亭亭直播| 成人视频九九| www.色情五月天.com| 婷婷五月天堂| 六月色色婷婷| 亚洲性视频| 国产67194| 天天干天天爽天天爽| 人人操女人| 97人人超| 很很干夜夜干| 天天爽成人综合网站| 猫咪伊人AV| 色婷婷88| 嫩BBB槡BBBB搡BBBB视频| 久草网大香视频| 最新色色五月天| 婷婷六月爽| 久热re在线视频| 日本99视频| 人人干Av| 超碰在线99| 日韩日比视频在线| 五月丁香色| 中文字幕久久一区二区三区| 色综合色| 黄色一极大片| 夜夜爽77777妓女免费下载| 色综合五月天| 亚洲十月婷婷综合| www.99久久久| 无码人妻一区二区一牛影视| 99这里| 五月丁香激情婷婷| 无码一区二区日韩| 色综合中文| 超碰九热| 99激情| 五月婷婷在线视频观看| 久久五月网| 久9无码视频| 51精品国自产在线| 亚洲激情在线| 在线只有精品| 婷婷丁香五月六月激情| 亚洲激情综合| 亚洲无码yw| 苗黎美女四级成人版一级二级毛片| 99热99极品观看| 久久精品小视频| 亚洲99综合| 99热99日天天干| 噼里啪啦在线观看免费完整版视频| 色播五月婷婷| 成年人99热| 97色在线| 香焦网五月天| 婷婷丁香综合色AV| av国产精品| 香蕉久久国产AV一区二区| 久久激情五月天| 激情五月天之六月婷婷| 久久香蕉影院| 狼友超碰| 久久码久久无清| 国产在线激情视频| 一级黄色影片| 丁香五月影院| WWW,五月| 婷婷丁香六月天| 国色天香伊人狠狠色| 久久婷婷激情五月天一区二区| 婷婷五月天情色| 伊人大香蕉爱聚| 五月丁香久久| 日本天天操| 99狠狠色| 婷婷五月天影院| 少妇人妻综合色6699| 久久国产性爱A V| 天堂中文国产| 99手机在线精品视频| 色色热日| 黄色AAAA韩国guochansanji| 日韩乱轮AV| 色婷婷丁香五月天| AA丁香综合激情| 日韩999| 在线视频99| www.日日夜夜.com| 色婷婷五月中文字幕在线dvd| 停停色综合伊人| 亚洲视频a| 亚洲国产成人在线| 综合性爱网| 伊人五月天97| 久久日九九| 99综合入口| 岛国在线观看91| 无码人妻少妇色欲AV一区二区| 思思久久99| 久久久中文| 人妻激情综合| www.99热视频| 九九色逼| 五月婷婷激情五月| 无码99| 日本丁香五月| 色色婷婷五月天| 五月丁香六月色| 99色免费观看全部| www..999热久| 久久精品性爱| 97人人超| 图片区 小说区 区 亚洲五月| 五月丁香在线| 99综合网| 国产肥白大熟妇BBBB视频| 荡乳尤物3HP1V5| 无码免费人妻A片AAA毛片西瓜| 99激情| 国产精品天天狠天天看| 夜夜嗨一区二区三区直播内容| 少妇大叫太大太粗太爽了A片| 色婷婷丁香五月| 激情五月综合网| 色婷婷电影| 国产精品国产成人国产三级| 亚洲乱码日产精品BD| 欧美三级巜人妻互换| 色爆五月| 六月五月天婷婷涩播在线| 国产性av| 久久久久久久,99精品视频| 亚洲中文AV| 色综合9| 嫩草视频观看| a在线观看| 婷婷五月激情的图片| 五月丁香综合网色欲| 日韩一区二区三区无码| 99er6热在线观看精品6| 久久99热这里只有精品| 日本操碰碰| 99视频只有精品| 色色色999| 国产露脸150部国语对白| 天天干在线播放| 爆乳熟女-区二区三区| 色九综合| 婷婷综合激情| 免费日韩99| 一区二区三区四区无码| 久久激情网| 成人网站在线观看视频| 亚洲人妻AV| 一二线视频 另类| 爱iii做iiii日日| 九九偷拍网| 超碰AV在线| 激情婷婷五六月天| 国产资源91在线| 婷婷的色色五月天| 五月激情婷婷六月| 91九色欧美| 91蜜桃婷婷狠狠久久综合9色| 成人日韩欧美| 五月婷综合激情| 欧洲不卡视频| 丁香激情六月天婷婷| 亚州操人在线视频| 99热9| 免费精品99| 婷婷九九色| 五月天婷婷操逼视频| 99色色热| va婷婷| 99操逼视频| 九九在线视频| 亚洲四色五月| 国庆精品久久| 丁香六月色婷婷| 人人操99| 4438亚洲欧美| 婷婷久久丁香五月| 日逼免费视频 | 九九综合88| 激情五月综合网| 人人色性网| 色色性爱视频| 五月婷婷性爱| 99热很操老逼| AV堂狠狠干| 五月天深爱激情网| 岛国AV网| 碰超在线九色| 深爱五月综合网| www.久久av.com| 精品久久久人妻| 在线免费视频caop| 色综合综合色| 这里只有精彩亚洲视频推荐| a网站免费观看| 99热在线观看成人| 丁香婷婷大香蕉| dingxiangtingtingliuyue| 综合色色婷婷| www九九免费视频| 久久婷婷色情7777网站| 五月丁香欧美综合| 国产亚洲色婷婷久久99精品91| 月丁香久久久| 丁香久久AV| 五月婷视频在线| 国产看真人毛片爱做A片| av在线免费网站 | 蜜桃成语时李时珍 免费| 日韩AV在线免费| 亚洲婷婷五月天综合| 人妻精品一区二区三区| 国产精品扒开腿做爽爽爽A片唱戏| 激情综合99| 色五月成人在线| 五月天综合激情网| 99re视频在线精品| 日韩成人五月天| 五月婷婷激情久久| 另类国产欧美视频| 丁香五月亭亭六月综合激情网| 丁香五月中文字幕色播| 日本三级99人妇网站| 99久在线视频| 久热这里只有精品6| 熟妇内谢69XXXXXA片| 欧美性猛交99久久久99| 六月婷婷久久大全| 人与禽A片啪啪| 五月婷亚洲精品AV天堂| 久久婷婷五月| 深夜婷婷 丁香| 天天综合网、天天综合色| 五月天另类小说| 亚洲网综合在线| 狠狠色丁香久久久婷| A久久| 丁香婷婷狠狠97| 天天做天天爱天天摸| 日本九九视频| 99视频啪啪| 五月激情婷婷色| 久久这里只有精品8| 97五月婷婷| 婷婷精品综合| 九久久婷婷| 六月丁香五月婷婷首页| 日日日日日| 91精品无码| 婷婷丁香六月天| 伊人天堂婷婷| 色婷五月| 国产精产国品一二三在观看| 天天爽在线视频| 91操片| 99热色婷婷| 啪到高潮激情丁香五月| 任你躁XXXXX麻豆精品| 天天插天天插天天日| 欧美在线操| 日本婷婷在线| 99这里只有精品| 九色综合网| www.狠狠狠.com| 五月激情综合网| www超碰| www九九| 色色综合热| 五月天激情无码专区| 欧美午夜乱妇午夜福利| 色婷婷综合五月| 99热这里只有精品8| 91人操| 123草逼网| 91啪啪网| 免费黄色AV| 成人中文字幕在线| 99热精品观看| 99久在线观看| 色五月婷婷操逼| 精品久久9| 1024国产| 91久久婷婷| 综合激情婷婷| 秋霞电影一级黄| 色婷婷激情| 五月丁香六月婷婷综合免| 国产精产国品一二三在观看| 激情六月五月婷婷综合网| 噼里啪啦完整版中文在线观看| 婷婷五月成人有| 亚洲va综合va国产va中文| 狠狠va| 欧美日韩二区在线| 五月丁香基地| 一区中文字幕电影| 天天插天天射| 四虎成人精品永久免费AV九九| 色五月激情综合网| 五月丁香婷婷无码中文| 97人人干| 婷婷丁香亚洲五月天| 丁香激情综合| 婷婷伊人网| 伊人玖玖婷婷| 另类天堂| 婷久看人爽| 丁香情色五月| 精品A√| 天堂爱啪啪| 亚洲中文字幕av| 欧洲激情网站| 亚洲 在线 另类| 99热这里只有精品最新网址| 3p久久| 五月丁香啪啪啪| 超碰在线91| 99精品国产在热久久| 先锋av性爱成人电影| 91人无码久久久久久| 激情无码网| 色五月激情综合网| 色五月激情五月| 这里只精品热在线18| 亚洲激情五月| 久久久久婷婷| 亚洲尤物在线| 婷婷五月激情五月丁香五月| 久久久久久久97| 色色自拍视频网站| 五月美女婷婷风骚| 天天插天天射| 久久婷婷六月| 狠狠色噜噜狠狠狠狠狠色综合久久| 色播五月婷婷| 久久五月天激情美女| 伊人久久丁香狠狠婷婷综合香蕉| 丁香五月天电影| 色婷婷香蕉| 亚洲精品无人区| 五月天伊人网| 五月丁香香蕉| 婷婷在线日韩综合| 亚洲黄色精品| 插少妇综合网| 伊人综合婷婷| 五月丁香激情综合| 色五XX| 色色五月丁香婷婷| 五月天大香蕉av| 无码99| 琪琪理论片| av人人操| 日本一级一级一级一级| 婷婷丁香五月天在线| 久久久性爱视频| 国产暴力强伦轩1区二区小说| 丁香五月中文字幕久色| 亚洲免费99| 亚洲日韩一页精品发布| 99热97| 97色色色视屏| 色婷婷亚洲在线观看| 97人妻碰碰中文无码久热丝袜| 天天爽天天做| 在线观看五月婷婷网| AV网址大全在| 成人片在线播放| 99亚洲精品视频| 99er国产| 9精品视频在线观看| 日本少妇裸体做爰高潮片| AVDV久久| 9999色色色色| 国产成人+综合亚洲+天堂| 夜色五月天| 97碰免费视频在线| 五月天婷婷高清无码| 四色永久成人网站| 99在线爽| 婷婷综合久久| 99热资源在线| 婷婷丁香五月噜噜噜| 五月婷婷六月天| 丁香五月激情五月色综合| 婷婷六月激情| 五月丁香香蕉| 婷婷久久六月天| 一级黄色影片| 亚洲免费在线观看岛国| 风流少妇A片一区二区蜜桃| 操97免费超级视频| 亚洲va欧美va国产综合久久久| 日本老女人黄页在线播放| 婷婷五月天首页激情| 五月丁香啪| 99九九99九九九视频精彩| 九九热视频免费的| 日本的α片xxxwww| 久热 91| 色婷婷精品视频在线播放| 能看的av| 一区二区免费看| 五月天色婷婷伊人网| 久久久久亚洲A∨成人乱码电影| 新激情婷婷| 色五月婷婷网| 伊人婷婷综合| 婷婷开心五月| 久热这里只有精品66| 99 热| 日本一级一片免费视频| 91综合网| 无码碰碰| 亚洲精品又粗又大又爽A片| 久久综合性| 激情六月丁| 这里只有精品视频一区| 色五月婷婷激情综合网| 久久婷婷综合基地| 亚洲色婷婷久久99精品91| www.色五月| 日日夜夜爽| 亚洲AAAA网| wwW天天干| av在线观看免费| 狠狠干在线| 日本高清不卡免费一区二区三区| 91人人人人人| 五月天激情综合网| 五月丁香六月婷婷啪啪| 久久九区| 综合色五月| 99人妻碰碰碰久久久久视| 79精品视频| 六月婷婷亚洲| 99热骚货| 2w在线视频| www婷婷色情网| 九九热视频首页/这里只有精品| 亚洲操逼网| caop在线| 亚洲不卡| 网色99| 婷婷五月综合社区| 色噜噜97视频在线观看| 六月色激情| 婷婷综合另类| 狠狠色婷婷丁香五月| 狠狠插.com| 婷婷色五月综合| 国产美女无遮挡裸体毛片A片| 丁香五月综合| 久久激情综合| 嫩草AV久久伊人妇女超级A | 99精品在线播放| www.99热在线观看| 一区二区乱码视频| 站长推荐无码播放| 999婷婷综合| 97丁香婷婷| 97人妻碰碰中文无码久热丝袜| 久久久精品AV| 99热亚洲精品| 综合狠狠干| 九久9精品| 成人日韩欧美| 久久丁香五月天| 久草热在线视频| 丁香五月激情综合| 亚洲妇女熟BBW| 屁股翘好撅高迎合跪趴| 久久艹 五月天| 操B无码视频国语| 亚洲AV成人在线观看| 色天使久久综合| 日韩AV在线免费| 香蕉中文在线| 91丨九色丨熟女|老版| 伊人狠狠丁香婷婷综合尤物| 国产精品色婷婷99久久精品| 影音先锋一区| 久久只有这里精品免费| 精品一区二区三区四区五区六区介绍| 天天上天天爽| 嫩草国产| 婷婷综合亚洲| www色色com| www.激情.com.| 五月婷婷 欧美| 色黑鬼导航| 丁香六月激情综合网| 六月丁香综合网| Www.婷婷五月| 狠狠色综合网站久久久久| 激情婷婷五月社区| 日韩欧美成人片| 伊人干综合| 六月婷婷激情| 亚洲成人AV高清字幕| 亚洲成人AV一区在线观看| 九九激情视频| 大香蕉狠狠爱主页| 婷久久| 日韩啪啪视频| 久久综合网免费视频| 久久这里只有精品16| 婷婷五月天电影区小说区| 色欧美影院| 五月天激情图片| 爽tv | 人操91在线| 丁香五月777| 亚洲小视频免费播放| 天天爽天天弄| 五月丁香六月婷婷视频| 五月五婷婷| 精品人人操| 大香蕉综合网| 久久这里只有精品视频15| 狠狠 久久| 婷婷午夜精品久久久| 99热 免费| 久久精品亚洲一级牲爱综合| 超碰资源在线| 天天爽天天爽| 国产熟妇乱子伦hd| 亚州色综合| 丁香六月婷婷综情欧美| 五月天精品综合在线| 五月天婷婷免费视频| 欧洲色| 91人久| 香蕉伊人综合| wuyuedingxiang99| 热热久久99| 五月婷婷中文字幕| 亚洲六月综合激情久久下卡| 99视频久久久| aaaaaa片| 99视频在线观看网址| 婷婷中文字幕| Av中文在线| 色五月婷婷操逼| 丁香五月婷婷亚洲综合精品在线| 人妻久久久久久久| 激情小说婷婷| 91碰碰视频在线观看| 久久新地址| 99热这里只有精品1998| 久草视频一,二三四| 嫩草AV久久伊人妇女超级A| 一本九九色| 日韩 欧美 国产 一区 二区| 日本社区五月天激情| 亚洲色热| 亚洲殴洲精品Av在线| 婷婷大香蕉| 开心激情网五月| 99热国产| 五月丁香六月婷婷的女人| 涩综合在线 | 五月婷庭丁香在线| 五月丁香六月婷婷姐| 国产毛多水多女人A片| 一区三区视频有限公司| 婷婷在线操| 婷婷五月天在线观看免费 | 人人干人人看| 五月丁香在线| 99久久精品国产色欲| 影音先锋激情网| 91色吧网| 五月丁香亚州综合网| 九九热a| 久久国产色| 国产欧美精品AAAAAA片| 丁香五月欧美激情| 日本va欧美va欧美va| 日日干日日| 激情爱爱网站超大免费| 婷婷五月天激情影片| 天天插天天插天天插天天插 | 亚洲精品又粗又大又爽A片| 乱码操操| 五月天婷婷在线AN| 日本熟妇乱妇熟色A片蜜桃| 99操久久| 丁香五月天论坛| 久久综合激情| 婷婷六月天天| 亚洲第一第二网站| 四川女人毛多水多A片| 猫咪伊人久久| 激情深爱综合网| 99精品国产乱码久久久人妻| 亚洲综合1024| 亚洲 无码 中文字幕 中出| 婷婷99狠狠| 五月婷婷导航| 永久AⅤ1| 99热精品在线| 五月天婷婷网站888| 玖玖资源站中文| 国产精品激情AV久久久青桔| 99这里是99在线视频| 9九色首页| 香蕉99网| 天天综合天天玩夜夜玩天天玩夜夜玩| 色播五月婷婷| 亚洲一区国产传媒| www.99热视频| 91欧美日韩| 狠狠干青青草| 在线另类| 99久久99视频只有精品| 91无码视频| 日韩黄色AV无码| 五月综合六月婷婷| 中文字幕按摩做爰| 99热色无码| 亚洲愉拍99热成人精品| 2016日日夜夜操| 婷婷五月激情五月激情| 婷婷五月激情四射手| 欧美五月丁香在线观看| 丁香色五月 97干| 粉嫩av懂色av蜜臀av熟妇| 思思热视频在线观看| 日韩AV免费| 狠狠干青青草| 亚洲国产精品二二三三区| 最新午夜理论片| 五月丁香啪啪综合| 999婷婷综合| 4399人妻无码久久久| 91丨九色熟女丨首页| 思思精品热在线| 亚洲无AV在线中文字幕| 人人操Av| 丁香婷婷色五月| 99热只有精品在线播放| 婷婷成人视频| 九九無碼| 丁香色五月天| 六月丁香婷婷视频综合在线观看| 国产67194| 久久99婷婷| 色婷婷色99国产综合精品| 综合激情sV| 丁香五月六月综合欧美| 久久激情婷婷| 婷婷丁香五月高清| 七七久久婷婷| 婷婷五月花西瓜| 婷婷丁香黄色| 天天干狠狠| 五月婷婷狠狠久久| 爱婷婷都市激情| 久久视频婷婷| 热五月婷婷| 人人操人人操919999| 久操激情| 97碰在线| 久久xxxx| 婷婷五月色播网| 99热国产这里只有精品| 丁香婷婷性爱| 99热99在线| 99精品这里只有免费视频| 五月丁香六月天| 久久与婷婷| 国产SUV精品一区二区883| 丁香五月婷婷天激情| 99视频热99| 99热6色| 免费成片在线观看| 秋霞AV淫| 色综合区| 伊人五月天| 色播五月丁香综合| 婷婷五月天免费99| 91色情播放| 大香蕉人人人| 97人人操人人| 五月天久久婷婷| 成人av免费观看| 亚洲五月丁| WWW.桔色成人.COM| 六月婷婷激情小说网| 久久33视频| 九九热精品| 久久久久久久97| 丁香婷婷大香蕉| 日本精品。999| 丁香五月伊人| 亚洲热视频| 欧美、日韩、中文、制服、人妻| 97久久草草超级碰碰碰| 丁香五月婷婷狠狠色| 五月天激情网站| 婷婷五月丁香伊人网| 久久精品日| 丁香五月综合| 六月婷婷俺也去| 牛色色碰| 深爱五月激情| 五月色婷婷中文字幕| 五月丁香婷婷啪啪| 五月丁香六月香综合激情| 五月丁香少妇| 色情成人五月天| 伍月婷婷六月丁香| www.yw色| 五月天婷婷综合| 夜夜骑福利资源| 99九九在线视频| 99热久| 99久久99热这里只有精品| 天天艹| 九九热在线99| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 全亚洲最大的婷婷五月天网站COM| 三男玩一女三A片| 婷婷五月天激情基地| 九洲一级A片| 精品夜夜澡人妻无码AV| 五月花综合视频| 成人免费在线电影| 日韩啪啪视频| 夜夜干夜夜操| 开心婷婷五月天综合| 五月丁香亭亭电影久久| 五月天天天天天天天天天天天婷婷婷| 激情视频婷婷五月花| 色婷婷狠狠久久综合五月| 五月天色综合| 色综合色综合色综合高潮| 9 9 9色色| 色色com| 五月天影院| 91操碰| 五月婷婷综合成人| 大香蕉人妻| 五月婷六月丁香| 精品99在线看| 2018夜夜草| 中文AV在线观看| 九九综合精品| 五月婷婷9| 播播网色播播| www.婷婷.com| 亚洲丁香婷婷五月天综合色| 久久婷婷五月综合色丁香花| 五月玖玖| 天插天啪天啪天啪| 激情性爱五月天| 欧美一级a| 99婷婷| 丁香五月婷婷色| 婷婷激情五月综合| 91色久| 骚货艹网站视频| 1024手机在线观看看片_日韩精品| 五月丁香综合| 丁香 亚洲 久久| 伊人久久婷婷五月天激情四射| 欧美在线看| 伊人九九68| 另类专区在线观看| 色停停五月,在线观看| 欧美在线骚货| 色五月天丁香婷婷| 婷婷综合性爱网| 第五色婷婷| 99热精品中文字幕| 激情婷婷五月天网址| 伊人网碰碰| 精品99*| 国产成人网址| 日本九九网| 欧美视频在线观看噜噜| 五月天激情小说| 亚洲成人中文字幕| 五月婷婷色欲| 五月丁香综合| 激情欧美五月丁香| 99热这里只有精品23| 狠狠色婷婷777| 99久久.www| 射婷婷中文字幕| 五月天婷婷社区| 激情综合国产| 亚洲成人噜噜| 丁香五月激情婷婷激情| 色色色色色色色色五月先| 五月婷婷影视| 婷婷五月18永久免费视频| 丁香五月在线伊人| 一级精品999WWW| 久久久久久久五月| 亚洲网站观看视频| 狠狠色噜噜狠狠狠狠综合| 激情久久久久久久久久| 久狠日av| 婷婷瑟五月天久久综合| 玖玖在线视频| 超碰99热精品| 婷婷伊人綜合| 超碰婷婷五月| 丁香五月天视频| 国产精品成人AV在线| 五月婷婷啪啪网| 操逼福利视频| 久久久色婷婷五月天| 亚洲午夜av| 91在线操| 丁香婷婷五月人体| 99A片| 婷婷五月丁香五月| 五月婷色| 色婷婷先锋| 亚洲久久激情| 伊人深爱综合| 五月开心激情网| 狠狠搞综合色| 九九热10| 久久黄色免费视频| 激情婷婷丁香五月天小说| 激情性爱五月天| 肏屄色播伊人97婷婷| 看逼中文字幕| 欧美日韩国产一二区| 国产黄色在线观看| www.99热| 六月婷婷色综合| 在线中文字幕av| 国产免费AV在线| 婷丁香五月天| 色婷婷日本| 五月欧美丁香在线观看| 99re思思热久久| 99热在线免费| 噜噜色噜噜网| 天天爽天天摸人妻综合网| 九九在线免费观看| 婷婷丁香五| 九九爱这里只有精品| 亚洲 精品 综合 精品| 婷婷色五月激情| 5月婷婷6月丁香aV| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 激情综合网 激情五月天| 伊人五月人妻精品| 3p日韩网站视频| 五月天婷婷久色| 五月丁香狠狠爱婷婷综合| 天天日,夜夜爽| 天天 青草 丝袜制服 在线| 亚洲性色XXXXX| 五月丁香六月情亚洲| 欧美熟女乱又伦| 久久 这里只有精品1| 五月婷婷啪啪网| 五月天激情开心网| www.热99热| 99操逼| 五月综合无码| 精品人妻一区二区| 色五月天电影| 久久婷婷五月综合伊人| 国产在线黄色| 激情亚洲网| 欧美色频| 人妻丰满精品一区二区A片| 国产日产亚系列精品版优势| 久久小说网| 这里只有精品96| a免费在线| 婷婷色狠狠| 婷婷激情四射五月天| 五月间天堂综合| 人人草碰| 91互操| 99热99色| 亚洲中文无码成人| 色婷婷婷婷成人网| 日本特黄aaaaa|