欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

GAIN缺失值填補(bǔ)實(shí)戰(zhàn):基于TensorFlow的生成對(duì)抗網(wǎng)絡(luò)完整實(shí)現(xiàn)與調(diào)優(yōu)

GAIN缺失值填補(bǔ)實(shí)戰(zhàn):基于TensorFlow的生成對(duì)抗網(wǎng)絡(luò)完整實(shí)現(xiàn)與調(diào)優(yōu) 簡(jiǎn)介基于生成對(duì)抗網(wǎng)絡(luò)的缺失數(shù)據(jù)填補(bǔ)方法完整實(shí)現(xiàn)面向機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等方向的開發(fā)者與研究者適用金融、醫(yī)療、傳感等多領(lǐng)域數(shù)據(jù)預(yù)處理場(chǎng)景。以TensorFlow作為后端深度學(xué)習(xí)框架實(shí)現(xiàn)了GAIN、SGAIN、WSGAIN-CP、WSGAIN-GP四種主流對(duì)抗填補(bǔ)模型完整代碼與十個(gè)標(biāo)準(zhǔn)評(píng)估數(shù)據(jù)集一同打包在6.72MB的zip壓縮包內(nèi)。壓縮包共28個(gè)文件除7個(gè)Python源碼文件分別承擔(dān)模型構(gòu)建、訓(xùn)練流程與數(shù)據(jù)裝載外還包含10個(gè)CSV格式的數(shù)據(jù)集、XML工程配置文件、說明文檔以及緩存文件目錄劃分清晰便于直接運(yùn)行、修改與二次開發(fā)。目前已有1778人學(xué)習(xí)下載特別適合需要對(duì)比不同對(duì)抗填補(bǔ)機(jī)制、完成論文復(fù)現(xiàn)或課程設(shè)計(jì)的研究者使用。從說明文檔、主程序到模型定義用戶可快速定位入口基于自帶數(shù)據(jù)進(jìn)行實(shí)驗(yàn)也可替換自有數(shù)據(jù)集開展驗(yàn)證。 做數(shù)據(jù)分析和機(jī)器學(xué)習(xí)建模的人大概率都躲不過數(shù)據(jù)處理這個(gè)坎。尤其是拿到一批數(shù)據(jù)發(fā)現(xiàn)里面不是這里空一塊、就是那里缺一截這時(shí)候最簡(jiǎn)單的辦法是刪行或者用均值填一下但稍微有點(diǎn)追求的人都會(huì)猶豫刪掉太浪費(fèi)均值填補(bǔ)又太粗暴萬一把變量之間的關(guān)系搞壞了后面的模型效果直接崩。這幾年我一直在折騰各種缺失數(shù)據(jù)填補(bǔ)方案從統(tǒng)計(jì)插補(bǔ)到多重插補(bǔ)都用過直到接觸到基于生成對(duì)抗網(wǎng)絡(luò)的缺失數(shù)據(jù)填補(bǔ)方法GAIN才發(fā)現(xiàn)原來這個(gè)老問題還能用生成模型來解而且效果確實(shí)能打。GAIN全稱是Generative Adversarial Imputation Nets最早由Jinsung Yoon等人提出本質(zhì)上是把生成對(duì)抗網(wǎng)絡(luò)的思想遷移到缺失值補(bǔ)全場(chǎng)景中。我用TensorFlow復(fù)現(xiàn)了一遍完整版本跑通了訓(xùn)練、評(píng)估到落地應(yīng)用的整套流程過程中踩了不少坑也積累了一些經(jīng)驗(yàn)。這篇文章就把整個(gè)實(shí)現(xiàn)思路、關(guān)鍵代碼、訓(xùn)練細(xì)節(jié)和排查技巧完整記錄下來想折騰缺失數(shù)據(jù)填補(bǔ)的朋友可以直接參考這版實(shí)現(xiàn)去改。1. 內(nèi)容整體設(shè)計(jì)與思路拆解1.1 為什么普通填補(bǔ)方法不夠用偏偏要上生成對(duì)抗網(wǎng)絡(luò)先聊一個(gè)最基礎(chǔ)的問題為什么均值填補(bǔ)、中位數(shù)填補(bǔ)、前向填充這些方法不夠用不是說它們完全不行而是它們有一個(gè)共同的致命弱點(diǎn)——沒有充分挖掘特征之間的關(guān)聯(lián)關(guān)系。比如一個(gè)用戶表里年齡和收入有相關(guān)性如果只拿全局均值去填缺失的年齡等于把這種相關(guān)性抹掉了模型后續(xù)學(xué)到的模式就會(huì)變形。多重插補(bǔ)MICE好一些能利用其他特征去預(yù)測(cè)缺失值但它本質(zhì)是回歸思路對(duì)特征間復(fù)雜的高維非線性關(guān)系捕捉能力有限。而生成對(duì)抗網(wǎng)絡(luò)的思路完全不一樣。它不直接預(yù)測(cè)缺失值而是讓一個(gè)生成器去學(xué)著造假數(shù)據(jù)另一個(gè)判別器去分辨哪些是觀測(cè)數(shù)據(jù)、哪些是填補(bǔ)數(shù)據(jù)兩邊互相博弈、互相進(jìn)步。放到缺失數(shù)據(jù)填補(bǔ)這個(gè)場(chǎng)景里生成器拿到的任務(wù)是針對(duì)缺失的位置生成盡可能真實(shí)的數(shù)值騙過判別器。判別器不僅要判斷整個(gè)樣本是否真實(shí)更關(guān)鍵的是要學(xué)會(huì)判斷哪個(gè)位置的值是被填出來的。兩邊的博弈結(jié)果就是生成器被迫學(xué)習(xí)到了整個(gè)數(shù)據(jù)集的分布規(guī)律填出來的值自然比簡(jiǎn)單插補(bǔ)更符合特征間的關(guān)系。1.2 GAIN的核心結(jié)構(gòu)拆解生成器、判別器和提示機(jī)制GAIN和普通GAN最大的區(qū)別在于它的數(shù)據(jù)形態(tài)和博弈方式都有調(diào)整。標(biāo)準(zhǔn)GAN處理的是圖像那種完整數(shù)據(jù)而GAIN面對(duì)的是帶缺失的表格數(shù)據(jù)。它的整體結(jié)構(gòu)包含三個(gè)關(guān)鍵組成部分生成器Generator、判別器Discriminator還有一個(gè)很多人第一次看容易忽略的提示機(jī)制Hint Mechanism。生成器接收兩部分輸入一部分是帶有缺失值的數(shù)據(jù)缺失位置先用0或者其他占位值填充另一部分是隨機(jī)噪聲向量用于給生成過程引入隨機(jī)性。生成器的輸出是一個(gè)完整的填補(bǔ)后數(shù)據(jù)但只對(duì)缺失位置的數(shù)值生效。判別器接收的是生成器補(bǔ)全后的完整數(shù)據(jù)以及提示向量輸出的是一個(gè)掩碼預(yù)測(cè)結(jié)果——也就是說它要判斷數(shù)據(jù)中每個(gè)位置的值到底是真實(shí)觀測(cè)值還是被生成的填補(bǔ)值。提示機(jī)制是GAIN的精髓所在。它按一定概率把真實(shí)的掩碼信息泄露給判別器這樣判別器才能在訓(xùn)練初期有足夠的信息去區(qū)分真假。如果沒有提示機(jī)制判別器幾乎無法判斷哪些值是真實(shí)觀測(cè)值訓(xùn)練過程容易失控。實(shí)現(xiàn)中提示向量的生成邏輯是每個(gè)缺失位置按概率保留真實(shí)掩碼值1表示缺失0表示觀測(cè)其余位置用0.5填充作為模糊信號(hào)。這個(gè)設(shè)計(jì)初看不復(fù)雜實(shí)際訓(xùn)練中卻直接影響收斂速度和最終填補(bǔ)質(zhì)量后面我會(huì)詳細(xì)說參數(shù)怎么調(diào)。1.3 為什么瞄準(zhǔn)TensorFlow版本做完整實(shí)現(xiàn)現(xiàn)在說起深度學(xué)習(xí)框架PyTorch和TensorFlow的討論度都很高各有各的生態(tài)。我這次選擇TensorFlow版本首要原因是GAIN原版論文就是基于TensorFlow實(shí)現(xiàn)的官方代碼也是TF架構(gòu)直接還原TensorFlow版本更容易和原論文的參數(shù)設(shè)置對(duì)齊。另一個(gè)原因是TensorFlow在部署環(huán)節(jié)確實(shí)方便訓(xùn)練好之后導(dǎo)成SavedModel或者用TensorFlow Serving提供服務(wù)都不用額外做框架轉(zhuǎn)換。我在網(wǎng)上搜了一圈發(fā)現(xiàn)GAIN的TensorFlow實(shí)現(xiàn)雖然能搜到但很多是搬運(yùn)的論文附帶的壓縮包注釋少、結(jié)構(gòu)亂版本還停留在TF 1.x。用的時(shí)候一堆兼容性問題光是tf.contrib這塊就勸退不少人。我當(dāng)時(shí)想索性自己按TF 2.x的習(xí)慣寫一版完整的動(dòng)態(tài)圖模式下調(diào)試直觀得多控制流也不用繞來繞去。keras API配合自定義訓(xùn)練循環(huán)既能看清每一步的梯度流向也方便調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)。這版實(shí)現(xiàn)我后面用幾個(gè)UCI標(biāo)準(zhǔn)數(shù)據(jù)集和一份業(yè)務(wù)部門的真實(shí)脫敏數(shù)據(jù)做了驗(yàn)證填補(bǔ)效果和穩(wěn)定性都達(dá)到了可用的水平。2. 環(huán)境準(zhǔn)備與工具選型解析2.1 Anaconda安裝與TensorFlow環(huán)境配置要點(diǎn)真正動(dòng)手寫代碼前環(huán)境是最容易消耗熱情的環(huán)節(jié)。我見過很多人在這一步被各種版本兼容問題勸退尤其是TensorFlow這貨版本之間的API變動(dòng)非常大。第三個(gè)版本之前的代碼遷移到2.x常有大量報(bào)錯(cuò)更別說那些年tf.contrib說沒就沒的情況了。關(guān)于Anaconda安裝TensorFlow的實(shí)操我的建議是創(chuàng)建一個(gè)干凈的獨(dú)立環(huán)境不要直接裝在base環(huán)境里。用conda管理環(huán)境的好處是可以鎖定Python版本和依賴的版本范圍不同項(xiàng)目互不干擾。我常用的創(chuàng)建命令是conda create -n tf_gain python3.8 conda activate tf_gain pip install tensorflow2.10這里要特別說一句版本選擇的門道TensorFlow 2.10是最后一個(gè)原生支持Windows GPU的版本之后的版本在Windows下裝GPU版得靠WSL2很多人第一次裝不知道這個(gè)兼容坑。如果是Linux環(huán)境可以放心裝更高版本2.10以上對(duì)Windows用戶就不太順了。CPU版本訓(xùn)練小數(shù)據(jù)集問題不大但如果數(shù)據(jù)量上去、隱藏層節(jié)點(diǎn)加多建議還是整個(gè)GPU版本。再補(bǔ)一個(gè)Anaconda安裝時(shí)的經(jīng)驗(yàn)conda默認(rèn)的軟件源在國(guó)內(nèi)環(huán)境下往往下載速度感人建議先把conda源和pip源換成清華的鏡像不然下載一個(gè)幾百兆的包要等半天。這個(gè)操作屬于老生常談但確實(shí)能幫后面省出大量時(shí)間。2.2 版本兼容矩陣TensorFlow 2.x的API差異盤點(diǎn)這次實(shí)現(xiàn)里我主要用到了TensorFlow 2.x的幾個(gè)核心API和網(wǎng)上流傳的非官方1.x版本實(shí)現(xiàn)有不小的差別。具體包括用tf.keras.Sequential或者函數(shù)式API堆疊網(wǎng)絡(luò)結(jié)構(gòu)替代了1.x里繁瑣的tf.variable_scope加手工初始化參數(shù)的操作用tf.GradientTape記錄梯度并完成反向傳播替代了tf.Session.run配合feed_dict的方式tf.compat.v1作為兼容層用來處理個(gè)別1.x風(fēng)格的既有代碼。寫的時(shí)候要特別小心幾個(gè)版本的坑tf.contrib在2.x里已經(jīng)被徹底移除很多老代碼里的tf.contrib.layers相關(guān)調(diào)用必須改寫成tf.keras.layerstf.placeholder在動(dòng)態(tài)圖模式下也不需要了直接定義好輸入張量就能前向傳播tf.losses系列函數(shù)的位置也變了用tf.keras.losses更穩(wěn)。我建議安裝時(shí)直接定下版本不要裝最新版因?yàn)樽钚掳嫱殡S新特性但也會(huì)引入潛在的不穩(wěn)定因素。生產(chǎn)環(huán)境里穩(wěn)定壓倒一切選一個(gè)經(jīng)過廣泛驗(yàn)證的版本比追新更重要。TensorFlow 2.10配Python 3.8這組搭配我跑下來非常穩(wěn)定整個(gè)訓(xùn)練過程沒有遇到莫名其妙的底層報(bào)錯(cuò)。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)3.1 數(shù)據(jù)預(yù)處理標(biāo)準(zhǔn)化和掩碼矩陣的構(gòu)造邏輯GAIN對(duì)輸入數(shù)據(jù)有一個(gè)硬性要求所有特征需要預(yù)先做歸一化處理我習(xí)慣用最小最大歸一化把數(shù)值壓到0到1之間。這樣做有多個(gè)好處生成器的激活函數(shù)通常選tanh或者sigmoid輸出范圍天然匹配判別器對(duì)輸入尺度敏感范圍一致可以避免某些特征值過大導(dǎo)致梯度震蕩歸一化后缺失位置用0填充也不會(huì)引入極端值干擾。數(shù)據(jù)預(yù)處理的第二個(gè)關(guān)鍵是構(gòu)造掩碼矩陣Mask Matrix。這個(gè)矩陣和原始數(shù)據(jù)形狀一致觀測(cè)位置值為1缺失位置值為0。這里有個(gè)容易搞反的點(diǎn)要先理清楚原論文掩碼矩陣是1表示觀測(cè)0表示缺失而后面提示機(jī)制生成的向量又是另一套邏輯。代碼里這兩處我特別加了注釋防止自己和看代碼的人繞暈。構(gòu)造掩碼矩陣的代碼如下def create_mask(data): mask np.ones_like(data) mask[np.isnan(data)] 0 data[np.isnan(data)] 0 return data, mask實(shí)際操作時(shí)一定要在標(biāo)準(zhǔn)化之前把NaN標(biāo)記單獨(dú)提取出來不能先標(biāo)準(zhǔn)化再判斷缺失。因?yàn)闃?biāo)準(zhǔn)化過程用到的均值和方差本身就會(huì)受到缺失值影響處理順序錯(cuò)了結(jié)果會(huì)有偏差。3.2 生成器與判別器結(jié)構(gòu)設(shè)計(jì)的經(jīng)驗(yàn)之談網(wǎng)絡(luò)結(jié)構(gòu)這塊我看過很多GAIN口徑的實(shí)現(xiàn)隱藏層設(shè)置五花八門。有的把生成器和判別器都設(shè)計(jì)得特別龐大隱藏層節(jié)點(diǎn)數(shù)上千實(shí)際效果反而不如小而精的結(jié)構(gòu)。原論文里使用的隱藏層節(jié)點(diǎn)數(shù)建議是數(shù)據(jù)維度的一到兩倍左右我驗(yàn)證下來這個(gè)經(jīng)驗(yàn)值比較靠譜。比如數(shù)據(jù)維度是22隱藏層設(shè)置為128節(jié)點(diǎn)表現(xiàn)就已經(jīng)不錯(cuò)加到256收益有限但訓(xùn)練開銷漲了一截。激活函數(shù)方面生成器中間隱藏層我用ReLU輸出層用Sigmoid配合數(shù)據(jù)范圍0-1判別器中間層同樣用ReLU最后輸出用Sigmoid因?yàn)槊總€(gè)位置輸出的都是一類概率值。有個(gè)經(jīng)驗(yàn)值得單獨(dú)拿出來說生成器的輸入除了帶缺失的數(shù)據(jù)和隨機(jī)噪聲我建議再加上一個(gè)拼接的輔助特征比如逐樣本的缺失比例或者缺失模式編號(hào)。這樣生成器能感知到不同樣本缺失嚴(yán)重程度的差異對(duì)重度缺失樣本的填補(bǔ)效果有肉眼可見的提升。這個(gè)小改動(dòng)原論文里沒有直接提到但我在實(shí)際訓(xùn)練中對(duì)比過加上之后判別器的loss收斂更平穩(wěn)。網(wǎng)絡(luò)搭建的代碼核心結(jié)構(gòu)如下def build_generator(dim, hidden_units128): inputs tf.keras.Input(shape(dim * 2,)) x tf.keras.layers.Dense(hidden_units, activationrelu)(inputs) x tf.keras.layers.Dense(hidden_units, activationrelu)(x) x tf.keras.layers.Dense(dim, activationsigmoid)(x) return tf.keras.Model(inputs, x) def build_discriminator(dim, hidden_units128): inputs tf.keras.Input(shape(dim * 2,)) x tf.keras.layers.Dense(hidden_units, activationrelu)(inputs) x tf.keras.layers.Dense(hidden_units, activationrelu)(x) x tf.keras.layers.Dense(dim, activationsigmoid)(x) return tf.keras.Model(inputs, x)這里生成器輸入維度是dim * 2分別是拼接后的帶缺失數(shù)據(jù)和隨機(jī)噪聲。判別器輸入維度同樣是dim * 2是拼接后的填充數(shù)據(jù)和提示向量。網(wǎng)絡(luò)結(jié)構(gòu)不算復(fù)雜真正的技術(shù)含量在損失函數(shù)設(shè)計(jì)和訓(xùn)練循環(huán)的編寫上。3.3 損失函數(shù)詳解Hinge Loss和提示機(jī)制的配合GAIN的訓(xùn)練過程看似是兩個(gè)網(wǎng)絡(luò)在對(duì)抗實(shí)際損失函數(shù)的設(shè)計(jì)非常講究。判別器輸出的不是單個(gè)真假概率而是一個(gè)和特征維度相同的向量每個(gè)元素表示對(duì)應(yīng)特征位置的值是不是被填補(bǔ)過的概率。這樣設(shè)計(jì)的原因很明顯GAIN的目標(biāo)不只是判斷樣本整體真?zhèn)味且?xì)到判斷哪些位置是偽造的。損失函數(shù)這塊我用的是Hinge Loss的變體形式。生成器的目標(biāo)是最小化判別器對(duì)填補(bǔ)位置的預(yù)測(cè)概率等價(jià)于讓判別器盡可能認(rèn)為所有位置都是真實(shí)觀測(cè)值。判別器的目標(biāo)則是最小化它對(duì)真實(shí)觀測(cè)位置和填補(bǔ)位置的分類誤差即正確地區(qū)分哪些位置被生成器動(dòng)了手腳。具體的損失計(jì)算邏輯如下def compute_loss(D_pred, G_pred, mask, hint_rate): # D_pred是判別器輸出形狀(B, dim) # G_pred是生成器輸出形狀(B, dim) # mask是掩碼矩陣1表示觀測(cè)0表示缺失 # 缺失位置權(quán)重設(shè)置為1觀測(cè)位置權(quán)重降低 missing_w 1.0 observed_w 1.0 / hint_rate # 判別器對(duì)缺失位置的預(yù)測(cè)越接近0越好真實(shí)位置的可能性低 D_loss -tf.reduce_mean( missing_w * mask * tf.math.log(D_pred 1e-8) observed_w * (1 - mask) * tf.math.log(1 - D_pred 1e-8) ) # 生成器要讓判別器對(duì)缺失位置也認(rèn)為是真實(shí)位置 G_loss -tf.reduce_mean( (1 - mask) * tf.math.log(D_pred 1e-8) ) return D_loss, G_loss注意到這里的權(quán)重設(shè)置沒有observed_w設(shè)成了1.0 / hint_rate目的就是調(diào)節(jié)判別器對(duì)真實(shí)觀測(cè)位置和填補(bǔ)位置的關(guān)注度。hint_rate接近1時(shí)判別器看到的大多是真實(shí)的掩碼信息它就可以非常明確地判斷缺失的位置訓(xùn)練啟動(dòng)快hint_rate較小時(shí)判別器拿到的提示信息少任務(wù)難度增加生成器的壓力反而小了。這樣一個(gè)對(duì)抗過程的結(jié)果是生成器隨著訓(xùn)練進(jìn)行逐漸學(xué)會(huì)生成與真實(shí)觀測(cè)值統(tǒng)計(jì)特征一致的填補(bǔ)值不僅單個(gè)特征分布接近特征間的聯(lián)合分布也能在博弈中保留下來。3.4 提示機(jī)制的參數(shù)選擇原則關(guān)于hint_rate這個(gè)參數(shù)我在實(shí)驗(yàn)里試過從0.5到1.0的多個(gè)值發(fā)現(xiàn)它對(duì)訓(xùn)練結(jié)果的影響不是線性的。hint_rate太高比如0.95以上判別器太容易判斷出哪些是填的梯度對(duì)生成器的指導(dǎo)價(jià)值反而減弱生成器學(xué)到的只是表面規(guī)律hint_rate太低比如0.5以下判別器長(zhǎng)期難以收斂生成器也得不到有效反饋整個(gè)對(duì)抗過程處于僵持狀態(tài)。原論文里的默認(rèn)值是0.9這是一個(gè)比較安全的起點(diǎn)但我實(shí)際用下來發(fā)現(xiàn)具體數(shù)據(jù)集的缺失模式也會(huì)影響最優(yōu)值。如果數(shù)據(jù)缺失完全是隨機(jī)缺失MCAR0.9效果很好如果缺失跟特征本身有關(guān)MNAR建議降到0.8左右給判別器一點(diǎn)模糊空間反而能讓生成器探索到更深層的分布規(guī)律。實(shí)現(xiàn)提示向量生成的代碼如下def generate_hint(mask, hint_rate): hint mask.copy() prob np.random.rand(*mask.shape) hint[prob hint_rate] 0.5 return hint4. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)4.1 完整訓(xùn)練循環(huán)的搭建與說明GAIN的訓(xùn)練流程可以用一句話概括交替更新生成器和判別器讓兩個(gè)網(wǎng)絡(luò)在對(duì)抗中共同進(jìn)步。但落實(shí)到代碼要處理的細(xì)節(jié)其實(shí)挺多包括數(shù)據(jù)分批、梯度累積、loss記錄等。我這份實(shí)現(xiàn)采用批量訓(xùn)練的方式每輪迭代從訓(xùn)練集中采樣一個(gè)小批量樣本依次完成正向傳播、計(jì)算損失、反向傳播、更新參數(shù)。生成器和判別器的更新頻率可以1比1也可以2比1論文里沒明確說我測(cè)試后覺得1比1最穩(wěn)不然容易出現(xiàn)一方壓倒另一方的情況。訓(xùn)練循環(huán)的核心代碼如下# 訓(xùn)練參數(shù) batch_size 128 epochs 2000 learning_rate 1e-3 # 初始化優(yōu)化器 G_optimizer tf.keras.optimizers.Adam(learning_rate) D_optimizer tf.keras.optimizers.Adam(learning_rate) for epoch in range(epochs): for batch_start in range(0, len(data_normalized), batch_size): batch_end min(batch_start batch_size, len(data_normalized)) x_batch data_normalized[batch_start:batch_end] m_batch mask_matrix[batch_start:batch_end] # 生成提示向量 h_batch generate_hint(m_batch, hint_rate0.9) with tf.GradientTape() as tape_G, tf.GradientTape() as tape_D: # 拼接數(shù)據(jù)和噪聲 z_batch np.random.uniform(0, 1, sizex_batch.shape) G_input np.concatenate([x_batch, z_batch], axis1) # 生成器前向傳播 G_output generator(G_input, trainingTrue) # 只取缺失位置的生成值 filled_data x_batch * m_batch G_output * (1 - m_batch) # 判別器輸入 D_input np.concatenate([filled_data, h_batch], axis1) D_output discriminator(D_input, trainingTrue) # 計(jì)算損失 D_loss, G_loss compute_loss(D_output, G_output, m_batch, hint_rate0.9) # 分別更新梯度 G_grads tape_G.gradient(G_loss, generator.trainable_variables) D_grads tape_D.gradient(D_loss, discriminator.trainable_variables) G_optimizer.apply_gradients(zip(G_grads, generator.trainable_variables)) D_optimizer.apply_gradients(zip(D_grads, discriminator.trainable_variables))一個(gè)容易被忽視的細(xì)節(jié)是填補(bǔ)值的還原操作訓(xùn)練時(shí)生成器輸出的是整個(gè)樣本的補(bǔ)全結(jié)果但實(shí)際填補(bǔ)只需要替換缺失位置。所以代碼里專門用filled_data x_batch * m_batch G_output * (1 - m_batch)做了掩碼合并確保觀測(cè)位置的原始值不被覆蓋。這一行看起來簡(jiǎn)單卻是GAIN能保持?jǐn)?shù)據(jù)原有信息的關(guān)鍵。4.2 觀測(cè)值保留策略和收斂判斷除了掩碼合并我還在損失計(jì)算里做了一個(gè)小改進(jìn)判別器更新時(shí)真實(shí)觀測(cè)位置參與計(jì)算的權(quán)重只有缺失位置的1/hint_rate。這意味著訓(xùn)練初期判別器更關(guān)注缺失位置的判斷而不會(huì)被大量真實(shí)觀測(cè)樣本帶偏。這個(gè)細(xì)節(jié)原論文里的實(shí)現(xiàn)只是簡(jiǎn)單加權(quán)沒解釋為什么這么設(shè)計(jì)我在復(fù)現(xiàn)時(shí)分析下來認(rèn)為這是為了平衡兩類樣本的數(shù)量差異。關(guān)于收斂判斷GAIN有一個(gè)天然的優(yōu)勢(shì)判別器的loss可以當(dāng)作訓(xùn)練進(jìn)度的參考。訓(xùn)練初期判別器能輕松區(qū)分真實(shí)和生成的數(shù)據(jù)loss下降很快隨著生成器能力的增強(qiáng)判別器的loss會(huì)緩慢上升這時(shí)說明生成器已經(jīng)開始騙過判別器了。我一般觀察生成器和判別器loss曲線的交叉點(diǎn)交叉之后再訓(xùn)練100到200個(gè)epoch效果基本就穩(wěn)定了。如果兩個(gè)loss都不動(dòng)了但數(shù)值偏高很可能是學(xué)習(xí)率太大造成震蕩建議調(diào)低一個(gè)數(shù)量級(jí)再訓(xùn)。4.3 填補(bǔ)效果評(píng)估不只是看RMSE訓(xùn)練完模型后怎么判斷填補(bǔ)效果好不好很多人第一反應(yīng)是算RMSE或者M(jìn)AE。這確實(shí)是最常用的指標(biāo)做法是把一批完整的數(shù)據(jù)手動(dòng)挖掉一些值跑完填補(bǔ)后和真實(shí)值做對(duì)比??偨Y(jié)一下我自己實(shí)踐中的做法# 手動(dòng)制造缺失評(píng)估填補(bǔ)效果 def evaluate_imputation(model, data_complete, missing_rate0.2): data_missing data_complete.copy() mask np.ones_like(data_complete) for i in range(data_complete.shape[0]): n_missing int(data_complete.shape[1] * missing_rate) missing_idx np.random.choice(data_complete.shape[1], n_missing, replaceFalse) data_missing[i, missing_idx] 0 mask[i, missing_idx] 0 # 執(zhí)行填補(bǔ) filled model.impute(data_missing) # 計(jì)算RMSE只統(tǒng)計(jì)缺失位置 diff filled - data_complete mse np.sum(diff**2 * (1 - mask)) / np.sum(1 - mask) rmse np.sqrt(mse) return rmse但單純看RMSE有盲區(qū)。我遇到過一種情況RMSE數(shù)值不算高但把所有樣本的填補(bǔ)值拉出來看分布發(fā)現(xiàn)某些特征的填補(bǔ)值方差特別小幾乎都在均值附近擺動(dòng)。這說明生成器學(xué)會(huì)了預(yù)測(cè)均值但沒有真正學(xué)會(huì)特征的波動(dòng)范圍。所以我還建議額外做一些分布檢驗(yàn)比如對(duì)比填補(bǔ)后數(shù)據(jù)和原始數(shù)據(jù)在關(guān)鍵特征上的直方圖、相關(guān)系數(shù)矩陣差異。判斷標(biāo)準(zhǔn)很簡(jiǎn)單好的填補(bǔ)應(yīng)該讓缺失位置的數(shù)據(jù)分布和觀測(cè)位置盡量一致特征間相關(guān)性也基本保持。原論文代碼里實(shí)驗(yàn)場(chǎng)景主要是數(shù)據(jù)缺失率在20%到30%之間的情況這個(gè)范圍內(nèi)GAIN的填補(bǔ)效果非常明顯。我額外測(cè)了40%和50%的高缺失率場(chǎng)景效果有下降但還是優(yōu)于均值填補(bǔ)和MICE說明模型的穩(wěn)健性還不錯(cuò)。5. 常見問題與排查技巧實(shí)錄5.1 維度不匹配問題最頻繁踩的坑GAIN實(shí)現(xiàn)過程碰到最多的報(bào)錯(cuò)就是維度不匹配。因?yàn)檎麄€(gè)流程里要拼接帶缺失數(shù)據(jù)、噪聲、提示向量、掩碼矩陣好幾個(gè)參與方任何一個(gè)維度對(duì)不上都會(huì)炸。典型報(bào)錯(cuò)是ValueError: Dimensions must be equal類型。這類問題大部分情況出在數(shù)據(jù)經(jīng)過標(biāo)準(zhǔn)化后形狀發(fā)生變化或者掩碼矩陣與數(shù)據(jù)矩陣的行列順序不對(duì)。我的排查習(xí)慣是在網(wǎng)絡(luò)輸入構(gòu)建之前用print(x_batch.shape, m_batch.shape, h_batch.shape, z_batch.shape)全部打出來逐一核對(duì)。四個(gè)張量的第一維batch size必須完全一致第二維通常是特征維度或者特征維度的兩倍拼接后。把所有參與拼接的變量維度列出來對(duì)照檢查比看報(bào)錯(cuò)信息省事得多。5.2 訓(xùn)練不收斂或損失函數(shù)震蕩的排查方向訓(xùn)練不收斂是另一個(gè)高頻問題。現(xiàn)象是loss值一直跳動(dòng)沒有規(guī)律地下降訓(xùn)練幾百輪后生成器填出來的值還是一團(tuán)糟。這種問題我遇到過太多次排查順序可以按如下步驟來第一步是檢查學(xué)習(xí)率是不是設(shè)置得過大GAIN的對(duì)抗訓(xùn)練本身就比較敏感學(xué)習(xí)率高很容易震蕩。我在實(shí)踐中發(fā)現(xiàn)學(xué)習(xí)率設(shè)置在1e-3到1e-4之間比較安全如果loss跳動(dòng)明顯優(yōu)先調(diào)到1e-4。第二步是看hint_rate是否合適這個(gè)參數(shù)直接影響判別器的任務(wù)難度參數(shù)設(shè)置和缺失模式不匹配容易造成生成器和判別器loss收斂速度差距過大一個(gè)收斂了另一個(gè)還在原地打轉(zhuǎn)。第三步是檢查數(shù)據(jù)標(biāo)準(zhǔn)化操作。如果原始數(shù)據(jù)里有極端異常值還沒處理掉即使做了歸一化模型也會(huì)被個(gè)別樣本牽著走。所以我在預(yù)處理階段會(huì)先做異常值裁剪用3倍標(biāo)準(zhǔn)差截?cái)鄷?huì)讓訓(xùn)練過程踏實(shí)不少。5.3 填補(bǔ)結(jié)果全部趨同的處理經(jīng)驗(yàn)還有一個(gè)比較隱蔽的問題訓(xùn)練成功了loss看起來正常但生成器對(duì)不同的缺失樣本給出的填補(bǔ)值幾乎一樣。這說明生成器沒有學(xué)會(huì)區(qū)分不同樣本的特征模式退化成了類似均值填補(bǔ)的效果。我遇到這個(gè)問題的原因最初是隨機(jī)噪聲的維度設(shè)得太低。生成器輸入里的噪聲向量如果維度太小或者全部是常數(shù)生成器就沒有隨機(jī)性來源學(xué)來學(xué)去只會(huì)輸出一個(gè)固定模式。我把噪聲從標(biāo)量擴(kuò)展到和特征維度相同的向量并確保它每一輪訓(xùn)練都重新采樣問題就解決了。另外生成器的能力如果太弱比如隱藏層節(jié)點(diǎn)太少它也學(xué)不到足夠的樣本差異。適當(dāng)增加隱藏層寬度或者增加一層都可以緩解模式坍縮問題。5.4 不同缺失率下的表現(xiàn)和參數(shù)調(diào)整建議實(shí)測(cè)下來缺失率在10%到20%之間時(shí)GAIN填補(bǔ)效果顯著優(yōu)于均值填補(bǔ)和MICERMSE能降低20%到30%。缺失率超過40%時(shí)效果下降比較明顯因?yàn)橛行畔⑻偃魏畏椒ǘ己茈y精確恢復(fù)原始分布。這時(shí)建議先把缺失率高的特征標(biāo)記出來看看有沒有其他特征可以提供輔助信息。參數(shù)調(diào)節(jié)方面總結(jié)一下我常用的調(diào)參順序先固定hint_rate為0.9把學(xué)習(xí)率調(diào)到穩(wěn)定收斂的程度然后再動(dòng)hint_rate觀察生成器loss變化如果發(fā)現(xiàn)填補(bǔ)值的分布與實(shí)際不符再調(diào)整生成器和判別器的隱藏層寬度。不用一上來就瘋狂調(diào)網(wǎng)絡(luò)結(jié)構(gòu)很多時(shí)候?qū)W習(xí)率和hint_rate的組合才是決定成敗的關(guān)鍵。6. 經(jīng)驗(yàn)總結(jié)與拓展思考GAIN這套方法我用到現(xiàn)在最深的感受是它把缺失值填補(bǔ)從插值思維提升到了分布擬合思維。傳統(tǒng)方法試圖用一個(gè)簡(jiǎn)單的函數(shù)去逼近缺失值而GAIN試圖理解整個(gè)數(shù)據(jù)集背后的生成機(jī)制。當(dāng)然這不意味著GAIN在所有場(chǎng)景都能碾壓傳統(tǒng)方法。小數(shù)據(jù)集、特征維度很低、數(shù)據(jù)模式簡(jiǎn)單的情況下多重插補(bǔ)可能已經(jīng)夠用堆一個(gè)對(duì)抗網(wǎng)絡(luò)性價(jià)比不高。但數(shù)據(jù)維度高、特征關(guān)系復(fù)雜的場(chǎng)景GAIN真的很能打。目前GAIN還有一個(gè)可以改進(jìn)的方向是結(jié)合自注意力機(jī)制。表格數(shù)據(jù)其實(shí)也存在特征的全局依賴關(guān)系比如某些特征之間隔了好幾列但關(guān)系非常密切。自注意力可以捕捉這種跨特征依賴如果應(yīng)用到GAIN的生成器里理論上效果會(huì)更好。另外一個(gè)方向是把時(shí)間序列的時(shí)序依賴引入生成器用LSTM或者Transformer結(jié)構(gòu)替代普通全連接網(wǎng)絡(luò)這條路我還沒跑完但初步思路已經(jīng)有了。如果你準(zhǔn)備動(dòng)手復(fù)現(xiàn)建議不要直接抄代碼就跑先把數(shù)據(jù)預(yù)處理、掩碼矩陣、提示機(jī)制這幾塊原理理解了再跑訓(xùn)練循環(huán)。否則遇到問題都不知道從哪里排查。有朋友問我要不要直接用官方GitHub的代碼我的意見是可以先看但一定自己按2.x語法重寫一遍——因?yàn)榕f代碼改動(dòng)起來往往比自己從零寫還費(fèi)時(shí)間。最后再分享一個(gè)小技巧訓(xùn)練結(jié)束后保存好生成器模型對(duì)同類型的新數(shù)據(jù)做填補(bǔ)時(shí)直接加載模型推理即可不需要重新訓(xùn)練。只要新數(shù)據(jù)和訓(xùn)練數(shù)據(jù)分布相似填補(bǔ)質(zhì)量基本不會(huì)差太多。這個(gè)特性在生產(chǎn)環(huán)境中特別實(shí)用相當(dāng)于一次訓(xùn)練、多次使用省下的時(shí)間可不是一星半點(diǎn)。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
77799热| 天天婷婷天天| 国产偷人爽久久久久久老妇APP| 天天成人综合视频| 在线播放中文字幕| 丁香五月ⅤA久久久| 超碰资源在线| 色欲色香伊人| 嫩BBB槡BBBB搡BBBB视频| 超碰京东热av男人的天堂| 久操婷婷| 亚洲人成色A777777在线观看| 欧美日本VA| 五月天婷婷色播综合在线| 影视av久久久噜噜噜噜噜三级| 激情精品久久| 久久99视频| 久9综合| 激情久久久久久| xx综合网| 欧美综合123区| 色99综合色88| 精国产品一区二区三区A片| 久久久久人妻| 日日夜夜天天综合| 欧美综合激情五月天| 五月丁香六月色婷婷综合五月天| 99超级碰碰| 99国产精品白浆在线观看免费| 日本久久性| 亚洲久久婷婷| 99热99免费| 色五月天丁香婷婷| 91岛国片| 婷婷伊人75| 五月丁香色停停啪啪啪| 狠狠爱成人综合网| 婷婷最新地址| 五月婷婷 婷婷五月 一区二区 久久久 | 天天操比比| 色婷婷丁香五月天在线视频| 【乱子伦】黄色| 久久亚洲天堂| 日本久久99久久| 日韩在线观看网址| av在线免费播放观看| 丁香婷婷久久| 天天影院色| 99热新网址| 99精品综合视频| 26uuu欧美激情另类| 精品一二三区视频立| 黄色AV日韩| 91视频久久久| 亚洲性爱电影| 99re在线视频精品,这里只有精品18,| 色就是色婷婷五月亚洲激情| 婷婷五月天av网| 激情伊人| 99热免费精品热久久66| 99爱这里只有精品| 99视频在线观看视频| 久久五月天婷婷视频| 伊人久久大香网| 奇米网大香蕉| 大天天伊人| 五月天激情日色在线| 91免费试看| 黄色片avv| 丁香五月婷婷国产av| yazhoujiqingav| 第四色在线观看| 99热这里都是精品| 有码一区二区三区| 97色97干| 五月花综合网| 五月丁香六月香综合激情| 99热在线里有精品| 五月丁香六月婷婷的女人| 激情五月天婷婷视频| 思思热热久久| 色婷婷天堂| 香蕉视频91| 九九色逼| XX色综合| 新激情综合| 99久精品| 色色色视频免费无码| 综合综合色色| 日本久久爱| 99热这里只有精品中文字幕| 99无码黄色视频| 国产日比| 婷婷五月天AV在| 69久久99精品久久久久| 99色啊| 97色色色色色色色色色色色色色| 这里只有精品免费| 人妻AV在线| 婷婷五月激情黄色| 大香蕉婷婷久久| 五月婷婷丁香啪啪| 日本成人噜噜噜| 久久精品五月天| 丁香六月啪| 三年高清大片免费观看国语| 97色女人在线| 伊人狠狠综合| 综合久久婷婷| 曰韩五月丁香色婷婷无码| 久久综合图片| 五月天婷婷六月激情网| 人人操五月天| 欧美性生交A片免费看| 日韩三级高清无码| 狼人狠狠操| 色9色| 五月丁香六月婷婷开心网| 五月天久久网站| 操碰91| 丁香五月天婷婷激情| 99热这里只有精品免费| 丁香五月玖玖| 丁香五月AV在线| 91九色 熟| 九9九9无码| 99这里精品| 狠狠操天天干| 久久婷婷六月综合综合| 五月婷婷在线综合| 丁香亚洲色综合| WWW夜夜| 亚洲丁香婷婷丁香五月天激情| 日日夜夜狠狠| 99re热视频这里只有综合亚洲| 丁香五月天综合网| 一本色综合色| 五月天停停基地| 26uuu亚洲| 久久色吧| 嫩草视频。| 91婷婷丁香五月天免费视频网站 | 狠狠人人| av人人干| 丁香激情久久| 激情欧美五月丁香| 五月天激情站| 99re6在线视频精品免费| 大香线蕉伊人| 五月丁香成人网| 九九操屄| 99亚洲色色| 色色婷婷丁香| 狠狠色丁香婷婷基地| 操99| 热的五码久久精品| 九九久久网| 99热最新精品| 日韩无码成人电影| 激情狠狠丁香月| BBWCUCKOLD精品熟妇| 爱草视频在线| 国产婷婷久久| 久久丁香五月天| 任你爽免费视频| 丁香五月久久| 天天干天天干天天干天天干天天干天天 | 国产精品久久久久久久久久| 日日夜夜狠狠干| 婷婷五月天国产性感美女演员久久久久| 色五月天视频| 五月天婷婷av| 99精品视频免费观看| 4399无码视频| 99热无码| 26uuu丁香婷婷五月| 欧美日韩aaa| 人人超碰99| 夜丁香综合| 色色网站日本91| 九九热这里只有国产精品| 99国产精品久久久久久久久久久| 婷婷五月丁香五月天| 精品一二三区久久AAA片| 韩国情人在线电视剧免费观看高清版全集| 国产AV一区二区三区最新精品| 激情婷婷五月女| AV中文在线| 99在线爽| 日本A片一区| 九九亚洲视频| 丁香花五月天激情| 极品少妇高潮啪啪AV无码| 亚洲综合激| 在线观看国产高清视频免费网站| 五月丁香婷婷激情澎湃四射| 久久99综合网| 青草视频在线观看视频| 五月丁查人人| 97色色色色色色色| 丁香花狠狠婷婷亚洲中文字幕| 99久久6| 精品人妻在线| 噜噜在线| 天天操比比| 影音先锋一区| 亚洲网在线观看| 六月婷婷在线| 五月丁香啪| 97五月天| 色五月丁香总合网| 亚洲国产精品SUV| www.开心激情| 色久播播| 极品少妇婷婷五月| 综合五月婷婷| 婷婷五月天狠狠色| 激情五月婷婷欧美极品| 伊人综合婷婷| 国产偷人爽久久久久久老妇APP| 天天擼久久擼在线| 丁香五月天堂网| 夜夜嗨一区二区三区直播内容 | 色色网站在线| 99在线精品视频免费观看20| 如何安全看伊人婷婷| 亚洲12p| 思思久久精品| 激情五月天无码| 五月丁香六月婷婷的女人| 一起草AV| 成人短视频在线免费观看| 亚洲操逼网| 操逼五月婷婷| 超碰99热| 日本高清久| 激情综合网,五月| 婷婷丁香色性爱| 九九色逼| 婷婷精品在线| 深爱激清网| 天天激情5月天亚洲| 99欧美精品99日本精品| 日日噜噜夜夜狠狠久久丁香五月| 四月婷婷五月丁香| 亚州AV超碰人人操| 新99思思视频| 久久久久9999| 91成人看片| 精品国产AV色一区二区深夜久久| 99在线免费视频| 噜噜色婷婷| 夜夜涩涩涩| 婷婷五月色综合| 蜜臀av 粉嫩av 懂色av| 国产毛多水多女人A片| 9久热在线视频精品| 五月婷AV| 六月丁香婷婷尤物| 丁香五月色播中文在线播放| 欧美天天草人人草| 婷婷综合色图| 免费97碰碰| 久久se 综合网| 四色五月婷婷| 中文字幕永久在线| 婷婷的99视频网站| 婷婷内射视频在线| 丁香五月婷婷综合精品素人| 天天色天天| 人人干Av| 激情五月,深深爱五月| 人妻射精AV| 91狠狠综合网| 狠狠爱激情网| 丁香五月综合婷婷| 丁香九月婷| 伊人狠狠色婷婷综合丁香一区| 97人人操人人插| 国产成人精品亚洲线观看| 亚洲精品国产setv| 99热在线看片| 玖玖爱综合网| 久久综合中文字幕| 一本色道久久综合狠狠躁小说| 人人干人人操人人摸人人做| 俺五月| 激情综合网之激情五月| 婷丁五月| 中文久久久人妻| 天堂A∨在线| 婷婷性爱综合| 99精品一二三四视频| 岛国午夜视频| 丁香五月性爱爱五月| 天天干天天av天天射| 国产一区二区av免费| 最近中文字幕大全免费版在线 | 99精品自拍视频| 99乱视频| 日日操夜夜撸| 五月天综合网| 黑人糟蹋人妻HD中文字幕| 色色色色色色网站| 超级碰碰91| 九九精品综合| 五月丁香婷婷啪啪| 九九黄色网| 91se在线视频| 六月丁香网| 亚洲色频| 久久您您综合网| 热久免费视频9| 久久探花91swag| 亚洲欧美综合7777色亭亭| 爱99干99| 激情五月婷婷她| 色欧美一级| 狠狠色婷婷综合开心影视| 操大屄五月天视频| 人人97操| 玖玖综合网| 99热e| 欧美激情五月综合| 天天拍夜夜爽| 亚洲婷婷免费| 丁香五月成人社区| 人碰人人人玩91| 五月婷av| 色婷操逼| 激情纯色婷婷五月天在线不卡视频| 亚洲综合干| 国产精品久久7777777精品无码| 久久久久久久久人妻| 日日天天干| 婷婷五月丁香五月综合网| 色亚洲欧洲| 操操天堂| 亚洲狠狠色丁香婷婷综合久久| 成人五月天综合网| 日韩精品一区二区亚洲AV观看| 99在线观看视频| 99这里的视频都是精品| 丁香婷婷视频| AV操操操| 婷婷激情六月中文| 色婷婷综合久久久久| 丁香五月婷婷性爱| 色五月在线播放| 五月丁香婷婷色| 成人美女网| 国产性爱色| 99热9| 五月丁香黄色| 欧美色婷婷| 免费三级黄色| 五月丁香啪啪综合| 国产婷婷五月天| 99热99精品| 97色色网| 日本精品干| 性韩日色婷婷五月天激情啪啪XXX| 人人人人人人人草| 欧美精品999| 人人97操| 色的色综合| www.狠狠艹| www.天天干| #NAME?| 色婷婷综合网站| 欧美亚洲婷婷五月| 久久婷婷五月| 色色色婷婷五月天| 伊人五月天在线| 九九色色| 天天肏视频| 天天日综合| 第九色区av天堂| 九九大香蕉黄色影院| 狠狠操天天操综合| 欧美一级色| 伊人久久综合| 日日操人人操| 超碰精品在线| 欧美婷婷日本| 婷婷五月天激情电影| 日韩不卡123| 久久亚洲A| 饮料下药迷倒漂亮女同事强干| 极品人妻VIDEOSSS人妻 | 色婷av| 中文人妻主播久久| 精品一二三区久久AAA片| 日本3级片一区2区| 色激情五月| 色99在线| 丁香五月婷婷婷婷欧美综合| 狠狠五月天| 九月婷婷激情| 欧美性色视频| www.色色com| 色综合色色色色色| 黄桃AV无码免费一区二区三区| 色五月激情网| 色婷精品91| 99男人天堂| 色五月婷婷激情| 亚洲成人AV高清字幕| 婷婷综合另类小说| 亚洲激情另类| 性爱在线播放av| 久久网日本| 色婷婷五月影院| 播五月丁香六月| 丁香六月婷婷久久综合| 婷婷永久在线| 一本色综合色| 婷婷五月丁香色情| 99视频这里有精品| 五月婷婷综合潮喷| 91成人看| 日韩色色视频| 9热在线观看| 久99热在线观看| 色噜久| 夜夜躁爽日日| 激情AV在线| 日韩狠狠色| 99热9999| 伊人五月综合网| 婷婷综合激情| 最近中文字幕大全免费版在线 | 激情五月婷婷五月| 夜夜爽天天| 色五月av| 亚洲综合婷婷| 丁香婷婷狠狠97| 婷婷激情欧美| www,久久久人人| 影音先锋777xfplay色资源网站| 久久99草五月婷婷| 91要啪| 激情综合啪啪| 99热久久这里只有精品| 五月丁香欧美在线| 99九无网码| 五月天社区| 五月丁欧美| 天天日天天爽| 五月丁六月婷| 精品成人在线观看| 北京熟妇搡BBBB搡BBBB| 婷婷五月深深爱| 超碰人人摸AV| 久久五月视频| 中文无码精品一区二区三区| 欧美激情 日韩无码 婷婷 五月天| 色五月综合在线| 91精品久久久久久久久久久久| 婷婷五月天奸女| 色色色色欧洲| 丁香五月花影院| 亚洲无码99| 日韩色色色色色| 国产午夜精品一区二区三区四区| 五月婷婷婷| 人妻在线网站| 欧美操人| 丁香婷婷六月| 综合激情网五月激情| 天天久综合网永久入口18| 丁香五月婷婷五月天| 亚洲色综合| 中文成人在线| 日本高清久| 五月婷婷丁香五月亚洲色| 日韩欧美性爱| 久久人人妻| 狠狠狠五月婷婷六月丁香| 亚洲啪啪网| 久久思思热| 色五月综合在线| 欧美日韩999| 国产精产国品一二三在观看| 超碰97干| 婷婷五月色亚洲| √天堂资源在线人妻熟女| 亚洲V国产V欧美V久久久久久| 久久丁香综合| 五月丁香久久久| 日韩另类在线观看| 婷婷五月天97干| 综合网色| 天天爽夜夜爽天天爽夜夜爽| 中美日韩成人在线| 五月Huangsewang| 五月天婷婷基地综合网| 婷婷激情六月天视频| 五月婷婷与六月丁香图片激情| 亚洲综合五月天婷婷| 国产成人网站在线观看| 日欧大屏操| 乱精品一区字幕二区| 综合网啪| 婷婷丁香人妻天天久久| 狠狠va| 成人综合AV| 久久婷婷五月综合色欧美| 高清不卡一区| 99视频精品全部观看10| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 九九AV| 亚洲综合成人网站| 99re资源在线视频导航| 国产午夜伦鲁鲁| 丁香花色色网| 久久视频婷婷| 色婷婷久久综合久色综| 婷婷激情五月色综合| 激情五月六月婷婷综合啪啪| 草综合网| 日本色色色| 伊人色综合影院视频| 欧美碰碰碰| 五月桃花网综合| 五月婷在线| 天天射影院| 婷婷五月综合在线| 最新av在线观看| 思思热这里只有精品| 亚洲A色| 26uuu国产精品| 激情综合婷婷| 99精品综合视频| 婷婷伊人綜合中文字幕| 99综合网| 综合色播| 96丁香六月婷婷蜜桃综合久久| 香蕉狠狠爱视频| 久久久久久久人妻| 色色 9| 五月天色婷婷图片| 99re这里有精品手机在线| 亚洲色色爱| 日本色婷婷久久99精品91| 涩涩五月天综合| 丁香五月天导航| 99热偷拍| 五月丁香久久综合| 日本va欧美va精品发布视频| 玖玖在线资源视频| 呦呦v线| www色中色综合| 五月丁香六月香综合激情| 激情五月天色爱| 色婷婷五月天综合网| 99热这里只有精品一区| 色狠狠色综合| 色色日本欧美| 99精品久久| 丁香五月激情啪啪| 操老逼综合网| 久热精彩视频98| 亚洲另类AV| 91丨九色熟女丨首页| 色吊丝av中文字幕| 99色中文| 狠狠做五月婷婷| 热久久66| 久久久久人妻精品| 久久99精品九九久久久婷婷| 欧美日韩欧美| 五月婷婷精品视频| 伊人网碰碰| 狠狠夜夜五月丁香| 色丁香五月婷婷在线| 婷婷播5月| 99热这里| 欧美搡BBBBB摔BBBBB| 中文字幕乱码亚洲精品一区| 欧美日韩国产成人在线| www,色婷婷| 精品色情一区二区三区四区| 天天操天天日天天操| 日韩aaaaa| 99成人| 丁香情色五月| 久9热视频在线观看| 他改变了拜占庭| 国色天香伊人狠狠色| 婷婷五月免费视频| 99色热| 99操不停| 欧洲婷婷五月天| 狠狠色噜噜狠狠| 五月天丁香婷| 久久五月天激情| 久久99精品久久久久子伦| 丁香五月天激情网址| 五月丁香激情在线| 激情五月天婷婷五月天| 欲色人妻| 久久网站免费亚洲| 丁香五月六月综合欧美| 国产伦亲子伦亲子视频观看| 99偷拍视频在线日本| 99re思思热在线视频| 亚洲狠狠干| 五月婷婷综合网| 91伦| 能看的av片| 五月婷婷深深爱| 99视频| 婷婷五月综合色拍| 5月婷婷激情网| 天天日天天色| 看全色黄大色大片| 丁香5月婷婷| 亚洲激情综合| 色五月婷婷综合在线| www.人人操人人看人人想人人摸 人人人人操,COM | 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 天天日综合| 91男人操女人视频| 97福利视频| 日日爽日日| 国产3p露脸普通话对白| 超碰在线人妻| 九九亚洲| 日韩av一区二区在线/日产精品久久久 | 午夜五月天| 在线综合91| 丁香六月av| 天天搡日日搡aaaaⅩ| 色综合久久无码| 天色综合网站| 丁香六月婷婷久久综合| 久热9| 色婷婷五月天| 九 九九九AV| 思思99精品视频| 九九色逼| 996er热| 玖玖热视频| 免费色婷婷| 色综合色欲综合天天免费| 亚洲99综合| 第五婷婷伊人丁香| 丰满熟女人妻一区二区三| 国产成人AV不卡| 色五月xxx| 激情五月影院| 丁香五月婷婷狠狠色| 97人人操在线| 99caobi| 五月色欧洲| 五月激情视频| 久久er九九| 天干夜夜操| 欧美色图天堂网| 99色色网| 色色色色色热| 26uuu成人网| 婷婷五月丁香综合亚洲 | 国产AV一区二区三区最新精品| 天天日天天添| 亚洲视频在线观看| www,欧美干干干干干干| 少妇性按摩无码中文A片| 国产欧美日韩一区二区三区| 色婷婷成人做爰A片免费看网站 | 激情五月婷黄版| 婷婷性爱五月天| 淫荡A片| 日熟女| 久久免费操| 日韩人妻在线观看| 99色色热| 久久AV无码精品人妻系列试探| 国产寻花在线| 无码成人AAAAA毛片AI换脸| 五月丁综合在线观看| 久久小说网| 99久久思思| 色婷婷亚洲综合天堂| 五月花激情| 国产99久9在线| 九九色影院| 丁香六月婷婷激情综合| 欧美精品XXXXBBBB| 免费观看欧美成人AA片爱我多深 | 青青草Avb在线| 九九无码| 91精品电影18T| 国产精品久久久久9999小说 | 激情久久综合| 中文字幕乱码亚洲精品一区| 亚美欧色影院| 中文资源在线a| 五月丁香六月激情综合| 精品,99| 亚洲另类毛片| 九九成人| 综合五月天完整| 国产激情在线| 午夜少妇在线观看视频| 久久综合丁香激情五月| 一级性感黄色内射视频| 国产SUV精品一区二区883| 狠狠狠狠操| 天天干,天天操,天天射| 日日做A爰片久久毛片A片英语| 丁香婷婷久久综合在线| 91免费看片| 热99在线| 天天摸天天做天天爱天天爽| 五月天色图| 九九九九九999999| 伦乱天堂| 99精品在线下载| 婷婷狠狠18禁久久| 婷婷丁香红五月91C| 91九色中文| 激情开心五月婷婷| www.97碰碰com| 亚洲无码99| 五月天久久婷婷| www.99热国产| 99久久新视频| 疯狂做受XXXX高潮A片| 中文成人在线| 六月色色婷婷| 武则天精品久久| www.久久99精品| 人人播| www激情| www.人人操人人看人人想人人摸 人人人人操,COM | AV片在线观看| 五月天激情视频| 五月婷婷婷婷| 玖久精品视频9| 欧美性爱五月天| 狠狠色综合图片| 九九在线视频| 婷婷伊人久久| 亚艹艹| AV 3P| 五月丁香香蕉| 欧洲区自拍| 丁香婷婷天堂| 超碰人人色| 97色色综合| 噜噜噜色噜噜| 五月婷婷开心深| 91操熟女| 超碰人人操| 超碰色碰碰| 丁香六月婷婷| 超碰狠狠操| 五月天激情综合| 五月天,激情四射,婷婷频道| oVV4WIB3vFi8D| 国产精品电影| 五月天婷婷久久| 国产综合婷婷| 丁香五月婷婷影院| 4399精品一区二区| 99热爆在线| 202丰满熟女妇大| 丁香啪啪| 这里只有精品视频在线| 日韩在线99| 综合五月丁香六月婷婷| 天天久| 天天干 夜夜爽| 婷婷激情五月天小说| 色婷婷五月丁香在线观看| 人人爽天天莫| 综合久久婷婷| 大香蕉99热| 激情黄色小说色五月| WWW久| 色色色五月天激情资源| 99视频综合网| 99久久偷拍视频| 亚洲婷婷性爱| 91蝌蚪窝视频在线| 97caop| 国产精品电| 人人爽网| 色婷婷丁香女女| www.夜夜操| 99热8| 久久婷婷视频| 中文字幕,综合,91| 精品久热69| 99视频激情四射| 五月天婷婷基地综合网| yellow视频在线观看91| 久久艹99| 九九色婷婷| 五月天激情亚洲| 久久婷婷视频| 丁香网站| 在线视频婷婷| 色月丁| 婷婷的色色五月天| 国产在线黄色| 天天性视频| 男人天堂亚洲综合| 色天天综合色| 欧美激情-区二区三区| 男同色五月开心五月激情五月| 五月婷婷黄网站大全| 99情色五月天| 亚洲AVDVD| 99热在线播放| 天天摸夜夜爽天天做| 开心综合激情综合| 天天日,天天干,天天操| 综合五月丁香六月婷婷| 五月天综合久久| 这里只有精品视频| 香蕉久久国产AV一区二区| Av免费网站在线| www一起操| 五月色综合网欧美网| 日韩狠狠色婷婷| 久久精品66| 天天操人人干| 成人精品在线观看| 九九aV| 亚洲精品一区中文字幕乱码| 香蕉久日夜| 国内久久久精品99| 五月天激情综合在线| 天天操天天操综合| 成人丁香五月天| 五月天婷婷av| 成人亚洲精品久久久久| 久操干| 六月色日韩| 亚洲国产va| 97干免费视频| 国外亚洲成AV人片在线观看| www91久久| 六月婷婷六月天天在线免费| 美女五月狠狠| 综合色久| 婷香狠狠爱五月| 99热亚洲| 色区域网站视频| 亚洲免费婷婷| 天天操天天插天天射| 91要啪| 色香五月天| 99久久99久久| 婷色天堂| 色一情一乱一乱一区91| 久久深爱激情网| 九九这里有精品| 曰本aaaaaa丈片| 婷婷激情五月天综合| 九九热免费| 激情网五月天| 激情綜合網址| 五月丁香六月婷婷在线播放| 色激情五月| 久草丁香婷婷1024| 五月丁香| 色婷婷偷拍| 婷婷色色网站| 久久婷婷丁香五月一二三| 第五色婷婷| 国产肥白大熟妇BBBB视频| 欧美啪啪9| 狠狠干 狠狠操| 婷婷综合五月| 综合久久综合综合| 男人综合网| www久久99| 亚洲AV永久无码影院黑人 | 五月天影院| 无码日本精品XXXXXXXXX | 强伦轩人妻一区二区电影| 婷婷五月丁香久久| 亚洲精品又粗又大又爽A片 | 91一起操| 99热大香蕉| 五月天激情亚洲| 婷婷色中文字幕| 五月天婷婷基地| 毛片九九九九九九九九18| 99色看这里只有精品| 91九色精品熟女内射| 欧美日韩日韩成人| 色丁香久久久| 中文字幕网伦射乱中文| 欧美色图天堂网| 伊人玖玖婷婷| 亚洲精品网址| 婷婷干五月综合在线播放| 无码AV免费精品一区二区三区| 99碰碰| 最新av在线观看| 亚洲av无码精品色午夜| 婷婷噜噜| 91人人爱| 99在线国| 国产黄色在线观看| 性 色 婷婷| 中文字幕在线日亚洲9| 久久99精品日本| 丁香五月婷婷色情综合| 99热综合在线观看| 色播丁香婷婷五月激情| 疯狂做受XXXX高潮A片动画| 激情丁香婷婷六月天| 五月婷婷激情久久| 91婷婷在线| 色色色色色综合| 久久婷婷伊人| 五月天天天色| 人妻操逼视频。| 激情五月天婷婷丁香| 日韩成人综合网| 爽天天天天天天天| 久久伦乱| 色欲天天综合| 综合久久综合| 伊人久久婷婷| 丁香婷婷六月激情文学 | 中文字幕婷婷在线| 久久视频婷婷| 伊人五月婷婷| 欧美色色色色色色色| 婷婷伊人综合中文字幕| 色三级色三级| 天天舔天天插天天爱| 久久性爱视频| 五月涩涩网| 婷婷五月丁香综合瑟瑟| 丁香六月情| 77777亚洲午夜久久| 影音先锋91资源站| 婷婷色色五月| 超碰在线看| 亚洲瑟瑟精品在线| 狠狠色丁香乆乆| 丁香五月天在线| 1024亚洲| 亚洲色夜| 色色精品色| 亚洲日韩一页精品发布| 久久性爱网站| 丁香五月色色婷| 亚洲激情免费视频| 久久久A级视频| 日本99热| 亚洲瑟瑟精品在线| 另类亚洲电影| 五月天色五月| 丁香九月婷婷| 久婷婷视平| 国产精品久久久海的味道| 久操人妻| 五月开心网| 色99网| 综合网色| 白人荫道BBWBBB大荫道| 五月天网站免费欧美| 综合另类视频| 99精品在线| 国产婷婷五月天| 4438激情网| 色情综合网| 亭亭五月丁香五月天激情| 97色色色| www.狠狠| 激情五月婷婷丁香| 黄网在线播放| 91免费试看| 色5月婷婷| 日日夜夜爽| 人妻人人操| 91五月花丁香| 激情六月婷婷| 婷婷五月丁香婷婷| 欧美大道不卡| 在线观看国产高清视频免费网站| 久久99激情丁香婷婷小说网| 99精品高潮| 精品一区二区三区四区五区六区| 五月天激情无码| 日日噜人人人做人| 特黄三级又爽又粗又大| 日本天天操| 日日天天干| 五月在在观看| 亚洲色图五月丁香| 日韩少妇内射免费播放| 五月色丁香| 色五月天在线| 丁香五月婷婷色| 51精品国自产在线| 色婷| 天天操天天爱天天玩| 五月丁香综合啪啪啪啪啪| 久青草大香蕉| 日韩成人精品中文字幕电影| 色色色国产| 五月丁香六月情| 国产Va视频| www.色综合.com| 182tv992tv人之初午夜免费观看| 超碰久热| 五月天丁香综合| 婷婷亚洲欧美丁香五月| 天天婷婷天天| 伊人91| 9久久网| 五月天色色无码| 久久综合99| 丁香五月综合激情啪啪| 色永久| 久热这里只有精品66| 婷婷亚洲影院| 日本3级片一区2区| 69热91天堂| 五月天色婷婷综合| 色婷婷激情四射视频| xxx日本东京热| 久久婷婷五月国产激情综合片| 铁牛TV人妻| 亚洲 欧洲 国产 伦综合| 亚洲欧美日韩VIP| 亚洲中文字幕在线观看| 狠狠干无码| www.yw尤物| 日本欧美国产| 五月婷婷色五月| 色区域网站视频| 狠狠插狠狠| 色五月天天| 色欲五月天| 丁香婷婷久久| 五月丁香婷婷色色| 日本视频99| 99热99美国在线观看| yiqicaoav| 九月av在线| 超碰啪啪网| 丁香五月伊人| 成人av在线网| 色五月综合网| 欧美性爱五月天| 色九月婷婷| 亚洲美女高潮久久久久久69| 噜噜噜狠狠色综| 天天操天天插| 五月婷婷六月色| 日本VA视频| 日本va欧美va欧美精品88| 婷婷开心激情五月激情网| 六月丁香色婷婷| 五月天精品综合| 婷婷五月天首页| 日日夜夜爽爽| 五月丁香六月激情综合欧美| 五月 婷婷 成人| 色色日本| 99视频精品在线| 免费在线观看欧美激情xx小视频| 亚洲最大视频网站| 丁香五月色情av| 五月天另类小说久久小说网| 97人人操com| 婷婷五月色播天| 丁香婷婷婷| 婷婷丁香婷婷97| 五月丁香毛片| 97操碰在线97| 97婷婷丁香| www.91av.com| 色亭亭九月| 激情五月色婷婷| 欧洲S级在线观看| 婷婷激情四射| 97丁香花五月天激情小说| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 日本天天综合| 开心激情久久久久久久| 久久久久丁香婷婷五月天| 色五月AV| 天天操婷婷| av九九| 婷婷99综合| 激情久久丁香| 久久永久视频| 99热久只有| 日韩欧美骚货| 色欲五月婷婷| 五月婷婷五月天| 级人人91| 97久久五月丁香婷婷| 久久久久久激情| 五月花综合网| 婷婷丁香五月高清| 中文字幕av在线播放| 狠狠操狠狠爱| 五月天婷婷Av| 91人人澡人人爽人人看| 天天拍夜夜撸 | 久久久久综合激动五月天| 婷婷色五月综合| xx人人xx| 99热精品在线| 午夜精品久久久久久久爽| 激情图片99| 色综合区| 97韩国久久电影院| 九九综合九九| 亚洲无AV在线中文字幕| 97碰碰在线观看视频| 五月天色色激情综合| 五月婷婷免费在线观看| 色色a| 69精品人人人人| 久久五月婷综合网| 天天色情站| 99热精品一| 久久婷婷网站| 真实的国产乱XXXX在线91| 婷婷五月综合色拍| 久久狠色噜噜狠狠狠狠97| 丁香六月情| 色一情一乱一乱一区91Av| 在线观看欧美3区| 婷婷五月天AV网| 俺也去在线视频| 99综合免费视频| 婷婷福利影院| 天堂婷婷五月在线| 五月丁香六月天| 欧类av怡春院| 婷婷色五月丁香六月欧美啪| 严洲天天插| 99网| 国产欧美日韩综合精品一区二区| 天天射天天干天插色综合| 99精品这里只有免费视频| 五月天婷婷基地| 综合色、色综合| 九九99在线免费在线观看视频| www.色擼擼.com| 五月丁香香蕉| 97色色婷婷五月天| 亚洲激情综合五月婷婷啪啪| 天天色粽合合合合合合合| 超碰色色综合| 五月天色婷婷伊人网| 天天日天天插| 97资源碰碰在线| 五月婷婷免费看| 熟妇无码乱子成人精品| 婷婷激情综合网| 婷婷少妇激情| Www.se.久久| 婷婷五月天免费| 97碰在线视频| 日韩人妻在线观看| 天天日天天做天天操| 欧美电影在线播放| 开心五月婷婷五月| 色综合五月| 色欧美日| 日日肏夜夜干| 亚洲12p| 久久这里这里有精品免费视频| 五月丁香婷婷免费视频| 九97免费视频| 久久66精品| 国产婷婷色综合AV蜜臀AV | 欧美婷婷日本| 97在线/亚洲| 9热久久| 大地资源色婷婷视频在线| 日本不卡一区二区三区| 色六月天天激情综合网| 夜夜爽天天干| 欧美婷婷| 五月丁香综合激情| 婷婷五月丁香花综合| 深爱开心激情| 99伊人婷婷在线| 色久丁香五| 五月天婷婷丁香人人操91| 成人综合伍月天| www.99热视频| 开心五月天激情网| 久久亚洲婷婷| 99热碰碰热| 黄网免费观看| 激情色播| www.无码com| 婷婷成人五月天成人文学| 91色色色视频| 丁香五月天堂| 六月激情网| 激情丁香五月婷婷| 国产肏屄大片| 五月狠狠| 丁香九月综合激情| 婷婷六月色开| 婷婷在线精品| 狠狠插狠狠插| 婷婷永久在线| 天天干天干| www.激情五月天.com| 激情五月天在线视频| 婷婷五月成人有| 人妻日日日| 狠狠色婷婷六月激情网| 伊人婷婷99热精品| 久久思思热视频| 综合九九久久| 狠狠色综合网| 五月天婷婷日日爱| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 天天干com| 九月av在线| 无码人妻激情| 综合久久97| 五月丁香| 久久人妻久久久久| av在线播放网站| 婷婷无码五月天| 色碰干| 超碰人妻在线| 99热只有这里才是精品| 这里只有精彩亚洲视频推荐| 另类丁香五月天区图| 欧美日本va| 天天色图| 少妇大叫太大太粗太爽了A片| 五月丁香青草综合啪啪| 9久久精品视频| 人妻少妇色综合| 婷婷丁香视频| 婷婷色一二三区波多野结衣| 五月婷婷,狠狠操| 五月婷婷激情四季| 精品9久| 九月av| 99er免费在线观看| 婷婷五月天首页激情| AAA久久久| 国在线激情网| 一本色道久久综合狠狠躁一二三| 深爱激情五月网| 五月伊人综合| 丁香五月五月婷婷欧美大香蕉| 99热九九热| 五月丁香美女| 婷婷五月综合社区在线| 99综合免费视频|