欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Keras多輸出模型損失函數(shù)配置與梯度沖突實(shí)戰(zhàn)指南

Keras多輸出模型損失函數(shù)配置與梯度沖突實(shí)戰(zhàn)指南 1. 多輸出模型里損失函數(shù)到底該怎么擺很多人第一次在Keras里給模型掛多個(gè)損失函數(shù)腦子里想的都是“我只要把loss寫(xiě)成一個(gè)列表Keras自己會(huì)搞定”。結(jié)果跑起來(lái)要么報(bào)形狀不匹配要么某個(gè)分支的loss壓根沒(méi)參與梯度更新要么訓(xùn)練半天發(fā)現(xiàn)只有主任務(wù)在收斂輔助任務(wù)紋絲不動(dòng)。問(wèn)題不在于Keras不支持多損失而在于大多數(shù)人沒(méi)搞清楚Keras處理多損失時(shí)的三條路徑輸出層命名、loss字典映射、loss_weights權(quán)重分配。這三者只要有一個(gè)對(duì)不上整個(gè)訓(xùn)練圖就會(huì)悄悄退化。先明確一個(gè)概念Keras里的“多個(gè)自定義損失函數(shù)”其實(shí)分兩種場(chǎng)景。第一種是單輸出多損失比如一個(gè)輸出既要算MSE又要算一個(gè)正則項(xiàng)這時(shí)候你需要的是把多個(gè)loss加起來(lái)返回一個(gè)標(biāo)量。第二種是多輸出多損失模型有多個(gè)head每個(gè)head配一個(gè)獨(dú)立的loss這時(shí)候才涉及l(fā)oss列表或字典。很多人把這兩種場(chǎng)景混在一起寫(xiě)代碼自然亂。我見(jiàn)過(guò)最典型的錯(cuò)誤寫(xiě)法是這樣的model.compile(optimizeradam, loss[my_loss_a, my_loss_b], loss_weights[0.7, 0.3])但模型只有一個(gè)輸出層。這種情況下Keras會(huì)嘗試把兩個(gè)loss都作用在同一個(gè)輸出上如果兩個(gè)loss返回的形狀不一致直接報(bào)維度錯(cuò)誤如果形狀一致它會(huì)做加權(quán)求和但你以為的“兩個(gè)獨(dú)立任務(wù)”其實(shí)變成了“同一個(gè)預(yù)測(cè)值的兩個(gè)約束”語(yǔ)義完全變了。正確的判斷邏輯是先看model.outputs的長(zhǎng)度。如果長(zhǎng)度是1那所有l(wèi)oss最終必須聚合成一個(gè)標(biāo)量如果長(zhǎng)度大于1才用列表或字典給每個(gè)輸出分配loss。這個(gè)判斷我建議你在寫(xiě)代碼前先用print(len(model.outputs))確認(rèn)一遍別憑感覺(jué)。還有一個(gè)隱藏坑當(dāng)模型有多個(gè)輸出但只給部分輸出配了lossKeras默認(rèn)會(huì)對(duì)沒(méi)有配loss的輸出不做梯度回傳。這本身是合理的但如果你用的是函數(shù)式API且某個(gè)中間層被多個(gè)輸出共享沒(méi)配loss的那個(gè)分支仍然會(huì)參與前向計(jì)算只是不產(chǎn)生梯度。這會(huì)導(dǎo)致顯存占用比預(yù)期高訓(xùn)練速度也上不去。解決辦法是顯式給每個(gè)輸出都配loss哪怕某個(gè)分支你暫時(shí)不想訓(xùn)練也給它配一個(gè)權(quán)重為0的loss這樣Keras的圖結(jié)構(gòu)會(huì)更干凈。提示多輸出模型里輸出層的name參數(shù)非常關(guān)鍵。后面用字典配loss時(shí)key必須和輸出層的name完全一致大小寫(xiě)敏感。2. 自定義損失函數(shù)的三種寫(xiě)法與適用邊界Keras里寫(xiě)自定義損失函數(shù)表面上有三種寫(xiě)法純函數(shù)式、帶額外參數(shù)的閉包式、繼承Loss類。很多人隨手選一種就開(kāi)始寫(xiě)結(jié)果在保存模型、加載模型、分布式訓(xùn)練時(shí)接連翻車。這三種寫(xiě)法不是等價(jià)的它們的序列化能力、參數(shù)綁定方式、對(duì)add_loss的兼容性都不一樣。2.1 純函數(shù)式最簡(jiǎn)單但最受限純函數(shù)式就是接收y_true和y_pred兩個(gè)參數(shù)返回一個(gè)標(biāo)量或逐樣本的loss張量import tensorflow as tf def focal_loss(y_true, y_pred, gamma2.0, alpha0.25): y_pred tf.clip_by_value(y_pred, 1e-7, 1 - 1e-7) ce -y_true * tf.math.log(y_pred) weight alpha * tf.pow(1 - y_pred, gamma) return tf.reduce_mean(weight * ce)這種寫(xiě)法的問(wèn)題在于gamma和alpha被硬編碼在函數(shù)簽名里編譯時(shí)沒(méi)法從外部傳參。如果你在model.compile(lossfocal_loss)時(shí)想改gamma只能重新定義一個(gè)新函數(shù)。更麻煩的是模型保存后load_model需要能定位到這個(gè)函數(shù)如果函數(shù)定義在__main__里且沒(méi)有注冊(cè)加載時(shí)會(huì)報(bào)Unknown loss function。適用邊界超參數(shù)固定、不需要頻繁調(diào)整、且函數(shù)定義在可導(dǎo)入的模塊文件里。如果你只是在notebook里快速實(shí)驗(yàn)純函數(shù)式夠用但一旦要交付或部署建議換寫(xiě)法。2.2 閉包式參數(shù)靈活但序列化有坑閉包式是用一個(gè)外層函數(shù)包住超參數(shù)返回內(nèi)層loss函數(shù)def make_focal_loss(gamma2.0, alpha0.25): def focal_loss(y_true, y_pred): y_pred tf.clip_by_value(y_pred, 1e-7, 1 - 1e-7) ce -y_true * tf.math.log(y_pred) weight alpha * tf.pow(1 - y_pred, gamma) return tf.reduce_mean(weight * ce) return focal_loss這樣你可以lossmake_focal_loss(gamma3.0)參數(shù)靈活。但保存模型時(shí)Keras序列化的是內(nèi)層函數(shù)的引用而內(nèi)層函數(shù)是運(yùn)行時(shí)動(dòng)態(tài)創(chuàng)建的load_model根本找不到它。你會(huì)遇到經(jīng)典的ValueError: Unknown loss function: focal_loss。解決辦法有兩個(gè)一是用custom_objects在加載時(shí)手動(dòng)傳入二是改用Loss類。前者在簡(jiǎn)單場(chǎng)景可行但如果你有多個(gè)閉包losscustom_objects的字典會(huì)變得很難維護(hù)。2.3 繼承Loss類最規(guī)范但代碼量最大tf.keras.utils.register_keras_serializable(packageMyLosses) class FocalLoss(tf.keras.losses.Loss): def __init__(self, gamma2.0, alpha0.25, **kwargs): super().__init__(**kwargs) self.gamma gamma self.alpha alpha def call(self, y_true, y_pred): y_pred tf.clip_by_value(y_pred, 1e-7, 1 - 1e-7) ce -y_true * tf.math.log(y_pred) weight self.alpha * tf.pow(1 - y_pred, self.gamma) return tf.reduce_mean(weight * ce) def get_config(self): config super().get_config() config.update({gamma: self.gamma, alpha: self.alpha}) return config這種寫(xiě)法配合register_keras_serializable裝飾器保存和加載都不會(huì)出問(wèn)題。get_config負(fù)責(zé)把超參數(shù)寫(xiě)進(jìn)模型文件加載時(shí)自動(dòng)重建。代價(jià)是代碼量翻倍而且call方法里不能直接用Python的if判斷張量值必須用tf.cond或tf.where。我的建議是實(shí)驗(yàn)階段用閉包式交付階段一律換成Loss類。切換成本不高但能省掉后面一堆序列化相關(guān)的調(diào)試時(shí)間。寫(xiě)法參數(shù)靈活性序列化支持代碼量推薦場(chǎng)景純函數(shù)式低需手動(dòng)注冊(cè)最少快速驗(yàn)證閉包式高差中等實(shí)驗(yàn)調(diào)參Loss類高原生支持最多生產(chǎn)交付3. 多輸出模型的loss字典配置與權(quán)重調(diào)優(yōu)當(dāng)模型有多個(gè)輸出時(shí)最清晰的配置方式是用字典把輸出層name映射到對(duì)應(yīng)的lossmodel.compile( optimizertf.keras.optimizers.Adam(1e-3), loss{ classification_head: FocalLoss(gamma2.0), regression_head: tf.keras.losses.Huber(delta1.0), auxiliary_head: tf.keras.losses.MeanSquaredError() }, loss_weights{ classification_head: 1.0, regression_head: 0.5, auxiliary_head: 0.2 }, metrics{ classification_head: [accuracy], regression_head: [mae] } )這里有幾個(gè)細(xì)節(jié)值得展開(kāi)。第一loss_weights的key必須和loss字典的key完全一致否則Keras會(huì)忽略權(quán)重默認(rèn)全部按1.0處理。第二metrics也是按輸出層name配置的如果你只給部分輸出配了metrics訓(xùn)練日志里只會(huì)顯示配了的那些沒(méi)配的不會(huì)報(bào)錯(cuò)但也不會(huì)顯示。第三loss_weights的總和不需要等于1Keras內(nèi)部會(huì)做歸一化處理但歸一化方式是把每個(gè)loss乘以對(duì)應(yīng)權(quán)重后直接相加不做除法。所以如果你把所有權(quán)重都放大10倍等效于把學(xué)習(xí)率放大10倍這一點(diǎn)很容易被忽略。權(quán)重怎么調(diào)我的經(jīng)驗(yàn)是分三步走。第一步先把所有l(wèi)oss_weights設(shè)為1.0跑幾個(gè)epoch觀察每個(gè)loss的初始量級(jí)。如果分類loss在2.0左右回歸loss在0.01左右那回歸任務(wù)的梯度貢獻(xiàn)幾乎可以忽略。第二步根據(jù)量級(jí)差異反比設(shè)置權(quán)重讓每個(gè)loss的初始貢獻(xiàn)大致相當(dāng)。比如分類loss是2.0回歸loss是0.01那回歸權(quán)重可以設(shè)成100左右但不要一步到位先設(shè)成10觀察。第三步根據(jù)任務(wù)重要性微調(diào)。如果分類是主任務(wù)回歸是輔助那在量級(jí)對(duì)齊的基礎(chǔ)上把分類權(quán)重再放大1.5到2倍。注意loss_weights調(diào)得過(guò)大時(shí)某個(gè)分支的梯度會(huì)主導(dǎo)整個(gè)網(wǎng)絡(luò)導(dǎo)致共享層被這個(gè)任務(wù)“綁架”其他任務(wù)的表現(xiàn)反而下降。這種情況在多任務(wù)學(xué)習(xí)里叫“負(fù)遷移”表現(xiàn)是某個(gè)任務(wù)的驗(yàn)證指標(biāo)先降后升再降。遇到這種情況要么降低該任務(wù)權(quán)重要么在共享層和任務(wù)頭之間加梯度裁剪。還有一個(gè)實(shí)操技巧用tf.keras.callbacks.Callback在訓(xùn)練過(guò)程中動(dòng)態(tài)打印每個(gè)loss的值而不是只看總loss。總loss是加權(quán)和某個(gè)分支出問(wèn)題時(shí)總loss可能看起來(lái)正常但分支loss已經(jīng)發(fā)散。下面這個(gè)callback我經(jīng)常用class LossLogger(tf.keras.callbacks.Callback): def on_epoch_end(self, epoch, logsNone): logs logs or {} for key, value in logs.items(): if loss in key and val not in key: print(fEpoch {epoch} | {key}: {value:.4f})這樣你能清楚看到每個(gè)head的loss走勢(shì)比只看一個(gè)total_loss有用得多。4. 梯度沖突與loss平衡的實(shí)戰(zhàn)處理多損失訓(xùn)練最棘手的問(wèn)題不是配置而是梯度沖突。兩個(gè)任務(wù)的loss對(duì)共享層參數(shù)的梯度方向相反時(shí)網(wǎng)絡(luò)會(huì)在兩個(gè)任務(wù)之間反復(fù)橫跳表現(xiàn)是總loss震蕩不降或者一個(gè)任務(wù)好另一個(gè)任務(wù)差。這個(gè)問(wèn)題在推薦系統(tǒng)、多模態(tài)模型里特別常見(jiàn)。4.1 用GradNorm思路做動(dòng)態(tài)權(quán)重固定權(quán)重最大的問(wèn)題是訓(xùn)練過(guò)程中各任務(wù)的學(xué)習(xí)難度在變化前期簡(jiǎn)單的任務(wù)梯度大后期困難的任務(wù)梯度大固定權(quán)重沒(méi)法適應(yīng)。GradNorm的核心思路是根據(jù)每個(gè)任務(wù)當(dāng)前的梯度范數(shù)和訓(xùn)練速度動(dòng)態(tài)調(diào)整loss權(quán)重讓各任務(wù)的梯度范數(shù)保持在同一量級(jí)。簡(jiǎn)化版的實(shí)現(xiàn)思路是在每個(gè)batch結(jié)束后計(jì)算每個(gè)任務(wù)loss對(duì)共享層參數(shù)的梯度范數(shù)然后按范數(shù)的反比更新權(quán)重。完整實(shí)現(xiàn)比較復(fù)雜但你可以用一個(gè)近似版本class DynamicWeightCallback(tf.keras.callbacks.Callback): def __init__(self, shared_layer_name, task_names, alpha0.1): super().__init__() self.shared_layer_name shared_layer_name self.task_names task_names self.alpha alpha self.weights {name: 1.0 for name in task_names} def on_train_batch_end(self, batch, logsNone): logs logs or {} losses {} for name in self.task_names: key f{name}_loss if key in logs: losses[name] logs[key] if len(losses) 2: return mean_loss sum(losses.values()) / len(losses) for name, loss_val in losses.items(): ratio loss_val / (mean_loss 1e-8) self.weights[name] * (1 - self.alpha * (ratio - 1)) self.weights[name] max(0.1, min(10.0, self.weights[name]))這個(gè)callback在on_train_batch_end里根據(jù)各任務(wù)loss與平均loss的比值調(diào)整權(quán)重loss高于平均的任務(wù)權(quán)重降低低于平均的權(quán)重升高。alpha控制調(diào)整速度太大會(huì)震蕩太小沒(méi)效果一般從0.05到0.1開(kāi)始試。權(quán)重上下限是為了防止某個(gè)任務(wù)權(quán)重被壓到0或漲到無(wú)窮。4.2 梯度裁剪與共享層保護(hù)如果動(dòng)態(tài)權(quán)重調(diào)起來(lái)太麻煩一個(gè)更直接的辦法是在共享層后面加梯度裁剪。Keras里可以在optimizer層面做全局裁剪optimizer tf.keras.optimizers.Adam( learning_rate1e-3, clipnorm1.0 )clipnorm按梯度向量的L2范數(shù)裁剪clipvalue按每個(gè)梯度元素的值裁剪。多任務(wù)場(chǎng)景下我更推薦clipnorm因?yàn)樗A袅颂荻确较蛑幌拗品取lipvalue會(huì)改變梯度方向可能導(dǎo)致某些任務(wù)學(xué)不動(dòng)。另一個(gè)技巧是給共享層加一個(gè)較小的學(xué)習(xí)率給任務(wù)頭加較大的學(xué)習(xí)率。Keras原生不支持分層學(xué)習(xí)率但可以用tf.keras.optimizers.schedules配合自定義訓(xùn)練循環(huán)實(shí)現(xiàn)。簡(jiǎn)單做法是共享層用SGD任務(wù)頭用Adam但這樣需要寫(xiě)自定義train_step。如果不想寫(xiě)自定義循環(huán)退而求其次的辦法是在共享層后面加BatchNormalizationBN層的running statistics會(huì)起到一定的穩(wěn)定作用緩解梯度沖突帶來(lái)的震蕩。4.3 任務(wù)優(yōu)先級(jí)與課程學(xué)習(xí)有時(shí)候梯度沖突的根源是任務(wù)太難模型在早期根本學(xué)不動(dòng)。這時(shí)候可以用課程學(xué)習(xí)的思路前期只訓(xùn)練主任務(wù)等主任務(wù)收斂到一定程度后再加入輔助任務(wù)。實(shí)現(xiàn)方式是用callback在指定epoch后修改model.loss_weightsclass CurriculumCallback(tf.keras.callbacks.Callback): def __init__(self, switch_epoch, new_weights): super().__init__() self.switch_epoch switch_epoch self.new_weights new_weights def on_epoch_begin(self, epoch, logsNone): if epoch self.switch_epoch: self.model.loss_weights self.new_weights print(fEpoch {epoch}: loss weights switched to {self.new_weights})注意model.loss_weights在編譯后修改是否生效取決于TF版本較新的版本支持動(dòng)態(tài)修改老版本可能需要重新編譯。實(shí)測(cè)下來(lái)TF 2.8以上都可以直接改但改完后第一個(gè)batch的loss可能會(huì)跳變屬于正?,F(xiàn)象。5. 保存加載與分布式訓(xùn)練的兼容性細(xì)節(jié)自定義loss在單機(jī)單卡上跑通不難難的是保存加載和分布式訓(xùn)練時(shí)不掉鏈子。我踩過(guò)的坑里80%都出在這兩個(gè)環(huán)節(jié)。5.1 保存加載的三種失敗模式第一種是Unknown loss function原因是loss函數(shù)沒(méi)有注冊(cè)。解決辦法是用tf.keras.utils.register_keras_serializable裝飾Loss類或者在load_model時(shí)傳custom_objects。我強(qiáng)烈推薦前者因?yàn)楹笳咴谀P捅黄渌a加載時(shí)容易遺漏。第二種是get_config不完整。如果你在Loss類里加了自定義屬性但忘了寫(xiě)進(jìn)get_config保存時(shí)不會(huì)報(bào)錯(cuò)加載后屬性會(huì)丟失loss計(jì)算結(jié)果和訓(xùn)練時(shí)不一致。這種bug最隱蔽因?yàn)槟P湍芗虞d、能推理只是結(jié)果悄悄偏了。檢查方法是保存后重新加載用同一批數(shù)據(jù)分別跑原模型和加載模型對(duì)比loss值是否完全一致。第三種是loss_weights丟失。Keras保存模型時(shí)會(huì)把compile信息寫(xiě)進(jìn)文件但如果你在保存后手動(dòng)改了loss_weights再保存舊值可能被覆蓋。穩(wěn)妥做法是每次保存前重新compile一次確保配置是最新的。# 保存前重新compile確保配置寫(xiě)入 model.compile(optimizeroptimizer, lossloss_dict, loss_weightsweights) model.save(my_model.keras) # 加載時(shí)如果用了register_keras_serializable不需要custom_objects loaded tf.keras.models.load_model(my_model.keras)5.2 分布式訓(xùn)練下的loss聚合用MirroredStrategy做多卡訓(xùn)練時(shí)每個(gè)卡上的loss是各自計(jì)算的Keras會(huì)自動(dòng)做all-reduce求平均。但如果你在loss函數(shù)里用了tf.reduce_sum而不是tf.reduce_mean多卡下的總loss會(huì)被放大N倍N是卡數(shù)等效于學(xué)習(xí)率放大N倍。這個(gè)坑我在一次四卡訓(xùn)練里踩過(guò)單卡正常四卡直接發(fā)散。解決辦法很簡(jiǎn)單loss函數(shù)里一律用tf.reduce_mean讓Keras的分布式聚合邏輯處理跨卡平均。如果你確實(shí)需要sum那就在compile時(shí)把學(xué)習(xí)率除以卡數(shù)。另一個(gè)分布式相關(guān)的細(xì)節(jié)是loss_weights在MirroredStrategy下的行為。權(quán)重是在聚合之后應(yīng)用的所以每張卡上的加權(quán)方式一致不需要額外處理。但如果你用了自定義訓(xùn)練循環(huán)需要手動(dòng)在strategy.run外面做加權(quán)否則每張卡會(huì)各自加權(quán)再聚合結(jié)果和單卡不一致。提示分布式訓(xùn)練時(shí)建議先用單卡跑通完整流程確認(rèn)loss收斂后再切多卡。直接上多卡調(diào)試問(wèn)題定位難度會(huì)翻倍。6. 幾個(gè)我實(shí)際踩過(guò)的坑和對(duì)應(yīng)解法第一個(gè)坑在loss函數(shù)里用了Python的if判斷張量值。比如if y_pred 0.5: return ...這在eager模式下能跑但一旦用tf.function編譯或保存成SavedModel直接報(bào)OperatorNotAllowedInGraphError。正確做法是用tf.where# 錯(cuò)誤寫(xiě)法 def bad_loss(y_true, y_pred): if tf.reduce_mean(y_pred) 0.5: return tf.reduce_mean(tf.square(y_true - y_pred)) return tf.reduce_mean(tf.abs(y_true - y_pred)) # 正確寫(xiě)法 def good_loss(y_true, y_pred): mse tf.reduce_mean(tf.square(y_true - y_pred)) mae tf.reduce_mean(tf.abs(y_true - y_pred)) condition tf.reduce_mean(y_pred) 0.5 return tf.where(condition, mse, mae)第二個(gè)坑loss函數(shù)返回了逐樣本的loss向量而不是標(biāo)量。Keras的compile接口期望loss返回標(biāo)量如果你返回形狀為(batch_size,)的張量Keras會(huì)做一次隱式reduce_mean但如果你在loss里已經(jīng)做了加權(quán)這個(gè)隱式平均會(huì)打亂權(quán)重。表現(xiàn)是訓(xùn)練能跑但收斂異常。檢查方法是打印loss函數(shù)的返回形狀確保是()而不是(batch_size,)。第三個(gè)坑多個(gè)loss共享同一個(gè)可訓(xùn)練變量時(shí)梯度累加導(dǎo)致更新量翻倍。比如兩個(gè)loss都對(duì)同一個(gè)embedding層求梯度Keras會(huì)把兩個(gè)梯度相加后更新。這本身是合理的但如果你期望的是兩個(gè)loss分別更新就需要用tf.GradientTape手動(dòng)控制。大多數(shù)情況下梯度相加是想要的行為但如果你發(fā)現(xiàn)某個(gè)共享層更新過(guò)快可以檢查是不是多個(gè)loss都在對(duì)它產(chǎn)生梯度。第四個(gè)坑metrics和loss用了同一個(gè)函數(shù)但期望不同行為。比如你把focal loss同時(shí)配成loss和metricmetric會(huì)顯示focal loss的值但這個(gè)值受loss_weights影響而metric本身不應(yīng)該被加權(quán)。結(jié)果是metric數(shù)值和實(shí)際任務(wù)表現(xiàn)對(duì)不上。正確做法是loss和metric分開(kāi)定義metric用標(biāo)準(zhǔn)的accuracy或mae。坑表現(xiàn)根因解法Python if判斷張量Graph模式報(bào)錯(cuò)圖模式不支持Python控制流改用tf.whereloss返回向量收斂異常隱式reduce打亂權(quán)重確保返回標(biāo)量共享層梯度翻倍更新過(guò)快多l(xiāng)oss梯度累加檢查是否預(yù)期行為metric被加權(quán)指標(biāo)失真metric受loss_weights影響loss和metric分開(kāi)7. 一套可直接復(fù)用的多損失模板把上面所有經(jīng)驗(yàn)整合成一個(gè)模板你可以直接抄去改。這個(gè)模板覆蓋了Loss類定義、多輸出配置、動(dòng)態(tài)權(quán)重、保存加載四個(gè)環(huán)節(jié)。import tensorflow as tf tf.keras.utils.register_keras_serializable(packageMyLosses) class WeightedFocalLoss(tf.keras.losses.Loss): def __init__(self, gamma2.0, alpha0.25, nameweighted_focal_loss, **kwargs): super().__init__(namename, **kwargs) self.gamma gamma self.alpha alpha def call(self, y_true, y_pred): y_pred tf.clip_by_value(y_pred, 1e-7, 1 - 1e-7) ce -y_true * tf.math.log(y_pred) weight self.alpha * tf.pow(1 - y_pred, self.gamma) return tf.reduce_mean(weight * ce) def get_config(self): config super().get_config() config.update({gamma: self.gamma, alpha: self.alpha}) return config def build_model(): inputs tf.keras.Input(shape(128,), nameinput) shared tf.keras.layers.Dense(256, activationrelu, nameshared)(inputs) shared tf.keras.layers.BatchNormalization(nameshared_bn)(shared) shared tf.keras.layers.Dropout(0.3)(shared) cls_out tf.keras.layers.Dense(10, activationsoftmax, namecls_head)(shared) reg_out tf.keras.layers.Dense(1, namereg_head)(shared) return tf.keras.Model(inputsinputs, outputs[cls_out, reg_out]) model build_model() loss_dict { cls_head: WeightedFocalLoss(gamma2.0, alpha0.25), reg_head: tf.keras.losses.Huber(delta1.0) } loss_weights { cls_head: 1.0, reg_head: 0.5 } model.compile( optimizertf.keras.optimizers.Adam(learning_rate1e-3, clipnorm1.0), lossloss_dict, loss_weightsloss_weights, metrics{cls_head: [accuracy], reg_head: [mae]} ) model.summary() # 保存 model.save(multi_loss_model.keras) # 加載因?yàn)橛昧藃egister_keras_serializable不需要custom_objects loaded_model tf.keras.models.load_model(multi_loss_model.keras)這個(gè)模板里幾個(gè)關(guān)鍵點(diǎn)再?gòu)?qiáng)調(diào)一遍clipnorm1.0防止梯度爆炸BatchNormalization穩(wěn)定共享層register_keras_serializable保證序列化loss_weights按任務(wù)重要性分配。你拿到后只需要改輸入形狀、輸出維度、loss類型和權(quán)重值。如果訓(xùn)練過(guò)程中發(fā)現(xiàn)某個(gè)head的loss不降先檢查三件事該head的輸出層name是否和loss字典的key一致、該head的loss是否返回標(biāo)量、該head的梯度是否被其他head的梯度淹沒(méi)。這三件事查完90%的問(wèn)題都能定位。最后分享一個(gè)我常用的調(diào)試技巧在訓(xùn)練前用model.compute_loss手動(dòng)算一次loss傳入隨機(jī)生成的y_true和y_pred看返回的loss字典結(jié)構(gòu)是否符合預(yù)期。這一步能在正式訓(xùn)練前暴露大部分配置錯(cuò)誤比跑幾個(gè)epoch再發(fā)現(xiàn)問(wèn)題省時(shí)間得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
老师的粉嫩小又紧水又多A片视频| 无码少妇高潮喷水A片免费| 久久精品亚洲一级牲爱综合| 另类综合激情| 六月婷婷av| 色婷婷在线视频观看| 色激情综合| 九九性视频| 国内婷婷丁香社区在线播放| 婷婷99狠狠| 六月婷婷天堂| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 激情五月五月婷婷| 91丨九色丨熟女| 五月天婷婷婷| 99精品7| 婷婷影院A成人| 啪色综合| 天天干电影| 婷婷成人综合五月| 天天干天天日天天插 | 爆乳熟女-区二区三区| 风流少妇A片一区二区蜜桃| 激情五月综合网最新| 婷婷涩涩五月天| 六月丁香婷婷网| 久久久精品视频79| 96丁香六月婷婷蜜桃综合久久| 99色在线视频观看| 9 1大香蕉| 操逼五月婷婷| 综合色图婷婷| www.玖玖九| 亚洲精品久久久无码| 五月天婷婷小说| 99ri在线视频| 五月丁香999| 91九色欧美| 丁香久久久| 精品一区二区三区木瓜| 丁香综合伊人AV| 99久久66| 人人爱干人人爱草| 久久色在线视频| 噜噜干日本| 五月天激情小说网| 91精品久久久久| 91热视频色网站| 五月天啪啪| 激情网开心网| 天天插轮理| 这里只有精品日韩精品| 色色色在线播放| 天天 青草 制服丝袜 在线| 久久之人妻| 久久久大香蕉| 大香蕉婷婷五月天| 丁香婷最新动态| 九九aV| 极品色丁香| 久久五月天激情婷婷| 91seAV| 色色五月天 亚洲| 91919191919久久成人视频| 香蕉AV777XXX色综合一区| 超碰久热| 国产成人精品亚洲线观看| 五月综合色| 五月天久久婷婷| 色婷婷丁香五月天| 亚洲天堂热| 久久曰曰| 99婷婷| 五月婷婷综合激情| 日日干日日| 日韩AV大全| 日韩啪图| 久久精品日| 91碰人人| 日韩成人电影Av| 91丨人妻丨国产丨丝袜| 天堂久久性| 欧洲亚洲午夜| 91婷婷| 国产成人综合网| 久碰视频| 五月丁香婷婷综合激情基地| 色婷婷激情视频| 五月丁香六月婷婷在线播放| 美国色五月天婷婷资源站| 天天色综合网吨吧| 网站免费一站二站| 日本综合久久| 亚洲精品又粗又大又爽A片 | 天天干电影| 久久一热| 免费看欧美成人A片无码| 亚洲精品99| 免费视频WWW在线观看网站| 欧美成人猛片AAAAAAA| 深爱激情六月天| 九九热这里只有精品31| 日日色综合| 在线超碰免费| 夜夜爱网站| 婷婷色五月天在线观看| 婷婷久久综合久| 五月天精品| 久久久久久97| 婷婷俺去也| 五月婷婷色| 久热免费| 婷婷激情五月| 五月天丁香婷婷久久九| 亚洲成人中文字幕| 操97免费超级视频| 欧美成人Va| 一本久久亚洲五月婷婷 | 色五月大| 成久综合视频| 九月婷婷丁香| 亚洲操b| 亚洲精品永久久久久久| 91精品国产91久久久久青草| 免费看欧美成人A片无码| 国产精品成人AV在线观看春天| www.91五月| www.九月婷婷丁香.com| 五月激情婷婷综合| 99激| 五月激情婷婷六月| 另类图片天天影视在线观看| 久久久亚洲精品一区二区三区浴池| 一本色道久久综合狠狠躁一二三 | 九色视频这里只有精品| 亚洲五月天另类小说图片| 99热综合在线| 中文成人在线| 久久天堂色| 精品99在线| 欧美日本综合网| 五月综合六月丁| 色99热| 欧美日韩成人高清在线| 国产毛片精品一区二区色欲黄A片| 91无码色色| yiqicaoav| 色色激情网| 久热这里有精品视频| www.99热. com这里只有精品| av人人干| 9+1视频网址| 99热综合在线观看| 五月丁香啪啪激情| 亚洲九九99精品视频在线播放| 色综合激情| 久久综合中文| 五月停视频天堂| 色九九七七| 欧韩性爱| 亚洲欧美一区二区三区爱爱动图| 亚洲色视频| 少妇人妻偷人精品无码视频新浪| 欧美日韩五月婷婷| 99热在这里只有免费精品| 五月婷婷网站| 老司机日日夜夜青草| 99ER热精品视频| 五月叮香啪| 激情色中文| 色婷婷丁香五月综合| 9久久久久| 亚洲精品又粗又大又爽A片| ww超碰在线| 九九综合色| 亚洲精品小视频| 色播播五月天| 亚洲亚洲人成综合网络| HD久久精品视频| 五月天日日操夜夜操 | 91一起操| 色婷婷文字幕| 伍月激情天| 色99网站| 五月丁香六月婷| 激情丁香五月天图片| 久草五月| 婷婷五月天开心网| 国产AV一区二区三区日韩| 少妇婷婷五月天| 婷婷的激情五月| 五月开心激情| 嫩草AV久久伊人妇女超级A| 婷婷色基地在线看 | 综合欧美五月婷婷| 久久久中文| www,婷婷五月天777me,com| 色五月五月天色婷婷色五月| 超碰人人干| 99热精品在线在线| 亚洲人人操| 午夜美女人啪最红院| 天天色天天操天天射| www.激情五月| 天天色99| 五月成人网天天| 婷婷色综合| 超碰啪啪网| 婷婷激情五月天网站| 婷婷五月花西瓜| www.五月.com| 国内久久亭亭| 五月天久久www| 国产一级片| 99热亚州综合| 亚洲综合网激情小说| 狠狠爱婷婷| 丁香五月婷婷欧美性爱| 99惹在线精品免费观看| 五月婷婷九| 婷婷综合中文字幕| 国产1区2区3区在线观| 天天综合网网欲色| 粉嫩AV久久一区二区三区 | 深爱 五月天| 激情综合网激情五月天| 人五月天婷婷喷水| 另类综合激情| 99乱视频| 亚洲综合欧美色丁香婷婷888月图片| 免费国产VA国产免费| 六月婷婷久久大全| 成人国产欧美大片一区| 深爱激情中文五月天av| 大香蕉久热| 极品少妇XXXX精品少妇偷拍| 9 1大香蕉| AA片在线观看视频在线播放 | 五月婷婷|欧美| 伊人大香蕉爱聚| 五月亭亭欧美女人| 久久五月天激情视频| 在线观看av网站| 精品国产AV色一区二区深夜久久| 国内久久亭亭| 综合狠狠干| 久久婷婷五月天蜜桃| 亚洲五月婷婷| 激情丁香久久久久久| 天天草婷婷五月| 五月丁香亭亭| 国产做爰视频免费播放| 91精品国产91久久久久青草| 五月成人天| 精品一二三区久久AAA片| 色综合九九色综合88| 立川无码av| 色五月婷婷亚洲| 91久久婷婷| 91精产品自偷自偷综合| 色色cOm| 五月天婷婷在线播放| 超碰精品国产首页| 色性日本| 婷婷导航| 午夜丁香综合婷婷| 涩综合在线| 四月婷婷五月丁香| 六六久久黄色| 99热精这里只有精品| 激情性爱五月| 秋霞网在线免费基地五月婷婷丁香| 激情丁香久久| 色五月综合网| 激情深爱婷婷网| 婷婷久久久久| 热久久婷婷| 丁香六月激情综合网| 色五月综合网| 新97人人上人人| 五月婷婷欧美| 伊人激情综合| 丁香五月丐人妻| 伊人久久艹| 日本99视频精品免费播放| 六月婷婷五月天| 九九99九九精品视频| 国产热精品| 成人片黄网站色大片免费毛片| 激情综合久久| 色五月色五天色情网| 任你干嘛免费视频播放| 婷婷五月天成人小说| 97操资源婷婷| 99国产性感视频| 九七色色六月丁香| 五月婷婷新网站| 99色色网| 五月丁香综合网色欲| 99精品网| 久久精彩综合视频| 丁香五月综合激情啪啪| 婷婷色在线播放| 婷婷六月综合激情| 91在线资源| 五月天六月婷| 日韩在线观看亚洲| 91色色色18| 婷婷五月乱交换| 色丁香影院| 超碰在线资源| 亚洲第一综合| 亚洲成人免费电影| 久久久久人妻| 丁香五月综合久久八| 99精在线| 老司机午夜福利视频金瓶梅| 午夜成人片400| 丁香五月婷婷激情视频播放| 亚洲色99综合天堂| 五月丁香网站| 久久精品91视频| 丁香激情四射| 99热在线观看| 国产人妻777人伦精品HD| 天天天日天天天干| 日韩肏屄网| 蜜臀99精品| 午夜成人AV在线| 202丰满熟女妇大| 婷婷色啪| 开心五月天私房婷婷| 婷婷伊人綜合中文字幕小说| 五月天婷婷久色| 99碰碰。| 婷婷激情六月综合| 狠狠色噜噜狠狠色噜噜噜999| 国产午夜成人AV在线播放| 6080av| 欧美69色| 深爱激情五月网| 欧美五月丁香在线观看| 精品一二三区久久AAA片| 五月婷婷色丁香| 大香蕉色婷婷伊人在线| 婷婷月五天在线在线看| 日曰躁夜夜躁2026| 日韩三级高清无码| 日本在线视频播放91| 色五月大香蕉| 日日天天操| 国产av第一专区| 五月天婷婷影院| 久久色频| 婷婷五月丁香激情图片 | 天天操天天日天天操| 激情色情五月天| 99亚洲视频| 停停色综合伊人| 婷婷黄色网| www.天天干| 在线观看996精品| 婷婷五月天小说网| 亚洲 六月 综合| 91啪啪视频| 欧美午夜乱妇午夜福利| 久热黄色| 五月丁香久久久| 97极品在线| 狠狠干.com| 久久99激情| 日本va网站| WWW.五月com| 99日本精品视频热| 丁香五月六月欧美| www.狠狠| 五月天丁香综合久久国产| 九九無妻| 99热精品在线播放| 亭亭五月丁香综合欧美| 色婷婷av综合网| 五月丁香婷婷综合| 婷婷久久精品| 五月天成人在线视频丁香| 婷婷六月成人| 五月婷婷丁香| 中文字幕在线播放视频| 天天透天天爱| 热99这里只有精品视频| 久9热| 97啪在线观看视频| 天天综合网在线| 丁香婷婷六月男男| 淫荡综合网| 成片免费播放| 9久9久| 亚洲春色奇米影视| 久久婷色| 激情六月丁香| 婷婷激情五月综合丁| 婷婷五月综合激情| 激情九色| 操比激情五月| 99精品视频免费观看近期发布| 日日夜夜天天| 激情第四色| 色丁香五月天| www久久艹| 五月婷婷中文字幕| 伊人午夜综合色啪| 六月丁香综合网| 色婷婷XXXXX| 久青操| 男同91 | 中文字幕在线资源| 久热伊人9| 麻豆AV一区二区三区| 色婷婷888| 91婷婷色 | 另类在线| 丁香婷婷色色| 99精品偷自拍| 欧美婷婷精品激情| 综合五月草| 超碰cap| 超碰日日操| 婷婷综合五月天激情| 日韩有码一区| 亚洲综合五月天婷婷丁香| 99热这里只有在线| 玖玖视频福利| 色婷综合| 伊人久久婷婷| 丁香五月成人婷婷| 先锋资源996| 亚洲AV免费国产电影| 婷婷在线精品| 五月天色婷婷激情| 色婷丁香五月| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 思思re99视频在线观看| 婷婷天天综合| 色婷久久| 超碰成人在线免费观看| 26uuu日韩| 激情五月小说婷婷| 天天狠狠插| 琪琪色热色色| 99视频在线9| 五月婷婷天| 色丁香五月天婷婷| 99热日韩这里只有精品| 五月丁香综合久久| 国产看真人毛片爱做A片| 丁香五月婷婷五月天| 人妻操逼视频。| 热99.com婷婷| 婷婷五月色播| enecarbon-materials.com污K127封锁请涟系@wip1688 | 色色综合激情| 国产乱子轮XXX农村| 五月婷婷69| 五月丁香六月婷婷不卡免费无码| 欧美图片丁香五月天| 91 影音先锋| 色婷婷丁香五月| 综合五月网| 夜夜www| 丁香九月综合激情| 九久热| 天天干,夜夜爽| 精品成人在线观看| 色色色9| site:jszngf.com| 综合网啪啪| 婷婷94s| 五月天激情国产综合婷婷婷| 婷婷综合精品| 丁香婷婷五月| 四色女婷婷| 玖玖视频福利| 97久人人| 99色在线视频观看| 99丁香婷婷综合网| 久久人人看| 综合色色婷婷| 天天草天天日| 热久久99视频| 99热r| 国产精品丝| 91|疯狂丨高潮丨对白| 激情婷婷色色| 99热| 婷婷五月天久久久| 深爱丁香激情| 99精品这里只有免费视频| 久久精品五月天| 激情五月九九九| 666555。COm毛片| 婷婷中文字幕| 综合99久久| 美女天天爽| 五月婷久久在线| www.粉嫩av.com| 97人妻碰碰碰久久香蕉| 五月天丁香综合在线| 婷婷综合九色伊人| 丁香六月综合激情| 色播五月天激情| 久久资源网五月婷| 久9视频免费播放| 亚洲AAA| www.激情五月天。com| 极品色丁香| 丁香五月第四色88| 综合色网站| 九九久久色| 中文字幕 中文字幕明步 | 五月丁香六月激情综合欧美| 91人妻视频| 五月激情网五月综合网| 婷婷五月激情图片| 大香蕉久久草| 国产成人在线不卡AV| 色婷婷亚洲综合av| 色播激情| 婷婷六月偷拍| www.99.色| 亚洲午夜成人av电影网| 国产偷人爽久久久久久老妇APP| 99色在线视频| 久久婷婷六月综合| 97福利视频| 97福利视频| 五月婷婷六月爱| 五月色婷婷亚洲 | 五月色婷婷AV| 五月天伊人日日噜影片AV| 日韩一区二区在线播放| 婷婷五月天激情网址| 97人妻碰碰中文无码久热丝袜| 亚洲熟女色| 一区二区三区视频| www.av视频xx999.com| 超级黄色片| 99re免费在线视频| 亚洲色色五月| 4399欧美另类视频| 超碰伊人碰婷婷五月| 9 9热这里有精品| 伊人久久大香| 五月婷综合| 操逼综合激情网| 婷婷丁香中文字幕| 91婷婷视频| 69超碰在线| 亚洲色图欧美色图日本视频| 777精品久无码人妻蜜桃| 国产精品人人做人人爽人人添| 日本三级大片| 色色丁香| 激情五月激情综合网| 极品少妇XXXX精品少妇偷拍| 最近免费中文字幕大全高清大全1| 99色综合| 国产99久久久国产精品免费看| 成人国产欧美大片一区| 爱久久小说下载网| 九九九激情网| 一本到不卡高清DVD| 久久性都花花世界成人免费视频| 99久久五月婷婷| 玖玖热99| 亚洲无码成人网| 婷婷伊人视婷婷婷| 久婷久婷| 乱码操操| 色色婷婷丁香| 天天综合网、天天综合色| 五月丁香亚洲校园欧美| 婷婷久久女人| 五月天婷婷亚洲| 色婷婷文字幕| 99九九在线观看免费| 任你爽免费视频| 亚洲激情综合网| 色五月丁香六月资源站| 成年AAAA色情| 99热精品9| 激情综合丁| 亚洲AV色婷婷人禽五月天| www.99热这里精品| 久久99久久99精品免观看粉嫩| 天天综合久久| 丁香婷婷色五月| 成人看片网站| 国产精品电| 国产精品99久久久久久久女警| 国产成人精品亚洲线观看| 五月婷三级片| 中文字幕性爱视频| 久久婷婷亚洲| 6月丁香婷婷激情| AV天堂婷婷五月天| 五月天综合视频| 五月丁香综合| 激情六月天| 色哟哟www| 五月开心久久| 色吧婷婷五月亚洲| 超碰在线网站| 91凹凸在线| 99五月丁香丁| α久久| 亚洲综合热| 天天肏天天肏天天肏| 99热最新| 亚洲网综合在线| 色色五月综合| 超碰人妻在线| 激情五月网站| 五月丁香六月婷婷网| 九九综合| 97人人超| 5Www色5夜| 99久久视频| 日韩欧美老妇性视频91久久久| 天天日天天添| 色吊丝永久访问网址| 99福利导航| 欧美va亚洲va| 久久亚洲婷婷| 色色色在线观看| 婷婷五月在线视频| 蜜臀av 粉嫩av 懂色av| 色五月超碰| 99 色色吧| 丁香月六月| 婷婷五月天久久| 极品人妻XXXXOOOO| 婷五月天六| 大香蕉久久| 天天干夜夜欢| 99热这里都是精品| 99熟女| 丁香婷婷五月激情四射网| 天堂色婷婷| 很很操96| 无码任你操| 午夜大香蕉| 爆乳熟妇一区二区三区四区| 色综合色色色色| 久久这里只精品66| 操逼在线视频| 91婷婷色| 色婷婷成人做爰A片免费看网站| 激情骚五月| 99re熱| www.ppypp| 97人人超| 九月丁香久久网| 另类图片激情五月| 怡红院院久久| 成人综合AV| 久久小说网| 奇米网大香蕉| 五月天婷综合网站| 亚洲天堂aaaa| 丁香五月婷婷基地| 色99免费视频中文| 亚洲人人96@| 丁香五月婷婷视频| 久久精彩视频| 亚洲av成人电影在线观看| 久久五月视频| 精品人妻久久久久久| 九九色影院| 成人日韩欧美| 成人VAV视频在线观看| 99精品久久| 婷婷激情丁香六月| 开心激情五月天网| 日韩婷久| 99极品视频| 色婷婷五月天| 久久中文网| 中文字幕AV在线| 色五月婷婷五月丁香五月| 丁香六月婷婷| 日本三级片片| 婷婷在线操| 色婷婷小说网| 国外亚洲成AV人片在线观看| 日本色天堂| 午夜电影网VA内射| 操骚货在线| 国产婷婷久久| 五月色欧洲| 五月婷中文字幕| 五月丁香六月综合图| 久久婷婷五月综合97色一本| 五月丁香另类网| 亚州操人在线视频| 操日本色| 伊人日日干| 六月激情婷婷| 97热超碰| 丁香五月婷婷色五月| 国产成人在线精品| 99操不停| 亚洲婷婷丁香五月亚洲| 日本欧美国产| #NAME?| 思思热99er在线视频| 91人人操人人爱| 色婷婷小说| 激情久久久久久久久久久| 人人人人人人人草| 日日夜夜天天| www.maotanji.com| 婷婷干五月综合在线播放| 五月婷婷六月色| 欧美超级视频97| 岛国av电影网站| 99亚洲天堂| 秋霞A V毛片| 99热这里精品| 成人婷婷色综合| 婷婷欧美激情综合| 99久在线观看| 密视AV综合在线| 婷婷五月天熟妇| 久久99热这里只频精品6学生| 日韩精品超碰在线观看| 五月天精品视频| 无码人妻丰满熟妇奶水区码| 深夜男女福利刺激影院一区完整| 天天插综合| 99ER热精品视频| 操人91| 先锋资源婷婷| 色黄啪啪| 玖操97| 久久婷婷伊人| 97福利视频| 欧美超级视频97| 99干免费视频| 人妻熟妇六区| 午夜婷婷| 91丨九色丨熟女| 99re热视频这里只精品5| 91色呦哟| 国产成人VA| 五月天伊人网| 婷婷99狠狠躁天天| 日韩精品一区二区亚洲AV观看| 国内久久婷婷| 五月婷婷婷婷婷婷艺术| 欧美韩国日本| 丁香六月婷婷五月天| 超碰99在线观看| 色色色婷| 婷婷 丁香 精品| 狠狠色狠狠色综合日日91| 天天干天天 亚洲| 开心五月婷婷| 台湾综合丁香五月蜜桃| 丁香六月啪啪| 成人一级片| 激情中文在线| 久久婷综合网| 综合网亚洲| 九九Y精品热播| 久久婷婷亚洲五月天| 国产欧美日韩综合精品一区二区| 激情六月下句是什么| www.色99| 色999;丁香五月| 久久精品婷婷| 操操天堂| 五月丁香六月婷婷成人电影| 丁香五月综合无码趴趴| 五月六月丁香激情| 婷婷福利影院| 婷婷色成人| 色欲久久99精品久久久久久| 亚洲成人电影aaaa| 日本少妇裸体做爰高潮片| 丁香婷婷免费| 粉嫩AV久久一区二区三区| 立川无码av| 91超级碰| 电影爱拉战争免费观看| 超碰在线99| 性爱在线播放av| 久久综合九九| 99在线观看视频精品| 日本欧美成人片AAAA| 色五月开心婷婷| 天天插天天插| 思思99热在线| 亚洲高清在线| 国产色色网站网址| 少妇熟女视频一区二区三区| 色色日韩| 九九Av| 五月天无码视屏播放| 婷婷综合五月| 亚洲人人96@| 天天干,天天日| 深爱激情AV| 亚洲精品久久久久久久久久飞鱼| 婷婷激情综合网| 性爱网五月婷婷| 5月丁香六月婷婷| 欧美性爱专区| 久久少妇视频| 五月婷婷色白丝| 久热这里| 婷婷久久精品| 色色五月丁香婷婷| 91狠狠综合久久久久久| 色色色网站| 99在线观看免费精品视频| 日日影院 | 五月婷六月丁香| 午夜激情四射影院| 狠狠色狠狠操| 91网站黄| AA丁香综合激情| 人人色婷婷五月天| 欧美内射AAAAAAXXXXX| 九九色99| 在线sebiav精品视频| 99色视频在线| 久婷婷婷| 亚洲中文乱字字幕在线永久| 天天干夜夜操A片| ..真实国产乱子伦对白在线_欧| 五月婷六月丁香| 欧美色偷偷大香| 色狠久| 色播五月天婷婷老师| 在线看片av| 五月天无码| 俺去也五月| 五月丁香WWW| 久热精品免费视频4| 久久机热/这里只有精品| 天堂综合久| 91超级碰碰碰| 99热这里只有精品98| 日本少妇裸体做爰高潮片| www.俺去也com| 成人片在线免费看| 97干免费视频| 婷婷免费精品视频| 黄色片久久| 丁香五月播播| 超碰com| 丁香色色网| 777.色色| 超碰97在线操| 色色色免费视频| 激情丁香六月| 爱射综合| 天天免费日日夜夜夜夜| 啪精品| 色五月激情综合网| 成人婷婷五月天| 丁香五月伊人| www.99热这里精品| 97人人操人人干| 九九视频在线观看视频6 | 日日夜夜小色哥| 91艹人| 五月丁香综合激情| 色青五月天| 一级黄色片看看| 2020日日干| 六月99天天婷婷激情综合| 无码少妇高潮喷水A片免费| 女力报到正好爱上你| 熟美女麻豆| 大香蕉综合网| 欧美噜一噜| 五月亭亭欧美女人| 日日操日日撸| 欧美综合激情五月| 五月丁香综合中文| 99色视频| 久久机热这里只有 | 色婷婷六月性| Www.sesese丁香| 综合五月丁香六月婷婷| 五月丁香日本在线视频观看| 999热在线观看视频| 日本色色网站| 色色色色色色色综合| 97超碰99热99| 99热国产| 九玖欧洲亚洲| 五月丁香激情综合六月涩涩爱| 91丨九色丨大屁股| 99久久性爱| 丁香五月自拍| 国产午夜成人免费看片无遮挡| 99精品视频网| 婷婷色播婷婷| 久草婷婷在线| 国产精品电影网| 情欲综合网| 91色碰| 激情综合五月丁香| 99亚州综合精品成人网| 掩去也综合五月视频| 91九九九九九九| 武则天精品久久| 色婷婷五月天激情综合| 丁香五月 无码| 五月天桃色深爱网| 手机免费福利视频| 级情九色| 婷婷五月成人社区| 婷婷色网站| 婷婷五月激情在线| 99无码超碰| 激情6月| 综合色99| 天天干天天色天天干| 97久久精品| 中文字幕中文有码在线| 婷婷婷久久久| 日在线V视频在线播放| 久久一级免费黄色片| 日本色五月| 色欲色香综合网| 久久永久网址| 综合 蜜月 婷婷| 国产激情久久| 99热| 天天干天天 亚洲| 国产熟女一区二区三区五月婷| 九色在线五月婷婷网址| 8区视频在线| 99视频热| 亚州精品色情无码A片| 日本情色一区二区| 激情99| 色天堂A| 日本成人小说婷婷六月| 99干视频| 人碰人人人玩91| 俺去也综合| 九九99久久| 99re思思在线视频| 亚洲午夜电影| 色五月丁香A欧美com| 精品人人操| www.99成人视频| 色五月丁香六月资源站| 国产小网站| 屁股翘好撅高迎合跪趴| 激情四射网| 亚洲五月天婷婷在线| 秋霞三级色戒| 91在线操| 五月婷婷 婷婷五月 一区二区 久久久| 国产亚洲色婷婷久久99精品91| 日韩十国产极品久久| 婷婷五月激情四月综合 | 久久久九九九 99| 蜜桃人妻无码AV天堂三区| 激情综合国产| 六月丁香婷婷开心综合基地| 激情av| 亚洲蜜乳AV| 爱爱网址9| jiZZdr| www.色擼擼.com| 婷婷五月激情六月丁香| 五月婷婷偷拍| 香蕉色色网| 亚洲精品又粗又大又爽A片 | 开心五月婷婷激情| jiZZdr| 欧美亚洲婷婷五月| www.激情在线| A1片久久久| 日韩AV免费| 青青草视频免费观看| 色五月婷婷丁香五月| 天天日天天舔| AV天堂婷婷五月天| 久久99这里| 五月丁香 啪啪| 国产黄色av| 国产69久久久欧美黑人A片| 九热视频| 色色色五月婷| 亚洲日韩欧美综合VA| 日韩AAA| 久99久精品视频| 日本高清不卡免费一区二区三区| 老师的粉嫩小又紧水又多A片视频| 欧美色婷婷| 综合网色| 26uuuavcom| 久久久婷| 4399伦理午夜| 超级碰碰99| 香蕉久久国产AV一区二区| 色五月天综合网| www.97碰碰com| 婷婷综合激情| 激情色视频| 天天天久久久| 国产成人网站在线观看| 五月天婷婷情色| 狠狠色狠狠色综合日日91| 婷婷色色综合| 国产亚洲精品AAAA片APP| 狠狠狠狠狠干| 9l视频自拍9l九色成人| 超碰不卡在线| 99九九精品| 就去涩涩丁香五月天| 色五月婷婷狠狠撸| 五月婷婷av| 五月婷激情影院| 大鸡巴伊人网| 婷婷五月丁香亚洲| 99久在线精品99re8热| 五月天激情图| www。五月天。com| 人人操Av| 婷婷五月av| 五月色网| 国产精典视频在线观看| 天天干天天操天天射| 久久女人九九| 午夜AV网| 爱iii做iiii日| 无码激情AAAAA片-区区| 五月天激情网图片| 天天天天天日| 91性高潮久久久久久久久| 99在线观看精品| 欧美婷婷色五月| 色5月婷婷| 美女激情婷婷| 能看的av片| 97亚洲色 torrent magnet| 操碰91| 99ri国产| 色五月婷婷av| 天天搡日日搡aaaaⅩ| 日韩日比视频| 4438成人电影| 色444综合网| 婷婷丁香综合色AV| 精品视频网| 国产超碰av| 激情五月婷色| 丁香五月婷婷香| 超碰2021| 婷婷丁香成人| 丁香五月天婷婷久久综合| 99久久66| 五月婷婷激情四季| 亚洲五月天,激情视频| 91久久久久久| 97碰啪啪| 91丨九色丨国产打屁股| 综合激情婷婷| 激情丁香五月天综合| 日韩成人精品中文字幕| 五月开心婷婷极品激情| 久久五月天激情美女| 综合狠狠伊人| 日日操夜夜爽白洁| 亚色网站小视频| 夜夜天天久久婷婷| 久久九九99字幕| 大狠狠在线| 激情小说之五月| 亚洲婷婷激情888精品久| 婷婷色丁香五月| 婷婷五月噜噜| 综合五月丁香六月婷婷| 激情五月丁香六月综合AVXXXX| 激情丁香六月| 日本高清综合网五月丁香| 久久精品人妻| 五月丁香激情综合啪啪| 久久永久视频| www婷婷| 亚洲成人在线播放| 五月婷婷无码| 五月婷婷丁香六月| 99成人| 99久久国产宗和精品1上映| 九八Av| 91人妻人人操| 日本9区视频| 婷色视频| 国产av基地| 中文AV在线播放| 这里只有精品视频222| 激情五月天啪啪视频| 久婷婷五月激情| \\五月天婷婷激情| 六月色国内综合| 三级大香蕉网| 丁香六月成人| 五月天激情小说| 欧美激情综合色综合啪啪五月| 九月婷婷久久久| 久久婷婷五月| 免费AV播放| 国产午夜精品AV一区二区麻豆| 欧美色男人网站| 99@久久@99精品视频| .comwww在线观看免费操| 色婷婷最新域名| 久久总和99| 国产亚洲99久久精品| 99视频地址| yazhouzonghesese| 久久成人人妻| 激情五月综合婷婷| www.99婷婷| 99热这里精品| 国产精品天天狠天天看| 91碰碰视频在线观看| 色青五月天| 成人亚洲精品| 三区激情四射av| 99色1| 狠狠草在线观看| 91久久色| 97碰免费视频在线| 思思热在线视频精品| 亚洲三A| 香港九九六区八区99| 日本天堂免费99| 九九99九九99| 激情综合青草| 五月丁香婷婷伊人| 可以直接看的av| 国产精品久久久久久白浆色欲| 色婷婷丁香五月| 99干在线视频| 99在线热视频| 7月婷婷六月丁香| 丁香激情合作五月| 五月婷婷六月丁香色| 国产在这里只有精品| 国产激情视频在线观看| 99在线精品视频| 色色色色色色综合网| 激情综合婷婷久久| 九九九九国产| 安息电影在线观看完整版| A久网| 91AV婷婷| 婷婷五月成人| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 99久久丝| 久久96热| 夜色综合网| 丁香五月大香蕉| 日本波多野结衣视频| 日本色天堂| 五月天欧美 另类小说| 五月婷婷真爱激情网| 久久婷婷色| 91紱請| 97超碰在线免费观看| 亚洲色色在线| 天天狠狠夜夜狠狠2023| 色色色9| 丁香五月-激情综合| 色综合偷拍| 狠狠色狠狠干| 天天做天天爱天天综合网| 99久久综合网| 95精品区一区二| 玖玖午夜视频| 色五月xxx| 久久婷婷五月天综合| 国产成人网| 婷婷五月天淫荡| 亚洲精品影视| 影音先锋 婷婷| 国产激情在线| 福利视频在线播放| 日韩有码久久| av婷婷丁香 六月| 婷婷五月天免费视频| 五月天综合在线| 婷婷干| 五月丁香大香蕉| 丁香五月天视频在线播放| 99激情在线| 色五月丁香com| 91尤物九色在线| 开心五月天激情| 婷婷综合网站| 情色五月天 网站| 99热网站| 婷婷五月天啪啪| 精品成人在线观看| 色情婷婷五月天| 永久天堂日本| 色欲九区| 丁香五月天啪啪激情综合网| 色久九| 六月婷婷毛片| 最新色色五月天| 26UUU精品一区二区Com| www色五月| 日本美女97在线视频| 亚洲综合五月天婷婷丁香| 五月天婷婷导航| 丁香蜜臀黄色婷婷五月天| www久久久久久久久久久| 婷婷97碰碰| 五月天色婷婷基地| 99久久99久久综合| 色香蕉婷婷| 天天综合天综合久久网| 日韩色色色色色| 久久婷婷综合五月趴| 91Chinese在线| 久久 无毛。| 思思色综合网站| 天天噜| 一本大道熟女人妻中文字幕在线 | 亚洲日本激情| 有哪些A片网站| 99热精品在线| 色婷婷情片| 五月天激情中文字幕| 久久久网站| 日本三日本三级少妇三级66| 色婷婷视频| 99福利导航| 久久婷婷艹| 夜夜骑日日操| 亚洲乱码在线观看| chaopeng在线人人| 婷婷在线观看五月天在线视频| 五月天综合色| 久久一级AV| 六月丁香激情综合网| 激情五月丁香婷婷| 欧美成人在线观看| 国产韩日亚洲美州欧亚综合在线| 六月丁香五月天| 免费观看全黄做爰的视频| 九九色人| 丁香五月激情婷婷婷婷在线观看| 精品一二三区久久AAA片| 久久精品视频99| 五月天开心婷婷激情网站|