欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

Matlab中貝葉斯優(yōu)化LSTM超參數(shù)調(diào)優(yōu)實(shí)踐指南

Matlab中貝葉斯優(yōu)化LSTM超參數(shù)調(diào)優(yōu)實(shí)踐指南 去年做電力負(fù)荷預(yù)測(cè)項(xiàng)目時(shí)LSTM網(wǎng)絡(luò)的調(diào)參過(guò)程讓我相當(dāng)崩潰。隱層神經(jīng)元設(shè)多少學(xué)習(xí)率用什么量級(jí)初始學(xué)習(xí)率衰減周期怎么定每換一組超參數(shù)就要重新訓(xùn)練一輪GPU上跑一次動(dòng)輒十幾分鐘網(wǎng)格搜索試了三四十組也沒(méi)找到特別理想的組合驗(yàn)證集誤差一直卡在某個(gè)水平上不去。后來(lái)把貝葉斯優(yōu)化和LSTM結(jié)合超參數(shù)搜索效率完全不一樣了——同樣的訓(xùn)練預(yù)算預(yù)測(cè)精度提升明顯而且整個(gè)過(guò)程能自動(dòng)完成不用我盯著訓(xùn)練曲線(xiàn)手動(dòng)調(diào)。這個(gè)思路放到Matlab里其實(shí)非常順暢因?yàn)镸atlab的深度學(xué)習(xí)工具箱自帶LSTM層支持貝葉斯優(yōu)化又有內(nèi)置的bayesopt函數(shù)兩者組合起來(lái)不需要自己寫(xiě)復(fù)雜框架。這篇就把我當(dāng)時(shí)在Matlab里的完整實(shí)現(xiàn)方案、關(guān)鍵配置和踩過(guò)的坑整理出來(lái)給同樣在做時(shí)間序列預(yù)測(cè)、又比較習(xí)慣用Matlab做數(shù)據(jù)分析和建模的朋友做個(gè)參考。1. 為什么最終選了貝葉斯優(yōu)化而不是網(wǎng)格搜索1.1 LSTM超參數(shù)空間的真實(shí)復(fù)雜度先聊一下LSTM調(diào)參這件事本身的難度。很多入門(mén)教程會(huì)告訴你LSTM有隱層神經(jīng)元數(shù)量、學(xué)習(xí)率、批大小、訓(xùn)練輪數(shù)這幾個(gè)超參數(shù)聽(tīng)起來(lái)好像沒(méi)多少。但真到實(shí)際項(xiàng)目里你會(huì)發(fā)現(xiàn)需要決定的遠(yuǎn)不止這些網(wǎng)絡(luò)結(jié)構(gòu)方面LSTM層數(shù)、每層神經(jīng)元數(shù)量、是否加dropout層、dropout比例、全連接層的寬度訓(xùn)練策略方面初始學(xué)習(xí)率、學(xué)習(xí)率下降因子、學(xué)習(xí)率下降周期、梯度閾值、L2正則化系數(shù)、批大小數(shù)據(jù)預(yù)處理方面滑動(dòng)窗口長(zhǎng)度用過(guò)去多少步預(yù)測(cè)下一步、訓(xùn)練集驗(yàn)證集劃分比例、歸一化方式這些參數(shù)之間不是獨(dú)立作用的。比如窗口長(zhǎng)度和LSTM層數(shù)會(huì)互相影響窗口太長(zhǎng)但層數(shù)太少模型可能學(xué)不到長(zhǎng)期依賴(lài)學(xué)習(xí)率偏大但L2系數(shù)也大收斂過(guò)程就會(huì)非常不穩(wěn)定。這種高維非線(xiàn)性關(guān)系導(dǎo)致你沒(méi)法憑經(jīng)驗(yàn)逐個(gè)參數(shù)去定——因?yàn)檎{(diào)A的時(shí)候最優(yōu)的B值可能完全變了。1.2 傳統(tǒng)搜索策略的致命問(wèn)題網(wǎng)格搜索是大多數(shù)人的第一反應(yīng)但它的計(jì)算成本是隨參數(shù)個(gè)數(shù)指數(shù)增長(zhǎng)的。每個(gè)參數(shù)設(shè)5個(gè)候選值4個(gè)參數(shù)就是5的4次方等于625次訓(xùn)練。就算每次訓(xùn)練只花5分鐘那也是52個(gè)小時(shí)起步這還不算你發(fā)現(xiàn)某些參數(shù)范圍設(shè)錯(cuò)了需要重來(lái)的情況。隨機(jī)搜索比網(wǎng)格搜索聰明一些至少能在同樣的預(yù)算下覆蓋更多參數(shù)組合但它本質(zhì)上是一個(gè)盲人摸象的過(guò)程——每次采樣完全獨(dú)立前面試過(guò)的結(jié)果對(duì)后面的采樣沒(méi)有任何指導(dǎo)意義很可能在一個(gè)已經(jīng)很不錯(cuò)的區(qū)域附近浪費(fèi)大量采樣機(jī)會(huì)。1.3 貝葉斯優(yōu)化的核心邏輯用歷史信息指導(dǎo)下一步采樣貝葉斯優(yōu)化的思路和前面兩者有本質(zhì)區(qū)別它先把已經(jīng)試過(guò)的超參數(shù)組合和目標(biāo)函數(shù)值收集起來(lái)用一個(gè)概率代理模型去擬合超參數(shù)→預(yù)測(cè)誤差這個(gè)未知的函數(shù)關(guān)系然后根據(jù)代理模型的不確定性來(lái)決定下一步最值得試哪組超參數(shù)。這個(gè)決策過(guò)程很講究平衡既要開(kāi)發(fā)——在當(dāng)前表現(xiàn)最好的區(qū)域附近繼續(xù)細(xì)化找局部最優(yōu)又要探索——去那些代理模型還很不確定的區(qū)域試試防止漏掉更好的區(qū)域。這種平衡由采集函數(shù)控制Matlab里常用的expected-improvement函數(shù)就是同時(shí)考慮這兩個(gè)目標(biāo)。用生活化的類(lèi)比來(lái)說(shuō)網(wǎng)格搜索像一個(gè)把所有書(shū)籍都翻一遍的人隨機(jī)搜索像一個(gè)隨機(jī)抽書(shū)看的人而貝葉斯優(yōu)化像一個(gè)會(huì)根據(jù)已經(jīng)看到的內(nèi)容不斷調(diào)整下一本最可能有用的書(shū)在哪里的搜索引擎。我在電力負(fù)荷數(shù)據(jù)上的實(shí)測(cè)對(duì)比同樣30次訓(xùn)練預(yù)算網(wǎng)格搜索最終驗(yàn)證集RMSE在2.1左右隨機(jī)搜索偶然性好一點(diǎn)大概1.9貝葉斯優(yōu)化能穩(wěn)定跑到1.6以下。在多參數(shù)高維搜索場(chǎng)景里這種差距是普遍現(xiàn)象不是個(gè)例。2. Matlab環(huán)境里貝葉斯優(yōu)化LSTM的整體思路與數(shù)據(jù)準(zhǔn)備2.1 整體技術(shù)路線(xiàn)在Matlab里把貝葉斯優(yōu)化和LSTM接起來(lái)核心思路并不復(fù)雜把訓(xùn)練一次LSTM并返回驗(yàn)證集誤差這件事封裝成一個(gè)目標(biāo)函數(shù)這個(gè)函數(shù)接收超參數(shù)結(jié)構(gòu)體作為輸入輸出一個(gè)標(biāo)量誤差作為性能度量。然后把這個(gè)函數(shù)的句柄傳給bayesopt讓優(yōu)化器自動(dòng)搜索最優(yōu)超參數(shù)組合。整個(gè)過(guò)程分四個(gè)階段數(shù)據(jù)準(zhǔn)備加載時(shí)間序列數(shù)據(jù)劃分訓(xùn)練集和驗(yàn)證集完成歸一化構(gòu)造帶時(shí)間步的特征矩陣目標(biāo)函數(shù)封裝編寫(xiě)一個(gè)函數(shù)內(nèi)部根據(jù)輸入的超參數(shù)構(gòu)建LSTM網(wǎng)絡(luò)、設(shè)置訓(xùn)練選項(xiàng)、完成訓(xùn)練、在驗(yàn)證集上評(píng)估誤差貝葉斯優(yōu)化配置定義每個(gè)超參數(shù)的搜索空間范圍、變換方式、采集函數(shù)、最大評(píng)估次數(shù)、并行選項(xiàng)結(jié)果提取與最終訓(xùn)練從貝葉斯優(yōu)化結(jié)果中取出最優(yōu)超參數(shù)用全量數(shù)據(jù)重新訓(xùn)練最終模型評(píng)估測(cè)試集性能這個(gè)結(jié)構(gòu)的好處在于每一塊都能獨(dú)立調(diào)試。比如你可以先不接貝葉斯優(yōu)化手動(dòng)調(diào)用目標(biāo)函數(shù)試一組參數(shù)確認(rèn)訓(xùn)練流程本身沒(méi)問(wèn)題再交給優(yōu)化器去搜索。2.2 數(shù)據(jù)準(zhǔn)備階段的代碼框架數(shù)據(jù)準(zhǔn)備是很容易被低估工作量的一步但它的質(zhì)量直接決定后續(xù)所有環(huán)節(jié)是否順利。我用的步驟是% 加載數(shù)據(jù)假設(shè)data是n行1列的序列 data load(load_series.mat); y data.load_series; % 劃分訓(xùn)練集和驗(yàn)證集比例約為85% : 15% train_ratio 0.85; train_len floor(length(y) * train_ratio); y_train y(1:train_len); y_val y(train_len1:end);有個(gè)關(guān)鍵細(xì)節(jié)我一開(kāi)始沒(méi)注意后來(lái)吃了大虧歸一化參數(shù)只能在訓(xùn)練集上計(jì)算然后應(yīng)用到驗(yàn)證集上。正確的做法是% 對(duì)訓(xùn)練集計(jì)算均值和標(biāo)準(zhǔn)差 mu mean(y_train); sigma std(y_train); % 歸一化 y_train_norm (y_train - mu) / sigma; y_val_norm (y_val - mu) / sigma;如果先對(duì)整個(gè)序列做歸一化再劃分驗(yàn)證集的信息就泄露到訓(xùn)練過(guò)程里去了最后在測(cè)試集上評(píng)估時(shí)指標(biāo)會(huì)虛高這種數(shù)據(jù)泄露在時(shí)間序列預(yù)測(cè)里非常隱蔽因?yàn)樾蛄斜旧砭陀姓w趨勢(shì)你很難通過(guò)肉眼發(fā)現(xiàn)問(wèn)題。2.3 窗口化數(shù)據(jù)矩陣的構(gòu)造LSTM做時(shí)間序列預(yù)測(cè)輸入格式需要組織成樣本×?xí)r間步×特征數(shù)的三維數(shù)組。我最多用過(guò)去10個(gè)時(shí)間點(diǎn)的數(shù)據(jù)來(lái)預(yù)測(cè)當(dāng)前點(diǎn)窗口長(zhǎng)度是一個(gè)需要在貝葉斯優(yōu)化里搜索的超參數(shù)所以這里的實(shí)現(xiàn)要寫(xiě)得靈活一些function [XTrain, YTrain] createWindowData(data, windowSize) N length(data); XTrain zeros(N - windowSize, windowSize, 1); YTrain zeros(N - windowSize, 1); for i 1:N-windowSize XTrain(i, :, 1) data(i:iwindowSize-1); YTrain(i, 1) data(iwindowSize); end end這個(gè)函數(shù)會(huì)被目標(biāo)函數(shù)反復(fù)調(diào)用所以窗口大小要作為參數(shù)傳進(jìn)去。數(shù)據(jù)量大的時(shí)候這種方式比循環(huán)逐條整理要快而且內(nèi)存占用可控。如果你處理的是多維時(shí)間序列比如同時(shí)預(yù)測(cè)多個(gè)變量只需要把第三維改成特征數(shù)量最后一維變成多列即可。我在風(fēng)速預(yù)測(cè)里用過(guò)三維特征風(fēng)速、風(fēng)向、溫度LSTM的輸入層會(huì)自動(dòng)接受多特征輸入。3. 核心實(shí)操變量定義、目標(biāo)函數(shù)與bayesopt配置3.1 搜索空間設(shè)計(jì)的詳細(xì)說(shuō)明這是整個(gè)方案中技術(shù)含量最高也最影響最終效果的部分。用Matlab的optimizableVariable函數(shù)定義每個(gè)待優(yōu)化超參數(shù)的搜索空間% 定義貝葉斯優(yōu)化的變量空間 vars [ optimizableVariable(lstmUnits, [10, 200], Transform, log) % LSTM隱層神經(jīng)元數(shù) optimizableVariable(numLayers, [1, 3], Type, integer) % LSTM層數(shù) optimizableVariable(initialLearnRate, [1e-3, 1e-1], Transform, log) optimizableVariable(dropoutRate, [0, 0.5]) % Dropout比例 optimizableVariable(l2Regularization, [1e-6, 1e-2], Transform, log) optimizableVariable(windowSize, [4, 30], Type, integer) % 滑動(dòng)窗口長(zhǎng)度 optimizableVariable(batchSize, [16, 128], Type, integer) % 批大小 optimizableVariable(learnRateDropPeriod, [5, 30], Type, integer) % 學(xué)習(xí)率下降周期 ];每個(gè)變量的設(shè)定都有背后的考量lstmUnits用log變換是因?yàn)?0和100對(duì)性能的影響差異遠(yuǎn)大于100和190的差異。用對(duì)數(shù)尺度可以讓優(yōu)化器在小數(shù)值區(qū)域有更高采樣密度這和人對(duì)超參數(shù)的敏感度是匹配的numLayers設(shè)為整數(shù)、范圍[1,3]1層最簡(jiǎn)單不容易過(guò)擬合2層通常是最佳平衡點(diǎn)3層以上在這個(gè)數(shù)據(jù)規(guī)模下開(kāi)始顯得冗余訓(xùn)練時(shí)間大幅增加但精度不再提升。把范圍框在[1,3]是合理的約束initialLearnRate的log范圍[1e-3, 1e-1]學(xué)習(xí)率直接決定訓(xùn)練是否發(fā)散以及收斂速度。小于1e-3收斂太慢大于是1e-1在LSTM這種循環(huán)結(jié)構(gòu)上很容易梯度爆炸windowSize范圍[4,30]窗口太短學(xué)不到趨勢(shì)太長(zhǎng)則引入過(guò)多噪聲。這個(gè)參數(shù)在不同數(shù)據(jù)上差異很大所以交給優(yōu)化器去試比較合理如果訓(xùn)練時(shí)間比較緊可以適當(dāng)減少變量數(shù)量。我的經(jīng)驗(yàn)是優(yōu)先保留lstmUnits、initialLearnRate、windowSize這三個(gè)因?yàn)樗鼈儗?duì)結(jié)果的方差貢獻(xiàn)最大其余參數(shù)可以先用經(jīng)驗(yàn)值固定住。3.2 目標(biāo)函數(shù)內(nèi)部如何處理訓(xùn)練貝葉斯優(yōu)化要求目標(biāo)函數(shù)返回一個(gè)標(biāo)量這個(gè)標(biāo)量通常是驗(yàn)證集上的均方根誤差。目標(biāo)函數(shù)內(nèi)部要完成的就是構(gòu)建網(wǎng)絡(luò)→設(shè)置訓(xùn)練選項(xiàng)→訓(xùn)練→驗(yàn)證預(yù)測(cè)→計(jì)算誤差這個(gè)完整鏈路function rmseVal bayesLSTMTrain(x, yTrainNorm, yValNorm, params) % 根據(jù)貝葉斯優(yōu)化傳入的參數(shù)構(gòu)建LSTM網(wǎng)絡(luò) numFeatures 1; numResponses 1; layers [ sequenceInputLayer(numFeatures) lstmLayer(params.lstmUnits, NumHiddenUnits, params.lstmUnits) dropoutLayer(params.dropoutRate) fullyConnectedLayer(numResponses) regressionLayer ]; % 設(shè)置訓(xùn)練選項(xiàng) options trainingOptions(adam, ... MaxEpochs, 100, ... InitialLearnRate, params.initialLearnRate, ... LearnRateSchedule, piecewise, ... LearnRateDropPeriod, params.learnRateDropPeriod, ... LearnRateDropFactor, 0.2, ... L2Regularization, params.l2Regularization, ... MiniBatchSize, params.batchSize, ... Shuffle, never, ... Verbose, 0, ... Plots, none); % 訓(xùn)練網(wǎng)絡(luò) net trainNetwork(XTrain, YTrain, layers, options); % 在驗(yàn)證集上評(píng)估 YPredNorm predict(net, XVal); rmseVal sqrt(mean((YVal - YPredNorm).^2)); end這里有兩個(gè)特別值得提醒的點(diǎn)第一Shuffle必須設(shè)成never。時(shí)間序列樣本之間存在順序依賴(lài)默認(rèn)的every-epoch會(huì)把序列順序打亂導(dǎo)致相鄰時(shí)間點(diǎn)的樣本被分到不同的批次里模型的時(shí)序記憶被破壞。這一點(diǎn)我一開(kāi)始就忽略了結(jié)果驗(yàn)證集誤差曲線(xiàn)一直劇烈震蕩還以為是網(wǎng)絡(luò)結(jié)構(gòu)的問(wèn)題其實(shí)只是shuffle策略錯(cuò)了。第二多隱層LSTM不是直接在lstmLayer里設(shè)置numLayers參數(shù)。Matlab的lstmLayer本身只創(chuàng)建一層多隱層需要自己堆疊多個(gè)lstmLayer。所以上面的代碼里numLayers參數(shù)其實(shí)沒(méi)體現(xiàn)出來(lái)。正確的多層寫(xiě)法是if params.numLayers 1 layers [ sequenceInputLayer(numFeatures) lstmLayer(params.lstmUnits, OutputMode, last) dropoutLayer(params.dropoutRate) fullyConnectedLayer(numResponses) regressionLayer ]; elseif params.numLayers 2 layers [ sequenceInputLayer(numFeatures) lstmLayer(params.lstmUnits, OutputMode, sequence) lstmLayer(params.lstmUnits, OutputMode, last) dropoutLayer(params.dropoutRate) fullyConnectedLayer(numResponses) regressionLayer ]; end注意第一層和第二層的OutputMode設(shè)置中間層要保留完整序列輸出所以是sequence最后一層只需要最后時(shí)間步的輸出所以是last。如果中間層也設(shè)置成last相當(dāng)于把時(shí)序信息截?cái)嗔撕竺娴膶釉僖矊W(xué)不到中間過(guò)程預(yù)測(cè)效果會(huì)大打折扣。3.3 bayesopt函數(shù)的具體配置目標(biāo)函數(shù)封裝好之后就可以調(diào)用bayesopt執(zhí)行搜索了% 貝葉斯優(yōu)化的核心調(diào)用 results bayesopt((params) bayesLSTMTrain(params, yTrainNorm, yValNorm), vars, ... MaxObjectiveEvaluations, 30, ... AcquisitionFunctionName, expected-improvement-plus, ... IsObjectiveDeterministic, false, ... UseParallel, true, ... Verbose, 1, ... PlotFcn, {plotMinObjective, plotObjectiveModel});幾個(gè)配置參數(shù)的選擇理由MaxObjectiveEvaluations設(shè)為30的含義代表優(yōu)化器總共會(huì)評(píng)估30組超參數(shù)組合。這個(gè)數(shù)字是訓(xùn)練預(yù)算、搜索空間復(fù)雜度、性能要求之間的一個(gè)折中。30組夠覆蓋7維參數(shù)空間的主要區(qū)域又不會(huì)讓總訓(xùn)練時(shí)間失控。如果訓(xùn)練時(shí)間緊張可以減到20要求高可以加到40但超過(guò)50之后邊際收益明顯遞減AcquisitionFunctionName用expected-improvement-plusEIEI相比普通的expected-improvement多了一個(gè)防止過(guò)度開(kāi)發(fā)的功能它會(huì)在連續(xù)多次采樣都集中在一個(gè)小區(qū)域時(shí)自動(dòng)增加探索性避免優(yōu)化器陷入局部最優(yōu)IsObjectiveDeterministic設(shè)為false因?yàn)槊看斡?xùn)練用到隨機(jī)初始化相同參數(shù)多次運(yùn)行結(jié)果也有微小差異目標(biāo)函數(shù)本身帶有隨機(jī)噪聲。這個(gè)參數(shù)告訴優(yōu)化器它觀測(cè)到的誤差值不是完全確定的要讓代理模型把隨機(jī)波動(dòng)也納入不確定性估計(jì)并行是另一個(gè)很實(shí)用的功能。如果你的電腦是多核CPU或者有GPU設(shè)置UseParallel為true以后原來(lái)的串行訓(xùn)練變成并行評(píng)估總時(shí)間接近原來(lái)除以核心數(shù)。我用的辦公機(jī)是8核30次評(píng)估從串行的4個(gè)多小時(shí)壓縮到不到1小時(shí)效率提升非常大。4. 訓(xùn)練與驗(yàn)證過(guò)程中必須避開(kāi)的坑4.1 驗(yàn)證集大小和構(gòu)造方式貝葉斯優(yōu)化的目標(biāo)函數(shù)是在驗(yàn)證集上的誤差所以驗(yàn)證集本身的大小、劃分方式直接影響超參數(shù)選擇的偏向性。驗(yàn)證集太小誤差估計(jì)方差大優(yōu)化器可能選到一組碰巧在該驗(yàn)證集上表現(xiàn)好、但實(shí)際泛化差的參數(shù)驗(yàn)證集太大訓(xùn)練集變小模型學(xué)習(xí)不充分選出的參數(shù)又偏向欠擬合。我的經(jīng)驗(yàn)是驗(yàn)證集占總數(shù)據(jù)量的10%~20%比較合理。另外時(shí)間序列劃分驗(yàn)證集不能隨機(jī)抽樣只能按時(shí)間順序切出末尾一段。原因很簡(jiǎn)單隨機(jī)抽樣等于從未來(lái)偷看信息讓驗(yàn)證集里的某些樣本出現(xiàn)在訓(xùn)練樣本的窗口里評(píng)估結(jié)果不可信。% 推薦做法按時(shí)間順序劃分 train_len floor(length(y) * 0.85); val_len floor(length(y) * 0.15); y_train y(1:train_len); y_val y(train_len1:train_lenval_len);4.2 固定隨機(jī)種子保證可重復(fù)性這個(gè)問(wèn)題我在調(diào)試過(guò)程中花了很長(zhǎng)時(shí)間才意識(shí)到。貝葉斯優(yōu)化在評(píng)估不同參數(shù)組時(shí)如果LSTM的初始權(quán)重每次都是隨機(jī)生成的那么即使完全相同的超參數(shù)組合兩次訓(xùn)練出來(lái)的誤差也會(huì)有波動(dòng)。這種波動(dòng)會(huì)讓優(yōu)化器誤以為該區(qū)域的性能不穩(wěn)定導(dǎo)致代理模型低估某些區(qū)域的潛力產(chǎn)生誤導(dǎo)。解決方法很簡(jiǎn)單在目標(biāo)函數(shù)開(kāi)頭設(shè)置隨機(jī)種子。這樣每組參數(shù)評(píng)估的訓(xùn)練過(guò)程都基于相同的初始權(quán)重目標(biāo)函數(shù)的輸出就主要是由超參數(shù)本身決定的function rmseVal bayesLSTMTrain(params, yTrainNorm, yValNorm) % 固定隨機(jī)種子確保每個(gè)超參數(shù)組合的可重復(fù)性 rng(42); % ... 后續(xù)訓(xùn)練過(guò)程 end不過(guò)這里有個(gè)小技巧不要在所有參數(shù)評(píng)估中都使用同一個(gè)種子否則不同參數(shù)組的初始權(quán)重完全一樣相當(dāng)于給優(yōu)化器引入了一個(gè)偏差。我用的方式是讓種子跟著訓(xùn)練次數(shù)變化比如rng(100 iteration)這樣既保證了每組參數(shù)評(píng)估的內(nèi)部可重復(fù)性又讓不同參數(shù)組之間有足夠差異。4.3 召回驗(yàn)證誤差和訓(xùn)練誤差對(duì)比在貝葉斯優(yōu)化的目標(biāo)函數(shù)里我習(xí)慣同時(shí)計(jì)算訓(xùn)練集誤差和驗(yàn)證集誤差并一并返回。這不是必須的但非常有價(jià)值。做法是讓目標(biāo)函數(shù)返回一個(gè)結(jié)構(gòu)體而不是單一標(biāo)量% 返回多個(gè)指標(biāo)的結(jié)構(gòu)體 rmseVal struct(ValidationRMSE, valRMSE, TrainingRMSE, trainRMSE);注意這需要額外做一步數(shù)據(jù)處理bayesopt默認(rèn)最小化第一個(gè)字段或者你可以顯式把第一個(gè)字段設(shè)成你希望優(yōu)化的指標(biāo)。我在實(shí)際項(xiàng)目里用這個(gè)方法很快就發(fā)現(xiàn)了某些超參數(shù)組合是典型的過(guò)擬合模式——訓(xùn)練誤差極低驗(yàn)證誤差很高。這往往意味著lstmUnits太大、dropoutRate太小或L2正則化過(guò)弱。% 指定目標(biāo)函數(shù)為驗(yàn)證集誤差 results bayesopt((params) bayesLSTMTrain(params, yTrainNorm, yValNorm), vars, ... MaxObjectiveEvaluations, 30, ... Goal, minimize, ... OutputFcn, assignOutputFcn, ... AcquisitionFunctionName, expected-improvement-plus, ... IsObjectiveDeterministic, false, ... UseParallel, true, ... Verbose, 1);4.4 早停條件如何防止訓(xùn)練白費(fèi)貝葉斯優(yōu)化過(guò)程中很多參數(shù)組合本來(lái)就沒(méi)有訓(xùn)練價(jià)值。比如learning rate過(guò)大時(shí)訓(xùn)練loss可能在幾個(gè)epoch后就發(fā)散lstmUnits太小時(shí)訓(xùn)練誤差根本降不到有意義的水平。對(duì)這些組合花完整100個(gè)epoch純屬浪費(fèi)計(jì)算資源。我用的策略是在trainingOptions里設(shè)置ValidationData和ValidationFrequency再配合輸出函數(shù)的早停判斷function stop stopOnOverfitting(info) stop false; if ~isempty(info.ValidationLoss) info.ValidationLoss info.TrainingLoss * 10 stop true; % 驗(yàn)證誤差遠(yuǎn)大于訓(xùn)練誤差認(rèn)定過(guò)擬合 end if info.ValidationLoss 100 % 誤差發(fā)散提前終止 stop true; end end然后把early stopping函數(shù)傳給trainingOptionsoptions trainingOptions(adam, ... ValidationData, {XVal, YVal}, ... ValidationFrequency, 10, ... OutputFcn, stopOnOverfitting, ... ... );這樣大部分無(wú)效訓(xùn)練在40-50個(gè)epoch時(shí)就會(huì)停下來(lái)節(jié)省不少時(shí)間。不過(guò)要注意早停的閾值不要設(shè)得太緊否則誤殺一些前期震蕩但后期收斂的組合反而影響搜索質(zhì)量。我當(dāng)時(shí)直接用ValidationLoss大于TrainingLoss乘以10作為判斷閾值跑了幾輪沒(méi)什么誤殺就一直沿用了。5. 最優(yōu)超參數(shù)的提取與最終模型訓(xùn)練5.1 從優(yōu)化結(jié)果中提取最佳參數(shù)貝葉斯優(yōu)化跑完后results里保存了完整的優(yōu)化歷史。提取最優(yōu)超參數(shù)的方式有兩種一種是取最小目標(biāo)函數(shù)值對(duì)應(yīng)的參數(shù)另一種是取優(yōu)化器估計(jì)的最優(yōu)點(diǎn)% 方法一直接取得到最小目標(biāo)函數(shù)值的參數(shù) bestParams results.XAtMinObjective; % 方法二取優(yōu)化器最終估計(jì)的最優(yōu)點(diǎn) estimatedParams results.XAtMinEstimated;兩種方式各有適用場(chǎng)景。XAtMinObjective是實(shí)際評(píng)估歷史中誤差最低的那組參數(shù)缺點(diǎn)是可能只是一次偶然的好結(jié)果。XAtMinEstimated是代理模型綜合考慮不確定性后的預(yù)測(cè)最優(yōu)點(diǎn)更穩(wěn)健但我實(shí)測(cè)中它有時(shí)會(huì)和實(shí)際評(píng)估值有偏差。我的經(jīng)驗(yàn)是優(yōu)先用XAtMinObjective同時(shí)檢查它的驗(yàn)證誤差和訓(xùn)練誤差是否合理。如果二者差異過(guò)大再看看估計(jì)最優(yōu)點(diǎn)是不是更合理。5.2 用全量數(shù)據(jù)重新訓(xùn)練最終模型找到最優(yōu)超參數(shù)后不要直接拿驗(yàn)證集上訓(xùn)練的模型做預(yù)測(cè)。正確做法是用訓(xùn)練集和驗(yàn)證集合并成的全量數(shù)據(jù)重新訓(xùn)練一個(gè)最終模型這樣模型能看到更多數(shù)據(jù)泛化能力更強(qiáng)。% 合并訓(xùn)練集和驗(yàn)證集 y_full y(1:train_lenval_len); [yFullNorm, mu_full, sigma_full] zscore(y_full); % 用最優(yōu)參數(shù)構(gòu)建網(wǎng)絡(luò) layers_best [ sequenceInputLayer(1) lstmLayer(bestParams.lstmUnits, OutputMode, last) dropoutLayer(bestParams.dropoutRate) fullyConnectedLayer(1) regressionLayer ]; options_best trainingOptions(adam, ... MaxEpochs, 100, ... InitialLearnRate, bestParams.initialLearnRate, ... LearnRateSchedule, piecewise, ... LearnRateDropPeriod, bestParams.learnRateDropPeriod, ... LearnRateDropFactor, 0.2, ... L2Regularization, bestParams.l2Regularization, ... MiniBatchSize, bestParams.batchSize, ... Shuffle, never, ... Verbose, 0); net_final trainNetwork(XFull, YFull, layers_best, options_best);這一步要注意歸一化參數(shù)更新用全量數(shù)據(jù)的均值和標(biāo)準(zhǔn)差重新歸一化而不是沿用之前訓(xùn)練集的參數(shù)。5.3 單步與多步預(yù)測(cè)的驗(yàn)證方式時(shí)間序列預(yù)測(cè)的驗(yàn)證方式分單步預(yù)測(cè)和多步預(yù)測(cè)二者難度差異明顯驗(yàn)證標(biāo)準(zhǔn)也不同。單步預(yù)測(cè)是每個(gè)時(shí)間步都用真實(shí)歷史數(shù)據(jù)作為輸入去預(yù)測(cè)下一步誤差不會(huì)累積評(píng)測(cè)的是模型的單步擬合能力YPredFull predict(net_final, XTest); rmse_test sqrt(mean((YTest - YPredFull).^2));多步預(yù)測(cè)難度大得多因?yàn)楹罄m(xù)時(shí)間步的輸入依賴(lài)之前的預(yù)測(cè)值誤差會(huì)逐步累積。真實(shí)業(yè)務(wù)中用得最多的其實(shí)是多步預(yù)測(cè)。我在電力負(fù)荷項(xiàng)目里做的就是連續(xù)預(yù)測(cè)未來(lái)24小時(shí)用的是輸出反饋模式。Matlab里實(shí)現(xiàn)多步預(yù)測(cè)需要用到predictAndUpdateState函數(shù)在每一步把預(yù)測(cè)值反饋到輸入端% 多步預(yù)測(cè)示例預(yù)測(cè)未來(lái)24步 numSteps 24; YTestPred zeros(numSteps, 1); net_pred net_final; % 用最后一段歷史數(shù)據(jù)初始化網(wǎng)絡(luò)狀態(tài) input_last XTest(1, :, 1); [net_pred, YPred_first] predictAndUpdateState(net_pred, input_last); % 從第二步開(kāi)始用上一步預(yù)測(cè)值作為輸入 for i 2:numSteps [net_pred, YTestPred(i)] predictAndUpdateState(net_pred, YTestPred(i-1)); end這里有個(gè)容易踩的坑predictAndUpdateState要求輸入是行向量還是列向量必須保持一致。我在這里因?yàn)榫仃嚲S度不匹配報(bào)過(guò)好多次錯(cuò)建議在使用前用size命令檢查清楚。5.4 誤差指標(biāo)選擇RMSE、MAPE、MAE怎么取舍貝葉斯優(yōu)化目標(biāo)函數(shù)里選什么誤差指標(biāo)會(huì)直接影響最優(yōu)參數(shù)的選擇方向因?yàn)椴煌笜?biāo)對(duì)誤差的關(guān)注點(diǎn)不同RMSE對(duì)大幅誤差懲罰重適合誤差不允許過(guò)大的場(chǎng)景比如電價(jià)預(yù)測(cè)大幅誤差可能帶來(lái)財(cái)務(wù)損失MAE對(duì)所有誤差一視同仁適合希望整體誤差都控制好、不特別在意極端情況的場(chǎng)景MAPE歸一化誤差適合不同量級(jí)的時(shí)間序列之間做橫向?qū)Ρ鹊绻麛?shù)據(jù)里有接近0的數(shù)值MAPE會(huì)被極端放大反而不穩(wěn)定我在電力負(fù)荷預(yù)測(cè)里選擇RMSE作為優(yōu)化目標(biāo)因?yàn)樵摌I(yè)務(wù)對(duì)高峰負(fù)荷的預(yù)測(cè)誤差非常敏感。如果你的數(shù)據(jù)量級(jí)小、數(shù)值平穩(wěn)用MAE或MAPE也能得到不錯(cuò)的結(jié)果。這個(gè)選擇要在寫(xiě)目標(biāo)函數(shù)之前就確定中途更換指標(biāo)意味著整個(gè)貝葉斯優(yōu)化過(guò)程作廢重來(lái)。6. 貝葉斯優(yōu)化參數(shù)的調(diào)優(yōu)技巧與算例擴(kuò)展6.1 MaxObjectiveEvaluations設(shè)置多少合理這個(gè)參數(shù)直接決定優(yōu)化質(zhì)量和耗時(shí)的平衡。設(shè)得越小比如10次搜索速度很快但參數(shù)空間沒(méi)充分探索結(jié)果可能還不如隨機(jī)搜索設(shè)得太大比如100次雖然理論上能找到更好的區(qū)域但計(jì)算時(shí)間翻好幾倍邊際收益遞減。我的經(jīng)驗(yàn)是在LSTM貝葉斯優(yōu)化場(chǎng)景下30次評(píng)估是性?xún)r(jià)比很高的檔位。7個(gè)變量、30次評(píng)估基本能覆蓋主要參數(shù)區(qū)域的組合。如果想追求更高精度可以分兩輪第一輪30次快速定位大致最優(yōu)區(qū)域第二輪把搜索范圍縮到第一輪最優(yōu)值附近的區(qū)間再跑20次精細(xì)化搜索——兩輪合計(jì)50次的效果通常好于直接跑50次。以下是我在幾個(gè)不同數(shù)據(jù)集上的經(jīng)驗(yàn)參考數(shù)據(jù)集規(guī)模建議評(píng)估次數(shù)預(yù)計(jì)耗時(shí)8核并行說(shuō)明小于1000條20-2515-30分鐘數(shù)據(jù)量小快速定位即可1000-10000條301-2小時(shí)性?xún)r(jià)比最高檔位10000條以上30-403-8小時(shí)需要平衡時(shí)間成本適當(dāng)壓縮訓(xùn)練輪數(shù)數(shù)據(jù)量大的時(shí)候更推薦先降采樣跑一輪快速搜索確定大致參數(shù)區(qū)域后再用全量數(shù)據(jù)精細(xì)化訓(xùn)練。6.2 搜索范圍的調(diào)整策略第一輪粗搜第二輪細(xì)搜貝葉斯優(yōu)化不是一定要一次跑完。兩輪式搜索效率更高第一輪把參數(shù)范圍設(shè)得寬一些比如lstmUnits給[10, 300]log空間學(xué)習(xí)率給[1e-4, 1e-1]窗口給[2, 60]。跑25-30次得到的結(jié)果會(huì)指向一個(gè)大致的好區(qū)域。第二輪基于第一輪的最優(yōu)值縮小范圍。比如第一輪最優(yōu)lstmUnits是80第二輪就把范圍設(shè)成[40, 160]最優(yōu)學(xué)習(xí)率是0.005第二輪設(shè)成[1e-3, 1e-2]最優(yōu)窗口是12第二輪設(shè)成[6, 20]。這時(shí)候再跑15-20次模型會(huì)在優(yōu)選的局部區(qū)域里精細(xì)化打磨效率比直接跑50次更高。這種做法有理論依據(jù)貝葉斯優(yōu)化的代理模型在一個(gè)區(qū)域內(nèi)擬合得越準(zhǔn)對(duì)最優(yōu)位置的預(yù)測(cè)就越可靠。第一輪寬范圍搜索建立的全球模型是粗粒度的第二輪窄范圍搜索相當(dāng)于在最重要區(qū)域做細(xì)粒度建模。我實(shí)測(cè)下來(lái)兩輪搜索加起來(lái)的訓(xùn)練時(shí)間往往比一輪50次還要少因?yàn)榈诙喓芏鄥?shù)組合訓(xùn)練時(shí)早停觸發(fā)得很快。6.3 擴(kuò)展到多特征、多步預(yù)測(cè)、序列到序列架構(gòu)上面這套框架的適用范圍比標(biāo)題里體現(xiàn)的要廣我在其他項(xiàng)目里做過(guò)不少擴(kuò)展也說(shuō)一下思路多特征輸入比如除了負(fù)荷還有溫度、濕度、風(fēng)速等多維數(shù)據(jù)。只需要把sequenceInputLayer的輸入維度改成特征數(shù)量數(shù)據(jù)準(zhǔn)備階段變成多列矩陣即可。搜索空間還可以加一個(gè)特征滯后階數(shù)的變量。序列到序列預(yù)測(cè)如果要做的是輸入過(guò)去24小時(shí)輸出未來(lái)24小時(shí)這種整段映射LSTM層需要改成Encoder-Decoder結(jié)構(gòu)。Matlab里沒(méi)有直接的seq2seqLayer但要實(shí)現(xiàn)也不難編碼器LSTM接受輸入序列解碼器LSTM從編碼器最后一層狀態(tài)開(kāi)始逐步生成輸出。這時(shí)的目標(biāo)函數(shù)變成兩個(gè)LSTM網(wǎng)絡(luò)的聯(lián)合訓(xùn)練貝葉斯優(yōu)化除了網(wǎng)絡(luò)參數(shù)還要搜索長(zhǎng)度序列等參數(shù)整體還是一樣的框架只是網(wǎng)絡(luò)結(jié)構(gòu)部分復(fù)雜一些。前提還是那個(gè)——數(shù)據(jù)決定天花板結(jié)構(gòu)決定怎么逼近天花板。多步預(yù)測(cè)反饋模式前面提到的predictAndUpdateState方式是最直觀的多步預(yù)測(cè)。如果要更復(fù)雜的策略比如預(yù)測(cè)每一步時(shí)同時(shí)維護(hù)多個(gè)候選軌跡類(lèi)似beam search的思路Matlab里同樣能實(shí)現(xiàn)但邏輯復(fù)雜度會(huì)上升不少計(jì)算成本也更高。6.4 訓(xùn)練時(shí)間優(yōu)化早停與GPU加速最后聊一下訓(xùn)練時(shí)間的整體優(yōu)化。貝葉斯優(yōu)化最大的開(kāi)銷(xiāo)是反復(fù)訓(xùn)練LSTM任何能加快單次訓(xùn)練的措施都會(huì)成倍地節(jié)省總時(shí)間。首先是早停策略前面提到過(guò)但具體閾值要根據(jù)數(shù)據(jù)量調(diào)整。數(shù)據(jù)量大、訓(xùn)練收斂慢的場(chǎng)景閾值放松一些數(shù)據(jù)量小、收斂快的場(chǎng)景閾值收緊。我是用Info.ValidationLoss和Info.TrainingLoss的倍數(shù)關(guān)系來(lái)判斷的你可以根據(jù)自己的數(shù)據(jù)情況調(diào)。其次是GPU。訓(xùn)練LSTM在GPU上的加速效果非常明顯。Matlab直接在trainingOptions里設(shè)置ExecutionEnvironment為auto如果檢測(cè)到可用GPU會(huì)自動(dòng)調(diào)用。我對(duì)比過(guò)同一組參數(shù)CPU上訓(xùn)練50個(gè)epoch需要約5分鐘GPU入門(mén)級(jí)NVIDIA上只需要約40秒——在30次貝葉斯優(yōu)化評(píng)估中這個(gè)差距會(huì)被放大30倍。還有一個(gè)容易忽略的點(diǎn)MiniBatchSize的選擇對(duì)GPU利用率影響很大。GPU對(duì)大批量數(shù)據(jù)更友好批大小設(shè)成32或64比16更充分。但批大小本身又在搜索空間里不能讓優(yōu)化器隨便試太小的值。我當(dāng)時(shí)在batchSize的搜索范圍里直接設(shè)了[32, 128]這樣既能保證GPU利用率又能讓優(yōu)化器有足夠空間。7. 實(shí)際項(xiàng)目中的完整流程回顧與建議把整個(gè)流程串起來(lái)再說(shuō)說(shuō)關(guān)鍵節(jié)點(diǎn)。第一步是數(shù)據(jù)準(zhǔn)備歸一化參數(shù)只能從訓(xùn)練集算順序切分不能亂這是所有后續(xù)工作的地基。第二步是把訓(xùn)練流程封裝成目標(biāo)函數(shù)Shuffle設(shè)成never驗(yàn)證集誤差作為返回指標(biāo)固定隨機(jī)種子保證可重復(fù)性。第三步是定義搜索空間用log變換的變量給優(yōu)化器更合理的采樣分布。第四步是運(yùn)行bayesopt30次評(píng)估開(kāi)并行配好采集函數(shù)讓它自動(dòng)搜索。第五步是提取最優(yōu)參數(shù)用全量數(shù)據(jù)重訓(xùn)最終模型然后在獨(dú)立的測(cè)試集上驗(yàn)證效果。整個(gè)流程有一個(gè)容易被忽略的整體性原則驗(yàn)證集在貝葉斯優(yōu)化過(guò)程中被反復(fù)用來(lái)評(píng)估參數(shù)好壞所以它本質(zhì)上參與進(jìn)了超參數(shù)選擇最終模型再用驗(yàn)證集數(shù)據(jù)參與訓(xùn)練測(cè)試集必須是從未參與過(guò)任何選擇和訓(xùn)練過(guò)程的獨(dú)立數(shù)據(jù)。我在項(xiàng)目里習(xí)慣留下最后10%的數(shù)據(jù)完全不參與前面任何步驟只用來(lái)做最終評(píng)估這一步能幫你識(shí)別出模型到底是真的泛化好還是只是對(duì)已知數(shù)據(jù)記憶好。寫(xiě)到最后說(shuō)一點(diǎn)個(gè)人體會(huì)。貝葉斯優(yōu)化LSTM這套組合解決的不僅是找出好參數(shù)的問(wèn)題更重要的是它把調(diào)參過(guò)程從拍腦袋碰運(yùn)氣變成了有信息量、有方向感的自動(dòng)搜索。第一次跑完的時(shí)候你可能會(huì)像我一樣有點(diǎn)驚訝——原來(lái)之前手動(dòng)試了幾十組都沒(méi)找到的配置優(yōu)化器自己就能在二三十次評(píng)估內(nèi)找到。這套方案在Matlab里的實(shí)現(xiàn)難度不算高最大的成本其實(shí)是理解布谷鳥(niǎo)優(yōu)化器要什么、LSTM訓(xùn)練時(shí)有哪些關(guān)鍵陷阱這兩點(diǎn)在這篇里都覆蓋到了。有類(lèi)似需求的朋友跟著框架跑一遍應(yīng)該很快能落地到自己的數(shù)據(jù)上。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天婷婷基地| 97人人超| www.综合久久| 偷拍91九色| 婷婷色片| 日本色99| 久久XX| 99精品超在线播放| 亚洲无码成人| 这里有精品99| 亚洲国产精品成人午夜| 五月丁香操亭亭网| 中文字幕,综合,91| 色五月婷婷91| 五月婷五月婷伊人伊人五月婷| www99精品| 婷婷久久五月天丁香| 丁香五月色五月| 日韩一级A片黄色| 日韩性视频| 变态另类9| 色欲av伊人久久大香线蕉影院| 激情综合网五月丁香| 综合99久久| 久操人妻| 丁香久久在线| 亚洲色夜| 99 频99热国里只有精品| 色99在线| 五月丁香成人视频| 秋霞免费三级片| 日本色五月| 日日夜夜狠狠婷婷色| 五月激情综合网| 嫩BBB槡BBBB搡BBBB视频| 天天日天天久久青青| 婷婷色色欧美| 91啪啪视频| 色99在线| 五月婷婷丁香| 五月天婷婷激情小说| 婷婷婷婷色| 丁香六月av| 99re在线视频| 天天狠狠色噜噜| 视频1区2区| 天天摸天天肏| 丁香婷婷六月在线资源观看| 五月天天堂久久| 色播五月婷婷| 六月丁香色色| 五月丁香婷婷成人网| 九九视频这里只有精品| 99热大香蕉| 免费亚洲婷婷| 色激情五月| 99操免费视频| 淫荡综合网| 久久这里只精品66| 97人人草| 色一情一乱一乱一区91Av| 丁香六月激情综合| 97色色色| 深爱激情网五月| 国产精品美女| 精品亚洲国产成AV人片传媒| 怡红院AV亚洲一区二区三区H| 婷婷色五月色妇| 97碰免费精采视频| 超碰色热| 色婷久久| 亚洲啪啪视频| 人人干人人看| 色七色九九| 久久婷婷五| 亚洲免费看片| 99热免费在线| 国产熟女日日骚五月丁香爱| 婷婷亚洲综合| 亚洲超级碰| 风流少妇A片一区二区蜜桃 | 五月天操逼网| 五月婷婷丁香综合,亚洲天堂| 国产avapp 网| 丁香色婷婷色手机免费在线| 丁香五月色情| 天天成人综合视频| 操国产人妻| 国产成人精品一区二三区熟女在线| ...婷婷国产成人亚洲日韩| 袁子仪视频观看| 亚洲成人九九九| 中文字幕在线播放视频| 91狼友视频在线观看| 狠狠色性| 99热在线精品播放| 亚洲99在线| 丁香婷婷大香蕉| 婷婷丁香五月综合| 五月婷婷六月丁香在线视频免费在线观看| 国精产品久久| 五月天伊人日日噜影片AV| 日韩婷婷| 91色在线/日韩| 美国不卡视频| 五月天色站| 免费看欧美成人A片无码| 超碰九九热| 亚洲热视频| 狠狠操.COM| 久久五月丁香婷婷| 影音先锋噜一噜| 九九色黄色| 成人精品视频99在线观看免费| 大香蕉五月天| 深夜男女福利刺激影院一区完整| 成人网站免费在线播放| 五月婷婷深深爱| 色婷婷六月丁香综合欲精品| 九九热a| 婷婷综合一二三| 精品视频网| 五月社区丁香| 久久这里只精品66| WWW,色五月| 99久久这里只有精品| 激情五月天免费视频| 超碰99热| 欧美操人| 亚州激情网站无码| ss五月天激情| 六月丁香综合999| 亚洲午夜精品久久久久久人妖| 色婷婷偷拍| 婷婷色基地在线看 | 成人性生活免费观看。| 丁香九月色| 伊人婷婷99热精品| 亚洲天堂AV综合网| 亚洲色婷婷五月天| 色婷婷9| 综合伊人久久| 久久性视频| 狠狠久久婷五月| 99久久久免费| 天天操夜夜夜夜爽| 色五月婷婷婷婷| 就99这里只有精品| 色色色国产| 亚洲丁香五月在线观看| 亚洲激情网| 日韩精品电影| 97热在线精品| 国产日批视频免费播放| 99在线视频在线观看| 亚州日本欧州韩美高青高潮一| www.狠狠操.com| 99热精品10| 国产精品五月丁香| 婷婷丁香在线播放| 丁香婷婷九月| 久/久精品99看9| 丁香六月婷婷久久综合| 婷婷五月深深爱| 久久婷婷内射| 激情内射人妻1区2区3区| 五月欧美色色五月| 日韩啪啪自拍| 涩综合婷婷| 2025超碰| 另类激情五月| 日操五月婷| 天天综合色| 九九综合九九| 九热视频| 超碰大香蕉网| 日本色狠狠| 国产操B视频| 国产综合色婷婷精品久久| 99热这里只有精品268| 大香蕉人人网| 丁香婷婷五月综合影院| 婷婷刺激综合| 日本成人内射| 99视频精品| 婷色天堂| 激情五月份婷婷| 五月婷婷激情久久| 久久婷婷激情五月天一区二区| 五月人人丁香婷婷五月人人丁香| 九九激情| 夜夜操少妇| 99热精品在线播放| www.色综合| 无码成人AAAAA毛片AI换脸| 国产做爰视频免费播放| 婷婷五月天激情电影| 五月丁香好婷婷姑娘综合网| 色五月激情网| 国产欧美日韩综合精品一区二区| 五月激情网站| 亚州性爱99| 黄色网址五月婷婷| 婷婷五月天,影院| 99九九在线| 99在线播放| 我要射综合| AA片在线观看视频在线播放| 在线观看熟女少妇| xxxx久| 97色婷| 激情婷婷丁香| 老司机日日夜夜青草| 成人精品视频99在线观看免费| 色五月丁香91| 婷婷五月综合在线| 大香蕉人人网| 国产片色| 六月丁香五月婷婷| 色婷婷电影网| 五月丁香婷婷AV| 这里只有精品视频国产| 另类小说激情五月天| 色情五月婷婷| 操草草草| 丁香五月婷婷激情123| 五月天激情小说欧美激情| 久久久久久综合88| 美女伊人久久| 久热网在线视频| 色色色99| 婷婷成人AV| 五月丁香人人婷婷在线观看| 日本丁香五月| AA久久| 久热这里只有精品视频6| 国产激情久久久| 婷婷伊人綜合中文| www狠狠| 五月丁香啪啪| 手机在线日韩视频中文字幕| 丁香五月婷婷色| 桃色五月天| 激情久久五月天| 婷婷综合精品视频97| 色色色综合网| 激情五月婷婷免费视频| 大香蕉综合| 久久婷婷网址| 天天日天天摸天天| 99啪啪| 婷婷五月电影院| 婷婷五月丁香综合激情| 五月黄色婷婷| 五月婷婷综合久久| 殴美97色| 婷婷五月天久久| 久久精彩免费视频| 婷婷五月天视| 五月婷丁香| 玖玖五月丁香| 九九无码| 久久婷婷婷| 狠狠色狠狠操| 欧美啪啪网| 国产精品五月天婷婷| 国产又爽又猛又粗的视频A片| 日韩欧美一级大黄网站| 久久综合婷婷| 色综合夜夜| 久久久久9| 大香蕉九九热| 91精品久久久久久77777| 欧美色碰| 久久色婷婷| 日本丁香久在线| 久久99网| 97超碰在线免费观看| 色色色色色网| 碰碰女| 成人视频在线免费播放| 中文字幕综合| 欧美色色色色色| 伊人激情| 天天射影院| 婷婷射丁香| 综合激情在线| 九九人妻福利| 国产人妻人伦精品一区二区 | 五月丁香视频在线观看| 国产精品a无线| 天天综合天天做天天综合| 中字幕视频在线永久在线观看免费 | 五月婷婷AV| 桃色五月婷婷| 亚洲男女激情| a在线观看| 欧美色色色色色| site:wpjngj.com| 国产又黄又爽又色的免费| 婷婷五月丁香五月天| 99热爆在线| 激情五月婷婷色| 欧美123区免| 久久偷拍综合五月天| 99小视频在线观看| 婷婷午夜天| 丁香久久| 免费黄网不卡AV| 婷婷五月情天| 色婷婷免费观看| 综合网激情| 丁香八月综合激情| 久热在线观看视频9| 激情五月激情综合网| WWW色色色COm| 少妇人妻丰满做爰XXX| 青青草护士中出内射-欧美电影在线天堂新版| 丁香六月婷婷色XXXXX| 青青草a在线| 婷婷色网| 性天天中文网| 成人在线日韩| 天天综合网~91| 99性爱视频| 中文字幕在线观看视频www| 婷婷大香蕉| 99热这里只有精品官网| 九九热AV| 亚洲九九99精品视频在线播放| www激情| 99综合网| 成人无码精品1区2区3区免费看| 激情五月视频在线婷婷| 99热在线精品播放| 青草视频在线播放| 丁香六月婷婷综合| www.色婷婷。com| 精品热九九| 五月婷色激情五月| 五月丁香六月激情综合网 | 99精品无码| 99热免| 色999亚洲人成色| 五月婷A V在线| 久9免费视频| 国产99精品免费视频| 久久久久久久久久久久63| 狠狠色婷婷7777久| 狠狠干夜夜干| 密臀久久| 五月婷婷,狠狠操| 色五月网址| 深爱丁香激情| 五月丁香无码| 另类亚洲电影| 少妇人妻丰满做爰XXX| 天天干,夜夜爽| 凹凸探花电影| 高清不卡一区| 丁香五月黄色| 丁香五月婷婷社区| 狠狠操狠狠插| 9999久久久久| 色五月婷婷综合在线| 青青草六月丁香| 99久在线观看| 六月综合婷婷开心伊人| 色婷婷香蕉在线| 婷婷九月综合| 日狠狠| 五月色婷婷综合丁香精品无遮挡| 亚洲欧美成人在线| 久大香蕉| 色婷亚洲| 亚洲不卡123| 久久小视频| www.色综合| 高清无码视频网址| 国产精品激情五月天色婷婷| 五月婷伊人| 大香蕉婷婷色| ztEJj| 婷婷五月综合在线| 香蕉人在线香蕉人在线 | 色性五月天| 欧美激情Va| 亚洲永久免费| 91大神操美女| 99久久www| 一级性爱大片| 免费在线a| 665566 无码| 欧洲色色| 99综合网| 婷婷六月丁香五月| 五月丁香啪啪| 国产67194| 97香蕉碰碰人妻国产欧美| 婷婷五月天久久久| 天天色情站| 97在线观视频免费观看| 香蕉久久国产AV一区二区| 久久机热/这里只有精品| 操日视频| 五月丁香婷婷综合网| 日本熟女一区二区| 日日夜夜天天爽| 全亚洲最大的婷婷五月天网站COM 丁香五月婷婷狠狠色 | 亚洲午夜av| 丁香六月欧美| 五月天激情国产综合婷婷婷| 九月激情综合| 婷婷五月亚洲综合| 丁香五月婷婷网| 久热成人| 五月婷婷之综合激情| 欧美综合五月丁香六月婷| 丁香五月六月婷婷综合| 婷婷五月综合久久中文字幕| 丁香婷婷91在线观看视频| 思思热在线视频精品| 亚洲丁香五月天视频| 99精品视频免费观看| 精品久久这里热66| 99免费| 亚洲视频99| 日本色狠狠| 色婷婷亚洲五月天| 999激情视频| 九九色99| 精品久久99码| 极品人妻VIDEOSSS人妻| 日韩av免费版| 中文在线成人| 超碰国产在线| 99亚洲视频| 国产成人AV在线播放| a九九热www| 五月丁香综合啪啪| 丁香久久AV| 第四色婷婷五月| 99热这里只有精品在线播放| 秋霞AV淫| 九九亚洲视频| 五月天另类小说久久小说网| 欧美性交一区二区三区| 玖玖五月丁香| 成人五月天在线观看| 五月婷免费视频久久久| 久热这里只有精品99re| 日韩无码专区| 熟惀91九色在线| 五月婷久草| 色综合中文色综合网| 激情综合网丁香| 久久九九99字幕| 丁香狠狠色婷婷久久无码视频| 亚洲秘 无码一区二区三区妃光/1| 丁香六月啪| 免费看欧美成人A片无码| 91麻豆国产三级精品福利在线观看| 香蕉久久五月| 五月天丁香成人社| 婷婷丁香五月视频| 婷婷社区五月天| 亚洲操b| 色婷婷成人做爰A片免费看网站| 欧美色激情四射| 久久九九婷婷| 99自拍视频| 激情综合婷婷| 免费看成人747474九号视频在线观看| 99碰碰| 久久久久视剧HD| 99久久婷婷国产综合| 综合热无码| 久久综合中文字幕| 99视频这里有精品| 超碰在线99热| 五月丁香六月情亚洲| 婷婷五月天社区| 99热精品在线在线| 欧美日韩成人在线网站| 九九这里精品| 日本在线va| 我爱大香蕉| 日本啪啪视频HD| 4399在线观看免费高清黄色视频| 亚洲久久婷婷丁香五月天| 98色花堂98t.R| 99在线精品免费视频| 丁香六月婷婷综合欧美| 激情开心五月亚洲| 色色免费网站| Av在线资源| 欧美五月丁香在线| 婷婷五月综激情| 激情色播| 色婷六月| 五月天婷婷丁香社区| 免费观看的av| 9久热在线视频精品| www.狠狠干| 久久婷五月婷| 东京热免费视频网站| 天天婷婷天天| 五月色丁香| 久久er99热精品一区二区| www99xxxx五月丁| 婷婷丁香久久五月综合| 午夜大香蕉| 亚洲综合碰| 婷婷六月丁香色| 亚洲午夜AV| 九九中文字幕九| 天天日天天操天天干| 这里只有精品免费| 亚洲成人AV在线观看| 26UUU欧美| 最近中文字幕2019视频1| 日本精品在线噜噜噜| 天天日天天爽| 亚洲欧美国产A片免费观看| 婷婷五月丁香激情色情| 婷婷五月天伊人| 成人噜噜网| 丁香婷婷六月男男| 日韩成人电影Av| 婷婷五月天天| 久久婷婷视频| 婷婷丁香97| 久色| 五月婷婷婷| 26UUU欧美| 久99久视频精品| 成人深爱丁香五月| 九九热在线精品视频| 欧美婷婷色五月网| 色婷婷先锋| 欧美精品XXXXBBBB| 色婷婷在线综合色播网| 99热久久这里只有精品| 免费99情趣网视频| 男女啪啪做爰高潮无遮挡| 亚洲黄色影视| 色婷婷丁香五月| 久久这里只有精品5| 婷婷激情五月| 色六月丁香婷婷啪啪啪| 五月婷视频| 五月丁欧美| 色情丁香五月婷婷精品| 99啪啪视频| 亚洲激情av| 色综合久久天天综合网| 色婷婷综合久久久久| 丁香五月婷婷激情完整版| 色婷婷AV久久久久久久| 色婷婷av综合网| 97婷婷五月天| 五月天伊人久久久久| 五月丁香啪啪啪| 9福利性视频欧美| 五月丁香激情综合啪啪| 91热手机在线| 停停五月色宗合| 婷婷五月丁香色播| 婷婷精品在线| 开心丁五月| 97色在线| 婷婷深爱网| 97超碰9久热婷婷热| 久久五月天激情| 久久久色情| 99热免费在线| 丁香九月婷| 日本一级一级一级一级| 国产阿姨日皮艹逼内射视频| 色综合99无码| 伊人婷婷五月天| 午夜爱插插| 丁香五月婷婷五月| 五月天色网站| 丁香五月婷婷偷拍| www久久久| 成人羞羞啪啪 全 视频| 久久九九激情五月天| 五月天成人在线播放丁香| 成人国产网站| 国产激情久久| 99热日| 婷婷五月在线| 91精品久久久久久综合五月天| 婷婷五月花免费视频在线| 人妻丰满精品一区二区A片| 99性感视频| 亚洲人妻电影| 久热大香蕉| 天天色天天爱天天爽| 婷婷va| 国产熟女一区二区三区五月婷| 丁香六月AV| 日本91在线播放| 第四色大香蕉| 丁香色啪综合| 91疯狂操操操操| 天天操天天插| 婷婷五月天激情免费在线观看| 综合激情在线视频| 欧美成人在线观看| 五月花综合视频| 亚洲第一黄网| 伊人99久久| 播五月丁香三月婷婷| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 天天日人人爽| 成人中文字幕在线| 五月开心播播网| 99狠狠操一| 啪啪婷婷五月天激情| 9|在线观看视频| 99在线精品视频在线观看| 综合色综合| 色一情一乱一乱一区91| 久久九九99视频| 亚洲综合五月| 做爱夜夜干天天操| 操人精品| 激情婷婷五月天| 婷婷色五月天在线| 91碰碰碰| 亚洲视频久久| 国产69久久久欧美黑人A片| 色五月婷婷五月天| 婷婷五月天a| 丁香 久久| 99热综合网| 狠狠色狠狠操| 丁香五月宝贝激情网| 色欲天天综合| 538在线精品| 在线成人网站| 人妻久久久久久久| 中文aV网| 色色综合成人网| 丁香五月婷婷激情中文| 精品久久久久成人码免费动漫| 玖玖婷婷色五月| 五月婷婷六月丁香综合视频在线| 伊人色综合影院视频| 九九久久偷拍| 欧美激情综合五月色丁香| 久久婷婷综合网| av一区免费看| av大片在线| 伊人久久婷婷| 亚洲永久免费| 精a品a| 六月色色综合| 国产VA播放| 国产成人AV在线| 99久免费视频| 99久久久精品| 97人碰人操| 99精品偷自拍| 一起草性爱不卡视频| www.婷婷,com| 少妇综合网| 亚洲国产色色| 色五月六月婷婷| 色婷婷精品小视频| 五月色婷婷亚洲| 五月丁香另类图片| 人人超碰99| 欧美激情综合五月色丁香| 婷婷色五月激情| 色欲色香综合网| 天天色图| 亚洲AV日韩无码| 婷婷五月色激情欧美激情| 久久99性爱| 99热久久这里只有精品2010| 丁香五月婷婷在线视频| 久久AV电影| 丁香五月成人在线| 日本激情五月天‘| 这里只有精品免费视频在线观看| WWW.桔色成人.COM| 视色综合| 99色视频免费在线规看| 日操夜撸| 国产精品A片| 91热er| 99热思思在线观看| 99久热这里有精品| 综合激情网五月激情| 天天做天天视天天谢| 五月婷婷六月丁| 日韩草草草草草草草草草草草草| 色9色| 色欲香综合网| 婷婷夜夜夜夜| 五月花综合视频| 开心五月婷婷婷美女| 99热成人| 五月婷婷丁香五月婷婷丁香| 国产婷婷综合在线免费视频| 五月婷婷激情网| 丁香九月婷婷| 丁香五月天视频| 婷婷亚洲综合| 色色色com| 牛牛澡牛牛爽| 久久久九九视频精品18| 精品国产a| 99视频在线观看网址| 色狠狠色综合久久久绯色AⅤ影视| 91日韩美女被插视频| 丁香蜜臀黄色婷婷五月天| 色播婷婷大香蕉| 99人妻碰碰碰久久久久视| 四虎成人精品永久免费AV九九| 亚洲色久| A片试看50分钟做受视频| 国产露脸150部国语对白| 欧美A片在线视频免费观看| 色婷婷啪啪| 女婷久久| 激情五月无码| 伊人午夜综合色啪| 99re思思精品视频在线观看| 激情综合六月| 91凹凸在线| 激情婷婷五月天| 丰满老熟妇BBBBB搡BBB| 九九色黄色| 丁香五月婷婷Av| 婷婷趴趴| 丁香五月在线视频| 天天操天天爱天天玩| 五月丁香六月婷婷久久肏| 婷婷久久大香蕉| 五月综合激情网| 色综合色色色| 狠狠另类视频| 丁香六月色婷婷| 亚洲色啪| 亚韩在线视频| 日韩av手机在线观看| 久久性爱激情| 五月婷婷六月丁香免费| 77799热| 婷婷无码视频| 伊人干综合| 五月丁香婷婷五月色| 国产精品美女| 亚洲综合网区| 99这里都是精品6| 激情五月天丁香| 激情六月婷婷啪啪| 亚洲永久四色| 无码网站视频| 五月天色图| 欧美A片在线视频免费观看| 亚洲操逼片| 亚洲va欧美va国产综合久久久| 丁香六月啪啪啪| 影音先锋91在线资源站| 另类A片| 人妻VideOssS人妻| 无码任你操| 99色色| 欧美婷婷综合网| AV天堂淫乩| 欧美啪啪9| 久久婷婷五月丁香蜜桃网| 91操熟女| 婷婷婷婷婷开心无码播放| 人妻人人操| 伊人久热91| 久久视屏这里只有久久| 国产精品久久久海的味道| 久久99网| AV成人在线播放| 99久久精品视频女神1| 激情综合网五月激情| 五月综合人妻| 色五月丁香五月五月婷婷| 五月天婷婷丁香导航| 五月丁香婷婷欧美色图视频五月丁香777电影| 另类专区在线| 婷婷色导航| 亚洲视频在线观看| 色色日本欧美| 九九综合久久| 亚洲成人在线免费| 久久网婷婷| 天天干天天 亚洲| 另类激情中文| 人妻AV在线观看| 亚洲另类日本| 欧美日本不卡黄色片| 色婷婷五月六月丁香综合视频| 亚洲午夜一区二区| 五月天丁香花婷婷| 夜夜操狠狠操天天操| 亚洲成人免费在线| 综合激情五月丁香| 庭庭久久内射| 色射7856五月天激情四射| 亚洲另类久久| 亚洲乱码日产精品BD| 丁香九月综合| 久久激情五月| 99自拍视频网站| 色综合色| 91热久| 99色看这里只有精品| 色五月六月| 色婷婷91| 色色A| 久久人妻少妇嫩草AV| WWW久久久| 26UUU欧美激情一区二区| 色婷在线视频| 丁香色婷婷| 人人操人人添人人摸97| 亚洲第一精品成人999久久精品| 99精品丁香五月| 久久五月天激情视频| 精品国产乱码久久久久夜深人妻| 深爱五月婷婷开心中文字幕| 日本色婷婷| 精品成人久久久久久久_一二三四视| 五月丁香六月情| 五月丁香六月婷婷激情四射| 天天日,天天插| 色婷婷另类| 狠狠狠狠狠狠狠狠| 婷婷丁香先锋资源网站| 五月色色激情网| 欧美日本97| 激情五月色婷婷| 9久久久| 99热99久久| 色婷婷19| www激情| 激情深爱婷婷网| 日韩色色视频| 五月天无码| 色色99| 欧美美女国产日韩一区二区久| 国产FREESEXVIDEOS性中国| 一區四區歐美日韓| 丁香,开心成人,久久| 日日夜夜综合| 色五月自偷自拍婷婷婷婷| 精品久热69| 91热久久| 九九热精品| 丁香五月亚洲综合| 热久久婷婷| 婷婷的色色五月天| 亚洲综合久| 丁香五月婷婷在线观看| 久久婷婷五月综合网| 五月婷婷激情综合拍| 欧美婷婷九月| 日韩欧洲亚洲| 精品无码色| 久久婷综| 综合网啪| 国产97色在线 | 日韩| 伊人婷婷五月天| 日本色婷婷久久99精品91| 久9综合| 色五月大| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 五月丁香精品| 九九热视频网站| 五月婷无码| 五月丁香婷婷色色色| 激情五婷精品网在线观看网址| 六月丁香婷| 国产色五月| 亚洲综合在线播放| 婷婷色导航| 俺也高清无码高清视频| 婷婷五月综激情| 综合色播| 精品51XX| 免费看无码视频A级| 99久久精品国产色欲| 99超级碰免费视频| 婷婷大香焦| 久久婷婷国产| 99福利导航| 无码人妻少妇色欲AV一区二区| 丁香五月综合在线观看| 91se在线视频| 中国女人做爰A片| 激情深爱综合网| 亚洲色五月| 91呦呦呦| 成人在线网址| 99热99这里有免费的精品| 婷婷久久天堂网| 99精品视频网站| 丁香婷婷色五月天| 狠狠爱婷婷爱| 国产XXXX搡XXXXX搡麻豆| 亚洲激情久久| 五月伊人视频在线看| 婷婷丁香成人五月天| 国产伦亲子伦亲子视频观看| 久草xx性爱视频| 日本精品99| 亚洲AV成人一区二区在线观看| 日本精品99| 欧美3AaAa大片| 成人日韩欧美| 在线免费观看激情视频| 色色色综合| 婷婷五月天免费视频| 久久色在线视频| 99啪视频在线观看| 激情五月天婷婷| 99免费在线视频| 久久在线人妻| 亚洲性受XXXX五月丁香| 丁香色五月AV在线| 99热亚洲| 婷婷月综合| 婷婷五月天综合小说网| 可以免费看av网站| 丁香六月欧美| 成 人片 黄 色 大 片| 91操熟女| 婷婷五月激情小说| WWW.开心五月天.COM| 色情综合网| 91好好热日本在线| 九色亚洲| 99热精品在线| 婷婷丁香激情综合色情| 婷婷丁香色五月天久久88| 香蕉色色网| 中文字幕乱码亚洲精品一区| 99热这里只有精品16| 国产这里只有精品| 色色COm| 五月天天天综合| 啪啪综合| 欧美操我| 在线看片h站| 99九九久久| 亚洲九区| 停停五月丁香| 婷婷五月婷婷五月| 五月婷婷六月丁香综合视频在线| 亚洲色啪| 超碰国产av| 99ER热精品视频| 影音先锋一区| 五月婷婷色| 五月激情婷婷开心| 丁香五月激情澎湃一区| 好好日激情五月天| 熟女激情网| 亚洲午夜一区二区| 久久九九九九| 97干在线免费| 免费看欧美成人A片无码| 五月天激情网图片| 五月天伊人综合| 人人播| 色欲久久久久| 日本成人噜噜| 天天操夜夜夜拍拍拍| 午夜丁香久久久久久| 狠狠ri| 青青草婷婷五月天| 四川BBB搡BBB爽爽视频| 无码人妻AV久久久一区二区三区| 亚洲第一综合| 99精品在线观看| 婷婷激情社区| 99视频| www九九热| www.五月天婷婷| 大香蕉五月婷婷| 国产精品色婷婷久久久精品| 狠狠xx| 综合色色色| 综合网亚洲| 激情五月,激情综合网| 五月婷婷在线播放| 综合网天天| 日本婷婷在线| 亚洲成人影视在线观看| 五月停停999| 99久在线精品| 狠狠狠狠狠狠狠狠| 五月天激情视频| 国产精品大香蕉| 疯狂做受XXXX高潮A片动画| 婷婷丁香社区| 中字幕视频在线永久在线观看免费| 大地9中文在线观看免费高清| 激情网五月天| 成人做爰黄A片免费看直播室男男| 夜夜操加勒比| 国产午夜精品AV一区二区麻豆| 国产成人AV不卡| 99精品九九| 五月狠狠| 啪啪黄页网| 亚洲mm免费| 丁香婷婷综合色五月激情国产基地| 亚洲国产黄色电影| 日本久久9| 一区二区三区四区牛| 91精品婷婷国产综合| 色婷婷九月| 青青草搞屄视频网站| 欧美综合五月丁香六月婷| 91久久婷婷人人澡草| 五月开心久久| 色婷婷综合网站| 99热在线播放| 久久视9精| www.99热这里精品| 久久激情五月| 久久久婷丁香五月| 亚洲成人在线五月天| 亚洲行行色色| 99久久九九| 婷婷操久久| 色玖玖| 日韩中文字幕| 婷婷丁香五月视频| 一区二区免费看| 九九热10| 色五月婷婷很很操| 欧美久热| 人人人操 超碰| 激情五月天网| 亚洲综合另类| 色亭亭丁香五月天| 大伊香蕉玖玖爱| 久草大| 亚洲无码成人性爰网| 婷婷深爱五月丁香网| 六月色播| 超碰99在线观看| 国产69久久久欧美黑人A片| 久久久人人操A V| 婷婷五月深情丁香深爱日韩| 丁香五月婷婷丫| 狠狠999| 婷婷五月天激情综合网| 色情久久久| 色五月激情网| 色色色色色色综合网| 亚洲色激情| 69五月天视频| 狠狠色大香蕉| 九九在线精点品| 强辱丰满人妻HD中文字幕| 九九99在线视频| 婷婷五月综合欧美在线播放| 婷婷国产成人| 国产毛多水多女人A片| 99精品高潮| 五月丁香 久久久| 婷婷狠狠18禁久久| 强壮公让我夜夜高潮A片视频| 日本黄色精品| 丁香五月婷婷色综合基地| 丁香婷婷影院| 婷婷五月丁香五月| 亚洲天堂制| 亚洲无aV在线中文字幕| 五月丁香综合伦理片| 色婷婷A| 操逼五月婷婷| PORNY九色9l自拍视频成人| 日本熟女一区二区| 丁香在线视频| 黑人无码一区| 婷婷激情五月综合丁香社| 欧美丁香婷婷五月| 欧美啪啪网| 99re思思精品在线观看| 久色视频| 五月天基地| 99综合视频一体| 精品,99| 久久99综合| 色色爽爽天天| 婷婷深爱五月| 七月丁香五月婷婷在线| 桃色五月婷婷| 中文字幕AV网址| 9999热免费视频视频| 激情五月天综合图片小说网站| 91精品久久久久久久| 欧美日本97| 天天檫天天爽| 99视频内射三四| 激情五月九九九| 亚洲色欲AAAAAA| 国产成人99久久亚洲综合精品| 欧美激情伊人| 久久99这里只有精品视频| 色情综合| 啪啪黄页网| www五月天激情com| 免费亚洲婷婷中文字幕| 久久久.www| 婷婷五月天成人五月天| 五月婷婷自拍视频| 亚洲第一成人无码A片| 色色综合成人网| 婷婷五月电影| 热99.com婷婷| 开心五月婷婷激情网| 六月丁香久久| 婷婷色五月丁香六月欧美啪| 天天草天天摸| 欧美人人草草| 永久地址 色| 欧州婷婷五月天综合| 色情五月天视频网| 99色色| 六月婷婷啪啪| 婷婷金品综合视频| www.婷婷五月.com| 人妻操在线看| 丁香性爱在线视频| 成人va在线观看视频| 婷婷天天色| 91久久久久久| 色五月婷婷亚洲| 五月天激情子轮| 国外亚洲成AV人片在线观看| 丁香激惜男女| 久久九九99| 丁香五月精品视频| 色色a| Xx色综合| 99精品在线播放| 九九色精品| 波多野结衣AV无码Porn| 久久宗合影| 9999色色色色| 先锋影音男人的天堂AV| 亚洲色综合性| 狠狠精品干练久久久无码中文字幕| 538久久| 欧美性生交XXXXX无码小说| 影音先锋 91工厂| 成人丁香婷婷| 日韩久久这里只有精品| 日韩黄色中文字幕| 精品色情一区二区三区四区| 亚洲爆乳无码精品AAA片蜜桃| 国产成人VA| 亚洲乱码日产精品BD| 韩国婷婷丁香五月| 激情五月天婷婷丁香| 五月天社区| 婷婷亚洲色| www.婷婷六月天| 婷婷美女精品视频| 高清一区二区三区日本久| 五月丁香六月激情网| 久久se 综合网| 一起草无码视频| 黄桃AV无码免费一区二区三区| 另类五月婷婷| 日产精品一线二线三线芒果| wwwxxx五月婷婷小说| 7777国产盗摄农村女人| 五月天激情婷婷丁香| 欧美黄色一级| 丁香婷婷婷五月| 亚洲欧洲一二| 开心婷婷五月| 欧美色图天堂网| 五月丁香黄色视频| 色婷婷欧美在线| 日韩一级| 婷婷色爱| 婷婷色五月大香蕉在线观看| 久久婷婷精品| 色五月av伊人| 99在线资源视频| 色色色色色网| 色色五月天婷婷| 99精品视频网| 丁香婷五月| 涩丁香91| 99熟女啪啪视频| 玖玖国产视频一区| 综合av在线| 五月丁香五月综合欧美| aaa丁香五月天| 热日韩欧美| www999日韩精品| 综合激情五月综合激情五月激情1| 亚洲成人av中文| 中文av网| 五月丁香激情综合啪啪| 国产精品a无线| 色播播婷婷| 91九九| 色婷网站| 丁香婷婷五月色成人网站| 操人无码| 久久精品国产AV一区二区三区 | 五月在线| 九九综合伊人| 超碰97在线操| 99视频网址| 色 丁香婷婷| 五月香蕉婷婷| 国外亚洲成AV人片在线观看| 九热视频| 七七九九色色| 色色网91| 五月婷在线| 五月天婷婷无码| 中文不卡一二三区| 婷婷六月色| 99热在线观看精品免费| 一级性爱视频| 精品免费99| 99综合视频一体| 9色婷婷| 久久激情视频| 久久成人人妻| 精品九九在线观看| 男女免费视频999| 亚洲国产精品VA在线看黑人| 色激情五月| 涩涩婷婷五月| 日本人妻A片成人免费看片| 综久久久| www.色婷婷| 五月丁香综合激情网| 性色99| 欧美精品99久久久| 日韩久久日| 婷色五月天| 97人妻碰碰碰久久香蕉| 色情五月天A片| 伊人婷婷青青cao| 亚洲无码 图片区| 狠狠干夜夜干| 婷婷激情综合| www.26uuu.com亚洲电影| 欧美视频五区| 丁香六月天婷婷| 亚洲中文字幕在线观看|