欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

VMD-KPCA-PINN組合模型:MATLAB實(shí)現(xiàn)多輸入時(shí)序預(yù)測全流程

VMD-KPCA-PINN組合模型:MATLAB實(shí)現(xiàn)多輸入時(shí)序預(yù)測全流程 1. 項(xiàng)目背景與整體思路這兩年做時(shí)序預(yù)測的人越來越多但大多數(shù)人一開始都是從單一模型入手的——拿個(gè)歷史序列直接扔進(jìn)LSTM、BP或者GRU里出一組誤差指標(biāo)就算交差了。等真正接觸到工業(yè)現(xiàn)場的實(shí)測數(shù)據(jù)才發(fā)現(xiàn)理想很豐滿現(xiàn)實(shí)很骨感現(xiàn)場數(shù)據(jù)幾乎都是非平穩(wěn)的噪聲多、模態(tài)混疊、特征維度高、變量之間還有復(fù)雜的非線性耦合。這時(shí)候再去套單一神經(jīng)網(wǎng)絡(luò)模型不是不收斂就是收斂到一半訓(xùn)練崩了精度更是慘不忍睹。我這次做的這個(gè)項(xiàng)目就是把三條路擰成一股繩來解決上述問題VMD變分模態(tài)分解 KPCA核主成分分析 PINN物理信息神經(jīng)網(wǎng)絡(luò)全部用MATLAB實(shí)現(xiàn)目標(biāo)是很常見的多輸入單輸出時(shí)序預(yù)測任務(wù)。所謂多輸入單輸出就是模型接收多個(gè)相關(guān)變量的歷史觀測值只預(yù)測未來一個(gè)關(guān)鍵變量的值。這種結(jié)構(gòu)在企業(yè)里的需求量極大比如用環(huán)境溫度、濕度、風(fēng)速等多個(gè)氣象變量去預(yù)測光伏功率或者用轉(zhuǎn)速、負(fù)載電流、軸承溫度去預(yù)測設(shè)備剩余壽命本質(zhì)上都是同一個(gè)問題。整套方案的核心思路不復(fù)雜VMD先把原始信號拆解成若干個(gè)不同頻段的子序列相當(dāng)于把一個(gè)糾纏不清的混合信號分層歸位KPCA再把這些子序列連同其他外部變量一起做非線性特征壓縮去掉冗余、留下最有解釋力的成分最后交給PINN做回歸預(yù)測。PINN和普通的神經(jīng)網(wǎng)絡(luò)不太一樣它在損失函數(shù)里嵌入了物理方程約束預(yù)測曲線不容易跑偏特別適合樣本量小但規(guī)律性強(qiáng)的工業(yè)場景。這套組合拳最適合三類人一是做風(fēng)電、光伏、電力負(fù)荷預(yù)測的工程師天天被非平穩(wěn)數(shù)據(jù)折磨二是做故障診斷與剩余壽命預(yù)測的研究生手里數(shù)據(jù)源多但不知道怎么做特征工程三是對MATLAB熟悉、想在圖神經(jīng)網(wǎng)絡(luò)之外找一種更穩(wěn)妥預(yù)測路線的從業(yè)者。看完這篇文章你至少能搞清楚三件事這三個(gè)算法為什么要按這個(gè)順序串聯(lián)、每一步在MATLAB里具體怎么落地、以及實(shí)際調(diào)試中那些文檔里不會(huì)寫但能救命的坑。2. 為什么一定要VMD-KPCA-PINN這套組合2.1 單模型處理不了非平穩(wěn)信號先把最基礎(chǔ)的問題聊透為什么不用純神經(jīng)網(wǎng)絡(luò)直接干你看看典型的工業(yè)實(shí)測數(shù)據(jù)就明白了。一條風(fēng)機(jī)功率曲線可能同時(shí)包含慢變的趨勢分量、因?yàn)轱L(fēng)速突變產(chǎn)生的間歇毛刺、還有齒輪箱周期性振動(dòng)帶來的高頻噪聲。神經(jīng)網(wǎng)絡(luò)本身其實(shí)不具備自動(dòng)分離頻段的能力它更像一個(gè)把所有輸入特征亂燉的廚師——如果輸入里有不同時(shí)間尺度的模式混雜在一起模型會(huì)試圖用同一組參數(shù)去擬合所有模式結(jié)果就是什么都擬合不好。這和你在MATLAB里用單一LSTM做風(fēng)電功率預(yù)測最終誤差指標(biāo)總在某個(gè)閾值下不去的現(xiàn)象是吻合的。VMD就是來解決這個(gè)問題的。它能把原始信號f(t)分解成K個(gè)有限帶寬的固有模態(tài)函數(shù)u_k(t)每個(gè)模態(tài)都有一個(gè)自己的中心頻率ω_k并且這些模態(tài)的帶寬之和盡可能小。數(shù)學(xué)上說它是在求解一個(gè)變分約束問題[ \min_{{u_k},{\omega_k}} \sum_k \left| \partial_t \left[ (\delta(t)\frac{j}{\pi t}) * u_k(t) \right] e^{-j\omega_k t} \right|_2^2 ]你不需要逐字推導(dǎo)這個(gè)公式只要抓住關(guān)鍵就行VMD輸出的K條子序列在頻域上是分開的每條子序列保持了自己的時(shí)間域特征但又沒有了混疊帶來的干擾。分解完之后高頻噪聲進(jìn)了某個(gè)IMF慢變趨勢進(jìn)了另一個(gè)IMF模型就能真正看到干凈的結(jié)構(gòu)。2.2 KPCA比PCA更合適高維非線性特征VMD把序列分解之后輸入維度不降反升。假設(shè)原始序列有5個(gè)變量每個(gè)變量分解出4個(gè)模態(tài)再加上溫度和風(fēng)速之類的外部變量輸入空間立刻膨脹到20多維度。這些維度之間還有很強(qiáng)的相關(guān)性比如相鄰模態(tài)之間可能存在信息冗余。直接全塞給神經(jīng)網(wǎng)絡(luò)倒不是不行但訓(xùn)練效率會(huì)肉眼可見地下降表現(xiàn)在訓(xùn)練曲線震蕩劇烈甚至出現(xiàn)過擬合。這時(shí)候傳統(tǒng)PCA能幫上忙嗎能但不夠。PCA本質(zhì)上是在原始空間里尋找最大方差方向的線性投影對付線性相關(guān)的特征很有效一旦特征之間有非線性耦合關(guān)系就抓瞎了。比如風(fēng)速和光伏功率在低風(fēng)速區(qū)接近線性、在高風(fēng)速區(qū)卻進(jìn)入飽和區(qū)這種非線性關(guān)系PCA是看不出來的。KPCA的做法是先通過核函數(shù)將原始數(shù)據(jù)映射到高維特征空間再在這個(gè)高維空間里做PCA。簡單理解就是把非線性問題通過一個(gè)核技巧拉直變成線性問題再降維。這樣做的好處是既保留了非線性結(jié)構(gòu)又拿到了降維后的低維表示。這個(gè)先拉直、再降維的思路和你在坐標(biāo)系里處理彎曲數(shù)據(jù)時(shí)先做變換再用直線擬合是同一個(gè)道理。2.3 PINN讓預(yù)測結(jié)果不脫離物理規(guī)律代碼跑到最后一步模型如果只是個(gè)普通全連接網(wǎng)絡(luò)或者LSTM其實(shí)前面的VMD和KPCA已經(jīng)把特征工程做得相當(dāng)好了精度也不會(huì)差。但PINN的價(jià)值在于另一個(gè)層面——它能把你對物理系統(tǒng)的先驗(yàn)知識直接寫進(jìn)網(wǎng)絡(luò)訓(xùn)練過程。舉個(gè)具體的例子。做儲(chǔ)能電池SOC預(yù)測時(shí)你很清楚SOC的變化率不能無限大它受最大充放電倍率約束SOC的取值一定落在0到1之間不可能出現(xiàn)1.3這種荒謬結(jié)果。這些規(guī)律是物理硬約束普通神經(jīng)網(wǎng)絡(luò)是不知道的它只會(huì)根據(jù)訓(xùn)練集的統(tǒng)計(jì)慣性來輸出。如果測試集的工況發(fā)生了偏移純數(shù)據(jù)模型的預(yù)測就會(huì)飛出物理邊界這在工程上是不可接受的。PINN的解決方式非常直接把物理方程的殘差作為一個(gè)懲罰項(xiàng)加進(jìn)損失函數(shù)。設(shè)網(wǎng)絡(luò)預(yù)測值為(\hat{y})真實(shí)值為(y)物理約束項(xiàng)的殘差為(R(\hat{y}))那么總損失就是[ Loss \frac{1}{N}\sum_{i1}^{N}(\hat{y}i - y_i)^2 \lambda \cdot \frac{1}{N}\sum{i1}^{N}R^2(\hat{y}_i) ](\lambda)是物理約束的強(qiáng)度系數(shù)(R(\hat{y}))可以是一階導(dǎo)數(shù)約束(d\hat{y}/dt - f(\hat{u}))也可以是上下邊界約束(\max(0, \hat{y}-1) \max(0, -\hat{y}))。數(shù)學(xué)形式不固定完全依賴你對系統(tǒng)規(guī)律的理解深度。訓(xùn)練過程中網(wǎng)絡(luò)不僅要讓預(yù)測值逼近真實(shí)值還要讓自己輸出的解盡可能滿足物理方程這相當(dāng)于給模型上了雙保險(xiǎn)。3. 環(huán)境準(zhǔn)備與數(shù)據(jù)鏈路設(shè)計(jì)3.1 工具箱選擇和版本適配問題實(shí)話說這套流程對環(huán)境的要求不算苛刻。VMD在MATLAB里沒有官方內(nèi)置函數(shù)但File Exchange上有原作者的VMDFunction實(shí)現(xiàn)下載后放到搜索路徑即可調(diào)用KPCA如果沒有統(tǒng)計(jì)機(jī)器學(xué)習(xí)的工具箱許可用File Exchange上的kPCA代碼也能跑PINN需要Deep Learning Toolbox建議2021a以上的版本因?yàn)閺倪@開始自定義訓(xùn)練循環(huán)的語法才比較全。我在實(shí)際部署時(shí)用的是MATLAB R2023bDLL和C編譯器都適配得很好沒有遇到舊版本里dlnetwork與自定義損失函數(shù)之間接口不一致的問題。如果你是2020a或者更早的版本建議先把工具箱升級到2021a之后再動(dòng)手否則在自定義訓(xùn)練循環(huán)那一步會(huì)卡很久。新版MATLAB對GPU訓(xùn)練的支持也更友好在訓(xùn)練PINN的時(shí)候只有一個(gè)GPU和沒有GPU完全是兩個(gè)訓(xùn)練速度強(qiáng)烈建議有條件就把支持CUDA的顯卡開起來。這里要特別提醒一句不要讓所有算法模塊在同一個(gè)腳本里一鍋燉。VMD分解和KPCA降維這兩步建議拆成獨(dú)立的函數(shù)文件單獨(dú)運(yùn)行、保存中間結(jié)果到.mat文件。因?yàn)閂MD求解是個(gè)迭代過程一旦K值選得不合適重新分解很費(fèi)時(shí)間把中間結(jié)果緩存下來后續(xù)調(diào)PINN模型參數(shù)時(shí)不需要重新跑前兩步能省下一晚上調(diào)試時(shí)間。3.2 多輸入單輸出問題的數(shù)據(jù)組織方式多輸入單輸出建模的第一步是把原始的三維世界變成二維矩陣。以我的實(shí)驗(yàn)數(shù)據(jù)為例原始數(shù)據(jù)是一個(gè)3065×7的矩陣7列分別是環(huán)境溫度、風(fēng)速、濕度、氣壓、光照強(qiáng)度、上一時(shí)刻功率和當(dāng)前時(shí)刻功率。目標(biāo)是預(yù)測當(dāng)前時(shí)刻功率所以真正參與建模的輸入是前6列輸出是第7列。這里有個(gè)時(shí)序建模的基本操作構(gòu)造滑窗樣本。假設(shè)滑窗長度lookback5步長step1那么第1個(gè)樣本的輸入是第1到5行的6個(gè)變量共30個(gè)特征輸出是第6行的功率值第2個(gè)樣本輸入是第2到6行的6個(gè)變量輸出是第7行的功率值。最后得到一個(gè)(n_samples, 30)的輸入矩陣和一個(gè)(n_samples, 1)的輸出矩陣。為什么滑窗長度取5而不是直接取全部歷史這背后是自相關(guān)分析的邏輯我先把功率序列做了自相關(guān)函數(shù)圖發(fā)現(xiàn)滯后5步之后自相關(guān)系數(shù)掉到0.3以下說明超過5個(gè)時(shí)刻的歷史信息對當(dāng)前時(shí)刻的貢獻(xiàn)已經(jīng)弱了。取長了模型參數(shù)增多訓(xùn)練時(shí)間變長精度提升極少取短了信息不夠誤差明顯上抬。你可以用MATLAB的autocorr函數(shù)跑一遍自己的數(shù)據(jù)按0.3這個(gè)閾值確定滑窗長度。3.3 訓(xùn)練集測試集劃分不能亂切時(shí)序預(yù)測里的訓(xùn)練集測試集劃分和常規(guī)機(jī)器學(xué)習(xí)里的隨機(jī)劃分完全是兩回事。隨機(jī)劃分會(huì)直接導(dǎo)致數(shù)據(jù)泄漏訓(xùn)練集里包含測試集時(shí)刻之后的未來數(shù)據(jù)模型在訓(xùn)練時(shí)偷看到了未來驗(yàn)證誤差會(huì)異常好看一到真正的未來時(shí)刻就原形畢露。正確的做法是按時(shí)間順序切分。我的實(shí)驗(yàn)里取了前80%的樣本作為訓(xùn)練集后20%作為測試集中間不留交叉。歸一化的參數(shù)、KPCA的投影矩陣、VMD的分解邊界全部只從訓(xùn)練集上估計(jì)測試集的數(shù)據(jù)要用訓(xùn)練集算好的參數(shù)轉(zhuǎn)換千萬不能在整個(gè)數(shù)據(jù)集上先歸一化再去劃分否則訓(xùn)練集和測試集的信息就互相污染了。4. VMD分解的MATLAB實(shí)現(xiàn)與K值確定4.1 VMD核心調(diào)用參數(shù)詳解在MATLAB里調(diào)用VMD的核心代碼很簡單但每個(gè)參數(shù)背后的含義值得花點(diǎn)時(shí)間說清楚。常用的調(diào)用格式是[u, u_hat, omega] VMD(f, alpha, tau, K, DC, init, tol);其中f是被分解的一維信號alpha是懲罰因子tau是噪聲容忍度K是模態(tài)數(shù)量DC表示是否保留直流分量init是初始化方式tol是收斂容差。輸出u是K行N列的矩陣每一行代表一個(gè)IMF子序列omega是各模態(tài)的中心頻率。alpha這個(gè)參數(shù)最容易讓人困惑。它控制的是模態(tài)帶寬的懲罰強(qiáng)度alpha越大每個(gè)模態(tài)的帶寬越窄各模態(tài)的中心頻率分得越開分解結(jié)果越純凈但也容易出現(xiàn)模態(tài)丟失alpha越小模態(tài)帶寬越寬模態(tài)之間可能發(fā)生重疊。經(jīng)驗(yàn)值在2000附近但這不是死規(guī)矩。我的做法是固定K不變把a(bǔ)lpha從500拉到5000觀察各模態(tài)中心頻率的分布找到一個(gè)既不重疊又不丟失分量的值。tau在信號含噪比較嚴(yán)重時(shí)推薦取0此時(shí)VMD等效于強(qiáng)制噪聲抑制如果信號比較干凈取默認(rèn)值0.25就行。DC通常在信號有直流偏置時(shí)設(shè)為1否則設(shè)為0。init推薦用1表示全部初始化為均勻頻率分布這對大多數(shù)信號來說是最穩(wěn)妥的開始方式。4.2 K值選大了還是選小了怎么看K值模態(tài)數(shù)是整個(gè)VMD環(huán)節(jié)里最需要經(jīng)驗(yàn)的地方。K選小了分解不充分兩個(gè)不同頻率的成分?jǐn)D在一個(gè)模態(tài)里模態(tài)混疊的問題依然存在K選大了出現(xiàn)過度分解出現(xiàn)虛假模態(tài)——也就是某個(gè)模態(tài)和另一個(gè)模態(tài)在頻域上幾乎重合物理意義不清晰。先說我試過且有效的兩種判定方法。第一種是用VMD輸出的中心頻率omega直接判斷在同一alpha下如果中心頻率從小到大排列之后末尾兩個(gè)頻率的差值小于前面相鄰差值的一半十有八九是K取大了。第二種是觀察各模態(tài)與原始信號的相關(guān)系數(shù)正常情況下各模態(tài)與原始信號的相關(guān)性應(yīng)該從高頻到低頻遞減如果突然跳出來一個(gè)模態(tài)相關(guān)性異常低或者和某個(gè)鄰近模態(tài)相關(guān)性極高說明過分解了。實(shí)際操作起來我建議直接跑K3到K8的多組分解每組用同一alpha畫出各模態(tài)的中心頻率折線圖。要的就是中心頻率從低到高分布均勻、末尾不扎堆、無空洞的那組K。我在實(shí)測中分解風(fēng)機(jī)功率數(shù)據(jù)K5時(shí)有明顯的中心頻率扎堆現(xiàn)象K4就非常均勻最后選K4預(yù)測效果提升了大約10%的RMSE。4.3 VMD分解后的數(shù)據(jù)重組VMD分解完千萬別直接把每條IMF單獨(dú)丟給模型。正確的做法是把分解后的子序列作為新的特征列和原始的其他變量拼在一起構(gòu)成一個(gè)擴(kuò)維矩陣。我這里的做法是把原始功率信號分解成4條IMF將這4條信號按列拼到7個(gè)原始變量之后形成11列的中間矩陣。然后進(jìn)入KPCA降維。這個(gè)重組過程在MATLAB里就是一條矩陣拼接命令的事IMF_all u; % u是VMD輸出的K行N列矩陣 features_combined [X_original, IMF_all]; % 拼接成新特征矩陣需要注意的是每條IMF在送入KPCA之前要不要再做一次差分、取對數(shù)之類的變換取決于數(shù)據(jù)的實(shí)際特性。如果信號本身波動(dòng)劇烈可以先做對數(shù)變化讓幅度更平穩(wěn)但別做過頭否則KPCA提取的非線性主成分可能只反映了變換噪聲。5. KPCA降維的實(shí)戰(zhàn)細(xì)節(jié)5.1 核函數(shù)選擇與參數(shù)標(biāo)定KPCA和PCA在原理上最大的區(qū)別在于核函數(shù)的選擇。我試過線性核、多項(xiàng)式核和高斯核RBF核從預(yù)測結(jié)果來看高斯核的效果最穩(wěn)。原因也好理解高斯核對特征空間的非線性映射表達(dá)力最強(qiáng)能夠捕捉風(fēng)力功率曲線中的飽和特性而線性核和多項(xiàng)式核在這個(gè)場景里映射能力有限。高斯核的寬度參數(shù)sigma是唯一的自由參數(shù)。sigma太小核矩陣過于尖銳自動(dòng)退化成近鄰匹配降維后的特征基本就是原始特征的翻版sigma太大核矩陣趨近于均勻拉不開點(diǎn)與點(diǎn)之間的差異降維效果等同于PCA。標(biāo)定sigma的實(shí)用辦法是用交叉驗(yàn)證在訓(xùn)練集內(nèi)部再切一個(gè)驗(yàn)證子集對sigma做對數(shù)網(wǎng)格搜索取驗(yàn)證集上重構(gòu)誤差最小的sigma。MATLAB里用File Exchange上的kPCA函數(shù)時(shí)需要先自己構(gòu)造核矩陣并中心化。核矩陣中心化這一步特別容易漏但漏了的話結(jié)果完全是錯(cuò)的。原理是PCA的特征分解必須作用于數(shù)據(jù)中心化后的協(xié)方差矩陣KPCA就必須在特征空間里做同樣的中心化而這個(gè)中心化操作反映在核矩陣上是K_c K - mean(K, 2) - mean(K, 1) mean(K, :);5.2 累計(jì)貢獻(xiàn)率怎么定才合理處理核矩陣特征值分解后每個(gè)特征值對應(yīng)的特征向量就是一個(gè)主方向。主方向該保留多少個(gè)取決于累計(jì)貢獻(xiàn)率也就是前r個(gè)特征值之和占總特征值之和的比例。通用經(jīng)驗(yàn)是累計(jì)貢獻(xiàn)率達(dá)到95%但這是常規(guī)PCA的經(jīng)驗(yàn)KPCA加核變換后特征值衰減通常更快我在實(shí)際運(yùn)行中發(fā)現(xiàn)累計(jì)貢獻(xiàn)率到90%左右預(yù)測精度就已經(jīng)穩(wěn)定了再往上加維度只會(huì)增加無效計(jì)算。還有一點(diǎn)值得單獨(dú)說KPCA降維描述的是整個(gè)特征集的綜合投影但降維后的特征已經(jīng)不具備物理含義了你沒法說第3個(gè)主成分代表風(fēng)速。所以在工程解釋性要求高的場景里建議降維后的維度控制在5到8之間既保留了統(tǒng)計(jì)信息又不至于讓后續(xù)分析完全喪失可解釋線索。5.3 投影系數(shù)一致性訓(xùn)練集和測試集必須共用一個(gè)投影矩陣這一條是KPCA實(shí)操里最容易踩的坑也是很多網(wǎng)上代碼里出錯(cuò)的地方。KPCA的投影方向和主成分系數(shù)只應(yīng)該從訓(xùn)練集上計(jì)算測試集數(shù)據(jù)要做的是套用訓(xùn)練集已經(jīng)算好的投影系數(shù)來獲得低維表示而不是在測試集上重新做一次KPCA。我在代碼里是這樣組織的先對訓(xùn)練集構(gòu)建核矩陣、中心化、特征分解存下需要的投影矩陣和主成分方向測試集數(shù)據(jù)進(jìn)入時(shí)先計(jì)算測試集與訓(xùn)練集樣本之間的核矩陣再做同樣的中心化最終乘以訓(xùn)練集的特征向量矩陣得到測試集的低維表示。這么做才能保證訓(xùn)練集和測試集處于同一特征空間。6. PINN網(wǎng)絡(luò)的搭建與訓(xùn)練細(xì)節(jié)6.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)不是越深越好PINN的骨干網(wǎng)絡(luò)我采用的是典型的三層全連接結(jié)構(gòu)輸入層接收KPCA降維后的特征序列比如輸出維度設(shè)置為8的窗口特征中間層用兩個(gè)全連接層每層32個(gè)神經(jīng)元激活函數(shù)用tanh輸出層一個(gè)神經(jīng)元對應(yīng)預(yù)測值。整體參數(shù)數(shù)量大約在1300個(gè)左右。為什么不用LSTM或GRU這種循環(huán)結(jié)構(gòu)不是不好而是這個(gè)場景里輸入序列已經(jīng)在VMD和KPCA階段被做了充分的時(shí)頻展開和信息壓縮剩余的時(shí)間動(dòng)態(tài)并不復(fù)雜用循環(huán)網(wǎng)絡(luò)的訓(xùn)練成本高調(diào)參門檻也高。全連接網(wǎng)絡(luò)在這一步反而簡單、穩(wěn)定、收斂快。當(dāng)然如果你把VMD-KPCA的輸出直接接一個(gè)LSTM我也試過最終結(jié)論是精度提升不到2%訓(xùn)練時(shí)間卻翻了4倍性價(jià)比太低。tanh激活函數(shù)在這里優(yōu)于ReLU。因?yàn)槲锢硐到y(tǒng)的輸出范圍通常是有界的比如功率值不可能為負(fù)tanh自帶對稱性且導(dǎo)數(shù)連續(xù)對包含物理約束的損失函數(shù)優(yōu)化起來更友好。ReLU在0點(diǎn)不可導(dǎo)放到PINN的梯度計(jì)算中容易在某些迭代步突然爆炸。6.2 自定義訓(xùn)練循環(huán)PINN的核心代碼MATLAB R2021a之后可以用dlnetwork和自定義訓(xùn)練循環(huán)實(shí)現(xiàn)任意損失函數(shù)。PINN的獨(dú)特之處在于損失函數(shù)里要同時(shí)包含數(shù)據(jù)項(xiàng)和物理項(xiàng)這需要我們在每次迭代時(shí)手動(dòng)計(jì)算梯度。核心代碼框架如下% 網(wǎng)絡(luò)輸入和輸出使用dlarray X_dl dlarray(X_train, CB); Y_dl dlarray(Y_train, CB); for epoch 1:maxEpochs % 前向傳播 Y_pred forward(net, X_dl); % 數(shù)據(jù)損失 lossData mse(Y_pred, Y_dl); % 物理損失以平滑約束為例計(jì)算時(shí)間方向?qū)?shù) % 通過dlgradient獲取網(wǎng)絡(luò)輸出對輸入的梯度 gradY dlgradient(sum(Y_pred), X_dl); % 平滑度懲罰項(xiàng)相鄰時(shí)刻預(yù)測變化不宜過大 physResidual sqrt(mean((gradY(2:end,:) - gradY(1:end-1,:)).^2, all)); lambda 0.05; % 物理約束權(quán)重 loss lossData lambda * physResidual; % 計(jì)算梯度并更新網(wǎng)絡(luò)參數(shù) gradients dlgradient(loss, net.Learnables); [net, avgLoss] adamupdate(net, gradients, avgLoss, epoch); end這個(gè)代碼里最關(guān)鍵的是dlgradient(sum(Y_pred), X_dl)這一行。它在利用鏈?zhǔn)椒▌t求網(wǎng)絡(luò)輸出對輸入的導(dǎo)數(shù)這個(gè)導(dǎo)數(shù)本身就構(gòu)成了物理約束的數(shù)學(xué)基礎(chǔ)。如果你有明確的物理方程比如傳熱方程、流體方程可以把方程殘差寫成輸入輸出和導(dǎo)數(shù)的表達(dá)式替換掉平滑約束項(xiàng)。6.3 物理約束項(xiàng)怎么構(gòu)造才不翻車很多人第一次寫PINN時(shí)容易把物理約束項(xiàng)寫得太狠結(jié)果模型直接不收斂。我的經(jīng)驗(yàn)是物理約束的權(quán)重(\lambda)不要一開始就固定。先用(\lambda0)跑幾個(gè)epoch讓網(wǎng)絡(luò)先大致學(xué)到數(shù)據(jù)的基本模式然后每迭代一定次數(shù)緩慢增大(\lambda)最后穩(wěn)定在一個(gè)合適值。這可類比成學(xué)騎車的人先學(xué)會(huì)在平路上保持平衡再加復(fù)雜路況挑戰(zhàn)。物理約束項(xiàng)的形式不要貪多能選一個(gè)就選一個(gè)。常見的約束有單調(diào)性限制預(yù)測值應(yīng)該隨某個(gè)變量單調(diào)遞增、邊界約束預(yù)測值在某個(gè)區(qū)間內(nèi)、趨勢約束短期內(nèi)變化率有上限。每多加一個(gè)約束網(wǎng)絡(luò)的可行解空間就收縮一截訓(xùn)練難度指數(shù)級上升。我見過一些同學(xué)一上來就加了五六個(gè)物理約束最后網(wǎng)絡(luò)怎么調(diào)都收斂不了到后來刪到只剩一個(gè)平滑項(xiàng)就收斂了。6.4 訓(xùn)練中的監(jiān)控指標(biāo)與早停策略PINN的自定義訓(xùn)練循環(huán)里沒有UI界面可看。我的做法是每20個(gè)epoch記錄一次訓(xùn)練集和驗(yàn)證集的損失值實(shí)時(shí)打印出來然后把歷史損失曲線畫出來。一個(gè)正常的訓(xùn)練過程應(yīng)該是驗(yàn)證損失先下降、后趨于平穩(wěn)。如果驗(yàn)證損失在中途開始回彈說明過擬合了需要用到早停策略當(dāng)驗(yàn)證損失連續(xù)50個(gè)epoch不下降時(shí)停止訓(xùn)練并回滾到驗(yàn)證損失最小的那一步。這里再分享一個(gè)很實(shí)用的經(jīng)驗(yàn)MAPE曲線的參考價(jià)值比RMSE更大。RMSE對極端值的懲罰比較重一旦測試集里出現(xiàn)偶然的極端功率波動(dòng)RMSE會(huì)飆得很離譜容易掩蓋模型在中段區(qū)域的整體表現(xiàn)。MAPE能更公平地反映相對誤差水平在做多變量時(shí)序預(yù)測評判時(shí)建議兩者同時(shí)打印互相印證。7. 完整流程復(fù)盤與常見問題排查7.1 一次完整的運(yùn)行流程是什么樣把前面的所有環(huán)節(jié)串起來整個(gè)項(xiàng)目的執(zhí)行順序如下加載原始數(shù)據(jù)矩陣劃分訓(xùn)練集和測試集保存劃分索引以備后用。對原始序列做VMD分解按中心頻率分布確定K值得到IMF矩陣。拼接原始特征與IMF特征構(gòu)成中間特征矩陣。在訓(xùn)練集上執(zhí)行KPCA建核矩陣、中心化、特征分解、確定保留維度。用訓(xùn)練集的投影系數(shù)分別轉(zhuǎn)換訓(xùn)練集和測試集到低維空間。設(shè)計(jì)PINN網(wǎng)絡(luò)結(jié)構(gòu)定義數(shù)據(jù)損失和物理損失。自定義訓(xùn)練循環(huán)逐步訓(xùn)練并監(jiān)控?fù)p失曲線。測試集上反歸一化計(jì)算RMSE、MAE、MAPE、R2畫出預(yù)測值對比曲線和誤差分布直方圖。整個(gè)流程看起來長但每個(gè)環(huán)節(jié)都是獨(dú)立模塊調(diào)試起來?xiàng)l理非常清晰。我在實(shí)際項(xiàng)目里把這8步固化成了8個(gè)腳本函數(shù)后續(xù)換一組數(shù)據(jù)只需要改數(shù)據(jù)讀入?yún)?shù)其他的模塊都不需要?jiǎng)印?.2 實(shí)測效果這套組合比單一模型強(qiáng)在哪用同一份3065條記錄的風(fēng)光互補(bǔ)電站數(shù)據(jù)我做了三組對比實(shí)驗(yàn)。第一組直接LSTM預(yù)測不做任何預(yù)處理第二組VMDKPCALSTM第三組就是本文的VMDKPCAPINN。測試集上的結(jié)果如下表模型RMSEMAEMAPE(%)R2單一LSTM6.424.5111.80.87VMDKPCALSTM4.853.638.20.93VMDKPCAPINN3.982.946.50.96可以看到VMDKPCA的組合直接把RMSE壓低了25%說明前面兩步的特征工程功不可沒再加上PINN的物理約束RMSE又往下降低18%同時(shí)R2突破0.96。物理約束在測試集上的作用尤其明顯預(yù)測曲線在功率快速跳變時(shí)的過沖現(xiàn)象大幅減少整體曲線更加貼合真實(shí)物理趨勢。7.3 高頻問題排查速查表VMD分解結(jié)果全是0或者NaN大概率是信號沒有做單位化或者alpha取得太大導(dǎo)致迭代發(fā)散。先把信號做max-min歸一化再把a(bǔ)lpha降到1000以下試試。KPCA降維后特征全是NaN核矩陣?yán)锍霈F(xiàn)了Inf或NaN檢查數(shù)據(jù)里是否有缺失值先把缺失值用線性插值補(bǔ)齊。MATLAB里可以用fillmissing命令。PINN訓(xùn)練損失不下降檢查物理約束權(quán)重(\lambda)是否過大先降到0.01級別測試檢查學(xué)習(xí)率是否過小通常adam優(yōu)化器在0.001到0.01之間。PINN驗(yàn)證損失震蕩劇烈mini-batch設(shè)得太大或者學(xué)習(xí)率太高。嘗試把批大小降到32學(xué)習(xí)率設(shè)為原來的三分之一。訓(xùn)練集誤差小、測試集誤差大典型的過擬合。增加訓(xùn)練數(shù)據(jù)量或者調(diào)整物理約束權(quán)重讓模型泛化。必要時(shí)降低網(wǎng)絡(luò)的隱藏層神經(jīng)元數(shù)量。7.4 我認(rèn)為這套方案還能繼續(xù)優(yōu)化的方向就個(gè)人經(jīng)驗(yàn)而言VMD-KPCA-PINN這條路線當(dāng)前做到R20.96已經(jīng)算不錯(cuò)了但還可以深挖的地方有不少。比如VMD的K值和alpha目前是經(jīng)驗(yàn)定值完全可以用粒子群或者貝葉斯優(yōu)化做自動(dòng)尋優(yōu)KPCA的核參數(shù)sigma也可以納入同一套優(yōu)化框架。再比如PINN的物理約束目前我只用了平滑性約束如果后續(xù)能拿到設(shè)備的機(jī)理方程比如電池的等效電路方程把真正的物理殘差加進(jìn)去預(yù)測上限還能再拔一截。最后提醒一句做這種多模塊的組合模型中間結(jié)果的緩存一定要存好——你永遠(yuǎn)不知道調(diào)參過程中要回退到哪一步緩存就是你的后悔藥。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久曰曰| 日本在线观看91| 精品一区二区三区木瓜| 亚洲成人AV在线播放| 天天插天天日| 婷婷五月天视频| 久久色频| 99碰超| 亚洲天堂婷婷丁香| 五月丁香综合影院| 日日操天天爽| 五月天激情在线视频| 色五月色五天色情网址| 国产偷人爽久久久久久老妇APP| 丁香婷婷情色五月天| 九月婷婷| AV在线中文| 久婷婷视平| 日本五月婷婷| 九月激情网| 五月婷在线视频免费播放| 超碰97免费在线| 国产,欧美,学生妹,视频| 亚洲性爱电影| 五月丁香六月婷婷姐| 婷婷五月天伊人网| 182TV大香蕉| 天天天天天久久久久久| 激情五月视频| 甈吧vv| 亚洲视频1区| 五月激情天| WWW免费视频碰碰碰碰| 色情免费视频播放| 丁香五月天欧美在线| 色婷婷六月天| 五月丁香888| 中文字幕成人网站| 国产精品第一国产精品| 精品成人无码A片观看香草视频| 日本婷婷在线| 五月丁香 啪啪| 熟女激情五月天 | 99精品热视频| 色婷婷综合久久久久| 九九热99在线视频| 综合久久六月| 激情亭亭五月| 黄色片精品| 五月婷婷综合在线视频| 99在线免费视频播放| 97在线观看| 丁香五月影院| 99ER热精品视频| 五月丁香综合| 99re欧美精品| 黄色激情网站在线观看| 国内熟女黄色系列| 五月丁香亚州综合网| 亚洲日韩乱码一区二区三区四区| 中文字幕在线aⅴ免费观看| 综合色99| 黄色片久久| 欧美日韩欧美| ZpRSw| 色狠狠色综合久久久绯色aⅴ影视| 久久婷五月| 99热国产免费| 99噜噜噜在线播放| 色婷婷av综合网| 男人先锋久久| 婷婷五月欧美| 久久久久久激情| 日本一级大片| 无码人妻激情| 99热这里只有精品21| 婷婷五月播| 久久久精品视频79| 深爱五月中文字幕| 五月丁香六月婷婷国产视频| 97视频91| AA片在线观看视频在线播放| 久久 中文 日本| 狠狠se| 91色综合网| 99啪啪视频| 97视频.干com| 另类丁香五月天区图| 99福利视频| 久狠日av| 91色久| 婷婷丁香五月亚洲| 五月天丁香色色| 97色综合| 亚洲人妻AV| av在线资源| 色婷婷婷婷| 丁香五月天偷拍| 综合欧美五月婷婷| 午夜无码精品色综合久久| 五月婷婷啪啪啪啪| 色爱亚洲| 丁香花五月天社区| 欧美极品999| 桃色激情婷婷伊人网| 婷婷开心激情综合五月天| 欧美丁香六月激情视频| www.色9| 亚洲综合在线视频| 九九中文色色| 色综合色综合婷婷热| 婷婷五月丁香五月天| 精品人妻久久久久| 香蕉综合在线| 亚洲中文字幕翔田千里| 九九视频这里是精品五月| 五月天激情av| 噼里啪啦完整版中文在线观看| 97久久超视频| 婷婷五月天第四色| 国产欧美熟妇另类久久久 | 久久九九免费大视频| 天天插综合| 色色99| 色约约视频一区二区三区四区五区 | 天天天久久人人人合| 婷婷六月激情| 婷婷97碰碰| 日批在线看| 久久作爱| 婷婷六月综合基地| 婷婷六月激情综合| 激情婷婷丁香五月| 五月丁香六月婷婷中文版| 日日干日日| 无码免费人妻A片AAA毛片西瓜| 久久精品综合色| 狠狠操在线视频| 日本色婷婷| 天天操天天插天天射| 99免费综合网| 国产激情久久| 丁香五月天啪啪| 成人免费va| 国产精产国品一二三在观看| 丁香六月AV| 久久色五月| 中文字幕不卡网站| 天天日夜夜爽。| 婷婷深爱五月天| 97五月婷婷| 五区毛片七区毛片| 97人人干视频| 99热这里只有精品最新网址| 亚洲AV成人在线观看| 99视频精品视频| 91色色色| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 五月开心网| 婷婷五月色播网| 日本色99| 色九九综合| av在线免费网站| 七七色综合| 久色网五月| 五月丁香影院| 人人射av| 五月婷婷激情在线| 五月婷婷第四色| 九九综合影音先锋| 5月婷婷五月天| 在线观看日韩12345区| 99亚洲大片精品永久在线观看| 五月婷婷激情网| a网站免费观看| AV成人在线播放| AVV黄| 天天色综网| 亚洲韩国日产综合AV| 亚洲色综合性| 色噜久| 亚洲综合色色色| 欧亚中文A V| 另类激情五月天| 九九爱激情| 人人干AV| 久色激情| 欧洲激情五月天婷婷| 五月天国产| 欧美噜噜噜草| 欧美色片中文字幕久久久久| 直接看的AV| 超碰a女人的天堂| 99热99精品| 日本一毛片| 亚洲精品电影| 四五月婷婷| 黄色网址五月婷婷| 六月色播| 六月丁香婷啪射| 99热综合在线观看| 色吧五月婷婷| 六月伊人婷婷| 亚洲99在线| 99在线观看视频| 99,色| 涩综合在线| 五月丁香狠狠爱| 99热这里有精品2| xxxx五月天色色| 亚欧州精品视频| 色色是色N一| 国自产拍偷拍精品啪啪一区二区| 日日操夜夜爽| 久久这有这里精品| 青青草Avb在线| 9|无码久久久久久| 涩涩五| 黄色片avv| 99综合| 五月丁香六月婷婷啪啪| 欧美成人AAA片一区国产精品| 日韩一区二区三区无码| 久久久久久久久久久97| 日本人妻伦在线中文字幕| 激情综合色| 2020日日干| 五月婷婷激情五月| 六月婷婷在线| 亚洲小视频免费播放| 99热精品在线在线| 欧美色97| 色色色国产| 综合久久综合久久| 五月天色色色网| 五月丁香久久久久| 婷婷噜噜| 狠狠va| 激情骚五月| 性色五月天| 久久人妻高清中文| 狠狠草天天草| 婷婷99中文字幕| αv中文字幕在线观| 色婷婷亚洲婷婷| 婷婷色播色五月五色五月天色妇| 五月丁香色综合| 少妇做爰免费视看片| 亚美欧色影院| 人妻熟妇六区| 九九热视频精品2| 激情五月天第四色| 99热99精品在线观看| 久久婷婷五月丁香网| 伊人天天色| 天天综合五月| 91色色色视频| 国产古装妇女野外A片| 亚洲婷婷五月天| 色播五月丁香综合| 五月综合亚洲色| 97香蕉人人在线观看| 色9999日韩国产| 五月天亚洲色| 日日舔夜夜操| 色婷五月丁香久亚洲| 中文字幕在线观看视频www| 99热久| 久色网址| 五月丁香在线观看99| 99精品国产乱码久久久人妻| 丁香五月大香蕉| 婷婷丁香五月婷婷| 99热免费看| 六月色狠狠色| 五月婷婷成人网首页| 五月丁香自拍| 偷偷操99| 91人操人人人操人| 国产老熟妇亲子乱对白| 超碰人人99| WWW.五月com| 777影视理论片大全在线观看| 色五月激情| 99精品热| 激情五月婷婷五月| 五月丁花六月丁香综合| 五月婷婷综合在线视频小说| 久久久精品色色色| 久久思思热视频| 色欲丁香久久| 日日射天天射| 无月播播激情在线观看视频| 五月久久丁香| 天天摸色吧天天摸色吧| 激情五婷网| www,五月丁,com| 亚洲开心激情网| 人人人操Av| 中文无码婷婷| 色五月天.con| 激情涩涩网| 婷婷在线播放av| 日本3级片偷拍网站| 天堂综合久久| 91九色在线| 亚洲激情综| 五月天激情啪啪| 99久免费视频| 久久大香蕉同僚| 91九色视频在线观看| www.99热这里精品| 久久狼人天堂| 69堂午夜视频最新地址| 五月天久久www| 亚洲婷婷丁香五月视频| 日韩视频99| 色爱亚洲| 五月丁香久久综合| 99在线精品视频| 久久婷婷五月天| 另类少妇人与禽zOZZ0性伦| 大战熟女丰满人妻AV| 六月婷婷毛片| 亚洲av午夜精品一区二区| 免费看片在线观看| av在线资源| 成人天天爽| 色青青五月| 婷婷综合五月激情| 这里只有精品免费| 99操视频| 久久se 综合网| 伊人在线大香蕉网| 婷婷五月丁香久久| 5月婷婷综合| 久久精彩视频99| 骚。com| 丁香婷婷影院| 五月丁香六月婷| 亚洲精品无人区| 伊人久久大香| 色色无码日韩| 噜噜色婷婷| 狠狠人妻色综合| 高清无码视频网址| 精品国产a| 久久九九国产| 五月婷六月天| 91超级碰碰碰| 九九婷婷热| 9久久久| 国产婷婷五月天| 九九久久综合| 五月丁香六月激情啪| 色五月天丁香婷婷| 噼里啪啦完整版中文在线观看| 99热有精品在线观看| 色婷婷综合影院| 99精品自拍视频| 亚洲色域网| 丁香五月婷婷日本| 中文字幕 中文字幕明步| 久热精品在看| 99热综合在线观看| 婷婷开心激情| 成人做爰高潮A片免费视频| 免费操超碰| 开心久久五月天| 五月婷婷综合在线视频小说| 国产精品A成V人在线播放| 天堂网色色| 激情网五夜婷婷| 丁香五月天啪啪a日本| 久久99网| 9精品视频在线| 五月综亚洲| 97碰免费视频在线| 99热热热国产超碰| 久久丁香五月婷婷| 激情五月天综合网| 久久久久久99精品无码| 成人性爱无码| 国产日产亚系列精品版优势| 狠狠干婷婷| 五月婷婷婷婷| 天天久综合网永久入口18| Av九九| 丁香成人色情五月天| 色99在线| 久久久婷婷| 久久久久人妻网址| 亚洲中文AV| 国产99美少妇| 激情www| 情一色一乱一伦一91A| 狠狠操天天日| 色综合激情| 精品久久婷婷| 久久婷婷五月天蜜桃| 91九色最新视频| 五月丁香A片| 狠狠色丁香婷婷久久综合| 亚洲9久久精品| 丁香五月婷婷动漫| www色婷婷| 亚洲啪视频| 色播五月综合网| 久色大香蕉| 奸逼视频| 九九热9| 另类图片 五月激情| 六月婷婷色综合| 日韩一级网站| 色播五月天激情| 九一娱乐在线观看视频| 就爱射中文字幕资源网| 99色综合久久| 思思热精品在线观看| 欧美特大片黄| 久久婷婷五月综合啪| 亚洲视频一区| 99色色最新视频| 五月婷婷六月激情| 五月天色婷婷小说| www,99热在线观看| 97丁香五月| 亚洲乱码日产精品BD| 、激情六月天| 久久久国产精品黄毛片| 襙逼网| 610018岁成人视频| 亚洲综合丁香五月天| 久久久久久久,99精品视频| 色五月首页| 丁香狠狠色婷婷久久无码视频| 丁香五月综合在线播放| 青青久久91| 99这里有精品| 九九九九综合| 99热综合| 伊人久久五月天| 亚洲av电影网站| 99操逼| 超碰色女人| 婷婷射图| yazhou seshipin| 亚洲第一成人无码A片| 熟女乱论网| 粉嫩AV久久一区二区三区| www天天干| 五月婷婷综合成人| 99丁香五月婷| 激情的五月婷婷蜜桃| 51精品国自产在线| 直接看的av| 久久久99婷婷久久久久久| 色婷五月天| 色情·com| 精品二区| 免费啪啪亚州视频| 欧美色播综合在线观看| 色yeye色综合| 饮料下药迷倒漂亮女同事强干| 婷婷五月天激情偷拍| 啪啪啪丁香五月| 色婷婷a v| 天天插天天插天天日| 蜜乳av一级av| 99热这里| 男女久久婷婷五月天| 综合精品啪啪| 99九九视频| 婷婷免费无视频| 五月伊人婷婷999| 超碰亚洲天堂| 婷婷五月天资源| 五月婷婷激情日本| 可以免费观看的AV| 五月丁香六月婷婷在线| 永久的网站AAAA | www.久久99| 亚洲乱码日产精品BD| 婷婷五月天伊人网| 九九av| 色色热日| 五月天婷婷综合| 天天爽天天爽视频| 色色色视频| 亚洲AV无码影院| 婷婷色婷婷| 99精品在线观看视频| 色欲久久综合| 青青草99热久久精品国| 精品亚洲国产成AV人片传媒| 啪啪 综合网| 夜夜做天天爽| 五月丁香美女视频| 五月激情射| 久久久久亚洲AV综合| 精品成人久久久久久久_一二三四视| 开心五月深爱五月婷| 99自拍视频网站| 99婷五月| 久久99综合| 1区2区视频| 日逼免费视频| 99久久66| 91偷拍视频| 丁香五月色色婷| 国自产拍偷拍精品啪啪一区二区| 99九无网码| 色婷婷五月天综合网| 五月五婷婷网| 狠狠色噜噜狠狠| 91碰免费视频| 国产又爽又猛又粗的视频A片| 91seav| 99久久性爱| www.久久66| 99re在线视频精品,这里只有精品18,| 久久久婷丁香五月天激情综合| 大香蕉丁香五月| 婷婷色婷婷| 九九久久99| 51国精产品自偷自偷综合| 精品久久久久久久久久久久人妻| www..com色爱| 欧韩性爱| 99久久99视频只有精品| 人人97碰| 中文无码婷婷| 五月婷精品| 婷婷无五月无码视频| 九九在线视频| 色播播五月天| AV操逼网| 五月婷婷丁香综合| 99精品福利视频| 狠狠操.COM| 九九九九九无码| 久热只有这里有精品| 五月天社区| 精品激情| 婷婷六月激情小说网| 99热这里只有精品1025| 五月婷婷黄色| 色999亚洲人成色| 五月丁香啪| 亚洲黄色影视| 天天搞夜夜爽夜夜爽| 婷婷五月激情综合| 色婷丁香五月| 激情五月丁香激情综合网| 精品综合久久久久久五月天| 五月丁香六月合| 亚洲射激情| 亚洲丁香五月美女| 成人九九视频| 播播网色播播| 久婷五月| 色色亚洲| 激情精品久久| 97超级碰碰碰| 九九99免费视频| 久久久18| 五月丁香激情婷婷综合字幕| 婷婷综合六月| 久久五月天色婷婷| 五月天激情图片| 色婷婷狠狠| 激情丁香婷婷| 久久人妻熟女一区二区| 一区无码| 成人在线不卡| 亚洲五月天伊人| 婷婷丁香五月综合激情视频| 婷婷性爱五月天| 激情五月激情综合网| 亚洲操精品| 色色色在线观看| 开心五月婷婷| 免费色婷婷| 99碰碰中文| 超碰99热| 思思久久青草热| 五月婷婷激情综合av| 色婷婷色99国产综合精品| 91精品91久久久中77777| 国产,欧美,学生妹,视频| 丁香狠狠操| 五月色婷| 亚洲va欧美va国产综合久久久| 操操操Av| 婷婷五月丁香五月| WWW色色色COM| 色亚洲无码| 亚洲精品小视频| 狠狠干天天日| 1000部毛片A片免费观看| 97色一二三| 久久久91| av性爱在线| 国产欧美第五十五页| 狠狠操狠狠| 中文婷婷狠狠| 日韩99视频| 五月婷丁香久久久| 久久婷狠狠色| 久草婷婷| 色欲九区| 六月丁香影院| 91啪啪视频| 玖玖爱导航| 激情开心五月婷婷| 丁香六月啪啪啪| 五月开心播播网| 丁香花综合永久入口| 91chinese在线| 人人草人人视| 国产古装妇女野外A片| 91精品久久久久久久久| 五月丁香直播| 久久婷婷五月天| 色婷婷无吗| 深爱五月激情网| 夜夜撸日日操| 91丁香色| 日本美女天天日天天爽| 99九九在线| 色婷青青| 亚洲激情图文小说| 色停停香蕉视频| 综合色七七| 婷婷丁香视频在线观看免费 | 六月丁香五月婷婷| 欧洲亚洲免费视频9| 婷婷色成人| 荡乳尤物3HP1V5| 亚洲无码成人网| 成人丁香婷婷五月天| 丁香五月狠狠在线观看| 久久看婷婷| 超碰2021| 丁香五月冃欧美| 亚洲精品色| 深夜男女福利刺激影院一区| 丁香狠狠色婷婷| 丁香五月婷婷高清| 亚洲色情网站| 婷婷五月综合社区在线| 五月天激情国产综合AV| 激情又色又爽又黄的A片| 99视频久久久| 天天干天干| 玖久久网站| 深爱五月中文字幕| 亚洲精品V天堂中文字幕| 99色在线观看| 超碰在线看| 久久99久久久| 日亚二欧美| 九九热9| 最新五月天婷婷影| 五月婷婷五月天| 欧美99热| 99热综合网| 色综合香蕉| 精品久热69| 天天久| 婷婷伊人綜合| 开心五月深爱五月| 夜夜AVV| 这里只有精品1| 性色综合网| 久久九九热视频| 天色色综合网| 久久婷婷五月| 伊人99久久| 深爱婷婷丁香五月激情| 五月丁香激情啪啪网| 婷婷激情五月色综合| 久久婷婷桃花五月天| 久久久这里有精品| 97久人人| 99热久| 第二色AⅤ| 蜜桃成语时李时珍 免费| 婷婷五月天国产精品| 99热免费| 开心五月综合激情综合五月| 99久久久精品| 婷婷五月色色| 综合网啪啪| 天天色综网| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | www.99免费视频| 狠狠狠狠狠干| 五月综合激情| 99精品亚洲| 五月丁香六月激情综合网 | 国产操B视频| 色五月网址| 婷婷激情另类| 婷婷六月久久| 99在线观看| 女人天堂av| 婷婷伊人綜合中文| 五月天伊人综合| 婷婷五月天激情偷拍| 五月婷婷黄网站大全| 欧美人妻一区二区| 婷婷午夜丁香| 欧美成人猛片AAAAAAA| 久色欧美| 激情综合国产| 日日做A爰片久久毛片A片英语| 亚洲五月色| 欧美色色色色色色| 在线播放中文字幕| 婷婷五亚洲| 九九综合九九| www,99视频| 91视频精品99| 激情欧美婷五月| 国产性爱色| 五月婷婷激情五月| 丁香五月开心婷婷| 91婷婷丁香五月天免费视频网站| 婷婷伊人欧美| 亚洲人妻av| 性小说五月天| 色婷婷88| 玖玖99婷婷| 99久久九九| 99热只有精| 五月丁香操婷逼| 婷婷六月激情综合| 99综合视频一体| 巴基斯坦粉嫩无码视频| 色愛综合网| 激情丁香久久| 婷婷婷狠狠| 91丨九色丨大屁股| 婷婷五月激情视频在线| 99这里有精品免费| 激情视频91| 精品国产AV色一区二区深夜久久 | 开心色色五月天综合| 91精品婷婷国产综合久久| 日在线V视频在线播放| 色综合久久综合中文综合网| 亚洲综合碰| 噼里啪啦在线观看免费完整版视频| 天天综合色| 99福利视频| 99婷婷五月天| 玖玖婷婷色五月| 97一区二区| 五月天com| 久狠狠狠| 六月久久狠狠| 婷婷五月丁香激情色情| 久久精品性爱视频,| 激情婷婷五月少妇| 七七色综合| 99色爱| 九九99九九99| 激情丁香五月天| 天天色天天爱天天爽| 99久久精彩视频。| 超碰91av| WWW.婷婷五月天.COM| 九九操屄| 熟女人妻一区二区三区免费看| 五月婷婷av| 久久98热re| 色噜噜狠噜噜视频| 深爱激情六月天| 99热这里只有精品一区| 99热精品一区| 五月天天丁香婷婷在线中| 草一草avb| 月色色综合婷婷网| 日韩欧美性爱| 9l久久久视频| 在线成人国产| 嫩草免费视频| 淫视馆av三区| 日韩aⅴ视频| 欧美色一级色| 美国少妇性做爰| 午夜成人片400| 中字幕视频在线永久在线观看免费 | 亚州色婷婷| 婷婷在线激情| 久狠狠狠| 成人网在线视频| 久久视频婷婷| 欧美精品啪啪| 婷婷丁香成人| 婷婷性爱影院| 天天干天天操天天爽| 色五月婷婷综合在线| 色欲影香| 三级三久久线久久99久目本WW| 久久东京热婷婷五月| 狼人狠狠操| 大香蕉AV在线| 99热这里只有精品首页| 人妻少妇色综合| 色丁香五月婷婷| 国产真实乱了老女人视频| 少妇综合网| av五月丁香| av性爱在线| 婷婷五月色丁香在线看| 欧美va欧美va差| 丁香六月五月天| 99热99色| www.狠狠| 99热这里精品| 777精品久无码人妻蜜桃| www.seqingwuyuetian| 伊人超碰在线| 台湾无码A片一区二区| 色婷网| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 六月丁香久久| 欧美天堂婷婷日韩| 久久综合色五月| 伊人91| 人人摸人人射| 五月丁香花开综合网| 日日干天天| 99热这里精品| 熟惀91九色在线| 日韩啪啪视品| 色综合丁香婷婷| 77799热| 色丁香五月婷婷在线| 亚洲欧美丁香五月天亚洲欧美| 91精品久久久久久| 国产69久久久欧美黑人A片| 日本9区视频| 狠狠色婷婷| 夜夜爽天天| 天天高潮夜夜爽| 无码髙清| 欧美性猛交XXXX乱大交极品| 欧美日本不卡黄色片| 久久婷丁香五月| 性色播| 久久人妻www| 99久re热视频精品98| 午夜天天精品视频| 另类图片激情五月| 丁香六月婷婷综合网| 丁香美女五月天婷婷| 99啪啪| 大香蕉九九操| 五月丁香婷婷国产精品综合| 日日干日日| 八戒青柠影视剧在线观看| 超级碰碰视频无码| 精品99久久久久成人网站免费| 成人五月天视频播放| 亚洲天堂久久| 国产午夜精品一区二区三区四区| 毛片九九九九九九| 99热热九九| 五月丁香色综合| 少妇人妻人伦A片| 日韩一级A片黄色| 激情久久四色| 99久精品视频| 欧美97超碰| A一级操| 激情99| www.狠狠| 九九99精品视频| 天天综合社区| 少妇AB又爽又紧无码网站 | 思思久久青草热| 岛国av网站| 91视频综合网| 激情综合另类| 亚洲操操| 综合色五月天| 精品久久这里热66| 国产性爱在线| 2020久久婷婷五月| 99久久极情精品一区| 婷婷爱爱蜜臀天天操| 日韩99色99| 免费看欧美成人A片无码| 9月色婷婷| 这里只有精品免费| 国产精品久久久爽爽爽麻豆色哟哟| 97碰啪啪| 97欧美在线| 久久性爱激情| 激情综合六月| 丰满少妇乱A片无码| 97人人操人人爽| 五月婷婷激情日本| 日韩 mm 不卡| 性天天中文网| 大香焦啪啪啪| 99热大全在线观看| 色爱亚洲| 欧美色五月| 丁香五月天之婷婷影院| 91大屁股在线| 婷婷成人小说综合| 成人做爰A片免费看网站找不到了| 五月丁香爱婷婷深深| 婷婷五月综合在线| 五月丁香久人妻中文| 婷婷性色| 丁香五月天大香蕉啪啪| 亚州日本欧州韩美高青高潮一| www.99视频| 色婷婷超碰| 激情中文在线| 玖玖激情网| 色播五月| 丁香五月激情综合婷综| 日本美女五月天| 丁香久久久| 国产日韩欧美性爱| 全高清无码视頻| 大香蕉婷婷久久| 九九婷婷综合| 操一区| 色五月婷婷久久| 久久东京热婷婷五月| 五月丁香亭亭操逼| 九九热av| 狠狠色丁香久久久婷| 激情中文在线| 91精品久久久久久| 婷婷爱五月天| 六月婷婷无码观看| 久久激丁香| 丁香成人色情五月天| 久热99久热| 五月天 另类图片| 99综合成人视频在线观看| 只有久久精品免费| 伊人五月婷| 免费观看的婷婷五月视频在线| 欧美性爱专区| 丁香六月婷| 黄久久久| 欧美婷婷五月丁香| 五月色综合| 五月婷视频| 99在线观看免费精品视频| 爱99干99| 天天舔天天操| 色婷婷操逼网| 超碰人妻在线| 丁香五月婷婷久久久| 五月婷三级片| 丁香五月天综合网| 日韩淑女人妻luan伦激情精品一区二| 91九色欧美| 怕怕視頻| 日韩一级| 99亚洲天堂| 五月丁香啪啪啪啪| HD久久精品视频| 九九香蕉网| 欧美噜噜久久久XXX| 99久久66综合| 欧美激情VA永久在线播放| 久久在这里有精品| 色色五月天 亚洲| 色色五月天婷婷丁香| 五月色婷婷亚洲 | 97操操操| 丰满少妇猛烈A片免费看观看| 激情综合丁香五月| 大香蕉久操| 东京热五月婷婷| 欧美日本黄色| 亚洲欧洲自拍图片专区五月天| 欧美S码亚洲码精品M码| 久久婷婷六月综合综合色| 九九99久久| 亲子乱AV-区二区三区| 色色色色色色色色五月先| 色婷婷五月天中文字幕| 婷婷不卡基地| 欧美日韩成人在线网| 麻豆科斗777| 色欧美日| 第九色区av天堂| 激情人妻综合| 日韩小视频在线99| 欧美日韩99| 91人人人人人人人| 99热国产| 人人爱人人摸人人澡| 亚洲午夜精品久久久久久人妖| 婷婷成人在线| 欧美内射AAAAAAXXXXX| 激情五月婷婷| 亚洲另类久久| 国产成人亚洲综合亚洲| 性做久久久久久久免费看| www.五月丁香| 天天天日天天天干| 六月丁香啪啪啪| 极品嫩草| 五月天激情国产综合婷婷婷| 欧美va在线观看| 国模淫穴色图| 色婷婷久久综| 欧美内射AAAAAAXXXXX| 日日噜噜夜夜狠狠久久丁香六月| 五月丁香六月婷婷亚洲| www.激情在线| 久久多色| 国产日韩av片| 97自拍视频网| 欧美精品XXXXBBBB| 操碰99| 九九婷婷网五月天| 99热骚货| 久久草大香蕉| av在线播放网址| 91VIP在线观看| AA片在线观看视频在线播放 | 九九热av| 婷婷夜夜夜夜| 天天综合久久| 999热在线视频| 久久码久久无清| 亚洲综合五月天婷婷| 99热自拍| 日韩无码色色| 五月丁香婷婷成人网| 国产精品日日躁夜夜躁| 婷婷狠狠操| 精品久久66| 天天综合亚洲综合| 深爱激情AV| 99热 免费| 五月婷婷激情综合在线| 亚洲第一影院高清无码网站| 在线播放 精品| 666555。COm毛片| 国产精品涩涩涩视频网站| 色五月婷婷影院| 丁香五月天在线| 99久热这里有精品| 天天综合色丁香| www.久久99| 午夜丁香婷婷| 成人五月天婷婷| 婷婷激情五月天网站| tingtingjiqingwuyue| 无码一区二区日韩| 五月色婷婷在线观看| 精品99这里有| 色色激情网| 久久久91| 婷婷五月丁香综合亚洲| www.99视频| 99热99ai| aⅤ79成人片| 天天人人综合| 激情啪啪五月天| 婷婷爱在线观看| 青青操绿aaa一区日v| 丁香 婷婷五月| 337p午夜影院| 啪啪激情网站| 五月激情婷婷女| 婷婷夜夜操| 99热这里只有精品8| 日本AAAAAAAAAAAAAA片| 天天草天天日| 激情婷婷六月天| 九九99热| 丁香激情五月| 极品人妻VIDEOSSS人妻| 春色激情| 久久99日本精品视频免费观看| 9伊人网| 丁香五月综合婷婷| 婷婷五月天激情偷拍| 日本熟女三区| 五月天婷婷五月| 亚洲热综合| AV在线观看网站| 婷婷五月色情天| www久| 成人午夜天| 91av成人| 久久久99婷婷久久久久久| 色综合色色| 《诡秘之主》在线观看| 激情五月天之五月婷婷| 婷婷丁香五月激情中文字幕版| 婷婷六月丁香色| 久久久精品色色色| 五月天久久网站| 久9热在线视频| 免费黄色视频网址| av亚洲国产小电影| 久久综合综合综合| 91婷色| 女人天堂av| 怡红院视频| 草草视频91| 久久97久久99久久综合欧美| 99啪在线| 99热日本| 丁香激激情网| 五月天播播| 九九这里有精品| 日逼影音先锋AV男人资源站| 欧洲不卡视频| 五月天婷爱综合| 婷婷五月天网址| 免费视频WWW在线观看网站| 婷婷激情四射五月天| 激情综合自拍五月婷婷色五月| 好吊丝aV| 成人永久免费视频在线观看| 婷婷五月激情综合| 99九九精品视频推荐| 91玖玖| 国产乱妇乱子伦| 亭亭色色五月天| 日韩熟女啪啪视频| 婷婷五月天激情网| 激情五月天之六月婷婷| 99综合| 亚洲精品无码一区二区| 97超级碰碰碰| 99免费视频精品| 国产成人综合网| 色婷小说| 天天日夜夜B久久| 天天干天天爽| WWW嗯嗯啊啊啊啊| 久久婷婷色| 这里有精品2| 久久综合99| 久久五月天免费网站| 青青操绿aaa一区日v| 99无吗| 99色视频| 超碰在线免费9| 99re这里只有精品国产99| 婷婷五月天无码| 香蕉AV777XXX色综合一区| 超碰成人在线观看| 欧美成人A片AAA片在线播放| 婷婷五月综合激情| 9精品一区| 激情五月天色色网| 激情九九这里只有精品| 色999亚洲人成色| 婷婷色五月天色| dingxiangtingtingliuyue| 丁香五月成人网| 91.com男女操| 国产成人+亚洲+欧洲| 国产色色视频| 台湾无码A片一区二区| 这里只有精品网| 天天爽天天爽| 操操啪| 激情综合激情综合| 五月丁香亭亭A片| 五月丁香在线视频观看| 亚洲天堂爱爱| 中文字幕激情综合| 亚洲日韩欧美综合VA| 全部老头和老太XXXXX| 99热r| 99久久网站| 激情久久综合| 丁香五月在线自慰| 五月丁香综合精品欧美| 天天日天天做天天舔| 婷婷五月另类网站| 欧美在线ee日韩| 青青草原精品久久| 大香蕉久久视频久久视频 | 色五月婷婷五月天| 婷婷五月色综合香五月| 最新五月天婷婷影| 日本狠狠干| 天堂色婷婷| 激情综合网五月| 久久婷婷色综合| 国产三级秋霞| 色婷婷久久7777| 六月激情久久| 欧美WW在线网| 另类图片五月天| 超碰在线个人观看| 九九久久网| 亚洲精品无码久久| 97干97色| 婷婷五月激情中文字幕| 婷婷丁香五月天综合AV| www.五月天婷婷| 激情五月天黄色小说| 丁香六月激情| 婷婷六月丁香开心深深爱| 99久久99九九99九九九| 丁香六月av| 国色天香成人网| 思99热精品久久只有精品| 琪琪色综合网站| 亚洲色激婷| 成人五月天视频| 五月香蕉网| 天堂草在线观| 91大操| 亚洲狠狠干| 综合99久久天天综合| 99色综合| 97碰在线| 精品色色| 欧美色色色| 婷婷丁香综合色AV| 五月丁香AV在线| 日韩无码系列| 日本啪啪天堂| 人人色人人摸人人看| 国产婷伊人| 成人电影丁香六月天| 丁香五月天堂网AV| 99熟女| 久热这里只有国产| 99自拍网| 婷婷五月天成人动漫 | 丁香六月啪啪啪| 五月婷婷 欧美| 五月天大香蕉av| 九九婷婷网五月天| 96精品久久久久久久久| 少妇人妻人伦A片| 99热这里有精品2| 亚洲免费电影2| 五月激情啪啪啪| 丁香五月视频在线观看| 99久久婷婷国产综合亚洲| 久久精品亚洲一级牲爱综合 | 婷婷五月花| 多精窝99在线视频| 亚洲无AV在线中文字幕| 五月婷婷免费看| 操久久网| 91九色最新视频| 久久在这里99| 六月婷婷之青青草| 激情骚五月|