欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

AIC、BIC與交叉驗(yàn)證:模型選擇方法詳解

AIC、BIC與交叉驗(yàn)證:模型選擇方法詳解 我一直覺得模型選擇是數(shù)據(jù)分析里最像做決策的一個(gè)環(huán)節(jié)。上個(gè)月幫一個(gè)做用戶流失預(yù)測(cè)的團(tuán)隊(duì)看方案他們把邏輯回歸、隨機(jī)森林、XGBoost跑了個(gè)遍最后卻在“到底該信哪個(gè)模型”上卡住了。更麻煩的是有人拿著AIC、BIC的結(jié)果有人拿著交叉驗(yàn)證的結(jié)果兩邊給出的排名還不一致。這個(gè)問題其實(shí)不是個(gè)例。AIC、BIC和交叉驗(yàn)證是三種最常見的模型選擇方法但它們背后的邏輯完全不同一個(gè)從信息論角度給模型打分一個(gè)從貝葉斯角度追求“真相”另一個(gè)干脆不假設(shè)任何理論直接拿數(shù)據(jù)試。今天我就把這三種方法徹底拆開講清楚為什么它們會(huì)給出不同答案以及在實(shí)際項(xiàng)目里到底該聽誰的。1. 模型選擇到底在選什么從過擬合說起1.1 “擬合得好”為什么常常不靠譜假設(shè)有一段帶噪聲的數(shù)據(jù)真實(shí)規(guī)律近似一條直線模型A是線性回歸模型B是20階多項(xiàng)式回歸。模型B能把每個(gè)樣本點(diǎn)都擦過去訓(xùn)練集上的殘差幾乎為零但你拿它去預(yù)測(cè)幾個(gè)新樣本結(jié)果往往慘不忍睹。這不是巧合而是過擬合的必然結(jié)果模型在擬合訓(xùn)練集噪聲而不是數(shù)據(jù)背后的規(guī)律。我見過一個(gè)團(tuán)隊(duì)把訓(xùn)練集R2超過0.99的模型直接上線結(jié)果預(yù)測(cè)誤差比單純用歷史均值還大。原因就是模型把某個(gè)促銷活動(dòng)引起的波動(dòng)當(dāng)成長(zhǎng)期規(guī)律學(xué)進(jìn)去了換一批正常數(shù)據(jù)立刻原形畢露。所以“擬合得好”不等于“模型好”。如果你只用訓(xùn)練誤差做標(biāo)準(zhǔn)候選模型一定會(huì)隨著復(fù)雜度增加而一路狂奔永遠(yuǎn)選不出終點(diǎn)。模型選擇的第一課就是承認(rèn)訓(xùn)練集上的表現(xiàn)會(huì)騙人真正該關(guān)心的是模型在沒見過的數(shù)據(jù)上表現(xiàn)如何。這個(gè)問題的本質(zhì)是偏差-方差權(quán)衡。模型太簡(jiǎn)單比如只用全局均值去預(yù)測(cè)一切偏差很大因?yàn)樗咀ゲ蛔?shù)據(jù)里的結(jié)構(gòu)模型太復(fù)雜偏差下來了方差卻上去了只要換一批訓(xùn)練樣本參數(shù)估計(jì)值就會(huì)劇烈抖動(dòng)。你的目標(biāo)是在兩者之間找一個(gè)平衡點(diǎn)讓總誤差盡量小。這個(gè)平衡點(diǎn)就是模型選擇方法要幫你找的東西。1.2 為什么復(fù)雜度會(huì)成為“敵人”從數(shù)學(xué)上看增加參數(shù)幾乎總能降低訓(xùn)練誤差更多自由度意味著更強(qiáng)的表達(dá)能力極端情況下可以精確穿過每個(gè)訓(xùn)練點(diǎn)。但參數(shù)變多之后每個(gè)參數(shù)都是由有限樣本估計(jì)出來的估計(jì)量的方差會(huì)隨之上升。用多項(xiàng)式回歸舉例階數(shù)越高邊界處的預(yù)測(cè)值就越容易出現(xiàn)大幅擺動(dòng)這正是方差失控的典型表現(xiàn)。模型選擇方法的價(jià)值就是在“表達(dá)能力”和“估計(jì)穩(wěn)定性”之間做裁判。AIC和BIC通過懲罰參數(shù)個(gè)數(shù)來避免模型無限膨脹交叉驗(yàn)證則是直接把新數(shù)據(jù)上的表現(xiàn)當(dāng)成考卷用被試出來的誤差來定勝負(fù)。了解了這個(gè)背景后面三種方法的意圖就很好理解了。1.3 兩類模型選擇方法的底層思路基于剛才的框架可以把常見模型選擇方法分成兩類。一類是信息準(zhǔn)則類AIC、BIC都在其中它們的共同邏輯是先定義一個(gè)能衡量擬合好壞的量對(duì)數(shù)似然再減去一個(gè)隨復(fù)雜度增長(zhǎng)而增大的懲罰項(xiàng)最后取總分最高的模型。這類方法只需要在模型估計(jì)完成后多算兩行公式計(jì)算成本幾乎為零。另一類是重采樣類交叉驗(yàn)證是代表。它的邏輯更直接模擬“未來數(shù)據(jù)”把模型一批批地放到?jīng)]參與訓(xùn)練的數(shù)據(jù)上考試用實(shí)際考試成績(jī)來排名。這類方法幾乎不要求模型有似然函數(shù)和有效參數(shù)的概念代價(jià)是計(jì)算成本高。這兩種思路的適用范圍完全不同后面你會(huì)看到最好的做法往往不是二選一而是根據(jù)場(chǎng)景讓它們互為佐證。2. AIC與BIC同一個(gè)似然函數(shù)兩種截然不同的懲罰哲學(xué)2.1 共同的起點(diǎn)對(duì)數(shù)似然AIC和BIC雖然在目標(biāo)上分道揚(yáng)鑣但起點(diǎn)一致——都需要計(jì)算模型的對(duì)數(shù)似然 ln L。這個(gè)值度量的是在給定模型結(jié)構(gòu)和參數(shù)估計(jì)值的情況下你手上這組觀測(cè)數(shù)據(jù)出現(xiàn)的概率有多大。如果模型與你看到的數(shù)據(jù)“很般配”它給數(shù)據(jù)分配的概率就高似然值就大反之模型對(duì)數(shù)據(jù)的解釋能力弱似然值就小。由于概率是大量樣本的連乘數(shù)值會(huì)非常小甚至下溢統(tǒng)計(jì)上習(xí)慣取對(duì)數(shù)把連乘變成連加。對(duì)數(shù)似然越高說明模型對(duì)數(shù)據(jù)的擬合越好。注意這里說的是“在當(dāng)前這組參數(shù)下數(shù)據(jù)出現(xiàn)的概率”。為了讓模型在訓(xùn)練集上表現(xiàn)最好我們一般用最大似然估計(jì)MLE去確定參數(shù)。OLS線性回歸之所以能和AIC/BIC結(jié)合使用是因?yàn)樵谡龖B(tài)誤差假設(shè)下OLS的估計(jì)結(jié)果就等于最大似然估計(jì)所以公式中的 ln L 可以直接由殘差平方和算出來。這也是為什么很多統(tǒng)計(jì)軟件里線性回歸、GLM、ARIMA這些能寫出似然的模型都默認(rèn)輸出AIC和BIC而隨機(jī)森林、XGBoost這類模型壓根沒有這兩個(gè)指標(biāo)——因?yàn)樗鼈儧]有清晰的似然函數(shù)。2.2 AIC為預(yù)測(cè)而生的信息準(zhǔn)則AIC的全稱是赤池信息量準(zhǔn)則英文是Akaike Information Criterion公式是AIC -2·ln L 2k其中 k 是模型中參數(shù)的個(gè)數(shù)ln L 是最大對(duì)數(shù)似然。-2·ln L 這一項(xiàng)可以看成“擬合不夠好的成本”模型對(duì)數(shù)據(jù)解釋得越好這項(xiàng)越小。但單純追求它只會(huì)把模型越搞越復(fù)雜所以第二項(xiàng) 2k 作為對(duì)參數(shù)數(shù)量的懲罰提醒你“多一個(gè)參數(shù)就要付出代價(jià)”。為什么懲罰項(xiàng)的系數(shù)是2而不是1或3這要從KL散度說起。AIC本質(zhì)上是估計(jì)模型與真實(shí)數(shù)據(jù)生成過程之間KL散度的一種漸近無偏估計(jì)。在這個(gè)推導(dǎo)過程中交叉項(xiàng)漸近等于參數(shù)個(gè)數(shù)k乘上外面的-2就變成了2k。這些推導(dǎo)細(xì)節(jié)不展開你只需要記住2k是一個(gè)在大量模型族和分布假設(shè)下都成立的漸近結(jié)果不是拍腦袋定的。順便強(qiáng)調(diào)一個(gè)實(shí)踐細(xì)節(jié)k不是變量個(gè)數(shù)是估計(jì)出的參數(shù)個(gè)數(shù)。線性回歸里如果有3個(gè)自變量k一般是43個(gè)斜率加1個(gè)截距ARIMA(2,0,2)模型k通常是52個(gè)AR系數(shù)、2個(gè)MA系數(shù)、1個(gè)常數(shù)項(xiàng)或均值項(xiàng)。統(tǒng)計(jì)軟件在輸出AIC/BIC時(shí)會(huì)自動(dòng)算好但當(dāng)你手動(dòng)實(shí)現(xiàn)模型選擇時(shí)k一旦數(shù)錯(cuò)結(jié)果就會(huì)整體偏移。AIC還有一個(gè)廣為人知的小樣本版本AICcAICc AIC 2k(k1) / (n - k - 1)當(dāng)樣本量 n 和參數(shù)個(gè)數(shù) k 的比值比較小經(jīng)驗(yàn)上 n/k 40時(shí)AIC的小樣本偏差會(huì)比較明顯AICc的修正項(xiàng)會(huì)顯著起作用。實(shí)際做回歸建模時(shí)如果數(shù)據(jù)只有幾十條、候選模型參數(shù)卻有七八個(gè)直接報(bào)AICc比報(bào)AIC穩(wěn)得多。2.3 BIC貝葉斯風(fēng)格的一致選擇BIC全稱是貝葉斯信息準(zhǔn)則英文是Bayesian Information Criterion公式是BIC -2·ln L k·ln(n)乍一看和AIC長(zhǎng)得幾乎一樣差別只在懲罰項(xiàng)從2k換成了k·ln(n)。但這個(gè)差別是決定性的只要n大于8ln(n)就大于2樣本量越大BIC對(duì)參數(shù)數(shù)量的懲罰就越重。同樣是1000個(gè)樣本AIC對(duì)每個(gè)參數(shù)只懲罰2BIC卻要懲罰大約6.9。所以在樣本量可觀時(shí)BIC選出來的模型通常比AIC選出來的更簡(jiǎn)潔。BIC的數(shù)學(xué)來源是貝葉斯因子。它是對(duì)“給定數(shù)據(jù)下不同模型的邊際似然比”做近似后取對(duì)數(shù)得到的懲罰項(xiàng) k·ln(n) 實(shí)際上是在懲罰模型的先驗(yàn)復(fù)雜度。它追求的目標(biāo)不是預(yù)測(cè)誤差最小而是希望找到一個(gè)后驗(yàn)概率最高的模型——如果真實(shí)模型恰好就在你的候選集合里并且樣本量足夠大BIC會(huì)以概率1把它挑出來。這個(gè)性質(zhì)叫一致性。2.4 兩種哲學(xué)兩種答案AIC和BIC的分歧本質(zhì)是“你想預(yù)測(cè)未來還是想發(fā)現(xiàn)真相”。AIC在理論上具有漸近效率性當(dāng)候選模型都不完美時(shí)它能選出一個(gè)漸近意義上預(yù)測(cè)誤差最小的模型哪怕這個(gè)“最優(yōu)”模型依然不是真實(shí)模型。BIC則更偏重一致性樣本足夠大、真模型在候選集內(nèi)時(shí)它能鎖定真模型。舉一個(gè)具體場(chǎng)景你在做銷售預(yù)測(cè)有10個(gè)候選回歸模型。假設(shè)真實(shí)業(yè)務(wù)非常復(fù)雜沒有任何一個(gè)候選模型是“真模型”那BIC會(huì)因?yàn)閼土P過重總是偏向參數(shù)最少的那一個(gè)導(dǎo)致預(yù)測(cè)誤差偏大AIC則愿意保留更多變量換取更好的預(yù)測(cè)表現(xiàn)。反過來如果你在做影響某個(gè)指標(biāo)的關(guān)鍵因素分析目的是搞清楚到底哪些變量真正起作用BIC這種保守選擇通常更接近業(yè)務(wù)上講故事的需求。給一個(gè)直觀類比AIC像一位只看KPI的項(xiàng)目經(jīng)理他不在乎方案是不是最優(yōu)雅只在乎上線后的實(shí)際表現(xiàn)能不能達(dá)標(biāo)BIC像一位審計(jì)師他的原則是“證據(jù)不充分就不批準(zhǔn)”寧可少批一個(gè)不愿多批一個(gè)。正因?yàn)锳IC和BIC都只需要一次模型擬合就能算出來它們非常適合放進(jìn)自動(dòng)化的逐步回歸循環(huán)里每一步嘗試增加或刪除一個(gè)變量重新擬合模型計(jì)算AIC/BIC直到分?jǐn)?shù)不再下降為止。這種搜索方式在變量數(shù)不多時(shí)非常高效也是R語言中step類函數(shù)、Python中statsmodels相關(guān)實(shí)現(xiàn)的核心思路。3. 交叉驗(yàn)證把“未來表現(xiàn)”當(dāng)考卷的實(shí)戰(zhàn)派3.1 從留出法到K折交叉驗(yàn)證的思路非常簡(jiǎn)單粗暴既然擔(dān)心模型在訓(xùn)練集上的表現(xiàn)會(huì)騙人那就人為構(gòu)造一個(gè)“陌生數(shù)據(jù)集”來考它。最基本的操作是留出法把數(shù)據(jù)按比例切成訓(xùn)練集和測(cè)試集訓(xùn)練集用來擬合測(cè)試集用來算誤差。單次切分的結(jié)果受運(yùn)氣影響太大萬一訓(xùn)練集里碰巧全是容易預(yù)測(cè)的樣本模型的表現(xiàn)就會(huì)被高估反過來又會(huì)被低估。K折交叉驗(yàn)證就是留出法的升級(jí)版。把數(shù)據(jù)隨機(jī)打亂后等分成K份每次拿其中K-1份做訓(xùn)練、剩下的1份做驗(yàn)證輪流K次最后把K次驗(yàn)證誤差的平均值作為模型的預(yù)測(cè)誤差估計(jì)。這樣每個(gè)樣本都有機(jī)會(huì)“扮演”新數(shù)據(jù)估計(jì)結(jié)果更穩(wěn)定也不浪費(fèi)數(shù)據(jù)。交叉驗(yàn)證的“誤差”到底指什么取決于你的業(yè)務(wù)目標(biāo)回歸任務(wù)常用均方誤差MSE或平均絕對(duì)誤差MAE分類任務(wù)可以用錯(cuò)誤率、對(duì)數(shù)損失或AUC推薦任務(wù)甚至可以用排序指標(biāo)。交叉驗(yàn)證本身不關(guān)心是什么指標(biāo)只要你提前定義好“模型好壞”它就把這個(gè)指標(biāo)在K個(gè)驗(yàn)證集上的平均結(jié)果作為模型分?jǐn)?shù)。這一點(diǎn)比AIC/BIC更靈活因?yàn)锳IC/BIC本質(zhì)上還是在最大化似然無法直接融入AUC這類業(yè)務(wù)指標(biāo)。3.2 K為什么取5或10K的選擇是一個(gè)偏差-方差權(quán)衡。K越大每次訓(xùn)練用的數(shù)據(jù)越多估計(jì)的偏差越小但折與折之間的訓(xùn)練集高度重疊導(dǎo)致折與折之間的誤差高度相關(guān)平均值的方差反而可能上升計(jì)算量也更大。K越小比如2折或3折每次訓(xùn)練數(shù)據(jù)太少誤差估計(jì)的偏差變大。經(jīng)驗(yàn)上K5或K10是最常用的折中。10折的誤差估計(jì)偏差更小更接近全量數(shù)據(jù)訓(xùn)練后的模型表現(xiàn)5折計(jì)算量更小在很多穩(wěn)定模型上結(jié)果也足夠可靠。Kn的特殊情況叫留一法英文是Leave-One-Out Cross Validation每次只留一個(gè)樣本做驗(yàn)證。留一法的偏差最小但方差和計(jì)算成本讓人頭疼在中等規(guī)模數(shù)據(jù)上通常不是首選。3.3 重復(fù)交叉驗(yàn)證與嵌套交叉驗(yàn)證擔(dān)心單次K折結(jié)果不穩(wěn)定可以把整個(gè)K折流程重復(fù)若干次每次用不同的隨機(jī)種子切分?jǐn)?shù)據(jù)再把這幾十次驗(yàn)證誤差的平均值作為最終估計(jì)。這種做法叫重復(fù)交叉驗(yàn)證。我自己實(shí)測(cè)下來的感覺是它能明顯降低隨機(jī)切分帶來的方差是碰到“CV排名飄忽不定”時(shí)的第一反應(yīng)。嵌套交叉驗(yàn)證解決的問題更深一層。如果你在同一份數(shù)據(jù)上反復(fù)做特征選擇、調(diào)參再拿交叉驗(yàn)證結(jié)果去評(píng)估最終模型評(píng)估結(jié)果會(huì)被數(shù)據(jù)窺探偏誤污染你已經(jīng)在全量數(shù)據(jù)上看到了哪些特征表現(xiàn)好、哪些超參表現(xiàn)好再讓模型在這些數(shù)據(jù)上考一次分?jǐn)?shù)自然會(huì)虛高。嵌套CV的做法是外層循環(huán)負(fù)責(zé)估計(jì)最終模型的泛化誤差內(nèi)層循環(huán)負(fù)責(zé)選模型或調(diào)參外層每一折數(shù)據(jù)在選模型時(shí)完全不參與訓(xùn)練只在最后做一次評(píng)估。這樣得到的誤差估計(jì)更誠實(shí)代價(jià)是計(jì)算量成倍上升。在做嚴(yán)格的風(fēng)控模型或醫(yī)療模型時(shí)嵌套CV幾乎是評(píng)估A榜、B榜模型泛化能力的標(biāo)配。3.4 交叉驗(yàn)證和AIC/BIC的隱性聯(lián)系很多文章把交叉驗(yàn)證描述成AIC/BIC的完全替代方案其實(shí)它們之間有理論聯(lián)系。統(tǒng)計(jì)學(xué)家Stone在1977年證明在很一般的正則條件下AIC漸近等價(jià)于留一法交叉驗(yàn)證。也就是說樣本量足夠大時(shí)你用AIC選出的模型和用LOOCV選出的模型大概率是同一個(gè)。BIC則和貝葉斯因子、后驗(yàn)?zāi)P透怕收驹谝黄鹋c交叉驗(yàn)證沒有這種天然的等價(jià)關(guān)系。這也解釋了為什么實(shí)際項(xiàng)目中三種方法的結(jié)果經(jīng)常接近如果候選模型都是一些常規(guī)的線性模型或GLM樣本量又過得去AIC、BIC和CV給出的排名基本一致。一旦結(jié)果明顯打架通常意味著樣本量太小、候選模型差異過大或者存在數(shù)據(jù)泄漏這時(shí)候先別急著選模型去檢查數(shù)據(jù)和流程才是正事。4. 適用場(chǎng)景辨析什么時(shí)候用信息準(zhǔn)則什么時(shí)候上交叉驗(yàn)證4.1 一張表看透三者的差異直接上結(jié)論這可能是全文最值得收藏的一張表對(duì)比維度AICBIC交叉驗(yàn)證核心目標(biāo)最小化預(yù)測(cè)誤差/KL散度找到后驗(yàn)概率最高的模型估計(jì)并比較泛化誤差核心假設(shè)模型可寫似然函數(shù)用MLE估計(jì)模型可寫似然函數(shù)貝葉斯框架近似數(shù)據(jù)可切分評(píng)估指標(biāo)可計(jì)算復(fù)雜度懲罰2k固定不變k·ln(n)隨樣本量增大而增大無顯式懲罰靠“陌生數(shù)據(jù)”自然體現(xiàn)小樣本表現(xiàn)不夠穩(wěn)建議用AICc容易過度簡(jiǎn)化誤差估計(jì)方差大計(jì)算成本低低高重復(fù)/嵌套時(shí)更高適合場(chǎng)景預(yù)測(cè)導(dǎo)向的常規(guī)統(tǒng)計(jì)模型變量篩選、尋找關(guān)鍵解釋變量機(jī)器學(xué)習(xí)模型、無似然模型、最終評(píng)估需要提醒的是AIC和BIC要求候選模型必須基于同一份數(shù)據(jù)、同一個(gè)因變量這一點(diǎn)很多人容易忽略。如果你在兩個(gè)模型家族之間比較比如一個(gè)廣義線性模型和一個(gè)混合效應(yīng)模型只要因變量和樣本都沒變AIC/BIC仍然可以比較但如果因變量經(jīng)過了不同的變換比如一個(gè)用原始值、一個(gè)用對(duì)數(shù)變換兩者的似然就不是同一個(gè)概念了直接比數(shù)值沒有意義。4.2 時(shí)間序列分析AIC和BIC的主場(chǎng)時(shí)間序列模型如ARIMA需要估計(jì)p、d、q的階數(shù)。這類場(chǎng)景中AIC/BIC幾乎是標(biāo)配原因有兩個(gè)第一ARIMA有明確的似然函數(shù)AIC/BIC可以快速對(duì)幾十組候選階數(shù)排序第二普通K折交叉驗(yàn)證要求樣本近似獨(dú)立時(shí)間序列樣本則前后相關(guān)直接隨機(jī)切分相當(dāng)于“偷看未來”會(huì)嚴(yán)重高估模型表現(xiàn)。正確做法是用滑窗式或時(shí)序切分的交叉驗(yàn)證操作起來比較繁瑣。所以很多時(shí)間序列建模流程的第一步都是直接用AIC/BIC定階。如果數(shù)據(jù)有明顯趨勢(shì)和季節(jié)性先用差分或STL分解把非平穩(wěn)成分處理掉再比較AIC/BIC否則準(zhǔn)則比較的模型根本不是同一個(gè)數(shù)據(jù)生成過程。時(shí)間序列里還有一個(gè)需要注意的點(diǎn)AICc在短序列上比AIC更可靠因?yàn)闃颖玖啃〉臅r(shí)候AIC的漸近修正不夠AICc能補(bǔ)償一部分偏差。4.3 機(jī)器學(xué)習(xí)項(xiàng)目交叉驗(yàn)證近乎唯一選擇隨機(jī)森林、LightGBM、神經(jīng)網(wǎng)絡(luò)這類模型要么沒有清晰的似然函數(shù)要么參數(shù)數(shù)量難以定義。你很難寫出AIC需要的ln L更別提BIC的貝葉斯近似。這時(shí)候交叉驗(yàn)證就變成最通用的評(píng)估手段。特征選擇場(chǎng)景也類似Lasso回歸的懲罰強(qiáng)度λ最優(yōu)值一般通過交叉驗(yàn)證來選而逐步回歸這類經(jīng)典變量選擇思路倒更適合AIC/BIC。如果你在機(jī)器學(xué)習(xí)項(xiàng)目里看到有人強(qiáng)行給LightGBM算AIC那多半是把樹的數(shù)量或者葉子節(jié)點(diǎn)數(shù)當(dāng)k代進(jìn)公式了這種做法理論上很牽強(qiáng)實(shí)際效果也不穩(wěn)定不建議拿它當(dāng)模型選擇的依據(jù)。4.4 小樣本場(chǎng)景的血淚建議樣本量很小比如只有幾十條數(shù)據(jù)時(shí)三種方法都有各自的坑。AIC在小樣本上容易選出過于復(fù)雜的模型但AICc的修正能頂?shù)舸蟀雴栴}BIC在n小時(shí)懲罰項(xiàng)不明顯選出的模型不一定符合預(yù)期交叉驗(yàn)證因?yàn)橛?xùn)練集被進(jìn)一步縮小誤差估計(jì)的方差會(huì)變得很大——同一份數(shù)據(jù)重復(fù)切分CV分?jǐn)?shù)可能從0.85跳到0.72。我個(gè)人的建議是樣本量小于一百候選模型又都是線性類的優(yōu)先看AICc把BIC作為第二參考如果一定要用交叉驗(yàn)證選留一法或者重復(fù)10折并且多跑幾個(gè)隨機(jī)種子看結(jié)果是否穩(wěn)定。小樣本問題沒有銀彈至少不要在只有60個(gè)樣本時(shí)去跑一個(gè)標(biāo)準(zhǔn)的單次5折CV就下結(jié)論。5. 實(shí)操中常見的坑與我現(xiàn)在的選擇流程5.1 坑拿AIC/BIC的絕對(duì)數(shù)值說話AIC和BIC是相對(duì)指標(biāo)它們的絕對(duì)值本身沒有含義只有在模型之間做差時(shí)才有意義。比較時(shí)習(xí)慣看ΔAIC兩個(gè)模型的ΔAIC小于2基本可以看作沒有差別大于4到7差的模型可信度明顯下降大于10弱者基本可以出局。BIC也有類似的解讀方式但閾值沒有AIC那么經(jīng)典大家更關(guān)注誰的BIC更小。還有一點(diǎn)容易踩坑AIC/BIC不是“越小越好”的無限制比較它只對(duì)同一份訓(xùn)練數(shù)據(jù)和同一個(gè)因變量有效。如果你把訓(xùn)練集改了或者把離群點(diǎn)刪了那所有模型的AIC/BIC都會(huì)整體變化但排名可能不變。做記錄時(shí)一定要把數(shù)據(jù)版本寫清楚不然一個(gè)月后回來看結(jié)果你可能完全不知道當(dāng)時(shí)的模型是在什么數(shù)據(jù)上比較的。5.2 坑交叉驗(yàn)證中的數(shù)據(jù)泄漏這是最隱蔽也最致命的坑。錯(cuò)誤一先用全量數(shù)據(jù)做標(biāo)準(zhǔn)化、獨(dú)熱編碼再去切折做CV。錯(cuò)誤二在全量數(shù)據(jù)上先做一遍特征選擇挑出“重要特征”再去做CV評(píng)估。這兩種操作都讓模型在驗(yàn)證時(shí)“見過”了不該見的信息得到的CV分?jǐn)?shù)會(huì)系統(tǒng)性虛高。正確流程是把所有預(yù)處理步驟放進(jìn)一個(gè)流水線里在每一折內(nèi)部重新擬合。用sklearn時(shí)把StandardScaler、PolynomialFeatures這些變換和模型一起塞進(jìn)Pipeline再交給cross_val_score就能避免大部分泄漏。如果你現(xiàn)在還在用全量數(shù)據(jù)標(biāo)準(zhǔn)化后再套cross_val_score的寫法我建議立刻改成Pipeline方案。5.3 坑目標(biāo)錯(cuò)位導(dǎo)致結(jié)果“打架”很多團(tuán)隊(duì)拿著同一組數(shù)據(jù)AIC選出5個(gè)變量的模型BIC選出3個(gè)變量的模型CV選出4個(gè)變量的模型然后開始爭(zhēng)論誰對(duì)。其實(shí)三種方法在回答不同的問題AIC問“哪個(gè)模型預(yù)測(cè)最好”BIC問“哪個(gè)模型更可能是真的”CV問“如果上真實(shí)數(shù)據(jù)這個(gè)模型的預(yù)測(cè)誤差估計(jì)是多少”。目標(biāo)不同答案不同是正常的。如果你的業(yè)務(wù)目標(biāo)是預(yù)測(cè)優(yōu)先采用AIC和CV的共識(shí)如果你的目標(biāo)是從一堆變量里挑出真正的驅(qū)動(dòng)因素BIC偏保守的特征集通常更可信。先定義清楚問題再談選模型否則只會(huì)陷入無休止的爭(zhēng)論。5.4 一次性看清三種方法一個(gè)可復(fù)現(xiàn)的小實(shí)驗(yàn)紙上談兵再多不如自己跑一遍。這里給一個(gè)簡(jiǎn)單的Python實(shí)驗(yàn)生成一個(gè)帶噪聲的二次函數(shù)數(shù)據(jù)真實(shí)模型是二階多項(xiàng)式然后分別構(gòu)建1階、3階、10階多項(xiàng)式回歸一次性看AIC、BIC和10折CV的差異。import numpy as np import pandas as pd import statsmodels.api as sm from sklearn.linear_model import LinearRegression from sklearn.preprocessing import PolynomialFeatures from sklearn.pipeline import make_pipeline from sklearn.model_selection import cross_val_score np.random.seed(42) x np.linspace(0, 1, 100) y 1 2 * x 0.5 * x**2 np.random.normal(0, 0.2, sizex.shape) results [] for degree in [1, 3, 10]: X_poly PolynomialFeatures(degreedegree, include_biasFalse).fit_transform(x[:, None]) ols sm.OLS(y, sm.add_constant(X_poly)).fit() pipe make_pipeline( PolynomialFeatures(degreedegree, include_biasFalse), LinearRegression() ) cv_mse -cross_val_score( pipe, x[:, None], y, cv10, scoringneg_mean_squared_error ).mean() results.append({ degree: degree, AIC: ols.aic, BIC: ols.bic, CV_MSE: cv_mse }) print(pd.DataFrame(results).round(3))跑完之后結(jié)果大概率是1階模型欠擬合AIC、BIC、CV_MSE三項(xiàng)都偏大3階模型各項(xiàng)指標(biāo)最好10階模型雖然訓(xùn)練誤差很小但AIC/BIC因?yàn)閰?shù)多被明顯懲罰CV_MSE也比3階模型大。這說明三種方法在常規(guī)場(chǎng)景下的結(jié)論基本一致。你可以把np.random.seed換幾個(gè)值再跑幾次會(huì)發(fā)現(xiàn)偶爾1階和3階的排名會(huì)波動(dòng)這正是噪聲和小樣本場(chǎng)景下模型選擇不確定性的體現(xiàn)。上面代碼里我直接用原始x的冪次做多項(xiàng)式特征只是為了演示方便實(shí)際項(xiàng)目中建議對(duì)特征做標(biāo)準(zhǔn)化或使用正交多項(xiàng)式避免多重共線性讓OLS系數(shù)估計(jì)波動(dòng)過于劇烈。5.5 我現(xiàn)在的模型選擇流程最后分享一套我固定用的流程。第一步把候選模型限定在一個(gè)合理范圍內(nèi)不要無腦堆變量。第二步如果所有候選模型都有似然形式把AICc和BIC一起計(jì)算出來如果模型是無似然的機(jī)器學(xué)習(xí)模型直接進(jìn)入第三步。第三步用10折交叉驗(yàn)證獲得預(yù)測(cè)誤差估計(jì)時(shí)間序列數(shù)據(jù)用滑窗切分小樣本用重復(fù)留一法。第四步把三種結(jié)果放在同一張表里看三者指向同一模型時(shí)是最穩(wěn)的情況直接收工AIC和CV一致、BIC指向更簡(jiǎn)單模型時(shí)以AIC和CV為主因?yàn)槟愕娜蝿?wù)多半是預(yù)測(cè)BIC和CV一致、AIC指向更復(fù)雜模型時(shí)如果業(yè)務(wù)需要解釋聽BIC如果業(yè)務(wù)對(duì)預(yù)測(cè)精度極其敏感再謹(jǐn)慎看一眼CV的評(píng)估結(jié)果三者完全分裂時(shí)先檢查數(shù)據(jù)泄漏、樣本量和候選模型范圍不要急著選。這套流程沒有理論上的“最優(yōu)”但它能逼你把“用什么標(biāo)準(zhǔn)選”這個(gè)問題想清楚。AIC、BIC和交叉驗(yàn)證不是互相取代的關(guān)系而是從不同角度回答同一個(gè)問題的三面鏡子。你能做的是用對(duì)鏡子而不是問哪面鏡子更高級(jí)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠干狠狠干| 97人碰人操| 99啪视频在线观看| 在线观看熟女少妇| 久久综合人妻| 婷婷最新地址| 99视频内射三四| 色色日本| 婷婷丁香91综合| 天堂五月婷婷| 东京热五月婷婷| 久9热在线视频| 久久99成人性爱高清视频| 性视频久久| 国产在线视频1234| 婷婷五月天色综合| 五月婷婷综合在线| 婷婷精品视频| 亚洲第一第二网站| 9九热视频| 玖玖色综合色| 99er精品视频| 丁香五月天亚洲综合| 激情丁香久久| 五月天开心网| 色日本丁香婷婷| 久99久热| 九九热AV| 亚洲成人五月天| 日本一级一片免费视频| 久99视频在线观看| 五月激情婷婷在线| 五月花激情网| 丰满人妻一区二区三区| 日本丰满久久| 人人草人人看| 99超碰人人| 日本熟女内射| 激情玖玖综合网| 五月天激情网开心网| 色色网站毛片| 婷婷干五月综合在线播放| 婷婷福利影院| 色情婷婷五月天| 91九九热| 五月天婷婷丁香基地在线观看| 99在线综合视频| 色婷婷社区| 中文AV网站| 色丁香影院| 内射综合网| 久久久五月五丁香| 久久这里只有精品99| 99re久热只有精品6在线直播| 99色视频| 丁香五月天在线| 五月丁香六月停停停| 婷婷五月精品在线| 久久99国产综合精品免费| 九九蜜臀精品| 色综合77777| 激情久久综合网| 五月激香蕉网| 久久久久久人妻| 任你搞网站| 色色五月婷婷久久| 亚洲五月天综合| 9有码中文| 色婷婷88| 国产精品日韩十五区| 色五月丁香com| 看久久性爱视频| 日韩AV中文字幕在线| 色色色色热| 4399伦理午夜| 亚洲色五月| 国产在这里只有精品| 超碰操网| 在线视频九色97| 婷婷五月天激情文学| 最新久久网址| 丁香深五月婷婷| 天天干天天干天天干| 色色日韩| 色碰97| 久久人妻在线| 成人做爰高潮A片免费视频| 久久538| 99激情网| 91大神操美女| 69精品人人人人| 亚洲av网站| 五月婷婷色| 超碰啪啪网| 五月天六月婷婷电影| av在线免费网站 | 91九色国产熟女| 四川女人毛多水多A片| 九九机热| 91男同| 婷婷新网址| 天天骑天天操| 色五月婷婷色五月| 九热视频| aaa久久| 天天婷婷综合亚洲亚洲| 99热精品中文字幕| 色情五月天首页| www.色综合| 久久天堂女人| 天天射影院| 激情婷婷五月亚洲| 色天使色婷婷| AA久久| www。五月,com| 精品色色| 免费播放片大片| 婷婷六月伊人| 狠狠色丁香综合| 丁香六月啪| 婷婷久久女人| 无码人妻精品一区二区蜜桃色欲| 国色天香成人网| 亚洲热热视频| 色婷| 婷婷久久综合| 91综合国免费久入| 五月丁香六月激情啪| 亚洲婷婷激情888精品久| 黄页大全十八禁| 99re思思| 色婷婷亚洲婷婷| 午夜一区| 风流少妇A片一区二区蜜桃| 婷婷丁香久久| 精品无码久久久久久久久| 九九热只有精品| 色婷婷影院| 99亚洲天堂| 国产特级毛片AAAAAAA高清| 26uuu精品一区二区| 97AV在线视频| 99热香港| 一区视频网站| 国产99热在线看| 亚洲成人无码网站| 我爱大香蕉| 天天日夜夜欢| 丁香五月婷婷狠狠色| 99热97| 五月天婷婷成人网| 九九这里只有精品| 久久久色情| 久艹伊| 97色色色| 五月婷婷偷拍| 丁香六月色婷婷欧美| 六月色日韩| 黄色大片又大粗又爽| 五月天a婷婷伊人| 99.色| 欧美日韩成人免费在线| 婷婷六月色| 激情小说色五月| 人与禽A片啪啪| 丁香亚洲色综合| 九月婷婷激情| 五月天六月天| 婷婷五月天美女视频| 99超级碰碰| 天天操天天爱天天日| 狠狠干在线| 啪啪啪大香蕉| 九月停停| 成人天天爽| 亚洲国产精品综合色区| 伊人久久婷| 国产精品VIDEOSSEX久久发布| 五月丁香久久综合91| WWW.久久久久久久| 这里只有九九精品| 色五月婷婷基地| 99热在线观看| 久99久视频免费观看| 可以直接看的AV网站| 亚韩在线视频| 久热99视频在线观看| 日本99视频精品免费播放| www,天天干| 91精选国| 激情五月激情综合俺也去婷婷小说| 婷婷丁香五月噜噜噜| 天天婷婷综合亚洲亚洲| 色色色97| 亚洲综合色棒| 亚洲激情网| 伊人久热91| 婷婷五月综合婷婷| 五月久久婷婷| 97色在线观看视频| 丁香五月激情网| 丁香五月激情综合久久| 五月天中文网| 99国产精品白浆在线观看免费| 色综合色婷色基地| 丁香五月丁香伊人| 亚洲五月婷天天操| 丁香九九九九| 亚洲操B视频| 玖玖福利视频资源| 无码激情AAAAA片-区区| 人人操Av| 激情五月天综合网| 天天综合网、天天综合色| 九九亚洲| 五月丁香久人妻中文| 丁香激情网| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 狠狠色噜噜狠狠色噜噜噜999| 久热婷婷| 99碰碰| 天堂久久精品| 这里只有精品视频222| 成人日韩欧美| 欧美内射AA| 婷婷色九月| 婷婷97碰碰| 久久玖玖综合| 大香蕉五月丁香| 久久伦乱| 激情五月天视频| 插逼综合网| 99精品热| 久久婷婷桃花五月天| 亚洲性图一区二区三区| 天天色天天操天天射| 婷婷五月天网址| 丁香五月激情五月| 97干视频在线| 中文字幕 中文字幕明步| 色婷婷综合丁香五月天| 色色五月婷婷久久| 日本精品99网站| 五月天播播中文字幕| 91oumei| 99热只有精品综合| 专区无日本视频高清8| 这里只有免费的精品| 秋霞网在线免费基地五月婷婷丁香| 夜夜爱网站| 色色婷| 亚洲亚洲人成综合网络| 很很干夜夜干| 在线观看中文字幕亚洲| 色人久久| 激情五月图| 琪琪色网在线| 91人人操人人| 五月天伊人手机在线播放AV| 色婷婷丁香综合中文字幕| 午夜69成人做爰视频| 婷婷色五月综合| 色综合丁香婷婷| 九月激情网| 2025天天爽天天摸| 九久9精品| 99久99久| 久久久性爱视频| 热久久国产视频| 综合日本婷婷| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 六月激情综合| 婷婷五月天无码熟女| 九九热9| 六月婷婷八月丁香| 91pornav在线| 日本精品人妻无码77777| 狠狠狠狠狠操| 91九色国产在线| 国产看真人毛片爱做A片| 六月丁香婷婷在线波多| 91免费看片| 琪琪色综合网站| 日本99视频| 五月丁香欧美| 欧美性爱特黄一级aaaassss| 亚洲小视频免费播放| 久久香蕉网| 久久久大香蕉| 五月激情婷婷女| 97热视频| 五月婷婷啪啪啪| 最新国产AV| 日本久久天堂| 婷婷五月色| 久久国产一区二区三区| 另类激情综合| 伊人久久大香网| 五月丁香婷婷成人网| 激情开心五月婷婷| 色色色综合视频| www.色情五月天.com| 99在线视频。| 天天日天天插| 色99视频| 香蕉久久国产AV一区二区| 97 A I色色| 九九热这里有精品23| 岛国操B不卡在线| BBWCUCKOLD精品熟妇| 99久久99久久综合| 五月婷婷偷拍| 五月狠狠| 丁香五月电影| 色五月激情综合网| 五月婷婷丁香| 五月婷婷影院| 任你操精品免费| 九九这里都是精品| 4399人妻无码久久久| 九九九九九九九九九九九九九国产精品| avh片在线观看| 777影视理论片大全在线观看| 亚洲日本韩国| 成人片在线免费看| 五月天色色婷婷| 婷婷丁五月| 亚洲人妻一区二区| 激情五月,激情综合网| 激情婷婷五月天伊人在线观看| 激情com| www。五月天。com| 丁香5月啪啪| 五月婷色丁香| 思思热这里只有精品| 婷婷五月在线视频| 天天射影院| 久久婷婷网| 婷婷五月激情网| 亚洲亚洲人成综合网络| 久久综合影院| 精品久久久人妻| 五月丁花六月丁香综合| 91玖玖| 99在线小视频| 九色视频91疯狂| 九九这里只这里只有精品| 色婷婷五月中文字幕在线dvd| 色久丁香五| 亚洲在线综合| 狠狠色丁香婷婷综合久久97AV| 99久久这里只有精品免费官网| 五月色婷婷综合丁香精品无遮挡| 激情久久综合网| 五月婷婷婷婷| 99久久婷| 色色色五月天婷婷| www色综合亚洲92| 天天婷婷天天| 五月婷婷天天| 五月停停大香蕉| 五月丁香 啪啪| 丁香婷婷免费| 九九这里有精品| 九九视频在线观看视频6 | 欧美色偷拍| 五月天玖玖狠狠色色| 天天操中文字幕| 91re色综合视频| 五月丁香六月| 色色五月综合| 色五月丁香在线| www夜夜操| 久人人操| 99色最新在线视频网站| 大香蕉五月婷婷| 九九精品9| 天天色,天天操,天天射| 婷婷五月天开心网| 五月丁香啪啪激情| 五月婷婷亚洲| 精品九九网| 婷婷五月天激情AV影院| 99久视频| 欧美 日韩 成人 在线| 99精品国产在热久久| 婷婷丁香成人色综合| 婷婷五月天中文字幕.| 五月婷婷中文网| 婷婷黄色| 99热在线看| 色婷婷激情五月天| 婷婷五月天熟妇| www久久艹| 色综合久久综合| 天天肏天天爽夜夜爽| 亚洲精品V天堂中文字幕| 欧美婷婷丁香五月社区| 色欲天天综合| 天堂美国久久| 99色啊| 亚洲操逼片| 日本黄色精品| 狠狠操.COM| 丁香五月影院| 丁香五月第九色| 热九九精品| 婷婷五月激情综合啪啪| 手机看片日日做夜夜| 欧美性爱五月天| 色婷婷av在线| 欧美激情VA永久在线播放| 五月综合丁| 狠狠五月激情丁香六月| 综合玖玖偷拍| 激情五月天小说| 激情综合婷婷久久| www色婷婷com| 天天日中文| 成人在线二区| 思思精品热在线| 婷婷五月丁香六月| 99免费偷拍视频| 色色色色色网站| 91pornav在线| 久久这里只有精品99| 久久综合热17c| 97色97干| 先锋资源91| 久久婷婷亚洲| 97资源碰碰在线| 天天精品视频免费观看| 先锋资源996| 99久久人妻精品无码二区| 青草视频在线蜜臀| 色日本颜射| 国产在这里只有精品| 久久艹网| 99精品无码| 亚洲无码yw| 亚洲色五月| 五月丁六月香av| 草榴成人影片| 丁香婷婷五月综合| 五月丁香激情综合啪| 被强行糟蹋的女人A片| 色色色综合网| 激情五月五月婷婷| 99热精品网| 丁香五月在线观看| 99这里精品| 五月丁香婷婷五月色| 黄色激情五月天| 秋霞电影一级黄| 欧美经典片免费观看大全| 综合性视频99| 日韩精品一区二区刘| 激情图片五月天| 免费久久这里只有精品99| 九九视屏| 日日操日日撸| 热久久66| 色九九丁香九月色九九色| 天天日天天舔| 丁香五月六月婷婷综合| 婷婷五月天熟妇| 涩玖玖免费视频| 九九热99免费视频| 玖玖资源站视频| 色婷婷色情| 中文字幕91,综合| 99re思思热久久| 激情综合网五月天| 99热99成人| 日本97久久久精品| www.五月天婷婷| 岛国av电影网站| 色欲人妻综合aaaaaaaa网| www.色婷婷| 99性爱无码| 久9热视频| 天天射综合网站| WWW丁香五月| 在线婷婷| site:publishdd.com| www.zbzhongsen.com| 91婷婷在线观看| 7777久久亚洲中文字幕| 亚洲亚洲人成综合网络 | 99在线精品视频| 亚洲免费婷婷| 99视频精品| 国产精品久久久久久久久久久久| www久久久久久久97| 永久精品| 激情小说五月天| 99视频内射三四| 亚洲另类婷婷综合| 天天操夜夜肏| 久久婷婷网| 69天堂99| 亚洲欧洲中文日韩久久AV乱码| 丁香五月日韩| 亚洲激情五月天| 日韩无码成人电影| wuyuedingxiang99| 五月丁香综合网| 丰滿爆乳一区二区三区| 深夜婷婷 丁香| 亚洲中文乱字字幕在线永久| 五月婷婷中文字幕| 色屌丝中文字幕| 精品99爱免费视频在线观看| 91一起操| 先锋资源91| 91综合视频丁香| 欧美 日韩 人妻 高清 中文| 色婷婷激情| 99噜噜噜在线播放| 男男野外做爰全过程69| 99自拍视频在线| 激情五月色婷婷| 日本在线va| 天天色色天天| 五月色俺婷婷| 六月天无码网址| 一夜福利不卡| 日日夜夜狠狠婷婷色| 99久热在线精品| 五月网激情| 免费看欧美成人A片无码| 五月婷婷深深爱| 丁香婷婷五月六月久久| 丁香婷婷六月| 五月婷婷香蕉| 九九十99视频| av在线激情| 丁香五月综合激情久久潮喷| 五月综合激情图片 | 激情五月天影院| 91热久久| 97干在线| 国产成人片| 98国产精品综合一区二区三区| 精品国产a| 色香蕉影院| 久热久色| 亭亭色天香| 激情色情五月天| 97在线刺激| 五月天综合久久| 久久综合五月天激情小说网站 | 五月天婷婷综合| 人妻丰满精品一区二区A片| 久久大香蕉丁香| 激情五月婷婷色色| 91互操| 亚洲天堂啪啪| 五月天五月色婷婷综合| 人人人va亚洲视频在线| 婷婷播5月| 免费亚洲婷婷五月| 麻豆WWWCOM内射软件| 免费无码毛片一区二区A片 | 99热精品无码| 国产精品99久久久久久久女警| 热久69| 亚洲精| 婷婷六月色| 67194国产| 大香焦啪啪啪| 天天网曰日曰夜夜综合永久免费| 九九99香蕉在线视频播放| 亚洲123区高清入口| AV色五月婷婷| 婷婷久久五月天丁香| 久久婷婷五月综合| 无码yw| 婷婷综合爱| jiZZdr| 激情视频综合| www日本熟妇99在线视频| 啪啪啪五月天| 婷婷金品综合视频| 久久婷婷午夜| 五月婷婷久久网| 天天噜| 日本美女97在线视频| 久99综合婷婷| 青青草五月天| 婷婷色网址| 婷婷丁香一月| 五月婷婷激情| 日韩欧美一级大黄网站| 91九色中文| 丁香五月婷婷www..com| 久久精品永久免费| 丰满少妇乱A片无码| 九九热只有这里精品| 97婷婷狠狠| 99久久精彩视频| 综合色五月| 67久久| 插插插丁香五月婷婷| 亚洲综合在线播放| 操碰久| 日日干日日| 亚洲熟女乱色综合亚洲网站| 久久怕怕视频| 婷婷黄色网| 色亭亭五月天网扯| 香蕉AV777XXX色综合一区 | 欧美A片在线视频免费观看| 激情婷婷五月亚洲| 五月天婷婷激情| 五月丁香婷婷色色| 综合色图区| 色久播播| 欧美成人AAA片一区国产精品 | 色九月婷婷丁香| 9精品在线| 伊人激情影院| 热的国产99热| 欧美三级巜人妻互换| 婷婷丁香五月激情中文字幕版| 深爱激情五月网| 天天操夜夜啊| 五月天综合在线| 丁香五月AV| 综合激情五月综合激情五月激情1| 91超碰在线观看| 99热九九这里只有精品| 99色视频| 五月婷婷狠狠干| 超碰在线94| 久久永久视频| 久久只这里有精品| 激情网 久久| 午夜色丁香| 丁香婷婷超碰 | 久久99热免费最新版| 超碰色综合| 狠狠做深爱婷婷久久综合一区| 人妻久久做| 性爱激情综合网| 激情婷婷啪啪| 超碰免费大香蕉| 九九碰九九爱97| 亭亭五月激情亚洲在线| 丁香五月激情月| 97啪啪| 综合丁香婷婷五月天| 日韩二区搞逼插逼毛片| 99热综合网| 久久这里这里有精品免费视频| 天天做天天爱天天爽| 天天爽天天摸人妻综合网| 人妻久久婷婷| 丁香五月色| 亚洲夜夜操| 丁香五月色五月| 中文幕无线码中文字蜜桃| 婷婷精品性视频| 久久草人妻| 天天艹| 99这里有精品| 99无码| 91操碰| 精品日本视频444| 国产91视频| 热久久国产视频| 日本久久性| 人妻丰满精品一区二区A片| 深爱激情五月天婷婷网| 操比激情五月综合| 亚洲国产99| WWW五月天| 五月婷激情影院| 嫩BBB搡BBBB榛BBBB| 久久久免费精彩视频| 久草A片| 免费一区二区三区| 爆乳熟妇一区二区三区爆乳| 色操b| 97九色视频| 97性高潮久久久| 久99视频| 99re思思热久久| 免费AV播放| 亚洲妇女熟BBW| 永久精品| 色综合久久久久久久久五月| 开心五月六月婷婷| 综合狠狠干| 操91综合网| 国产精产国品一二三在观看| 色五月天激情| enecarbon-materials.com污K127封锁请涟系@wip1688 | 99久久综合网| 婷婷久久在线| 婷婷五月激情热播| 久久久久久18| 成人做爰A片免费看网站找不到了| 激情丁香久久久久久| 激情婷婷色色| 国产欧美熟妇另类久久久| 五月天激情.com| 五月刺激丁香月综合| 久色资源| 日韩 中文 欧美| 激情五月综合婷婷| 爱婷婷五月| 97se在线视频| 九九操操| 人妻久久久久久久久| aV欲望人妻中文字幕| 91天天操天天干天天射| 先锋男人99资源| 91高潮喷水久久久久久久久| 91碰在线| 五月天婷婷伊人| 1024久婷| 99操视频| 台湾佬天天日丁香婷婷五月天| 五月激情久久| 91色综合| 99综合婷婷五月| 激情国产五月| www色色色com| 色五月综合网| 99人人干人人操| 九九精品热| 就去涩涩丁香五月天| 国产老熟妇亲子乱对白| 少妇大叫太大太粗太爽了A片| 九九热在线视频观看| 超碰狠狠操| 国产亚洲精品久久久久久郑州| 五月天狠狠干| 国产成人+综合亚洲+天堂| 涩丁香| 9精品在线| 99热青青草原| 操日本三片99| 婷婷色婷婷| 狠狠干在线| 4399人妻无码久久久| 99九九精品| 99久在线精品99re8| 五五月丁香花激情综合网| 亚洲视频另类| 99热综合| 五月婷婷丁香狠狠撸久久| 婷婷伊人| 伊人9草在线观看| AA片在线观看视频在线播放| 另类 在线| 色青青五月| 性色婷婷| 五月停亭久久电影| 中文字幕在线日亚洲9| 五月丁香在线综合| 99热精品少| 91婷婷丁香五月| 热99色| 饮料下药迷倒漂亮女同事强干| 婷婷开心五月| 精品人妻久久久| 99久久99九九99九九九| 久热在线观看视频9| 国产伦亲子伦亲子视频观看| 婷婷深爱五月天| 丁香婷停五月激情综合深爱| 五月婷婷性爱| 久久玖玖综合| www.ywav| 极品人妻VIDEOSSS人妻| 久久婷婷啪啪视频| 99热这里只有精品66| 五月婷婷五月天天| 99久久久免费| 99超碰人人| 超碰婷婷五月| 无码人妻少妇色欲AV一区二区| 丁香大香蕉| 五月激情六月综合| 天天爽天天透天天爱| 99开心五月五月丁香激情| 色婷婷yy久| 极品人妻VIDEOSSS人妻 | 色色色色色热| 婷婷丁香五月天大香蕉| 亚洲午夜在线视频| 99久在线精品| 欧美婷婷综合| 五月中旬婷婷丁香六| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 99热老网站| 天天干-天天日| 色八月婷婷| 日本系列_4页_777FP| 亚洲视频1区| 五月激情丁香啪啪| www.夜夜操.com| 五月丁香免费视频| 婷婷五月天激情电影| 狠狠干无码| 婷婷五月综合啪| 五月丁香 久久久| 欧美va精品va老师va| 日韩AV片| 五月天久久网站| 激情五月九九九| 国产暴力强伦轩1区二区小说| 99日本精品视频热| 丁香九月综合| 国产精品爽爽久久久久久| 五月第四色| 六月色丁香中文字幕| 五月婷婷无码专区| 色视五月天婷婷| 这里只有精品日韩精品| 精品国产va久久久久| 色噜噜狠狠色综合日日| 97碰在线| 大香蕉人在线65| 五月丁香婷婷啪啪网| 自拍视频99| 九九精品婷| 精品热九九| 亚洲色99综合天堂| 天天日日| 色五月婷婷777| 婷婷99视频在线| 日韩人妻AV在线| 色级停停| 久久受www免费人成| 婷婷五月丁香综合亚洲| 久草丁香婷婷1024| 有码一区二区三区| 亚洲欧美日韩另类| 国产69久久久欧美黑人A片| 国产肥白大熟妇BBBB视频| 亚洲成av人影院| 亚洲情综合五月天| 亚洲黄色网址| 五月丁香亚州综合网| 五月综合激情图片| 69精品人人人人人人| 五月激情婷婷国产精品久久久久久| 五月丁香婷婷啪啪综合| 婷婷中文字幕在线| 国产av基地| 黄网在线免费观看| 欧美噜噜免费观看| 五月丁香六月婷婷亚洲激情综合| 五月丁香网站在线播放| 天天日天天操天天干| 色丁香五月婷婷综合久久| 色爱综合五月| 丁香婷婷超碰 | 激情丁香五月| 五月婷丁香| 亚洲亚洲人成综合网络| 久99| 久九男女天堂| 久久丁香网| 97干在线看| 婷婷性爱网| 日本熟女视频一区二区| 天天看片日日夜夜| 五月永久激情| 99国产这里只有精品| 色五月亚洲| 色色吧综合| 中文字幕按摩做爰| 99久| 国产av第一专区| 亚洲AV无码一区二| 激情综合九月| 婷婷久久视频| 久久精品视频9| 五月天婷婷综合网| 丁香六月五月天| 粉嫩AV久久一区二区三区| 人与禽A片啪啪| 国产高清视频91九九九久久久| www.综合久久| 九九色图| 南京搡BBBB搡BBBB| 久久人妻伊人| 亚洲综合五月天婷婷丁香| 99热这里| 变态 另类 在线| 婷婷人妻激情| 激情婷婷五月天| 成人av免费观看| 丁香五月婷婷精品视频| www夜夜操com| 大香蕉久操| 亚洲最大成人综合网720P| 久久久五月天婷婷| 中文字幕激情综合| 26uuu亚洲| 1区2区视频| 五月天成人综合| 99精品无码网站| 国产亚洲99| 五月丁香色婷基地综合久久| 日本玖玖在线| 婷婷在线网| 成人视频九九| 丁香六月AV| 久99热| 色碰碰| 777米奇影视第四色| 免费成片在线观看| 怡红院 久久| 可以直接看的AV网站| 夜夜操激情| 激情图片久久| 国产av天堂| 综合超碰熟| 狠狠爱激情网| 深爱五月中文字幕| 色五月婷婷亚洲最大| 超碰在线成人| www.1024久久| 久久9视频| 欧美激情-区二区三区| 黄桃AV无码免费一区二区三区 | 噜噜狠狠色综无码久久合欧美| 日日干综合| 国产高清RV综合aVa| 99热国产在| 91人妻人人做人碰人人爽九色| 久久99热这里只频精品6学生| 久久9情免费| 久艹大香蕉| 五月婷婷开心网| 狠狠操狠狠操AV| 五月久久婷婷天堂视频| 国产激情在线| 天天做天天爱| 97精品自拍| 99久| 777精品久无码人妻蜜桃| 亚洲图片 丁香婷婷| 996热re视频在线观看视频| 快乐激情五月色婷婷| 综合久久人妻| 激情综合五月| 99久在线精品99re5热视频| caopeng97日韩| 欧美色色色色色| 丁香六月综合| 色色网站在线免费观看视频| 久久激情五月婷婷| 国产成人精品一区二三区熟女在线| 大香蕉久热| 久久久久久丁香五月| 高清无码入口| 4399伦理午夜| 丁香五月,激情五月,深爱五月| 97在线视频人妻九色| 大大香蕉综合在线| 久久婷婷五月草视频在线播放| 五夜丁香| 丰滿爆乳一区二区三区| 五月婷婷六月丁香激情深爱| 丁香五月另类小说| 欧美内射AAAAAAXXXXX| 五月婷婷综合激情网| 五月丁香六月玩女人| 色无婷婷| 久这里只有精品99| 亚洲综合草草| 五月色激情综合网| 激情婷婷狠狠干| 色婷婷六月| 日本久久视频| 丁婷婷五月天在线播放| 丁香六月高清视频| 日本99在线视频| 九九Y精品热播| 婷婷午夜综合| 色婷婷丁香五月天在线视频| 六月激情久久| 最近中文字幕大全免费版在线| 婷婷干六月综合旧址| 久久婷婷视频| 色五月,婷婷大香蕉| 五月人妻婷婷| 九月丁香| 色www.con| 欧洲亚洲激情五月天在线| 天天色宗合| 一月婷婷色色| 五月天.com| 影音先锋男人AV资源站| 五月婷婷播| 一本色道久久综合狠狠躁小说| 成人婷婷| 五月丁香六月婷婷免费| 久久9视频| 色播五月丁香| 99啪啪视频| 嫩草视频观看| 婷婷丁香人妻天天爽| 色五月色开心开心五月| 五月丁香久久激情网| 免费视频WWW在线观看网站| VA婷婷| 久久久性爱视频| 182.t午在线观看| 好好干av| 国产精品一区在线观看你懂的| 超碰免费人人| 5月婷婷五月天| 91丨九色丨首页| 婷婷爱婷婷| 人人操97| 翔田千里 50岁 无码| 久99久在线观看| 久久天堂| 五月天丁香成人| 欧美图片丁香五月天| 99.N在线视频| www.婷婷五月天.com| 九九热狼人| 婷婷舔| 激情亚洲婷婷| 日韩婷久| 九九热在线视频,| 激情五月天婷婷| 色碰碰视频| 在线观看免费狠狠色丁香香综合| 五月天大香蕉av| 久久资源综合| 五月丁香婷婷综合视频| 久久人视频| 丁香丝袜五月| 色www99| 婷婷永久在线| 91se精品国产| 激情久久五月网| 婷婷五月天天| 丁香五月婷婷色| 激情五月天.色网| 开心婷婷五月天激情网| 久久五月婷综合网| 丁香激情六月天婷婷| 国产肥白大熟妇BBBB视频| 五月丁香在线婷婷蜜桃| 国产精品国产成人国产三级| 内射激情在线| 97超级碰人人| 五月激情小说网| 久久五月婷婷丁香| 婷婷久久亚洲| 五月丁香日本一抹本| 日本乱子人伦在线视频| 丁香五月激情综合网激情五月| 六月婷婷综合网2| 亚洲成人人人操| 在线99精品| 亚洲综合视频在线| 久久精品爱爱| 亚洲A片成人无码久久精品青桔| 天天爽综合| 九九美女视频| 玖玖婷婷五月| 九九综合色综合| 国产成人网| 欧日韩成人| 五月婷婷丁香五月| 婷婷色系婷色| 五月天色婷婷网| 丁香五月大香蕉AV| 99热这里只有精品8| 思思久久96热在精品国产,| 欧美性做爰大片免费看办公室| 天天色伊人| 精品AV无码超碰| 婷婷色五月开心五月| 色九区| 国产精品久久久久久久久久免费| 婷婷狠狠操| 亚洲综合久| 婷婷在线播放| 婷婷五月天综合中文| 91婷婷在线观看| 色色色色色综合| 色的色综合| 超碰免费观看| 婷婷五月天视频免费在线观看| 综合色色婷婷| 开心五月天激情网| 色综合色综合色综合| 91视频五月丁香| 日韩亚洲视频| 综合97五月| 色综合久久之分久久| 色深爱五月| 九九久久综合| 玖玖在线视频| 日日夜夜综合| 97人人做| 国色天香成人网| 舔色婷婷| 99色6爱9热| WWW.五月com| 综合啪啪| www.热99热| 99爱99操| 91久久久久久| 中文字幕性爱丰满| 久99综合婷婷| 黑人巨粗进入警花疼哭A片| 亚洲五月婷婷| 开心婷婷五月激情网小说| 亚洲综合视频八| 五月香婷婷| 天天色官网| 大香蕉综合| 亚洲网在线观看| 日本狠狠干| 99热久只有| 色婷婷亚洲综合网站| 亲子乱AV一区二区三区下载| 狠狠色丁香婷婷基地| av操一操| 婷婷激情人妻| 欧美黑人巨大猛烈cuckold| 久婷婷五月综合欧美| 成人国产欧美大片一区| 99热综合| 久9免费视频| 婷婷六月天天| 9999色色色色| 久99久在线| 99偷拍视频在线日本| 国产AV一区二区三区日韩| 婷婷色导航| 色偷偷色婷婷| 天天摸天天舔天天爽| 9久热免费视频99| 婷婷黄色| AV片一区在线观看| 久久停停超碰| 五月丁香无码视频| 天天狠狠婷婷在线| 中文字幕av网站| 五月天婷婷色色| 99ri精品在线| 日日操,天天操| 婷婷亚洲色| 亚洲在线播放| 国产肥白大熟妇BBBB视频| 亚洲va综合va国产va中文| www.99热视频在线观看| 午夜色丁香| 午夜精品人妻无码一区二区三区| 五月丁香婷婷欧美| 激情网 五月天| 99在线视频精品| 九七色色六月丁香| 99热在线看| 天天做天天爽| 五月婷婷九| 色婷婷婷av| 91久久免费| 91男人操女人视频| 97人人操在线| 在线观看中文字幕| 99热这里只有精品33| 婷婷五月丁香五月| 碰人人97| 欧美成人AAA片一区国产精品| 人人97碰| 激情五月久久| 婷婷五月六月丁香综合| 激情婷婷综合| 99视频内射三四| 久久人五月| 中文字幕在线人妻| 婷婷香草网| 91Chinese在线| 五月丁香成人| 思思精品视频| 丁香五月冃欧美| 人人色性网| 五月丁色AV| 91黄址| 伊人久久综合| 婷婷情色开心五月天99| 久久探花91swag| 激情五月婷婷视频一区二区三区| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 国产成人精品一区二三区熟女在线| AAAA亚洲| 五月丁香日本在线视频观看| 亚洲丁香婷婷| 超碰99热| 婷婷伊人綜合中文字幕| 超碰不卡在线| 5月丁香婷婷激情网| 亚州性爱99| 五月丁香色五月| 色婷婷婷av| 亚洲精品视频在线播放| 色婷婷a v| 激情图片婷婷丁香五月| av在线免费网站 | 激情又色又爽又黄的A片| 人人干人人操人人摸人人做| 欧亚色色| 99re久久| 99久.| WWW免费视频碰碰碰碰| 99热全是精品| 成人短视频免费| 一区=区操屄高清大全av| 97精品人人A片免费看| 成人电影在线免费试看| 男女99免费视频| 久热一本| 婷婷五月天激情四射| 精品久9| 亚洲成人免费电影| 天天爽日日爽夜夜爽| 婷婷社区五月天| 丁香五月天堂| 69精品无码一区二区三区| 丁香五月网站| 玖玖热视频| 97精品综合| 婷婷五月天亚洲综合| 亚洲人人操| www.久9| 激情婷婷99| 激情婷婷综合网| 国产成人亚洲综合亚洲| 碰碰碰91| 4399伦理午夜| 在线观看亚洲AV| 97操碰碰无码视频| 爆乳熟妇一区二区三区爆乳照片| 91视频精品99| 婷婷天堂综合| 婷婷六月色| 色婷婷五月六月丁香综合视频| 婷婷五月成人有| 亚洲AAA| www五月天激情com| 深爱激情五月天婷婷网| 天天色综合网吨吧| WWW,五月| 国产激情在线| 黄色AV日韩| 九九99免费视频| 强伦轩人妻一区二区电影| 996热| 天天日天天久久青青| 激情人妻蜜夜系列区| Aα在线免费观看|