欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

從ID3到CART:手寫決策樹三大算法與分裂準(zhǔn)則詳解

從ID3到CART:手寫決策樹三大算法與分裂準(zhǔn)則詳解 決策樹這個(gè)家族乍一看像是機(jī)器學(xué)習(xí)教材里最樸素的一章真到動(dòng)手寫代碼、調(diào)參、處理真實(shí)臟數(shù)據(jù)的時(shí)候你會(huì)發(fā)現(xiàn)它比很多花哨的模型更考驗(yàn)基本功。CART、ID3、C4.5這三個(gè)名字幾乎每一本講機(jī)器學(xué)習(xí)的書都會(huì)提到但真正把三者放在一起對(duì)比、把分裂準(zhǔn)則的數(shù)學(xué)推導(dǎo)講透、再手寫一遍Python實(shí)現(xiàn)的資料并不多。我當(dāng)初學(xué)這塊的時(shí)候最大的困惑不是信息增益是什么而是為什么ID3偏愛取值多的特征C4.5的增益率到底怎么修正CART的基尼指數(shù)和熵到底差在哪連續(xù)值和缺失值分別怎么處理。這些問題教材往往一筆帶過但實(shí)際寫代碼時(shí)全是坑。這篇內(nèi)容就是把我自己從零實(shí)現(xiàn)這三個(gè)算法的完整過程整理出來包括分裂準(zhǔn)則的數(shù)學(xué)原理、連續(xù)特征離散化的細(xì)節(jié)、剪枝策略的取舍、以及一份可以直接跑起來的Python代碼。適合已經(jīng)了解決策樹基本概念、想深入理解三種算法差異、并且希望自己動(dòng)手實(shí)現(xiàn)一遍的讀者。哪怕你只是想在面試前把這三個(gè)算法的區(qū)別理清楚這篇也能幫你把底層邏輯串起來。全文會(huì)圍繞為什么這么設(shè)計(jì)展開而不是只丟結(jié)論因?yàn)闆Q策樹這塊理解了動(dòng)機(jī)代碼自然就寫出來了。1. 三種算法的整體設(shè)計(jì)思路與選型邏輯1.1 決策樹的本質(zhì)用一系列if-else把空間切開決策樹的核心思想其實(shí)特別樸素給定一堆樣本每個(gè)樣本有若干特征和一個(gè)標(biāo)簽我想通過一連串如果特征A大于某值就走向左邊否則走向右邊的判斷把樣本逐步分到足夠純的子集里。每一次判斷就是一個(gè)內(nèi)部節(jié)點(diǎn)最終的分類結(jié)果就是葉子節(jié)點(diǎn)。整棵樹本質(zhì)上就是一堆嵌套的if-else規(guī)則這也是它最大的優(yōu)點(diǎn)——可解釋性強(qiáng)白盒模型業(yè)務(wù)方看得懂。但問題來了一個(gè)特征可能有無數(shù)種切法我到底該選哪個(gè)特征、按哪個(gè)閾值來切這就是三種算法的核心分歧所在。ID3、C4.5、CART的差別說到底就是如何衡量一次分裂的好壞以及樹長成什么樣這兩件事上的不同選擇。理解了這一點(diǎn)后面所有的細(xì)節(jié)都是圍繞這個(gè)核心展開的。我習(xí)慣把決策樹的構(gòu)建拆成三個(gè)問題第一選哪個(gè)特征分裂分裂準(zhǔn)則第二什么時(shí)候停止分裂停止條件第三怎么防止過擬合剪枝。三種算法在這三個(gè)問題上的答案各有側(cè)重下面逐個(gè)拆解。1.2 ID3用信息增益選特征簡單但偏心ID3Iterative Dichotomiser 3是最早的一批決策樹算法它的分裂準(zhǔn)則用的是信息增益。信息增益的直覺是如果我按某個(gè)特征把數(shù)據(jù)集切開之后整體的混亂程度下降得越多說明這個(gè)特征越有用。衡量混亂程度用的是信息熵公式是$$H(D) -\sum_{k1}^{K} p_k \log_2 p_k$$其中 $p_k$ 是第 $k$ 類樣本在數(shù)據(jù)集 $D$ 中占的比例。熵越大越混亂熵為0表示完全純凈。信息增益就是父節(jié)點(diǎn)的熵減去按某特征分裂后各子節(jié)點(diǎn)熵的加權(quán)平均$$Gain(D, A) H(D) - \sum_{v} \frac{|D^v|}{|D|} H(D^v)$$ID3每次選信息增益最大的特征來分裂。它的優(yōu)點(diǎn)是概念清晰、計(jì)算簡單但有個(gè)致命缺陷信息增益偏向取值多的特征。極端情況下如果有個(gè)特征是樣本ID每個(gè)樣本取值都不同那按它分裂后每個(gè)子節(jié)點(diǎn)只有一個(gè)樣本熵全是0信息增益達(dá)到最大但這顯然毫無泛化意義。這個(gè)缺陷是ID3被詬病最多的地方也是C4.5誕生的直接原因。1.3 C4.5用增益率修正偏好工程化程度更高C4.5是ID3的改進(jìn)版針對(duì)信息增益的偏好問題它引入了增益率Gain Ratio。思路是既然取值多的特征信息增益天然偏高那我就除以一個(gè)和特征取值數(shù)量相關(guān)的量來懲罰它。這個(gè)懲罰項(xiàng)叫固有值Intrinsic Value$$IV(A) -\sum_{v} \frac{|D^v|}{|D|} \log_2 \frac{|D^v|}{|D|}$$增益率就是$$GainRatio(D, A) \frac{Gain(D, A)}{IV(A)}$$特征取值越多$IV(A)$ 越大增益率就被壓得越低。但這里有個(gè)新問題如果某個(gè)特征每個(gè)樣本取值都不同$IV(A)$ 會(huì)趨近于0甚至為0導(dǎo)致增益率爆炸。所以C4.5實(shí)際用了一個(gè)啟發(fā)式策略——先從候選特征里挑出信息增益高于平均值的那些再從中選增益率最高的。這個(gè)先篩選再選優(yōu)的兩步走是C4.5工程實(shí)現(xiàn)里很容易被忽略的細(xì)節(jié)。除了增益率C4.5還解決了ID3的兩個(gè)大短板連續(xù)特征處理和缺失值處理。ID3只能處理離散特征C4.5通過二分法把連續(xù)特征離散化ID3遇到缺失值直接沒法算C4.5用加權(quán)的方式讓缺失樣本以一定概率進(jìn)入各個(gè)分支。這兩塊后面會(huì)詳細(xì)講。1.4 CART用基尼指數(shù)只做二叉樹CARTClassification and Regression Trees和前兩者最大的不同是它生成的永遠(yuǎn)是二叉樹。不管特征有多少個(gè)取值CART都只把它切成兩份。這個(gè)設(shè)計(jì)讓CART的實(shí)現(xiàn)更統(tǒng)一也更容易做回歸任務(wù)。分類任務(wù)上CART用的分裂準(zhǔn)則是基尼指數(shù)Gini Index$$Gini(D) 1 - \sum_{k1}^{K} p_k^2$$基尼指數(shù)可以理解為從數(shù)據(jù)集里隨機(jī)抽兩個(gè)樣本它們類別不一致的概率。和熵一樣它衡量的是不純度越小越純。按特征A的某個(gè)取值a把數(shù)據(jù)切成 $D_1$ 和 $D_2$ 兩部分后$$Gini(D, A) \frac{|D_1|}{|D|} Gini(D_1) \frac{|D_2|}{|D|} Gini(D_2)$$CART選讓加權(quán)基尼指數(shù)最小的那個(gè)切分點(diǎn)。相比熵基尼指數(shù)沒有對(duì)數(shù)運(yùn)算計(jì)算更快而且實(shí)際效果和熵非常接近這也是CART在工業(yè)界更受歡迎的原因之一。回歸任務(wù)上CART用均方誤差MSE作為分裂準(zhǔn)則選讓兩邊MSE加權(quán)和最小的切分點(diǎn)葉子節(jié)點(diǎn)的預(yù)測值取該節(jié)點(diǎn)樣本的均值。這一點(diǎn)是ID3和C4.5不具備的它們只能做分類。1.5 三者對(duì)比一張表看清差異維度ID3C4.5CART分裂準(zhǔn)則信息增益增益率基尼指數(shù)分類/ MSE回歸樹的結(jié)構(gòu)多叉樹多叉樹二叉樹連續(xù)特征不支持支持二分法支持二分法缺失值不支持支持加權(quán)支持代理分裂剪枝無悲觀剪枝代價(jià)復(fù)雜度剪枝任務(wù)類型分類分類分類回歸特征偏好偏向多取值已修正無偏好這張表建議背下來面試問三種算法的區(qū)別基本就是這些點(diǎn)。但光背沒用下面我會(huì)把每個(gè)點(diǎn)背后的為什么講清楚。2. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)2.1 信息熵、條件熵與信息增益的完整推導(dǎo)很多人對(duì)信息增益的理解停留在公式層面我建議從不確定性減少這個(gè)角度重新理解一遍。信息熵 $H(D)$ 衡量的是在不知道任何特征的情況下判斷一個(gè)樣本類別的不確定性。條件熵 $H(D|A)$ 衡量的是知道了特征A的取值之后判斷類別還剩多少不確定性。信息增益就是兩者之差也就是知道特征A之后不確定性減少了多少。舉個(gè)具體例子。假設(shè)數(shù)據(jù)集有10個(gè)樣本正負(fù)各5個(gè)那么 $H(D) -0.5\log_2 0.5 - 0.5\log_2 0.5 1$ bit。現(xiàn)在有個(gè)特征A按它分裂后得到兩個(gè)子集一個(gè)全是正例熵0一個(gè)全是負(fù)例熵0那么條件熵 $H(D|A) 0$信息增益就是1 bit說明這個(gè)特征完美區(qū)分了類別。反過來如果分裂后兩個(gè)子集還是正負(fù)各半條件熵還是1信息增益為0說明這個(gè)特征沒用。這里有個(gè)實(shí)操細(xì)節(jié)熵的計(jì)算要處理 $p_k 0$ 的情況。因?yàn)?$\log_2 0$ 是負(fù)無窮代碼里必須約定 $0 \log 0 0$。我見過不少手寫實(shí)現(xiàn)因?yàn)闆]處理這個(gè)遇到純凈子集直接報(bào)錯(cuò)或者返回NaN。2.2 增益率為什么能修正偏好以及它的新問題增益率修正偏好的邏輯用一個(gè)例子最直觀。假設(shè)有個(gè)特征A有100個(gè)取值每個(gè)取值對(duì)應(yīng)一個(gè)樣本那么 $IV(A) -\sum_{i1}^{100} \frac{1}{100}\log_2\frac{1}{100} \log_2 100 \approx 6.64$。信息增益雖然很大因?yàn)槊總€(gè)子集都純凈但除以6.64之后就被壓下來了。而另一個(gè)只有2個(gè)取值的特征B$IV(B)$ 最多是1即使信息增益稍小增益率也可能反超。但增益率本身有個(gè)反向偏好它偏向取值少的特征。極端情況下如果某個(gè)特征只有一個(gè)取值相當(dāng)于沒分裂$IV(A) 0$增益率無定義。所以C4.5不能直接用增益率選特征而是先用信息增益篩一遍。這個(gè)兩步策略在代碼里體現(xiàn)為先算所有特征的信息增益求平均保留高于平均的再在這些特征里選增益率最高的。這個(gè)細(xì)節(jié)很多教程不講但自己實(shí)現(xiàn)時(shí)如果漏了遇到極端數(shù)據(jù)會(huì)出問題。2.3 基尼指數(shù)與熵的對(duì)比為什么CART選基尼基尼指數(shù)和熵都是不純度度量形狀很像都是凸函數(shù)都在 $p0.5$二分類時(shí)取最大值。區(qū)別在于熵在 $p0.5$ 附近更陡對(duì)不純更敏感基尼指數(shù)計(jì)算沒有對(duì)數(shù)快很多。我做過一個(gè)粗略的benchmark在同樣規(guī)模的數(shù)據(jù)上用基尼指數(shù)比用熵大約快15%到20%因?yàn)槭〉袅藢?duì)數(shù)運(yùn)算。對(duì)于大規(guī)模數(shù)據(jù)或者需要頻繁分裂的場景這個(gè)差距會(huì)累積。而且實(shí)際分類效果上兩者差異通常在1%以內(nèi)所以CART選基尼是效果幾乎不損失速度明顯提升的理性選擇。不過要注意基尼指數(shù)對(duì)多分類的處理和熵略有不同。當(dāng)類別數(shù)很多時(shí)基尼指數(shù)的最大值會(huì)趨近于1而熵的最大值是 $\log_2 K$。這個(gè)差異在類別極多時(shí)會(huì)影響分裂點(diǎn)的選擇但實(shí)際業(yè)務(wù)里類別數(shù)通常不會(huì)太夸張影響有限。2.4 連續(xù)特征離散化C4.5和CART的二分法ID3處理不了連續(xù)特征這是硬傷。C4.5和CART都用二分法解決把連續(xù)特征的所有取值排序取相鄰兩個(gè)值的中點(diǎn)作為候選切分點(diǎn)然后遍歷所有候選點(diǎn)選讓分裂準(zhǔn)則最優(yōu)的那個(gè)。具體步驟是假設(shè)特征A在數(shù)據(jù)集上有m個(gè)不同取值排序后得到 $a_1 a_2 ... a_m$那么有 $m-1$ 個(gè)候選切分點(diǎn)分別是 $\frac{a_1a_2}{2}, \frac{a_2a_3}{2}, ...$。對(duì)每個(gè)候選點(diǎn)把數(shù)據(jù)分成小于等于切分點(diǎn)和大于切分點(diǎn)兩部分計(jì)算分裂準(zhǔn)則選最優(yōu)的。這里有個(gè)優(yōu)化技巧不用每次都重新排序和計(jì)算??梢韵葘?duì)數(shù)據(jù)按特征A排序然后從左到右掃描每移動(dòng)一個(gè)位置就更新左右兩邊的類別計(jì)數(shù)增量式計(jì)算熵或基尼指數(shù)。這樣復(fù)雜度從 $O(m \cdot n)$ 降到 $O(m \log m n)$在大數(shù)據(jù)上差別巨大。我第一版實(shí)現(xiàn)就是暴力遍歷跑10萬條數(shù)據(jù)慢得想砸鍵盤改成增量式之后快了一個(gè)數(shù)量級(jí)。2.5 缺失值處理C4.5的加權(quán)和CART的代理分裂缺失值是真實(shí)數(shù)據(jù)的常態(tài)三種算法里只有C4.5和CART有處理機(jī)制思路完全不同。C4.5的思路是加權(quán)分配。假設(shè)特征A在部分樣本上缺失那么計(jì)算信息增益時(shí)只用A不缺失的樣本算但最后乘一個(gè)系數(shù) $\frac{|D_{不缺失}|}{|D|}$ 來懲罰。分裂時(shí)缺失樣本不是被丟掉而是以不同權(quán)重同時(shí)進(jìn)入所有子節(jié)點(diǎn)權(quán)重等于各子節(jié)點(diǎn)樣本占比。預(yù)測時(shí)遇到缺失就把樣本同時(shí)送到所有分支最后按權(quán)重匯總結(jié)果。CART的思路是代理分裂Surrogate Split。主分裂點(diǎn)選好后再為它找?guī)讉€(gè)代理特征這些代理特征在能正確復(fù)現(xiàn)主分裂結(jié)果的前提下對(duì)缺失樣本做替補(bǔ)判斷。預(yù)測時(shí)如果主特征缺失就用第一代理特征還缺失就用第二代理以此類推。這個(gè)機(jī)制更復(fù)雜但預(yù)測時(shí)更穩(wěn)定。實(shí)操中如果缺失比例不高比如低于5%直接刪除缺失樣本往往比復(fù)雜處理更省事效果也不差。缺失比例高的時(shí)候才值得上加權(quán)或代理。這是我踩過坑之后的經(jīng)驗(yàn)不要為了處理缺失值而處理先看缺失比例和缺失機(jī)制隨機(jī)缺失還是系統(tǒng)性缺失。3. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)3.1 數(shù)據(jù)準(zhǔn)備與工具選型我用的是Python 3.10核心依賴只有numpy畫圖用matplotlib數(shù)據(jù)集用經(jīng)典的鳶尾花和自己構(gòu)造的一份帶缺失值的模擬數(shù)據(jù)。不依賴sklearn因?yàn)槟康氖鞘謱憣?shí)現(xiàn)用sklearn就失去意義了。如果你想對(duì)照驗(yàn)證可以最后用sklearn的DecisionTreeClassifier跑一遍對(duì)比準(zhǔn)確率。數(shù)據(jù)結(jié)構(gòu)上我用numpy的二維數(shù)組存特征一維數(shù)組存標(biāo)簽。特征可以是離散的整數(shù)編碼或連續(xù)的浮點(diǎn)標(biāo)簽統(tǒng)一整數(shù)編碼。缺失值用np.nan表示。這個(gè)約定貫穿整個(gè)實(shí)現(xiàn)。3.2 信息熵與基尼指數(shù)的代碼實(shí)現(xiàn)先寫最基礎(chǔ)的不純度函數(shù)。注意 $0\log 0 0$ 的處理import numpy as np def entropy(y): 計(jì)算信息熵y是標(biāo)簽數(shù)組 if len(y) 0: return 0.0 _, counts np.unique(y, return_countsTrue) probs counts / len(y) # 過濾掉概率為0的項(xiàng)避免log(0) probs probs[probs 0] return -np.sum(probs * np.log2(probs)) def gini(y): 計(jì)算基尼指數(shù) if len(y) 0: return 0.0 _, counts np.unique(y, return_countsTrue) probs counts / len(y) return 1.0 - np.sum(probs ** 2)這兩個(gè)函數(shù)是整個(gè)算法的基礎(chǔ)務(wù)必保證正確。我建議寫完先用幾個(gè)手算的例子驗(yàn)證比如entropy([0,0,0,0])應(yīng)該返回0entropy([0,1])應(yīng)該返回1gini([0,1])應(yīng)該返回0.5。3.3 ID3的分裂邏輯實(shí)現(xiàn)ID3的核心是遍歷所有離散特征算信息增益選最大的def information_gain(X, y, feature_idx): 計(jì)算按feature_idx分裂的信息增益 parent_entropy entropy(y) values np.unique(X[:, feature_idx]) # 如果特征只有一個(gè)取值無法分裂 if len(values) 1: return 0.0 weighted_entropy 0.0 for v in values: mask X[:, feature_idx] v weighted_entropy (np.sum(mask) / len(y)) * entropy(y[mask]) return parent_entropy - weighted_entropy def choose_best_feature_id3(X, y, feature_indices): ID3選特征信息增益最大 best_gain -1 best_feature None for idx in feature_indices: gain information_gain(X, y, idx) if gain best_gain: best_gain gain best_feature idx return best_feature, best_gain這里有個(gè)細(xì)節(jié)如果所有特征的信息增益都是0比如所有樣本標(biāo)簽相同或者特征都沒區(qū)分度應(yīng)該返回None讓上層停止分裂。這個(gè)判斷放在遞歸的停止條件里。3.4 C4.5的增益率與兩步篩選實(shí)現(xiàn)C4.5在ID3基礎(chǔ)上加固有值和兩步篩選def intrinsic_value(X, feature_idx): 計(jì)算特征的固有值 values, counts np.unique(X[:, feature_idx], return_countsTrue) probs counts / len(X) probs probs[probs 0] return -np.sum(probs * np.log2(probs)) def gain_ratio(X, y, feature_idx): 計(jì)算增益率 iv intrinsic_value(X, feature_idx) if iv 0: return 0.0 return information_gain(X, y, feature_idx) / iv def choose_best_feature_c45(X, y, feature_indices): C4.5選特征先按信息增益篩選再選增益率最高 gains {} for idx in feature_indices: gains[idx] information_gain(X, y, idx) if not gains: return None, 0.0 avg_gain np.mean(list(gains.values())) # 只保留信息增益高于平均的特征 candidates [idx for idx, g in gains.items() if g avg_gain] if not candidates: candidates list(gains.keys()) best_ratio -1 best_feature None for idx in candidates: ratio gain_ratio(X, y, idx) if ratio best_ratio: best_ratio ratio best_feature idx return best_feature, best_ratio這個(gè)兩步篩選是C4.5的精髓也是它比ID3穩(wěn)的原因。我實(shí)測下來在特征取值數(shù)量差異很大的數(shù)據(jù)集上C4.5選出的特征明顯比ID3更合理。3.5 CART的二叉樹分裂實(shí)現(xiàn)CART要遍歷每個(gè)特征和每個(gè)切分點(diǎn)找加權(quán)基尼指數(shù)最小的組合。對(duì)離散特征CART也做二分把所有取值分成兩組def cart_split(X, y, feature_indices, taskclassification): CART找最優(yōu)分裂返回(特征索引, 切分點(diǎn), 左右掩碼) best_score float(inf) best_split None n len(y) for idx in feature_indices: values np.unique(X[:, idx]) if len(values) 1: continue # 連續(xù)特征用中點(diǎn)離散特征用取值本身做二分 if np.issubdtype(X[:, idx].dtype, np.floating): thresholds (values[:-1] values[1:]) / 2 else: thresholds values[:-1] for t in thresholds: left_mask X[:, idx] t right_mask ~left_mask if np.sum(left_mask) 0 or np.sum(right_mask) 0: continue if task classification: score (np.sum(left_mask) / n) * gini(y[left_mask]) \ (np.sum(right_mask) / n) * gini(y[right_mask]) else: score (np.sum(left_mask) / n) * np.var(y[left_mask]) \ (np.sum(right_mask) / n) * np.var(y[right_mask]) if score best_score: best_score score best_split (idx, t, left_mask, right_mask) return best_split注意回歸任務(wù)用的是方差MSE的等價(jià)形式葉子節(jié)點(diǎn)預(yù)測值取均值。這塊和分類任務(wù)共用一套框架只是準(zhǔn)則和葉子輸出不同。3.6 遞歸建樹與停止條件三種算法共用一套遞歸框架區(qū)別只在選特征/切分點(diǎn)的函數(shù)class DecisionTree: def __init__(self, algorithmCART, max_depth10, min_samples_split2, min_samples_leaf1, taskclassification): self.algorithm algorithm self.max_depth max_depth self.min_samples_split min_samples_split self.min_samples_leaf min_samples_leaf self.task task self.tree None def fit(self, X, y): self.n_features X.shape[1] self.tree self._build(X, y, depth0) return self def _build(self, X, y, depth): # 停止條件1達(dá)到最大深度 # 停止條件2樣本數(shù)少于min_samples_split # 停止條件3節(jié)點(diǎn)純凈所有標(biāo)簽相同 # 停止條件4沒有特征可用 if (depth self.max_depth or len(y) self.min_samples_split or len(np.unique(y)) 1): return self._make_leaf(y) feature_indices list(range(self.n_features)) if self.algorithm ID3: feat, _ choose_best_feature_id3(X, y, feature_indices) if feat is None: return self._make_leaf(y) return self._split_id3(X, y, feat, depth) elif self.algorithm C4.5: feat, _ choose_best_feature_c45(X, y, feature_indices) if feat is None: return self._make_leaf(y) return self._split_id3(X, y, feat, depth) # 分裂方式同ID3 else: # CART split cart_split(X, y, feature_indices, self.task) if split is None: return self._make_leaf(y) idx, t, left_mask, right_mask split left self._build(X[left_mask], y[left_mask], depth 1) right self._build(X[right_mask], y[right_mask], depth 1) return {feature: idx, threshold: t, left: left, right: right} def _make_leaf(self, y): if self.task classification: values, counts np.unique(y, return_countsTrue) return {leaf: True, value: values[np.argmax(counts)]} else: return {leaf: True, value: np.mean(y)}ID3和C4.5的分裂是多叉的每個(gè)取值一個(gè)分支CART是二叉的只有左右兩個(gè)分支。這個(gè)結(jié)構(gòu)差異決定了預(yù)測函數(shù)的寫法也不同。3.7 預(yù)測函數(shù)與剪枝預(yù)測就是沿著樹往下走到葉子返回結(jié)果def predict_one(tree, x): if tree.get(leaf): return tree[value] if threshold in tree: # CART if x[tree[feature]] tree[threshold]: return predict_one(tree[left], x) else: return predict_one(tree[right], x) else: # ID3/C4.5多叉 v x[tree[feature]] if v in tree[children]: return predict_one(tree[children][v], x) else: # 遇到訓(xùn)練時(shí)沒見過的取值返回該節(jié)點(diǎn)多數(shù)類 return tree[default]剪枝這塊C4.5用悲觀剪枝PEPCART用代價(jià)復(fù)雜度剪枝CCP。PEP的思路是用訓(xùn)練集上的錯(cuò)誤率加上一個(gè)基于二項(xiàng)分布的懲罰項(xiàng)來估計(jì)泛化錯(cuò)誤如果剪掉子樹后估計(jì)錯(cuò)誤不升反降就剪。CCP則是構(gòu)造一系列子樹用交叉驗(yàn)證選最優(yōu)的 $\alpha$ 參數(shù)。實(shí)際實(shí)現(xiàn)里PEP簡單但偏激進(jìn)CCP復(fù)雜但更穩(wěn)。我一般先用預(yù)剪枝限制深度、最小樣本數(shù)控制復(fù)雜度后剪枝作為補(bǔ)充。4. 常見問題與排查技巧實(shí)錄4.1 遞歸深度爆炸與棧溢出手寫決策樹最容易踩的坑就是遞歸太深導(dǎo)致棧溢出。如果數(shù)據(jù)里有連續(xù)特征且切分點(diǎn)選得很細(xì)樹可能長到幾百層。解決辦法有三個(gè)一是設(shè)max_depth硬限制二是設(shè)min_samples_leaf保證葉子至少有若干樣本三是把遞歸改成迭代用棧模擬。我一般用前兩個(gè)就夠了第三個(gè)除非數(shù)據(jù)量特別大否則沒必要。還有個(gè)隱蔽的坑如果停止條件寫漏了遇到所有特征都無法分裂但標(biāo)簽還不純的情況會(huì)無限遞歸。比如所有樣本特征完全相同但標(biāo)簽不同這時(shí)候任何分裂都無效必須強(qiáng)制返回葉子。這個(gè)判斷一定要加。4.2 信息增益為0但樹還在長有時(shí)候所有特征的信息增益都是0但節(jié)點(diǎn)標(biāo)簽還不純比如特征完全相同的樣本標(biāo)簽不同。這時(shí)候ID3會(huì)返回None上層應(yīng)該停止分裂并返回多數(shù)類。如果代碼里沒處理這個(gè)會(huì)陷入死循環(huán)或者報(bào)錯(cuò)。C4.5同理增益率也可能全為0。CART的基尼指數(shù)雖然不會(huì)全為0但如果所有切分點(diǎn)的加權(quán)基尼都等于父節(jié)點(diǎn)基尼說明分裂無意義也該停。4.3 連續(xù)特征切分點(diǎn)過多導(dǎo)致過擬合連續(xù)特征每個(gè)不同取值都產(chǎn)生一個(gè)候選切分點(diǎn)如果特征取值很分散候選點(diǎn)會(huì)非常多樹容易記住訓(xùn)練數(shù)據(jù)的噪聲。緩解辦法一是對(duì)連續(xù)特征先做分箱比如等頻分箱成10到20個(gè)桶減少候選點(diǎn)二是提高min_samples_leaf三是限制樹的深度。我實(shí)測下來分箱對(duì)連續(xù)特征特別多的數(shù)據(jù)集效果明顯能顯著降低過擬合。4.4 類別不平衡導(dǎo)致分裂偏向多數(shù)類如果標(biāo)簽嚴(yán)重不平衡比如正例占99%熵和基尼指數(shù)都會(huì)被多數(shù)類主導(dǎo)分裂準(zhǔn)則傾向于把少數(shù)類單獨(dú)分出來但整體不純度下降有限。這時(shí)候可以考慮一是對(duì)少數(shù)類過采樣或多數(shù)類欠采樣二是用類別權(quán)重在計(jì)算熵或基尼時(shí)給少數(shù)類更高權(quán)重三是換用對(duì)不平衡更魯棒的準(zhǔn)則比如基于F1的分裂準(zhǔn)則。這塊超出了三種經(jīng)典算法的范圍但實(shí)際業(yè)務(wù)里很常見值得注意。4.5 常見問題速查表問題現(xiàn)象可能原因排查與解決遞歸棧溢出樹太深設(shè)max_depth、min_samples_leaf無限遞歸停止條件漏了加無特征可分裂判斷信息增益全為0特征無區(qū)分度返回多數(shù)類停止分裂連續(xù)特征過擬合切分點(diǎn)太多分箱、提高min_samples_leaf分裂偏向多數(shù)類類別不平衡采樣、類別權(quán)重預(yù)測遇到未知取值訓(xùn)練集沒覆蓋返回節(jié)點(diǎn)多數(shù)類增益率爆炸IV接近0用兩步篩選先按增益過濾基尼和熵結(jié)果差異大類別數(shù)很多檢查是否類別極多考慮換準(zhǔn)則4.6 幾個(gè)實(shí)操心得第一先用小數(shù)據(jù)驗(yàn)證正確性。我習(xí)慣構(gòu)造一個(gè)10個(gè)樣本、2個(gè)特征的小數(shù)據(jù)集手算出最優(yōu)分裂然后看代碼輸出是否一致。這一步能抓出80%的實(shí)現(xiàn)bug。第二和sklearn對(duì)照。雖然不用sklearn實(shí)現(xiàn)但可以用它驗(yàn)證。注意sklearn的CART默認(rèn)用基尼且對(duì)連續(xù)特征的處理和手寫版可能有細(xì)微差異準(zhǔn)確率差1%到2%是正常的差太多說明實(shí)現(xiàn)有問題。第三剪枝不要過度。我見過為了追求測試集準(zhǔn)確率把樹剪得只剩一個(gè)根節(jié)點(diǎn)的情況那還不如直接用多數(shù)類分類器。剪枝的目標(biāo)是平衡偏差和方差不是單純追求某一項(xiàng)指標(biāo)。第四特征編碼要統(tǒng)一。離散特征用整數(shù)編碼連續(xù)特征用浮點(diǎn)缺失值用np.nan這個(gè)約定要在整個(gè)流程里保持一致否則分裂時(shí)類型比較會(huì)出各種詭異問題。第五注意數(shù)值穩(wěn)定性。熵和基尼的計(jì)算涉及除法和對(duì)數(shù)當(dāng)樣本數(shù)很少時(shí)容易出現(xiàn)精度問題??梢栽诜帜干霞右粋€(gè)極小值eps或者對(duì)概率做歸一化。這套實(shí)現(xiàn)我前后改了三版第一版暴力遍歷慢得沒法用第二版加了增量式計(jì)算快了很多但缺失值處理有bug第三版才比較完善。決策樹這東西看懂了和寫出來是兩回事寫出來和寫對(duì)了又是兩回事。建議你一定要自己動(dòng)手敲一遍哪怕照著抄抄的過程中遇到的問題才是真正學(xué)到的東西。后面如果要做集成學(xué)習(xí)這套手寫的樹還能直接拿來做隨機(jī)森林或梯度提升的基礎(chǔ)組件算是把地基打牢了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97久久人人操| 91久久久久久| 9999久久久久| 欧美日韩精品人妻狠狠躁免费视频| 激情黄色五月天| 日韩一区二区A片免费观看| 热热久久久久久久久| 久久九九激情五月天 | 99热99极品观看| 丁香激情网| 美女天天艹人人爽| 骚逼视频一区2区| 五月人妻婷婷视频| AV激情五月| 免费无码毛片一区二区A片| 99久久精品网| 五月 成人 婷婷| 婷婷色婷婷| 久久五月丁香综合17C| 九九99热精品| 色综合激情| 婷婷五月天少妇| 国内精品免费一区二区2009| 九月激情网| 五月天婷亚洲天综合网综合 | 夜夜操天天干| 开心婷婷五月中文字幕组| 人妻Av在线| 五月综合激情| 色五月色五天色情网| 大香蕉七区| 99热亚洲精品| 综合婷婷五月丁香在线观看| 亚洲色久| 玖玖99婷婷| 欧美色频| 婷婷五月天手机版视频| 激情五婷网| 天天爽日日爽夜夜爽| 丁香五月性爱爱五月| 99ri视频| 99热免| 久久九区| 99九九99九九九视频精品| 五月天色色婷婷| 亚洲日韩人妻操逼| 久热黄色| 爱iii做iiii日日| 亚洲第一黄网| 精品五月天| jiujiu热在线视频| 玖玖爱导航| 色五月综合| 人人爽欧美婷婷久久久五月丁香| 天天爽天天弄| 婷婷午夜激情| .comwww在线观看免费操| 婷婷深爱五月| www.com五月天| 新久久五月天激情| 香蕉久久六月| 97在线天堂| 五月花激情| 五月天婷婷久久综合| 亚洲AV第二区国产精品| 久久人人添人人爽添人人片αV| 婷婷色啪| 色吧五月婷婷| 人人做人人看人人摸| 激情婷婷五月| 久久五月天免费网站| 色婷五月天| 玖玖婷婷五月天| 婷婷综合五月激情| 性韩日色婷婷五月天激情啪啪XXX| 久久久久视剧HD| 国产成人网址| 大香蕉九九| 色噜噜狠狠插综合| 婷婷基地五月色| 日日做A爰片久久毛片A片英语| 人人操五月天| 凹凸操Av| 人妻久久久久久久久妻久久久久| 日本色色图| 亚洲视频在线观看区| 99热啪啪| 婷婷五月天开心网| 婷婷久久99| 青草激情综合| 99爱免费视频| 丰满人妻一区三区三区| 色99亚洲| 丁香婷最新动态| 久久久久久久久久久44| 奇米四色五月天| 国产日产亚系列精品版优势| 欧美日韩欧美| 婷婷丁香人妻天天爽| 九九热精品| 五月综合精品| 丁香婷五月| 五月天色导航婷婷资源婷婷| 久久这里精彩免费在线观看| 天天爽人人综合免费7799| 色五月婷婷AV| 亭亭玉月丁香| 久久综合网桃花| 亚洲春色奇米影视| 成人在线二区| 一级操逼大片| 开心色色五月天综合| 色婷婷亚洲婷婷| 97操视频| 成人网站在线观看视频| 亚洲欧洲国产精品| 96精品久久久久久久久| 九九人人精品| 五月婷婷啪啪啪| 色色色热热热| 九九综合| 站长推荐无码播放| 色欲天天综合| 色婷婷狠| 自拍偷窥99热| 久久怕怕视频| 九九色热| 五月天婷婷成人网| 天天射影院| 久热9| 丁香五月激情综合| 五月天激情综合| 丁香六月综合激情| 九九热在线观看视频| 久热黄色| 色综合激情| 九色婷婷| 亚洲综合另类| 婷婷五月在线视频| 夜色五月天| 99在线视频。| 丁香六月婷婷社区| 天天肏在线观看| 在线观看免费狠狠色丁香香综合| 日韩在线视频网站| 丁香无月在线观看| 欧美va精品va老师va| 天天肏视频| 国产精品久久..4399| 日本99在线视频| 婷婷丁香综合| 高清不卡一区| 99这里只有精品国产| 综合五月天亚洲婷婷| 激情com| 色婷丨日丨天丨综合久久| 思思久久96热在精品国产,| 开心五月丁香婷婷| 色综合久久88色综合天天99| 91偷拍视频| 国产成人AV在线| 久久xxxx| 日本熟妇乱妇熟色A片蜜桃| 狠狠精品干练久久久无码中文字幕| 大地9中文在线观看免费高清| 亚洲精品一区无码A片| 婷婷色婷婷| 97在线观视频免费观看| 激情碰碰碰| 热久69| 日韩色五月| 九色视频91| 色色色色色热| 甈吧vv| 99热这里只有精品官网| 182TV大香蕉| 99热这里只有精品22| 久热9| 日韩人妻AV在线| 色在线免费观看| 久久天堂婷婷五月| 久碰视频| 久久免费丁香| 爱之国产色情综合| 五月草影视| 色综合色综合色综合色综合| 亚洲热热视频| 婷色天堂| 99噜噜| 99亚色色色| 丁香六月婷婷综合麻豆| 婷婷五月天综合在线| 婷婷色九月| 九九色综合| 亚洲免费综合一区| 99九九玖玖| 噜综合| 深爱激情久久| 欧洲一区二区| 久久久一级AAA| 超碰97色| www.99热最新视频8| 九九热精品6| 成人版视频在线观看| 午夜一区| 婷婷人妻激情| 色情五月丁香婷婷网| 激情网五月婷婷| 成人精品人妻| 婷婷最新地址| 色色五月天婷婷| 丁香五月天av| 色婷婷综合网| 5月丁香综合图区| 五月激情射| 国产99美少妇| 狠狠的日| 少妇性按摩无码中文A片| 天堂久久大香蕉| 久久人妻久久久久| 天天草天天摸| 国产美女无遮挡裸体毛片A片| 精品九九网| 99热99网| 4438激情网| BBWCUCKOLD精品熟妇| 丁香婷婷五月人体| 四色 爱 婷婷 精品 亚洲 五月天| 五月婷婷中文| 欧美丰满熟妇BBB久久久| 超碰人人操人人9| 丁香五月婷婷无码AV| 婷婷涩涩五月天| 思思精品视频| 91好好热日本在线| 五月丁香婷婷婷婷综合网| 操97免费超级视频| 任我干视频在线观看| 色婷婷www| 这里只精品热在线18| 婷婷啪啪| 婷婷综合影院| 色色 9| 九九热这里只有精品6| 国产免费av网站| 天天操天天日天天爱| 婷婷五月天免费视频| 婷婷久久五月| 激情久久五月天| 深爱五月日韩| 日本乱子人伦在线视频| 26uuu视频欧美| 舔色婷婷| 激情五月婷婷色综合| 亚洲色久| 伊人久久大香线蕉av一区| 婷婷欠久少妇| 99 r热| 人人摸人人澡人人| 五月婷婷综合色啪首页| 六月婷婷狠狠做| www.超碰| 91大神操美女| 天天综合精品| 综合久久五月| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 丁香婷五月| 五月丁香婷婷AV天堂| 99精品免费视频| 五月婷婷色色爱| 激情五月激情综合俺也去婷婷小说| 深爱激情六月天| 久久AAAA片一区二区| www.日本久久videos| 亚洲丁香婷婷丁香五月天激情| 亚洲乱码日产精品BD| www久久99| 五月天激情四射网站| 在线中文字幕免费视频| 色综合久久88色综合中文字幕| 99久在线精品99re8| 黄色一级影片| 激情久久丁香| 91丨九色熟女丨首页| 韩国久久少妇视屏| 亚洲激情四谢| 天天舔天天插天天干| 大香蕉五月天| 99re最新地址视频| 天天操天天插| 日韩成人网站精品久久大全| 中字幕视频在线永久在线观看免费| 思思热久久阴99| 亚洲精品无码久久| 97九色| 婷婷色在线视频| www.婷婷激情网.com| 天天艹天天色| 黄网在线免费| 这里只有精品69| www.9操| 啪啪干伊人婷婷| 婷婷丁香六月天| 婷香五月网在线| 另类天堂| 在线观看五月婷婷网| 97人人射| 五月婷婷色综图片| 色色色九九九五月婷婷| 日本色色色| 色婷婷综合在线| 五月天成人综合| 久久免费丁香| 色婷婷综合网| 五月丁香六月婷婷综合免| 亚洲日韩乱码一区二区三区四区| 婷婷四色成人综合色视| 九月色婷婷婷| 六月丁香成人| 五月天色小说| 99在热线免费视频| 97丁香婷婷| 日韩色色视频| 校园激情 亚洲| 9|在线观看视频| 可以看的av网站| 五月天色色婷婷| 色五月激情综合网| 亚洲综合丁香五月| 日本A片一区| 婷婷色婷婷| 久青操| 丁香五月电影| 色婷婷AV五月天| 五六月婷婷久久| 99免费在线视频| 99色综合网| 婷婷色婷婷| 欧美噜一噜| 超碰A V在线| 五月婷婷综合在线| 第2色五月婷| 人人摸人人操人人爱| 直接看的AV| 国产9色在线/日韩| 无码少妇高潮喷水A片免费| 另类综合网| 色狠狠综合入口| 久久99视频| 国产欧美日韩一区二区三区| 色五月天丁香婷婷色| 99久久99九九九99九他书对| 777丁香六月青青草婷婷综合久月| 色情成人五月天| 九九亚洲综合| 婷婷五月天深爱| 五月丁香亭亭AV女优| 色婷五月| 99爱视频免费看| 日本99视频精品免费播放| 日日色综合| 俺去也在线www色官网| 9精品视频在线| 色丁香五月婷婷| 这里只有精彩亚洲视频推荐| 天天性视频| 色色色五月天婷婷| 97色久| 一本久久亚洲五月婷婷| 欧美性爱中文字幕| 亚洲在线免费成人| www.99热视频| 伊人狠狠干| 久久婷婷热| 韩国久久少妇视屏| 婷婷和五月天| 色噜噜五月丁香婷婷| 国产毛片精品一区二区色欲黄A片| 五月亭亭综合五码| 亚洲色婷婷| 色九九中文字幕| 五月婷婷激情综合| 亚洲aV写真天天综合网久久| 亚洲色涩视频| 人人妻人人澡人人爽| 婷婷激情小说| 色色a| 精品无码色| 婷婷五月色惰| 玖玖色综合色| 欧美性丁香色色五月天干干| 天天日天天插| 激情久久综合网| 91久热| 五月丁香天堂| 青青草免费公开视频| 婷婷 伊人 久久| 日韩六十路91性交电影| 五月色网| 色综合香蕉| 免费看欧美成人A片无码| 97色欧美| 五月婷婷五月天激情网| 综合五月亭亭9| 婷婷久久久久| 色原狠狠综合| 久草丁香婷婷1024| 激情AV| 超碰资源在线| 五月开心深爱激情网| 电影爱拉战争免费观看| 久婷| 97干在线看| 610018岁成人视频| 99激情| 蜜桃人妻无码AV天堂三区| 久久 这里只有精品1| 激情小说五月天| 伊人五月婷婷国产视频| 97碰碰九九视频| 99热这里是精品| 天天做夜夜爽| 日日夜夜综合| 五月丁香婷色| 五月婷婷在线丁香| AV五月丁香| 丁香五月婷婷香| 伊人色综合网| 99热.com| 免费99情趣网视频| 丁香婷婷色五月| 亚洲男女激情| 五月丁香青草综合啪啪| 亚洲激情网站无码| 色一情一乱一乱一区91| 99热九九在线| 婷婷94s| 久久性爱视频久久性爱视频| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 思思热在线| 婷婷深爱五月丁香网| 秋霞黄色一级久久| 色综合色综合网| 91丨九色丨熟女| 五月丁香花激情啪啪网| 五月丁香六月激情网站| 怡红院AV亚洲一区二区三区H| www.99色| 婷婷五月天色色| 六月激情网| 人人爱人人添| 中文字幕性爱丰满| 亚洲成人电影aaaa| 欧美成人网婷婷综合在线| 思思热久久阴99| 91色操| 九热免费视频| 激情婷婷五月亚洲| 久久九九99| 婷婷五月综合社区| 伊人五月综合网| 亚州成人综合在线| 天天综合网~91| 成人网在线观看视频| 婷婷五月成人| 大香蕉五月天婷婷| 丁香激情五月| 色情综合网| 久久婷婷五月综合| 精品无码久久久久久久久 | 99免费| 天天高潮夜夜爽| 91精品国产综合久久密臀| 色五月婷婷激情五月| www.激情五月天.com| 99五月丁香丁| 色婷婷五月综合| 天天射影| 丁香综合伊人| 国产色婷婷亚洲| 丁香婷婷少妇| 99色热视频| 俺五月| 亚洲激情电影五月天色婷婷丁香一起草 | 色婷婷av在线观看| 激情综合网五月在线播放| 91精品综合久久久久久五月丁香| 伊人婷婷青青cao| www.狠狠| 2050人人操免费工开爱| 五月丁香六月久久| 久久99热这里| 五月天婷婷色播在线网| 亚洲五月色| 99热99热在线| 影音先锋91| 婷婷九月激情| 午夜大香蕉| 熟女人妻一区二区三区免费看| 精品一二三区久久AAA片| 少妇搡BBBB搡BBB搡毛茸茸| 久久AV无码精品人妻系列试探| 欧洲电影在线观看免费版英语版 | 思思热精品在线| 狠狠色成人影片| 激情中文在线| 天天搞天天爽| 久久久亚洲精品一区二区三区浴池 | 色色色色色色色色综合网| 中文字幕 码精品视频网站| 99热这里有精品| 五月丁久久| 成人视频免费观看高清完整版在线观看| 成人在线免费网址| 色色色五月婷| 4399在线观看免费高清电视剧| 婷婷国产日本欧美| 五月综合色播播丁香婷婷| 色情成人五月天| 熟女网站久久| 97操操| 久久精品一区二区三区四区| 伊人五月婷婷国产视频| 91九色精品女同系列| www.激情在线| 天天看夜夜看| 麻豆雪千夏| jiZZdr| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 日本爆乳片手机在线播放| 五月婷婷激情网| 亚洲精品白浆高清久久久久久| 天天日色情| 日韩伊人大香蕉| 色99在线视频| 热久久国产视频| 天天日,天天干,天天操| 99干日本| 欧美三级巜人妻互换| 国产亚洲成人综合| 久久9视频| 婷婷色五月色妇| 五月天色区| 色婷婷基地| AV网在线| 婷婷少妇激情| xx色综合| 五月激情网站| 校花娇喘呻吟校长陈若雪视频 | 红桃91人妻爽人妻爽| 99狠狠色| 丁香欧美| 国产67194| 超碰日韩成人| 色噜噜综合网| 五月婷婷综合精品| 色丁香五月| 欧在线一区| 久久三级视频| 天天摸天天日天天舔| 亚洲五月婷婷| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 色综合77777| 久99在线视频| 午夜婷婷五月天在线| AV成人在线播放| 韩国真做片在线观看| 欧美人人女女精品综合五月天| 久久er免费视频| 久久久久人妻精选| 色五月激情综合网| av免费在线网站| 天天爽—爽| 激情av在线| 亚洲乱码日产精品BD| 在线中文亚洲| 婷婷五月天资源| 噜噜五月天综合| 99久久婷婷综合| 丁香五月狠狠在线观看| 狠狠干在线| 爱超碰性| www久久99com| 色婷婷综合影院| 精品国产一区二区三区四区阿崩| 日韩另类| www.狠狠艹| 婷婷99狠狠躁天天躁| 综合狠狠干| 欧美激情五月| 大香蕉综合在线| 六月丁香中文字幕| 欧美日韩aaaa| 久久久人妻| 久久久91| 亚洲五月婷婷| 热99色| 色综久久久| 大香蕉婷婷五月| 国产69久久久欧美黑人A片| 色综合久久天天综合网| 99热最新| 五月丁香婷婷钟和色图| 国产日批视频| 色色色综合网| 五月99久久| 中文字幕乱轮| 乱精品一区字幕二区| 婷婷在线播放av| 色色日本欧美| 大香蕉伊然在亚洲90| 欧美噜一噜| 色色色99| 九九热av| 精品成人在线观看| 91岛国片| 开心五月深爱婷婷| 淫视馆av三区| 久色中文| 国产毛片欧美毛片久久久| 99re最新地址视频| 91九色在线| 久久久婷婷色五月资源网| 五月精品免费XXX| 嫩草AV久久伊人妇女超级A| 九九热这里只有精品7| 激情综合99| 欧美婷婷综合网| 五月网在线| AV网在线| 六月天无码网址| 狠狠干综合| 天天爽夜夜爽夜夜爽精品| 成人版视频在线观看| 无码动漫av| 99精在线| 亚洲成人AV电影网| 色婷婷婷婷五月天| 婷婷桃色网| 五月婷婷开心丁香| 色就色94欧美setu| 思思精品久久艹| 琪琪色五月婷婷老师| 色情五月天se| 色一情一乱一伦一区二区三区| 综合99在线| 久久9视频| 96丁香六月婷婷蜜桃综合久久| 久久东京热婷婷五月| 国产97色在线 | 日韩| 五月色婷婷综合| 久久九九婷婷| 激情综合五月婷婷| 五月天天堂久久| 婷婷五月天Av| 中文无码婷婷| 五月综合无码| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 99ri视频在线观看| 激情五月色播五月| 看全色黄大色大片| 99riAV国产精品视频| 激情久久久久久久久| 久久久久亚洲AV成人无码电影| 99狠狠色| 婷婷五月天在线观看| 六月丁香五月婷婷首页| 男女啪啪做爰高潮无遮挡| 婷婷性爱无码视频| 碰碰碰97国产| 丁香婷婷成人网| 玖玖精品婷婷| 丁香五月婷婷激情网| 婷婷六月激情| 九九在线精点品| 侠女刀之记忆电影在线看免费| 国产乱人偷精品人妻A片| 亚洲精| 玖玖91| 色五月中文网| 91无码视频| 亚洲天天| 天天射影视综合网| 五月婷视频在线观看| 激情爱爱网站超大免费| 综合久久婷婷| www.五月天| 色情五月天婷婷| 免费操超碰| 久久亚洲天堂| 婷婷丁香人妻天久久| 天天干天天干天天干| 丁香六月天婷婷开心综合| 婷婷久久天堂网| 色天堂A| 激情五月天综合网站网站网站| 少妇人妻丰满做爰XXX| 99久久玖玖| 成人电影AV在线观看| 俺去也五月| 色情激情五月| 三级99热| 天天插天天干| 久久思思热视频| 久久综合首页| 五月婷婷六月丁香| 婷婷六月视频| 夜夜 操无码| 拍真实国产伦偷精品| 色播激情五月天| 99ri在线观看视频| 无码激情AAAAA片-区区| 婷婷性福五月天| 丁香婷婷激情综合五月激情| 日日操夜夜擼| 成人丁香色| 激情丁香五月婷| www色哟哟| 婷婷丁香五月麻豆| 五月天三级| 色99无码| 激情综合亚洲| 五月婷婷亚洲色视频| 人妻中文在线| 91呦呦呦| 婷婷丁香五月激情| 五月综合色播播丁香婷婷| 91丨九色丨高潮丰满日本| 风流少妇A片一区二区蜜桃| 99热精品中文字幕| 色七色九九| 99人人干人人操| 天天干一干| 五月婷婷影| 色五月天影视| av在线不卡播放| 五月丁香婷婷综合| 99视频精品全部观看10| 色情·com| 综合精品啪啪| 伊人无码高清| 99碰网站| 99日韩网站| 色色色综合网| av五月天婷婷丁香| 思思99热| 五月婷婷在线视频观看| 六月丁香深深爱| 99久久97久久欧美综合网| 伊人在线视频| 碰超99| 色播丁香婷婷五月激情| 性五月激情| 97操| 操大屄五月天视频| 99在线精品视频在线观看| 五月婷婷中文字幕| 天天拍天天做视频| 精品久久久999| 五月丁香色色色| www.狠狠操| 狠狠色成人影片| 26uuu欧美亚洲日韩| 婷婷激情在线| 伊人大香久久| 八戒青柠影视剧在线观看| 色综合久久88色综合天天99| 日韩欧美骚货| 另类图片五月天婷婷| 六月撸婷婷| 97搞在线| 久久在线视频免费观看| 97碰啪啪| 婷婷日欧美在线观看| 囯产精品一品二区三区| 色综合色五月| 91综合在线视频| 久久久婷婷五月天| 亚洲激情四射| 五月婷婷久久综合| 97se视频在线| 涩五月色婷婷| 丁香五月天欧美| 婷婷激情五月天7| 国产熟女大叫受不了| 91超级碰人人操| 五月丁久久| 婷婷九月色| 99热老网站| 亚洲成人五月天| 伊人婷婷色激情丁香| 久久这里只有国产| www.yw尤物| 丁香五月AV| 色婷婷性爱| 超碰操日| 九九婷婷激情综合网| 日日干夜夜干| 色噜噜婷婷| 97视频91| 天天射影院| 天天五月天综合网址| 五月婷婷激清网| 亚洲成人电影aaaa| WWW、日本色丁香co m| 色噜噜狠狠色综| 在线另类视频| 婷婷综合网性| 密乳Va| 色五月婷婷天堂| 狠狠狠狠青草| 99综合97| 无码字幕中文| 丁香五月婷婷色综合| 色综合天天| 伊人婷婷五月天| 亚洲免费看片| 99超级碰免费视频| 亚洲情色一区| 色色丁香婷婷综合| 91日日日| 五月婷婷激情| 成人综合AV| caop在线视频| 欧美色色色色色色色| 99色五月| www.色综合.com| 九九99热久久精品66中文字幕| 碰碰人人漕| 久99久99精品免| 精品亚洲国产成AV人片传媒| 99热销国产这里有精品| 99久高清视频| 久久区区一二三av| 69精品人妻不卡视频| 岛国操B不卡在线| 9热久久| 另类激情码| 91丨九色丨白浆| 五月婷婷熟女| 天天看A片| 婷婷第六色| 开心婷婷五| 亚洲婷婷月丁香五月| 日日操夜夜爽天天天| 婷婷五月AA五月在线| 米奇影视资源777狠狠色婷婷五月天激情网| 狠色狠色狠色狠色狠色网| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 女婷久久| 欧美黄色AA片哗啦啦啦| 日本三级黄色大片| 欧美日韩91| 国产成人一区二区三区在线观看 | oumeisesewang| 99热 在线观看| 丁香五月另类小说在线阅读| 桔色成人官方网站| 蜜桃五月天| 亚洲va欧美va天堂v国产综合| 激情五月天开心| 综合色五月| 丁香激情网| 国产AV一区二区三区最新精品 | 国产成人一区二区三区在线观看| 玩熟女五十AV一二三区| 九色1区视频在线| 海外网站专业操老外| 噜噜干日本| 久去色色| 99色看| 四色99久久| 99热e| 日韩成人av在线| 伊人久久婷婷| 五月婷婷黄色网址| 久xxxx| 丁香五月婷婷AV| 亚洲性爱99| 九九热这里只有精品9| 亚洲激情五月| 色婷婷综合久久久久| 中文字幕 码精品视频网站| 日本操天堂| 玖玖婷婷视频| 狠狠爱综合| 9久热这里只有精品视频| 婷婷开心激情五月激情网| 五月丁香成人视频| 玖玖综合网| 天堂无码人妻精品AV一区| 精品热青草| 99riAV国产精品视频| 五月综合亚洲色| 天天谢天天操| 色碰碰| 熟女人妻一区二区三区免费看| 色色色色色色色五月| 爽极品色| 精品无码人妻一区| 六九色综合婷婷五月天| 五月婷婷婷| 婷婷六月香| 久久婷婷五月综合精品蜜芽| 婷婷综合欧美| 欧美色五月天| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 大香蕉五月天婷婷| 天天久综合网永久入口18| 色五月天丁香婷婷色| 色狠狠激情五月| 丁香五月欧美激情| 色婷婷亚洲精品天天综| 婷婷丁香91综合| 黄色片区子| 婷婷成人综合五月| 久久精品9| 国产69久久久欧美黑人A片 | 99热爆在线| 婷婷天堂综合| 久久这里只有精品16| 最新色色五月天| 九九九九精品精| 久久性操| 六月婷婷影院| 婷婷色综合| 丝雨一区二区| www.主妇. com| 九九99视频| 国产精品电影| 午夜丁香 婷婷| 五月婷婷天天色| 天天综合精品| 久久久天堂国产精品女人| 五月天婷婷免费| 六月丁香婷婷开心综合基地| 99热免费精品| 久久久天堂国产精品女人| 丁香婷婷网| 激情综合色五月丁香六月亚洲| 这里只有精品在线观看视频| 伊人大香蕉毛片| 五月天伊人av| 五月天久久婷婷| 专区无日本视频高清8| 五月丁香六月婷婷的女人| 春色激情第四色| 五月丁香自拍| 婷婷综合仓库中文| 开心久久xxx色| 激情五月婷| 婷婷在线五月综合| 婷婷99狠狠| 色天五月天在线观看视频| 丁香五月综合| 五月婷久久| 亚洲狠狠干| AV网在线| 天天做天天爱天天搞| a久久| 激情婷婷五月丁香啪啪啪| 五月天激情小说婷婷| 天天色天天日| 色噜噜狠狠狠狠色综合久欧美| 天天做天天爱天天爽夜夜揉| 亚卅毛片| 婷婷丁香五月视频| 综合性视频99| 色色亚洲五月天| 九九热99视频在线| 五月天俺去也| 久久久99精品免费观看| 免费黄色视频网址| 欧美成人日韩| 影音先锋男士资源网一区| 五月婷婷久久综合| 亚洲超碰在线| 婷婷五月天亚洲综合| 亚洲天天综合| 另类小说五月天| 亚洲精品影视| 99热精品免费| 艹色18p| 天天爽天天爽夜夜爽| 国产激情综合| 午夜成人网站在线观看| 五月丁香婷婷欧美| 琪琪狠狠干| 色宗合久久五月婷婷| 少妇大叫太大太粗太爽了A片| 日韩亚洲视频| 亚洲视频五区| 91久久久久久久久久| xxx.色婷婷| 在线综合亚洲欧美65| 久久香蕉婷婷五月天| 婷婷色婷婷| 丁香婷婷久久| 亚洲欧美成人在线| 亚洲旡码| 激情婷婷五月天| 色五月中文字幕| 色五月婷婷激情| 婷婷黄色网| Va另类视频| 亚洲精品无人区| 国产日日夜夜操| 色玖玖| 五月在线婷色| 激情丁香五月婷婷| 中海油常州环保涂料有限公司| 爱操人妻| 99九九99九九九视频精彩| 日日夜夜狠狠| 久久激情五月网| 综合激情网激情五月。| 天天肏视奸| 五月天激情AV| 日本三级日本黄色| 五月天色婷婷激情| www91色网站| 五月开心深爱激情网| 26uuu成人网| 五月丁香亚洲婷婷| 人人操超碰| 日韩色五月| 欧美日本高清视频99| 免费不卡狠操美女视频网| 婷婷五月欧美| 五月开心深爱激情网| 综合九色| 久久久久久性爱视频| 伊人久久综合| 夜夜撸日日操| 久久久性爱视频| 国精产品一区一区三区有限公司杨 | 色色无码日韩| 欧美精品XXXXBBBB| 亚洲XX日本| 丁香五月婷婷免费视频| 中文国产五月天| 人妻在线观看视频| 五月天成人网在线观看| 婷婷成人在线| 色婷婷婷婷| 99热大全在线观看| 五月婷婷色色| 另类小说婷婷色| 久久婷婷九月国产精品| 婷婷色基地| 成人丁香五月婷| 9久热在线视频精品| 日韩啪啪网| 婷婷色婷婷| 丁香五月在线观看综合| 五月婷婷电影院| 天天干夜夜谢| 婷婷射图五月天| 天天操天天操天天操天天操天天操 | 九九热在线观看视频| 香蕉国产2013| 99re8这里只有精品99re8热视频| www色婷婷久久综合久色 | 888精品福利地址| 欧美性生交XXXXX无码小说| 天天射夜夜骑| 亚洲成人网址在线观看| 99热官网| 亚洲色婷婷| 五月综合视频| 五月天婷婷丁香社区| 一操久久| 激情五月婷婷五月| 婷婷丁香亚洲五月天| 超碰色碰碰| 婷婷久久精品| 婷婷激情中文综合| 七七婷婷综合| 婷婷五月天综合小说网| 美女精品一级不卡视频| 五月婷色| 婷婷深爱五月丁香网| 六月丁香婷婷色狠狠久久| 久色网| 中文字幕日韩无码制服诱或| 九九热99久久99| AV五月丁香| 久久五月网| 婷婷WWW久久| 99操视频| 五月丁香六月停停| 大香婷婷| 九九在线视频| 99爱精品视频| 欧美婷婷日本| 日日影院 | 开心激情网五月天| jiqingtaose五月天| 久久精品无码一区| 天堂综合久久| 久久激情视频99| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 综合久久人妻| 五月婷婷丁香| 久草热8精品视频在线观看| 天天摸天天透天天舔| www.色五月.com| 日比网免费国产| 色色色地址| 开心深爱五月天| 六月丁香成人| 激情五月婷婷五月| 五月婷婷在线综合| 色婷婷五月天中文字幕| 丁香五月婷婷av影院| 中文字幕AV在线| 五月天小说激情| 97操碰在线视频| 免费观看全黄做爰的视频| 婷婷丁香18| 六月婷婷视频| 久久综合首页| 国产乱子轮XXX农村| 五月天操逼网| 影音先锋激情网| 思思99久久| 婷婷五月激情四射手| 久99综合婷婷| 狠狠色婷婷| 丁香婷婷网| 丁香操逼| 99欧美| 五月天婷婷视频| 亚洲第一色色色| 婷婷激情五月视频| 一本大道熟女人妻中文字幕在线| 免费播放99性爱视频| 开心五月六月婷婷| 婷婷中文网站| 五月丁香影院| 亚洲操精品| 色噜噜婷婷| 久久婷婷青草五月天| 久xxxx| 亚洲成av人影院| 91九色国产| 丁香月六月| 欧日美女Va| 91干在线| 开心婷婷五月综合| www.夜夜操| 久9精品视频| 久久精品小视频| 一区色色色色网| 婷婷欧美激情| 精品亚洲国产成AV人片传媒| 97福利视频| 激情五月综合婷婷| www天天干| 五月婷婷基地| 婷婷欧美激情| www,婷婷,com| 九九热免费视频| a久久| 五月草影视| 久久婷婷六月综合资源| 婷婷久久五月天丁香| AV变态另类一区二区| 最近中文字幕2019视频1| 啪啪激情综合| 色色a| 久久五月婷婷开心网| 99热99网| 久月婷婷| 日本全黄一级999| 伊人爱爱日本| 免费观看欧美成人AA片爱我多深 | 成人 九九九九| 大战熟女丰满人妻AV| 五月丁香香蕉| 黄网在线播放| 婷婷五月天AV| 日日夜夜爽| 亭亭社区五月天| 色色网站观看| 日韩色色网| 九九亚洲视频| 91日日日| 国产4P视频精品五区| 超级碰碰碰久久网站| 免费观看欧美成人AA片爱我多深| 九九成人视频| 日本99视频| 99男人的天堂| 日本五月天网站| 天天综合网亚洲综合网| 色五月婷婷少妇人妻| 丁香五月天偷拍| 欧洲S级在线观看| 伊人大香蕉在线视频| 激情婷婷五月综合| 伊人热在线大香蕉| 无人区码一码二码三码医生系列| 俺去也婷婷| 狠狠插狠狠操| 大香蕉啪啪啪| www.色婷婷| 色哟哟精品| 五月婷婷偷拍| 婷婷五月综合久久中文字幕| 可以看的av网站| 国产在这里只有精品| 五月天婷婷成人| 深爱五月日韩| 丁香六月激情网C0W| 激情婷婷五月天日本系列| 激情五月丁香激情综合网| 99视频精品全部免费 在线| 久久99热 这里有精品| 色五月久久成人婷婷| 色婷婷4| 色综合五月婷婷狠狠干| 久久一热免费视频| 99久久99热| 婷婷五月天,影院| 婷婷欧美偷拍综合| 99成人网一区| 久久婷婷五月综合| site:hcxsz888.com| 无码四色色色| 丁香六月婷婷综情欧美| 九月丁香婷婷综合激情| 五月天色婷伊人| 六月激情婷婷色| 丁香五月婷婷动漫| 五月在在观看| 五月色情网| 日日懆天天懆| 99热在线成人网站| 婷婷五月丁香手机在线视频| 丁香六月婷婷色XXXXX| 五月丁香六月激情视频| 日日夜夜狠狠操| 丁香婷婷影院| 97性视频| 五月天婷婷基地| 99操| 色综合五月天| 电影91久久久| 99ri网站在线观看| 天天操天天国产三级片处女学生妹| 五月婷久草| 国产4P视频精品五区| 中文字幕,综合,91| 这里只有精品免费在线视频| 午夜免费试看| 思思久久精品视频| 久久成人天| 五月天婷婷在线AN| 热久精品| 超碰在线人妻| 久久99综合| 午夜无码熟熟妇丰满人妻 | 停停六月 综合| 99 福利 导航| 99久久综合网|