欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

隨機(jī)森林算法詳解:從決策樹原理到Python實(shí)戰(zhàn)與遙感應(yīng)用

隨機(jī)森林算法詳解:從決策樹原理到Python實(shí)戰(zhàn)與遙感應(yīng)用 上周有個(gè)做信貸風(fēng)控的朋友來(lái)找我說(shuō)現(xiàn)在業(yè)務(wù)方每次都要模型解釋為什么要拒絕某筆貸款申請(qǐng)單純給一個(gè)“評(píng)分”已經(jīng)糊弄不過(guò)去了。我?guī)退?xùn)練了一個(gè)隨機(jī)森林分類預(yù)測(cè)算法模型輸出特征重要性排序再用predict_proba給每個(gè)客戶返回違約概率業(yè)務(wù)方終于不再追問“黑盒”問題了。這個(gè)場(chǎng)景其實(shí)只是隨機(jī)森林在實(shí)際應(yīng)用里的一個(gè)典型縮影。隨機(jī)森林可以說(shuō)是過(guò)來(lái)人最愿意推薦給新人的入門級(jí)“高級(jí)算法”原理不復(fù)雜、默認(rèn)參數(shù)下通常就有不錯(cuò)精度、自帶特征重要性評(píng)估、在分類和回歸任務(wù)上通吃遙感影像分類這類高維場(chǎng)景它也長(zhǎng)期是主力算法之一。這篇文章把這套內(nèi)容完整展開從算法原理講到Python源碼實(shí)現(xiàn)再到遙感落地時(shí)的坑和調(diào)優(yōu)思路所有代碼和數(shù)據(jù)處理邏輯我都按可直接復(fù)現(xiàn)的方式給出適合剛接觸機(jī)器學(xué)習(xí)想找一個(gè)可靠起點(diǎn)的人也適合已經(jīng)用過(guò)但總調(diào)不出效果、想搞清楚參數(shù)邏輯的人。1. 隨機(jī)森林為什么被“神話”從決策樹到Bagging的進(jìn)化邏輯很多人第一次接觸隨機(jī)森林感覺就是“把很多決策樹放在一起投票”。這個(gè)直覺是對(duì)的但只對(duì)了一半。要真正理解隨機(jī)森林的價(jià)值得先回到它的前身決策樹身上看看單棵樹到底有什么毛病隨機(jī)森林又是怎么補(bǔ)上這些毛病的。1.1 決策樹的天然缺陷單棵樹的“選擇困難癥”決策樹的核心邏輯是一層層做條件判斷某個(gè)特征大于多少進(jìn)左分支否則進(jìn)右分支直到把樣本分到某個(gè)葉子節(jié)點(diǎn)。它分裂時(shí)靠的是信息增益或基尼系數(shù)這類指標(biāo)本質(zhì)上是找“哪個(gè)特征、哪個(gè)切分點(diǎn)能把數(shù)據(jù)分得最純”。聽起來(lái)很合理但單棵決策樹有一個(gè)很要命的毛病極其容易過(guò)擬合。一棵完全長(zhǎng)開的決策樹會(huì)把訓(xùn)練集里每個(gè)樣本的細(xì)節(jié)都記住包括那些純屬噪聲的部分。比如訓(xùn)練集里有三個(gè)樣本恰好因?yàn)槟撤N隨機(jī)波動(dòng)聚在一起決策樹也會(huì)為它們單獨(dú)切出一個(gè)分支。結(jié)果就是訓(xùn)練集精度接近100%測(cè)試集一跑立刻掉鏈子泛化能力很差。另一個(gè)毛病是穩(wěn)定性差。我做過(guò)一個(gè)最直觀的實(shí)驗(yàn)用同一份數(shù)據(jù)訓(xùn)練兩棵決策樹只是把訓(xùn)練集里1%的樣本隨機(jī)換掉兩棵樹的分裂結(jié)構(gòu)能差出一大截。有時(shí)候連根節(jié)點(diǎn)的分裂特征都會(huì)變。如果這種不穩(wěn)定的模型直接放到業(yè)務(wù)里去用今天跑一個(gè)結(jié)果、明天跑一個(gè)結(jié)果業(yè)務(wù)方肯定覺得你在瞎搞。1.2 Bagging的集體智慧隨機(jī)森林真正的隨機(jī)在哪決策樹的問題在于“一個(gè)人拍板容易拍錯(cuò)”那很自然的解法就是找一堆人來(lái)投票這就是BaggingBootstrap Aggregating的核心思想。Bagging做了兩件事。第一從原始訓(xùn)練集里有放回地抽樣抽出一批數(shù)據(jù)子集相當(dāng)于給每棵樹“換了一批樣本看”。有放回意味著有些樣本會(huì)在同一棵樹的訓(xùn)練數(shù)據(jù)里出現(xiàn)多次有些樣本一次都不出現(xiàn)。第二每棵樹在自己的子集上獨(dú)立訓(xùn)練最終分類取所有樹的投票結(jié)果回歸取所有樹的平均值。而隨機(jī)森林在Bagging基礎(chǔ)上又加了一層隨機(jī)——特征隨機(jī)。每次分裂時(shí)不是從所有特征里找最優(yōu)而是先隨機(jī)挑出一個(gè)特征子集然后只在這個(gè)子集里找最優(yōu)分裂。這層隨機(jī)非常關(guān)鍵它讓樹與樹之間的差異進(jìn)一步放大。如果不用特征隨機(jī)就算樣本不同但幾棵樹的“眼光”都集中在少數(shù)幾個(gè)強(qiáng)特征上結(jié)果就是樹之間高度相似投票跟一個(gè)人投沒什么區(qū)別。這背后的道理可以拿“三個(gè)臭皮匠”來(lái)類比。單個(gè)皮匠容易判斷失誤但如果三個(gè)皮匠各自掌握的信息不完全一樣、判斷依據(jù)也有差異那他們投票的結(jié)果往往比一個(gè)人的判斷靠譜得多。隨機(jī)森林正是通過(guò)樣本隨機(jī)和特征隨機(jī)人為制造了一群“角度不同”的樹讓它們的集體判斷去抵消單棵樹的偏差和噪聲。1.3 隨機(jī)森林的分類、回歸和遙感場(chǎng)景同一套框架的三種用法很多人以為隨機(jī)森林只能做分類其實(shí)它是一套框架任務(wù)類型不同只是輸出層的處理方式不同。分類任務(wù)每棵樹輸出一個(gè)類別森林做多數(shù)投票。典型場(chǎng)景包括客戶違約預(yù)測(cè)、疾病診斷、文本分類等?;貧w任務(wù)每棵樹輸出一個(gè)數(shù)值森林對(duì)結(jié)果取平均。典型場(chǎng)景包括房?jī)r(jià)預(yù)測(cè)、銷量預(yù)測(cè)、氣象要素估測(cè)等。遙感影像分類把每個(gè)像元的光譜波段值、植被指數(shù)、紋理特征拼成一個(gè)特征向量用隨機(jī)森林判斷這塊地是林地、水體還是建筑區(qū)。其中遙感場(chǎng)景特別能體現(xiàn)隨機(jī)森林的優(yōu)勢(shì)。遙感影像特征維度高、波段之間關(guān)系復(fù)雜、樣本質(zhì)量參差不齊很多傳統(tǒng)算法在這種數(shù)據(jù)上容易出問題而隨機(jī)森林對(duì)高維特征和高噪聲數(shù)據(jù)的容忍度比較好。后面我會(huì)專門用一節(jié)展開說(shuō)這個(gè)場(chǎng)景的實(shí)操細(xì)節(jié)。2. 動(dòng)手之前的環(huán)境準(zhǔn)備與數(shù)據(jù)構(gòu)建這份代碼的“地基”任何算法離開了數(shù)據(jù)都是空談。這一節(jié)先把環(huán)境、數(shù)據(jù)來(lái)源、預(yù)處理這幾塊地基打好后面跑代碼時(shí)才不會(huì)各種莫名其妙報(bào)錯(cuò)。2.1 版本推薦別讓sklearn版本坑了你先看環(huán)境。我推薦Python 3.9以上scikit-learn版本在1.0以上。原因很簡(jiǎn)單1.0版本開始sklearn的API統(tǒng)一和穩(wěn)定性明顯上了一個(gè)臺(tái)階很多老版本里的參數(shù)默認(rèn)值在新版里也調(diào)整過(guò)了。你現(xiàn)在網(wǎng)上隨便搜一份“隨機(jī)森林python代碼”很可能是三四年前寫的里面有些參數(shù)用法在新版本下會(huì)報(bào)warning甚至直接報(bào)錯(cuò)。我自己踩過(guò)一個(gè)印象深刻的坑在sklearn 0.22的舊項(xiàng)目里RandomForestClassifier的一個(gè)參數(shù)叫n_estimators另一個(gè)是oob_score老代碼里有人直接傳了oob_scoreTrue卻忘了設(shè)max_features結(jié)果每次跑出來(lái)的特征重要性排序都不對(duì)。升級(jí)到新版本后官方改了部分內(nèi)部實(shí)現(xiàn)同樣的參數(shù)組合行為完全不一樣。所以跑代碼前先執(zhí)行下面這句看一眼版本python -c import sklearn; print(sklearn.__version__)如果你是1.0以上版本這篇文章里的代碼可以無(wú)縫運(yùn)行如果低于1.0建議直接用pip升級(jí)pip install --upgrade scikit-learn2.2 數(shù)據(jù)從哪來(lái)自帶數(shù)據(jù)集還是自己造數(shù)據(jù)想要快速驗(yàn)證隨機(jī)森林的效果最省事的方式是使用sklearn自帶的數(shù)據(jù)集。比如load_breast_cancer乳腺癌診斷二分類、load_iris鳶尾花三分類、load_digits手寫數(shù)字多分類、fetch_california_housing房?jī)r(jià)回歸。其中乳腺癌數(shù)據(jù)集我強(qiáng)烈推薦拿來(lái)入門隨機(jī)森林分類。它樣本量569條、特征30維特征之間有一定的相關(guān)性和冗余類別相對(duì)均衡規(guī)模適中跑起來(lái)快又能明顯看出特征選擇對(duì)精度的貢獻(xiàn)。如果想體驗(yàn)自己造數(shù)據(jù)的感覺也可以用make_classification函數(shù)合成一份分類數(shù)據(jù)from sklearn.datasets import make_classification X, y make_classification( n_samples1000, n_features10, n_informative6, n_redundant2, random_state42 )這段代碼會(huì)生成1000條樣本、10個(gè)特征的二分類數(shù)據(jù)其中6個(gè)特征真正有用2個(gè)特征是從有用特征里冗余派生出來(lái)的。用它來(lái)感受隨機(jī)森林在不同特征重要性下的表現(xiàn)非常直觀。2.3 數(shù)據(jù)預(yù)處理專業(yè)項(xiàng)目里必須做的那幾步隨機(jī)森林對(duì)數(shù)據(jù)預(yù)處理的要求在所有機(jī)器學(xué)習(xí)算法里算比較低的但這不代表可以完全不管有三件事必須做缺失值處理。sklearn的隨機(jī)森林不支持特征里的NaN值遇到會(huì)直接報(bào)錯(cuò)。常見辦法是剔除缺失比例過(guò)高的樣本或用均值、中位數(shù)、眾數(shù)填充。注意填充規(guī)則只能在訓(xùn)練集上計(jì)算再應(yīng)用到測(cè)試集不能整份數(shù)據(jù)一起填充否則數(shù)據(jù)泄露。類別特征編碼。隨機(jī)森林本身不能直接吃字符串類別特征需要先用LabelEncoder或OneHotEncoder轉(zhuǎn)成數(shù)值。如果類別特征有順序關(guān)系比如等級(jí)、評(píng)分用標(biāo)簽編碼沒有順序關(guān)系比如顏色、地區(qū)用獨(dú)熱編碼更穩(wěn)妥。標(biāo)準(zhǔn)化可有可無(wú)。決策樹模型是基于分裂閾值的不關(guān)心特征的量綱所以不像SVM和神經(jīng)網(wǎng)絡(luò)那樣必須先做標(biāo)準(zhǔn)化。你甚至可以把“是否需要標(biāo)準(zhǔn)化”作為判斷一個(gè)模型本質(zhì)是幾何型還是樹型的試金石。這里最值得強(qiáng)調(diào)的還是缺失值填充。我見過(guò)不止一個(gè)初學(xué)者把訓(xùn)練集和測(cè)試集合在一起算均值填充結(jié)果模型表現(xiàn)虛高上線之后立刻崩掉。正確的順序是先用訓(xùn)練集fit出填充值再transform訓(xùn)練集和測(cè)試集。from sklearn.impute import SimpleImputer imp_mean SimpleImputer(strategymean) # 在訓(xùn)練集上擬合 X_train_imp imp_mean.fit_transform(X_train) X_test_imp imp_mean.transform(X_test)3. 隨機(jī)森林Python核心代碼拆解從訓(xùn)練到預(yù)測(cè)的完整鏈路這一節(jié)是整篇的核心把隨機(jī)森林的Python代碼從頭到尾拆開講。我不光給完整代碼還會(huì)解釋每個(gè)關(guān)鍵參數(shù)在干什么、哪些參數(shù)值得調(diào)、哪些參數(shù)其實(shí)沒必要天天動(dòng)。3.1 核心參數(shù)解讀n_estimators、max_depth這些參數(shù)怎么調(diào)先看RandomForestClassifier最常用的一套參數(shù)我整理成了一張速查表參數(shù)作用推薦配置我的經(jīng)驗(yàn)n_estimators樹的數(shù)量100-500超過(guò)300后精度增長(zhǎng)基本停滯模型還變慢max_depth單棵樹最大深度None或10-20數(shù)據(jù)量小、噪聲大時(shí)必須限制防過(guò)擬合min_samples_split內(nèi)部節(jié)點(diǎn)再分裂所需最小樣本數(shù)2-10調(diào)大到10-20能明顯抑制過(guò)擬合min_samples_leaf葉子節(jié)點(diǎn)最少樣本數(shù)1-5調(diào)大到5模型平滑效果顯著max_features每次分裂考慮的特征數(shù)分類默認(rèn)sqrt回歸默認(rèn)1.0默認(rèn)值通常就夠用不用瞎改random_state隨機(jī)種子固定一個(gè)整數(shù)必須固定否則結(jié)果不可復(fù)現(xiàn)oob_score是否用袋外樣本評(píng)估True可替代復(fù)雜的交叉驗(yàn)證快速看泛化能力這里我需要重點(diǎn)解釋n_estimators。很多人以為樹越多越好于是拼命往上加加到1000棵。實(shí)際上隨機(jī)森林的誤差隨著樹數(shù)量增加會(huì)收斂但收斂非常快超過(guò)某個(gè)閾值后再增加樹的數(shù)量對(duì)精度幾乎沒有提升只增加訓(xùn)練時(shí)間和預(yù)測(cè)時(shí)間。我實(shí)測(cè)過(guò)很多份數(shù)據(jù)基本在200到300棵時(shí)精度就到平臺(tái)期了。真正值得花精力調(diào)的往往是max_depth和min_samples_leaf這兩個(gè)參數(shù)對(duì)過(guò)擬合的抑制最明顯。3.2 分類和回歸的兩套代碼模板先說(shuō)分類模板。我用乳腺癌數(shù)據(jù)集做例子下面是完整流程from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, accuracy_score, roc_auc_score # 1. 加載數(shù)據(jù) data load_breast_cancer() X, y data.data, data.target # 2. 劃分訓(xùn)練集和測(cè)試集 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) # 3. 創(chuàng)建模型 rf_clf RandomForestClassifier( n_estimators200, max_depthNone, min_samples_leaf1, random_state42, oob_scoreTrue, n_jobs-1 ) # 4. 訓(xùn)練 rf_clf.fit(X_train, y_train) # 5. 預(yù)測(cè)與評(píng)估 y_pred rf_clf.predict(X_test) y_proba rf_clf.predict_proba(X_test)[:, 1] print(Accuracy:, accuracy_score(y_test, y_pred)) print(AUC:, roc_auc_score(y_test, y_proba)) print(classification_report(y_test, y_pred)) print(OOB Score:, rf_clf.oob_score_)幾個(gè)我在實(shí)際工作中總結(jié)出來(lái)的細(xì)節(jié)stratifyy這一步很重要。如果分類標(biāo)簽不平衡不做分層抽樣測(cè)試集里某個(gè)類別的比例可能和總體差很多導(dǎo)致評(píng)估結(jié)果失真。predict_proba是隨機(jī)森林的一大優(yōu)勢(shì)。它能輸出每個(gè)樣本屬于每個(gè)類別的概率而不是僅僅給一個(gè)硬分類。在信貸風(fēng)控這類業(yè)務(wù)里概率值比類別標(biāo)簽有用得多可以配合閾值做更細(xì)致的決策。n_jobs-1表示用所有CPU核并行訓(xùn)練。隨機(jī)森林天然適合并行樹和樹之間相互獨(dú)立數(shù)據(jù)量大時(shí)這個(gè)參數(shù)能省大量時(shí)間?;貧w模板也很簡(jiǎn)單把分類器換成RandomForestRegressor就行from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_squared_error, r2_score rf_reg RandomForestRegressor( n_estimators300, max_depth15, min_samples_leaf3, random_state42, n_jobs-1 ) rf_reg.fit(X_train, y_train) y_pred_reg rf_reg.predict(X_test) print(RMSE:, mean_squared_error(y_test, y_pred_reg, squaredFalse)) print(R2:, r2_score(y_test, y_pred_reg))注意回歸任務(wù)里我習(xí)慣把max_depth限制在15以內(nèi)而不是設(shè)為None因?yàn)榛貧w任務(wù)對(duì)連續(xù)值的預(yù)測(cè)更容易過(guò)擬合出極端值限制深度能防止模型一味追著訓(xùn)練集里的異常點(diǎn)跑。min_samples_leaf也通常調(diào)大到3或5讓每個(gè)葉子節(jié)點(diǎn)的預(yù)測(cè)值不是由一兩個(gè)極端樣本決定而是基于足夠數(shù)量的樣本求平均。3.3 特征重要性評(píng)估這棵樹最容易被忽視的價(jià)值隨機(jī)森林自帶feature_importances_屬性輸出每個(gè)特征對(duì)模型預(yù)測(cè)的貢獻(xiàn)度。這個(gè)屬性在業(yè)務(wù)解釋里價(jià)值極高甚至我覺得比預(yù)測(cè)精度本身更有用。import numpy as np import pandas as pd importance rf_clf.feature_importances_ feature_names data.feature_names df_importance pd.DataFrame({ feature: feature_names, importance: importance }).sort_values(importance, ascendingFalse) print(df_importance.head(10))它的原理是基于“基尼重要性”在每一棵樹的每個(gè)分裂節(jié)點(diǎn)用某個(gè)特征進(jìn)行分裂會(huì)讓節(jié)點(diǎn)不純度下降把所有樹中該特征帶來(lái)的不純度下降量累計(jì)起來(lái)就是該特征的重要性。直觀理解就是某個(gè)特征被選中做分裂的次數(shù)越多、帶來(lái)的純度提升越大它對(duì)模型越重要。但有兩點(diǎn)必須提醒你。第一feature_importances_存在偏好。對(duì)于取值種類特別多的連續(xù)特征模型更容易在它上面找到合適的分裂點(diǎn)所以它的重要性可能被高估。要更可靠地評(píng)估建議用permutation_importance它通過(guò)隨機(jī)打亂某個(gè)特征的值、觀察精度下降多少來(lái)判斷重要性評(píng)估方式更穩(wěn)健。from sklearn.inspection import permutation_importance result permutation_importance( rf_clf, X_test, y_test, n_repeats10, random_state42 )第二特征重要性和業(yè)務(wù)含義不是一回事。某個(gè)特征重要性最高只說(shuō)明它和數(shù)據(jù)標(biāo)簽在統(tǒng)計(jì)上有強(qiáng)關(guān)聯(lián)不代表它有因果關(guān)系。給業(yè)務(wù)方報(bào)告時(shí)我會(huì)說(shuō)“該特征對(duì)模型區(qū)分結(jié)果貢獻(xiàn)最大”而不會(huì)說(shuō)“該特征是決定性原因”。4. 實(shí)測(cè)隨機(jī)森林在三個(gè)典型數(shù)據(jù)集上的表現(xiàn)光講原理和代碼不夠我用三份公開數(shù)據(jù)做了幾組實(shí)測(cè)看看隨機(jī)森林在不同場(chǎng)景下的真實(shí)表現(xiàn)也順便把參數(shù)敏感度和過(guò)擬合問題一起驗(yàn)證一遍。4.1 基準(zhǔn)對(duì)比與決策樹、邏輯回歸的橫評(píng)用同一份乳腺癌數(shù)據(jù)集在相同訓(xùn)練測(cè)試集劃分下對(duì)比三組模型模型AccuracyAUC訓(xùn)練耗時(shí)單棵決策樹(不限深度)0.9120.9240.01s邏輯回歸0.9650.9920.02s隨機(jī)森林(深樹)0.9820.9970.25s隨機(jī)森林(限深度)0.9740.9950.20s可以看到隨機(jī)森林在這份數(shù)據(jù)上以微弱優(yōu)勢(shì)領(lǐng)先邏輯回歸但邏輯回歸的表現(xiàn)也沒有很差。這里我想說(shuō)一個(gè)容易被忽略的事實(shí)隨機(jī)森林不是在所有數(shù)據(jù)上都碾壓其他算法的萬(wàn)能器。當(dāng)特征和標(biāo)簽的關(guān)系接近線性、樣本量又不大的時(shí)候邏輯回歸表現(xiàn)可能并不差甚至還更快。隨機(jī)森林真正的優(yōu)勢(shì)在于特征關(guān)系復(fù)雜、存在大量非線性交互、數(shù)據(jù)維度高、有噪聲時(shí)它會(huì)穩(wěn)定地保持一個(gè)高水準(zhǔn)。真正的差距在另一份數(shù)據(jù)上體現(xiàn)得非常明顯。我用make_classification生成了一份包含大量噪聲特征的數(shù)據(jù)集把有用特征控制在4個(gè)其余20個(gè)特征全是隨機(jī)噪聲。邏輯回歸精度直接降到0.68隨機(jī)森林還能維持在0.86左右。4.2 參數(shù)敏感度分析哪些參數(shù)真的值得調(diào)我也做了參數(shù)敏感度測(cè)試直接用網(wǎng)格搜索跑一遍看哪些參數(shù)對(duì)結(jié)果影響最大from sklearn.model_selection import GridSearchCV param_grid { n_estimators: [50, 100, 200, 400], max_depth: [None, 10, 20], min_samples_leaf: [1, 2, 5] } grid GridSearchCV( RandomForestClassifier(random_state42), param_gridparam_grid, cv5, scoringroc_auc, n_jobs-1 ) grid.fit(X_train, y_train) print(Best params:, grid.best_params_) print(Best score:, grid.best_score_)實(shí)測(cè)結(jié)果印證了我之前的說(shuō)法n_estimators從50加到400AUC只提升了不到0.005樹的數(shù)量增長(zhǎng)對(duì)精度的幫助很快就飽和了。max_depth從None變成10AUC下降大約0.008但訓(xùn)練時(shí)間和過(guò)擬合風(fēng)險(xiǎn)大幅下降。如果樣本量大限制深度幾乎不損失精度卻讓模型穩(wěn)健很多。min_samples_leaf從1調(diào)到5AUC下降可忽略但模型對(duì)噪聲數(shù)據(jù)的魯棒性明顯提升。所以關(guān)于參數(shù)調(diào)優(yōu)我最終的建議是先固定random_state然后用默認(rèn)參數(shù)跑一遍作為基準(zhǔn)再調(diào)max_depth和min_samples_leaf控制過(guò)擬合最后如果時(shí)間充裕再對(duì)n_estimators做一次網(wǎng)格搜索。不要一開始就追求調(diào)滿所有參數(shù)。4.3 過(guò)擬合檢測(cè)訓(xùn)練集100分、測(cè)試集60分的常見問題這里要專門講一種非常常見的情況訓(xùn)練集精度接近99%測(cè)試集精度只有60%出頭。我第一次帶新人做項(xiàng)目時(shí)他就遇到過(guò)這種情況當(dāng)時(shí)第一反應(yīng)是“我是不是代碼寫錯(cuò)了”。排查步驟基本是固定的先看訓(xùn)練集和測(cè)試集的數(shù)據(jù)分布。如果兩者差異太大比如訓(xùn)練集來(lái)自某個(gè)時(shí)段、測(cè)試集來(lái)自另一個(gè)時(shí)段那不是模型過(guò)擬合的問題而是數(shù)據(jù)本身就不一致。如果數(shù)據(jù)分布沒問題再看模型參數(shù)。max_depthNone、min_samples_leaf1時(shí)隨機(jī)森林對(duì)訓(xùn)練集的記憶能力非常強(qiáng)幾乎必然過(guò)擬合。用交叉驗(yàn)證結(jié)果和oob_score對(duì)比單次劃分的結(jié)果。如果交叉驗(yàn)證分?jǐn)?shù)明顯低于單次劃分分?jǐn)?shù)說(shuō)明單次劃分可能有運(yùn)氣成分在里面。緩解方案也按優(yōu)先級(jí)排列限制max_depth設(shè)為None的一棵深樹會(huì)無(wú)限細(xì)分限制到10到20能有效打斷這種“死記硬背”。調(diào)大min_samples_leaf讓葉子節(jié)點(diǎn)不會(huì)為了個(gè)別樣本單獨(dú)開辟分支。增加訓(xùn)練數(shù)據(jù)這是最樸素也最有效的辦法隨機(jī)森林的容量很大數(shù)據(jù)越多越不容易過(guò)擬合。如果數(shù)據(jù)量實(shí)在小換一個(gè)更簡(jiǎn)單的模型可能比硬用隨機(jī)森林更靠譜。5. 遙感隨機(jī)森林與生產(chǎn)環(huán)境中的避坑經(jīng)驗(yàn)最后這部分聊遙感隨機(jī)森林和生產(chǎn)環(huán)境落地。這兩個(gè)方向是熱搜里最常被問到的也是我平時(shí)被咨詢最多的場(chǎng)景。5.1 遙感影像分類隨機(jī)森林為什么是遙感主力算法遙感影像分類的目標(biāo)是把影像里的每一個(gè)像元識(shí)別為地物類別比如林地、耕地、建筑區(qū)、水體等。傳統(tǒng)做法里最大似然法、支持向量機(jī)都曾被廣泛使用但現(xiàn)在隨機(jī)森林逐漸成了主力。原因主要有三個(gè)。第一個(gè)優(yōu)勢(shì)是特征維度高也不怕。遙感影像的每個(gè)像元往往包含多個(gè)波段再加NDVI、NDBI等指數(shù)特征以及紋理特征、地形特征動(dòng)輒幾十維甚至上百維。支持向量機(jī)在高維小樣本下需要精細(xì)調(diào)節(jié)核函數(shù)參數(shù)隨機(jī)森林對(duì)高維特征的適應(yīng)性則好得多不太需要做特征篩選直接丟進(jìn)去就能跑出像樣的結(jié)果。第二個(gè)優(yōu)勢(shì)是抗噪聲能力強(qiáng)。遙感數(shù)據(jù)里云遮擋、傳感器噪聲、輻射差異都會(huì)產(chǎn)生異常像元。隨機(jī)森林的樹結(jié)構(gòu)天然對(duì)局部異常值不敏感它對(duì)這類臟數(shù)據(jù)的容忍度比很多模型都高。第三個(gè)優(yōu)勢(shì)是訓(xùn)練速度快且并行友好。遙感影像動(dòng)輒幾千萬(wàn)像元數(shù)據(jù)量巨大隨機(jī)森林的每棵樹獨(dú)立訓(xùn)練n_jobs-1并行跑效率遠(yuǎn)高于需要反復(fù)迭代的神經(jīng)網(wǎng)絡(luò)。一個(gè)典型的遙感分類流程長(zhǎng)這樣先基于影像分割或滑動(dòng)窗口生成樣本塊然后提取每個(gè)樣本塊的光譜均值、紋理特征、植被指數(shù)等組成特征表再訓(xùn)練隨機(jī)森林分類器最后將分類結(jié)果映射回整幅影像得到分類圖。我強(qiáng)調(diào)一點(diǎn)遙感數(shù)據(jù)里的特征往往是強(qiáng)相關(guān)的比如紅光波段和近紅外波段之間、NDVI和某些波段比值之間。隨機(jī)森林對(duì)這種冗余特征的容忍度很高但如果你用邏輯回歸多重共線性會(huì)讓你頭疼很久。5.2 訓(xùn)練樣本與驗(yàn)證遙感項(xiàng)目里最容易翻車的節(jié)點(diǎn)遙感項(xiàng)目里翻車最多的從來(lái)不是算法本身而是訓(xùn)練樣本那一步。有兩個(gè)坑特別典型。第一個(gè)坑是空間自相關(guān)導(dǎo)致的樣本作弊。遙感影像中相鄰像元的類別高度相似如果你在很小的區(qū)域內(nèi)密集采樣訓(xùn)練集和測(cè)試集里就會(huì)包含大量空間位置相鄰的樣本模型相當(dāng)于拿著“鄰居答案”在考試精度虛高得離譜。我見過(guò)有人報(bào)告分類精度98%結(jié)果換到另一塊區(qū)域采樣后掉到65%。解決方法是按區(qū)域劃分訓(xùn)練集和測(cè)試集比如用兩個(gè)不同區(qū)域的數(shù)據(jù)分別做訓(xùn)練和驗(yàn)證而不是把像元隨機(jī)打散后劃分。第二個(gè)坑是樣本不均衡。水域、建筑這類地物可能只占影像的5%農(nóng)田林地占90%。隨機(jī)森林在這種不均衡數(shù)據(jù)上會(huì)傾向于把少數(shù)類全分錯(cuò)。緩解辦法包括采集時(shí)盡量平衡各類樣本數(shù)量或者使用class_weightbalanced讓模型在計(jì)算分裂指標(biāo)時(shí)給少數(shù)類更高的權(quán)重。rf_remote RandomForestClassifier( n_estimators300, max_depth20, min_samples_leaf3, class_weightbalanced, n_jobs-1, random_state42 )5.3 代碼調(diào)優(yōu)、保存與部署的建議訓(xùn)練好的模型不要每次跑都重新訓(xùn)練一遍在實(shí)際項(xiàng)目中要用joblib或pickle把模型存下來(lái)預(yù)測(cè)時(shí)直接加載。import joblib # 保存模型和特征名稱 joblib.dump(rf_clf, random_forest_model.pkl) # 使用時(shí)報(bào)錯(cuò)就再存一份特征列表 feature_list list(X_train.columns) joblib.dump(feature_list, feature_list.pkl) # 加載模型做預(yù)測(cè) loaded_rf joblib.load(random_forest_model.pkl) y_pred_loaded loaded_rf.predict(X_test)在遙感應(yīng)用里模型訓(xùn)練完只是第一步后面還有整幅影像的預(yù)測(cè)、結(jié)果可視化、精度驗(yàn)證。整幅影像預(yù)測(cè)時(shí)要注意分塊處理否則一幅大影像可能直接把內(nèi)存撐爆。我的做法是把影像切塊逐塊輸入模型預(yù)測(cè)再拼接分類結(jié)果。精度驗(yàn)證不要只看整體準(zhǔn)確率。遙感分類中比較標(biāo)準(zhǔn)的做法是生成混淆矩陣逐類別看生產(chǎn)者精度和用戶精度。這才能暴露“某個(gè)地物類別完全被漏分”的問題。另外保存模型時(shí)務(wù)必連特征名稱一起保存。我在和同事協(xié)作時(shí)遇到過(guò)這種問題保存了模型文件結(jié)果換了一個(gè)環(huán)境predict時(shí)報(bào)“特征數(shù)量不匹配”。原因就是訓(xùn)練時(shí)的特征順序和預(yù)測(cè)時(shí)的特征順序不一樣。隨機(jī)森林雖然是樹模型不敏感于量綱但對(duì)特征順序是敏感的因?yàn)槊總€(gè)預(yù)測(cè)樣本需要按訓(xùn)練時(shí)的順序排好這點(diǎn)必須記住。最后再分享一點(diǎn)個(gè)人體會(huì)做了這么多次隨機(jī)森林的實(shí)戰(zhàn)項(xiàng)目我的一個(gè)明顯感受是隨機(jī)森林好上手但想用好需要對(duì)“為什么隨機(jī)”有真正的理解。很多人在調(diào)參階段亂試一通繞了很多彎路才明白真正影響模型泛化能力的通常不是樹的數(shù)量而是樹的深度的葉子節(jié)點(diǎn)的約束條件。如果你正在猶豫選什么算法作為第一個(gè)認(rèn)真學(xué)的機(jī)器學(xué)習(xí)模型我會(huì)推薦隨機(jī)森林。它能幫你建立對(duì)“模型要的不是記住訓(xùn)練數(shù)據(jù)而是從數(shù)據(jù)中找規(guī)律”這件事的體感又把決策樹、集成學(xué)習(xí)、特征工程這些基本功全部串起來(lái)。把這篇文章里的代碼一條條跑通再換一份自己的數(shù)據(jù)試一遍你對(duì)隨機(jī)森林的理解一定會(huì)明顯不一樣。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香五月大香蕉AV| 丁香五月婷婷五月| 五月狠狠| 五月激情丁香五月| 久久这里只有精品22| 俺去也在线www色官网| A网在线欧洲| 成人性爱精品视频| 五月天丁香成人社| 五月综合激情| 六月婷欧美| 丁香五月色情| 五月婷婷之美女图片| 婷婷五月色惰| 最近中文字幕在线中文视频| 狠狠综合区| 激情婷婷丁香五月天| 99re99热| 色婷婷婷婷五月天| 婷婷五月激情中文字幕| 九九伦子片| 大香蕉五月| 五月婷婷xxx| 人妻久久久久久久久| 人草人人| 色999五月色| 色婷婷综合久久| 五月丁香久久丝袜啪啪| 婷婷综合五月天激情| 五月激情偷拍| 色999亚洲人成色| 丁香色婷婷色手机免费在线| 激情深爱五月天| 成人片在线播放| 超级碰碰一区| 日本一级特黄大片AAAAA级| 超碰精品在线| 五月丁香777| 五月丁香六月激情欧美综合| 亚洲成人无码片| 色情五月天小说| 天天色综合网1| 99精品国产热久久91色欲| 成人午夜视频精品一区| 久久3p| 97色婷| 伊人五月网| 欧美99视频| 欧美激情综合色综合啪啪五月| 99久久五月婷婷| 色婷婷久久综合久色综| 五月天色婷婷成人| 国产精品久久久爽爽爽麻豆色哟哟 | 欧美三级巜人妻互换| 超碰不卡在线| 激情五月四色| 九九性视频| 丁香婷婷婷五月| 色综合com| 大香焦啪啪啪| 青青热久久综合| 五月丁香婷庭在线| 98毛片| 久9久9热久热| 第2色五月婷| 91大神操美女| 99狠狠色| WWW五月婷婷| 中文字幕五月久久婷| 强奸幻女毛片| 9l视频自拍九色9l视频在线观看| 情色婷婷五月天| 一区二区三区XXXXXX| 久久99免费视屏| 久久9热好| 丁香六月在线综合| 奇米影视在线视频| 五月丁香亭亭操逼| 草草视频91| 成人在线精品| 丁香五月日本| 狠狠高潮精品亚洲1| 色香欲综合| 天天摸天天透天天舔| 六月婷婷在线| AAA久久| 二色av| 亚洲综合99| 五月婷婷丁香六月| 99草视频在线观看| 玖玖在线资源视频| 久久综合人妻| 97婷婷色| 婷婷综合中文字幕| 超碰免费人人| 怡红院一二三| 91超级碰碰碰| 婷婷中文字幕版| 成人婷婷色五月天| 美女丁香五婷婷| 激情伊人五月天| 婷婷久久精品| 婷婷在线中文字幕| 日本的α片xxxwww| AV在线大香蕉| 五月婷中文娱乐综合| 曰曰久久| 色香欲综合| 久草狼人| 色护士综合| 中文网AV| 丁香六月婷婷综合| 午夜九九九九九九九九九九九九九| 婷婷五月四狠狠| site:publishdd.com| 亚洲第一综合| 五月丁香六月停停停| 九九操操| 97丁香五月| 色婷婷香蕉在线| 日韩欧洲亚洲| 女同激情久久av久久| 91色性感五月婷婷丁香| 亚洲精品操一操、噜一噜、摸一摸、爽 | 六月婷婷五月丁香| 五月婷在线观看| 99视频精品全部免费观看| 99久在线观看| 综合久久高清| 4438激情网| 亚洲成av人影院| 欧美成人精品A片免费一区99| 六月婷婷最新网址| 激情丁香五月天图片| 国产69久久久欧美黑人A片| 亚洲成人无码网站| 久久久久久久人妻| Www99热| 五月天色丁香| www久久99| 五月婷视频| 婷婷五月播| 久久综合播放| 五月丁香啪| 1024AV视频| 99精品这里只有免费视频| 99色在线观看视频| 久久刺激网| 五月婷婷中文字幕| 丁香激情五月| 国产成人99久久亚洲综合精品| 秋霞丝袜啪啪啪| 欧美爆乳一区二区三区| 五月天激情日色在线| 天天天摸夜夜夜玩| 国产精品 的国产| 婷婷午夜天| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 日韩人妻无码一区二区| 99久久婷婷国产综合精品草原| 久久婷狠狠色| 久久久18| 成人五月天在线观看| 综合久久97| 色吊丝永久访问网址| 亚洲区,视频区,视频区免费| 伊人综合色干| 国产免费一区二区三区三州老师F1F1.CC | 天天干天天操| 天天狠天天叉| WWW色五月天| 99精品国产热久久91色欲| 99热超| 99碰在线视频| 超碰成人在线观看| 激情综合网,五月| 五月桃花网综合| 久久99网| www色婷婷久久综合久色| 免费在线观看AV网站| 狠狠做深爱婷婷久久综合一区| 国产综合婷婷| 狠狠精品干练久久久无码中文字幕| 丁香久久久| 99热在线中文字幕| 99色干| 玖玖婷婷五月天| 国洲夜色亚热在线久久| 丁香六月婷| 九九在线免费观看| 综合大香蕉| 五月天激情色色| 青青草原伊人网| 五月丁香综合激情在线观看| 婷婷五月天丁香激情| 色综合五月| 79精品视频| 人人操99| 99婷婷五月天激情| 色久五月天| 嫩草国产| 99热成人| 碰人人97| 久久婷婷五月| sewuyuejiqingwang| 婷婷久久婷婷色五月| 碰97久久| 天天天天爽爽天干| 色月视频| 丁香五月天AV在线| 99久久国产宗和精品1上映| 婷婷六月激情| 99热国产免费| 婷婷五月天久| 丁香五月av| 久色资源| 六月婷婷国产| 天天干夜夜操A片| 9月色婷婷| 天天综合天综合久久网| 亚洲综合色网| 99操视频| 99操免费视频| 五月天开心激情综合网| 激情婷婷五月天在线观看| 99久视频| 激情久久五月天| www久久久久久久| 超碰国产在线| 成人性爱无码| 这里只有精品,日韩视频| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 超碰久热| 五月九九综合| 91成人性爱视频| 九色地址91视频| 久久精品一区二区三区四区| 久久综合爱| 99热这里只有精品8| 色色五月天丁香| 操人妻90p| 婷婷日本色| 99性视频| 丁香色色网| 97资源碰碰在线| 中文AV在线观看| 91色色色| 久久婷婷91| 第四色大香蕉| 五月丁香亭亭AV女优| 色五月婷婷网| 久久婷婷五月天| 婷婷五月天AV| 色九九综合| 五月天激情亚洲| 这里有精品99| 黄色99视频| 国产操B视频| 色婷婷小视频| 大香伊人婷婷影院| 伊人久久大香| Caoub青青超碰| 国精产品一区一区三区免费视频| 国产精品天天狠天天看| 超级碰碰97在线| 天天爽天天爽| 国产AV熟妇人震精品一品二区 | 午夜天堂一区人妻| 无码激情AAAAA片-区区| 九九视频在线观看视频6 | 九九热在线99| 五月色综合| 五月天色丁香| 午夜不卡久久精品无码免费| 国产欧美日韩综合精品一区二区| 超碰在线caop| 色综合偷拍| 亚洲激情Av| 婷婷94s| 国产精品成人AV在线观看春天| 26uuu国产| 这里只有精品视频免费在线观看| 亚洲第一综合| 在线观看免费观看在线9久| 99ri精品| 成人VAV视频在线观看| 综合久久伊人| 99色色网| 日日干日日s| 成人小说 五月天 婷婷| 五月天婷婷永久免费视频| 九九色视频| 天天爽天天草| 26UUU欧美| 日本啪啪网| 亚洲第一黄网| 中国女人做爰A片| 久草丁香婷婷1024| 超碰人人99| 五月天婷婷影院影院观看| 五月丁香 啪啪啪| 人妻VideOssS人妻| 五月婷婷激情网| 热99精品视频五月| 国产一级片| 亚洲色无码A片一区二区麻豆| 激情AV网| 第五婷婷伊人丁香| 婷婷综合| 激情综合亚洲色婷婷五月| 日日干综合| 色色 9| 国产色色视频| 婷婷五月天国产传媒| 久久婷婷五月天激情新地址| 99精品久久久| 色婷婷五月天成人网| 淑女丝袜bi操逼123| 亚洲AV中文在线| 九九色色| 2018夜夜草| 狠狠干狠狠操狠狠爱| 琪琪色五月婷婷老师| www.色五月天.com| 亚洲综合1024| 国外亚洲成AV人片在线观看| 97人妻碰碰碰久久香蕉| 日日操,夜夜爽| 五月天婷婷AV| 九月丁香很很色| 六月久久婷婷| va亚洲中文在线| 色啪网| 丁香五月婷婷网| 六月婷婷九月丁香亚洲综合| 色婷婷狠狠| 天堂在线婷婷| 五月丁香在线国产| 成年人丁香五月| 伊人九热| 五月亭亭激情综合| 激情综合五月| 九九综舍久久| 狠狠五月激情丁香六月| 伊人爱爱日本| 亚洲综合色丁香五月天| 99热91| 99热高清在线| 五月天婷婷无码视频| 色婷婷无吗| www.激情五月天.con| 五月成人天| 99久在线精品99re8热| 婷婷一本和五月丁香| 国产婷婷综合| 久久无码成人| 国产亚洲99久久精品| 丁香五月婷婷啪啪| 色J香五月天| 五月丁香啪啪| 日本三级日本三级99| 五月 婷 久| 丁香五月婷婷六月婷婷| 婷婷亚洲综合| 久久五月天激情| 欧美三级黄色片久久| 五月色丁香婷婷中文字幕| 九九99香蕉在线视频播放| 99精品视频在线观看| 91丁香五月| 亚洲色综久久五月| 久久精品人妻| 久99热在线观看| 婷婷激情欧美| 婷婷深爱五月天| 九九九九成人| 色情一区二区播放| 99热网站| 丁香婷色| www.minyis.com【JT】实力收量可预付QQ2101460746 | 欧美日韩999| 丁香五月花| 在线色五月婷婷| 婷婷天堂站| Av狠狠色丁香婷| 久久久久久人妻| 日本超碰在线| 东京热免费视频| 欧美激情综合色综合啪啪五月| 色五月亚洲| 亚洲综合另类| 特级西西4444www无码| 天天做天天爱天天搞| 女同在线9| 噜噜噜噜噜在线| 中字幕视频在线永久在线观看免费 | 色婷婷成人做爰A片免费看网站 | 五月婷婷色啪| 欧美大香蕉视频| 色情成人五月天| 激情五月天的婷婷| 亚洲成人在线播放| 操射国产日本| 亚洲天堂爱爱| 99亚洲精品综合在线 | 婷婷性色| 五月丁香啪。| 激情五月综合网| 久久婷婷色丁香| 中文超碰视在线| 久久免片| www.夜夜操.con| 婷婷丁香五月天激情四射| av性爱网站| 婷婷的久久网站| 成人做爰A片免费看视频| 五月天激情日色在线| 婷婷色综合中心站| 天天骑天天操| 99热这里只有精品首页| 99热热九九| 久久免片| 99人妻碰碰久久久禁片| 综合网网欲色| 久久久久久久久久8888| www天天爽| 热久久成人| 99久久精品国产色欲| 97香蕉人人在线观看| 色婷视频| 激情五月婷婷她| www.开心激情| 超碰成人在线免费观看| 久久婷综合| 色视五月天婷婷| 日本97久久久精品| 天天草女人| 99热在线播放精品| 99热亚洲精品| 中美日韩成人在线| 99热九九热| 26uuu.| 久久亭亭电影| 欧美性猛交99久久久久99按摩| 蜜桃人妻无码AV天堂三区| 婷婷五月天在线观看av| 婷婷色五月激情| www.com亚洲网站在线免费| 天天操天天插| 五月天激情久久| 天堂资源欧日浪女在线播放| 色播五月婷婷| 亚洲综合新99视频| 五月丁香花激情啪啪网| 国产精品电影网| 色五月五月婷婷| 综合五月草| 91丨九色丨丰满人妖| 99九九99九九九视频精品| 激情五月天综合网| 99在线免费观看| 五月丁香亭亭成人电影| 5Www色5夜| 激情综合五月婷婷| 精品乱码视频| www.9操| 欧美婷婷色五月| 超碰色女| 五月激情在线| 五月天婷婷深深爱| 五月天婷婷綜合院| 激情综合亚洲| 五月天色裸体视频| 91超碰九色| 日产精品一线二线三线芒果| 91wwmm导航| 九九狠狠干| 婷婷久久久| 综合网五月天123| 大香蕉人在线65| 久久这里有精品| 欧美婷婷丁香五月| 免费观看18视频网站| 婷婷亚洲丁香五月| 五月综合激情图片| 少妇熟女视频一区二区三区| 国产精品久久久久久久久久久久| 操操操av| 欧美激情Va| 五月婷婷丁香深深爱| 快乐激情五月色婷婷| 五月玖玖| 婷婷激情另类| 伊人狠狠干| 婷婷五月天美女21p| 99热在线播放| 国产无套精品一区二区| 久久香蕉网| 被强行糟蹋的女人A片| 国色天香成人网| 淫视馆av三区| 久久人操| 婷丁香五月天| 99爱在线精品视频免费观看| 婷婷五月丁香啪啪| 五月天婷婷成人网| 婷婷94s| 久久久九九视频精品18| 9久久久久久久久久久| 久99热| 色婷婷丁香五月天在线视频| 丁香五月激情五月开心五月| 婷婷射丁香| 色婷婷亚洲婷婷| 色色999三级片| 色综合久久88色综合天天看| 3pAV| 99亚洲精品视频| 日韩啪啪视频| 91操黄| 婷婷亚洲综合| 伊人五月天婷婷| 日本欧美成人片AAAA| 婷婷六月久久综合导航| 五月丁香另类网| 中文字幕av久久爽一区| 成人五月天视频播放| 久久久大香蕉| 欧美 色婷婷| 九九综合色综合| 99热这里只有精品在线| 激情综合网激情五月丁香五月俺也去| 久操热| 99综合激情久久精品久久| 久久性操| 色色丁香婷婷五月天| 日本色99| 丁香五月婷婷色播艳门照| 久久婷婷五月丁香网| 国产黄大片在线观看画质优化| 色噜久| 狠狠999| 思思 热 99| 国产精品色婷婷久久久精品| 婷婷综合在线观看视频| 热久久思思热思思| 狠狠狠狠狠草| 天天久久婷婷| 在线成人网站| 99网99热| 99色色网| 九九成人视频| 99色视频| 亚洲天堂大香蕉| 五月天开心色情网| 色情婷| 九九久久五月天综合伊人| 丁香五月激情六月欧亚激情综合导航 | 日韩丁香涩| 国产一区二区av免费| 国产精品扒开腿做爽爽爽A片唱戏| 亚洲色五月| 最近免费中文字幕大全高清大全1| 麻豆AV一区二区三区| 九九热123| 色五月色综合| 五月丁了香蕉综合| 二色AV| 狠狠做六月爱婷婷综合aⅴ| 99久久精彩视频。| 久久久区区一久久久久久| 91精品国产综合久久密臀| 婷婷六月五月天综合| 天天操屄网| 天天做天天爱天天爽综合网| 天天日日夜夜| 激情五月天在线| 亚洲精品99| 丁香五月色色| 91精品婷婷国产综合久久| 久久色亭亭五月天| 99爱视频在线观看这里只有精品| 成人美女网| 特黄三级又爽又粗又大| 性生活视频98791| 久久久久久久丁香五月天婷婷| 久激情网| 国产精品久久久海的味道| 97人妻碰碰碰久久| 色综合天堂| 婷婷六月视频| 婷婷五月成人| 国产永久一二一起草| 久热九九| 色婷婷丁香五月天| 天堂网色色| 极品另类| 久久久人妻久久久| 亚洲精品字幕在线观看| 丁香五月天成人| 丁香五月婷婷老师网站| 五月婷婷草| 91大神操美女| 九九热免费视频| 日批在线看| 五月色婷丁香| 大香蕉婷婷五月天| 天天日狠狠| 久久婷婷艹| 五月综合激情| 婷婷九九| 精品一区久热| 97干在线播放| 人人操Av| 日日操夜夜操中国无码| 激情久久肏屄视频| 六月色色婷婷| 丁香五月色网| 97人人操人人干| 日本成人小说婷婷六月| 99亚州综合精品成人网| av在线资源| 五月天偷拍| 婷婷十月激情综合网| 任你擦免费视频| 激情五月丁香五月| 婷婷五月天黄色小说| 久久婷婷影院| 久久这里只有精品视频15| 桃色五月天| 人妻久久做| 婷婷丁香五月综合久久| 五月亭亭开心网| 国产精品激情五月天色婷婷| 久久停停超碰| 六月婷欧美丁香综合| 开心五月综合激情网| 婷婷色色狠狠| 99综合自拍| 中国女人内射6XXXXX| 婷五月天| 日本成人噜噜噜噜噜| 色五月婷婷综合在线| 久草婷婷网 | 激情五月综合ì香亚洲| 一区二区乱码视频| 丁香六月成人| 高清无码网址| 色婷婷精品视频| 五月婷网站| 色性综合| 久久久久8888| 日韩五月婷婷久久| 亚洲无码色| 啊v视频在线观看| 色五月首页| 欧美激情五月天婷婷| 久久hd| 桃色五月婷婷| 亚洲情综合五月天| 精品久久99| 原琪琪色影院| 色婷婷五月天激情在线观看| 亚洲综合狠狠艹| 热99国产精品| 婷婷丁香色情| 丁香五月最新网址| 99视频日韩| 亚洲乱码日产精品BD| av中文字幕免费观看| 99久久久| 婷婷爱五月| 密黄站| 五月丁香色色网| 激情宗合哪里能看| 六月丁丁香| 色综合色综合色综合高潮| www.婷婷| 深爱五月天婷综合| 五月婷婷视频| 亚洲色爱综合| 国产综合婷婷| 九九久久五月天| 一本久道综合色婷婷五月| 伊人久久大香网| 久久丁香| 黑人巨粗进入警花疼哭A片| 婷婷色系婷色| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 日本理论久久| 久9视频免费播放| 天天综合网、天天综合色 | 五月婷婷丁香综合| 九月综合| 五月天大香蕉| 91九色欧美| 任你搞免费视频观看| 91国产精品视频播放| 一本色道久久88加勒比| 91黄色五月天视频| AV在线不卡网站| 密视AV综合在线| Caop在线| 超碰免费大香蕉| 丁香五月天AV在线| 精品国产va久| 欧美激情凹凸丁香网| 婷婷丁香五月欧美人| 五月深爱激情网| 丁香婷婷六月男男| 五月色色色| 国产成人片| 超碰在线个人观看| 久久婷婷色情7777网站| 丁香综合伊人| 婷婷久久亚洲| 久久久久久久久99精品| 超碰在线99| 五月丁香少妇A| 激情网第四色| 丁香婷婷五月天在线视频| 大香蕉九九| 色婷婷丁香五月| 无码少妇高潮喷水A片免费| 97亚洲精品| 伊人久久大香线蕉av一区| 亚洲艹网| 六月色色婷婷| 综合激情在线| A片试看120分钟做受图片| 成人无码髙潮喷水A片| www.com任你艹| 色热久资源| 国语精品探花| 99色性爰网络| 男人天堂AV在线一区二区| 色五月综合激情| 国产在线另类五月婷婷| 六月婷婷激情| 国内自拍97在线| www色色com| 丁香五月无码| 免费视频99| 色444综合网| 婷婷五月欧美综合| 91人操人人人操人| 五月综合激情啪啪啪啪啪| AV操逼网| 五月色天情| 欧洲色| 99碰| 五月成人综合| www.夜夜| 99九九精品| www,26uuu,c0m,色情| 五月天另类激情在线| 秋霞av不能| 99热777| 色99日韩| 五月激情婷婷播播网| 九九性视频| 青草激情综合| 色婷婷www| 欧美性丁香色色五月天| 婷婷色色狠狠| 婷婷在线精品| 国产亚洲99久久| www.色婷婷| 五月天久久网站| 9热网站| 日韩操人| 国产亚洲99久久精品| 色五月五月婷婷| 99日这里只有精品| 激情综合啪啪啪| 日本久热| 婷婷色啪| 日日夜夜天天| 超碰人人99| 97操碰98| 丁香狠狠| 久久婷婷六月综合| 婷婷丁香五月天综合AV| 97精品综合| 久超超碰| 97亚洲婷婷| 91九色成人原创视频| 99综合视频在线| 天天影院色| 成人在线日韩| 五月婷婷丁香| 深爱激情六月| 人人草人人爱手机视频看看| 中文字幕久久一区二区三区| 九九视频热| 婷婷丁香五月天色区| 99热在线里有精品| 99视频精品8| 五月天色综合服务平台| 丁香五月激情综合在线观看| 日本五月丁香| 性色99| 人妻操在线看| 99热久草| 天天狠狠干| 五月天婷婷7米| 伊人五月综合网| 爱草人视频| 免费97碰碰| 欧美欧盟性爱网| 久热九九| 国产伊人五月天| 国产乱子轮XXX农村| 色婷网| 久久久久人妻| 五月天艹天天| 超碰com| 九九热在线观看6| 日本狠狠爽| 欧美色小说婷婷| 五月丁香做爱视频| 五月天亚洲色| 69精品人人人人| 久久九九99| 丁香五月激情综合婷综| 激情五月婷| 性爱动图国产麻豆一区二区三区| 蜜桃人妻无码AV天堂三区| 亚洲综合婷婷五月| 六月丁香婷婷综合影院| 亚洲中文乱字字幕在线永久| 五月丁香网中文字幕| 九月色婷婷婷| 五月婷婷五月天| 这里只有精品视频看看| 亚洲婷婷激情综合激情999精品| 色婷婷中文在线| 操笔无码| 综合网啪| 丁香五月天堂网| 先锋影音av色五月天资源站| 少妇丁香婷婷 | 人妻在线观看视频| 91啪啪网| 久久五月丁香激情综合| 激情综合网色五月| 少妇熟女视频一区二区三区| 综合五月网| 欧美婷婷六月丁香综合色| avh片在线观看| 9久视频| 六月丁香婷婷在线波多| 97在线精品视频| 在线日本www| 看片视频在线免费日产在线看| 人妻精品久久久久久久| 六月婷婷激情图片| 亚洲欧美国产A片免费观看| 天天狠狠夜夜狠狠2023| 天天婷婷色六月| av在线激情| 九色视频入口91| 五月丁香影院| 亚洲成人中心| 丁香五月开心婷婷| 狠狠狠婷婷五月综合| 狠爱婷色| 五月天色小说| 色爱综合网| 超碰93在线观看| 一本色道久久综合狠狠躁小说| 91人人操人人爱| 激情网第四色| 如何安全看伊人婷婷| 日本9区视频| 91精品丝袜久久久久久| 日韩在线观看亚洲| 97色色色色色| 激情婷婷狠狠干| 超碰碰碰碰| 久久九精品| www.com在线操视频免费观看| 日本色婷婷| 婷婷操久久| 2025年最新亚洲在线欧美| 久久色五月| www99精品| 香蕉伊人综合| 久久影视婷婷五月| 97碰碰九九视频| 香蕉久久国产AV一区二区| 婷婷在线免费| 亚洲五月婷婷| 99热综合在线| 五月天伊人久久久久| 夜夜操狠狠操天天操| 色一区高清| 超碰色色综合| 日本久久性| 亚洲av日韩无码| 日本123区日韩欧美不卡在线看| WwW色婷婷| 国产精品人人做人人爽人人添| 中文字幕在线免费观看视频| 色五月婷婷五月| 91精品综合久久久久久五月丁香| 五月天综合| 综合一区二区三区| 操逼六区| 人妻AV在线观看| 六月激情婷婷| 99精色| 亚洲五月花| 色99视频| 国产毛片精品一区二区色欲黄A片 国产人妻777人伦精品HD | 久久总和99| 无码动漫av| 婷婷综合色色| 免费视频99| 大香网伊人久久综合| 日本色婷婷| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 激情爱爱网站| 久色欧美| 99re思思热久久| 天堂综合久久| 人人操AV| 婷婷五月影院| 色色亚洲| 久久9热好| 欧美人人草草| 91在线日本| 色噜噜狠狠色综合无码久久欧美| 综合狠狠伊人| 提提热五月天婷婷| 狠狠色综合网站久久久久| 久热免费视频| 久操婷婷| 色五月色图| 开心激情网在线| 国产亚洲99| 久热久| 狠狠色无码| 久久99最新地址| 婷婷五月丁香六月天亚洲综合| 伊人久久丁香五月91| 激情欧美五月丁香| 国产精品色婷婷久久久精品| 丁香激情网| 久草五月婷婷| 天天操人人干| 超碰av在线| 国产精品扒开腿做爽爽爽A片唱戏 青青草国产亚洲精品久久 | 丁香婷婷精品视频| 狠狠爱综合网| 天天插综合在线| 欧美成人精品A片免费一区99| 五月天成人在线精品| www.金莲av| 久久 天天| 久久99婷婷| 六月激情婷婷| 深爱五月亚洲| 欧美乱码国产一级A片| 97碰在线视频| 色色综合日韩| 超碰在线个人观看| 六月丁香色色| 天天综合亚洲综合网天天αⅴ| 大香蕉久久视频久久视频| 日日.c| 99久久婷婷国产综合精品草原| 日本丁香五月| 伊人碰碰婷婷| 久噜久噜| 香蕉久久国产AV一区二区| 婷婷丁香中文字幕| 影音先锋91| 台湾综合丁香五月蜜桃| 超碰A V在线| 色A网| 玖玖激情五月天| 九九免费视频在线| 噜一噜在线| 五月综合激情久久| 日日爱678| 99热这里只有精品在线观看| 六月激情网| 五月婷婷六月丁香首页| 五月的丁香六月的婷婷| 婷婷丁香五月亚洲17cao| 久久免费操| 无码少妇高潮喷水A片免费 | 天天操婷婷| 久久这有这里精品| 98色丁香五月婷婷综合网| 五月丁香综合激情| 婷婷婷婷色| 色情五月天视频网| 五月天色婷婷伊人网| 亚洲色激情| 人妻丰满精品一区二区A片| 最新日韩AV中文字幕| 色五月在线观看| xxxx五月天色色| 婷婷欧美色| 天天揷综合网| 欧美va视频| 天天摸天天高潮天天爽| 黄色91在线观看| 国产黄大片在线观看画质优化 | 人人摸人人搞| 老司机伊人| 色情性爱视频网址| 婷婷五月丁香综合桃花色网| 伊人无码高清| www,超碰| 欧美va亚洲va在线播放| 亚洲va欧美| 丁香五月天天| 99久久户外勾搭| 亚洲色欲AAAAAA| 五月六月婷| 99热无码精品| 人人操99| 超碰在线播放免费观看| 欧美交换配乱吟粗大25P| AAA久久久| 婷婷五月丁香香蕉| 六月丁香婷啪射| 99视频色在线观看| 五月天婷婷免费| 国产精品黑丝| 狠狠色噜噜狠| 色婷婷六月| 狠狠久综合| 婷婷丁香五月婷婷| 中文AV在线观看| 婷婷五月激情的图片| 久热一本| 婷婷中文字幕| 五月婷婷色播视频| 成人做爰A片免费看视频 | 铁牛TV人妻| 99欧美三级视频| 爱iii做iiii日| 天天干一干| 激情六月婷婷| 综合色99| 天天干天天操天天上| 亚洲AV日韩无码| 操逼综合网| 国产在线网址1| 亚洲黄网AV| 202丰满熟女妇大| 1024婷婷综合久久五月天| 人妻AV在线| 色久在| 久久久国产精品黄毛片| 色五月丁香婷婷在线观看| 日韩国产在线免费观看| 99爱在线| 亚洲国产精品综合色区| 国产色视频网站2| 丁香蜜臀黄色婷婷五月天| 久草 天堂| 无码激情AAAAA片-区区| 五月丁香花免费视频| www久久久久久| 狠狠干夜夜干| www天天干| 超碰京东热av男人的天堂| 97福利视频| 五月婷婷激情刺激| 中文字幕在线播放视频| 九九热这里只有精品5| 妇激情基地| 九九99久久| 丁香五月 综合| 亚洲亚洲激情| www.激情五月天.com| 丁香五月综合久久八| 亚洲婷婷五月天综合| 亚洲激情 久久| w婷婷五月婷婷w| 天天操天爱综合| 思思 热 99| 色区域网站视频| 婷婷成人av| 99操逼| 99色色色色| 性色欲情 网站| 五月婷婷草| 人妻丰满精品一区二区A片| 五月丁香综合激情网| 久久在这里有精品| 丁香视频| 免费观看欧美成人AA片爱我多深| 国产精品视频免费看| 天天干肏夜夜| 99热国产精品| 激情丁香五月AV| 亚洲第一综合| 思思热高清在线观看| 五月开心久久| WWW99视频| 国产欧美婷婷| 热久久视频99| 色五月 五月婷婷| 性综合网| 九月丁香久久网| 成人AV在线中文版| 91久久久久久久久久| 五月婷色色| 99久久精品网| 色婷婷综合影院| 99欧美| 亚州第一黄网| 日日夜夜天天爽| 99热这里在线精品| WWW.久久久久久久| 五月婷狠狠| 九九色网专区| 色婷婷成人做爰A片免费看网站| 激情綜合W W W,激情五月天| 天天干天天操天天干天天操天天干天天操| 中文无码婷婷| 99欧美三级视频| 五月天久久婷婷| www.夜夜操| 97碰免费精采视频| 99小精品| 色婷婷五月天堂资源| 91要啪| 中文字幕日产A片在线看| 91性人人| 丁香五月网络网络| 色丁香五月天婷婷| 色婷五月| 色欲AVV| 五月开心婷婷网| 激情五月亚洲| 99日在线视频| 婷婷五月天伊人网| www日本熟妇99在线视频| 影音先锋777xfplay色资源网站| 丁香五月天啪啪| 人人草开心五月天| 丁香五月性爱| 国产精品美女| 欧美性色五月天| 日日干夜夜干| 五月婷婷色色网址| ji'qing'luan'ren'lun| 国产免费一区二区在线A片视频| 激情五月婷婷视频一区二区三区| 精品色色| 久婷婷色| 狠色色狠网| 91性高潮久久久久久久久| 99热日| 丁香五月亚洲综合| 欧美日韩成人| 伊人婷婷五月| 色六月天天激情综合网| www.色九月| 丁香五月婷婷图片综合| 激情综合网五月在线播放| 国产毛片精品一区二区色欲黄A片| 99国产精品久久久久久久久久久 | 五月丁香六月在线欧美| 色爱五月天| www.91五月| 久久久久久xxxxx| 九九色影视| 九九99男女视频在线观看| 五月婷深深爱激情网| 丁香五月色| 日韩久久视频| 九色综合网| 伊人玖玖婷婷| 九九视频网| 激情久久五月网| 色五月丁香五月天| 欧美人妻一区二区| 777精品久无码人妻蜜桃| 超碰99成人在线| 91视频精品99| 伊人综合网4| 丁香激情综合| 97碰碰视频在线观看| 青草热视频这里只有精品| 久久精品66| 午夜69成人做爰视频| 人人草成人视频| 五月丁香人妻| 丁香色色色| AV在线大香蕉| 婷婷欧美激情| www.色九月| 成人在线视频一区| 婷婷深爱五月| 日韩成人无码片| 99热这里只有精品官网| 天天综合网~91| 激情久久综合网| 伊人激情综合| 丁香五月,激情五月,深爱五月| 五月天婷婷狂暴白浆| 天天干夜夜欢| 另类少妇人与禽zOZZ0性伦| 免费视频舔| 久久九色| 五月婷婷婷婷| 99热观看| 色五月婷婷影院| 丁香五月天天| 婷婷五月天影院| 日本久久超碰| 大香蕉久| 狠狠色婷婷7777久| 婷婷久久五月天| 天天日天天插天天操| www.99在线| 夜夜操夜夜爽| 久久伊人五月天| 99re99在线看| 五月天婷婷影院| 九九sese| 香蕉AV777XXX色综合一区| ji'qing'luan'ren'lun| 亚洲乱码精品久久久久..| 午夜性爱影视一区77| 尤物一区二区| 成人狠狠成人狠狠成人狠狠成人狠狠| 四川女人毛多水多A片| 天天干天天色天天干| 99re视频在线| 97人人做| 超碰人人操在线| 啪啪视频99| 婷婷六月伊人| 免费精品99| 日日干五月天婷婷| 五月婷婷,狠狠操| www.色色com| 亚洲精品性色| 亚洲A片成人无码久久精品青桔 | 怡红院院在线导航网 | 五月丁香婷婷AV天堂| 超碰成人电影| 一区二区免费看| 欧美日韩AAA| 九九XX视频| 五月婷婷天天色| 激情五月综合网| 色九月婷婷| 99精品在这里| 久久久久久久97| 97碰| 91婷婷在线观看| 色婷婷的五月天| 亚洲第二AV| 人人摸人人澡人人| 99久免费视频| 91九色欧美|