欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

腦卒中預(yù)測(cè)模型實(shí)戰(zhàn):從CSV清洗到SHAP可解釋性全流程

腦卒中預(yù)測(cè)模型實(shí)戰(zhàn):從CSV清洗到SHAP可解釋性全流程 簡(jiǎn)介面向醫(yī)療數(shù)據(jù)分類(lèi)入門(mén)者的一套完整中風(fēng)預(yù)測(cè)項(xiàng)目采用Jupyter Notebook實(shí)現(xiàn)基于Kaggle公開(kāi)數(shù)據(jù)按性別、年齡、疾病史與吸煙狀況等特征預(yù)測(cè)中風(fēng)風(fēng)險(xiǎn)并以F1分?jǐn)?shù)與AUC均達(dá)到1.0為優(yōu)化目標(biāo)適合學(xué)習(xí)特征工程、模型評(píng)估與可視化分析。壓縮包共11個(gè)文件大小4.36MB包含3個(gè)ipynb分析筆記、訓(xùn)練好的.pkl模型、原始CSV數(shù)據(jù)集、Python腳本、部署所需的Procfile、sh配置及說(shuō)明文檔兼顧從建模到部署的完整鏈路。目前已有739人學(xué)習(xí)。借助這套項(xiàng)目可快速?gòu)?fù)現(xiàn)模型訓(xùn)練流程理解醫(yī)療數(shù)據(jù)清洗與分類(lèi)建模的關(guān)鍵步驟還能參考其部署配置是一份緊湊且可操作性強(qiáng)的實(shí)踐資料。1. 腦卒中預(yù)測(cè)模型不是玄學(xué)是能救命的二分類(lèi)問(wèn)題每年體檢報(bào)告出來(lái)總有人盯著血壓、血糖、BMI 那一欄發(fā)呆不知道這幾個(gè)數(shù)字放在一起意味著什么。stroke-prediction-model 這個(gè)項(xiàng)目本質(zhì)上就是把這幾個(gè)常規(guī)指標(biāo)和歷史病例喂給模型讓它告訴你這個(gè)人在未來(lái)會(huì)不會(huì)中風(fēng)。它不是什么實(shí)驗(yàn)室里遙不可及的成果而是一個(gè)標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)二分類(lèi)問(wèn)題特征是體檢數(shù)據(jù)和生活方式標(biāo)簽是是否發(fā)生過(guò)腦卒中。你能在這個(gè)項(xiàng)目里跑通的東西直接套用到心梗預(yù)測(cè)、糖尿病并發(fā)癥預(yù)測(cè)上也成立。它適合兩類(lèi)人一類(lèi)是剛學(xué)完 sklearn 想找個(gè)真實(shí)數(shù)據(jù)集練手的數(shù)據(jù)分析師另一類(lèi)是想把機(jī)器學(xué)習(xí)引入體檢報(bào)告解讀的業(yè)務(wù)方——哪怕最后只做到風(fēng)險(xiǎn)評(píng)估分級(jí)也已經(jīng)比單看某個(gè)體檢指標(biāo)的“異常箭頭”有用得多。2. 讀懂 CSV 先看懂病歷stroke 數(shù)據(jù)集的字段含義與清洗邊界2.1 數(shù)據(jù)集的 12 列哪些是信號(hào)哪些是噪音先說(shuō)明一下這里說(shuō)的“stroke 數(shù)據(jù)集”是什么。最常見(jiàn)的公開(kāi)來(lái)源是 Kaggle 的 Brain Stroke Dataset一個(gè) CSV 文件大約 5000 行左右每行代表一位住院或體檢患者。別看行數(shù)不多字段的醫(yī)學(xué)含義和可挖掘程度比很多百萬(wàn)級(jí)數(shù)據(jù)集要高。它的 12 列分別是字段類(lèi)型說(shuō)明id數(shù)值患者唯一標(biāo)識(shí)訓(xùn)練時(shí)直接丟棄gender二分類(lèi)男 / 女a(chǎn)ge連續(xù)值年齡hypertension二分類(lèi)是否患有高血壓0 或 1heart_disease二分類(lèi)是否患有心臟病0 或 1ever_married二分類(lèi)是否曾結(jié)婚實(shí)際上是年齡的一個(gè)代理變量work_type多分類(lèi)工作類(lèi)型政府工作、個(gè)體戶(hù)、私營(yíng)企業(yè)、兒童、退休Residence_type二分類(lèi)城市 / 農(nóng)村avg_glucose_level連續(xù)值平均血糖水平bmi連續(xù)值身體質(zhì)量指數(shù)smoking_status多分類(lèi)吸煙狀態(tài)從不吸煙、戒煙、吸煙、未知stroke二分類(lèi)標(biāo)簽是否發(fā)生過(guò)腦卒中1 為正例這里第一個(gè)坑就出現(xiàn)了ever_married 這個(gè)字段本身沒(méi)有因果意義但它和年齡強(qiáng)線(xiàn)性相關(guān)——兒童不可能結(jié)婚退休老人絕大多數(shù)結(jié)過(guò)婚。有些初學(xué)者把它當(dāng)成獨(dú)立特征直接喂進(jìn)去結(jié)果模型給“已婚”賦予了很高的權(quán)重看起來(lái)像是“結(jié)婚會(huì)中風(fēng)”實(shí)際上是模型拿它當(dāng)年齡的代用品。建議把這個(gè)字段和 age 一起做交叉特征再進(jìn)模型或者干脆丟棄。處理這個(gè) CSV 的最小代碼是這樣import pandas as pd df pd.read_csv(stroke.csv) # 丟棄無(wú)信息字段 df.drop(columns[id], inplaceTrue) # 類(lèi)別字段轉(zhuǎn)成 category 類(lèi)型方便后續(xù)處理 cat_cols [gender, work_type, Residence_type, smoking_status, ever_married] for c in cat_cols: df[c] df[c].astype(category) print(df.dtypes) print(正例占比: %.4f % df[stroke].mean())正例占比這一行最關(guān)鍵。公開(kāi)數(shù)據(jù)集的 stroke 標(biāo)簽占比通常在 1.5% 到 2% 之間這是一個(gè)極度不平衡的二分類(lèi)問(wèn)題。如果你不做任何處理直接訓(xùn)練邏輯回歸模型會(huì)學(xué)會(huì)“全部預(yù)測(cè)為 0”準(zhǔn)確率高達(dá) 98%但你什么都預(yù)測(cè)不出來(lái)。這就是為什么這個(gè)項(xiàng)目不是簡(jiǎn)單地“跑通一個(gè)模型”就完事要從數(shù)據(jù)層面就意識(shí)到不平衡的存在。2.2 清洗不是刪行而是審問(wèn)數(shù)據(jù)從哪里來(lái)再來(lái)啃硬骨頭age、bmi、smoking_status 三個(gè)字段各有各的毛病。age 字段里最容易出現(xiàn)年齡為 0 的記錄。這批數(shù)據(jù)里大約有幾十行 age0對(duì)應(yīng)的 work_type 是“children”合理地解釋是這些是嬰幼兒記錄。處理方式是保留還是剔除保留因?yàn)橹酗L(fēng)風(fēng)險(xiǎn)在年齡分布上是右偏的嬰幼兒樣本能幫助模型把“年齡小低風(fēng)險(xiǎn)”這個(gè)邊界學(xué)到。但如果是 0 歲且 avg_glucose_level 反常地高說(shuō)明記錄有誤直接剔除更穩(wěn)妥。bmi 的缺失率在公開(kāi)數(shù)據(jù)集里大概有 4% 左右。直接用 dropna 會(huì)丟掉這些行但更常見(jiàn)的問(wèn)題是 bmi 與性別、年齡的交互信息——女性在低 BMI 區(qū)間的心血管保護(hù)效應(yīng)在中老年后會(huì)消失這種交互不是缺失值填充能解決的。處理辦法是結(jié)合 avg_glucose_level 和 age 做條件填充否則模型會(huì)低估 BMI 的梯度效應(yīng)。smoking_status 里的“Unknown”是個(gè)大坑。它占了接近 30% 的比例看起來(lái)像是一個(gè)合法類(lèi)別其實(shí)它是數(shù)據(jù)采集時(shí)的缺失標(biāo)記。如果你把它當(dāng)成一個(gè)真實(shí)的類(lèi)別做 one-hot模型會(huì)學(xué)到“Unknown 的人風(fēng)險(xiǎn)更高”這純粹是采集偏差導(dǎo)致的幻覺(jué)。我處理這個(gè)字段時(shí)的做法是把 Unknown 單獨(dú)標(biāo)記為缺失然后用多分類(lèi)模型比如簡(jiǎn)單的隨機(jī)森林基于 age、work_type、gender 做預(yù)測(cè)填充而不是直接填眾數(shù)“從不吸煙”。下面是完整的數(shù)據(jù)清洗流程import numpy as np # 1. 剔除明顯異常age0 但血糖過(guò)高的記錄 df df[~((df[age] 0) (df[avg_glucose_level] 120))] # 2. bmi 條件填充按 age 四分位和中位數(shù)填充 for q in [0.25, 0.5, 0.75]: low, high df[age].quantile(q - 0.25), df[age].quantile(q 0.25) mask (df[age] low) (df[age] high) median_bmi df.loc[mask, bmi].median() df.loc[mask df[bmi].isna(), bmi] median_bmi # 3. smoking_status 的 Unknown 視為缺失用其他特征預(yù)測(cè)填充 from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score df[smoking_status] df[smoking_status].replace(Unknown, np.nan) known df[df[smoking_status].notna()] unknown df[df[smoking_status].isna()] X_known known[[age, gender, work_type]].copy() X_known pd.get_dummies(X_known, drop_firstTrue) y_known known[smoking_status] X_unknown unknown[[age, gender, work_type]].copy() X_unknown pd.get_dummies(X_unknown, drop_firstTrue) clf RandomForestClassifier(n_estimators100, random_state42) clf.fit(X_known, y_known) df.loc[df[smoking_status].isna(), smoking_status] clf.predict(X_unknown)邏輯說(shuō)明第 3 步你是拿“已知吸煙狀態(tài)的人”的年齡、性別、工作類(lèi)型做訓(xùn)練再對(duì)“未知”的人做預(yù)測(cè)填充。這么做保留了 smoking_status 與年齡的大趨勢(shì)——年輕群體中 Unknown 的比率更高如果直接填眾數(shù)等于把年輕人全部塞進(jìn)“從不吸煙”組模型的年齡斜率會(huì)被拉平后面做可解釋性分析時(shí) SHAP 值會(huì)變得很怪。參數(shù)說(shuō)明隨機(jī)森林用 100 棵樹(shù)在這個(gè)場(chǎng)景已經(jīng)足夠樹(shù)的深度不需要刻意限制因?yàn)橛?xùn)練集只有幾千行過(guò)擬合風(fēng)險(xiǎn)主要在特征層面而不是樹(shù)的結(jié)構(gòu)層面。如果你發(fā)現(xiàn)填充后的類(lèi)別分布在 validate 集上變化很大可以把 n_estimators 降到 50并用交叉驗(yàn)證檢查穩(wěn)定性。2.3 處理類(lèi)別不平衡不要在全局做 SMOTE類(lèi)別不平衡的常規(guī)解法是過(guò)采樣、欠采樣、SMOTE 以及加權(quán)損失函數(shù)。很多教程直接告訴你“用 SMOTE 就行”但沒(méi)說(shuō)清楚一個(gè)細(xì)節(jié)SMOTE 必須在訓(xùn)練集內(nèi)部做不能拿全套數(shù)據(jù)做完了再切訓(xùn)練測(cè)試集。一旦你先 SMOTE 再切分合成樣本的鄰近樣本會(huì)同時(shí)出現(xiàn)在訓(xùn)練集和測(cè)試集里測(cè)試集被“污染”了驗(yàn)證指標(biāo)會(huì)虛高——這是典型的 data leakage。正確的做法是把數(shù)據(jù)切分后再在訓(xùn)練集上過(guò)采樣。SMOTE 本身是合成少數(shù)類(lèi)樣本的插值算法它對(duì)連續(xù)特征有效對(duì)類(lèi)別特征會(huì)產(chǎn)生不合邏輯的組合比如“性別男”但“是否結(jié)婚否”且“年齡2 歲”的沖突樣本。我一般會(huì)先對(duì)類(lèi)別特征做 one-hotSMOTE 生成的樣本在 one-hot 空間里大多還是連續(xù)的最后需要把超過(guò) 0.5 的維度重新閾值化否則后續(xù)樹(shù)模型還能用但邏輯回歸會(huì)認(rèn)為特征組合是合理的產(chǎn)生誤導(dǎo)。如果你用 XGBoost 或 LightGBM最簡(jiǎn)單也最不容易出問(wèn)題的做法不是 SMOTE而是調(diào) scale_pos_weight值約為負(fù)例數(shù)量除以正例數(shù)量。這個(gè)參數(shù)的效果和給正例加權(quán)等價(jià)不需要額外的數(shù)據(jù)生成也不存在泄漏問(wèn)題是實(shí)戰(zhàn)里最穩(wěn)妥的起手式。3. 特征工程把年齡、血糖、BMI 變成模型真正能用的信號(hào)3.1 連續(xù)特征的截?cái)唷⒎窒渑c交互原始數(shù)據(jù)里的 avg_glucose_level 和 bmi 是連續(xù)的但在真實(shí)世界里醫(yī)生不會(huì)說(shuō)“你的血糖偏高 0.3”而會(huì)說(shuō)“你的血糖已經(jīng)進(jìn)入糖耐量異常區(qū)間”。樹(shù)模型能夠自動(dòng)在分裂點(diǎn)找到這些區(qū)間但邏輯回歸不能。所以特征工程的第一步是決定你要用哪種模型再倒推特征怎么造。如果你堅(jiān)持用邏輯回歸做基線(xiàn)建議把血糖和 BMI 做分箱同時(shí)保留原始值作為連續(xù)特征。分箱時(shí)不要用等距分箱等距分箱在年齡段會(huì)把 0 到 80 均勻切切出來(lái)的結(jié)果全是人口分布噪音沒(méi)有醫(yī)學(xué)意義。用等頻分箱或者按醫(yī)學(xué)標(biāo)準(zhǔn)手動(dòng)劃定區(qū)間更好。比如血糖低于 6.1 的為正常6.1 到 7.0 為糖耐量異常高于 7.0 為糖尿病疑似區(qū)間這三個(gè)區(qū)間和腦卒中風(fēng)險(xiǎn)的流行病學(xué)結(jié)論是對(duì)得上的。交互特征則是這個(gè)項(xiàng)目的加分項(xiàng)。高血壓和心臟病單獨(dú)分開(kāi)看各自權(quán)重都不高但如果一個(gè)人同時(shí)有高血壓和糖尿病疑似血糖風(fēng)險(xiǎn)會(huì)顯著拉高。這類(lèi)交互效應(yīng)靠樹(shù)模型的自動(dòng)分裂也能學(xué)一部分但顯式地把乘積項(xiàng)或邏輯與項(xiàng)喂進(jìn)去對(duì)邏輯回歸的收益非常明顯。# 血糖分箱 df[glucose_bin] pd.cut( df[avg_glucose_level], bins[0, 6.1, 7.0, np.inf], labels[normal, prediabetes, diabetes], ) # 高血壓與血糖的交互 df[htn_glucose] df[hypertension] * (df[glucose_bin] diabetes).astype(int) # 年齡與 BMI 的交互 df[age_bmi] df[age] * df[bmi] # 構(gòu)造 BMI 異常標(biāo)記 df[bmi_high] (df[bmi] 27.9).astype(int)這里把年齡乘 BMI 作為特征看起來(lái)是把兩個(gè)連續(xù)變量強(qiáng)湊成了一個(gè)高數(shù)值變量實(shí)際上這是在模擬“代謝綜合征”的概念——高 BMI 加年齡增長(zhǎng)帶來(lái)的風(fēng)險(xiǎn)不是線(xiàn)性疊加而是近似乘積的關(guān)系。如果你對(duì)數(shù)值范圍敏感可以先各自標(biāo)準(zhǔn)化再相乘這樣交互項(xiàng)的量級(jí)不會(huì)把其他特征壓死。我通常不會(huì)做太多次方或開(kāi)方變換因?yàn)檫@些變量在醫(yī)學(xué)上早已被研究成對(duì)數(shù)線(xiàn)性關(guān)系強(qiáng)行多項(xiàng)式化只會(huì)增加過(guò)擬合面。3.2 編碼方式為什么對(duì)年齡分箱比直接標(biāo)簽編碼好工作類(lèi)型、吸煙狀態(tài)和性別這三個(gè)類(lèi)別特征直接 LabelEncoder 是錯(cuò)誤做法因?yàn)檫@會(huì)讓模型誤以為“政府1、個(gè)體2、私營(yíng)3”是有序的而實(shí)際上它們之間沒(méi)有順序關(guān)系。One-hot 是穩(wěn)妥的但有些字段的基數(shù)你會(huì)發(fā)現(xiàn)很高比如 work_type 有 5 個(gè)類(lèi)別one-hot 之后產(chǎn)生 4 個(gè)新列沒(méi)什么問(wèn)題但 smoking_status 如果算上 Unknown 后有 4 類(lèi)會(huì)產(chǎn)生 3 列其中“從不吸煙”是頻率最高的一類(lèi)會(huì)被當(dāng)成參考類(lèi)其余各類(lèi)的系數(shù)都相對(duì)它而言解釋這樣 OK。不過(guò)有個(gè)問(wèn)題one-hot 之后腳本能跑但業(yè)務(wù)方來(lái)問(wèn)“為什么從不吸煙的人中風(fēng)風(fēng)險(xiǎn)比戒煙的人還高”你會(huì)很難解釋。統(tǒng)計(jì)上這是因?yàn)椤皬牟晃鼰煛比后w里混入了大量年輕人而“戒煙”群體多半是年齡偏大的老煙民。要講清楚這個(gè)事一個(gè)技巧是把 age 做分箱后與 smoking_status 做交叉表展示每個(gè)吸煙狀態(tài)下的年齡中位數(shù)。這不改變模型但能讓你的解釋站得住腳。你還可以考慮用目標(biāo)編碼用同一組樣本的“平均中風(fēng)率”作為該類(lèi)別的新編碼。比如“戒煙”這個(gè)類(lèi)別的目標(biāo)均值可能高于“從不吸煙”于是編碼數(shù)值自然更大。這在樹(shù)模型上非常有效但必須防泄漏——目標(biāo)編碼必須在訓(xùn)練集內(nèi)算均值測(cè)試集用訓(xùn)練集的統(tǒng)計(jì)量去映射否則測(cè)試集信息會(huì)被間接引入訓(xùn)練過(guò)程。3.3 缺失值的邊界什么時(shí)候值得預(yù)測(cè)填充什么時(shí)候放棄bmi 的缺失率只有 4%用中位數(shù)或條件中位數(shù)填充就夠了不值得大動(dòng)干戈。但 smoking_status 的 Unknown 接近 30%這個(gè)缺失率如果再填眾數(shù)模型就會(huì)發(fā)現(xiàn)“Unknown 變成從不吸煙”這個(gè)類(lèi)別后從不吸煙的中風(fēng)率反而波動(dòng)異常。我的建議是bmi 缺失用年齡分層中位數(shù)填充不引入額外模型誤差smoking_status 缺失用預(yù)測(cè)填充但要在評(píng)估時(shí)檢查填充后類(lèi)別比例是否偏離先驗(yàn)如果某批數(shù)據(jù)的缺失率高于 50%放棄填充單獨(dú)生成一個(gè) is_missing 標(biāo)記列讓模型自己去學(xué)“缺失本身就是一種狀態(tài)”。第 3 條尤其適用于真實(shí)醫(yī)院數(shù)據(jù)。Tableau 類(lèi)的 BI 工具看不出來(lái)但機(jī)器學(xué)習(xí)模型見(jiàn)過(guò)太多“缺失和異常捆綁在一起”的案例——往往是某段時(shí)間的數(shù)據(jù)采集員偷懶導(dǎo)致整批記錄的 smoking_status 全是 Unknown而這種記錄對(duì)應(yīng)的患者群體可能在年齡結(jié)構(gòu)上都不一樣。你把它填掉等于掩蓋了一種真實(shí)存在的偏差。保留 is_missing 列模型至少有機(jī)會(huì)去利用這個(gè)信號(hào)。4. 從邏輯回歸到 LightGBM基線(xiàn)、集成、類(lèi)別不平衡三步走4.1 基線(xiàn)模型的建模順序與評(píng)估協(xié)議任何預(yù)測(cè)模型項(xiàng)目都應(yīng)該先跑一個(gè)簡(jiǎn)單的基線(xiàn)再上黑匣子。基線(xiàn)的作用有兩個(gè)驗(yàn)證數(shù)據(jù)管線(xiàn)沒(méi)有 bug、定一個(gè)指標(biāo)下限。這里先不急著上復(fù)雜模型我把數(shù)據(jù)集按 7:3 劃分同時(shí)做分層抽樣保證 test 集里正例比例和 full 集一致。如果你用train_test_split的時(shí)候不傳stratify在 1.8% 的正例比例下測(cè)試集可能一個(gè)正例都分不到那你后面所有評(píng)估都無(wú)從談起。這里的代碼寫(xiě)法要認(rèn)真看from sklearn.model_selection import train_test_split X df.drop(columns[stroke]) y df[stroke] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy, # 分層抽樣保證正例比例在 train/test 中一致 )邏輯說(shuō)明stratifyy讓切分算法在選樣本時(shí)按 y 的類(lèi)別比例做配額避免隨機(jī)切分導(dǎo)致的小類(lèi)別丟失。對(duì)于這種正例只有 2% 的數(shù)據(jù)集這一步不是可選項(xiàng)而是必選項(xiàng)。基線(xiàn)模型用邏輯回歸加標(biāo)準(zhǔn)化的組合。注意邏輯回歸需要?dú)w一化特征因?yàn)槟挲g的數(shù)值范圍是 0 到 80血糖是 50 到 300BMI 是 15 到 50不歸一化的話(huà)梯度下降在表達(dá)能力上會(huì)偏向數(shù)值大的特征雖然最終收斂但訓(xùn)練時(shí)間變長(zhǎng)系數(shù)解釋也不直觀(guān)。from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LogisticRegression from sklearn.metrics import roc_auc_score, average_precision_score # 對(duì)訓(xùn)練集做 one-hot保持測(cè)試集和訓(xùn)練集列一致 X_train pd.get_dummies(X_train, drop_firstTrue) X_test pd.get_dummies(X_test, drop_firstTrue) X_test X_test.reindex(columnsX_train.columns, fill_value0) pipe make_pipeline( StandardScaler(), LogisticRegression(max_iter1000, class_weightbalanced), ) pipe.fit(X_train, y_train) y_prob pipe.predict_proba(X_test)[:, 1] print(ROC-AUC: %.4f % roc_auc_score(y_test, y_prob)) print(PR-AUC: %.4f % average_precision_score(y_test, y_prob))class_weightbalanced是在損失函數(shù)層面給正例更高的懲罰權(quán)重權(quán)重與類(lèi)別頻率成反比。這是邏輯回歸處理不平衡最簡(jiǎn)單的方式不需要額外采樣。reindex(columnsX_train.columns, fill_value0)這行經(jīng)常被人漏掉one-hot 之后測(cè)試集如果缺少訓(xùn)練集里出現(xiàn)的某個(gè)類(lèi)別列數(shù)會(huì)不一致模型調(diào)用會(huì)直接報(bào)錯(cuò)反之測(cè)試集里出現(xiàn)新類(lèi)別會(huì)被原始 get_dummies 多出一列必須用 reindex 掐掉???ROC-AUC 的時(shí)候要留個(gè)心眼ROC-AUC 在某些極端不平衡場(chǎng)景下會(huì)虛高因?yàn)榧訇?yáng)性率的分母所有負(fù)例很大即使產(chǎn)生不少假陽(yáng)性FPR 依然很低。這個(gè)數(shù)據(jù)集更值得看 PR-AUC也就是 average_precision_score它在正例極少時(shí)能反映模型在“找到正例”這件事上的精確率與召回率的平衡。4.2 XGBoost 與 LightGBM 的實(shí)戰(zhàn)參數(shù)起點(diǎn)如果基線(xiàn)能跑到 0.85 以上的 ROC-AUC說(shuō)明信號(hào)是存在的接下來(lái)就輪到集成模型上場(chǎng)。對(duì)于幾千行的小樣本XGBoost 和 LightGBM 的表現(xiàn)通常差別不大但 LightGBM 在訓(xùn)練速度和內(nèi)存上更優(yōu)勢(shì)特別是你用 one-hot 之后的稀疏矩陣喂它時(shí)優(yōu)勢(shì)更明顯。初次訓(xùn)練不要一上來(lái)就調(diào)參先跑一組合理的默認(rèn)點(diǎn)from lightgbm import LGBMClassifier lgb LGBMClassifier( n_estimators300, learning_rate0.05, num_leaves31, max_depth5, subsample0.8, colsample_bytree0.8, scale_pos_weighty_train.value_counts()[0] / y_train.value_counts()[1], random_state42, ) lgb.fit( X_train, y_train, eval_set[(X_test, y_test)], eval_metricauc, ) y_prob_lgb lgb.predict_proba(X_test)[:, 1] print(LGB PR-AUC: %.4f % average_precision_score(y_test, y_prob_lgb))scale_pos_weight用負(fù)例數(shù)除以正例數(shù)來(lái)算在這個(gè)數(shù)據(jù)集里大約就是 50 左右。這個(gè)值和邏輯回歸里的 class_weight 是等價(jià)思想只是 LightGBM 把它暴露成了獨(dú)立參數(shù)。eval_set必須在調(diào)參過(guò)程中始終用固定的驗(yàn)證集不能每次隨機(jī)切分否則你看到的“變好”只是數(shù)據(jù)切分帶來(lái)的波動(dòng)翻車(chē)概率極高。關(guān)于num_leaves在葉子節(jié)點(diǎn)數(shù)相同的情況下LightGBM 比 XGBoost 可以表達(dá)更復(fù)雜的函數(shù)。如果你在小樣本上把這個(gè)參數(shù)調(diào)太大模型會(huì)瘋狂分裂記憶訓(xùn)練集你會(huì)在驗(yàn)證集上看到一小段上升后快速下跌的曲線(xiàn)。一般我先定max_depth5把樹(shù)的深度鎖住再去動(dòng)其他參數(shù)能少掉很多頭發(fā)。4.3 為什么在 5000 行上 5 折交叉驗(yàn)證比單獨(dú)驗(yàn)證集更可靠樣本量不大時(shí)單獨(dú)劃分一個(gè) test 集的指標(biāo)方差很大。同樣是隨機(jī)種子 42 和 2024ROC-AUC 可能相差 0.03這一點(diǎn)在業(yè)務(wù)匯報(bào)時(shí)非常致命。我的做法是內(nèi)部用 5 折交叉驗(yàn)證外部留一個(gè)獨(dú)立 test 集只用來(lái)做最終確認(rèn)平時(shí)所有調(diào)參操作都看交叉驗(yàn)證的均值。from sklearn.model_selection import StratifiedKFold, cross_val_predict cv StratifiedKFold(n_splits5, shuffleTrue, random_state0) y_cv_pred cross_val_predict(lgb, X_train, y_train, cvcv, methodpredict_proba)[:, 1] print(CV PR-AUC: %.4f % average_precision_score(y_train, y_cv_pred))cross_val_predict輸出的不是一次模型預(yù)測(cè)而是每一折模型對(duì)對(duì)應(yīng)驗(yàn)證部分的預(yù)測(cè)拼起來(lái)的因此每個(gè)訓(xùn)練樣本的預(yù)測(cè)值都來(lái)自一個(gè)“沒(méi)見(jiàn)過(guò)它”的模型。這能比較誠(chéng)實(shí)地反映模型在未知數(shù)據(jù)上的概率輸出分布。但要注意cross_val_predict的輸出不能用于計(jì)算需要全局閾值的指標(biāo)比如 F1因?yàn)槊恳徽鄣念A(yù)測(cè)分?jǐn)?shù)尺度可能略有差別拼在一起后閾值會(huì)失真。PR-AUC 和 ROC-AUC 這類(lèi)排序指標(biāo)影響較小。到這里你已經(jīng)擁有了一個(gè)能跑通、結(jié)果可復(fù)現(xiàn)的基線(xiàn)模型和一個(gè)樹(shù)模型。下一章專(zhuān)門(mén)講我在實(shí)際項(xiàng)目里翻過(guò)車(chē)的地方這些坑不看代碼永遠(yuǎn)發(fā)現(xiàn)不了。5. 訓(xùn)練避坑清單數(shù)據(jù)泄漏、指標(biāo)騙局、過(guò)擬合預(yù)警5.1 現(xiàn)象測(cè)試集 ROC-AUC 0.96業(yè)務(wù)驗(yàn)證一塌糊涂原因把特征工程里的統(tǒng)計(jì)量計(jì)算放在切分之前了。我在一個(gè)類(lèi)似項(xiàng)目里犯過(guò)這樣的錯(cuò)誤先對(duì)全量數(shù)據(jù)做了StandardScaler.fit()得到均值和方差然后才切分訓(xùn)練集和測(cè)試集。測(cè)試集的均值和方差已經(jīng)參與到了訓(xùn)練過(guò)程里雖然不嚴(yán)重但測(cè)試集的指標(biāo)會(huì)被“已知分布”抬高。如果換成目標(biāo)編碼或缺失值填充這類(lèi)帶有標(biāo)簽信息的操作泄漏就非常嚴(yán)重了。解決所有統(tǒng)計(jì)量型操作包括填充中位數(shù)、目標(biāo)編碼類(lèi)別均值、標(biāo)準(zhǔn)化均值方差全部在訓(xùn)練集內(nèi)計(jì)算然后應(yīng)用transform到測(cè)試集。我習(xí)慣把這個(gè)固定流程封裝成一個(gè)函數(shù)每次做實(shí)驗(yàn)從函數(shù)入口進(jìn)入而不是在 Notebook 單元格里隨手寫(xiě)。提示判斷是否泄漏的方法很簡(jiǎn)單——把你做特征工程的代碼跑兩遍一遍用全量數(shù)據(jù)一遍只用訓(xùn)練集數(shù)據(jù)比較測(cè)試集指標(biāo)差異。差異超過(guò) 0.01 就要警惕泄漏了。5.2 現(xiàn)象準(zhǔn)確率 98%實(shí)際一張病人報(bào)告都不敢出原因陷入了 accuracy 的騙局。98% 的準(zhǔn)確率在 1.8% 的正例比例下毫無(wú)意義模型把所有樣本都預(yù)測(cè)為負(fù)例就能拿到 98%。這類(lèi)數(shù)據(jù)集的正確打開(kāi)方式是 PR-AUC 和假陽(yáng)性率的業(yè)務(wù)代價(jià)分析——如果模型漏掉一個(gè)真正的中風(fēng)高風(fēng)險(xiǎn)患者代價(jià)遠(yuǎn)遠(yuǎn)高于把 10 個(gè)低風(fēng)險(xiǎn)者標(biāo)記為高風(fēng)險(xiǎn)。解決先和業(yè)務(wù)方確認(rèn)場(chǎng)景。如果這個(gè)模型是用來(lái)“篩選高風(fēng)險(xiǎn)人群做進(jìn)一步檢查”那寧可犧牲精確率也要提高召回率并設(shè)置一個(gè)比 0.5 更低的決策閾值。這個(gè)閾值的選擇不能看 AUC要看實(shí)際可用場(chǎng)景下的假陽(yáng)性數(shù)量。比如驗(yàn)證集上有 200 個(gè)負(fù)例你能接受把它們中的多少個(gè)誤判為高風(fēng)險(xiǎn)反推閾值。5.3 現(xiàn)象LightGBM 訓(xùn)練集 PR-AUC 0.98測(cè)試集 0.61原因過(guò)擬合。這個(gè)數(shù)據(jù)集的真實(shí)信號(hào)能撐起的 PR-AUC 上限大約在 0.60 到 0.70 之間超過(guò)這個(gè)值大概率是在記憶噪聲。我在初調(diào) num_leaves 時(shí)拉到了 128訓(xùn)練集指標(biāo)直接逼近完美。解決把 num_leaves 限制在 16 到 31 之間并打開(kāi)reg_alpha和reg_lambda做 L1/L2 正則。L2 正則能讓權(quán)重均勻化L1 正則能直接把某些噪聲特征的權(quán)重壓到 0。我在小樣本數(shù)據(jù)集上常用的組合是reg_alpha0.1、reg_lambda1.0。如果想更穩(wěn)妥在 eval_set 上打開(kāi)early_stopping_rounds50一旦驗(yàn)證集指標(biāo)連續(xù) 50 輪不改進(jìn)就停止訓(xùn)練。5.4 現(xiàn)象bmi 填充后又出現(xiàn)大片缺失原因不是代碼問(wèn)題是原始數(shù)據(jù)里有 bmi 0 的記錄0 被當(dāng)作真實(shí)值保留了下來(lái)隨后在特征工程中這些 0 沒(méi)有參與條件中位數(shù)填充的邏輯最后被模型當(dāng)成有意義的數(shù)值。中風(fēng)風(fēng)險(xiǎn)模型如果對(duì) bmi0 的人產(chǎn)生極端預(yù)測(cè)說(shuō)出來(lái)就是個(gè)笑話(huà)。解決清洗階段就把 bmi 中小于等于 0 的記錄視為缺失與真實(shí)缺失一并處理。用df[bmi].replace(0, np.nan, inplaceTrue)統(tǒng)一標(biāo)記再走填充流程。5.5 現(xiàn)象SHAP 值解釋里“從不吸煙”比“戒煙”風(fēng)險(xiǎn)更高原因這可能不是模型錯(cuò)而是“從不吸煙”群體年齡偏小年齡變量吸收了風(fēng)險(xiǎn)解釋模型給 smoking_status 的殘余權(quán)重就被扭曲了。如果 age 沒(méi)有老年人口抽樣偏差這個(gè)現(xiàn)象不會(huì)出現(xiàn)但公開(kāi)數(shù)據(jù)集多半是從體檢記錄里扒下來(lái)的老年人體檢率高年輕人體檢率低。解決不糾結(jié)單個(gè)變量的方向而是用依賴(lài)圖看 smoking_status 與 age 的交互效應(yīng)。如果這個(gè)交互在圖中清晰可見(jiàn)說(shuō)明模型學(xué)到的邏輯是合理的只是系數(shù)解釋起來(lái)要繞一層。你還可以訓(xùn)練一個(gè)去掉 age 的對(duì)比模型看看 smoking_status 的系數(shù)方向變化用這個(gè)差異來(lái)給業(yè)務(wù)方解釋。6. 用 SHAP 看預(yù)測(cè)理由用閾值換回可解釋性模型跑完不是結(jié)束業(yè)務(wù)方或臨床人員一定會(huì)問(wèn)一句“你說(shuō)這個(gè)人風(fēng)險(xiǎn)高依據(jù)是什么”如果你答不上來(lái)模型就進(jìn)不了正式的決策流程。我的做法是讓 SHAP 值說(shuō)話(huà)它能把黑匣子的每一次預(yù)測(cè)拆成各個(gè)特征的貢獻(xiàn)度直接給出一個(gè)可復(fù)核的決策理由。import shap explainer shap.TreeExplainer(lgb) shap_values explainer.shap_values(X_test) # 強(qiáng)制解釋單個(gè)患者 shap.initjs() shap.force_plot(explainer.expected_value, shap_values[0, :], X_test.iloc[0, :])上面這段代碼輸出的是一個(gè) force plot它會(huì)顯示基線(xiàn)預(yù)測(cè)值全體樣本的平均預(yù)測(cè)概率和這個(gè)患者每個(gè)特征在上面的正向或負(fù)向拉力。比如基線(xiàn)概率是 0.02某個(gè)患者的 age 貢獻(xiàn)值 0.03hypertension 0.01bmi 貢獻(xiàn) -0.005最終預(yù)測(cè)概率就是大約 0.045。它比“模型權(quán)重”可靠得多因?yàn)闄?quán)重在高度相關(guān)特征之間會(huì)漂移而 SHAP 值是按特征實(shí)際貢獻(xiàn)計(jì)算的。接下來(lái)是閾值調(diào)整。這個(gè)模型默認(rèn)用 0.5 作為判定閾值會(huì)漏掉大量真正的高風(fēng)險(xiǎn)患者需要基于 PR 曲線(xiàn)找到業(yè)務(wù)上可接受的臨界點(diǎn)。在驗(yàn)證集上模擬一下分別嘗試 0.1、0.2、0.3 三個(gè)閾值計(jì)算每種閾值下的精確率和召回率。如果業(yè)務(wù)側(cè)的資源條件允許對(duì)預(yù)測(cè)為正例的患者做二次檢查偏向召回率的閾值完全可行。from sklearn.metrics import precision_recall_curve precision, recall, thresholds precision_recall_curve(y_test, y_prob_lgb) f1_scores 2 * precision * recall / (precision recall) best_idx np.argmax(f1_scores) best_threshold thresholds[best_idx] print(最優(yōu) F1 閾值: %.3f, F1: %.3f % (best_threshold, f1_scores[best_idx]))不過(guò)用 F1 最大化選出最優(yōu)閾值在醫(yī)學(xué)場(chǎng)景里未必合適。F1 把精確率和召回率等權(quán)看待但在腦卒中預(yù)測(cè)這個(gè)場(chǎng)景里漏診的代價(jià)遠(yuǎn)高于誤報(bào)的代價(jià)。我更習(xí)慣的做法是先和業(yè)務(wù)方確認(rèn)“可容忍的假陽(yáng)性數(shù)量上限”再反推閾值。比如驗(yàn)證集有 300 個(gè)負(fù)例業(yè)務(wù)方說(shuō)最多能承受 10 個(gè)假陽(yáng)性那就在驗(yàn)證集上把閾值從小往大調(diào)第一次讓假陽(yáng)性數(shù)小于 10 的閾值就是下限。我的個(gè)人習(xí)慣是把這整套流程沉淀成一個(gè)可復(fù)用的預(yù)測(cè)評(píng)價(jià)腳本包括交叉驗(yàn)證、PR 曲線(xiàn)、閾值選擇、SHAP 輸出四個(gè)部分。下次換一個(gè)疾病數(shù)據(jù)集只需要修改字段映射和業(yè)務(wù)閾值約束其他代碼原樣復(fù)用。stroke-prediction-model 最好的產(chǎn)出不是那份準(zhǔn)確率報(bào)告而是這套從原始 CSV 到可解釋預(yù)測(cè)的完整鏈路——模型能不能部署上線(xiàn)反而次要重要的是你已經(jīng)能讓一份體檢數(shù)據(jù)在幾分鐘內(nèi)變成一個(gè)有量化依據(jù)的風(fēng)險(xiǎn)判斷。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠干综合网| 日韩美女羞羞网站在线观看| 超碰人人艹| 一区二区三区四区五区| 色色色色五月天| 久久精品无码一区| 人人摸人人搞| 色天堂A| 精品婷婷五月视| www.com任你艹| 色色亚洲| 五月丁香在线观看| 99热免费精品| 99在线视频播放| www好屌操| 婷婷丁香激情综合色情| 成人AV中文字幕| tingtingcaobi| 99色天堂| 免费无码毛片一区二区A片| 九九这里是免费的视频5| 91人妻视频| 婷婷久热| 99婷婷| 色婷婷AⅤ| 免费观看全黄做爰的视频| 精品网站:999WWW| 五月丁香花开综合网| 日操| 色月视频| 另类国产综合| 中文字幕色色色| 九九热99re8热免费观看| 五月婷久久草| 久久九九@| 欧美日本不卡黄色片| 99国产精品白浆在线观看免费 | 狠狠人人婷婷| 久久99热这里只有精品| 天天肏高清在线| 丁香九月婷婷色| 丁香五月亭亭六月综合激情网| www.99在线| 97婷婷狠狠久久综合9色| 99九九99九九九视频精品| 国产成人精品一区二区三区视频 | 99ri精品视频在线观看| 香蕉综合网| 激情五月色婷婷| 97婷婷久久丁香| 另类图片五月天激情| 亚洲狠狠爱婷婷| 欧美黑人巨大性生话| 欧美一级色| www.婷婷| 九九色网专区| 99国产欧美视频| 婷婷五月丁香色色| 色五月婷婷自拍| 91精品无码久久久久久五月天| 丁香视频| 婷色五月| 丰满人妻一区三区三区| 九九婷婷网五月天| 夜夜骑夜夜操| 色色婷婷综合| 97人妻碰碰碰久久久久-最近国语高清| 东京热人妻一区二区三区在线| www.深爱激情| 九月激情网| 五月丁香久久| 久久人妻超碰一区| 日本在线99| 999激情视频| 色射影院| 婷婷五月丁香香蕉| AV在线观看网站| 国产精品美女| 亚洲五月天激情| 天天射影院| 久99久热| WWW.桔色成人.COM| se.久久视频在线观看| 日本123区日韩欧美不卡在线看| 丁香婷婷午夜| 色久播播| 亚洲久久激情| 婷婷亚洲综合| www久久久久久久| 中文字幕婷婷在线| 永久思思热在线| 国产欧美日韩一区二区三区| 色七七色九九| 五月天婷婷综合网| 狠狠色大香蕉| 婷婷五月丁香激情色情| 六月婷婷色色色| 97色色婷婷| 九九在线精点品| 性按摩玩人妻HD中文字幕| 久久大大香| 久婷久婷激情肉| 婷婷五月天成人在线视频| 亚洲 25P| 亚洲色网址| 黄网在线免费| 激情五月激情综合俺也去婷婷小说| 青草性爱视频| 91一起艹| 99欧美三级视频| 九月激情综合婷婷| 欧美综合五月丁香五月天| 色99在线| 欧美一级a | 色月视频| 99视频在线精品免费观看2| 久久激情中文| 婷婷丁香六月五月天| 色综合久久88色综合中文字幕| 成年人丁香五月| 120分钟婬片免费看| 丁香五月综合激情久久潮喷| 成人网站免费sxj| 99在线热视频| 亚洲成人AV一区在线观看| 日本WWW九九九| 日本无va视频| 久久久久人妻精品| 婷婷欧美综合| 亚洲熟女色| 91妻人人爽人人看片| 亚洲天堂爱爱| 日本啪啪天堂| 激情五月天啪啪| 99色在线观看视频| 影音先锋91网站在线观看| 亚洲在线操| 激情婷婷网| 激情综合五月| 女人露出p毛视频www网站| 九九热视频这里只有精品| 激情五月天婷婷| 丁香婷婷九月| 97热久久五月婷婷| 五月天激情www| 97操碰| www.久久久久| 玖玖在线视频| 丁香五月六月久久综合| 色婷五月天| 99re热在线视频| 五月久视频| 婷婷综合性爱网| 99久久婷婷国产综合精品草原| 99在线精品免费视频| 欧美性生交A片免费看| 激情五月天婷婷图| 精品人妻一区| 激情av| 九九操操| 性爱视频99| 天天综合久久| 操碰97| 夜色综合网| 久久激情五月婷婷| 五月婷婷99热| www色色com| 91久久久久久| 丁香婷婷色五月| 九九蜜臀精品| 人妻日日日| 丁香五月综合在线播放 | 欧美激情中文字幕| 91操碰| 婷婷综合另类| 99热手机在线精品| 五月天综合区| 久久久九九视频精品18| 大香蕉婷婷丁香天堂AV| 99热99热在线观看| 色噜噜狠狠狠狠色综合久欧美| 人人舔天天| 4438亚洲欧美| 久久久久久人妻| 99热在线精品播放| 亚洲熟妇无码乱子AV电影| 婷婷亚洲五| 欧洲亚洲精品| 丁香婷婷人妻综合网| 国产这里只有精品| 天天日天天做天天操| 影音先锋美国A| 天天肏天天插| 97超碰色| 中文字幕,综合,91| 色色狼人综合| 婷婷色五月激情| 久久婷婷五月国产色综合激情| 九九激情| 五月丁香六月婷婷综合伊人| 久久综合五月婷婷| 超碰大香蕉网| 九九精品这里只有| 亚洲色99综合天堂| 影音先锋91资源站| 九月丁香婷婷综合激情| 开心五月婷婷伊人| 99狠狠| 综合五月丁香97| 五月婷婷色| 成人亚洲精品| 无遮挡国产高潮视频免费观看| 夜夜天天天天天干天天爽| 97资源碰碰在线| 性色婷婷| 五月丁香六月婷婷视频| 九九热10| 欧美日韩国产一区| 久热精彩视频98| 成片免费播放| 五月丁香成人小说| 日逼免费视频| 激情六月丁香综合| 亚洲色色五月| 人妻久久久久久| 99综合免费视频| 日欧一片内射VA在线影院| 这里只有精彩视| 丁香五月大香蕉AV| 国产精品久久久久久久久久免费| 五月婷婷综合丁香视频| 操笔无码| 99综合一区| 丁香五月成人| a久久| 久久久人妻人伦| 99热网精品| 丁香六月在线| 啪啪干伊人婷婷| 91刘玥视频在线观看| 亚洲99热| 五月六月婷婷| 日本熟女三区| 亚洲成人av在线| 亚洲精品V天堂中文字幕| 五月天综合在线观看视频| 91日综合欧美| 五月婷婷婷丁香播| 青青五月天婷婷| 色色五月天com| 丁香六月欧美| 99这里只有精品| 日韩激情婷婷五月天| 99caobi| 五月丁香婷婷基地| 综合超碰熟| 玖玖在线视频| 97久久人人| 色色色色热| 可以免费看AV网站| 婷婷播5月| 亚洲九九99精品视频在线播放| 狠狠艹狠狠艹| 狠狠色性| 婷婷色色播五月天| 欧美va亚洲va在线播放| 日日狠狠久久偷偷四色综合免费| 亚州性爱99| 99视频精品全部免费观看| 丁香六月综合| 色婷婷激情小说网| 色五月久久成人婷婷| www.色综合.com| 五月天婷婷色播综合在线| 五月天久久久| 精品久久9| 六月婷婷久久| 深爱五月日韩| 色综合久久久久久久久五月| 天天综合.com| 深爱激情小说五月婷婷| 99色色网站| 麻豆雪千夏| 有码一区二区三区| 欧美精品中文字幕亚洲专区| 精品国产AV色一区二区深夜久久| 五月天色丁香| 久热这里| 超碰免费人人| 婷婷五月在线视频| 国产成人精品一区二三区熟女在线| 亚洲av无码精品色午夜| 操精品9| 狠狠色色| 99热在这里只有精品| 天天日夜夜拍| 欧美色五月| 五月成人综合| 99热99这里只有精品| Www.sesese丁香| 99re6在线视频精品免费| 成人在线日韩| 九九黄色网| 色婷操逼| 日本色婷婷久久99精品91| 狠狠色丁香| 中文字幕日韩无码制服诱或| 99无码视频| 久操热线| 久9综合| 97五月婷婷| 日日干五月天婷婷| 色吧五月婷婷| 色婷婷五月天| 激情久久综合网| 天天操夜夜夜夜爽| 婷婷五月天熟妇| 草美女在线观看视频在线播放| 涩涩涩,com| 日本婷婷综合精品| 五月天激情.com| 天天做 天天爱| 热久视频| 色综合中文| 激情久久久久久| 激情视频网址| 激情内射人妻1区2区3区| 天天射影院| 九九色情网站| 色婷婷91| 婷婷五月大| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 人人操人人干AV| 五月天婷婷免费| 婷婷六月色| 五月丁香婷婷综合| 超碰自拍天堂| 97久久人人| 久久五月天婷婷视频| 综合激情五月丁香9999久久精| 色婷五月天亚洲| 开心五月色婷婷综合开心网| 激情五月婷| 欧美日韩aaa| 夜夜涩涩涩| 色婷婷五月天天天干天天操天天爽 | 五月天综合激情网| 久久久九九九 99| 丁香五月激情欧欧美| 色深爱五月| 国产日韩精品SUV| 伊人婷婷综合| www.久久综合| 99超碰人人| 亚洲色色色色| 99久久婷婷国产综合精品电影| 一区色色色色网| 五月婷婷草| 1024AV视频| 日日想日日夜日日操| 大香蕉精品视频| 久久日曰| 欧美影院| 婷婷综合视频| 色色狼人综合| 精品久久9| 色综啪啪啪啪啪啪| AAAA网站| 99热欲| 九九热在这里只有精品| 久久婷婷午夜| 五月深爱网| 黄色国久久| 草操AV在线| 天天爽夜爽| 五月丁香婷婷综合久久| 伊人色综合久久久| 色欲色天天香综合| 九九亚洲| 久久婷婷亚洲五月天| 成人做爰黄A片免费看直播室男男| 婷婷丁香五月天婷婷| 四色永久成人网站| 狠狠擼综合| 天海翼中文字幕高| 激情深爱综合网| 丁香五月婷婷亚洲激情四射| 能直接看的av网站| 金桔一区二区ab地址| 特级西西4444www无码| 狠狠色丁香| www.激情| 99热在线中文字幕| 欧美色色日韩| 欧美色色色色色| 另类视频在线| 久热在线中文字幕色999舞 | 色 丁香婷婷| 超碰日韩人妻在线| 99综合网| 五月婷婷狠天天色综合| 丁香六月婷婷色XXXX| 99色色色色| 五月天婷婷涩涩| 婷婷六月综合基地| 五月天综合视频| 欧美日韩大黄| 天堂在线婷婷| 一本色道久久综合狠狠躁小说| 有码人妻久久| 超热久碰.com| 九九久久99| 婷婷五月天综合小说网| www.久久| 国产精品A片在线| 久久久噜噜噜久久人妻| 婷婷五月天开心激情网| 国产精品大香蕉| 日本视频不卡123区| 亚洲日日操| 亚洲九区| 成人一区在线观看| 开心五月色婷婷综合开心网| 日日夜夜狠狠| 99在线视频在线观看| 91九色PORNY大屁股| 欧洲一区二区| 久久深爱激情网| 狠狠爱婷婷| 国产人妻777人伦精品HD | 五月天婷婷影院影院观看| 综合色婷婷| 伊人在线视频| 丁香五月婷婷基地| 日韩一66精品| 91天天操天天干天天射| 亚洲成人无码免费| 欧州婷婷五月天综合| 日韩AV片| av在线观看网站| 深爱激情五月天婷婷网| 国产噜一噜天天噜| 99在线视频精品| 另类综合网| 天天肏夜夜肏| 久久九精品| 久久久久亚洲AV综合| 色天堂A| 五月丁香六月香综合激情| 9+1视频网址| 久久网址99热| 亞洲自怕| 激情五月天色色网| 亚洲激情网| 四色五月婷婷| 深爱激清网| 色之综合网| 九九综合色综合| 青青久久91| 久久精品99国产精品日本| 啪啪综合| 性爱网五月天| 99精品久久久| 国产成人在线精品| 亚洲婷婷丁香| 亚洲综合色色| 激情久久久久| 色五月色五天色情网| 婷婷五月天亚洲综合| 欧美婷婷五月天综合| 日韩无码一区二区三区四区| 亭亭玉立国色天香| 婷婷激情五月综合| 狠狠干五月天婷婷网| 色五月天激情| 日本三级大片| 99热综合在线| 婷婷色五月天第7色| 狠狠操.com| 久鲁鲁色网 | 久9久成人精品视频| 婷婷五月丁香激情图片| 成人一区在线观看| 丁香久久久| 婷婷色情五月| 97色在线观看视频| 婷婷综合激情| 丁香五月天婷婷久久| 视色网在线播放| 综合激情网| 日日射天天射| 大香蕉伊人爱在线| 久久人妻久久| 777精品久无码人妻蜜桃| 亚洲第一综合| 五月天大香蕉婷| 婷婷激情五月天激情小说 | 天天弄天天爽| 开心五月婷婷在线视频免费观看| 深爱激情网五月天| 激情五月天视频| 色情丁香五月婷婷精品| 五月丁香综合| 90色免费视频| 人妻视频在线| 色五月之第四色| 婷婷五月天亚洲天堂| 婷婷噜噜| 9999久久久久| 五月丁香综合精品欧美| 超碰国产在线观看| 激情网站五月| 五月丁香久久丝袜啪啪| 亚洲婷婷激情综合激情999精品| 26uuu成人网| 婷婷丁香色五月| 国产精品涩涩涩视频网站| 久久免费高| 婷婷五月精品中文字幕| 日韩黄黄| 久久久久激情网| 激情六月综合| 香蕉人妻AV久久久久天天| 欧美日韩国产一区二区| 免费99情趣网视频| 丁香婷婷情色五月天| 激情婷婷在线中文字幕| 天天做天天干天天综合网| 草逼大片| 六月丁香啪啪啪| 九九色情网五月天| 99re热精品视频国| 色停停五月天| 丁香五月偷拍| 日韩在线99| 九九热这里只有精品12| 久99热| 九九九九热99超碰| 日韩影院三级| 五月天综合婷婷| 色五月综合| 超级碰人人操人人干| 888精品福利地址| 亚洲日日日| 嫩草AV久久伊人妇女超级A| 三级99热| 午夜无码精品色综合久久| 亚洲综合久| 91日婷婷在线| 国产精品色色色色| 婷婷综合网站| 国产精品色婷婷久久久精品| 天天日天天做天天操| 色五月婷婷亚洲| 亚洲国产网站| 玖玖资源站蜜臀| 第九色区av天堂| 在线婷婷| 色色色色五月| 色婷婷丁香综合中文字幕| 五月丁香亚洲婷婷| 婷婷激情综合网| 五夜丁香| 五月婷婷综合网| 久热伊人91| 色爱综合视频| 久热超碰| 狠狠夜夜五月丁香| 免费观看的av| 丁香五月在线伊人| 久久综合干| 九九色区| 九九综合| 九九偷拍网| 色丁香六月| 亚洲综合色成丁香五月色| 亚洲超碰在线| 五月丁香啪啪网| 91日本在线| www.99热在线观看| 成人午夜免费电影| 五月丁香婷草| 99国产精品久久久久久久久久久| 欧美亚洲成人在线| 久操热线| 婷婷在线观看五月天在线视频| 婷婷久久五月| 91精品久久久久久77777| 99自拍视频网站| 热久69| 五月天激情视频| 色色色色色色色色色色色色色97| 九九综合色综合| 丁香五月婷婷激情尤物| 婷婷久久久久| 新久久五月天激情| 亚洲日本韩国| 丁香5月婷婷| 五月丁香六月停停停| 99久久久| 91丨九色丨熟女丰满| 欧美三级欧美一级| 久久 婷婷 五月天| 丁香六月婷婷久久综合| 西瓜美女a片| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | http:色情日本com| 激情AV中文| site:xiongshengzz.com| 五月婷婷婷婷婷| 9|无码久久久久久| 五月丁香激情综合| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 亚洲黄色精品| 三级av在线| 大香蕉婷婷久久| 九九99视频精品| 九色无码| 天天色天天爱天天爽| 久久性操| 涩丁香91| 99成人网站| 国产精品色| 亚洲国产精品SUV| av无码电影| 翔田千里无码| 天天色天天日| 久久9热| 久久激情综合| 色婷五月| 五月天AV大香蕉| 天天艹天天色| 色五月激情网| 欧美激情伊人| 日日夜夜小色哥| 丁香五月天啪啪| 先锋影音男人的天堂AV| 亚洲视频色色| 久久久五月天| 色婷婷天堂| 婷婷激情五月天在线| 丁香五月成人网| 色香久久| 婷婷六月丁| 日韩青青| 五月丁香婷婷爱激情综合网| 婷婷激情性爱| 色五月婷婷影院| 久久色这里只有精品| 国产av天堂| 97干在线| 婷婷丁香久久| 九九九九综合| 狠狠香蕉| 久久新地址| 天天做天天爱天天高潮| 9 9热这里有精品| 婷婷五月天色综合| 色.五月综合网| 亚洲第一色网站| 丁香六月五月天| 五月99久久| AV性爱在线| 日本wwww在线| 久热久操久热久草国产91| www.ppypp| 婷婷香蕉精品| 国模淫穴色图| 91久女| 国产一级婬片毛片| 牛色色碰| 操一操插一插| 婷婷丁香六月天激情四射网| 夜夜操天天爽| 人人超碰99| 亚洲中文乱字字幕在线永久| 亚洲最大视频网站| 五月天开心婷婷激情网站| 好吊兆人妻| 亚洲人人操BD| yiqicaoav| 天天狠狠夜夜狠狠2023| 亚洲xx网| 91玖玖| 久久九九网| 九九这里都是精品| enecarbon-materials.comWu染请涟系Bao护@wip1688| 久色婷婷200| 新激情综合| 久色大| 91色五月| 99自拍视频在线观看| 五月丁香婷婷无码A∨| 亚洲日韩一页精品发布| 久久婷婷操| 久草婷| 人妻操逼视频| 色五月激情| 五月色影院| 一本久久亚洲五月婷婷| 人人摸人人干| 激情四射网| 99九色视频在线观看| 色狠狠综合| 男女久久婷婷五月天| 九九九九九九九九九九九九九国产精品| 五月丁香激情综合| 五月六月丁香激情视频| 99色免费观看全部| 国产精品色婷婷久久久精品| 九月婷婷| 五月久久丁香| 色偷偷五月天| 久热精品视频在线观| 精品久久久久成人码免费动漫| 一起草日本| 五月婷婷与六月丁香图片激情| 人妻中文在线| 亚洲无码 图片区| 久久天天| 三区激情四射av| 美女被肏网站在线看| www.久久久.com| 丁香五月另类小说在线阅读| 久久人视频| 丁香五月天堂网| 五月丁香婷婷综合激情基地| 日韩在线一级| 中文字幕无码人妻少妇免费视频| 直接看的AV| 免费国产VA国产免费| www.色五月| 久久精品系列| 六月丁香婷婷色综合| 在线不卡的视频| 激情五月综合| 五月婷婷真爱激情网| 91大神操美女| 亚洲黄网在线| 五月天激情小说| 婷婷五月天免费视频| 久久这里精彩免费在线观看| 久久3级片| 天天日天天摸| 日韩aaaaa| 日韩一区二区三区无码| 亚洲无码11| 夜夜嗨一区二区三区直播内容| 五月婷婷激情中文字幕| 五月婷色丁香| 爱射综合| 欧美天天搞| 欧美内射AAAAAAXXXXX| 激情综合网五月| 夜夜做夜夜愛| 噜综合| 玖玖婷婷综合| 色开心五月婷婷丁香HD| 婷婷五月影院| 色五月色五天色情网| 久久婷婷六月综合| 五月天色五月天| 婷婷月综合| 国产亚洲成人综合| 欧美成人精品A片免费一区99| 婷婷五月丁香综合| 国产人人操| 亚洲午夜成人av电影网| 五月丁香六月婷| 久久激情五月天| 五月天综合在线观看| 色欲日日躁| 高清无码.com| 国产精品久久久久久白浆色欲| 男人視頻站| 九月性爱网| 国产精产国品一二三在观看 | 大香蕉啪啪| 天天操天天日天天操| 深爱五月中文字幕| 热久久思思热思思| 丁香五月激情婷婷| 99狠狠色| 亚洲 视频 导航 一区| 97伊人综合婷婷| Av在线不卡一区| 九一娱乐在线观看视频| 日韩无码成人电影| 色噜噜狠狠色综合成人网| 五月激情站| 狠狠草狠狠草| 婷婷五月激情五月激情| 成人超碰Av| 91久久婷婷人人澡草 | 亚洲激情另类| 99激情视频| 五月天亚洲综合网| 色播五月婷婷| 婷婷五月天高清无码| 夜夜爽天天日| 色五狠狠| 日日夜夜久| 久色资源| 日日日日日| 婷婷五月天激情电影小说| 色五月激情五月| 婷婷丁香五月激情密臀av| 99视频在线精品| 五月综合久久| 日韩九区| 婷婷成人五月天成人文学| 色综合天天| 少妇性BBB搡BBB爽爽爽视頻| 中文字幕欧美日韩VA免费视频| 搡BBBB搡BBB搡18| 超级碰碰97在线| 香蕉视频性爱BB做爱| 久青草影院| 九月婷婷色色| 午夜丁香婷婷| 无码人妻少妇色欲AV一区二区| 日欧一片内射VA在线影院| 五月综合激情久久| www狠狠爱com| 99热很操老逼| 婷婷的久久网站| 色热久资源| 亚洲99视频| 五月婷婷性| 天天综合中文| 久操大香蕉| 综合色播| 色婷婷六月| 五月天色色色色色| 日韩黄黄| 国产色色网址网站| 久热播这里只有精品| 五月丁香综合激情| 天天日夜夜拍| 婷婷大香焦| 色九九七七| 狠色综合网| 五月丁香好婷婷A片网 | 99热久久这里只有精品| 婷婷五月天性爱视频| 色播婷婷大香蕉| 亚洲婷婷五月草久| 五月天成人网在线观看| 丁香五月婷婷色| 国产偷人爽久久久久久老妇APP| 五月婷婷综合色啪首页| 婷婷久月| 久热这里只有精品视频6| 99性色| 五月天国产| chaopeng在线人人| 九九人人精品| 男人综合网| 伊人激情影院| 天堂成人A片永久免费网站| 婷婷丁香五月基地| se99高清无码| 久久人妻伊人| 丁香五月天堂网| 丁香五月伊人| 噜噜噜噜噜在线| 在线可以看的av网址| 男女99免费视频| 狠狠色综合五月人人| 91丨九色丨熟女| www激情网| 久久99综合网| 天天热夜夜操| 99ri国产| 色婷婷第四色| 99激情视频热| 久久超级碰碰| 影音先锋男人AV资源站| 怡红院 久久| 开心激情播播五月天| 色五月婷婷色| 欧美性爱一区| 欧美激情凹凸丁香网| 99re8这里只有精品99re8热视频| 狠狠色丁香久久综合婷婷亚洲成人福利 | 夜夜操狠狠操| 91肏| www夜夜操com| 色偷偷AV亚洲男人的天堂| 超碰在线94| 26uu| 影音先锋一区二区三区| 97涩婷婷| 婷婷五月激情片| 久热91精品| 大香蕉伊然在亚洲90| 久久人人九九| 人人摸人人澡人人| 91碰免费视频| WWW丁香五月| 午夜亚洲国产精品av一区二区| 欧美日韩国产一二区| wwwxxx五月婷婷小说| 狠狠五月天| 97色色色| 久久久久婷| 操b视频在线观看一区二区| 久热只有这里精品| 国产精产国品一二三在观看| 丁香五月婷婷色| 色呦呦美女| 色九月综合网| 婷婷五月骚厕所| 福利视频在线播放| 中文网AV| 永久精品| 99,色| 日本操碰碰| 99九九中文字幕视频| 开心五月深爱婷婷| 色婷婷狠狠久久综合五月| 99视频在线观看欧| 亚洲视频在线网站| 五月丁香网中文字幕| 狠狠色综合网| av婷婷丁香 六月| 狠狠色丁香| 99在线视频精品| 成人永久免费视频在线观看| 激情丁香久久久久久| 综合色播| 日本在线99| 丁香97综合| 青青草激情网| 99热一本久道| 激情小说五月天| 色婷婷AV在线| 激情五月丁香五月| 婷婷久久网| 国产成人亚洲综合A∨婷婷| 人妻久久久久| 久久婷色| 天天射天天射一道本日本社区| 国产精品日本一区二区在线播放| 襙比视频| 超碰妻人人| 五月丁香激情综合欧美| 99精品偷自拍| 丁香六月无码| 婷婷激情五月天激情小说| 天天爽,夜夜爽| 极品九九九九九九| 色五月av| 成人日韩欧美| 色婷婷五月天| 亚洲五月天婷婷综合| Av在线不卡一区| 天天爱天天秀天天做| 亚洲婷婷91丁香| 天天插综合网| 色香五月天| 久久综合九色综合88i| 日韩精品一区二区亚洲AV观看| 97操视频| 亚洲日韩一页精品发布| 噜噜噜精品欧美成人在线观看| 狠狠一日| 色哟哟精品| 思思色播| 99干免费视频| 亚洲六月色婷婷| 噜一噜免费视频| 桃色成人网| 五月丁香婷婷成人网| 99久在线精品| 五月婷婷丁香| 天天狠狠干| 亚洲综合网 665566| 午夜不卡久久精品无码免费| 婷婷丁香在线播放| 五月丁香六月婷婷久久肏| 99热.com| WWW.色婷婷.COM| 色综合视频| av在线观看网站| 5月婷婷激情6月| 影音先锋天天日| 99亚洲天堂| 情久久综合五月天| 色五月婷婷激情综合网| 啪啪五月婷婷| 九九久久精品| 五月婷在线视频免费播放| 深夜男女福利刺激影院一区完整| 亚洲精品一区中文字幕乱码| 婷婷五月综合亚洲| 激情五月婷黄版| 成人色情五月天婷婷丁香| 久人人操| 另类图片五月天| 婷婷六月天激情| 久久五月天色婷婷| 丁香五月婷婷99| 欧美性爱五月天| 婷婷五月天综合小说网| 深爱女色婷婷丁香五月亚洲图区| 色婷婷精| 精品一二三区久久AAA片| 天天狠狠夜夜狠狠2023| www.天天干.com| 婷婷丁香熟女| 五月天婷婷久久视频| 草逼大片| 无码色色色色色| 超碰97色| A片试看50分钟做受视频| 久久激情天堂| 天天色天天爱天天爽| 日韩色色色色色| 久久久久久久久久久久63| 欧美交换配乱吟粗大25P| 9久热在线视频精品| www.狠狠干com| 五月开心婷婷极品激情| 欧美啪啪网| 人妻第九页| 色五月亚洲| 五月停停999| 婷婷婷五月天最新综合你懂的| www.婷婷五月天| www...com黄在线观看| 大地9中文在线观看免费高清 | 97碰精品| 91丨九色丨43老版熟女| 九九自拍网| 六月丁AV| 国产26uuu视频| 色色日韩| 亚洲婷婷91丁香| 综合99在线| 综合av在线| 91九九| 久久女婷| 婷婷五月电影院| 九九视频在线| 俺也高清无码高清视频| 深爱五月中文字幕| 丁香五月综合久久八| 日韩欧美颜射| 婷婷五月综合网| 伊人五月天97| 99久久高清视频| 国产精品第一国产精品| 狠狠操狠狠操AV| 另类图片色五月| 欧美色九| www.色九月| 天天操中文字幕| 激情五月天在线免费美女视频| 色婷婷五月天不卡| 五月天中文字幕在线婷婷| 精品国产va久久久久久久| 色五月无码| 青青草轻轻操| 色婷婷第四色| 亚洲AV久久久久久久久久久久久久久久| 99在线精品免费视频| 超碰99热| 久久香蕉影院| 天天综合网在线| 玖玖精品视频| 婷婷97碰碰| 色五月婷婷操逼| 婷婷五月天综合久久| 色色色成人网| 99亚洲色| 79色色色色| 99热这里只有精品2| 婷婷激情五月色综合| 亚洲亚洲永久无码777777| 五月丁香婷婷激情澎湃四射| 色噜噜狠狠狠综合曰曰曰| 99热第一页| 成人中文字幕在线| 久久3p| 久久激情综合| 98永久精品| 97精品综合久久| 天天五月丁香五月| 26uuu.| 日本ww亚洲| 五月丁香六月婷婷网站| 婷婷五月天黄色小说| 色婷婷综合视频| 激情綜合網址| 六月婷婷色综合| 色婷婷亚洲婷婷| 婷婷中文综合网| 色五月中文字幕| 99九九热在线观看| 99ri在线| 五月丁香成人日| 欧美va亚洲va在线播放| 六月色播| 丁香婷婷色| 丁香五月成人网| 51精品国自产在线| 久久图色4| 武则天精品久久| 99er6| 99久久婷婷五月天| 久99久精品视频| 日韩另类| 日本波多野结衣视频| 五月深情久久| 99碰超| 6080av| 五月天婷婷在线观看| 欧洲亚洲免费视频9| 操一区| 91干网站| www.日韩国产| 99热这里只有精品手机在线观看| 色婷婷五月天天天干天天操天天爽| 狼人狠狠操| 麻豆AV一区二区三区| 欧美一级毛卡片无码| 大香蕉婷婷五月| 亚洲色婷婷婷婷人人爽| 欧美美美女性色视频| 五月丁香六月激情欧美综合| 一本道在线电影| 色原狠狠综合| 丁香五月亚洲激情婷婷射| 天天开心AV色综合婷婷五月天| 爱婷婷都市激情| 日韩人妻无码专区| 亚洲av成人一区二区电影在线| 婷色五月天| 天天日天天日天天搞| 五月婷婷三级| 色婷婷91激情小说| 天堂中文国产| 情涩婷婷五月天| 激情五月天天狠狠久久| 国产精品18久久久| 小色小蛇伊人婷婷色香五月| 日本天天综合| 色色色色综合网| 综合在线观看99| 色优久久| 婷婷五月天日日日干干干| 91无码视频| 丁香五月天堂婷婷| 五月激情四射婷婷丁香| 色情五月综合婷婷| 99国产精品白浆在线观看免费| av在线免费网站 | 丁香激情五月| 色青五月天| 四虎婷婷五月天| 丁香五月综合婷婷| 久久性都花花世界成人免费视频| 久久激情视频99| 丁香五月婷婷五月| 成人草榴视频| 婷婷八月激情| 天天色丁香| 亞洲自怕| 天天操天天爱天天日| 91嫩草久久| 丁香五月亚洲婷婷| 激情综合网五月天| se99热久久一本| 严洲天天插| 久久思思热| 乱码操操| 日本色综合| 一区二区传媒视频| 99热这里只有国产精品| 91成人性爱视频| 婷婷色九月| 丁香婷婷情色五月天| 亚洲色99综合天堂| 激情婷婷五月天网址| 夜夜骑夜夜撸| 欧美va国产va| 天天操综合网站| 色一情一乱一伦一区二区三区| 色噜噜狠狠色综合成人网| 少妇性按摩无码中文A片| 青柠影视免费高清电视剧| 九九黄色网| 久久久网站| 噜噜操操| 激情五月婷婷| 五月天婷婷涩涩| 5月婷婷五月天| 久久大香蕉丁香| 五月婷高清视频| 色一情一乱一乱一区91| 99丁香五月婷婷在线| 夜夜撸夜夜骑| 色色色色色色色色色色色色色色,网站| 青青草a在线| 伊人婷婷五月天| 中文网AV| 日韩啪啪视频| 久久人操| 超碰免费成人| 影音先锋91| 久久精品系列| www.色九月| 婷婷五月在线视频| 激情五月天色婷婷综合| 日日天天干| www.久久综合| 婷婷丁香宗合888| 超碰成人影视| 亚洲热视频| 大香蕉人人人| 欧洲毛片基地c区| 九九99免费视频| 久久机热/这里只有精品| 婷婷久久欧美| 亚洲精品字幕在线观看 | 色色五月天激情| 天天撸夜夜爽| 99精品在线观看| 亚洲精品色色| 最近韩国日本免费高清观看| 久久婷婷五月综合激情国产| 99A片| 婷婷婷婷色| 色婷婷成人久久| 另类图片激情五月| 婷婷五月情| 99热这里只有精品9| sewuyue第四色| 天天射天天操天天干| 五月激情小说| 久久东京热婷婷五月| 五月丁香综合| 99色播| 99re久热| 丁香激情久久| 狠狠色五月激情| 成人无码髙潮喷水A片| 激情五月婷婷色播网| 婷婷影院欧美| 天天日,天天插| 五月六月丁香婷婷在线观看| 91男人操女人视频| 成人开心五月天| 久久精品五月| 婷婷社区五月天| 天天做综合网色综合| 亚洲激情四射色| 天天操天天操天天操天天操天天操| 原琪琪色影院| 激情五月天网| 五月婷婷丁香综合| 精品99只有。| 婷婷丁香激情综合色情| 婷婷五月天网| 狠狠色综合久久|