欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

scorecardpy實戰(zhàn):從分箱到評分卡的Python風(fēng)控建模全解析

scorecardpy實戰(zhàn):從分箱到評分卡的Python風(fēng)控建模全解析 1. 從信貸風(fēng)控到工具化scorecardpy到底解決了什么問題做信貸風(fēng)控的同學(xué)早晚都會碰到一個繞不開的課題評分卡。無論是信用卡申請評分、消費貸的貸前審批還是存量客戶的額度調(diào)整與風(fēng)險定價幾乎都離不開這張卡。它本質(zhì)上是一種將客群的違約概率映射為整數(shù)分數(shù)的模型讓業(yè)務(wù)人員看到分數(shù)就能快速決策而不是面對一堆概率值無從下手。好幾年前我第一次獨立做評分卡項目時最痛苦的事情其實不是建模本身而是中間的臟活累活變量分箱要手動寫一堆自定義函數(shù)、WOE和IV要逐個變量去算、分箱邊界不單調(diào)還要反復(fù)調(diào)參、生成最終的評分卡還要按步長去計算每組得分。一輪流程走下來光數(shù)據(jù)清洗和變量處理就占了八成時間。后來接觸到scorecardpy這個Python庫算是把整個流程串起來了。它專門為評分卡建模設(shè)計覆蓋變量篩選、分箱、WOE編碼、IV評估、邏輯回歸擬合、評分卡生成與校驗輸出一條流水線走完非常適合標(biāo)準(zhǔn)化的申請評分卡或行為評分卡場景。這篇解讀我會按一個完整評分卡項目從數(shù)據(jù)到落地的順序把scorecardpy的設(shè)計思路、核心參數(shù)和實際坑位都過一遍。適合正要上手評分卡建模的數(shù)據(jù)分析師、風(fēng)控策略同學(xué)以及想用Python替代傳統(tǒng)SAS流程的建模人員。讀完你至少能跑通一條完整流程并理解每一步為什么要這么做。2. 評分卡建模的核心邏輯與scorecardpy的設(shè)計取舍2.1 評分卡為什么長這樣從違約概率到分數(shù)的映射在拆工具之前我們得先把評分卡本身的原理理清楚否則你很容易被各種參數(shù)繞暈。評分卡模型在統(tǒng)計層面通常是邏輯回歸。之所以不用復(fù)雜樹模型或神經(jīng)網(wǎng)絡(luò)核心原因是業(yè)務(wù)需要強解釋性和可追溯性。每一分的變化對應(yīng)哪些特征變化需要能給監(jiān)管和業(yè)務(wù)講清楚。邏輯回歸的預(yù)測結(jié)果是違約概率p但業(yè)務(wù)方不希望直接跟概率打交道更習(xí)慣用一個整數(shù)分數(shù)。分數(shù)和概率之間通過一個線性變換關(guān)聯(lián)score offset - factor * ln(p/(1-p))其中p/(1-p)是違約oddsoffset和factor是兩個常數(shù)。如果你要求一個基準(zhǔn)分數(shù)對應(yīng)的基準(zhǔn)odds以及分數(shù)每增加多少翻倍那么factor和offset都可以算出來。比如設(shè)定基準(zhǔn)分數(shù)為600分基準(zhǔn)odds為50:1分數(shù)每增加20分odds翻倍那么factor 20 / ln(2)約等于28.85offset 600 - factor * ln(50)。這些細節(jié)在scorecardpy里歸根到底就是offset_factor參數(shù)你想自定義就傳進去不想自己算也可以直接用默認。邏輯回歸的自變量一般不是原始特征值而是做過WOE編碼后的值。WOE全稱是Weight of Evidence也就是證據(jù)權(quán)重。它衡量的是某一分組內(nèi)好客戶odds相對于總體好客戶odds的差異WOE_i ln(壞客戶占比 / 好客戶占比)在做分箱之后每個箱子都會有一個WOE值。用WOE編碼的好處有兩個一是將分類型和連續(xù)型變量統(tǒng)一映射到同一量綱的數(shù)值二是天然處理了非線性關(guān)系比如年齡和違約率可能是U型關(guān)系分箱后WOE能直接捕捉這種形態(tài)。IV值Information Value則是每個變量的預(yù)測力度量等于每個箱子的WOE乘以該箱內(nèi)好壞客戶占比差再求和。IV值小于0.02一般認為變量基本無預(yù)測力0.02到0.1為弱預(yù)測力0.1到0.3為中等大于0.3為強但太高也要警惕可能是變量泄漏或過度擬合。scorecardpy最核心的woebin函數(shù)干的事情之一就是幫你快速算出一堆變量的WOE和IV免去手動分組比對。2.2 scorecardpy的架構(gòu)思路為什么它把整個流程封裝得這么深第一次用scorecardpy的人往往會被它的抽象程度驚訝到。一個woebin函數(shù)參數(shù)里塞進去待分箱的DataFrame、目標(biāo)變量y、分箱方法method、分箱數(shù)初始值等等它就能把全部分箱結(jié)果一次性返回。這背后有兩個設(shè)計動機。動機一是典型評分卡建模流程高度標(biāo)準(zhǔn)化。從數(shù)據(jù)選擇、分箱、WOE編碼到模型訓(xùn)練雖然在每個環(huán)節(jié)都有各種方法論爭議比如分箱到底用卡方、決策樹還是等頻等距但整體骨架是固定的。一個足夠成熟的庫完全可以把這些流程封裝成高層接口讓建模人員專注于數(shù)據(jù)和業(yè)務(wù)理解本身。動機二是業(yè)務(wù)項目對效率和可復(fù)現(xiàn)性要求很高。傳統(tǒng)SAS代碼做評分卡有時候一個變量分箱就要寫上百行宏而且要人工反復(fù)看分布去調(diào)邊界。scorecardpy用決策樹或者卡方方法自動合并相鄰箱子幾分鐘跑完幾十個變量的分箱。我用它重新跑了之前SAS項目里四十幾個變量的數(shù)據(jù)集分箱結(jié)果和當(dāng)時人工調(diào)了幾個月的結(jié)論高度接近但肝度完全不是一個量級。但深封裝也意味著如果你不理解內(nèi)部機制出了奇怪結(jié)果很難排查。這也是我寫這篇解讀的初衷搞清楚參數(shù)背后在做什么才能真正用好這個工具。3. 核心環(huán)節(jié)實操從數(shù)據(jù)到評分卡的全流程拆解3.1 數(shù)據(jù)準(zhǔn)備與變量篩選不是所有變量都能進模型先加載一份模擬的信貸數(shù)據(jù)。數(shù)據(jù)經(jīng)過脫敏字段包括客戶年齡、收入、負債率、當(dāng)前逾期次數(shù)、歷史逾期次數(shù)、信用卡使用率、查詢次數(shù)、貸款用途、居住年限等目標(biāo)變量為target1代表違約0代表正常。接觸評分卡建模第一步不是急著跑模型而是先做變量篩選。scorecardpy提供了var_filter函數(shù)來粗篩變量。它有幾個關(guān)鍵參數(shù)iv_limit默認0.02低于這個IV的變量會被剔除。但你也可以先把一批變量都放進來做初步分箱看IV再決定保留哪些。missing_limit默認0.95缺失率超過95%的變量直接剔除保留這種變量風(fēng)險很大填充方式也容易引入偏差。identical_limit默認0.95某個取值占比超過95%的變量也會被剔除這種變量相當(dāng)于常數(shù)。return_rm_reason設(shè)為True時函數(shù)會返回每個變量被剔除的原因方便后續(xù)做特征篩選報告。踩過最大的坑是粗篩時把target誤放進特征里。如果一個業(yè)務(wù)上的運營指標(biāo)恰好和target強相關(guān)比如逾期客戶已經(jīng)被系統(tǒng)標(biāo)記該字段的IV可能接近幾百分箱結(jié)果好得驚人模型卻完全不可用。所以var_filter在篩選時一定要顯式排除目標(biāo)變量和主鍵ID。3.2 分箱的藝術(shù)woebin的自動分箱與手動干預(yù)分箱是評分卡建模的靈魂步驟。分箱是否合理直接決定WOE編碼能否真實反映變量與風(fēng)險的關(guān)系也決定后續(xù)評分卡的業(yè)務(wù)可解釋性。scorecardpy里的woebin函數(shù)支持幾種分箱方法默認方法基于決策樹的分箱。庫底層調(diào)用決策樹來做有監(jiān)督分箱讓樹找到最佳切分點再控制葉子節(jié)點數(shù)量。這種方法的優(yōu)點是自動尋找非線性切分點缺點是過深時分箱結(jié)果容易過擬合。chimerge方法即卡方分箱。相鄰兩個箱子如果目標(biāo)分布差異不顯著就合并直到滿足停止條件??ǚ椒窒涑鰜淼倪吔缤ǔ1容^平滑但可能忽略一些模式。等距分箱和等頻分箱。這兩種屬于無監(jiān)督分箱僅按數(shù)值分布切分如果直接這么用很容易出現(xiàn)好客戶和壞客戶混雜嚴重的箱子后續(xù)IV會偏低。一般不推薦用作默認方式但可以作為對比參考。實際建模時我通常的做法是先用默認決策樹分箱跑一遍觀察每個箱子的WOE排序以及好壞樣本占比再手動指定某些邊界。woebin里的breaks參數(shù)可以手工傳入分箱邊界比如年齡用[18,25,30,40,50,65]這樣業(yè)務(wù)解釋更強也方便后續(xù)在評審會上向策略同事展示。手動干預(yù)最常做的另一件事是處理單調(diào)性問題。評分卡通常要求核心變量與風(fēng)險呈單調(diào)關(guān)系但實際數(shù)據(jù)經(jīng)常會出現(xiàn)U型或者倒U型。比如年齡年輕人違約率高中年人違約率低到了退休年齡段可能又升高。如果分箱結(jié)果不單調(diào)可以考慮強制合并某些臨近箱子或者接受它作為分段型變量但謹慎解釋。scorecardpy沒有自動強制單調(diào)的開關(guān)你需要基于分箱結(jié)果決定要不要調(diào)用woebin_adj函數(shù)去人工調(diào)整。woebin_adj會以交互方式展示每個變量的分箱圖和控制選項你可以手動修改箱數(shù)、合并箱子、調(diào)整邊界。當(dāng)時我在某個項目里處理收入變量時數(shù)據(jù)前1%是大額多筆收入導(dǎo)致第一個箱子WOE異常用woebin_adj直接把極端高收入段合并到了下一個箱子整個單調(diào)性立刻順暢了。3.3 WOE編碼與IV結(jié)果分析數(shù)據(jù)長什么樣心里要有底分箱完成后scorecardpy返回一個DataFrame里面包含每個變量的分箱邊界、計數(shù)、好壞占比、WOE和IV信息。這個結(jié)果結(jié)構(gòu)非常清晰每一行是一個箱子主要字段有variable變量名稱bin分箱區(qū)間標(biāo)簽比如[-Inf,30)表示小于30歲的區(qū)間count、count_dist該箱樣本量和占總體的比例good、bad、good_dist、bad_dist好壞樣本量以及各自占比woe該箱的WOE值iv該變量累計IV值把這些信息可視化之后你會發(fā)現(xiàn)很多有趣的現(xiàn)象。比如信用卡使用率這個變量通常使用率高的箱子WOE為正且絕對值大意味壞占比高這個變量在評分卡里往往是強變量。再比如查詢次數(shù)查詢較多的客戶可能近期資金緊張違約風(fēng)險因此更高。要注意一點IV高不代表你就要無腦放進去必須檢查變量是否有時間穿透、是否包含純未來信息以及業(yè)務(wù)上是否允許使用。某些強變量比如過去12個月貸款審批通過次數(shù)可能在貸中審核時點根本拿不到更新值上線后就已經(jīng)過時了。WOE編碼之后的數(shù)據(jù)集會替換原始特征這部分由woebin_ply函數(shù)完成。它有參數(shù)to_woe如果設(shè)為True就返回WOE編碼后的DataFrame設(shè)為False則返回原始值加WOE值的對照DataFrame。通常建模前我會用to_woeTrue因為邏輯回歸輸入需要的是數(shù)值型WOE。3.4 模型擬合與逐步回歸從候選變量到可用模型生成WOE數(shù)據(jù)集之后下一步是訓(xùn)練邏輯回歸。直接簡單粗暴地往邏輯回歸里扔幾十個變量顯然不行共線性問題會讓系數(shù)極不穩(wěn)定解釋性也大打折扣。scorecardpy提供了glm訓(xùn)練函數(shù)它其實是基于標(biāo)準(zhǔn)邏輯回歸加逐步特征選擇。這個函數(shù)有幾個值得注意的設(shè)計輸入訓(xùn)練集X_train是WOE編碼后的數(shù)據(jù)y_train是0/1標(biāo)簽。內(nèi)部會計算每個候選變量的IV然后按IV從高到低的方式逐批次引入變量同時做AIC或BIC評估從而篩選出最終進入模型的變量組合。輸出結(jié)果中coefficients和selected_vars兩個結(jié)果會展示最終保留的變量及系數(shù)。曾經(jīng)有一次我用了某個外部變量分箱和WOE都很完美但進入逐步回歸后始終保留著我發(fā)現(xiàn)它在業(yè)務(wù)上解釋不通——它的高IV完全來自特定人群的冗余信息。后來加了限制不讓該變量進入候選集換用另一個強解釋性變量模型在驗證集上的穩(wěn)定性反而更好。這說明自動篩選只能輔助決策最終變量去留必須結(jié)合業(yè)務(wù)判斷。訓(xùn)練結(jié)束后可以順手看下模型的AUC和KS統(tǒng)計量這兩個指標(biāo)是評分卡最常見的判斷標(biāo)準(zhǔn)。AUC通常0.7到0.8之間算可用KS在0.3以上模型就有區(qū)分度了。但如果訓(xùn)練集上AUC超過0.95就要警惕是不是明顯過擬合看下是不是有變量泄漏進了特征。3.5 從概率到評分卡scorecard生成與分數(shù)落點分析模型訓(xùn)練只是前半場后半場是把邏輯回歸系數(shù)轉(zhuǎn)換成分數(shù)。scorecardpy里的scorecard函數(shù)傳入擬合好的模型以及分箱映射關(guān)系就會返回評分卡格式的結(jié)果。評分卡輸出形式一般是一個字典鍵為變量名值為每個分箱對應(yīng)的分數(shù)明細表。根據(jù)scorecardpy的映射規(guī)則分數(shù)通常是從一個基礎(chǔ)分出發(fā)加上每個變量分組對應(yīng)的正負分數(shù)。最終客戶總分等于基礎(chǔ)分加各變量得分之和總分越高代表風(fēng)險越低。生成分數(shù)后默認情況下scorecardpy還會計算每個客戶的總分前提是你傳入測試數(shù)據(jù)集并調(diào)用predict方法。我個人習(xí)慣立刻跑一下分數(shù)分布看是否存在明顯的分數(shù)斷層。如果大量人群集中在分數(shù)區(qū)間邊緣可能說明模型的區(qū)分粒度不夠需要回頭調(diào)整分箱邊界或變量組合。打分完成后還要做分數(shù)校準(zhǔn)。前面提到的offset和factor在scorecardpy里對應(yīng)scorecard函數(shù)的offset_factor參數(shù)。如果你不傳函數(shù)默認按某些默認值計算也就是基準(zhǔn)分數(shù)為600基準(zhǔn)odds為50比1PDO為20。這和國內(nèi)很多實際使用的標(biāo)準(zhǔn)不太一樣所以一定要根據(jù)自己業(yè)務(wù)目標(biāo)去設(shè)置。比如某些消費金融公司把客戶違約率萬分之幾作為好客戶標(biāo)準(zhǔn)分數(shù)映射邏輯就會不同。當(dāng)時我把一個模型的基準(zhǔn)分數(shù)從600調(diào)整為650整個客群的分數(shù)分布右移審批閾值跟著變動最終通過率完全變了。這說明分數(shù)變換參數(shù)直接影響業(yè)務(wù)口徑不是可有可無的細節(jié)你必須和策略同事或跟蹤上線管理的人對齊。4. 上手實操跑通一整套評分卡建模流程4.1 環(huán)境準(zhǔn)備與基礎(chǔ)安裝先準(zhǔn)備好環(huán)境。scorecardpy對Python版本要求不算苛刻一般3.7以上都可以用。安裝方式除了從PyPI下載也可以通過代碼倉庫的版本安裝這里我直接使用最常見的安裝命令配合國內(nèi)鏡像會更快pip install scorecardpy如果下載速度慢可以用國內(nèi)鏡像源常見的清華源、阿里源都可以加速pip install scorecardpy -i https://pypi.tuna.tsinghua.edu.cn/simple在導(dǎo)入階段有些新版本會提示依賴項缺少比如sklearn或pandas版本不匹配這種情況只要把相關(guān)依賴重新升級一下就行。順便提一句安裝庫之后最好看一下版本號后續(xù)使用過程中不同版本之間可能有細微參數(shù)差異。4.2 用自帶示例數(shù)據(jù)集快速跑通scorecardpy內(nèi)部帶了一個示例數(shù)據(jù)集非常適合第一次跑通全流程。你只需要幾行代碼就能完成分箱和WOE模塊的調(diào)用import scorecardpy as sc dat sc.germancredit() y dat[creditability] X dat.drop(columnscreditability) # 變量粗篩 dt_sel sc.var_filter(dat, yy, iv_limit0.02, missing_limit0.95, identical_limit0.95, return_rm_reasonTrue) # 分箱 bins sc.woebin(dt_sel, yy) # WOE編碼 train_woe sc.woebin_ply(dt_sel, bins)上面這幾行就已經(jīng)完成了數(shù)據(jù)篩選、分箱和WOE編碼三步。打印bins里任何一個變量的分箱結(jié)果都能看到詳細的WOE和IV統(tǒng)計我建議第一次練習(xí)時逐字段觀察一下培養(yǎng)感覺。如果你把bins傳給woebin_plot函數(shù)它會把每個變量的分布圖、好壞占比、WOE趨勢畫在一張圖上直觀看到變量和風(fēng)險的關(guān)系形態(tài)。這個可視化在寫評審材料時特別有用比貼一堆數(shù)據(jù)表格強得多。4.3 從訓(xùn)練到評分卡的完整腳本我給出一個平時常用的完整建模腳本處理好數(shù)據(jù)后你可以直接參考著改寫import scorecardpy as sc from sklearn.model_selection import train_test_split # 設(shè)示例數(shù)據(jù) dat sc.germancredit() y dat[creditability] X dat.drop(columnscreditability) # 粗篩 X_sel, y_sel sc.var_filter(X, y, iv_limit0.05, missing_limit0.9, identical_limit0.9, return_rm_reasonFalse) # 分箱 bins sc.woebin(X_sel, y_sel) # WOE轉(zhuǎn)換 woe_data sc.woebin_ply(X_sel, bins) # 劃分訓(xùn)練集和測試集 train, test train_test_split(woe_data, test_size0.3, stratifyy_sel, random_state42) X_train train.drop(columnscreditability) y_train train[creditability] X_test test.drop(columnscreditability) y_test test[creditability] # 邏輯回歸與逐步篩選 m1 sc.glm(X_train, y_train) # 在測試集上評估 pred m1.predict(X_test)整體流程走下來你會發(fā)現(xiàn)scorecardpy把過去手工需要寫幾百行代碼的環(huán)節(jié)壓縮到了十幾行。但正因為足夠快你更要警惕隨手就交付風(fēng)險。每一輪產(chǎn)出之后都建議回頭人工檢查分箱是否合理、WOE編碼是否跟業(yè)務(wù)認知一致、模型系數(shù)符號是否符合預(yù)期。4.4 生成評分卡和分數(shù)解釋模型訓(xùn)練完之后生成評分卡的代碼同樣非常簡短# 生成評分卡 card sc.scorecard(binsbins, modelm1, points0600, odds050, pdo20) # 給樣本打分 score sc.scorecard_ply(woe_data, card) # 查看評分卡明細 print(card)打印card之后你會看到一個很直觀的對照表每個變量每個分箱區(qū)間都對應(yīng)該變量的加分或減分。比如年齡變量30到40歲區(qū)間可能加10分而25歲以下區(qū)間可能是減15分。最終客戶分數(shù)就是基礎(chǔ)分加各變量得分的累加。打分這個環(huán)節(jié)還有一個常見需求是把分數(shù)映射成概率違約等級比如A/B/C/D等級。最簡單的方法是直接把預(yù)測概率的輸出保留下來再按概率閾值切等級。但既然已經(jīng)生成了整數(shù)分數(shù)也可以直接用分數(shù)分位數(shù)去切等級這個開源工具不直接提供等級映射功能需要自己處理。如果要做更細致的校準(zhǔn)可以對比每個分數(shù)段客戶的實際違約率與理論違約率。理想狀態(tài)下二者應(yīng)該一致或接近。假如預(yù)測違約率整體偏低意味著概率校準(zhǔn)有問題這時需要檢查邏輯回歸是否存在明顯的偏差或者分數(shù)映射的基準(zhǔn)odds設(shè)置不合理。5. 常見問題與排查技巧這些坑我都替你踩過5.1 分箱結(jié)果異常WOE全部為0或IV過高新手最常見的問題是跑完woebin后某變量的IV直接爆表或者WOE全是0。前者通常是變量和目標(biāo)之間過于對應(yīng)的信號比如一個狀態(tài)字段里目標(biāo)為1的樣本全都在某個取值區(qū)間內(nèi)分箱后該區(qū)間壞占比為100%WOE會趨向無窮大。這種變量一旦進模型會出現(xiàn)完美分離現(xiàn)象邏輯回歸系數(shù)無法收斂。排查時可以將這類變量拿出來單獨交叉分析確認它在未來數(shù)據(jù)上是否可獲取、是否有意義。WOE全為0則往往是因為變量本身沒有區(qū)分能力每個箱子的好壞占比都和總體一致導(dǎo)致每個箱子的ln(1)等于0。如果你看到所有變量都這樣大概率是目標(biāo)變量傳錯了比如把訓(xùn)練集中目標(biāo)列全部傳成同一個值或者分箱參數(shù)設(shè)置過粗導(dǎo)致每個箱子都只有一個類別。調(diào)試的時候建議先用少量變量跑一次分箱并打印結(jié)果確認單變量邏輯沒問題后再全量跑幾十個變量這樣能大幅縮短排查時間。5.2 預(yù)測函數(shù)和變量名列不一致實際項目中最常遇到的報錯之一是predict時提示變量缺失原因是woebin_ply生成的訓(xùn)練集列名和預(yù)測時傳入數(shù)據(jù)集的列名不一致比如訓(xùn)練時你傳入了原始字段名預(yù)測時卻傳入了已經(jīng)處理過的其他字段名或者分箱對象bins來自舊數(shù)據(jù)。解決方案是維護一個統(tǒng)一的變量映射字典確保每次建模和預(yù)測過程使用同一個配置字典。另外當(dāng)數(shù)據(jù)有類別型字段時分箱和預(yù)測時的category順序也必須保持一致否則WOE映射會錯位這個非常隱蔽打印幾行預(yù)測數(shù)據(jù)對比一下就知道問題出在哪。5.3 缺失值處理和特殊值的分箱邏輯評分卡建模中缺失值不能直接在邏輯回歸里被忽略否則會影響預(yù)測穩(wěn)定性。scorecardpy的分箱會自動把缺失值單獨歸為一個箱子這樣缺失本身就擁有一個獨立的WOE值可以成為一個有實際含義的變量狀態(tài)。這種做法其實很實用因為缺失往往暗示客戶信息不完整、申請漏填或者渠道差異天生就有風(fēng)險識別能力。但如果缺失率太高比如超過了95%var_filter會直接剔除該變量。有些時候缺失率雖然高但缺失本身非常強此時你可以用業(yè)務(wù)規(guī)則重新定義一下變量比如把是否缺失轉(zhuǎn)換為一個新的標(biāo)志字段再去參加分箱這種嘗試往往有意想不到的效果。經(jīng)驗法則是缺失占比在5%到50%之間的變量保留缺失組信息超過50%再結(jié)合具體業(yè)務(wù)判斷不能一刀切低于5%可以先做填充再分箱否則缺失組樣本太少WOE也不穩(wěn)定。5.4 評分卡上線前的樣本外驗證訓(xùn)練集上的指標(biāo)再漂亮也不能代表未來評分卡上線前必須在時間外樣本或者至少隨機留出的測試集上跑一遍。我習(xí)慣使用時間外數(shù)據(jù)來做驗證因為評分卡業(yè)務(wù)對時間穩(wěn)定性特別敏感。某個人群在不同月份的違約率波動可能很大如果時間外樣本的KS和AUC掉得厲害基本可以認定為模型過擬合了歷史模式。另外一個容易被忽略的檢查是PSI也就是群體穩(wěn)定性指標(biāo)。對比訓(xùn)練樣本和未來樣本的分數(shù)分布PSI小于0.1說明兩個集合分布非常穩(wěn)定0.1到0.25說明有輕微偏移需要關(guān)注大于0.25則提示模型可能需要重新開發(fā)或者至少要做分數(shù)校準(zhǔn)。scorecardpy本身不直接提供PSI計算但你可以基于scorecard_ply生成的分數(shù)分位數(shù)去快速實現(xiàn)代碼量不大。5.5 變量共線性處理不只是看相關(guān)系數(shù)邏輯回歸雖然能容忍一定程度的相關(guān)性但高度共線會讓系數(shù)估計極不穩(wěn)定。具體表現(xiàn)是某個變量的系數(shù)符號和業(yè)務(wù)常識相反例如收入越高反而風(fēng)險分數(shù)越低。scorecardpy的逐步回歸會基于AIC篩選變量但它不會完全自動消除共線性問題。我的做法是在喂給glm之前先計算所有WOE編碼后變量的方差膨脹因子VIF把VIF大于10的變量單獨篩選出來。如果兩個變量同時進入候選集且相關(guān)性很高保留解釋性更強、邏輯業(yè)務(wù)上更好講述的那個。比如負債率和月收入可能高度相關(guān)保留負債率往往比保留月收入解釋性更順因為負債率已有標(biāo)準(zhǔn)定義在策略評審中可講的故事更完整。這里提醒一句VIF計算要在WOE編碼后做而不是原始值上做。原始值尺度和分箱化后的形態(tài)差異巨大用原始值計算VIF容易得到錯誤的絕對值。6. 擴展應(yīng)用與落地經(jīng)驗總結(jié)評分卡建模工具說到底只是解放生產(chǎn)力的工具真正決定模型質(zhì)量的還是你對業(yè)務(wù)的理解和建模流程的把握。scorecardpy最值得稱道的地方在于它將繁瑣流程標(biāo)準(zhǔn)化讓模型復(fù)用和迭代的成本大幅降低。我后來幾個不同項目之間只需要調(diào)整變量清單和分箱邊界模型框架就可以快速遷移歷史方法論也能直接沉淀到工具配置中。如果你覺得scorecardpy在某些環(huán)節(jié)不夠靈活它的模塊設(shè)計是拆開的你可以只使用它的woebin分箱和WOE編碼部分然后自己用statsmodels或者sklearn訓(xùn)練邏輯回歸最后再用自定義函數(shù)生成評分卡。這種方式保留了自動分箱的效率同時把模型訓(xùn)練的細節(jié)掌控在自己手里。引用一句業(yè)內(nèi)的老話評分卡建模中最難的不是數(shù)學(xué)而是把業(yè)務(wù)邏輯轉(zhuǎn)化成可解釋的分數(shù)和規(guī)則。多看看分箱圖、多和策略同事討論變量邏輯、多復(fù)盤線上表現(xiàn)與預(yù)期差異比調(diào)包參數(shù)本身更重要。我個人的習(xí)慣是每次建模完之后都會把最后生成的評分卡表格打印出來貼在工位旁邊過幾天再回頭瞄一眼。很多時候你盯著屏幕寫代碼時會忽略某個變量分數(shù)的業(yè)務(wù)合理性但人肉看一遍紙質(zhì)版反而容易發(fā)現(xiàn)邏輯漏洞。這個方法聽起來很笨但確實幫我避免過至少一次嚴重的事故。scorecardpy的生態(tài)還在持續(xù)迭代社區(qū)里關(guān)于它的討論也越來越多。如果你用它跑過真實業(yè)務(wù)數(shù)據(jù)有自己獨特的分箱調(diào)整心得非常值得沉淀下來分享。工具是標(biāo)準(zhǔn)化的但每個人的業(yè)務(wù)理解不同這些差異化經(jīng)驗才是模型效果的真正分水嶺。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠干狠狠色| 疯狂做受XXXX高潮A片| 99九九热在线观看| 五月婷婷综合网| 六月丁香婷婷天堂| 另类激情综合| 五月丁香激情啪啪网| 婷婷五月花| 久久综合首页| 五月丁香怕怕综合| 丁香五月婷婷少妇| 成功精品影院| 久久亚洲婷婷综合色五月| 欧美黑人巨大性生话| www.91.com处女在线直播| 亚洲欧洲中文日韩久久AV乱码| 丁香六月激情蜜桃| 玖玖婷婷精品| 激情綜合W W W,激情五月天| 五月婷六月| 思思热性操| 婷婷的五月天另类视频| 97超碰色| 综合久| 日日肏天天操| 91人妻色色网| 成年人看Va免费视频| 婷婷 丁香 久久| 亚洲精品又粗又大又爽A片| 六月丁香网| 丁香五月婷婷五月天在线| 超碰在线综合| 思思热在线观看| 色情婷婷五月天| 99热99ai| 9999热在线观看| 五月丁香啪啪网| 开心六月婷| 五月丁香操婷逼| 色五月激情五月| 久色资源网| 九九十99视频| A片天天| 97在线视频人妻九色| www.五月激情.com| 九九综合伊人| 激情综合网激情五月婷婷| 色久影院| 性生活久久朋友人妻| 久久久久8888| 亚洲视频另类| 国产亚洲精品久久久久久豆腐| www.婷婷| 久久狼人天堂| 天天色亚洲| 色婷婷99| 百度一下国产精品A| 五月色婷婷影院| 五月天小说激情| 五月婷婷七月丁香| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 狠狠爱五月婷婷综合六月| 激情婷婷五月| 久久草大香蕉| 99热这里有精品2| 五月婷婷色啪| 精品一二三区久久AAA片| 五月天色婷婷网| 激情爱爱网站| 婷婷精品视频| 色婷丁香| 婷婷色操| 97碰精品| 色综合久久久久| 色情五月综合婷婷| av中文网站| 成人 在线 日韩| AⅤ在线播放网| 狠狠做深爱婷婷久久综合一区| 久久色这里只有精品| 第四色色六月色综合| 久久香蕉婷婷| 又大又粗九一在线| 丁香色情五月天| 五月丁香激情四射| 26uuu色噜噜精品一区| 少妇大叫太大太粗太爽了A片 | 婷婷色情 | 超级碰碰碰97免费| 婷婷九月丁香| 天天做天天爱天天爽在| 色婷婷香蕉丁丁网| www,色婷婷| 天天肏视频| 五月婷婷色播| 日本视频久久| 91人妻人人操人人爽| 六月婷婷深深爱| 另类婷婷五月天啪帕帕| 成人国产欧美大片一区| 久久小视频| 亚洲激情综| 五月天婷a| 91婷婷五月丁香碰| 九月色婷婷| 97涩涩丁香五月天| 久久免费精彩视频| 六月色色| 九热视频精品| www.操逼comm| 色亭亭五月天丁香综合AV - 百度 - 百度| 五月丁香六月婷婷色日| 99视频在线精品| 亚洲AV在线免费看| 色播丁香| 色99欧洲色19| 超碰99在线| 激情丁香五月婷婷| g00d人体西西| 色人妻五月| 91丨九色丨熟女|新版| 天天日夜夜| 成人国产欧美大片一区| 久久区区一二三av| 婷婷激情小说网| 丁香五月激情无码视频| 91久热| 最新高清无码专区| 色婷五月婷婷| 久久伊人9| 婷婷五月色色| 久久全色| 青青草蜜臀| 狠狠色五月| 性爱网五月婷婷| 九九热av| 91se在线观看| 91在线人| 亚洲丁香网| 六月婷婷色| 性按摩玩人妻HD中文字幕| 亚洲黄3级片网站欧美| 婷婷免费成人视频| 开心激情综合| www.婷婷六月天| 五月婷婷丁香深深爱| 亚洲综合五月天婷婷| 啪啪啪综合网| www.91操| 婷婷五月天激情综合| 日本欧美成人片AAAA| …亚洲黄色在线播放日韩、av中文a…| 操操操av| 五月激情天| 午夜成人天堂久久无码日韩久久| 亚洲激情精品| 成人无码精品1区2区3区免费看| 国产麻豆视频| 婷婷五月天免费| 亚洲综合在线视频| 久久草大香蕉| 97香蕉碰碰人妻国产欧美| 9l视频自拍9l九色成人| 丁香五月婷婷色| 婷婷五月天99综合网站| www,色婷婷| 99伊人性爱在线影院| 伊人色综合网| 欧美综合婷婷欧美综| 五月婷婷啪啪| 日本一级一级一级一级| 欧美成人无码高清一区二区三区| 日韩另类| 思思热视频在线观看| 久久丁香五月天| 思思久久久婷婷| 色情成人五月天| 9精品一区| 另类丁香五月天区图| 久七香蕉| 婷婷射丁香| 亚洲网站999| 五月噜噜| 色站9/| 丁香色综合| 另类五月激情| 这里只有精品在线视频在线观看| 色九九一二| 久久久人妻门| 色天堂操| 色色五月天激情| 91日本在线观看| 丁香五月婷老师| 大香蕉懂9| 九九精品热播| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 成人AV中文字幕| 天天狠狠色噜噜| 亚洲黄色影视| 97干视频| 五月激情啪啪啪| 九九热经典视频在线观看| 4399精品一区二区| 婷婷 丁香 久久| 五月天六月婷婷电影| 亚洲国产99| 伊人久热91| 丁香五月色| 久久久久久久久久91| 色色热| 亚洲成人高清在线| 99热免费| 婷婷色基地| 久久五月婷婷视频| 久久99综合| 无码G高清天| 丁香六月在线综合| 丁香五月婷婷欧美成人色图| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 九九热精品6| 超爽内射| 色色国产| 久久天堂| 色婷婷九月综合| 婷婷丁香五月基地| 玖玖在线视频| 99er久久| 九九综合九九| 婷婷成人av| 色热久| 亚洲综合激| www.99.色| 九九99热| 激情五月婷婷色播网| 天天天天天天操| 五月色婷婷夜色| 大香蕉五月天| 99亚洲色色| 黄色成人网站在线播放| 国产午夜伦鲁鲁| 天天综合网在线| 婷五月丁香俺| 高清国产AV| 欧美在线视频99| 亚洲性图一区二区| 亚洲无码成人网| 亚洲不卡123| 碰碰91| 五月丁香色婷婷基地| 中文字幕,综合,91| 亚洲99一级无嗎特制在线| 99无码| Caoub青青超碰 | 天天日夜夜帕| 五月天婷婷乱| 99色视频| 97欧美在线| 97色伦另类图片小说视频 | 韩国真做片在线观看| 思思热在线精品视频| 激情综合青草| aa久久| 1024在线视频| 亚洲无AV在线中文字幕| 91精品综合久久久久久五月丁香| 影音先锋偷偷色男人站| 国精产品久久| 婷婷五月天视频小说| 99久久婷| 日本三级片片| 一区操| 99热思思| 26uuu成人网| 五月激情婷婷播播开心| 在线A色| 99re热精品视频国| 这里只有精品免费在线视频| 久9热视频在线观看| 激情亚洲五月| 五月婷婷六月激情| 亚洲中文字幕在线观看| 色婷婷丁香五月| 色婷婷小说网| 丁香五月成人婷婷| 99热这里只有精品青草| 狠狠草在线观看| 五月婷婷花| 激情啪啪五月天| 色婷婷AAA| 狠狠综合久久综合| 91精品丝袜久久久久久久久粉嫩| 国产色色小草视频| 婷婷中文字幕欧美| 婷婷性爱五月天丁香网| 婷婷丁香五月天操逼| 爱99干99| 亚洲综合五月天婷婷| 欧美性生交XXXXX无码小说| 久久人妻久久| 青青草国产亚洲精品久久| 五月婷婷色影院| 婷婷五月天综合在线| 深爱激情婷| 亚洲五月色| 五月草影视| 99热在线观看这里只有精品| 五月婷婷啪啪啪啪| 日本色爽| 五月婷婷九九热| 99热777| 五月婷婷综合色啪| 六月婷婷亚洲| 欧美狠狠色| 成人短视频在线免费观看| www.99热| 久热大香蕉| 激情五月天影院| 九九视频在线观看| 91爱操| 操一操干一干| www.色五月| 五月 激情视频| 色五月婷婷av| 八戒青柠影视剧在线观看| 国产亚洲精品久久久久久牛牛| 中文字幕无码人妻少妇免费视频| 热99.com婷婷| 欧日韩成人| 色五月婷婷久久| 人人玩人人橾| 色婷婷五月天视频在线| 99精在线| 久99| 深爱激情综合| 亚洲成人日韩无码精品| www.五月天婷婷| 国产成人网址| 色婷婷丁香五月丁香| 天天射天天射一道本日本社区| 另类激情五月天| 激情五月婷婷| 依人大香蕉| 中字幕视频在线永久在线观看免费| 日韩黄色影院| 人人操插| www.色婷婷。com| 五月丁香婷中文| 国产激情婷婷| 五月丁香操婷逼| 五月丁香色色网| 精品热青草| 丁香五月激情综合婷综| 日本a片网址| 天天操夜夜爽天天操| 77799热| 亚洲第一精品成人999久久精品| 综合视频久久| 亚洲九区| 久久精品99久久久久久| 色狠狠图片| 久久久免费精彩视频| 亚洲综合色色色| 五月天丁香婷婷网| 国产日产成人亚洲欧美国产VA| 5月婷婷激情6月| 婷婷五月丁香五月| www.婷婷五月| 大香AV| 蜜臀av无码久久久久久久久| 亚洲AV综合网| 高清无码网址| 成人在线不卡| 久久婷婷视频| 欧美亚洲色色色色| 久久99热只有精品| 久久婷婷五月天激情四射| 五月婷婷六月丁香| 丁香婷婷五月综合色情| 五月天激情综合| 国产69久久久欧美黑人A片| 97在线视频 欧美| 色色99色色| 久8色色| 天天干夜晚夜操| 天天激情站| 那里有AV网址| 日韩成人电影AV| 久久综合图片| 色五月成人网| 97在线观视频免费观看| 五月丁香五月丁香| 五月 成人 婷婷| 久久XX日本综合| 丁香婷婷黄网站| 婷婷五月天成人小说| 五月天开心网| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 亚洲情综合五月天| 五月天婷亚洲天综合网综合| 亚洲综合激情五月久久| 狠狠色噜噜狠狠| 六月色丁香中文字幕| 五月天伊人网| 777色婷婷爱五月| 亚洲秘 无码一区二区三区妃光/1| 五月激情啪啪| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 成人视屏在线观看| 久久精品4| 欧美日韩五月婷婷| 日日干夜夜干| 在线观看996精品| 人人视频色| 超碰在线日夜| 91成人看| 六月婷婷狠狠| BBWCUCKOLD精品熟妇| 久久大香蕉| 婷婷五月丁香综合| 五月婷久久草| 日本色狠狠| 亚洲狠狠爱婷婷| 清色五月天| 思思re99视频在线观看| 欧美色婷婷| 91人妻人人做人碰人人爽九色| 亚洲成人AV在线| 五月丁香六月婷婷亚洲| 亚洲精品无码99热| 丁香九月婷婷色| 这里只有精品96| 五月色丁香婷婷中文字幕| 午夜天堂啪啪| 丁香色六月婷婷| 婷婷五月影院| 日韩欧美一区二区三区四区| 99久久网站| 大香蕉久久婷婷| 999精品乱码77777| 丁香婷婷久久 | 超热久碰.com| 第四色激情网| 91操人视频| 日日色综合| 夜夜躁狠狠| 亚洲V国产V欧美V久久久久久| 久久性爱视频| 五月丁香综合啪啪| 丁香六月天婷婷开心综合| 日本熟妇乱妇熟色A片蜜桃| 久久机只有这里精品| 91制片厂久久久国产电影| 在线1青婷| 婷婷久久性爱| 另类天堂| 人人爱人人添| 五月丁香另类图片| 99热这里只有精| www.伊人天堂偷偷婷婷| 欧州婷婷五月天综合| 色狠久| 玖玖婷婷精品| 乱岳熟女50岁| 国模淫穴色图| 丁香玖玖| 日本欧美成人片AAAA| 五月丁香在线看| 九九色大香蕉| 日日操夜夜擼| 91婷婷丁香五月| 五月色情婷婷开心五月天| 黄网在线免费观| 夜夜干天天操| 国内外色色色色色成人视频| 五月天成人手机在线视频| 开心婷婷五月综合| 伊人激情啪啪| va婷婷在线免费观看| 加勒比久热| 亚洲啪视频| 99热99思午夜精品| 亚洲婷婷综合视频| 亚洲六月婷婷| caopeng超碰| 九九色婷婷五月天| 曰曰久久| 26uuu欧美亚洲日韩| 丁香五月最新网址| 天天日夜夜爽| 99热这里只有精品在线| 思思久ren热| 五月婷婷先锋| 久久久噜噜噜久久人妻| 荡乳尤物3HP1V5| www.婷婷,com| 综合五月天| 久久婷婷色丁香| 欧美日韩国产一区二区| 伊人91| 精品色| 激情图片亚洲| 99在线看视频| 久久综合99| 97涩涩丁香五月天| 日本少妇AA一级特黄大片| 饮料下药迷倒漂亮女同事强干| 丁香六月无码| 91超碰九色| 色涩视频久久| 天天色天天爱天天爱天天爱y| yellow视频在线观看91| 玖玖@三月天天丁香婷婷| 亭亭玉月丁香| 4399成人黄A片| 开心五月婷| 9久久久久久久久久久| 婷婷综合色色| 国色天香伊人狠狠色| 99操碰| 爱iii做iiii日日| 色欲久久综合| 91丁香五月| 五月天堂在线| 秋霞三级色戒| 1769在线观看欧美国产| 欧美日韩欧美| 操91| 国产激情婷婷| 婷婷之六月丁香| 六月婷婷激情| 伊人大综合| 五月婷婷综合视频| 美女网黄| 免费观看的av| 日日操天天| 欧美色婷婷| 97成人在线视频精品| 亚洲妇女熟BBW| 婷婷五月成人有| 极品精品一区二区三区在线| 日日.c| 夜夜操,天天撸| 精品无码色欲AV| 婷婷精品免费久久| 色九月丁香婷婷蜜桃在线观看| 亚洲情综合五月天| 思思热视频在线| 狠狠五月激情丁香六月| 无码激情| 日日日日日| 天天爱天天爽| 无码成人AAAAA毛片AI换脸| www.色五月.com| 日日夜夜天天综合| 91凹凸在线| 国产婷婷五月色情综合| 人人综合五月人人婷婷| 97色五月天| 天天综合情| 天天 青草 制服丝袜 在线| 五月婷婷色影院| 成人在线视频网| 三级黄网站| 日日天天天| 色五月激情视频在线综合| 五月色综合网欧美网| 超碰chaompinm| 婷婷放心五日爱| 国产日批视频| 五月熟妇婷婷久久| 色插综合网| 久久96热| 婷婷玖玖五月天| 色婷婷九月| 26uuu日韩| 亚洲亚洲人成综合网络| 极品五月天| 成人网在线视频| 国产 亚洲 在线| 再次出发二| 99热这里只有精品最新地址获取| 婷婷色五天| 99热最新| www.久99| 91|九色|动漫| 欧美日韩99| 激情亚洲色图片丁香综合| 五月丁香欧美综合| 超碰av在线| 中文字幕乱码亚洲精品一区| 婷婷自拍| 99操中文视频| 欧美日韩大黄| 狠狠色婷婷777| EEUSS鲁片一区二区三区| 99色色网| 色播五月丁香综合| 精品无码av丁香五月激情| 日日肏夜夜干| 日韩一级片| 99视频内射三四| 国产超碰av| 五月天色色色| 第四色首页| 日本久久精品| 欧美性猛交99久久久久99按摩| 操操操91| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 综合网天天| 性生活视频98791| 久久99视频| www.夜夜| 无码AV免费精品一区二区三区| 久碰视频| 九热网站| 九九人人看| 九九色欲网| 九九黄色网| 激情婷婷五六月天| 丁香六月五月婷婷| 亚洲旡码| www.婷婷六月天| 国产jd1024基地手机看国产| 97日在线视频| 激情综合自拍五月婷婷色五月| 97精品综合| 激情人妻蜜夜系列区| 婷婷视频网| 久久网站观看免费欧洲国产| 色五月综合| 99热国产这里只有精品| 成人av在线网| 日本色超碰| 猫咪伊人久久| 天天操天天爽天天爱| 五月婷婷六月综合| 婷婷色一二三区波多野结衣| 99在线观看亚洲| 五月天婷婷綜合院| 激情综合五月丁香六月婷婷| 99视频精品全部观看10| xx久久| 激情网五月天| 黄色录像网点| 好好干av| 五月丁香花成人社区| 五月天天天开心激情网| 欧美 日韩 人妻 高清 中文| 亚洲激情综合色站| 亚洲激情AV| 97人妻碰碰碰久久久久-最近国语高清| m色激情网| 久9热| 久久激情综合| 五月婷在线| 玖玖热视频| 91人人爽狠狠狠| 91精品国产综合久久久不卡电影| 超碰9在| 亚洲久久视频| 99色在线观看视频| 日本无码专区| 人妻熟妇国产精品| 五月婷婷激情综合网 | www.久久爱| 亭亭玉立国色天香| 超碰免费人人| www.激情五月天。com| 久久女人天堂| 天天操加勒比| 99在线观看| 一起草av| 五月婷婷激情综合| 呦呦v线| 超PEN精品在线| 丁香五月日本| 激情婷婷五月社区| 精品99在线观看| 五月丁香福利| 国产做爰视频免费播放| 热99精品视频| 五月天婷综合| 婷婷激情图片| 九九热在线视频,| 色开心五月婷婷丁香HD| 99ri国产| 我爱宗和色| 神马久久五月天| 色爱爱综合网| 伊人婷婷五月| 亚洲精品色| 大香网伊人久久综合| 婷婷五月天视频免费在线观看| av婷婷六月丁香社区在线观看| 色综合色综合婷婷热| 久久婷婷五月丁香网| 天天操无码| 综合久久婷婷| 婷婷色五月丁香六月欧美啪| 色播婷婷五月天| 在线观看免费视频| 婷婷激情综合| 成人片久久网站| 校园春色亚洲色| 久久99久久99精品免观看粉嫩| 麻豆科斗777| 色色色色色日韩午夜激情 | 色五月丁香五月婷婷五月成人网 | 久久久久久欧美精品se一二三四| 亚洲V国产V欧美V久久久久久 | 色婷婷国色天香综合| 久久人视频| www.久热| 婷婷伊人网| 激情综合女人网五月播播| 五月丁香狠狠爱婷婷综合| 五月婷婷中文字幕| 淫水导航| 99色综合网| 人妻六月天| 婷婷五月综合激情| 久久激情天堂| 天天爽天天透天天爱| 激情视频91| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 中文成人在线| 99热久草| www.99热最新视频8| 综合五月丁香六月婷婷| 日本一级淫| 97干在线视频| 久久国产色| 99热这只有| av国产精品偷| www婷婷| 五月色无码| 五月丁香婷婷久久| 久草嫩草在线观看| 国产在线aaa片一区二区99| 九月综合| 2025色婷婷| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 婷婷久久综合| 999激情视频| 九九这里都是精品| 久热这里精品免费| 激情综合女人网五月播播| 玖玖五月| 一婬一伦一区二区三区| 99丁香五月| 超碰免费人人| 五月丁香婷婷中文| 99热在线观看| www.婷婷五月| 五月婷婷激情视频| 色婷婷色五月综合| 五月丁香婷婷激情久久| 九九人人看| 日本色五月| 中文字幕在线不卡| 成人精品在线| 激情开心五月亚洲| 五月天婷婷激情网| 日本欧美在线| 激情网第四色| jiuse91在线| 超碰99久久| 另类色视频| 99色爱| 中文字幕免费高清电视剧| 日本三级韩三级99久久| 天天影院色| 五月丁香激情怕怕| 欧美久热| 天堂草在线观看| 丁香六月婷婷久久高清| 久草五月| 99在线亚洲| 51XX午夜影福利| 五月激情在线| 激情婷婷五月社区| 甈你aaaaa| 欧美亚洲999| 亚洲丁香五月美女| 怡红院院久久| 亚洲亚洲人成综合网络| 欧美顶级少妇做爰HD| 国产毛多水多女人A片| 日日夜夜天天| 亚洲视频一区| 日本波多野结衣视频| 熟妇国产| 丁香九月激情久久| 激情综合在线观看| 大香蕉九九| VA五月激情在线| 婷婷五月天无码熟女| 狠狠狠人妻| 五月婷婷丁香色吧网| 亚洲亚洲亚洲AAAAAA| 综合激情五月天六月婷免费视频| 天天色视频| 色噜噜狠狠色综合成人99| 欧美久热| 欧美电影在线观看| 久草婷| 狠狠色丁香婷婷| 色噜噜夜夜夜综合网| 99综合| 丁六月激情| 5月丁香六月婷婷| 99精品免费视频| 99热精品无码| 九九色综合| 激情婷婷22月间| 这里只有精品视频| 日韩aaa| 国产视频久色| 五月天激情久久| 久久婷婷九月国产精品| 综合色99| 日日.c| 五月婷无码| 亚洲综合激情五月| 另类专区在线观看| 91人人人人人| 99热碰碰| Se.婷婷五月天| 26uuu国产激情视频| 久久精品9| 精品国产乱码久久久久夜深人妻| 操逼综合网| 丁香 婷婷 激情 综合 五月| 开心五月婷婷99| 超碰97干| 日韩在线看AV| 天天日夜夜欢| 五月天婷婷深深爱| 久久狼人天堂| 欧美五月停| 久久人人九九| 国产精品激情五月天色婷婷| 97碰久久| 毛片九九九九九九九九18| 成人五月天丁香婷| 亚洲色综久久五月| 综合激情婷婷| 神马久久五月天| 狠狠色丁香五月婷巨| 婷婷五月天在线综合| 综合激情视频| 成人网站高清无码| 狠狠va| 激情六月婷婷| 亭亭玉月丁香| 久久久99精品免费观看| 国产在这里只有精品| 182TV大香蕉| 综合激情五月天六月婷免费视频| 激情五月无码| 丁香六月婷婷一区| 婷婷精品免费久久| 九九人人精品| 99色免费| 激情文学天天| 婷婷另类小说| 一本色道久久综合狠狠躁一二三| 色婷婷五月天av在线| 六月激情综合| 中文字幕人妻一区二区| 亭亭色天香| 99九色视频在线观看| 五夜丁香| 国产肏屄大片| 久久婷婷激情久久| 91jiuseshunv| 变天就操逼婷婷五月| 果冻传媒A片一二三区| 九八Av| 色伦专区97中文字幕| 欧洲色| 91碰碰碰| 久久久婷婷| 九九av| 人人爱操| 五月婷婷激情| CHINESE熟女老女人HD视频| 激情四射五月天| 婷婷99狠狠| 可以免费观看的AV| 色五月婷婷中文字幕| 99热只有| 亚洲成人综合在线| 色九九综合| 这里只有精品久久| 久久精品99国产精品日本| 激情五月综合网| 99在线精品免费视频| 国产午夜精品一区二区三区嫩草| 八戒青柠影视剧在线观看| 天天操天天插| 亚洲视频一区| 色婷婷综合久久| 日韩中出视频| 五月天婷婷丁香人人操91| 激情亭亭五月| 狠狠狠狠狠狠草| 色色色色色爱| 丁香婷婷啪啪| 五月天婷婷久久视频| 成人精品在线| 国产精品日本一区二区在线播放| 超碰人妻公开在线| 91呦呦呦| 99热免| 婷婷伊人久久无码色五月| hd五月婷婷在线| 国产av一区二区三区| 黄页大全十八禁| 丁香五月婷婷欧美性爱| 中文字幕性爱丰满| 啪啪视频99| 日日综合网| 五月婷婷六月丁香玖玖玫瑰91| 在线只有精品| 九九热99免费视频| 另类专区在线观看| 永久的网站AAAA| 91丨九色丨熟女高潮| 天天爱天天做天天舔| 99精品偷自拍| 婷婷五月天成人网站| 一级七香蕉| 99亚洲视频| 99ri国产| 777精品久无码人妻蜜桃| 五月四色色| 91美女艹逼网站| 色噜噜狠噜噜视频| 欧美日综合| 国产乱妇无乱码大黄AA片| 天天综合永久| 婷婷伊人綜合| 超碰av在线| 激情婷婷人妻| 九九色黄色| 九月婷婷激情| 五月婷五月婷伊人伊人五月婷| 公的粗大挺进了我的密道| 天天干天天爽天天爽| 国产在线自| 久久激情视频| 色视五月天婷婷| 激情色情五月天| 91日本在线| 综合色五月天| 激情久久婷婷| 99热免| 五月婷婷影视| 日本久久99久久| 26UUU精品一区二区| 热99这里只有精品视频| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 婷婷色导航| 婷婷色激情五月天| 色情综合| 热99玖玖99玖玖99九九| 色色色在线观看| 夜夜骑操AV| 大香蕉懂9| 婷婷五月综合网| 丁香五月天综合网| 五月丁香激情四射综合| 亚洲精品无人区| 婷婷久久综合| 天天摸夜夜爽天天做| www.99热这里精品| 日本精品久久久久中文字幕| 久久九九色| 1024在线视频| 综合亚洲五月天| 狠狠干在线| 九九热精品| av免费在线网站| 成人婷婷五月天| 超碰高清在线| 免看黄大片AA | AA久久| 五月天五月婷五月激情网| AV在线观看网站| 五月停停大香蕉| 婷婷六月激情丁香| 色情婷婷| 熟美女麻豆| 国产黄大片在线观看画质优化| 97色天堂| 亚洲五月天婷婷在线| 99久久99视频只有精品| 久久久A级视频| 亚洲最大成人综合网720P| 99欧州偷拍视频| 婷婷激情社区| 干婷婷五月天| 五月丁香婷中文| 69人人操人人爽| 年轻的妺妺伦理HD中文| 97综合在线| 99精品视频网| 久久婷婷五月草视频| 99视频超级精品| 99伊人性爱在线影院| 天天操天天干天天射| 亚洲精品亚洲人成人网| 狠狠干综合网| 天天操屄网| 婷婷亚洲丁香五月| 亚洲性受XXXX五月丁香| 婷婷五月色图| 97超碰9久热婷婷热| 欧美成人AAA片一区国产精品| 亚洲天堂热| www.yw色| 性爱视频99| 特级片神马电影| 五月丁香少妇A| 久久这里只有国产| 五月丁香婷婷综合| 综合久久五月天| 色五月综合97| 九久热| 丁香五月婷婷激情97| 九九色综合九九色| 任你搞在线观看视频| 大香蕉院线| 99综合网| 俺也去婷婷五月天第五色| www.99热在线观看| 日本123区日韩欧美不卡在线看| 亭亭五月激情亚洲在线| 天天操夜夜操| 婷婷国产综合| 激情AV| 国产ava| 亚洲va综合va国产va中文| 色婷婷五月天成人网| 精品,99| 亚洲 五月 婷婷 成人| 久久精彩视频99| 色五月天激情| 丁香五月婷婷欧美成人色图| 激情五月天色爱| 好好干av| 婷婷五月天电影在线| 深爱1激情网| 秋霞三及片| 色99热| 激情五月天综合| 开心五月网| 99成人| 婷婷99视频精品| 色婷操逼| 99热国产免费| 午夜婷婷| 国产又爽又猛又粗的视频A片| 中文字幕日本最新乱码视频| 99久久国产宗和精品1上映| 色五月丁香五| 亚洲国产网址| 日韩黄色电影| 99热老司机| 激情五月深爱五月| 天天做天天要天天爽| 婷婷五月天激情综合深爱| 这里只有精品视频一区| 久久五月天激情| 精品女人九九九| 99色综合| 中文字幕无码人妻少妇免费视频| 色呦精品| 综合超碰熟| 久久 婷婷 五月天| 色五月成人婷婷| 青青草护士中出内射-欧美电影在线天堂新版 | 国熟女视频| 激情VA视频| 91干视频| 婷婷99狠狠躁天天躁| 艹B高清无码| 色色色色色五月| 色婷婷丁香| 深爱激情九九五月天 | 天天干天天干天天干天天干天天干| 久久大香蕉| 影音先锋男士资源网一区| 激情五月婷婷视频一区二区三区| 久久多色| 亚洲激情免费久久| 六月丁香影院| 在线成人网站| 精品国产乱码久久久久久免费| 久久久人人操A V| 伊人五月综合网| 九九激情综合| 国产成人网址| 深爱丁香激情| 丁香五月很很肏| 久久婷婷五月综合激情国产| 五月婷婷丁香| 这里只有精品久久| 婷婷九月丁香久久| 狠爱婷色| 久热 91| 丁香六月婷婷久久综合八月| 无码激情AAAAA片-区区| 丁香六月婷婷五月天| 五月天a婷婷伊人| 久久综合五月天| 能看的av| www.综合久久.com| 五月丁香在线精品| 五月天婷婷綜合院| 丁香狠狠干| 亚洲最大在线| 色五月丁香六月婷婷| 91狠狠综合久久| 色婷婷精| 久久66er久久| 99热精品无码| 久久精品国产一区二区三区四区| 97超级操操| 狠狠干五月丁香| 亚洲综合无码| 男女av免费看| 国产色丁香| 播五月丁香三月婷婷| 丁香五月花| 任你爽视频| 五月综合无码| 屁股翘好撅高迎合跪趴| 婷婷五月天黄色| 99热在线免费| 丁香五月影院| 91久久综合亚洲鲁鲁五月天| 99热这里只有精品最新地址获取| www婷婷| 五月天婷婷色色网| 五月 婷婷 成人| 婷婷五月天激情小说| 日韩操逼大片| 婷婷五月天在线一区| 性按摩玩人妻HD中文字幕| 九久9精品| 天天操综合网| www91色网站| 四虎婷婷五月天| 丁香婷婷影院| 成人一级片| 日本狠狠网| 9九九久久精品无码专区| 激情精品久久| 婷婷香五月天| 一本久道综合99| 天天爽天天摸天天爱| 久久无码成人| 欧美日韩大黄| 丁香五月婷婷在线| 亚洲不卡| 色久影院| 色婷婷操逼网| 激情五月天伊人av| 狠狠干最新地址| 婷婷五月情色| 六月激情网| 色情五月天小说| 五月激情综合网| 六月撸婷婷| 丁香五月天婷婷中文字幕| 碰人人97| 亚洲色色香蕉| 91精品刘玥| 亚洲性爱99在线| 亚洲热热视频| www夜夜| 97碰碰视频在线观看| 色噜噜狠狠色综无码久久合欧美 | 伊人综合网4| 婷婷五月天基地| 五月天婷婷午夜丁香| 岛国av网站| 色性综合| 色五月激情五月| 丁香五月1页| 九九热在线视频观看| 免费AV播放| 欧美天天五月丁香免费观看| 亚洲成人网站在线观看| 超碰人人艹| 色婷婷五月在线| 99在线观看视频免费| 色播五月| 五月天激情小说婷婷| 91一起操| 国产阿姨日皮艹逼内射视频| 免费看欧美成人A片无码| 五月婷婷和六月| 日逼AV影音先锋男人资源站| Jh7Uf088VHafNm| 色婷婷香蕉在线| 五月综合缴情网| 九九精品少妇| 日本WWW九九九| 91操熟女| 97色干| 激情婷婷狠狠干| 9 7总站超级碰免费视频| 五月六月婷婷| 婷婷丁香社区| 91色综合| 久久五月天合网| 九八Av| 97 A I色色| 色99热| 成人在线99| hd五月婷婷在线| 丁香婷婷综合影院| 天天爱天天狠天天透| 婷婷五月天激情小说| 97啪啪| 色 五月婷婷基地| 一级性感毛片| 激情五月天色网站| 五月丁香六月婷婷,婷| 亚洲午夜成人av电影网| 五月第四色| www.91九色| 99色综合| 丁香激情五月少妇| 性生活视频98791| 亚洲1区| 五月开心深深爱激情综合| 久久综合婷婷五月| 久9视频| 五月天精品综合| 婷婷操超碰| 亚洲第一综合| 色五月婷婷丁香五月| 五月婷婷与六月丁香图片激情| 色婷婷狠狠| 曰日爽日日操| 99久在线精品99re8热| 操操操97| 婷婷玖玖五月天| 亚州激情在线视频| 亚洲天堂碰碰婷婷| 色色综合网站| 婷婷五月中文字幕国产| 亚洲熟女乱色综合亚洲网站| av大香蕉| AV操操操| 亭亭丁香久久五月| 超碰中文字幕在线| 99热这里是精品| 五月丁花六月丁香综合| 婷婷五月天国产性感美女演员久久久久| 婷婷五月激情中文字幕| 亚洲成人色五月天|