欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

基于Hadoop與Spark的大數(shù)據(jù)信貸風(fēng)控系統(tǒng):從數(shù)據(jù)鏈路到模型驗證

基于Hadoop與Spark的大數(shù)據(jù)信貸風(fēng)控系統(tǒng):從數(shù)據(jù)鏈路到模型驗證 簡介這是一套基于Hadoop與Spark構(gòu)建的金融信貸風(fēng)險控制系統(tǒng)源碼面向大數(shù)據(jù)開發(fā)、金融風(fēng)控算法及數(shù)據(jù)工程方向的開發(fā)者可用于理解海量借貸數(shù)據(jù)下的信用評估與欺詐檢測全流程。資源包共69個文件大小約72KB以36個Java文件、8個Scala文件組成核心計算邏輯配套12個XML配置及5個properties參數(shù)文件便于調(diào)整Spark/Hive運行環(huán)境與模型參數(shù)另有SQL、JSON、JS等文件輔助數(shù)據(jù)集成與可視化展示。項目覆蓋數(shù)據(jù)接入、預(yù)處理、邏輯回歸/隨機森林等模型訓(xùn)練、風(fēng)險評分及實時批處理結(jié)合等模塊源碼分層清晰適合以此為基礎(chǔ)擴展實時風(fēng)控、特征工程或監(jiān)控告警等實踐。已有1219人學(xué)習(xí)下載對于希望掌握大數(shù)據(jù)風(fēng)控項目架構(gòu)與技術(shù)選型的開發(fā)者來說是一份可直接研讀和二次開發(fā)的參考實現(xiàn)。1. 基于Hadoop、Spark的大數(shù)據(jù)金融信貸風(fēng)險控系統(tǒng)先看懂它的數(shù)據(jù)賬信貸風(fēng)控這個場景有個反直覺的結(jié)論真正決定系統(tǒng)能不能跑起來的不是模型有多先進而是從申請信息、還款流水、外部征信到最終風(fēng)險評分的這條數(shù)據(jù)鏈路是否通暢。我拿到一套大數(shù)據(jù)金融信貸風(fēng)險控系統(tǒng)源碼第一件事從來不是翻模型代碼而是先看它的數(shù)據(jù)處理鏈路是怎么組織的。基于Hadoop、Spark的大數(shù)據(jù)金融信貸風(fēng)險控系統(tǒng)本質(zhì)是用HDFS做全量數(shù)據(jù)底座、用Hadoop生態(tài)做離線批處理、用Spark做高時效計算把信貸審批和貸后監(jiān)控變成一條可審計、可回溯的數(shù)據(jù)流水線。它能解決的是數(shù)據(jù)量大、特征維度多、審批時效要求高的信貸風(fēng)控場景。適合誰讀正在做風(fēng)控平臺技術(shù)選型、準(zhǔn)備把這類源碼落地成生產(chǎn)系統(tǒng)的工程師或者想系統(tǒng)理解數(shù)據(jù)鏈路與模型鏈路如何銜接的新手。2. 從源數(shù)據(jù)到風(fēng)險分Hadoop 做數(shù)據(jù)底座、Spark 做計算引擎的架構(gòu)拆分2.1 分層設(shè)計離線層、近線層、在線層各管哪一段一套完整的信貸風(fēng)控系統(tǒng)數(shù)據(jù)鏈路一定不是一條直線而是按時效性拆成三個層次。離線層跑在Hadoop之上數(shù)據(jù)落在HDFS表結(jié)構(gòu)放在Hive里負(fù)責(zé)T1的全量批處理歷史申請數(shù)據(jù)歸檔、月度特征重算、模型訓(xùn)練樣本生成。近線層用Spark的微批或Structured Streaming負(fù)責(zé)分鐘級到小時級的增量特征刷新比如貸后行為監(jiān)控、額度復(fù)評需要用到的近幾小時交易匯總。在線層則是規(guī)則引擎和模型服務(wù)需要在毫秒級返回風(fēng)險分這部分通常不直接跑Spark而是讀取預(yù)計算好的特征。這里有個常見誤解既然Spark既能做批處理又能做流處理為什么還要保留Hadoop答案是兩者根本不是替代關(guān)系。Hadoop提供的是分布式存儲HDFS和資源調(diào)度YARNSpark是運行在YARN之上的計算框架。換句話說Hadoop是底座Spark是引擎。源碼里如果看到MRv2的作業(yè)或Hive UDF別急著說“這技術(shù)過時了”它們負(fù)責(zé)的是數(shù)據(jù)歸檔、全量重算這類對實時性不敏感但對穩(wěn)定性要求極高的任務(wù)。技術(shù)選型不是追新是讓每類任務(wù)落在它最合適的位置上。三層之間的流轉(zhuǎn)也很關(guān)鍵。離線層產(chǎn)出的特征寬表會被同步到在線層的緩存或特征庫中供實時查詢在線層產(chǎn)生的審批結(jié)果和貸后表現(xiàn)又會回流到Hive表里成為下一輪模型訓(xùn)練的新樣本。這個回環(huán)結(jié)構(gòu)是信貸風(fēng)控系統(tǒng)和一般推薦系統(tǒng)最大的不同風(fēng)控系統(tǒng)的數(shù)據(jù)是自我進化的每放一筆款、每產(chǎn)生一筆逾期都會成為未來模型的訓(xùn)練素材。2.2 特征加工鏈路Spark 做寬表 joinHadoop 做歸檔沉淀特征加工是風(fēng)控系統(tǒng)最重的一塊計算。申請人的基本信息、流水、多頭借貸記錄、歷史逾期記錄分散在幾十張表里必須拉到一起才能計算特征。常見做法是先用Spark SQL做多層寬表加工把明細(xì)數(shù)據(jù)聚合成以申請為粒度的特征表寬表里一行就是一個申請單對應(yīng)的幾百個特征這是后續(xù)模型訓(xùn)練和規(guī)則判斷的輸入。加工過程中Spark的優(yōu)勢體現(xiàn)得很明顯內(nèi)存計算避免了反復(fù)讀寫磁盤同一個口徑下Spark跑一個多表join的耗時通常只有MapReduce的幾分之一這對于需要按天重跑的全量特征任務(wù)來說直接決定了能不能在業(yè)務(wù)開門前跑完。Hadoop在這一環(huán)節(jié)的職責(zé)更多是數(shù)據(jù)沉淀。經(jīng)過Spark加工后的結(jié)果會寫回Hive表以分區(qū)形式組織按業(yè)務(wù)日期分區(qū)存放。這樣設(shè)計的價值在于一旦發(fā)現(xiàn)某個特征口徑算錯了可以只重跑對應(yīng)分區(qū)而不需要動全表另外Hive表配合HDFS的副本機制天然承擔(dān)了數(shù)據(jù)備份和災(zāi)難恢復(fù)的職責(zé)。生產(chǎn)系統(tǒng)里我一般會在離線層保留最近三年的原始明細(xì)數(shù)據(jù)壓縮后存放在HDFS上為后續(xù)的模型回溯分析留足彈藥。用Spark接增量明細(xì)、加工特征再落回Hive分區(qū)表的骨架大概長這樣from pyspark.sql import SparkSession from pyspark.sql.functions import col, to_date, current_timestamp spark SparkSession.builder \ .appName(customer_feature_etl) \ .enableHiveSupport() \ .getOrCreate() biz_date 2025-01-15 df spark.read.format(parquet) \ .load(hdfs:///data/ods/customer_trans/dt{}.format(biz_date)) df_clean df.filter(col(trans_amt) 0) \ .withColumn(etl_time, current_timestamp()) \ .withColumn(feature_dt, to_date(col(trans_time))) df_clean.createOrReplaceTempView(trans_detail) spark.sql( SELECT customer_id, SUM(trans_amt) AS amt_total, COUNT(*) AS cnt_total, AVG(trans_amt) AS amt_avg FROM trans_detail GROUP BY customer_id ).write.mode(overwrite) \ .format(parquet) \ .partitionBy(feature_dt) \ .saveAsTable(dws.customer_feature_agg)代碼邏輯分四步先按業(yè)務(wù)日期讀取ODS層的客戶交易明細(xì)讀取時直接定位到當(dāng)天分區(qū)避免全表掃描然后做基礎(chǔ)清洗過濾掉金額為負(fù)的異常流水同時補上ETL時間和特征日期字段接著注冊成臨時視圖用Spark SQL做聚合最后按feature_dt分區(qū)寫入DWS層特征聚合表。這里有兩個參數(shù)值得留意一是read.load的路徑中dt{}這個日期參數(shù)應(yīng)當(dāng)由調(diào)度平臺傳入保證任務(wù)重跑時能指定正確分區(qū)二是write.mode(overwrite)對于按分區(qū)寫入的場景overwrite模式只覆蓋對應(yīng)分區(qū)不會影響其他日期的數(shù)據(jù)遠(yuǎn)比先刪表再重建安全。2.3 樣本與標(biāo)簽風(fēng)控建模里最容易翻車的時點對齊問題信貸風(fēng)控訓(xùn)練數(shù)據(jù)和普通機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)最大的區(qū)別在于標(biāo)簽不是立刻能拿到的。某筆申請在1月15日通過審批它是不是壞樣本要看放款后90天甚至180天有沒有逾期這就是風(fēng)控里常說的表現(xiàn)期。因此源碼里樣本表的設(shè)計通常包含三個時間字段申請時間、放款時間、表現(xiàn)期截止時間。切樣本的時候只能取那些表現(xiàn)期已經(jīng)走完的歷史申請還在表現(xiàn)期內(nèi)的不能進訓(xùn)練集。特征時點對齊是另一個重災(zāi)區(qū)。訓(xùn)練樣本里某個特征比如近三個月消費金額計算窗口的截止點必須嚴(yán)格卡在申請時間點不能把申請之后的流水也算進去。這個坑如果踩了模型在回測時的AUC會虛高上線后卻立刻失效。典型的錯誤寫法是直接拿當(dāng)前時間作為窗口終點去算歷史樣本的特征這在源代碼評審時是最先要揪出來的問題。正確的做法是把申請時間作為參數(shù)傳入特征計算任務(wù)讓每一條樣本的特征都嚴(yán)格截取在它自己申請時間之前。還有一種常見做法是在數(shù)據(jù)表設(shè)計上做約束申請事實表和特征表都用申請單號做主鍵觀察期、表現(xiàn)期作為字段存下來。這樣不管是訓(xùn)練還是推理都從同一個寬表里取數(shù)避免訓(xùn)練和上線兩套口徑。寬表生成后模型訓(xùn)練只讀這張表不再回源明細(xì)既快又不容易出錯。3. 讀懂這類源碼的四塊核心數(shù)據(jù)接入、特征計算、規(guī)則與模型、任務(wù)調(diào)度3.1 數(shù)據(jù)接入把申請信息與還款流水接進 Hive 的 Spark 作業(yè)骨架拿到源碼包先別急著跑先按目錄結(jié)構(gòu)把模塊劃分認(rèn)清楚。這類系統(tǒng)常見的模塊拆法是數(shù)據(jù)接入層、特征加工層、決策引擎層、管理后臺層。數(shù)據(jù)接入層負(fù)責(zé)把業(yè)務(wù)庫、消息隊列、外部數(shù)據(jù)源里的數(shù)據(jù)搬運到HDFS和Hive里是整個鏈條的起點。信貸場景里的數(shù)據(jù)源有幾種典型形態(tài)業(yè)務(wù)申請數(shù)據(jù)存在業(yè)務(wù)庫中常用Sqoop或DataX同步還款流水和行為埋點走消息隊列外部征信數(shù)據(jù)以文件或接口方式提供。源碼里這一層通常是最穩(wěn)定的因為模式相對固定但也是最先出問題的地方。以還款流水接入為例用Spark接消息隊列再落Hive分區(qū)的骨架代碼如下from pyspark.sql import SparkSession from pyspark.sql.functions import col, from_json, to_date from pyspark.sql.types import StructType, StringType, LongType, DoubleType spark SparkSession.builder \ .appName(repay_flow_ingest) \ .enableHiveSupport() \ .getOrCreate() schema StructType() \ .add(loan_id, StringType()) \ .add(repay_amt, DoubleType()) \ .add(repay_time, LongType()) \ .add(status, StringType()) raw spark.readStream.format(kafka) \ .option(kafka.bootstrap.servers, node01:9092,node02:9092) \ .option(subscribe, repay_flow) \ .option(startingOffsets, latest) \ .load() parsed raw.select( from_json(col(value).cast(string), schema).alias(data) ).select(data.*) parsed parsed.withColumn(dt, to_date(col(repay_time).cast(timestamp))) def write_batch(batch_df, batch_id): batch_df.write.mode(append) \ .format(parquet) \ .partitionBy(dt) \ .saveAsTable(dwd.repay_flow_daily) parsed.writeStream \ .foreachBatch(write_batch) \ .outputMode(append) \ .trigger(processingTime5 minutes) \ .start()這里用了Structured Streaming的foreachBatch模式每5分鐘把攢下的一批數(shù)據(jù)寫入Hive分區(qū)表。foreachBatch比直接writeStream到Hive更可靠因為可以在這里加入去重、格式校驗、甚至調(diào)用其他依賴該批數(shù)據(jù)的任務(wù)。參數(shù)上重點關(guān)注兩處startingOffsets設(shè)為latest表示只消費新數(shù)據(jù)如果要做歷史補數(shù)需要改成earliest或指定offsettrigger的processingTime決定數(shù)據(jù)可見延遲5分鐘一刷對貸后監(jiān)控夠用但需要按業(yè)務(wù)對時效的要求動態(tài)調(diào)整。3.2 特征計算窗口函數(shù)與時間滑窗的典型寫法特征加工是風(fēng)控源碼里代碼量最大的部分也是最值得逐行讀的部分。常見特征按窗口分為近1個月、近3個月、近6個月、近12個月甚至包含節(jié)假日在內(nèi)的特殊時段特征。這類時間滑窗特征在Spark SQL里非常適合用窗口函數(shù)加條件聚合來實現(xiàn)。近3個月還款行為特征的典型SQL寫法如下SELECT loan_id, customer_id, SUM(CASE WHEN repay_status overdue THEN 1 ELSE 0 END) AS overdue_cnt_3m, COUNT(*) AS repay_cnt_3m, SUM(repay_amt) AS repay_amt_3m, AVG(repay_amt) AS repay_avg_amt_3m, MAX(repay_amt) AS repay_max_amt_3m FROM dwd.repay_flow_daily WHERE repay_time TO_DATE(2025-01-15) - INTERVAL 3 MONTHS AND repay_time TO_DATE(2025-01-15) GROUP BY loan_id, customer_id這條SQL把還款明細(xì)按申請單聚合輸出逾期次數(shù)、還款筆數(shù)、總額、均值、最大值五個特征。需要注意的是WHERE條件里窗口終點的寫法用TO_DATE(2025-01-15)而不是CURRENT_DATE。如果用CURRENT_DATE跑歷史樣本的補數(shù)任務(wù)時就會把未來數(shù)據(jù)也算進去導(dǎo)致訓(xùn)練集和線上特征口徑不一致。這個細(xì)節(jié)在多人協(xié)作的項目里反復(fù)出現(xiàn)也是絕大多數(shù)特征口徑事故的根源。另外特征計算任務(wù)最好做成配置驅(qū)動窗口長度、聚合字段、時間字段都放在配置表或配置項里代碼里不寫死。好處有兩個一是新增特征時不用改代碼改配置加一行就行二是模型迭代時方便對照特征清單審查口徑。源碼里如果特征都是硬編碼在一個大SQL里后續(xù)維護成本會很高拿到手后第一步建議就是把它重構(gòu)為配置化。3.3 規(guī)則引擎與模型打分規(guī)則表、PMML、原生 Pipeline 的取舍信貸風(fēng)控決策不是純模型而是規(guī)則與模型融合的結(jié)果。硬規(guī)則負(fù)責(zé)攔截監(jiān)管紅線和極端風(fēng)險比如年齡超限、黑名單命中、身份證格式非法模型負(fù)責(zé)對剩余申請做精細(xì)化風(fēng)險排序。源碼里面向這一塊的代碼通常分兩部分規(guī)則引擎和模型推理服務(wù)。規(guī)則引擎的設(shè)計常見做法是規(guī)則配置化規(guī)則不寫死在代碼里而是放在數(shù)據(jù)庫表或配置文件中支持熱更新。規(guī)則表的結(jié)構(gòu)一般包含這些字段CREATE TABLE risk_rule_set ( rule_id STRING, rule_name STRING, rule_expr STRING, -- 例如 score_model 600 AND apply_amt 50000 action STRING, -- PASS / MANUAL / REJECT priority INT, status STRING, update_time TIMESTAMP );rule_expr里存的是可解析的表達(dá)式規(guī)則引擎啟動時加載全表把表達(dá)式編譯成內(nèi)存對象逐條對申請數(shù)據(jù)做匹配。action表示命中后干什么priority決定多條規(guī)則沖突時聽誰的。把規(guī)則從代碼里抽出來放到表里最大的價值是風(fēng)控業(yè)務(wù)人員可以直接配置、即時生效不需要等開發(fā)排期上線。模型打分這部分選型的核心矛盾是跨語言部署和性能。常見做法有三種把模型導(dǎo)出為PMML格式用Java加載打分導(dǎo)出為ONNX格式用推理引擎加載或者直接用Spark ML庫的Pipeline保存和加載。PMML在信貸風(fēng)控里用得仍然很廣因為它對特征順序敏感字段名一一對應(yīng)部署方不需要關(guān)心訓(xùn)練方的代碼細(xì)節(jié)。用Spark訓(xùn)練完的模型保存并加載做打分流程最順但需要保證運行環(huán)境里有匹配的Spark版本依賴。3.4 任務(wù)調(diào)度與血緣離線任務(wù)為什么必須配調(diào)度信貸系統(tǒng)的離線任務(wù)數(shù)量通常幾十上百個靠crontab或人工觸發(fā)根本管理不過來。源碼包里如果有部署文檔調(diào)度配置一定是重點章節(jié)。調(diào)度平臺要做的事是兩件一是按依賴關(guān)系編排任務(wù)上游產(chǎn)出分區(qū)數(shù)據(jù)后下游才能啟動二是失敗重試和告警任務(wù)掛了自動重試幾次再不行就通知值班的人。任務(wù)依賴編排的核心是數(shù)據(jù)就緒檢測。一個Spark任務(wù)啟動前要先確認(rèn)它依賴的Hive分區(qū)已經(jīng)生成而不是用sleep硬等。常見做法是調(diào)度平臺支持前置檢查節(jié)點檢查SQL返回的分區(qū)數(shù)據(jù)量是否大于0。離線跑批鏈路里ODS同步?jīng)Q定了今天有沒有原材料DWD清洗決定了加工質(zhì)量DWS特征寬表決定了模型和報表能否產(chǎn)出。任何一環(huán)掛掉后面的任務(wù)即使跑成功產(chǎn)出的也是臟數(shù)據(jù)。源碼里這一塊的工程價值最容易被低估但生產(chǎn)事故往往就出在這——任務(wù)報SUCCESS但數(shù)據(jù)是空的比任務(wù)失敗更難排查。血緣管理同樣值得提。每個特征字段要能追溯到它來自哪張源表、經(jīng)過了哪些加工步驟否則排查問題時只能靠翻代碼。實際項目里我會要求所有特征加工腳本都登記一張源表-目標(biāo)表映射表調(diào)度平臺跑完任務(wù)后就更新血緣信息半年下來這套元數(shù)據(jù)比代碼注釋可靠得多。4. 讓源碼落地集群規(guī)劃、打包提交與必調(diào)參數(shù)4.1 環(huán)境選型物理機、云主機還是容器化的判斷標(biāo)準(zhǔn)拿到源碼后的第一個決定是在什么環(huán)境上跑。判斷標(biāo)準(zhǔn)其實就三條數(shù)據(jù)量、任務(wù)節(jié)奏、運維能力。數(shù)據(jù)量在幾TB到幾十TB、任務(wù)以T1批處理為主的用幾臺物理機構(gòu)建小型Hadoop集群最經(jīng)濟。數(shù)據(jù)量在百TB級、還需要彈性擴容應(yīng)對大促高峰的云主機會更合適按需擴容、用完釋放。想跑在容器里的也可以但Hadoop生態(tài)的容器化方案對網(wǎng)絡(luò)和存儲要求比較高運維能力不夠的話不建議一步到位。規(guī)模參考按節(jié)點數(shù)給個常見范圍5臺以內(nèi)屬于入門規(guī)模適合跑通源碼和開發(fā)環(huán)境10到20臺能支撐千萬級用戶的風(fēng)控跑批再往上就要考慮業(yè)務(wù)拆分了。機器規(guī)格方面NameNode節(jié)點對內(nèi)存敏感建議64GB起步DataNode節(jié)點磁盤容量優(yōu)先計算密集時CPU核數(shù)多給一些。Spark的executor和HDFS的DataNode通?;觳吭谕慌?jié)點上這樣數(shù)據(jù)本地性最好——Spark讀數(shù)據(jù)時直接從本機磁盤拿省去網(wǎng)絡(luò)傳輸。4.2 從源碼到運行打包、上傳、提交 Spark 作業(yè)源碼工程一般是Maven或Gradle組織的多模塊工程拿到后先編譯打包再提交到集群運行。打包和提交的命令如下mvn clean package -DskipTests -Pdist hdfs dfs -mkdir -p /apps/credit-risk hdfs dfs -put credit-risk-1.0.jar /apps/credit-risk/ spark-submit \ --master yarn \ --deploy-mode cluster \ --class com.example.credit.CreditBatchMain \ --files hdfs:///apps/credit/risk_rule.conf \ --conf spark.executor.extraJavaOptions-Dconfig.filerisk_rule.conf \ --queue risk \ --executor-memory 16g \ --executor-cores 4 \ --num-executors 20 \ /apps/credit-risk/credit-risk-1.0.jar \ --env prod \ --dt 2025-01-15各參數(shù)作用拆開看--master yarn表示交給集群資源調(diào)度--deploy-mode cluster讓Driver也跑在集群里適合離線批任務(wù)--class指定要運行的入口類--files把外部配置文件分發(fā)到每個執(zhí)行節(jié)點--queue指定YARN隊列把風(fēng)控任務(wù)單獨放一個隊列可以避免和其他業(yè)務(wù)互相搶占資源最后兩個參數(shù)--env和--dt是業(yè)務(wù)參數(shù)--dt就是第2章里提到的業(yè)務(wù)日期特征計算任務(wù)都依賴它來定位分區(qū)。初次啟動時建議先不用--num-executors改用Spark的動態(tài)資源分配讓集群按負(fù)載自動伸縮。等穩(wěn)定運行一段時間后再根據(jù)監(jiān)控數(shù)據(jù)固定executor數(shù)量或直接保留動態(tài)策略。源碼里如果自帶啟動腳本重點看腳本里的參數(shù)值——不同公司集群規(guī)模差異很大直接照搬的后果通常不是OOM就是資源浪費。4.3 必調(diào)參數(shù)executor 內(nèi)存、分區(qū)數(shù)與動態(tài)資源Spark作業(yè)調(diào)參是玄學(xué)但有幾條基本邏輯不是玄學(xué)。Executor內(nèi)存、CPU核數(shù)、分區(qū)數(shù)三者必須放在一起看單獨調(diào)哪一個都可能翻車。常見參數(shù)配置參考如下參數(shù)常見取值調(diào)整依據(jù)spark.executor.memory8g ~ 32g每個任務(wù)的數(shù)據(jù)處理量、是否有大聚合spark.executor.cores2 ~ 4越高并行度越高但要控制單節(jié)點總核數(shù)spark.sql.shuffle.partitions200 ~ 2000和shuffle數(shù)據(jù)量掛鉤過少導(dǎo)致單分區(qū)壓力過大過多導(dǎo)致小文件膨脹spark.dynamicAllocation.enabledtrue / false生產(chǎn)環(huán)境建議開啟讓集群彈性伸縮spark.yarn.executor.memoryOverhead1g ~ 4g存放JVM堆外內(nèi)存頻繁O(jiān)OM時優(yōu)先調(diào)這里spark.sql.adaptive.enabledtrue動態(tài)調(diào)整reduce分區(qū)數(shù)解決數(shù)據(jù)傾斜第一次跑源碼任務(wù)時我一般先把shuffle分區(qū)分母設(shè)成executor總核數(shù)的2到3倍比如20個executor、每個4核、共80核分區(qū)數(shù)設(shè)160到240然后看Spark UI里每個stage的耗時分布。如果某個stage最后幾個task明顯比別的慢很多大概率是數(shù)據(jù)傾斜。解決數(shù)據(jù)傾斜優(yōu)先開spark.sql.adaptive.enabled還不行再考慮加鹽或者拆廣播變量。executor內(nèi)存溢出則優(yōu)先調(diào)memoryOverhead它不是堆內(nèi)存但堆外內(nèi)存不夠一樣會OOM。還有一個容易被忽略的參數(shù)是spark.speculation開啟后Spark會重跑那些明顯滯后的task取最先完成的那個結(jié)果。對大數(shù)據(jù)量的批處理任務(wù)能兜底但也可能帶來重復(fù)計算穩(wěn)妥做法是在跑的慢的節(jié)點上臨時開啟穩(wěn)定后關(guān)掉。參數(shù)調(diào)整后必須觀察Spark UI上的GC時間、shuffle落地量、單task處理時長三個指標(biāo)不要只看任務(wù)成功還是失敗。5. 風(fēng)控系統(tǒng)落地避坑五條值得記住的排查記錄5.1 現(xiàn)象夜間批處理任務(wù)堆積Spark 作業(yè)反復(fù)失敗某次生產(chǎn)環(huán)境凌晨的T1批處理任務(wù)在3點后開始堆積Spark作業(yè)提交成功但運行幾分鐘后就被YARN殺掉。現(xiàn)象是任務(wù)反復(fù)失敗日志里出現(xiàn)大量ExecutorLostFailure和Container killed messages。原因是executor申請的內(nèi)存超過節(jié)點可用內(nèi)存加上多個任務(wù)在同一批節(jié)點上同時運行物理內(nèi)存被打滿后觸發(fā)系統(tǒng)OOM容器直接被回收。這不是單次任務(wù)的問題而是所有夜間批任務(wù)擠在同一時間窗口、資源池沒有隔離的必然結(jié)果。解決分兩步先給風(fēng)控任務(wù)單獨劃分YARN隊列限制隊列最大資源占用防止批任務(wù)之間互相爭搶再調(diào)小單executor內(nèi)存把16g降到8g同時增加executor數(shù)量保住總計算能力。更根本的辦法是把大任務(wù)拆成多個有依賴關(guān)系的小任務(wù)錯峰執(zhí)行讓峰值內(nèi)存需求錯開。5.2 現(xiàn)象實時評分接口延遲抖動從 200ms 漲到 2s風(fēng)控實時評分接口平時穩(wěn)定在200ms左右某段時間開始下午高峰期漲到2s甚至超時?,F(xiàn)象沒有規(guī)律不是每次都慢但慢的時候集中在流量大的時間段。抓線程和GC日志后發(fā)現(xiàn)在線評分服務(wù)讀取特征緩存時每次都用同步方式請求遠(yuǎn)程緩存一旦緩存服務(wù)出現(xiàn)網(wǎng)絡(luò)抖動或者慢查詢調(diào)用方線程全部阻塞在等待上。另外服務(wù)本身的JVM堆設(shè)置偏小高峰期Full GC頻繁也會放大延遲。解決是在評分服務(wù)本地加一層二級緩存把熱點特征緩存到本地內(nèi)存設(shè)置2分鐘的過期時間遠(yuǎn)程緩存只在本地未命中時回源。同時把遠(yuǎn)程緩存查詢改成異步刷新請求進來先查本地緩存查不到就直接回源一次后臺再異步更新。改動后接口延遲穩(wěn)定在100ms到300ms之間抖動問題沒有再出現(xiàn)。5.3 現(xiàn)象訓(xùn)練集和線上特征口徑對不上模型 AUC 虛高模型在回測時AUC到了0.82上線后實際區(qū)分能力明顯達(dá)不到回測水平調(diào)閾值也沒用。排查后發(fā)現(xiàn)訓(xùn)練特征和上線特征不是一個源頭。根因在特征計算任務(wù)的日期參數(shù)上。訓(xùn)練樣本的特征是歷史某一天跑的批任務(wù)產(chǎn)出的當(dāng)時用的窗口終點是當(dāng)天線上評分時特征服務(wù)用的窗口終點是當(dāng)前時刻。對同一個申請單如果特征引用的是未來一段時間的流水訓(xùn)練出來的特征分布和線上完全不同。更隱蔽的是缺失值處理邏輯不一致訓(xùn)練時用了全表均值填充線上實時服務(wù)沒有這個均值表填的0分布直接偏移。解決是整個團隊統(tǒng)一用特征生成腳本的同一份代碼訓(xùn)練和線上共用一套特征邏輯。新增一個特征校驗任務(wù)每天對比訓(xùn)練特征表和線上特征表的同名字段的均值、標(biāo)準(zhǔn)差、分布差異PSI超閾值就報警。這個機制上線后口徑不一致的問題基本做到了早發(fā)現(xiàn)早處理。5.4 現(xiàn)象Hive 小文件暴漲NameNode 內(nèi)存吃緊集群NameNode堆內(nèi)存使用率持續(xù)攀升Hive表查詢越來越慢。查看后發(fā)現(xiàn)DWS層特征表的文件數(shù)量從上萬個漲到了十幾萬個大量幾KB到幾百KB的小文件占滿了NameNode內(nèi)存。原因是特征計算任務(wù)用了動態(tài)分區(qū)寫Hive同時shuffle分區(qū)數(shù)設(shè)得過大Spark寫出的文件數(shù)量等于shuffle分區(qū)數(shù)乘以動態(tài)分區(qū)數(shù)數(shù)據(jù)量沒漲文件數(shù)漲了好幾倍。小文件多不僅拖垮NameNode還會讓后續(xù)讀取任務(wù)啟動大量task每個task都在做元數(shù)據(jù)操作整個集群變慢。解決分兩層Spark寫入前先做一次repartition把輸出分區(qū)數(shù)控制在合理范圍內(nèi)寫入后跑一次合并任務(wù)用Hive的MERGE或Spark repartition按新分區(qū)數(shù)重寫一遍。參數(shù)方面把spark.sql.shuffle.partitions從2000降到400匹配實際數(shù)據(jù)規(guī)模而不是簡單照搬。關(guān)鍵是建立一條小文件巡檢任務(wù)每天統(tǒng)計各層表的文件數(shù)變化超過閾值就自動觸發(fā)合并。5.5 現(xiàn)象模型上線后壞賬率不降反升新模型上線一個月后審批通過率沒有明顯變化壞賬率卻比舊模型時期高了一截。團隊第一反應(yīng)是模型不行但要區(qū)分是模型本身的問題還是客群結(jié)構(gòu)變化的問題。排查后發(fā)現(xiàn)新模型確實更準(zhǔn)但它會把一批舊模型認(rèn)為高風(fēng)險、拒絕掉的人群放進來。這批人其實是舊模型時期被拒絕、沒有真實貸后表現(xiàn)、只能靠拒絕推斷去估計其風(fēng)險的人。新模型使用了更寬泛的特征給了部分原本該拒絕的人通過而這些人的實際表現(xiàn)比訓(xùn)練時預(yù)估的更差。解決思路是引入拒絕推斷的修正樣本把被拒絕人群的風(fēng)險標(biāo)簽做權(quán)重調(diào)整后放進訓(xùn)練集同時上線前做嚴(yán)格的回測和影子評分。更穩(wěn)妥的做法是新模型分階段放量先放行新模型判定為低風(fēng)險的申請觀察幾周真實貸后表現(xiàn)再逐步放開閾值。這樣即使模型有偏差損失也可控。6. 拿來即用的進階驗證回測與影子評分給上線前的模型兜底回測和影子評分是我在信貸風(fēng)控項目里最看重的兩道驗證工序?;販y的核心是時間切分把歷史數(shù)據(jù)按時間切兩段前一段用來訓(xùn)練后一段用來驗證。和一般機器學(xué)習(xí)隨機切分不同風(fēng)控回測必須按時間切因為信貸樣本天然有時序關(guān)系隨機切分會把未來信息泄漏進訓(xùn)練集。切分點一般選在表現(xiàn)期之前比如驗證段要留出90天表現(xiàn)期那就至少把最后90天的申請排除出訓(xùn)練集?;販y指標(biāo)要同時看區(qū)分度、排序穩(wěn)定性和群體穩(wěn)定性三類區(qū)分度看KS和AUC排序穩(wěn)定性看每個分?jǐn)?shù)段通過率是否和訓(xùn)練期一致群體穩(wěn)定性看PSIPSI超過0.25說明推理時的特征分布和訓(xùn)練期差異已經(jīng)很大模型需要重訓(xùn)。影子評分是把新模型旁路部署在線上但不參與實際決策生產(chǎn)請求進來舊模型打分決定審批結(jié)果新模型同時打分但結(jié)果只落庫不生效。跑上一到兩個星期拿新模型的分和舊模型的分做對比看排序一致性、各分?jǐn)?shù)段通過率差異、特征分布偏移情況。影子評分能驗證一件事回測驗證不了的事特征在真實線上環(huán)境里取數(shù)是否穩(wěn)定。我在一個項目上吃過虧回測時AUC很漂亮影子跑了一周發(fā)現(xiàn)新模型的評分均值比舊模型低了將近30分原因是線上特征服務(wù)對某些長尾特征取到的值大量為0和訓(xùn)練時的分布完全脫節(jié)。從那次以后我養(yǎng)成一個習(xí)慣任何模型上線前必須跑至少一周影子評分并對比分位數(shù)、PSI和特征覆蓋率三個報表。這個習(xí)慣雖然讓上線周期拉長了幾天但攔下了不少看著好看、落地就翻車的模型。這套驗證鏈路值得每一個做信貸風(fēng)控的團隊堅持希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天上天天爽| 婷婷色色丁香五月天| 北京熟妇搡BBBB搡BBBB| 日韩a热| 色九月婷婷综合| 亚州激情九月| 久久久久久9| 影音先锋毛片网站| 丁香五月av| 玖玖婷婷五月天| 九色PORNY9l原创自拍| 无码橾| 婷婷婷久久久| www.五月天婷婷| 日韩999| 五月婷婷婷| 91日韩在线| 色色色免费视频| 亚洲va日| www,setingting| 五月天色婷婷伊人网| 操操综合网婷婷| 婷婷开心激情综合五月天| 色色欧美色色色| www,五月丁,com| 色婷婷很很丝袜| 99热这里只有精品一区| 五月天久久综合| 色欲av伊人久久大香线蕉影院| 成人网址在线观看| 超碰婷婷色| 亚洲最大五月天成人网| 色色色综合色| 国内一级片| 99热这里只有免费精品| 婷婷丁香五月综合| 丁香五月激情综合久久| 亚洲色综合| 狠狠综合久久| AV在线免费观看不卡| 久久婷婷六月综合| 五月婷婷六月丁香免费| 国产精品黑丝| 泰州成人视频| 怡红院视频| 开心五月婷婷婷美女| 亚洲色啪| 丁香五月在线观看完整版| 99内射视频| 久久久WWW| 六月丁香基地| 97热久久| 综合色、色综合| 天天综合网在线| 色9999日韩国产| 99只有精品| 色婷婷先锋| Www99热| 99热这里| 久色大| 天天狠狠婷婷在线| 九九综合图片网| 激情五月天电影| 丁香婷婷五色月| 久操97| 粉嫩AV久久一区二区三区| 色综合色综合网| 久久婷婷五月综合色奶水99啪| 99热这里只有精品99| 色色色.COM| 狠狠久久婷五月| 91无码色色| 久久丁香五月| www.六月丁香看AV| 日本五月婷婷久久久六月丁香| 精品九九婷婷| 五月婷婷综合在线亚洲视频| 五月综合视频| 涩综合网| 日本色综合| ri电影在线| 香蕉乱插| 99热最新| 欧美婷婷五月天综合| 色九月婷婷丁香| 最近中文字幕2019视频1| 操逼三区| 成年人丁香五月| 欧美激情xxxXX| 婷婷久久性爱| 99啪在线| 99热在线极品极品| 丁香五月激情久久麻豆| 99热婷婷| 日韩成人精品中文字幕| 丁香婷婷色| 九九热精品6| 亚州激情网| 日韩欧美成人片| 五月丁香亭亭A片| 久久伊人大香蕉| 久久婷婷人人| 99热这里只有精品在线| 国产va视频| 可以直接看的AV网站| 开心婷婷五| 五月婷婷激情久久| 久9无码视频| 丁香五月熟女| 亚洲人操亚洲人| 亚洲1区| 九九热av| 99热偷拍| 亚洲中文av| 综合婷婷五月天| 涩涩涩.com| 人人舔人人色人人高潮| 99在线免费视| 深爱激情AV| 91超碰九色| 色婷婷久久综| 久久性刺激| 色色网91| 婷婷色五月大香蕉在线观看| 桃色激情五月天| 五月天大香蕉AV| 久久99大| 久婷婷视平| 99热这里有精品| www色色com| 五月婷六月| 婷婷五月香蕉| 第四色五月天| 91超级碰碰| 日韩无码专区| 大伊香蕉精品视频在线| 99热10在线高清播放| 风流少妇A片一区二区蜜桃| 99在线免费视频| 在线观看中文字幕| 99热在线观看| 91碰免费视频| 热99久| 中文字幕无码成人电影| 激情伊人网| 一区三区视频有限公司| 超碰色综合| 六月丁香综合| 日韩人妻无码一区二区| 五月激情黄色小说| 99热九九热| 五月婷视屏在线观看| 这里有精品2| 思思re99视频在线观看| 91丨九色丨熟女丰满| 日本高清久| 婷婷五月天黄色小说| 亚洲成人噜噜| 丁香婷婷色色| 9久久精品| 日本熟妇乱妇熟色A片蜜桃| 婷婷五月花| 激情五月婷婷| 亚洲色婷婷五月天| 中文网AV| 婷婷五月天亚洲丁香| 婷婷开心激情五月激情网| 五月激情婷婷国产精品久久久久久| 丁香五月婷婷基地| 丁香五月天堂| 婷婷五月激情中文字幕| 91视频精品99| 91无码色色| 琪琪色网址| 狠狠爱夜夜| 热久久91| 日逼免费视频 | 五月五婷婷网| 精品人妻久久久久久久| 丁香五月色网| 午夜天天精品视频| www.maotanji.com| 激情亚洲色图片丁香综合| 六月婷婷九月丁香亚洲综合| 91九色首页| 五月激情小说| 亚洲激情五月| 色噜噜狠狠一区二区三区| 日本色99| 婷婷免费精品视频| 五月激情久久| 五月天色丁香| 91九色PORNY中文啦| 激情综合五| 99在线观看视频蜜臀| 久久久精品人妻录| www.五月天| 色婷婷呢狠禁久禁| 九九色图| 五月婷婷六月丁香在线| 色色热| .肏屄视频一区二区| 91在线日| 777色色色| 99久久综合网| 亚洲一区国产传媒| 国产午夜精品久久久观看| 丁香五月婷婷超碰在线| 婷婷激情97| 五月丁香久久精品在线观看| 丁香五月婷婷AV在线| 99ER热精品视频| 人人看人人97| 婷婷色香六月综合激情| 99精品视频在线观看| 天天干 夜夜爽| 大香蕉AV电影在线| 五月天激日本色情在线| 大香蕉久久久| 日本人妻久久| 狠狠草综合网| 午夜少妇在线观看视频| 伊人久久婷婷| 五月天激情小说| 成人免费120分钟啪啪| 成人一区在线观看| 亚洲一区先锋影音| 久99| 玖玖婷婷五月天| www.婷婷五月| 久热伊人91| 人人草成人视频| 五月婷婷五月天激情网| 日韩成人精品中文字幕电影| wwW天天干| 日本欧美成人片AAAA| 欧美性生交XXXXX无码小说| 99热这里只有精品1025| 天堂综合久| 亚洲AV日韩在线观看| 成人天天爽| 天天日夜夜拍| 4399精品一区二区| 华人在线免费| 亚州男人天堂婷婷五月| 夜夜操少妇| 狠狠干五月天| 激情综合5| 99精品在线| 色婷婷精| 欧美婷婷色五月| 人妻久久久| 婷婷久草| 99精品综合| 综合AV在线| 九九 激情 网| 丝袜激情网| 激情色色色| 丁香五月玖玖| 丁香涩涩爱| 日韩青青| 亚洲欧美999| 亚洲婷婷性爱| 俺去啦综合网| 婷五月天| 欧美色五月| 久久色吧| 亚洲成人av在线播放| www.久操| 强伦轩人妻一区二区电影| 97操操网| 五月丁香AV在线| 丁香五月花影院| 99亚洲大片精品永久在线观看 | 色999;丁香五月| 欧美精产国品一二三区| 精品人人操| 午夜成人AV在线| 51成人| √天堂资源在线人妻熟女| 操久久精| 色播五月| 六月婷伊人| 国产毛片欧美毛片久久久| 五月婷免费视频久久久| 丁香88AV五月婷婷| 夜夜夜夜夜骑撸| 色婷婷色五月综合| 变态另类9| 日本91在线| 丁香五月电影| 草AV9999| av在线观看网址| 亚洲无码色| 中文字幕av在线播放| av在线免费播放| 狠狠色色| 久久桃花网色婷婷| 美国十月色婷婷在线观看| 91精品人妻少妇无码影院| 日韩淑女人妻luan伦激情精品一区二| 色色丁香婷婷| 无码免费人妻A片AAA毛片西瓜| 久久午夜理论| 日本A片一区| 欧美综合激情丁香五月六月婷| 婷婷五月天大香蕉| 99激情视频| 丁香五月停停av| 麻豆雪千夏| 夜夜躁爽日日| 深爱激情网五月天| 91九色国产| 精品一二三区久久AAA片| 激情五月婷婷综合网| 麻豆123区| 五月精品| 久月丁香爱婷婷综合| 91色性感五月婷婷丁香| 99热综合色图| 九九热只有这里精品| 9久久狠狠的| 思思热视频在线观看| 91色在线/日韩| 99精品热| 欧美黄色韩日网| 精品久热| 色综合99无码| 色色色999| 天天爽天天爽夜夜爽| 99视频在线啪| 五月天激情网站| 欧美美美女性色视频| 玖玖爱伊人| 色色99| 亚洲激情五月| 五月天天天开心激情网| 9精品视频在线观看| 狼人久草| 久色| 综合五月亭亭9| 牛牛色av| 青草青草视频2免费观看| 这里只有精品久久| 五月婷婷免费在线观看| 亚洲av免费在线| 亚洲精品视频在线| 五月天婷婷爱| 激情六月一二| 五月天激日本色情在线| 亚洲婷婷基地| 黄色av网站在线免费播放| 亚洲综合久| 亚洲国产成人裸舞| 另类激情五月天。| 99狠狠操一| 人人摸人人干| 97在线碰| 丁香五月天堂网| 婷婷五月天xxx| 97丁香婷婷| 五月婷婷丁香大香蕉| 99精品偷自拍| 亚洲成人免费在线| 99热这里只有精品66| 五月丁香六月婷婷啪啪| 亚洲成人在线五月天| 狠狠草婷婷| 99热日韩| 婷婷色网站| 96色婷婷| 五月婷av| 色综合久久8| 日本一级黄色片。| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 大波美女VA网站| 婷婷伊人网| 五月婷婷激情日本| 在线伦子99热| 日韩情色在线观看| 9热久久| 狠狠色综合图片| 国产乱子轮XXX农村| 思思热精品在线| 九九久久99精品免费观看www| 天天爽,夜夜爽| 青青草原福利在线| 五月天 另类图片| 天天碰天天插天天操| 天天干夜夜操A片| 欧韩性爱| 色亚洲中文| 精品婷婷五| 五月丁香综合啪啪| 婷婷五月综合色中文字幕| 九月激情网| 九九综合色综合| www.sebowuyue| 国产综合81p| 色色色色色五月| 六月激情丁香一道本7777| 97碰操| 伊人五月天久久| 九九九九九九九九九九九九九国产精品| 日韩丁香涩| 五月婷久久久久综合| 韩日另类| 激情超碰网| 毛片蕉地一二| 五月丁香啪啪婷婷| 99热欧美在线观看| 精品色色网| 26uuu91| 婷婷六月伊人| 亚洲免费婷婷| 女同激情久久av久久| 人妻熟妇国产精品| 九九热最新| 三人荫蒂添的好舒服A片| 香蕉AV777XXX色综合一区| 成人国产欧美大片一区| 综合久久十| 色婷婷啪啪| 久99久视频免费观看| 啪啪99| 99色综合| 国产成人AV| 91九色超碰| 超碰伊人碰婷婷五月| 色综合视频| 91碰| 久久五月天黄色五月天色网址| 66精品成人免费网站在线观看| 99久久6| 欧美色99| 欧美韩国日本| 日韩成人电影Av| 久久婷狠狠色| 五月亭亭六月激情| 婷婷五月色天| 狠狠五月天| 欧美大片免费观看| 综合久久久婷| 五月天五月色婷婷综合| 激情五婷网| 外国碰视频网站97| 嫩草AV久久伊人妇女超级A| 伊人在线另类| 天天射综合网站| 五月天影院婷婷在线观看| 五月天成人小说网| 26uuu精品国产| 久久9热好| 五月色亚洲| 六月婷婷深深爱| 五月婷婷欧美激情| 综合激情婷婷| www.夜夜爱.com| 91碰碰视频| 五月深爱婷婷| 久久久久久久97| 风流少妇A片一区二区蜜桃| 超级碰人人操人人干| 综合色播| 九九热最新地址| 99精品色| 女人天堂久久| 99视频这里只有久久精品| 欧美性猛交99久久久99| 熟惀91九色在线| 久久五月激情综合| 欧美日韩AAA| 久久99网站| 色综合色香蕉网| 爱操人妻| 综合色色色色色色| 99精品国产在热久久| 五月丁香婷婷成人版| 五月天开心成人网| 久久久香| 97成人视频| 久久五月天色婷婷| 久久婷婷五月天| 日本不卡高字幕在线2019| 操逼视频一区| 99国产这里只有精品| 婷婷成人五月天| 久久一品区| 深爱激情五月天色婷婷| 丁香色五月 97干| 日韩成人影片在线观看| 99视频在线观看欧| 六月激情网| 色玖玖玖| 激情亚洲网| 伊人综合网站| 丁香五月婷婷六月婷婷| 国产免费一区二区三州老师F1F1| 色吊丝99| 五月天久久成人| 婷婷五月婷婷| 99操碰| 五月婷婷视频| 五月丁香婷婷色播无码| 欧美Va在线| 午夜婷婷| 国产99美少妇| 六月丁香激情网| 久操干| 丁香激情五月少妇| 日本三级99人妇网站| 开心五月天私房婷婷| 色玖玖综合网| 91丨九色丨熟女|老版| 激情五月四色| 99视频免费播放| 婷婷色天香| 五月丁香久久| 婷婷香香五月| 开心激情网在线| 久99在线视频| 97碰| 日韩av在线电影| 日本色婷婷| 久久国产AV| 丁香六月色婷婷综合| 九九婷婷激情综合网| 婷婷丁香五月久久| 成人做爰A片免费看视频| 丁香五月婷婷深爱综合激情| 丁香色色网| 五月婷中文字幕| 99熟女啪啪视频| 免费成人网在线观看| 人人爱国产| 狠狠色婷| AV人人操| 五月丁香少妇| 婷婷97碰碰| 亚州操操| 九九Av| 超碰人人色| 久久五月综合| 婷婷第六色| 五月色网| 五月天激情Av| 欧洲综合一区| 婷婷五月天天天| 77777亚洲午夜久久| 天天色噜| 五月激情综合网| 亚洲色在线观看| 丁香五月婷婷六月婷婷| www.五月天| 插插五月天| 狠狠色中色| 五月色影院| 小色小蛇伊人婷婷色香五月| 婷婷亚洲天堂| wuyuedingxiang99| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 99超级碰免费视频| 在线观看熟女少妇| 婷婷综合性爱网| 欧美激情-区二区三区| 国产三级在线播放| 91丁香五月| 狠狠爱综合| 五月综合久久| 天天做天天爱天天玩夜夜爽| 91视频综合网| 五月天偷拍| 天天橾日日橾夜夜橾17| 一级黄色操B| 91九色国产在线| 99色在线观看免费| 欧美97超碰| 99只有这里有精品在线视频| 激情五月婷婷综合| 三年高清大片免费观看国语| 成人丁香婷婷| 在线婷婷| 秋霞AV吧| 丁香五月婷婷综合精品素人| 激情深爱婷婷网| 琪琪色五月婷婷老师| 五月天狠狠| 99久久九九| 日韩人妻AV在线| 色五月婷婷亚洲最大| 九九热在线观看6| 日日操夜夜擼| 情色婷婷五月天| 婷婷区日本| 99九九热视频免费| 丁香六月综合激情| 永久精品| 婷婷综合激情五月中文字幕| 色99超碰| 少妇高潮A片无套内谢麻豆传| 欧美美美女性色视频| 欧美精品999| 五月丁香婷婷五月色| 婷婷五月天网址| 久婷婷久草| 国产午夜精品一区二区| 三十熟女| 人妻人人操| 欧美婷婷五月天综合| www98日本小时间到了| 成熟妇人A片免费看网站| 99这里只有精品| 天天综合.com| 精品久久久999| AA片在线观看视频在线播放| 超碰97人人操| 婷婷色5月激情网| 天天干,天天舔| 91综合色噜噜| 丰满人妻妇伦又伦精品国产| 婷婷五月天堂| 色噜噜婷婷| 人妻操逼视频。| 婷婷综合在线视频| 欧美成人AAA片一区国产精品| 久久婷婷五月综合激情国产 | 97碰91| 狠狠色综合网| 国产在线黄色| 五月天另类视频| 婷婷六月丁香1| 五月婷婷影院| 大香婷婷| 日韩野外 无套| 丁香五月激情啪啪| 久婷| 丁香五月影院| 亚洲婷婷激情五月天| AA片在线观看视频在线播放| 97婷婷狠狠| 亚洲成人黄色网| 99re在线观看视频| 香蕉综合网| 色五月婷婷1| 婷婷九月久久| 五月日韩中文字幕| 91婷婷| 亚洲永久四色| 五月天婷婷免费| 玖玖资源在线视频| 2025年最新亚洲在线欧美| 久久99最新| 久热99| 丁香婷婷九月| 激情五月天的婷婷| 一区二区三区XXXXXX| 五月成人丁香av91| 六月成人网| 97色婷婷| 亚洲综合在线视频| 丁香五月综合| 中文av网| 激情五月天 婷婷| 五月婷婷丁香综合| WWW.婷婷五月天.COM| 亚洲色五月天| 精品久久艹| 五月天综合图片| 丁香六月天婷婷开心综合| 六月五月久久丁香| renre人人操国产超碰在线| Se.婷婷五月天| 色10月婷婷视频| 97人人操人人爽| 综合久久97| 激情综合在线观看| 久久色天堂| 色色五月天丁香婷婷| 日本免费91| 97五月天婷婷综合激情网| 色五月婷婷影视| 1024亚洲| 99riAV国产精品视频| 99噜噜| 成人婷婷| 91超级碰| 亚洲成色综合网站免费观看| 五月丁香六月激情网| 五月丁香六月激情狠狠| 丁香五月冃欧美| 婷婷综合六月| 久久a热| 91精品无码| 五月婷在线影院| av在线资源| 99热这里只有99| 五月婷婷视频啪啪美女| 五月婷六月天| 五月婷婷69| 我去色色网五雨天| 九热视频| 国外亚洲成AV人片在线观看| 伊人久久婷婷五月综合97色| 玖玖综合色区在线观看| 亚洲蜜乳AV| 色九月欧美| 国产婷婷色五月| 狠狠另类视频| 天天操天天爱天天玩| 激情五月天婷婷五月天| 久久99久久99精品免观看粉嫩| 在线中文字幕视频| 亚洲爆乳无码精品AAA片蜜桃| 中文字幕无线久必| 激情五月天福利| 久久大香蕉同僚| 色五月xxx| 五月天婷婷青青草| 九月av| 狠狠干在线| 日韩在线观看网址| 五月婷免费视频| 五月天综合久久| 日日天天操| 激情五月小说婷婷| 六月丁香五月天| 无码成人播放器| 亚洲超级碰| 狠狠色五月激情| 亚洲欧州色情在线观看| 久久婷狠狠色| 亚洲亚洲人成综合网络| 色综合久久88| anquye伊人| 天天激情站| 97综合在线| WwW色婷婷| 另类激情码| 婷婷五月天.com| 成人丁香五月| 欧美日韩91| 91精品国产色猫| 久久久婷婷| 丁香五月天天高清在线| 狠狠色综合网| 婷婷丁香六月天| 色综合色五月| 欧美激情综合色丁香婷婷五月天| 色五月首页| 懂色av粉嫩AV蜜臀AV| 丁香六月久久| 五月婷婷激情综合拍| 亚洲高清在线| 婷婷久久女人| www。88热在线视频免费观看| 直接看的av| 在线观看国产高清视频免费网站 | www,8050,午夜三级| 天天爽天天爽视频| 婷婷色网| 激情婷婷久久| 精品无码99| 国产日比| 久久久久亚洲AV成人无码电影| 99热骚货| 99色热| 玖玖爱综合网| 天天草天天摸| 精品久久穴| 色丁香五月婷婷| 成人五月天视频| 9久热精品在线视频| 久99视频在线观看| 婷婷 月 丁香| 中文字幕精品无码一区二区| 我爱大香蕉| 婷婷激情综合| 国产99久| 南京搡BBBB搡BBBB| 淫视馆aV二区一区| 激情婷婷九月| 久久婷婷五月综合啪| 狠狠干五月天| 婷婷性爱网| 婷婷金品综合视频| 激情综合网激情五月网| 亚洲中文无码成人| 五月丁香婷婷色色| 另类小说五月天综合网| 色色色99| 国产成人av在线播放| 婷婷丁香五月激情| 亚洲精品第一国产综合亚AV| 五月激情综合激情五月| 国产成人亚洲综合A∨婷婷| 九九十99视频| 久色视频| wwww.色婷婷| 久久成人天| 99re6在线视频精品免费| 激情婷婷| 精品久热| 色综合婷婷| 午夜成人天堂久久无码日韩久久| 色五月婷婷青娱乐| 五月激激激情综合网| 熟妇高潮一区av| 婷婷五月天亚洲激情戏精品| 欧美日本日韩| 丁香开心深爱| 白人荫道BBWBBB大荫道| 丁香久久AV| 激情五月婷| 六月丁香婷婷综合色播| 亚洲综合五月天| 99久久精| 久久久97| 成人羞羞啪啪 全 视频| 激情综合五月| 色婷婷在线综合色播网| 国产毛片精品一区二区色欲黄A片| 五月天天天综合| 丁香色色网| 操笔无码| 国外亚洲成AV人片在线观看| 色 丁香婷婷| 少妇2做爰HD韩国电影| 婷婷丁香五月久久| 日韩成人不卡| 丁香五月激情综合啪啪| 亚洲传媒在线观看| 天天干夜夜谢| 久婷久婷激情肉| 五月天婷婷操逼视频| www.婷婷五月天| 日本操片| 色色色欧美| 激情五月天黄色小说| 色噜噜狠狠色综合日日| 婷婷五月天视频小说| 人妻第九页| 久色资源网| 成年视频免费观看| 丁香色成人| 色婷丁香| 国产精产国品一二三在观看| 色色网站免费观看| 91九色 熟| 六月激情网| AV在线免费播放| 丁香六月婷婷色XXXXX| 日韩人妻无码一区二区| .青娱乐天天操B| 拳交大逼| 亚洲AV中文在线| 五月婷婷啪啪| 亚洲综合色丁香婷婷六月| 欧美A片在线视频免费观看| 五月丁香色六月激情干大屄| 91久久九久久九久久九久久九久久| 久久久久久久97| 五月香蕉综合| 日本色啪| 在线观看av网站| 久青青久| 五月久久丁香| WWW,五月| 色五月婷婷少妇人妻| 亚洲天堂色| 久热91精品| 激情的五月婷婷蜜桃| 综合久久五| 六月婷婷啪啪| 激情五月丁香综合蜜桃| 国产九月婷婷| 91日本在线| 日韩av大全| 97人妻碰碰碰久久| 午夜丁香| 青草激情综合| 天天日天天添| 天天日P天天射P| 成人短视频在线| 色五月天成人在线| 99久久精品国产色欲| 五月丁香婷婷综合网| 成人综合伍月天| 99热99在线| 国产免费一区二区三州老师F1……| 色婷婷69| wwwxxx五月婷婷小说| 9精品视频在线| 大地9中文在线观看免费高清| 俺去也综合| 成人色站,在线视频,看片-SS1AV| 五月天婷婷丁香人人操91| 五月婷婷色五月| 五月开心深爱激情网| 好好干Av| 日本情色一区二区| 91碰碰| 日韩色色视频| 色婷婷精品小视频| 久婷首页| 尤物一区二区| 五月色婷| WWW,五月| 色婷婷五月天激情久久| 91在线看免费 九九九九| 丁香六月天| 丁香五月激情六月欧亚激情综合导航| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 色婷婷超碰| 涩丁香| 狠狠干在线| 婷婷久久丁香| 天天干天天 亚洲| 色综合久| 五月丁香综合影院| 久草丁香婷婷1024| 欧洲色| 久久电影4399| 色99欧洲色19| 婷婷五月天影视网址| 亚洲视频二区| 成人啪啪色婷婷久| 综合色在线| 色婷婷久久| 久操热线| 99爱视频| 99这里只有精品99| 97干婷婷五月天| 中海油常州环保涂料有限公司| 九九99热久久精品66中文字幕| 亚洲第一成人AV| 国产美女无遮挡裸体毛片A片| 五月丁香婷婷色| WWW.17C亚洲精品| 天天做天天爱天天综合网| 丁香五月六月婷婷自拍| 久久精品爱爱| 亚洲av免费在线| 国产AV不卡福利| 嫩草视频| 三日本无码| 97丨九色丨国产丨PORNY| 99天堂网| 人妻啪啪啪| 中文字幕在线观看视频www| 丁香婷五月天开心六月| WWW,五月| 亚洲五月色| 伊人色综在线| 丁香五月综合亚洲| 97涩涩丁香五月天| 婷五月丁香| 操人妻90p| 狠狠狠婷婷五月综合| 超碰免费在线| 99久久精| 26UUU一区二区| 久久五月婷婷电影| 色情综合网| 91久久婷婷| 九九久久99| 久久大香蕉| 97干在线| 天天爽夜夜爽夜夜爽精品| 婷婷丁香五另类网站| 九九久久五月天| 中美日韩成人在线| 玖玖综合色| 99视频精品全部免费看| site:hcxsz888.com| 人妻爽爽爽久久久久久久久| 狠狠综合| 开心丁五月| 色色影院aaaav| 丁香五月激情欧欧美| 91久久日日| 亚洲精品又粗又大又爽A片 | 九九日伊人| 日韩AV免费看| 久久丁香婷| 久久人视频| 天天综合91入口| 超碰在线免费9| 五月天综合久久| 99re熱| 激情五月网站| 五月天激情综合10p| 99亚洲日韩| 天天日天天舔| 婷婷伊人中文字幕| 99自拍视频在线观看| 性爱久久| 狠狠ri| 丁香婷婷综合色五月激情国产基地| 亚洲综合色激情色五月| www.1024久久| 国产精品美女| 性爱综合网| 六月丁香视频网站| 啪啪激情网站| 五月婷天天搞视频| 激情五月天小说网| 97碰在线| 国产精产国品一二三在观看 | 五月天艹天天| 综合网亚洲| 99热在线精品播放| 日本九九九九| 国产激情综合五月| 五月天婷婷狠狠| 五月丁香免费视频| 色综合色欲综合天天免费 | 六月婷婷激情图片| 99色综合网| 天天射天天射一道本日本社区 | 婷婷5月久久综合网站| 亚洲AV永久无码影院黑人| 婷婷丁香五月激情密臀av| 99ri视频| 婷婷综合五月色播| 五月天亚洲色| 五月婷婷影| 国产性av| 欧美久人人| 激情网站五月| 99视频一区| 六月天婷婷| 九九RE视频在线精品| 99在线视频操999| 久久精品五月| 激情丁香婷婷六月天| 人人操人人爱丁香五月| 影音先锋天天日| 香蕉综合网| 国外亚洲成AV人片在线观看| 综合网网欲色| 六月丁香五月婷婷首页| 精品一区二区三区木瓜| 色婷婷色99国产综合精品| 亚洲成人网站在线观看| 久久综合最新网址| av在线观看免费| 亚洲人人操BD| 亚洲激情综合| 一本色道久久综合狠狠躁一二三| 9精品在线| 99综合99| 婷婷射图| 亚洲午夜成人av电影网| 色婷婷久久天天性爱| 色婷婷五月天激情在线播放| 丁香五月在线观看| 乱精品一区字幕二区| 丁香五月婷婷欧美成人色图| 丁香五月天天| 久久99热这里只频精品6学生| 能看的AV| 玖玖爱导航| 五月色婷婷综合丁香精品无遮挡| 青青草五月天| A片试看120分钟做受图片| 99熟女视频| av在线色五月丁香婷区久| 欧美内射AA| 大香蕉啪啪啪啪啪啪| 久热视频A.| 激情五月天开心| www五月婷婷| 婷婷综合激情| 五月婷婷av| 桃色成人网| h亚洲| 天天成人综合视频| 五月婷在线观看| 99色精品| 五月天中文网| 久久伊人五月天| 久久婷狠狠色| 热成人网| 色五月激情五月| 另类在线| 九九99久久| 九九成人电影婷婷| 狠狠看狠狠| 免费观看的婷婷五月视频在线| 国外亚洲成AV人片在线观看| 五月丁香啪啪啪| 婷婷涩涩五月天| 日本久久九| 激情五月天之五月婷婷| 五月丁香六月在线| 99色日本| 九九视频这里只有精品| 婷色影院| 五月激情丁香六月狠狠干| 大香蕉99热| 六月激情丁香一道本7777| 五月青青草综合| www久| 丁香五月色| 六月丁香啪啪啪| 99玖玖视频| 亚洲 五月 婷婷 成人| 国产精产国品一二三在观看| 91婷婷| 婷婷色丁香五月| 九九综合网色全集| 欧美婷婷成人| 99久99久| 天天天天天天天操| 久久久99精品免费观看| 丁香五月婷婷激情小说| 99久久99九九99九九九| 庭庭久久内射| 狠狠五月天| 色综合av超碰| 天天日本夜夜谢| 97久操| 婷婷爱五月天人人爱| 婷婷五月激情黄色| 另类小说婷婷色| 99无码| 婷婷久久视频| 熟妇人妻中文字幕无码老熟妇| 婷婷五月天视| 综合网亚洲| 色婷婷婷av | 久久停停超碰| 伊人久久99| 玖玖婷婷五月天| 中文字幕av久久爽一区| 久久久久久久97| 色五月首页| 伊人久久婷婷| 97资源碰碰| 91久久久久久| 五月丁香色综合| 色性综合| 五月婷婷啪啪| 情五月亚洲婷婷| 草草夜夜操| 秋霞电影理论| 五月天婷婷综合色| www夜夜操comwww| 综合久久婷婷99| 99国产这里只有精品| 伊人久热91| 久热亚洲| 五月婷婷婷综合网| 玖玖综合色| 久热这里只有精品性色AV| 日本三久久| 五月婷婷啪啪| 99精品成人无码A片观看金桔| 91操操操| 国产精品电| jizzdr| 色99日韩| 成人看片网站| 亚洲综合网激情小说| 久久色大香蕉| 久久人妻www| 九热免费视频| 色噜噜狠狠色综合日日| 久久久er热| 色婷婷久久综合丁香五月| 激情婷婷综合网| 荷兰av一级| 亚洲婷婷在线播放十月| 538在线精品| 狠狠va| 五月综合激情图片| 91人操人人人操人| 丁香婷婷人妻| 少妇性BBB搡BBB爽爽爽电影| 99日这里只有精品| 精品99在线| 97色婷| 久久人人人人妻| 色婷婷综合在线| 亚洲激情av| 玖玖资源网站最新站| 久在线综合69| 女同激情久久av久久| 婷婷AV丁香| 五月天色欧美| 人妻激情在线| 婷婷激情综合无月| 久久亭亭电影| 亚洲无码另类| xx色综合| 亚洲四色五月| 可以免费观看的AV| 五月婷婷六月开心| 97婷婷丁香| 亚洲国产精品二二三三区| 久久激情五月| 综合在线网| av首页在线| 99re热在线视频| 五月天激情婷婷五月天久久| 丁香五月天激情四射网| 99热首页| 色色色色色色色色色色色色色色,网站| 色婷天天| 丁香婷婷成年| 五月天婷综合| 婷婷激情五月天色| 啪啪操超碰| 国产精品色情AAAAA片软件| 99亚州综合精品成人网| 色久播播| 婷婷成人在线| 国产SUV精品一区二区6| 婷婷综合激情| caobi四区| 97久人人| 伊人久久丁香狠狠婷婷综合香蕉 | 99精品视频在线观看| 多精窝99在线视频| 久re在线| 日韩精品AV一区二区三区| 成人免费高清在线播放| 五月永久激情| 9热在线观看| 综合六月久久| 激情久久久| 五月婷亚洲精品| 婷婷激情五月天7| 午夜婷婷久久 | 天天色99| 亚洲日韩久久婷婷伊人| 久久精品99| 色欲一二三| www.sd-xiangsu.cpm| 久久婷婷丁香| 琪琪狠狠干| 国产毛片精品一区二区色欲黄A片| 79精品视频在线观看,| 五月丁香六月婷婷中文版| 色欲天天综合| 91丨人妻丨国产丨丝袜| 亚洲色五月| 六月天婷婷| 免费播放99性爱视频| 26uuu四色| 亚洲成人在线免费| 九九99九九精品视频| 成人综合网站| 91成人性爱视频| 婷婷激情人妻| 丁香五月婷婷色情综合| 色亚洲中文| 欧美成人猛片AAAAAAA| 九九九热精品| 色婷婷的五月天| 天天舔天天插天天干| 欧美丁香婷婷天天操| 五月天开心色情网| 伊人色综合久久久| 婷婷五月综合网激情| 人妻熟女一区二区AV|