欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

基于Hadoop與Spark的信貸風(fēng)控系統(tǒng)設(shè)計(jì)與實(shí)戰(zhàn)

基于Hadoop與Spark的信貸風(fēng)控系統(tǒng)設(shè)計(jì)與實(shí)戰(zhàn) 簡介這份資源是一套基于Hadoop與Spark的大數(shù)據(jù)金融信貸風(fēng)控系統(tǒng)完整設(shè)計(jì)與實(shí)現(xiàn)涵蓋源代碼、說明文檔及輔助配置面向大數(shù)據(jù)、計(jì)算機(jī)等相關(guān)專業(yè)學(xué)生可用于畢業(yè)設(shè)計(jì)、課程設(shè)計(jì)或企業(yè)初期項(xiàng)目參考。包體共69個(gè)文件其中包含36個(gè)Java源文件與8個(gè)Scala源文件配合12個(gè)XML配置、5個(gè)Properties環(huán)境配置及SQL腳本完整覆蓋從數(shù)據(jù)接入、Spark Streaming實(shí)時(shí)處理到信貸風(fēng)險(xiǎn)判定的核心鏈路。壓縮包約58KB目錄結(jié)構(gòu)清晰分為主工程與獨(dú)立的數(shù)據(jù)源接入模塊并配有數(shù)據(jù)庫初始化腳本和說明文檔且采用Maven管理項(xiàng)目依賴便于按模塊構(gòu)建與查閱。目前已有325人學(xué)習(xí)下載代碼均已運(yùn)行驗(yàn)證并附有高評(píng)分的項(xiàng)目介紹與配置說明可支撐動(dòng)手復(fù)現(xiàn)、功能擴(kuò)展和二次開發(fā)。資源內(nèi)還提供README等說明能有效降低上手門檻適合需要完整大數(shù)據(jù)風(fēng)控項(xiàng)目范例的讀者。1. 基于Hadoop、Spark的大數(shù)據(jù)金融信貸風(fēng)險(xiǎn)控系統(tǒng)到底解決什么問題當(dāng)信貸業(yè)務(wù)的數(shù)據(jù)量跑到千萬級(jí)單機(jī)SQL和Excel透視表開始卡死傳統(tǒng)風(fēng)控的特征加工需要跑幾個(gè)通宵時(shí)這個(gè)系統(tǒng)的價(jià)值就出來了。基于Hadoop、Spark的大數(shù)據(jù)金融信貸風(fēng)險(xiǎn)控系統(tǒng)本質(zhì)上是把“數(shù)據(jù)存儲(chǔ)”交給HDFS、“批量計(jì)算”交給Spark用離線批處理的方式完成信貸用戶的特征加工、風(fēng)險(xiǎn)評(píng)分和黑名單識(shí)別。它解決的不是“怎么做一個(gè)APP”而是“怎么在有限服務(wù)器資源下把幾千萬條借款和還款記錄變成可用的風(fēng)控特征”。適合三類人做畢業(yè)設(shè)計(jì)的計(jì)算機(jī)或大數(shù)據(jù)專業(yè)學(xué)生、準(zhǔn)備轉(zhuǎn)行金融數(shù)據(jù)崗位的工程師、以及業(yè)務(wù)量增長后急需替代Excel風(fēng)控的小型金融團(tuán)隊(duì)。這套方案的落地難點(diǎn)不在算法而在環(huán)境搭建、特征加工和資源調(diào)優(yōu)三件事上。2. 信貸風(fēng)控系統(tǒng)的總體設(shè)計(jì)從業(yè)務(wù)流程到大數(shù)據(jù)架構(gòu)分層2.1 信貸風(fēng)控的業(yè)務(wù)閉環(huán)哪些環(huán)節(jié)必須交給大數(shù)據(jù)一個(gè)完整的信貸風(fēng)控系統(tǒng)數(shù)據(jù)流大致是申請(qǐng)進(jìn)件 → 用戶畫像 → 額度審批 → 放款 → 貸后監(jiān)控 → 催收與壞賬標(biāo)注。這六個(gè)環(huán)節(jié)每個(gè)都會(huì)產(chǎn)生大量可供分析的明細(xì)數(shù)據(jù)而這些數(shù)據(jù)匯總到一起就構(gòu)成了大數(shù)據(jù)風(fēng)控的基礎(chǔ)。需要重點(diǎn)說明的是系統(tǒng)里每個(gè)環(huán)節(jié)的輸入輸出都是結(jié)構(gòu)化日志。比如“申請(qǐng)進(jìn)件”會(huì)落一份包含用戶ID、申請(qǐng)時(shí)間、借款金額、期限的記錄“貸后監(jiān)控”會(huì)在每筆還款時(shí)追加一條狀態(tài)記錄。這些記錄以日為單位增量寫入一年下來輕松超過幾千萬行。傳統(tǒng)單機(jī)數(shù)據(jù)庫不是不能存而是“聚合計(jì)算”太慢——你要統(tǒng)計(jì)某個(gè)用戶近30天的借款頻次、逾期天數(shù)均值單機(jī)SQL需要全表掃描加文件排序跑一個(gè)特征要幾分鐘到幾十分鐘。Spark的核心優(yōu)勢(shì)就在這里把數(shù)據(jù)分布到多臺(tái)機(jī)器內(nèi)存里并行算。從落地角度我通常建議把業(yè)務(wù)模型和計(jì)算引擎解耦。業(yè)務(wù)上分成申請(qǐng)、審批、貸后三個(gè)域每個(gè)域抽象出一套事實(shí)表計(jì)算上統(tǒng)一用Spark批任務(wù)跑T1離線特征結(jié)果寫回Hive或MySQL供審批系統(tǒng)調(diào)用。這樣做的好處是業(yè)務(wù)方不用關(guān)心底層用了什么引擎模型迭代時(shí)也只改Spark代碼不動(dòng)業(yè)務(wù)流程。2.2 數(shù)據(jù)分層與存儲(chǔ)選型HDFS加Hive的四層標(biāo)準(zhǔn)結(jié)構(gòu)大數(shù)據(jù)風(fēng)控系統(tǒng)的存儲(chǔ)設(shè)計(jì)業(yè)界最成熟的做法是四層結(jié)構(gòu)ODS原始數(shù)據(jù)層、DWD明細(xì)數(shù)據(jù)層、DWS匯總數(shù)據(jù)層、ADS應(yīng)用數(shù)據(jù)層。這套分層在Hadoop生態(tài)里落地非常自然因?yàn)镠ive天然支持庫表結(jié)構(gòu)也方便后期用Spark直接讀取。ODS層負(fù)責(zé)對(duì)接上游業(yè)務(wù)庫通常用Sqoop或DataX把MySQL的借款流水、還款流水、用戶注冊(cè)信息全量或增量同步到HDFS。DWD層做清洗和標(biāo)準(zhǔn)化比如統(tǒng)一日期格式、剔除重復(fù)申請(qǐng)、糾正渠道ID空值。DWS層是核心把明細(xì)數(shù)據(jù)聚合成用戶維度的風(fēng)控特征比如近7天、近30天、近90天的借款次數(shù)、逾期次數(shù)、平均借款金額、最大逾期天數(shù)等。ADS層面向最終展示比如黑名單列表、用戶風(fēng)險(xiǎn)評(píng)分表、審批決策結(jié)果表。存儲(chǔ)格式上我個(gè)人的選擇是ODS層保留Parquet或ORC的原始文件DWD和DWS層用Parquet加分區(qū)。分區(qū)字段按業(yè)務(wù)日期dt來做每天一個(gè)分區(qū)既便于Spark下推裁剪也方便數(shù)據(jù)回溯和清理。這里要特別注意很多初學(xué)者在Hive里用默認(rèn)的TextFile格式跑一次全表掃描要讀完整份數(shù)據(jù)換成Parquet后掃描量能下降到原來的1/5甚至1/10。2.3 系統(tǒng)模塊劃分采集、加工、模型、服務(wù)四張王牌從實(shí)現(xiàn)角度拆系統(tǒng)由四個(gè)核心模塊組成。采集模塊定時(shí)拉取業(yè)務(wù)庫增量數(shù)據(jù)形成當(dāng)天分區(qū)文件特征加工模塊是Spark批任務(wù)讀取DWD層數(shù)據(jù)計(jì)算出用戶級(jí)和訂單級(jí)特征模型模塊在Spark MLlib里訓(xùn)練評(píng)分模型常見的算法選邏輯回歸或梯度提升樹服務(wù)模塊把訓(xùn)練好的模型輸出到線上通過加載模型文件將評(píng)分結(jié)果寫入MySQL供審批接口查詢。模塊之間的依賴用調(diào)度框架串聯(lián)。開源方案里最常用的是Azkaban或Apache DolphinScheduler把每天的任務(wù)編排成DAG比如凌晨2點(diǎn)同步增量數(shù)據(jù)3點(diǎn)跑DWD清洗4點(diǎn)跑DWS聚合5點(diǎn)訓(xùn)練增量模型6點(diǎn)輸出結(jié)果表。這里要提醒一句調(diào)度依賴必須考慮前一天任務(wù)失敗的重跑策略否則某一個(gè)環(huán)節(jié)掛了后面所有結(jié)果表都停在昨天。模塊劃分的價(jià)值在于“換一樣?xùn)|西不碰其他模塊”。比如業(yè)務(wù)方臨時(shí)要新增一個(gè)風(fēng)控變量只需要改DWS層的Spark任務(wù)模型引擎和服務(wù)接口不受影響。這也是畢業(yè)設(shè)計(jì)答辯和實(shí)際項(xiàng)目評(píng)審最看重的部分——不是模型有多深而是整個(gè)數(shù)據(jù)流是否完整閉環(huán)。3. Spark核心實(shí)現(xiàn)用PySpark完成信貸特征加工與模型訓(xùn)練3.1 特征加工是風(fēng)控的靈魂一個(gè)groupBy聚合案例信貸風(fēng)控的特征加工總體上就是三類用戶行為統(tǒng)計(jì)、借貸歷史統(tǒng)計(jì)、時(shí)間序列變化量。其中用戶借貸歷史統(tǒng)計(jì)是最優(yōu)先要做的因?yàn)樵谝粋€(gè)人的歷史還款記錄里逾期頻次和金額波動(dòng)能直接反映違約傾向。下面用一段PySpark代碼來實(shí)現(xiàn)最核心的用戶維度聚合特征。from pyspark.sql import SparkSession from pyspark.sql.functions import count, sum, avg, max, min, when, col spark SparkSession.builder \ .appName(finrisk_user_features) \ .enableHiveSupport() \ .getOrCreate() # 讀取DWD層某一天的借款訂單明細(xì) loan spark.sql(SELECT * FROM dwd_loan_record WHERE dt2024-06-01) # 按用戶維度聚合得到近30天內(nèi)的借款行為特征 user_feat loan.groupBy(user_id) \ .agg( count(loan_id).alias(loan_cnt_30d), sum(when(col(status) 0, 1).otherwise(0)).alias(overdue_cnt_30d), avg(overdue_days).alias(avg_overdue_days), avg(loan_amount).alias(avg_loan_amt), max(loan_amount).alias(max_loan_amt), min(loan_amount).alias(min_loan_amt) )這段代碼的每個(gè)聚合字段都有明確的金融含義。overdue_cnt_30d統(tǒng)計(jì)近30天的逾期次數(shù)是所有特征里對(duì)違約預(yù)測(cè)貢獻(xiàn)最穩(wěn)定的一個(gè)avg_overdue_days表示平均逾期天數(shù)數(shù)值越大說明用戶資金鏈緊張程度越高avg_loan_amt和max_loan_amt組合起來能識(shí)別借款金額是否超過其收入水平這也是授信額度審批的重要參考。參數(shù)層面groupBy(user_id)的粒度決定了特征維度如果要做訂單級(jí)特征改成groupBy(user_id, loan_id)即可when(col(status) 0, 1).otherwise(0)是Spark SQL的標(biāo)準(zhǔn)條件計(jì)數(shù)寫法等價(jià)于sum(CASE WHEN status0 THEN 1 ELSE 0 END)。實(shí)際項(xiàng)目中我一般會(huì)在groupBy之前先filter(dt 2024-05-01 and dt 2024-06-01)把時(shí)間窗口限定在近30天這樣每個(gè)用戶參與聚合的數(shù)據(jù)量會(huì)大幅減少任務(wù)執(zhí)行時(shí)間能下降一半以上。3.2 窗口函數(shù)加工最新行為最近一筆還款狀態(tài)聚合特征解決“總量”問題窗口函數(shù)解決“最近狀態(tài)”問題。風(fēng)控場(chǎng)景里用戶最近一次還款是否逾期對(duì)當(dāng)前授信決策的影響遠(yuǎn)大于半年前的歷史表現(xiàn)。Spark對(duì)窗口函數(shù)的支持已經(jīng)很成熟實(shí)現(xiàn)方式是partitionBy orderBy row_number。from pyspark.sql.window import Window from pyspark.sql.functions import row_number w Window.partitionBy(user_id).orderBy(col(apply_time).desc()) last_loan loan.withColumn(rn, row_number().over(w)) \ .filter(col(rn) 1) \ .select(user_id, loan_amount, status, overdue_days, apply_time)窗口函數(shù)的partitionBy指定了分組鍵是user_idorderBy desc把最新申請(qǐng)記錄排在最前面row_number取第一條即最近一筆訂單。這里有個(gè)性能細(xì)節(jié)窗口函數(shù)在全量數(shù)據(jù)上執(zhí)行時(shí)如果用戶量大且分區(qū)內(nèi)數(shù)據(jù)多shuffle開銷會(huì)非常大。一個(gè)常見的優(yōu)化是先把DWD層的分區(qū)字段dt過濾到最近三個(gè)月再配合loan表只保留需要的列參與排序這樣能有效降低內(nèi)存壓力。row_number和rank的區(qū)別也需要注意。row_number是嚴(yán)格遞增且不重復(fù)rank遇到相同排序值會(huì)并列且后續(xù)跳過序號(hào)。對(duì)于“取最近一筆”這個(gè)目標(biāo)必須用row_number否則同一天申請(qǐng)多筆的用戶會(huì)取到多行結(jié)果導(dǎo)致特征表和訂單表join后產(chǎn)生數(shù)據(jù)膨脹。3.3 用Spark MLlib訓(xùn)練信貸評(píng)分模型邏輯回歸與調(diào)參特征加工結(jié)束之后進(jìn)入模型訓(xùn)練環(huán)節(jié)。Spark MLlib的邏輯回歸和隨機(jī)森林是這里最常用的兩個(gè)算法。我用邏輯回歸作為基線模型因?yàn)樗山忉屝詮?qiáng)——每個(gè)特征的系數(shù)能告訴審批人員“逾期次數(shù)每增加一次風(fēng)險(xiǎn)分增加多少”這在金融監(jiān)管語境下非常重要。from pyspark.ml.feature import VectorAssembler, StandardScaler from pyspark.ml.classification import LogisticRegression from pyspark.ml import Pipeline from pyspark.ml.evaluation import BinaryClassificationEvaluator # 假設(shè)user_feat已經(jīng)和label合并成train_data feature_cols [loan_cnt_30d, overdue_cnt_30d, avg_overdue_days, avg_loan_amt, max_loan_amt, min_loan_amt, last_status] assembler VectorAssembler(inputColsfeature_cols, outputColfeatures_vec) scaler StandardScaler(inputColfeatures_vec, outputColfeatures_scale) lr LogisticRegression(featuresColfeatures_scale, labelCollabel, maxIter100, regParam0.01, elasticNetParam0.8) pipeline Pipeline(stages[assembler, scaler, lr]) train_data, test_data user_feat.randomSplit([0.8, 0.2], seed42) model pipeline.fit(train_data) evaluator BinaryClassificationEvaluator(rawPredictionColrawPrediction) auc evaluator.evaluate(model.transform(test_data)) print(ftest AUC {auc})代碼里VectorAssembler把多個(gè)特征列合并成一個(gè)向量這是Spark MLlib的固定入口StandardScaler把特征標(biāo)準(zhǔn)化到零均值和單位方差能加速邏輯回歸收斂。regParam0.01是L2正則強(qiáng)度值越大特征系數(shù)越平滑、越不容易過擬合elasticNetParam0.8表示在L1和L2之間偏向L1這會(huì)讓部分弱特征的系數(shù)直接變成0起到特征選擇作用。對(duì)信貸場(chǎng)景正負(fù)樣本不均衡是比調(diào)參更嚴(yán)重的問題。逾期用戶可能只占總樣本的3%~5%模型會(huì)傾向于把所有用戶都預(yù)測(cè)為“正常”AUC看起來高但實(shí)際沒用。解決方式有兩種在LogisticRegression里設(shè)置weightCol將少數(shù)類樣本權(quán)重調(diào)高或者用classWeight參數(shù)配置。訓(xùn)練完成后model.transform(test_data)輸出的probability列就可以直接轉(zhuǎn)成風(fēng)險(xiǎn)評(píng)分規(guī)則為score round(probability_of_bad * 1000)分?jǐn)?shù)越高代表風(fēng)險(xiǎn)越高。這類從特征加工到模型訓(xùn)練的過程其實(shí)就是Spark數(shù)據(jù)分析案例里最常見的模板——清洗抽取、聚合字段、組裝向量、訓(xùn)練評(píng)估。理解了這套固定動(dòng)作以后換任何業(yè)務(wù)域都只是改字段名。4. Hadoop與Spark環(huán)境搭建和集群調(diào)優(yōu)從偽分布式到Y(jié)ARN4.1 Hadoop偽分布式搭建與Zookeeper整合實(shí)戰(zhàn)學(xué)習(xí)階段最劃算的投入是搭一套Hadoop偽分布式環(huán)境單臺(tái)機(jī)器跑通全流程后面再擴(kuò)展到集群。偽分布式和集群的區(qū)別只有兩點(diǎn)進(jìn)程是否分布在不同機(jī)器、是否需要Zookeeper做NameNode高可用。單機(jī)玩不需要ZK但集群模式下必須把Zookeeper加上因?yàn)镠DFS的Active/Standby NameNode切換全靠它。標(biāo)準(zhǔn)安裝步驟大致如下先安裝JDK 8然后下載Hadoop安裝包解壓到/opt/hadoop配置環(huán)境變量。接著修改core-site.xml指定NameNode地址修改hdfs-site.xml指定副本數(shù)和NameNode數(shù)據(jù)目錄最后hdfs namenode -format格式化文件系統(tǒng)。# 安裝Hadoop準(zhǔn)備步驟 export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME/opt/hadoop export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin # core-site.xml 關(guān)鍵配置 property namefs.defaultFS/name valuehdfs://localhost:9000/value /property # hdfs-site.xml 關(guān)鍵配置 property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name value/data/hadoop/name/value /property property namedfs.datanode.data.dir/name value/data/hadoop/data/value /property偽分布式下dfs.replication必須設(shè)置為1否則默認(rèn)3副本會(huì)把磁盤寫爆fs.defaultFS指向localhost:9000是固定套路。很多人在格式化時(shí)遇到報(bào)錯(cuò)原因是/data/hadoop/name目錄已經(jīng)存在且由上次的初始化數(shù)據(jù)污染解決方式是先rm -rf /data/hadoop再重新格式化。這個(gè)重裝動(dòng)作在偽分布式階段非常常見屬于正常操作。與Zookeeper整合的實(shí)戰(zhàn)要點(diǎn)是在hdfs-site.xml里配置ha.zookeeper.quorum指向ZK集群地址并把dfs.nameservices邏輯名和NameNode的namenode1、namenode2兩個(gè)節(jié)點(diǎn)綁定。ZK在這里的角色是故障時(shí)快速切換NameNode讓HDFS對(duì)外提供不間斷服務(wù)。如果只有一臺(tái)測(cè)試機(jī)跳過ZK不影響功能驗(yàn)證如果目標(biāo)是集群生產(chǎn)必須搭三臺(tái)ZK節(jié)點(diǎn)以保證選舉可用。4.2 Spark集群部署YARN模式是關(guān)鍵Spark本身只是個(gè)計(jì)算框架它需要有人分配資源。常見部署模式有l(wèi)ocal、Standalone、YARN、Mesos其中YARN模式是生產(chǎn)環(huán)境的最優(yōu)選擇因?yàn)閅ARN能同時(shí)跑MapReduce和Spark不用維護(hù)兩套資源調(diào)度。配置YARN模式的流程是先配置spark-env.sh指定Java和Hadoop路徑再設(shè)置spark-defaults.conf指定master為yarn最后把Spark提交到集群的方式由spark-submit完成。# spark-env.sh 關(guān)鍵配置 export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_CONF_DIR/opt/hadoop/etc/hadoop export YARN_CONF_DIR/opt/hadoop/etc/hadoop export SPARK_HOME/opt/spark # spark-defaults.conf 關(guān)鍵配置 spark.master yarn spark.submit.deployMode cluster spark.driver.memory 2g spark.executor.memory 4g spark.executor.cores 2 spark.yarn.archive hdfs:///spark-jars/spark-archive.zipspark.submit.deployMode有cluster和client兩種模式。Client模式適合交互調(diào)試Driver跑在提交任務(wù)的機(jī)器上日志直接打印在終端Cluster模式適合生產(chǎn)調(diào)度的定時(shí)任務(wù)Driver跑在YARN的ApplicationMaster里日志要去yarn logs -applicationId查。做畢設(shè)和聯(lián)調(diào)階段建議用client日志直觀做正式跑批任務(wù)建議用cluster避免提交節(jié)點(diǎn)成為單點(diǎn)瓶頸。spark.yarn.archive的含義是把Spark依賴打包成zip傳到HDFS這樣YARN的每個(gè)NodeManager都能共享依賴不用在每個(gè)節(jié)點(diǎn)上都放一份Spark完整安裝包。這一步是集群化之前必須做的否則任務(wù)提交到多節(jié)點(diǎn)集群時(shí)會(huì)頻繁報(bào)ClassNotFoundException屬于配置階段的經(jīng)典坑。4.3 大數(shù)據(jù)集群部署策略三個(gè)必調(diào)的運(yùn)行參數(shù)集群部署策略上核心是搞清楚Spark任務(wù)跑多快、占多少資源由什么決定。需要時(shí)刻盯住的參數(shù)有三個(gè)spark.executor.memory、spark.executor.cores、spark.sql.shuffle.partitions。前面兩個(gè)決定每個(gè)執(zhí)行器的算力第三個(gè)決定shuffle階段的數(shù)據(jù)分區(qū)數(shù)。分區(qū)數(shù)設(shè)置過小會(huì)導(dǎo)致單分區(qū)數(shù)據(jù)量過大結(jié)果出現(xiàn)OOM設(shè)置過大會(huì)導(dǎo)致task數(shù)量過多調(diào)度開銷反而拖慢整體速度。參數(shù)名建議值設(shè)置依據(jù)spark.executor.memory4g~8g不超過單機(jī)物理內(nèi)存的1/4保守值4g起步spark.executor.cores2~4每個(gè)executor的并行度一般以核數(shù)除以2作為初始值spark.sql.shuffle.partitions200~500根據(jù)數(shù)據(jù)量和executor數(shù)量動(dòng)態(tài)調(diào)整優(yōu)先用默認(rèn)200spark.driver.memory2g~4gDriver端做collect時(shí)內(nèi)存需求大單獨(dú)調(diào)高spark.driver.maxResultSize2g防止collect超大結(jié)果集把driver撐爆這里最容易被忽視的是executor內(nèi)存和YARN容器上限的關(guān)系。YARN默認(rèn)單個(gè)容器最大內(nèi)存是8G如果你的executor內(nèi)存設(shè)置成12g任務(wù)提交后會(huì)被YARN直接拒絕啟動(dòng)。解決辦法是同步調(diào)整yarn-site.xml里的yarn.scheduler.maximum-allocation-mb和yarn.nodemanager.resource.memory-mb讓兩者匹配。大數(shù)據(jù)集群部署策略的另一個(gè)要點(diǎn)是數(shù)據(jù)本地性。Spark計(jì)算任務(wù)能就近讀取HDFS數(shù)據(jù)塊時(shí)速度最快所以部署Spark的節(jié)點(diǎn)應(yīng)該和HDFS的DataNode節(jié)點(diǎn)重合或者至少保證同一機(jī)架內(nèi)網(wǎng)絡(luò)互通??鐧C(jī)架讀數(shù)據(jù)會(huì)導(dǎo)致每個(gè)task都要走網(wǎng)絡(luò)拉取文件整體耗時(shí)可能翻倍。驗(yàn)證方式是在Spark UI的“Locality Level”看到PROCESS_LOCAL或NODE_LOCAL才算正常如果全是RACK_LOCAL說明部署策略出了偏差。5. 常見問題與避坑啟動(dòng)失敗、內(nèi)存溢出、數(shù)據(jù)傾斜5.1 DataNode起不來磁盤空間與副本策略的玄學(xué)現(xiàn)象執(zhí)行start-dfs.sh后NameNode進(jìn)程正常jps查看時(shí)DataNode沒有出現(xiàn)日志里報(bào)Failed to bind to :50010或磁盤空間不足。原因最常見的情況是偽分布式下把副本數(shù)設(shè)成了3而用于測(cè)試的機(jī)器磁盤根本存不下三份數(shù)據(jù)另一個(gè)原因是dfs.datanode.data.dir指定的目錄不存在或者沒有寫入權(quán)限。這類報(bào)錯(cuò)在初學(xué)階段出現(xiàn)頻率極高且錯(cuò)誤信息不直觀看起來像玄學(xué)本質(zhì)上就是配置和環(huán)境沖突。解決先執(zhí)行stop-all.sh停掉所有進(jìn)程然后檢查磁盤剩余空間df -h確認(rèn)可用容量至少5G以上。修改hdfs-site.xml把dfs.replication改為1并手動(dòng)創(chuàng)建數(shù)據(jù)目錄mkdir -p /data/hadoop/data、chown -R $USER /data/hadoop。最后清空/data/hadoop/name和/data/hadoop/data下的遺留文件重新執(zhí)行hdfs namenode -format再start-dfs.sh啟動(dòng)。格式化命名的順序很多新手搞反——必須先刪目錄再格式化否則格式化的元數(shù)據(jù)和舊殘留沖突啟動(dòng)依然失敗。5.2 Spark任務(wù)提交到Y(jié)ARN后被立刻處決現(xiàn)象用spark-submit提交任務(wù)后幾秒內(nèi)屏幕上直接報(bào)Application is killed或Container is running beyond virtual memory limits。這種報(bào)錯(cuò)在YARN模式下極其典型。原因executor申請(qǐng)的內(nèi)存超過了YARN容器允許的上限或者是executor的物理內(nèi)存超過申請(qǐng)的虛擬內(nèi)存比值。YARN默認(rèn)yarn.nodemanager.vmem-pmem-ratio為2.1即物理內(nèi)存2G的容器最多允許4.2G虛擬內(nèi)存而Spark的executor還會(huì)額外占用堆外內(nèi)存和JVM元空間疊加之后很容易超限。解決第一步降低spark.executor.memory到容器允許范圍內(nèi)比如YARN單容器上限8Gexecutor就設(shè)4G~6G第二步統(tǒng)一調(diào)整spark.executor.memoryOverhead默認(rèn)是executor內(nèi)存的10%壓力大時(shí)調(diào)高到512m或1g第三步如果問題還在去yarn-site.xml里把yarn.nodemanager.vmem-pmem-ratio調(diào)大到4.0或直接設(shè)置yarn.nodemanager.vmem-check-enabled為false但生產(chǎn)環(huán)境不建議禁用檢查因?yàn)檫@會(huì)掩蓋真正的內(nèi)存泄漏。5.3 特征join時(shí)數(shù)據(jù)傾斜加鹽與廣播變量的十八般武藝現(xiàn)象跑user_feat.join(order_info, user_id)時(shí)整個(gè)任務(wù)卡在某個(gè)stageSpark UI上某個(gè)task的shuffle read量遠(yuǎn)大于其他task執(zhí)行時(shí)間比其他task高出幾十倍。原因某個(gè)高頻用戶的借款記錄特別多比如一個(gè)羊毛黨用戶關(guān)聯(lián)了幾萬筆訂單按user_id做hash分區(qū)時(shí)這個(gè)用戶的全部數(shù)據(jù)落到了同一個(gè)executor上單點(diǎn)計(jì)算壓力集中爆發(fā)。數(shù)據(jù)傾斜是Spark批處理任務(wù)里最傷筋動(dòng)骨的問題尤其在信貸數(shù)據(jù)里小額高頻借款用戶的記錄量與正常用戶差距巨大。解決如果是小表join大表直接給join操作加broadcast提示把維度表廣播到每個(gè)executor內(nèi)存中徹底不走shuffle。如果兩邊都是大表采用加鹽方案——對(duì)熱點(diǎn)key在join前加隨機(jī)前綴先膨脹再聚合。偽代碼如下把訂單表的user_id拼一個(gè)隨機(jī)數(shù)后綴如concat(user_id, _, rand_num)右表也按相同規(guī)則復(fù)制多條帶相同前綴的記錄join完成后再按user_id聚合還原。這種方式能以增加數(shù)據(jù)量為代價(jià)換取負(fù)載均衡屬于最通用的傾斜治理手段。5.4 本地能跑通集群上一跑就OOM現(xiàn)象同樣的代碼在本地模式local[*]上運(yùn)行無異常提交到Y(jié)ARN集群后頻繁報(bào)ExecutorLostFailure或Java heap space。原因本地模式默認(rèn)只有一個(gè)executor所有task串行跑內(nèi)存壓力小集群模式下多個(gè)executor并行執(zhí)行且數(shù)據(jù)量在分布式環(huán)境下被放大driver端和executor端的內(nèi)存分配策略完全不同。另一個(gè)原因是代碼里用了.collect()方法把全量結(jié)果拉回driver在集群上數(shù)據(jù)量一大driver內(nèi)存瞬間被打滿。解決在所有需要落庫或展示的地方用df.write.format(parquet).save(...)替代collect()必須輸出少量結(jié)果時(shí)先limit(100)再collect。同時(shí)檢查Spark UI的Executor頁面看具體是driver端OOM還是executor端OOM——driver端OOM調(diào)spark.driver.memoryexecutor端OOM調(diào)spark.executor.memory加memoryOverhead。排查順序不能亂先看UI再改參數(shù)否則就是在猜。6. 結(jié)果驗(yàn)證與進(jìn)階改造從離線批處理走向準(zhǔn)實(shí)時(shí)風(fēng)控模型訓(xùn)練完成只是開始怎么證明系統(tǒng)可用才是最關(guān)鍵的。常規(guī)做法是算AUC和KS兩個(gè)指標(biāo)。AUC能衡量模型整體區(qū)分度0.7以上算及格0.75~0.85是信貸場(chǎng)景常用的理想?yún)^(qū)間KS關(guān)注的是好壞用戶分布的最大差距風(fēng)控模型KS一般要求在0.3以上。如果訓(xùn)練AUC高但測(cè)試AUC掉得厲害優(yōu)先檢查特征中是否混入了未來變量——比如用“當(dāng)前訂單的還款狀態(tài)”去預(yù)測(cè)當(dāng)前訂單違約這種數(shù)據(jù)泄漏在信貸風(fēng)控里是重災(zāi)區(qū)。除了模型指標(biāo)還要驗(yàn)證數(shù)據(jù)鏈路的正確性。我的習(xí)慣是取最近三天的DWS特征表隨機(jī)抽幾名用戶把Spark聚合出的借款次數(shù)、逾期次數(shù)和業(yè)務(wù)庫里的明細(xì)記錄人工比對(duì)確認(rèn)口徑一致后再進(jìn)入模型迭代。這一步雖然原始卻能有效避免分區(qū)字段拼錯(cuò)、日期過濾條件寫反這類低級(jí)錯(cuò)誤數(shù)據(jù)平臺(tái)上查數(shù)是對(duì)得上但特征字段含義可能已經(jīng)偏離業(yè)務(wù)了。進(jìn)階改造方向是把當(dāng)前T1的離線批處理變成準(zhǔn)實(shí)時(shí)。具體路線是用Kafka接收業(yè)務(wù)系統(tǒng)實(shí)時(shí)產(chǎn)生的申請(qǐng)和還款事件Spark Structured Streaming消費(fèi)Kafka數(shù)據(jù)做窗口聚合每5分鐘更新一次用戶特征緩存模型服務(wù)從緩存中讀取特征并實(shí)時(shí)返回評(píng)分。這套改造不需要重寫系統(tǒng)在現(xiàn)有的DWS層增加一張實(shí)時(shí)特征寬表再在服務(wù)層增加一個(gè)讀取Redis緩存的接口即可。如果團(tuán)隊(duì)對(duì)實(shí)時(shí)性要求更高可以再引入Flink替換掉Spark Streaming但底層的特征口徑和模型文件完全不用動(dòng)?;氐焦こ瘫旧砦椰F(xiàn)在的習(xí)慣是無論任務(wù)多小提交后先打開Spark UI盯兩個(gè)指標(biāo)shuffle讀寫的總量和單個(gè)task的執(zhí)行時(shí)間。shuffle量突然變大說明join或groupBy的粒度和分區(qū)有問題task時(shí)間分布不均說明傾斜正在發(fā)生。把這個(gè)習(xí)慣保持下來很多集群層面的疑難雜癥都能在剛冒頭時(shí)被按下去。這套基于Hadoop、Spark的信貸風(fēng)控系統(tǒng)技術(shù)棧都是公開的真正的護(hù)城河在特征口徑、數(shù)據(jù)質(zhì)量和排錯(cuò)效率上希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91在线视频综合| 五月天堂色色| 丁香五月婷婷五月| 五月天丁香六月综合| 久久婷婷网| 婷婷爱在线观看| 这里只有精品热| 色婷婷五月天在线| 大香蕉婷婷色| 精品香蕉99久久久久网站| 色婷婷综合久久| 免费成人中文字幕| 婷婷五月成人有| 五月丁香婷婷六月天| 婷婷五月天激情丁香| 五月天色五月| 人妻体体内射精一区二区| 蜜臀av 粉嫩av 懂色av | 99热费观看| 午夜婷婷久久| 国产午夜精品一区二区三区四区| 婷婷五月天黄色网址| 婷婷五月四狠狠| 337p午夜影院| 婷婷操逼| 另类婷婷五月天啪帕帕| Xx色综合| 99热这里是精品| 91热久久| 99精品综合在线| 狠狠操综合| 五月天四色房丁香| 人妻久久久久久久 | 六月综合在线| 乱精品一区字幕二区| 中文字幕综合色| 97人人超| 亚洲综合五月天婷婷| 五月色网| 任你操精品免费| 欧美激情xxxXX| 婷婷五月天激情免费在线观看| 激情文学久久| 色月丁| 五月色情婷婷| 色综合色色| 五月天桃色深爱网| 91婷婷在线观看| 99热久只有| 五月亭亭狠狠| 欧美三级巜人妻互换| 久99久在线观看| 欧美成人无码高清一区二区三区| 91超级碰在线视频| 色护士综合| 97干在线| 午夜成人综合| 亚洲天堂青草| 色色色色av777| 99ri国产在线| 一起草av在线观看| 丁香五月欧美激情| 91久操| 伊人综合婷婷| 日韩十国产极品久久| 可以免费观看的AV| 任你爽精品免费视频6| 激情黄色小说五月天| 色欲婷婷五月天| 激情综合九| 开心六月丁香五月婷婷| 色婷婷香蕉| 一区=区操屄高清大全av| 色五月丁香五月五月婷婷| 日本婷婷五月天| 无码91中文字幕| 九九Av| www.yw色| 免费看无码视频A级| 天天综合网亚洲综合网| 日本精品人妻无码77777| 99久久久久久| 综合久久影院| 亚洲AVDVD| 就去涩涩丁香五月天| 99热欧美| 婷婷丁香六月| 亚州色色色| 九九九午夜视频| 五月丁香花免费视频| 久久98| 色婷| 婷香五月| 五月天久久久| 亚洲情欲| 亚洲婷婷五月天综合| 六月丁香啪啪啪| CAOBIBI| 精品久久久久久久人妻| 天天色中文字幕女优AV| 人人干AV| A片天天| 天天操天天操综合| 国产精品激情AV久久久青桔| 99re这里有精品手机在线| 九九人人操| 色九区| 日韩人妻在线观看| 99ri在线| 天天插天天射| 婷婷五月天激情在线观看 | 影音先锋91| 深爱激情综合网| 亚州第一黄网| 婷婷五月天国产| 色色丁香五月天社区| 永久地址 色| 九九草草逼| 久热最新视频| 4399精品一区二区| 五月婷婷激情网| 丁香五月黄色| 综合久久9| 婷婷伊人综合中文字幕| 玖玖资源在线视频| 亚洲婷婷月丁香五月| 丁香五月婷婷基地| 婷婷五月天综合中文| 九九综合影音先锋| 开心五月婷婷婷美女| 激情久久综合网| 色婷婷激情| 91丁香婷婷综合资源| 丰满熟女人妻一区二区三| 欧美男女婷婷| 久久多色| 天天日狠狠| 天天爽天天爽| 五月婷婷AV| 影音先锋综合网| 色五婷婷开心缴| 亭亭玉月丁香| 六月丁香啪啪| 欧美天天性| 99色热综合| 五月天天天色| 丁香五月六月综合激情| 91九九| 色五月婷婷激情五月| 中文字幕人妻一区二区| 色老久久| 丁香婷婷五月天色综合| 久久婷婷青青| 91黄址| 丁香五月,开心五月,成人婷婷| 五月丁香成人网| 婷婷丁香五月天色区| 丁香花综合永久入口| 99网| 婷婷第六色| 碰97 久| 六月婷婷久久| 狠狠色婷婷7777久| 色婷婷8| 日韩1区2区| 超碰在线视屏| 色综合视频在线| 欧美日韩AAAA| 国产亚洲99| 国产精产国品一二三在观看 | 色婷婷久久综合| 色婷婷六月天| 99精吕视频在线观看了| 九九日本视频| 久热伊人在91| 日本片日本片祼观看网站在线看中文版网页在线看 | 99色色网| 丁香婷婷五月| 欧美色色色色色色色色色色影视| 激情五月婷婷她| 99综合网| 亚洲色在线观看| 日韩在线9| 五月婷在线| 激情综合色婷婷六月天| 99热 这里只有精品 国产 日韩| 色色99| 国产无套精品一区二区| 99在线免费视| www.婷婷.com| 五月丁香婷婷色啪| 91丨九色丨东北熟女| 99只有这里是精品| 久久这里这里有精品免费视频| 骚逼视频一区2区| 婷婷久久亚洲| 99热6色| 狠狠干综合| 伊综合蕉| 久久综合五月天| 久久人妻高清中文| 色墦五月丁香| 色月丁| 国产67194| 成人精品亚洲性爱| 麻豆123区| 玖玖婷婷综合| 久久99免费视屏| 五月丁香在线| 色婷婷伊人| 天天成人综合视频| 婷婷五月天激情文学小说| 婷婷丁香黄色| 丁香五月婷婷激情97| 粉嫩av蜜桃av蜜臀av| 丁香婷婷五月综合影院| 久久99最新| 桃色激情五月天| 狠狠爱青青草| 五月天婷婷激情| 97色在线观看视频| 国产26uuu| 玖玖资源部在线播放| 色情五月婷| 99超碰欧美| 五月天伊人网| 夜夜 操无码| 另类综合婷婷五月天欧美视频| 亭亭丁香久久五月| xxxx久| www。五月,com| 丁香五月婷婷基地| 色播丁香| 99天堂网| 色婷五月天| 丁香婷婷色| 2020久久婷婷五月| 天天做天天视天天谢| 丁香色成人| 99碰碰碰| 五月 婷 久| 丁香五月综合| 色婷婷狠狠| 五月天天综合| 婷婷五月成人| 色5月丁香婷婷| www.99成人视频| 国熟女视频| 青草网在线观看| 69久久99精品久久久久| 九月婷婷激情| 精品99在线| 色婷婷色综合| 激情婷| 超碰免费人人肏| 99久久户外勾搭| 深爱激情五月天| 美女网黄| 久久婷婷五月天懂色| 91精品久久久久久久久| 视频一二区| 欧美综合激情丁香五月六月婷| 婷婷五月天激情影片| 伊人大香五月天| 欧美性二区| 91热爆在线| 99色.com| 91打屁股视频网站| 午夜九九九九九九九九九九九九九| 操操操91| 欧美69色| AV成人在线播放| 99久久亚洲国产| 1囯产午夜仑鲁鲁| 91seAV| 91精品综合久久久久久五月天| 亚洲狠9| www.色色色com| 97五月婷| 色欲色香综合网站| 一级二级色大片| 4399高清无码视频| 久久婷婷五月综合成人d啪| 182TV大香蕉| 小骚穴电影| 六月丁香婷婷色狠狠久久| 无码A片一区二区免费| 色五月婷婷AV| 五月婷婷五月天| 99熟女| 五月丁香美女视频| 久久五月天激情视频| 婷婷五月天少妇| 婷婷五月精品在线| 五月婷婷五月丁香| 丁香六月啪| 九九久久精品| 情欲禁地| 色五月婷婷91在线| 超碰在线9| 久久五月视频| 五月花婷婷最新| 婷婷五月六月激情| 六月婷婷色色色| 亚洲天堂爱爱| 日日干夜夜干| 丁香五月 无码| 丁香六月婷| 99热99在线| 婷婷丁香人妻天久久| 99re这里只有精品视频6| 五月丁香婷色| 五月婷婷av| 91操在线视频| 国产精品扒开腿做爽爽爽A片唱戏| 国产成人综合亚洲| 99色在线观看视频| 五月婷婷少妇之| 色色色色色色综合| 天天干天天干天天干| 五月丁香 啪啪| 综合色99| 玖玖玖婷婷婷| 色狠狠狠干| 激情久久五月网| 欧美成人精品一区二区 | 色色色婷| 国产日产亚系列精品版优势| 国产色视频网站2| 激情伊人| 开心五月综合| 99热这里只有精品2| 97在线观视频免费观看| 久久91久久91色欲精品| 性爱综合网| 丁香五月婷婷乱| 天天色亚洲| 五月婷综合| 婷婷激情五月呦呦| 深爱五月月天| 五月色影院| 人人摸人人摸| 九九美女视频| 5月婷婷综合| 亚洲欧美国产高清vA在线播放| 丁香激情网| WWW.久久.COM| 亚洲综合视频网| 色五月婷婷开心| www.五月天婷婷| 国产在线aaa片一区二区99| se色综合网| 婷婷97狠狠干| 五月天天综合| 九九热9| www99精品| 国产美女最新VA在线免费观看| 亚洲啪啪网| 天天色情站| 五月婷婷导航| 五月丁综合在线观看| 日本色99| 夜夜AVV| 五月婷婷与六月丁香图片激情| 色婷婷色五月天| 26uuu四色| 色色五月婷婷丁香| 婷婷丁香五月激情| 99人人操| 色9色| 国产.亚洲.欧洲视频在线| 一本色综合色| 就要去操亚洲成人精品五月天丁香婷婷| 五月丁香无码视频| 欧美成人AAA片一区国产精品| AV无码免费| 色色网站免费观看| 久久99网| 操逼毛片国语对白| 欧美中文五月天| 无码人妻少妇色欲AV一区二区| 久久在线大香蕉| 久久五月婷天天干| 精品一二三区久久AAA片| 色色色99| 香蕉视频91| 精品自拍97| 婷婷六月激情啪啪| 欧美激情五月天| 中文字幕在线免费| 婷婷久久精品| 中文字幕激情综合| 欧美婷婷五月天| 午夜伊人大香蕉| 99re这里只有精品国产99| 超碰99热| 五月婷啪| 天堂色婷婷| 免费看片在线观看| 五月丁香六月欧美综合网站| 超碰免费电影| 99热在线成人网站| 大香蕉婷婷婷| 狠狠色综合网站久久久久| 综合av在线| 丁香五月丐人妻| 操操啪| 人妻操逼视频| 久久丝丝热| 人人97碰| 久综合网| 激情网五月| 色色激情网| 久久99精品久久久久久噜噜| 色综合久久中文| 99热思思| 五月天狠狠色| www.henhenl| 久久九九精彩| 色碰碰| 久久九九@| 欧美va在线观看| 玖玖玖婷婷婷| 亚洲精品色| 色色婷婷色色| 玖玖爱综合网| 综合网色| 欧美成人精品A片免费一区99| 色频玖玖五月天| 九九热99热| 六月婷婷综合| 国产亚洲精品AAAAAAA片| 婷婷5月色| 99这里有精品视频| 天天擼久久擼在线| 91窝窝| 婷婷激情小说| 国产激情在线| 国内外色色色色色成人视频| 五月激情精品视频| 五月天丁香婷婷久久九| 久久婷婷五月综合伊人| 色色九九五月天 | 操操操操操操婷婷五月天| 久久人妻视频| 色五月婷婷视频| 综合色、色综合| 五月婷婷丁香瑟瑟视频| 国产精品人妻在线网址| 亚洲另类婷婷综合| 久热这里有精品视频| 久久精品国产精品| 五月天综合在线观看| 九草性爱| 久热大香蕉| 天天做天天爱天天摸| 国产片XXXXA片国语对白| 婷婷天天综合| 91综合在线观看| 中文字幕AV在线| 婷婷在线观看五月天在线视频| 成人做爰A片免费看网站找不到了| 色亚洲色宗合| 热久69| 91综合在线| 天天舔天天摸天天射| 日本视频不卡123区| 九九精品在线观看视频6| 97婷婷在线| 99热精品在线播放| 五月伊人综合| 9热在线视频精品| 99精品国产热久久91色欲| WWW色五月天| #NAME?| 婷婷情色五月天| 亚洲激情淫网| 色色婷婷婷丁香五月天| 婷婷五月天av| 天天婷婷| 99色综合网| 最近韩国日本免费高清观看| 婷婷色导航| 色综天天综合| 色噜婷婷| 久9视频| 99色 色| 久久综合影院| 久草热8精品视频在线观看| 26uuu欧美日本| 日韩九区| 五月天狠狠网站| 99色丁香婷婷综合网| 婷婷五月综合免费在线| 婷婷激情四射| 成人免费va| 日韩成人综合网| 中文成人在线| 欧美99热| 26uuu另类亚洲欧美日本一| 亚洲综合一区二区| 久久小说网| 成人版视频在线观看| 男人天堂亚洲综合| 9久国产| 九九成人视频| 婷婷五月综激情| 五月激激网w'w'w| 久久9RE热视频精品98| 九九热精品| 欧洲色| 狠狠色丁香婷婷基地| 9 1在线视频| 日产精品一线二线三线芒果| 五月色色色| 免费播放99性爱视频| 亚洲精品亚洲人成人网| 99热久久日本| 影音先锋自拍网| 六月婷婷激情图片| 婷婷五月草| 天天操天天爽天天爱| 久久99精品久久久久子伦| 人妻丰满精品一区二区A片| 色综合综合色| 五月天综合久久| 亚洲婷婷丁香五月亚洲| 色五月婷婷中文字幕在线观看 | 色九综合| 伊人喵咪a V| 天天爽天天爽| 91碰碰视频| 丁香五月激情婷婷| 五月婷婷这里都是精品| 久久XX| 色色色9 9 9| 97日本操| 成人做爰高潮A片免费视频| 超碰成人av| 五月激情婷婷开心| 婷婷五月天激情视频| 天天狠狠婷婷在线| 91免费看片| www99xxxx五月丁| 国产小精品| 五月激情婷婷丁香| 色欲久久久久久综合网综合网| 思思精品热在线| 色情丁香五月天| 91一起操| 操逼综合网| 91 久热| 精品无码久久久久久久久| 久久国产色| 亚洲色久| 婷婷五月天久久| 欧美性爱五月天| 婷婷五月天激情丁香| 激情综合五月.....| 天天曰夜夜爽| 欧亚洲在线高清视频| 9 99免费视频| 久久99jiu9| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 高潮毛片又色又爽免费| 欧美韩国日本| 青青草视频免费观看| 99自拍视频在线| 亚洲丁香花色| 国产精品色| 丁香婷婷影院| 激情六月婷婷| 超碰在线国产| 午夜成人片400| 五月婷色| 精品一区二区三区四区五区六区| 欧亚成人A片一区二区| 婷婷五月丁香香蕉| 丁香婷婷色五月| 五月丁香激情综合网| 五月天.com| 综合色色网| 色综合婷婷| 色99视频| 国产激情久久| www.99热| 久久久99精品免费观看| 久久人妻超碰一区| 丁香五月婷婷影视先锋| 熟妇国产| 丁香五月123| 久9无码视频| 久久久.COM| 九月影院義母在线播放| 婷婷综合在线| 人人操Av| 五月丁香久久久| 九九热这里只有精品在线观看| 九九性视频| 亚洲五月停停| 久久92| 激情五月久久| 碰97 久| 一级片无码| 视频1区2区| 丁香五月手机在线| 综合激情伊人影视在线| 五月色欧美| 五月宗合激情网| 成人精品亚洲性爱| 久久久com| 99综合视频一体| www.色五月| bukadeavzaixian| 天天综合网~91综合网| 97福利视频| VA色婷婷| 天天狠狠色噜噜| 亚洲热久久| 9l视频自拍九色9l视频自拍九色9l社区| 二色AV| 操人91| 少妇人妻丰满做爰XXX| 天天婬色综合| 五月久久婷婷丁香| 色五月xxx| 色五月综合网| 亚洲乱码w在线观看| 人人草人人爱| 久久综合66| 日本WWW九九九| 国产精品久久99| 日日操日日射| 五月丁香色综合| 久久激情视频| 69人人操人人爽| 99久.| 人人草成人视频| 精品国产va久久久| 亚洲精品国产成人AV在线| 狠狠色婷婷7777久| 色欲色香,www,com| 亚洲色色色色色色色色色| 这里只有精品,日韩视频| 婷婷色5月激情网| 操操人人| 九月丁香婷婷基地| 日本色婷婷| 开心五月婷婷在线| 五月天成人综合| 天天久综合网永久入口18| 九九色区| 五月综合激情图片 | 婷婷五月天伊人在线| 五月天综合激情网| 六月丁香五月婷婷| 区啪精品| 开心五激情网| 日本美女上人| 婷婷五月丁香图片人人操| 色V狠狠的干| 五月婷婷手机在线| 丁香婷婷色五月| yw.av| 久久久妻人人人| 五月天天爽| 天天色粽合合合合合合合| 久久婷婷激情四射五月天| 欧美成人热| 日韩在线视频网站| 婷婷影视久久| 女人露出p毛视频www网站| 婷婷淫淫狠狠六月| 成人精品视频99在线观看免费| 日韩大片艹艹| 思思99精品视频| 久久久27操| 操91综合网| 极品色丁香| 人人爽天天爽| 九月丁香网婷婷| 99色综合网| 欧美色性色好| 色婷婷yy久| 色婷婷手机在线| 日本成人噜噜| 无码激情AAAAA片-区区| 狠狠丁香| 激情亭亭五月| 婷婷综合中文字幕| 久久久久婷婷五月热综合| 曰曰久久| se色综合网| 五月婷婷黄色视频| 五月开心网| 色激情综合| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 五月丁香六月婷婷免费视频| 中文字幕黄色片| 91精品婷婷国产综合| 五月天婷婷人妻| 亚洲午夜成人av电影网| 日韩无码一区二区三区四区| 久久精品婷婷| 丁香五月手机在线| 亚洲精品永久久久久久| 老司机视频lsj爱就色| 千人斩操逼| 五月丁香六月激情在线| 97婷婷狠狠| 婷婷色操| 色色日本欧美| 九九99一区| 91女人18毛片水多国产| 这里只有免费的精品| 免费观看欧美成人AA片爱我多深| 婷婷五月中文在线| 五月婷婷大香蕉| 大香蕉五月丁香| 99婷婷国产最新视频| 中文字幕性爱视频| 国产va视频| 伊人久热91网| 国产一二三四五六七八视频| 97操资源婷婷| 综合五月激情网| 五月天色软件| 国产精品视频久久99| 亚洲愉拍99热成人精品| 日夜夜天天| 91人人人人人| 九九视频热| 9国产在线视频| 色插综合网| 少妇高潮A片无套内谢麻豆传| 夜夜躁狠狠| 五月天大香蕉| 亭亭丁香aV| 久久九九国产精品怡红院| 丁香五月激情六月欧亚激情综合导航 | wwwss在线观看| 婷婷五月天色色| 五月停亭六月,六月停亭的英语 | 欧美婷婷五月天综合| 久久受www免费人成| 岛国av电影网站| 日本色99网站| 婷婷淫淫狠狠六月| 亚洲色色五月天| 91九色熟女| 婷婷五月天成人在线视频| 五月天成人综合| 婷婷丁香五| 亚洲无AV在线中文字幕| 久99久热只有精品国产99| 成人AV播放| 深爱激情综合网| 日本乱论99| 久久久网站| 丁香五月狠狠在线观看| 六月丁香五月婷婷| 丁香五月中文字幕久色| 99久久色| 色综合激情| 第四色色六月色综合| 性一交一乱一交A片久| av在线色五月丁香婷区久| 99五丁香月| 特级西西4444www无码| 欧美在线操| 色婷婷激情| 1995年关宝慧版蜘蛛女| 97丁香视频| 91精品综合久久婷婷九色| 玖玖在线视频| 国产精品第一国产精品| 亚洲综合激情五月| 99九九99九九九视频精彩| 99热6精品| 99色在线观看| 任你日热视频| 五月丁香免费看| 开心五月综合激情综合五月| 91精品视频男人的天堂| 久久久久激情| 天天爱天天做天天舔| 狠狠婷婷日韩| 日韩成人网址| ss99热| 五月丁香婷色| 大香蕉五月天婷婷| 天天舔天天摸视频| 亚洲成人网在线观看| 97人人草| 久久黄色片| 精品久热| 五月丁香六月激情| 在线视频另类| 五月综合亚洲| 激情五月婷婷视频一区二区三区| 婷婷在线播放| 热思思| 五月色综合网欧美网| 色青青电影色五月| 亚洲网站999| 激情丁香五月激情婷婷| 日韩欧美一道四区中文字幕| 开心激情站| 六月丁香婷婷综合在线| 9.1综合网| 亚洲国产成人AV在线| 99久久久99久久91熟女| 婷婷丁香水多多视频| www.综合久久.com| 国产偷人爽久久久久久老妇APP| 日本色爽| 青青热久精品视频在线观看| 婷婷五月精品中文| 风流少妇A片一区二区蜜桃 | 26uuu成人网| 激情综合网五月激情网| 婷婷五月天美女| 九九中文色色| 亚洲综合色网| 激情五月天天狠狠久久| 天天久久综合| 五夜婷婷| 精品9l九九九九九77777| 九月婷婷久久| 五月天淫乱视频| 激情五月丁香在线观看直播| 五月天丁香成人| 九九色婷婷五月天| 六月丁香五月婷婷| 久久精品性爱| 六月婷婷激情小说网| 色人久久| 大鸡巴伊人网| 202丰满熟女妇大| 久久婷婷色综合| 岛国AV网站| 99精品视频在线6| 中美日韩成人在线| 国产AV网页| 99精品网| 色综合色| 色婷婷综合网| 欧美啄木乌丝袜人妻系列| 人人爽在线视频综合网| 啪啪夜久久| 99久久婷婷综合| 欧美在线视频99| 久久五月视频| 婷婷网五月天| 五月婷婷网站| 色婷五月天亚洲| 九九香蕉网| 欧美色图天堂网色| 亚洲图色五月天| 极品精品一区二区三区在线| 人人操av| 99热这里| 久9热视频| 情久久综合五月天| 天天射天天射一道本日本社区| 婷婷八月激情| 91精品久久久久| 91人碰| 日韩日比视频在线| 天堂伊人干| 操骚货在线| 国产精品久久久久久白浆色欲| 色色色色综合| 六月丁香久久| 色五月婷婷天天操夜夜操| WWW.五月天9999| www.xtbsty.cn.com蜜乳AV| 大香蕉婷婷五月| 婷婷九月狠狠色| 久久婷婷五月综合色天| 97婷婷五月| www.丁香六月婷婷久久天堂影院.con| 天天日天天舔| 激情五月婷婷视频一区二区三区| 大香蕉婷婷丁香视频在线| 日韩在线99| 丁香五月人妻| 99久视频| 精品无吗va视频免费观看| 狠狠干综合网| 这里只有精彩视| 久久在线人妻| 这里只有精品在线免费视频| 五月婷婷精品视频| 五月婷婷六月奇米网丁香| 五月婷婷中文网| 思思久久思思| 操逼在线视频| 亚洲性图一区二区三区| 亚洲婷婷开心五月| 亚洲激情高潮| 丁香六月爱综合| 狠狠色丁香婷婷综合久久97AV| 丁香五月综合图片在线观看| 天天操天天操综合| 国产精品色色色色| 26UUU欧美激情一区二区| 狠狠操狠狠狠| 亚洲、热| 五月婷婷丁香在线视频| 天天日夜夜帕| 9999热在线免费观看| 青青草原爱爱网| 96色婷婷| 大香蕉中文| 亚洲AV日韩无码| 91精品无码| 操97| 五月天激情综合网站| jiujiu无码五区| 丁香五月天在线直播观看| 色婷婷丁香中文在线播放| 丁香五月激情性色郤| www99热| 综合网激情| 精品久久久999| 97人人草| 国产亚洲精品久久久久久郑州 | 青草青草久热这里只有精品| 亚州第一黄网| 97婷婷久久丁香| 热996精品在线观看| 亚洲视频操| 99九九久久| tingting五月天亚洲| 激情五月丁香在线观看直播| 26uuuavcom| 黄色AAAAA| 亚洲六月婷婷| 亚洲色五月| 五月综合视频| 五月丁香另类网| 激情久久丁香| 婷婷综合| 午夜性爱影视一区77| 俺也去在线视频 | 综合另类视频| 婷婷丁香六月影视| 这里只有精品视频一区| 波多野结衣AV无码Porn| 久草婷婷| 97人妻碰碰中文无码久热丝袜| 射婷婷中文字幕| 丁香九月综合在线| 日韩操人| 婷婷亚洲五月丁香综合在线 | 在线观看996精品| 亚洲艹网| 99精品7| www.夜夜操.com| 九色婷婷| 日韩精品一区二区三区,四区,五区视频| 九九九AAA热视频| 91一起艹| 色欲五月天| 天天干天天插| 色婷婷久久| 国产99久9在线+|+传媒| av在线观看网站| 熟女五月天久久综合| 五月婷婷六月丁香激情| 玖玖资源在线视频| 色婷婷五月天av在线| 9久热免费视频99| 色五月开心五月激情五月| 激情五月天激情五月天| 色色色色五月| 偷偷与邻居做爰完整视频| 99噜噜噜| 26uuu四色| 激情五月影院| 激情第四色| 狠狠色噜噜狠狠亚洲A∨| 中文无码婷婷| 天天免费日日夜夜夜夜| 久久网日本| 九色在线五月婷婷网址| 99狠狠色| 久久婷婷一级片| 五月丁香无码| 久久这里只有精品视频15| 色久女| 激情久久综合网| 啪啪激情网| 精品久9| 99日韩| 九九九九这里只有精品| 天天综合在线网| 亚洲视频久久| 婷婷基地成人五月天| www.天天干| EEUSS鲁片一区二区三区| AV成人在线播放| 手机AVAV天堂看网| 久久香蕉影院| 啪啪色激情五月天| 另类综合激情| 色婷婷激情四射视频| 4399啪啪视频| 欧美日朝成人| 激情五月天婷婷丁香| 久久久久久久人妻| 色情丁香五月婷婷精品| 丁香五月婷婷俺也要去| 五月天婷婷色色| 久久99精品日本| 这里只有精品在线免费视频| 五月激情偷拍| 六月丁香停| 99热在线观看这里只有精品| 九色PORNY9l原创自拍| 久久在线大香蕉| 婷婷五月图片小说网| 五月花激情| 丁香婷婷五月综合| 激情五婷精品网在线观看网址| 激情五月婷婷| 丁香五月激情五月色综合| 丁香五月综合激情久久潮喷| 91色五月| 99热在线爱| 欧美性爱5月天天天看| 久草婷婷| 五月婷婷人人人操| 婷婷激情五月综合| 婷婷在线五月综合| 开心丁五月| 婷婷五月天久久久| 天堂亚洲 在线| 久久久五月四色| 极品人妻VIDEOSSS人妻| 9er热在线精品视频| 一起草无码| 色天堂操| 这里只有精品在线免费视频| 日本人妻伦在线中文字幕 | 色婷婷五月天天天干天天操天天爽| 97综合在线| 五月天大香蕉| 99热综合色图| 婷婷99丁香| 直接看的AV网站| 亚洲最大成人综合网720P| 伊人五月婷婷| 涩涩涩五月天| 日韩亚洲视频| 亚洲AV网址| 涩九九九九| 色色色色色色色色网站| a毛片二逼wwwwwwwwww| 夜夜骑日日夜夜| 国产毛片精品一区二区色欲黄A片| 玖玖在线视频| 99色免费观看全部| 五月婷啪| 色色五月丁香婷婷| 97综合色片| 九九自拍网| CAoub青青超碰| 99色视频在线| 国产一区18| 色播五月| 丁香五月最新网址| 五月丁六月香| www. 五月. com| 激情五月六月婷婷| 日韩黄色AV无码| 99久热这里只有精品| 婷婷第一页| 婷婷五月天综合小说网| 久久久日韩特色特黄AAAA| 五月第四色| 人操91在线| 玖玖热视频| 国产综合丁香五月天| 亚洲操操操| 2015WWW永久免费观看播放| 69色婷婷| 九九热99视频在线| 激情婷婷丁香五月天| 亲子乱AV一区二区三区下载| 中文无码婷婷| 草综合网| 丁香五月久久| 亚洲 在线 性爱| 精品二区| 五月婷婷综合久久| 99视频极品在线香蕉| 激情五月天综合网| 99热久草| 99色视频| 91艹人| 午夜不卡久久精品无码免费| 婷婷五月天激情综合网| 丁香婷婷影院| 天天天天操| 久久婷婷资源| 大香蕉久艹| 日本女天天爽| 国产在线aaa片一区二区99| 色5月婷婷| 狠狠色狠狠色综合日日91| 激情99| 色播播婷婷| 无码任你操| tingting五月天亚洲| 影音先锋自拍网| 色99网| 久久婷婷人人| 激情五月婷婷视频一区二区三区| 深爱丁香网| 久久综合26p| 五月丁香六月婷婷色情| 日本三级中文字幕| 六月丁香啪啪啪| 九九久久综合网站| 久久久五月天网站| 中文久久婷婷| 久久五月天大美女| 婷婷五月天淫荡| 五月天婷婷久久视频| 婷婷五月天影院| 欧美性爱五月天| 五月天激情网开心网| 亚洲六月色婷婷| 五月天激情视频| av免费人人| 中文字幕成人影视| 97五月天| 凹凸探花电影| 婷婷五月丁香激情图片 | 天天插天天射天天干| 夜夜爽天天爽| 青青草婷婷综合五月| 大香蕉Av在线| 激情图片五月天| 丁香五月婷婷欧美成人色图| 五月婷视频在线观看| 99热久| 狠狠撸激情综合丁香五月天俺来啦| 成人片在线免费看| 五月丁香综合| 这里只有精品免费视频在线观看| 久久久性爱视频| 中文字幕日本最新乱码视频 | 久久五月丁香激情综合| 任你搞在线观看视频| 色噜噜狠狠一区二区三区| 五月天色裸体视频| 91久久综合亚洲鲁鲁五月天| 成人中文网| 99精品视频在线观看| 亚洲第一色网站| 18久久| 五月色网| 激情五月婷婷五月| 狠狠香婷婷五月| 婷婷久久在线| 九九久久99| 婷婷六月丁香欧美视频在线| 99re热精品视频国| 丁香婷婷五月天成人| 婷婷五月天综合网| 激情五月丁香亭亭| 激情五月黄色小说| 日本久久9| 成人五月丁香社区| 91人妻视频| 97色碰| 色综合色色色色色色综合| 亚洲激情综合| www.色五月| 色五月天天| 99热综合在线| 亚洲午夜在线视频| 亚洲综合在线视频| 26uuu最新地址| 第四色五月激情网| 91婷婷色| 极品人妻VIDEOSSS人妻| 日韩一级片| 激情五月色播五月| 91操屁股| 99热这里都是精品| 深爱激情网五月天| 第2色五月婷| 五月丁香六月停停停| 东京热伊人| 天天爽日日爽夜夜爽| 久热这里只有精品在线观看| 色婷婷情片| 97色精品视频| 激情AV| 婷婷五月天网址| 色五月丁香五月婷婷五月成人网| 色视频2025| 成人永久免费视频在线观看| 玖久久网站| 天天做天天爱| 伊人www22综合色| 亚亚州久久高潮| 天天人人天天爽| 婷婷香蕉| 99视频在线播放大全| 免費观看aV在线网址| 精品夜夜澡人妻无码AV| 天天综合 99久久婷婷| 丁香六月伊人| 五月天激情图| 俺来也综合网精品一区| 91狠狠综合网| 亚洲第一影院高清无码网站| 免费看成人AA片无码视频吃奶| 这里只有精品免费| www.婷婷五月天| 五月丁香啪啪综合| 五月色俺婷婷| 欧美噜噜免费观看| 九九热欧美| 色情五月婷| 成人免费网站免费看| 在线中文字幕免费视频| 欧美成人猛片AAAAAAA| 狠狠色噜噜狠狠狠888| 超碰成人电影| 久热黄色| 色五月激情五月| 激情小说视频图片| 九九精品视频在线6| 呦呦v线| 五月婷婷六月丁香激情综合网| 美女天天艹人人爽| 超碰人人超碰| 国产精品成人AV在线| 4399在线观看免费毛片| 天天色凹凸| 超碰人人在线观看| 日韩99无码| 激情五月丁香五月色| 91 欧美| 爱超碰性| 国产熟妇的荡欲午夜视频| www.99热| 色色色色色色网站| 五月婷婷色色色| 啊V视频在线观看| 婷婷五月电影院| www.jiujiujiu| 影音先锋四区| 无码啪啪| 任我肏| 九九免费视频| 五月天综合色| 婷婷成人视频| 九九色综合| 欧类av怡春院|