欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

基于Hadoop和Spark的信貸風(fēng)控系統(tǒng)架構(gòu)與落地實(shí)踐

基于Hadoop和Spark的信貸風(fēng)控系統(tǒng)架構(gòu)與落地實(shí)踐 簡介面向大數(shù)據(jù)金融信貸風(fēng)控領(lǐng)域?qū)W習(xí)者和畢業(yè)設(shè)計(jì)開發(fā)者的完整項(xiàng)目源碼包基于Hadoop與Spark技術(shù)棧實(shí)現(xiàn)信貸風(fēng)險(xiǎn)控制系統(tǒng)覆蓋數(shù)據(jù)接入、流式處理、風(fēng)控邏輯及可視化等環(huán)節(jié)適合課程設(shè)計(jì)、畢設(shè)或項(xiàng)目初期演示。壓縮包內(nèi)共69個(gè)文件以36個(gè)Java源碼、8個(gè)Scala源碼為主配合12個(gè)XML配置、5個(gè)properties屬性文件、SQL腳本及H5前端JS等整體約58KB工程結(jié)構(gòu)清晰便于按功能模塊查閱。已有325人學(xué)習(xí)下載代碼均測試運(yùn)行成功答辯平均分達(dá)96分并提供遠(yuǎn)程教學(xué)支持。參考README與數(shù)據(jù)庫腳本即可快速搭建環(huán)境重點(diǎn)理解Spark Streaming實(shí)時(shí)數(shù)據(jù)接入、MyBatis映射配置以及風(fēng)控流程設(shè)計(jì)等實(shí)踐要點(diǎn)下載后可直接導(dǎo)入IDE運(yùn)行調(diào)試便于二次開發(fā)。1. 基于Hadoop、Spark的信貸風(fēng)控系統(tǒng)在解決什么先看清它要扛下的數(shù)據(jù)量做信貸業(yè)務(wù)的同學(xué)都熟悉這個(gè)畫面一天涌入幾十萬筆申請每筆申請背后是用戶基本信息、多頭借貸記錄、設(shè)備指紋、APP行為軌跡、第三方黑名單光原始字段就上百個(gè)。傳統(tǒng)MySQL單庫撐死幾千QPS十幾張表做一次join直接超時(shí)更別提把一年甚至三年的歷史數(shù)據(jù)拉出來做特征回溯?;贖adoop、Spark的大數(shù)據(jù)金融信貸風(fēng)控系統(tǒng)核心就是把數(shù)據(jù)存儲(chǔ)和特征計(jì)算搬到分布式框架上HDFS承接海量明細(xì)數(shù)據(jù)Spark跑離線特征工程、批量評(píng)分和模型訓(xùn)練再配合規(guī)則引擎處理實(shí)時(shí)審批決策。它解決的是三個(gè)具體問題——數(shù)據(jù)存不下、特征算不動(dòng)、風(fēng)險(xiǎn)評(píng)分出不來。適合正在做信貸技術(shù)選型的工程師也適合高校大數(shù)據(jù)方向拿一個(gè)完整項(xiàng)目做課程設(shè)計(jì)的同學(xué)。你先搞清楚這套系統(tǒng)的數(shù)據(jù)鏈路和關(guān)鍵取舍再去看源碼和文檔效率會(huì)高很多。2. 架構(gòu)設(shè)計(jì)與技術(shù)選型為什么是Hadoop加Spark而不是其他組合2.1 先做減法哪些方案被排除理由是什么常見的第一反應(yīng)是用MySQL加定時(shí)任務(wù)搞定一切。但在信貸風(fēng)控場景里原始數(shù)據(jù)里有用戶授權(quán)讀取的運(yùn)營商通話詳單、電商消費(fèi)記錄、社保公積金流水單用戶每月產(chǎn)生的明細(xì)記錄就有幾百條百萬用戶就是幾億行。MySQL單表過億之后即使加了索引復(fù)雜的聚合查詢也要幾十秒甚至分鐘級(jí)根本撐不住風(fēng)控調(diào)參時(shí)反反復(fù)復(fù)的特征回溯。純Flink流處理方案也是一個(gè)選擇但風(fēng)控場景里真正耗費(fèi)算力的不是實(shí)時(shí)計(jì)算本身而是全量數(shù)據(jù)的批量特征計(jì)算、模型訓(xùn)練和離線回測。Flink擅長的是秒級(jí)窗口內(nèi)的實(shí)時(shí)計(jì)算把這部分任務(wù)硬塞給Flink集群成本會(huì)翻很多倍而且Flink對狀態(tài)后端的管理也比Spark的批處理模型復(fù)雜。Hadoop加Spark是更成熟的配合方式HDFS做分布式存儲(chǔ)底座Spark跑內(nèi)存計(jì)算MapReduce留作極重的歷史回溯兜底任務(wù)。這套組合在金融行業(yè)被驗(yàn)證了超過十年招聘市場上也確實(shí)大量崗位要求這兩項(xiàng)技術(shù)。2.2 總體架構(gòu)五層數(shù)據(jù)流和一個(gè)核心整套系統(tǒng)的數(shù)據(jù)流可以拆成五個(gè)層級(jí)采集層Flume采集服務(wù)器日志Kafka承接業(yè)務(wù)系統(tǒng)實(shí)時(shí)推送的申請事件兩份數(shù)據(jù)最終都落到HDFS。存儲(chǔ)層HDFS存放原始日志和數(shù)倉各層明細(xì)數(shù)據(jù)HBase用來存實(shí)時(shí)特征結(jié)果和反欺詐名單支持毫秒級(jí)查詢。計(jì)算層Spark負(fù)責(zé)離線批處理、特征工程、模型訓(xùn)練Hadoop MapReduce處理極端耗時(shí)的全量回溯任務(wù)。服務(wù)層規(guī)則引擎加載黑名單、硬性規(guī)則進(jìn)行第一輪攔截評(píng)分模型對通過規(guī)則的申請輸出信用評(píng)分封裝成REST接口。展示層運(yùn)營后臺(tái)和大屏展示每日申請量、通過率、逾期率、評(píng)分分布等核心指標(biāo)。整個(gè)架構(gòu)的核心是中間那層特征寬表和評(píng)分模型。沒有特征寬表Spark的算力無處安放沒有評(píng)分模型前面的存儲(chǔ)和計(jì)算只是存了一堆用不上的數(shù)據(jù)。這也是后面兩章要重點(diǎn)展開的部分。2.3 集群部署起點(diǎn)偽分布式搭建、HA 架構(gòu)和生產(chǎn)集群規(guī)劃學(xué)習(xí)階段不建議一上來就搞多節(jié)點(diǎn)集群。先在單機(jī)做Hadoop偽分布式搭建把HDFS的NameNode和DataNode、YARN的ResourceManager和NodeManager之間的關(guān)系跑明白再用Spark的local模式提交幾個(gè)作業(yè)理解存儲(chǔ)和計(jì)算的協(xié)作邏輯。集群里還有一個(gè)關(guān)鍵組件是ZookeeperHadoop和Zookeeper整合實(shí)戰(zhàn)解決的核心問題是HA模式下NameNode的自動(dòng)故障切換——主NameNode掛了備用節(jié)點(diǎn)要能自動(dòng)頂上否則整個(gè)HDFS就癱了。生產(chǎn)環(huán)境必須上HA架構(gòu)這一點(diǎn)沒有任何商量余地。NameNode是HDFS的單點(diǎn)元數(shù)據(jù)都在它內(nèi)存里一掛全掛。Zookeeper負(fù)責(zé)協(xié)調(diào)兩個(gè)NameNode的主備狀態(tài)JournalNode負(fù)責(zé)同步編輯日志。生產(chǎn)集群的規(guī)模按數(shù)據(jù)量倒推1000萬級(jí)注冊用戶每天新增日志約200GBKeep一個(gè)50個(gè)節(jié)點(diǎn)左右的集群存儲(chǔ)和計(jì)算基本夠用。節(jié)點(diǎn)規(guī)格建議是每臺(tái)32GB內(nèi)存、8核CPU、4塊4TB硬盤這樣的配置在大多數(shù)信貸業(yè)務(wù)里能從業(yè)務(wù)初期撐到中期。規(guī)模再大的話要考慮的是Spark任務(wù)的資源隔離而不是繼續(xù)無限加節(jié)點(diǎn)。3. 數(shù)據(jù)接入與存儲(chǔ)從原始JSON到可查詢的特征寬表3.1 Spark中讀取JSON日志的兩種姿勢和一個(gè)關(guān)鍵坑業(yè)務(wù)系統(tǒng)上報(bào)的日志絕大多數(shù)是JSON格式每條申請記錄一個(gè)JSON文件或者一行一個(gè)JSON。Spark讀取JSON最常見的錯(cuò)誤是讓Spark自己推斷schema數(shù)據(jù)量大時(shí)這個(gè)推斷過程會(huì)觸發(fā)額外的掃描而且碰到包含多種字段形態(tài)的數(shù)據(jù)時(shí)推斷結(jié)果經(jīng)常和你預(yù)期不符——比如金額字段有時(shí)是字符串有時(shí)是數(shù)字Spark默認(rèn)推斷成string或bigint取出來才發(fā)現(xiàn)類型不對。我一般會(huì)直接在讀取時(shí)顯式指定schema代價(jià)是維護(hù)一個(gè)schema定義但換來的是穩(wěn)定性和可預(yù)測性。典型的讀取代碼長這樣from pyspark.sql import SparkSession from pyspark.sql.types import StructType, StructField, StringType, LongType, DoubleType, TimestampType spark SparkSession.builder \ .appName(credit_json_etl) \ .config(spark.sql.shuffle.partitions, 200) \ .enableHiveSupport() \ .getOrCreate() # 顯式定義schema避免Spark自己推導(dǎo)導(dǎo)致的類型漂移 schema StructType([ StructField(user_id, StringType(), True), StructField(apply_time, TimestampType(), True), StructField(loan_amount, DoubleType(), True), StructField(device_id, StringType(), True), StructField(channel, StringType(), True), StructField(extra_info, StringType(), True) # 原始字段先保留后續(xù)解析 ]) # 讀取HDFS上的原始JSON目錄按天分區(qū) raw_df spark.read \ .option(multiline, false) \ .schema(schema) \ .json(/data/raw/credit_apply/dt2024-01-01/) raw_df.printSchema() raw_df.show(5, truncateFalse)這段代碼里multiline參數(shù)要按實(shí)際數(shù)據(jù)格式設(shè)置。每行一個(gè)JSON對象時(shí)設(shè)為false整個(gè)文件是一個(gè)大JSON數(shù)組時(shí)設(shè)為true。shuffle.partitions設(shè)置成200是一個(gè)比較保守的起步值它控制了Spark執(zhí)行shuffle操作時(shí)的分區(qū)數(shù)量數(shù)據(jù)量大的時(shí)候這個(gè)值設(shè)置得太小單個(gè)任務(wù)處理的數(shù)據(jù)過多很容易撐爆executor內(nèi)存。3.2 數(shù)倉分層ODS、DWD、ADS三層的建模思路原始數(shù)據(jù)直接拿來算特征是不現(xiàn)實(shí)的JSON里嵌套的字段解析要消耗大量計(jì)算資源而且重復(fù)解析會(huì)有一致性問題。標(biāo)準(zhǔn)做法是建立三層數(shù)倉ODS層原樣保留原始JSONDWD層做清洗、脫敏、解析字段ADS層做特征寬表。ODS層就是上面讀取的原始數(shù)據(jù)不做任何加工只按天分區(qū)。DWD層用Spark SQL做清洗和解析典型做法是用get_json_object把JSON里的嵌套字段提取出來同時(shí)對身份證號(hào)、手機(jī)號(hào)做脫敏處理。這一步很關(guān)鍵信貸數(shù)據(jù)涉及個(gè)人敏感信息審計(jì)時(shí)會(huì)要求你證明原始數(shù)據(jù)沒有直接暴露在計(jì)算鏈路里。DWD層建表語句參考CREATE EXTERNAL TABLE IF NOT EXISTS dwd_credit_apply ( user_id STRING COMMENT 用戶ID, apply_time TIMESTAMP COMMENT 申請時(shí)間, loan_amount DOUBLE COMMENT 申請金額, loan_term INT COMMENT 申請期限月, device_brand STRING COMMENT 設(shè)備品牌, channel_code STRING COMMENT 渠道編碼, city_level INT COMMENT 城市等級(jí) 1-5, -- 脫敏后的手機(jī)號(hào)只保留前3后4 mobile_masked STRING COMMENT 脫敏手機(jī)號(hào) ) PARTITIONED BY (dt STRING) STORED AS PARQUET LOCATION /warehouse/dwd/credit_apply; -- 按天覆蓋寫入分區(qū) INSERT OVERWRITE TABLE dwd_credit_apply PARTITION (dt2024-01-01) SELECT user_id, apply_time, CAST(loan_amount AS DOUBLE), CAST(loan_term AS INT), get_json_object(extra_info, $.device_brand) AS device_brand, get_json_object(extra_info, $.channel_code) AS channel_code, get_json_object(extra_info, $.city_level) AS city_level, concat(substr(mobile, 1, 3), ****, substr(mobile, 8, 4)) AS mobile_masked FROM /data/raw/credit_apply/dt2024-01-01;建表時(shí)用STORED AS PARQUET的列式存儲(chǔ)查詢時(shí)只讀取需要的列IO量可以降一半以上對特征計(jì)算階段的多列讀取特別友好。INSERT OVERWRITE的寫法保證分區(qū)內(nèi)數(shù)據(jù)是冪等的重跑任務(wù)不會(huì)產(chǎn)生重復(fù)數(shù)據(jù)。3.3 特征寬表為什么要寬以及怎么join才不翻車特征計(jì)算階段最忌諱的是每次評(píng)分都去臨時(shí)join十幾張表。業(yè)界標(biāo)準(zhǔn)做法是預(yù)先算好一張?zhí)卣鲗挶怼恳恍惺且粋€(gè)用戶每一列是一個(gè)特征。寬表的好處在于訓(xùn)練模型時(shí)直接把這張表喂給機(jī)器學(xué)習(xí)算法不需要再處理join邏輯實(shí)時(shí)評(píng)分時(shí)查詢一次就能拿到一個(gè)用戶的全部特征。構(gòu)建寬表最常見的坑是join數(shù)據(jù)傾斜。比如用用戶維度join授信記錄某幾個(gè)用戶借款次數(shù)上千次會(huì)導(dǎo)致對應(yīng)reduce任務(wù)數(shù)據(jù)量遠(yuǎn)大于其他任務(wù)表現(xiàn)為整體任務(wù)卡在99%。緩解手段有三個(gè)先把用戶維度的數(shù)據(jù)做聚合壓到每用戶一條對join key做加鹽處理分散熱點(diǎn)或者干脆把低頻維度做成廣播變量。第三個(gè)手段在Spark里操作最簡單核心代碼如下from pyspark.sql import functions as F # 用戶基本信息表數(shù)據(jù)量在幾十萬量級(jí)可以廣播 user_info spark.table(dwd_user_info) user_features spark.table(dwd_credit_apply).groupBy(user_id).agg( F.count(user_id).alias(apply_cnt), F.avg(loan_amount).alias(avg_loan_amount), F.max(loan_amount).alias(max_loan_amount) ) # 廣播小表避免shuffle user_features_with_info user_features.join( broadcast(user_info), onuser_id, howleft ) # 覆蓋寫入ADS特征寬表按天全量刷新 user_features_with_info.write \ .mode(overwrite) \ .format(parquet) \ .save(/warehouse/ads/user_feature_wide_table)這段代碼里broadcast會(huì)把小表分發(fā)到每個(gè)executor的內(nèi)存中join時(shí)不需要做shuffle這是Spark里最廉價(jià)的性能優(yōu)化手段之一。寬表的刷新策略按業(yè)務(wù)容忍度來定信貸場景通常T1刷新就行——當(dāng)天凌晨用前一天的數(shù)據(jù)重算全量寬表第二天白天做實(shí)時(shí)查詢時(shí)讀的就是最新版本。4. 特征工程與風(fēng)險(xiǎn)模型把Spark算力變成授信分4.1 特征計(jì)算與清洗Spark DataFrame的標(biāo)準(zhǔn)化數(shù)據(jù)處理特征寬表建好之后下一步是特征工程——把原始字段變成模型能用的數(shù)值特征。信貸風(fēng)控常見的特征類型包括用戶基本屬性年齡、城市等級(jí)、職業(yè)類別、借款行為申請次數(shù)、平均借款金額、借貸間隔、設(shè)備信息設(shè)備使用時(shí)長、越獄/root標(biāo)記、外部征信數(shù)據(jù)逾期次數(shù)、查詢次數(shù)。這些特征不能直接進(jìn)模型要做三類處理缺失值填充、異常值截?cái)唷?shù)值標(biāo)準(zhǔn)化。Spark DataFrame做這套處理非常順手代碼示例如下from pyspark.sql import functions as F from pyspark.sql.functions import col # 讀取特征寬表 feature_df spark.read.parquet(/warehouse/ads/user_feature_wide_table) # 填充缺失值數(shù)值列用中位數(shù)類別列用unknown stat feature_df.select( F.expr(percentile_approx(age, 0.5)).alias(age_median) ).collect()[0] feature_df feature_df.fillna({ age: stat[age_median], city_level: 3, # 缺失城市等級(jí)默認(rèn)按三線城市處理 device_use_days: 0, channel_code: unknown }) # 異常值截?cái)喑^99分位數(shù)的值直接截?cái)喾乐箻O端值拉偏模型 quantile_age feature_df.approxQuantile(age, [0.99], 0.01)[0] quantile_amount feature_df.approxQuantile(loan_amount, [0.99], 0.01)[0] feature_df feature_df.withColumn( age, F.least(col(age), F.lit(quantile_age)) ).withColumn( loan_amount, F.least(col(loan_amount), F.lit(quantile_amount)) ) # 標(biāo)準(zhǔn)化Z-score讓不同量綱的特征處于同一尺度 mu_age, std_age feature_df.select( F.mean(age).alias(mu), F.stddev(age).alias(std) ).collect()[0] feature_df feature_df.withColumn( age_zscore, (col(age) - mu_age) / std_age )approxQuantile是Spark提供的近似分位數(shù)計(jì)算它不需要全量排序用抽樣估算對于分位數(shù)這種統(tǒng)計(jì)量精度完全夠。標(biāo)準(zhǔn)化用的是Z-score對于邏輯回歸這類線性模型是必須的不標(biāo)準(zhǔn)化的話數(shù)值大的特征會(huì)在梯度計(jì)算中占主導(dǎo)地位。對于樹模型標(biāo)準(zhǔn)化非必需但做了也沒有副作用所以我一般統(tǒng)一做掉。4.2 規(guī)則引擎和評(píng)分卡模型怎么配合有了特征接下來是關(guān)鍵問題規(guī)則引擎和評(píng)分卡模型怎么分工。規(guī)則引擎處理那些一刀切的硬性風(fēng)險(xiǎn)——命中黑名單直接拒、申請金額超過限額直接拒、同一設(shè)備一天申請超過5次直接拒。規(guī)則引擎速度快、可解釋性強(qiáng)、修改即時(shí)生效適合做第一道攔截。評(píng)分卡模型則處理那些介于中間的申請用一個(gè)分?jǐn)?shù)來度量違約概率。評(píng)分卡最底層的模型通常是邏輯回歸因?yàn)榫€性模型天然具備可解釋性。在實(shí)際落地中為了更好處理非線性關(guān)系會(huì)先對連續(xù)特征做WOE分箱。這里用pyspark.ml.feature里的相關(guān)組件來實(shí)現(xiàn)from pyspark.ml.feature import QuantileDiscretizer # 對連續(xù)特征做分箱讓模型學(xué)習(xí)非線性關(guān)系 discretizer QuantileDiscretizer( numBuckets10, inputColage, outputColage_bucket ) # 分箱結(jié)果轉(zhuǎn)成OneHot編碼后輸入邏輯回歸 from pyspark.ml.feature import OneHotEncoder ohe OneHotEncoder( inputCols[age_bucket, city_level_bucket], outputCols[age_ohe, city_ohe] ) # 組裝特征向量并訓(xùn)練邏輯回歸 from pyspark.ml.classification import LogisticRegression from pyspark.ml.feature import VectorAssembler assembler VectorAssembler( inputCols[age_ohe, city_ohe, apply_cnt, avg_loan_amount], outputColfeatures_vector ) lr LogisticRegression( featuresColfeatures_vector, labelColis_default, maxIter100, regParam0.01 )訓(xùn)練做完之后把模型的系數(shù)換算成分?jǐn)?shù)每個(gè)分箱對應(yīng)一個(gè)分?jǐn)?shù)加總后映射到300-900分的信用分區(qū)間。分?jǐn)?shù)越高違約概率越低。這個(gè)分?jǐn)?shù)段業(yè)內(nèi)默認(rèn)是300分以下堅(jiān)決拒、650分以上直接放、中間走人工復(fù)核。模型訓(xùn)練迭代的次數(shù)不用追求太多信貸場景里模型更新周期通常是季度級(jí)別特征是主導(dǎo)模型算法排第二。4.3 讓評(píng)分接口算得快Spark內(nèi)存參數(shù)與提交配置評(píng)分模型落地到線上服務(wù)常見的方式是把模型跑在Spark Streaming或者Structured Streaming上接Kafka里的申請事件流式計(jì)算實(shí)時(shí)給分。這時(shí)候性能參數(shù)的重要性不亞于模型本身的準(zhǔn)確率。Spark Streaming消費(fèi)Kafka數(shù)據(jù)做評(píng)分的典型配置參數(shù)如下from pyspark.sql import SparkSession spark SparkSession.builder \ .appName(credit_scoring_streaming) \ .config(spark.executor.memory, 4g) \ .config(spark.executor.cores, 4) \ .config(spark.sql.shuffle.partitions, 400) \ .config(spark.streaming.kafka.maxRatePerPartition, 1000) \ .config(spark.sql.streaming.checkpointLocation, /warehouse/checkpoint/credit_scoring) \ .getOrCreate()spark.executor.memory決定了每個(gè)executor的JVM堆內(nèi)存4g是生產(chǎn)環(huán)境的保守起步值別忘了堆外內(nèi)存實(shí)際申請的物理內(nèi)存要比這個(gè)值多20%左右。maxRatePerPartition限制每個(gè)Kafka分區(qū)每秒最多消費(fèi)1000條防止流量突增直接把集群打爆。checkpointLocation一定要配流式任務(wù)的進(jìn)度元數(shù)據(jù)全部存在這里不配的話任務(wù)重啟后會(huì)丟數(shù)據(jù)或者重復(fù)消費(fèi)。提交作業(yè)的方式也要配套。推薦用spark-submit提交到Y(jié)ARN集群而不是直接spark-submit跑在本地模式。提交命令參考spark-submit \ --master yarn \ --deploy-mode cluster \ --executor-memory 4g \ --executor-cores 4 \ --num-executors 30 \ --conf spark.sql.shuffle.partitions400 \ --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.2.0 \ credit_scoring_streaming.pynum-executors乘上之前配置的核數(shù)控制著整個(gè)作業(yè)的并行度。核數(shù)從4往上加收益會(huì)快速遞減因?yàn)閠ask調(diào)度和網(wǎng)絡(luò)通信的開銷也在增長。對大部分信貸數(shù)據(jù)量級(jí)來說30個(gè)executor已經(jīng)能滿足秒級(jí)評(píng)分的要求。如果評(píng)分延遲還是壓不下來先看特征寬表有沒有觸發(fā)不必要的shuffle再考慮加資源這兩者的順序千萬別搞反。5. 避坑清單Hadoop和Spark集群落地最常見的5個(gè)翻車現(xiàn)場5.1 數(shù)據(jù)傾斜導(dǎo)致某個(gè)executor內(nèi)存溢出現(xiàn)象Spark作業(yè)卡在某個(gè)stage 99%不動(dòng)日志刷出Container killed on request. Exit code is 143或者直接拋OOM。界面上看有一部分task執(zhí)行時(shí)間異常長大部分task早就跑完了。原因特征寬表或者中間結(jié)果里某個(gè)key的數(shù)據(jù)量遠(yuǎn)大于其他key。信貸數(shù)據(jù)里最常見的傾斜源是user_id——部分高頻用戶或者渠道商賬號(hào)對應(yīng)的數(shù)據(jù)量是普通用戶的幾百倍這些數(shù)據(jù)全部落到同一個(gè)分區(qū)把對應(yīng)的executor打爆。解決優(yōu)先對傾斜key做過濾或單獨(dú)處理比如單獨(dú)處理借款次數(shù)超過100的用戶如果傾斜程度可控給Spark配置加spark.sql.adaptive.enabledtrue和spark.sql.adaptive.skewJoin.enabledtrueSpark3.0以上的版本開啟后會(huì)自動(dòng)拆分傾斜分區(qū)最后的手段才是加內(nèi)存。這一步的排查速度決定了你的加班時(shí)長我一般會(huì)把傾斜前后的數(shù)據(jù)量打出來對比五分鐘定位。5.2 讓Spark自己推斷JSON的schema慢到懷疑人生現(xiàn)象讀取一個(gè)幾十GB的JSON目錄Spark作業(yè)在讀取階段卡了很久日志顯示一直在掃描文件。原因Spark為了推斷出所有字段的類型需要先完整掃描一遍數(shù)據(jù)然后再真正讀取一遍總共兩遍IO。目錄里文件數(shù)量多、嵌套層級(jí)深的時(shí)候時(shí)間成本非??捎^。另一個(gè)副作用是推斷結(jié)果不穩(wěn)定數(shù)據(jù)形態(tài)稍微一變字段類型就跟著漂。解決第3章已經(jīng)寫過讀取JSON時(shí)用.schema()顯式指定。維護(hù)schema確實(shí)麻煩但比每次任務(wù)跑兩遍要值得多。如果JSON里字段特別多可以先跑一次小樣本推斷出schema然后微調(diào)類型固化到代碼里當(dāng)常量。5.3 小文件過多把NameNode壓垮現(xiàn)象集群沒跑什么大任務(wù)但HDFS的NameNode頻繁告警RPC響應(yīng)延遲飆到幾秒甚至幾十秒。原因上游采集任務(wù)每個(gè)批次只寫幾十MB一天下來在HDFS上生成了上萬個(gè)小文件。NameNode把每個(gè)文件、每個(gè)block的元數(shù)據(jù)都放在內(nèi)存里文件數(shù)量一多內(nèi)存占用上去讀寫請求的響應(yīng)性能直線下降。Spark寫特征寬表時(shí)如果分區(qū)設(shè)置過多且數(shù)據(jù)量不大也會(huì)產(chǎn)生同樣的問題。解決一是上游把小塊數(shù)據(jù)合并成大文件再上傳控制單文件在128MB以上二是對已有的小文件跑一次合并任務(wù)。Spark側(cè)的設(shè)置是控制輸出分區(qū)數(shù)核心代碼是這樣# 寫特征寬表前先重分區(qū)控制輸出文件數(shù)量 from pyspark.sql import functions as F feature_df \ .repartition(50) \ .write \ .mode(overwrite) \ .format(parquet) \ .save(/warehouse/ads/user_feature_wide_table)repartition(50)把輸出分片收縮到50個(gè)左右每個(gè)文件大約128MB這是一個(gè)平衡NameNode壓力和后續(xù)讀取并行度的折中值。文件太大讀取并行度會(huì)下降太小元數(shù)據(jù)壓力又上來。5.4 Zookeeper超時(shí)導(dǎo)致HA主備反復(fù)切換現(xiàn)象集群狀態(tài)不穩(wěn)定NameNode頻繁自動(dòng)切換甚至出現(xiàn)雙主或同時(shí)無人服務(wù)的情況業(yè)務(wù)端隔幾分鐘就報(bào)一次HDFS連接失敗。原因Hadoop和Zookeeper整合實(shí)戰(zhàn)里最常見的一個(gè)坑——NameNode和Zookeeper之間的心跳超時(shí)設(shè)置過短。Zookeeper需要同時(shí)維護(hù)NameNode元數(shù)據(jù)、HBase協(xié)調(diào)、Kafka協(xié)調(diào)多個(gè)角色的會(huì)話任何一次GC暫停或者網(wǎng)絡(luò)抖動(dòng)超過超時(shí)閾值Zookeeper就會(huì)判定NameNode失聯(lián)觸發(fā)自動(dòng)切換。切換本身又是高開銷操作元數(shù)據(jù)加載需要時(shí)間于是形成切換-搶主-再切換的惡性循環(huán)。解決把zookeeper.session.timeout從默認(rèn)的10秒左右調(diào)大到30秒dfs.namenode.avoid.read.stale.datanode加上讓NameNode對DataNode的陳舊狀態(tài)容忍度高一些。調(diào)參后的自檢方法是殺掉active節(jié)點(diǎn)的進(jìn)程觀察standby節(jié)點(diǎn)能否在1分鐘內(nèi)接管然后恢復(fù)服務(wù)。這個(gè)動(dòng)作要在業(yè)務(wù)低峰期做不然一個(gè)誤判就直接影響線上審批鏈路。5.5 物理內(nèi)存和容器內(nèi)存對不上任務(wù)被莫名殺掉現(xiàn)象Spark任務(wù)運(yùn)行到一半executor被YARN強(qiáng)制殺掉錯(cuò)誤日志只有一行Container killed by YARN for exceeding memory limits。明明executor-memory配的不高怎么還被殺。原因Spark申請的內(nèi)存默認(rèn)只算JVM堆內(nèi)內(nèi)存但實(shí)際運(yùn)行時(shí)還有堆外內(nèi)存、線程棧、網(wǎng)絡(luò)緩沖、Python進(jìn)程如果用PySpark占用的內(nèi)存。YARN限制的是整個(gè)容器進(jìn)程的物理內(nèi)存上限。申請4g的時(shí)候?qū)嶋H使用可能已經(jīng)超過5g超過容器上限直接被kill。解決申請內(nèi)存時(shí)預(yù)留20%-30%的buffer給堆外和Python進(jìn)程比如需要4g的堆內(nèi)就配spark.executor.memory4g的同時(shí)配spark.executor.memoryOverhead2g。YARN側(cè)還要開啟內(nèi)存檢測的寬松模式設(shè)置yarn.nodemanager.vmem-check-enabledfalse只檢查物理內(nèi)存不查虛擬內(nèi)存。這套配置在很多博客里都語焉不詳屬于那種你以為配好了實(shí)際上沒配的玄學(xué)參數(shù)。6. 拿到源代碼和文檔后怎么用先跑通最小閉環(huán)再改出你自己的風(fēng)控系統(tǒng)拿到這套基于Hadoop、Spark的信貸風(fēng)控系統(tǒng)源代碼我建議你按三條線往下推不要上來就翻模型代碼。第一條線是跑通數(shù)據(jù)鏈路——把生產(chǎn)環(huán)境的數(shù)據(jù)源換成你自己的樣本數(shù)據(jù)哪怕是模擬的100萬條先跟著文檔把ODS到DWD的清洗任務(wù)跑完確認(rèn)HDFS上能看到正確的分區(qū)數(shù)據(jù)。第二條線是跑通Spark作業(yè)——把特征寬表的生成腳本執(zhí)行一遍看輸出和文檔里截圖的數(shù)量級(jí)是否對得上這一步最好在偽分布式或單機(jī)測試集群上做。第三條線才是模型——用訓(xùn)練腳本跑一遍邏輯回歸打開生成的模型報(bào)告確認(rèn)覆蓋率、區(qū)分度指標(biāo)在合理范圍。我最常踩的坑是把源碼里寫死的HDFS路徑直接拿來用。文檔里可能是/data/raw/credit_apply你的集群目錄結(jié)構(gòu)不一定一樣而且建表的LOCATION權(quán)限、Hive的warehouse路徑、Spark的checkpoint目錄每一處都要按實(shí)際環(huán)境改一遍。改完之后用一個(gè)小技巧驗(yàn)證完整性跑一次數(shù)據(jù)抽樣統(tǒng)計(jì)對比源文件的行數(shù)、字段數(shù)、空值率全部對上再繼續(xù)下一步。至少先斬釘截鐵跑通這個(gè)最小閉環(huán)你一晚上就能把整個(gè)系統(tǒng)的骨架摸清楚剩下的就是把規(guī)則閾值、模型參數(shù)按你的業(yè)務(wù)數(shù)據(jù)重新調(diào)一輪。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色狠狠色综合久久久绯色AⅤ影视 大香蕉五月天婷婷丁香91 | 爱射综合| 小视频一区| AV中文字幕夜夜操b天天摸bb | 天天色粽合合合合合合合| 91视屏在线观看com.wwwvv| 九九精品9| www狠狠| 狠狠色丁香综合| 五月丁香日逼| 精品亚洲国产成AV人片传媒| 人妻久热| 99热官网| 国熟女视频| 久久亚洲天堂| 久草婷| 天天做夜夜爽| 五月丁香久| 2020久久婷婷五月| 色五月婷婷五月丁香五月激情五月视频| 天天影视色综合网| 激情网站综合五月天| 免费AV在线| 狠狠色综合五月人人| 九色无码| 色色色色av色色色色| 天天做天天视天天谢| 日韩啪图| 日韩欧美婷婷丁| 婷婷五月影院| 99色热| 婷婷 丁香 精品| 99色热视频| 综合激情四射一theav| 天天爽天天| WWW.婷婷五月天.COM| 99综合| 亚洲中文乱字字幕在线永久| 欧美性色五月天| 这里只有精彩视频| 国产成人+综合亚洲+天堂| 天天草天天摸| 午夜五月天| 色六月丁香婷婷狠狠干| 蜘蛛女免费观看完整版高清电影| 久久亚洲婷婷综合色五月| 精品人妻在线| 久久永久视频| www.yw尤物| 婷婷五月色综合| 六月婷婷AV| 黄网在线免费观| 大香蕉手机视频| 97资源欧美日韩大香蕉超碰一区| 婷婷月综合| 俺也去综合| 色色色综合视频| 五月久久婷婷丁香| caop在线视频| 久久99热这里只有精品首| 91精品久久久久久久久久久久| 色原狠狠综合| 九九九九综合| 99激情网| 婷婷丁香视频| 国产在这里只有精品| 丁香婷婷在线| 五月天激情综合| 26uuu丁香婷婷五月| 日本WWW九九九| 99热精品中文字幕| 婷婷六月综合激情| 99精品免费视频| 九九久热| 午夜免费试看| 人妻丰满精品一区二区A片| 天天爽天天干| 97亚洲精品| 国精产品一区一区三区免费视频| 91女人18毛片水多国产| 日本久久性| 色婷成人狠干| seav天堂| h在线看免费版在线看| 色播丁香| 狠狠色丁香乆乆| 激情五月天.色网| 9 9 9色色| 996黄色片| 久久婷婷五月综合色天| 99热丁香五月| 亚洲日韩人妻操逼| 亚洲激情97五月天| 97婷婷狠狠| 激情丁香六月| 丁香五月天激情综合| 五月开心播播网| 丝雨一区二区| 久久久18| 亚洲激情精品| 小视频久久久aaa| 九九人人操| 91丁香色| 六月丁香啪啪| 激情婷婷丁香色五月| 五月婷婷综合久久| 人妻22p| 亚州操人在线视频| 99九九这里有免费视频| 97在线碰| 午夜做爱影院| 色婷婷综合网| 91色吧网| 91精品国产综合久久密臀 | 九九色情网五月天| 婷丁五月| 一起草无码| 啪啪啪大香蕉| 色五月五月婷婷| 色五月丁香一区在线| 美国色五月天婷婷资源站| 丁香激情四射| 丁香婷婷久久综合在线| 激情综合网激情五月网| 色久天| 丁香五月五月婷婷欧美大香蕉| 色色综合院| 99视频自拍| 天天爽综合网| 婷婷五月天色色| 666555。COm毛片| 精品网站:999WWW| 色综合xx| 九九Av| 97日在线视频| 五月婷婷天| 天天干天天干天天操| 欧美一级a | 色婷婷五月天| 激情丁香五月| 六月婷婷国产| 99精品久久| 婷婷丁香视频| 亚洲成人五月| 97婷婷久久丁香| 久久五月天精品视频| 激情综合网五月婷婷| 婷婷五月在线视频| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 伊人久久99| 天天狠狠干| www.91久久| WWW,五月| 激情久久肏屄视频| 91干在线| 五月色色网| 天堂网操| WWW.婷婷| 成片免费观看大全| 久久怕怕视频| 9 1大香蕉| 激情五月婷婷在线区| 久99| 色色五月婷婷| www.婷婷.com| 婷婷五月天AV网| 色婷婷亚洲| 天天综合网~91| 91婷婷五月天综合视频| 人妻体体内射精一区二区 | 五月婷婷婷自由综合| 五月天六月色| 永久99免费视频网站| 99热这里只有精品66| 激情综合色| 97成人丁香婷婷| 97久久人人操| 五月天婷婷激情网| 大香蕉人妻| 成人电影AV在线观看| 裸体美女丁香五月天。| 热久久色| 综合啪啪| 99热久只有| 五月天激情图片| 超碰成人在线观看| www色色色com| 99久久99热这里只有精品| 六月丁香五月婷婷| 天天综合网亚洲综合网| 婷婷综合日本| 五月天激情图片| 99在线视频免费| 无码区婷婷五月花开| 婷婷五月天淫荡| 99热综合在线观看| 久久女人九九| 五月天久久久| 婷婷五月天激情综合| 国产肥白大熟妇BBBB视频| 在线五月色播| 九97免费视频| 久久婷婷五月丁香网| 丁香 久久| 噜噜噜狠狠色综| 五月丁香综合在线| 欧美搡BBBBB摔BBBBB| 天色综合网站| 日本97久久久精品| 天天日天天色| 欧美日韩AAA| 最近中文字幕2019视频1| 99热这里有精品24| 五月丁香婷婷成人版| 色欲天天综合| 亚洲性爱99在线| www九月婷婷| 伊人久久婷| 国产成人+综合亚洲+天堂| 婷婷狠狠操| 亚洲激情电影五月天色婷婷丁香一起草| 国产FREESEXVIDEOS性中国| 五月天激情国产综合AV| 久9免费视频| 九九色色| 综合五月丁香六月婷婷| 伦99热| 天天日色情| 国产色色视频| 夜夜夜夜操| 久久婷婷五月天丁香| 天天干天天操天天拍| 影音先锋一区二区三区| 九月丁香八月婷婷加勒比| 婷婷伊人网| 激情五月丁香五月| 久久婷婷五月综合色和| 99久久99九九99九九九| 这里只有精品无码| 99re26视频| 五月婷婷激情日本| 大香蕉综合| 五月天天爱| 久久婷婷综| 99久久国产宗和精品1上映| 丁香五月在线| 99re这里只有精品首页| 色综合色色| 亚洲无码猫咪| 熟妇人妻中文字幕无码老熟妇| 丁香五月成人婷婷| 99精品爱| 综合在线网| 久久天堂婷婷五月| 超碰成人黄色网| www.夜夜操| 一个色的综合| 操人无码| 色婷婷久久天天性爱| 91se视频| 成年人丁香五月| 五月婷久久在线| 天天玩夜夜操天天爽| 丁香五月停停av| 五月天婷婷色色| 婷婷五月天成人| 99热日本| 久婷婷久草| 97资源欧美日韩大香蕉超碰一区| 国产av天堂| 超碰色综合| 日日夜夜狠狠干| 三区激情四射av| 91操网| 青青日韩| 毛v一区二区视频| 狠狠精品干练久久久无码中文字幕 | CHINESE熟女老女人HD视频| 色五月综合在线| 婷婷五月丁香成人| 色色色色av777| 五月色婷婷综合色| 日日噜人人人做人| 久热9| 久久性刺激| 婷婷五月欧美| 国产黄色大片| 色婷婷成人做爰A片免费看网站| 日本三级韩三级99久久| 91精品久久久久久77777| www夜夜操| 五月天深爱激情网| 色狠狠色综合| www.深爱激情| 国产精品久久7777777精品无码| 天天激情视频| 婷婷六月激情丁香| 亚洲人妻一区二区| 天天做天天爱综合| 五月在线| 大香蕉婷婷五月| 激情 婷婷| 久久久久久人妻| 日婷婷久久开心| 99re这里只有精品视频了| 丁香婷婷久久老熟女综合网| 婷婷五月天激情影片| 五月婷婷黄色视频| 丁香五月激情啪啪| www.色9| 久久一热| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 欧美性生交XXXXX无码小说| 人人草人人舔| 91人人人人人| 国产人人操| 色婷婷色丁香色欲av| 91怕怕网| 久久九九@| 婷婷五月丁香综合| 26uuu淫色| 激情综合5月| 九九色逼| 开心五月色婷婷综合开心网| 激情综合一| 天天爽天天爽| 天天色粽合合合合合合合| 亚洲激情综合| 色九月综合网| 99热91| 天天日狠狠| 五月天开心色情网| 五月天色五月| 99这里只有精品| 欧美激情性做爰免费视频| 亚洲亚洲人成综合网络| 丁香六月激情毛片| 色婷婷黄色网络| 五月婷婷综合网在线播放| 亚洲性受XXXX五月丁香| 天天xxxxxx天天日| 五月婷婷影院| www免费在线视频| 五月婷免费视频| 九九99免费视频| AV天堂淫乩| 99色最新在线视频网站| 五月激情综合网| 综合视频久久| 国产AV一区二区三区日韩| 99久久天堂婷婷| 99欧州偷拍视频| 狠狠色官网| 五月丁六月香| 色激情综合| 免费视频无码| xx久久| 婷婷激情另类| 国产综合色婷婷精品久久| 操91| 琪琪色热色色| 久久这里只有国产视频| 日本99视频| 五月婷婷香蕉| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 久久99免费视屏| 色色操| 色综合综合色| 色噜噜婷婷| 99.N在线视频| 精品久久久久久久久久久久人妻| 婷婷五月天丁香| 欧美性猛交99久久久久99按摩| 九九色院| a久久免费视频| 欧美25p| 99热在线观看99| 日本本土色网第一区| 日逼免费视频| www.99色| 免费黄色AV| 涩五月丁香| 久婷五月| 99九九在线视频| 婷婷五月天日日日干干干| 色综合九九| 人操91在线| 婷婷六月爽| 中文资源在线a | 9+1视频网址| 亚洲人妻Av| 五月之婷婷| 日本本土色网第一区| 久久婷婷五月免费视频| 五月天婷婷婷| 丁香五月丐人妻| 99热碰碰热| 丁香九月综合在线| 久久久久er热| 丰滿爆乳一区二区三区| 手机看片日日做夜夜| 九九99在线免费在线观看视频| 免费AV在线网址| 婷婷五月久久| 东京热五月婷婷| 激情丁香久久| 丁香六月激情综合| 99riAv1国产在线观看| 五月婷在线播放| 亚洲成av人影院| www.五月婷婷久久.com| 久婷久婷| 婷婷射图| 综合五月婷婷| 丁香五月婷婷深五月| 激情综合色婷婷啪啪六月天| 狠狠久久婷婷| 99网99热| 婷婷五月激情的图片| 五月天婷婷基地| 日韩av在线播放综合网| 欧美成人网99网| 91无码一起草| 丁香五月婷婷六月| 一起肏在线视频| 亚洲狠狠干| 99色爱| 天插天啪天啪天啪| 国产精女同一区二区三区久| 久久婷婷五月综合啪| 日韩在线看AV| 国产26uuu| WWW·色色色·COM| 日本一道久久| 狠狠 婷婷| 激情婷婷丁香| 欧美性色五月天| 大香蕉视频99| 97碰碰在线观看视频| 91porn一起草| 激情五月丁香五月| 婷婷五月天.com| 99爱在线视频| www.日日夜夜| 在线伦子99热| 思思热精品在线| 亚洲婷婷五月天综合| 噼里啪啦在线观看免费完整版视频 | 日本一级一级一级一级| 97精品人人A片免费看| 精品怡红九九九| 狠狠 久久| 99热在线观看免费精品| 婷婷丁香六月| 九九9久九9国产视频| 丁香婷婷久久老熟女综合网| 婷婷六月综合基地| 亚洲va综合va国产va中文| 热99视频| 五月天停停日日| www超碰| 欧美婷婷五月无砖| 日本在线wwww| 99亚洲视频| 欧美日本国产欧美日本韩国99 | 97sese婷婷| 亚洲AV人人操| 99er在线观看| 婷婷九月亚洲| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 天天做天天要天天爱| 国产精产国品一二三在观看| 五月婷婷丁香五月天| 综合玖玖性爱免费视频| 色婷婷yy久| 丁香婷婷色情| 成人网站免费sxj| 婷婷五月激情五月丁香五月| www.久久综合| 色婷婷色情| 狠狠干综合网| 中国女人做爰A片| 26uuu精品一区二区| 亚洲无码成人网| 亚州第一黄网| 91性高潮久久久久久久久| 色婷婷五月天在线| 激情婷婷| 成人一区在线观看| 丰满老熟妇BBBBB搡BBB| 性欧美日本| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 性天天中文网| 久婷婷五月丁香在线观看| 热99热久| 婷婷五月花| 五月激情久久综合网| 亚洲性受XXXX五月丁香| 无码橾| 色综合色| 五月天综合久久| 美女妹子后射视频网站在线观看| 这里只有精品视频国产| 国产婷婷五月天| 69热91天堂| 99精品久久久久久久婷婷| www.狠狠| 亚洲综合成人网| 九九久热| 久色五月婷婷综合| 六月婷婷深深爱| 99九九热播在线免费视频| 色区久久| 热99在线| 久久久久网站| 99亚洲精品视频| 五月丁香天堂网婷婷| 中美日韩成人在线| 婷婷99狠狠躁天天躁中文| 99视频| www.激情| 激情四射五月天| 五月天色区| 色五月婷婷天天操夜夜操| 欧美啪啪9| 综合久久十| 怎么样可以看免费的一级av| 国产人妻777人伦精品HD| 五月丁香啪啪网| 九九视屏| 99只有这里有精品在线视频| 欧美日韩一区二区三区四区| www.夜夜.com| 九九久久五月天综合伊人| 综合色吧| 五月天天综合| 91九色小视频| 久久九九中文字幕| 一级二级色大片| 五月天婷婷激情六月久久| 国产黄大片在线观看画质优化| 色狠狠综合| 色色射| 丁香五月首页| 91操碰| 婷婷综合五月| 91超级碰| 麻豆WWWCOM内射软件| 图片区 小说区 区 亚洲五月| 99热只有| 欧美内射AAAAAAXXXXX| 狠狠综合网| 婷婷精品| 婷婷97狠狠成人网站| 91蜜桃婷婷狠狠久久综合9色| 久久久久久久97| 在线观看的av| 婷婷综合五月| 粉嫩AV久久一区二区三区| 色色色五月婷婷| 99精品久久| 婷婷丁香人妻天天爽| 五月色婷婷综合| www.色婷婷| 香蕉AV福利精品导航| 国产精品扒开腿做爽爽爽A片唱戏| 久久久精品人妻| 9色在线| 成人短视频在线观看| 亚洲久热| 九九色婷婷Av| 婷婷激情人妻| 伊人大香五月天| 天天综合天天玩夜夜玩天天玩夜夜玩 | 色五月综合激情网| 人人97操| 中文无码婷婷| 丁香婷婷六月天| 99热这里只有精品最新网址| 久久综合影院 | 夜色爱爱亚洲| 99爱爱| 亚洲色婷婷99一9|| 第四色首页| 丁香五月综合激情性爱| 五月色影院| 亚洲乱码日产精品BD| αv中文字幕在线观| 日韩成人影片网站| 99riAv1国产在线观看| 日本高清久久| 麻豆五月丁香婷婷| 久久久WWW| 亚洲色色色| 天堂va久久久噜噜噜久久Va| 色五月中文字幕| 婷婷五月深情丁香深爱日韩| 亚洲激情97五月天| 99久久婷婷| er99免费视频在线| 五月丁香啪啪伦理电影| 五月综合激情| 日韩av手机在线观看| 激情五月天福利| 亚洲久热| 色吧五月婷婷| 亚洲色综合| 91色欲综合| 99热这里在线精品| 日本婷婷色日| 丁香六月综合激情| 丁香五月婷婷激情中文| 婷婷久久婷婷色五月| 五月亚洲| 农村熟妇高潮精品A片| 江苏少妇性BBB搡BBB爽爽爽| 99热综合网| 五月四色婷婷| 99热精品在这里| www.婷婷五月天,com| 影音先锋色色色资源色资源色| jiqingliuyuetian| 天天爱天天操| 秋霞A V毛片| 五月婷婷福利| 天天操夜夜操| 久久码久久无清| 激情五月六月婷婷综合啪啪| 精品久久99码| 婷婷五月丁香激情图片 | 任你艹| 青青草五月天| 北条麻妃伊人 | www.99热这里精品| 激情性爱五月天网页| 成人在线综合| 久久美女五月天| 人妻少妇色综合| 人人97碰| 97碰人人操| 思思热99er| 婷婷色无码| 亚洲色综合| 超碰在线播放免费观看| 久久精品亚洲热| 欧美成人精品A片免费一区99| 强奸幻女毛片| 日日爽天天| 成人做爰高潮A片免费视频| 97香蕉碰碰人妻国产欧美| 看片视频在线免费日产在线看| 综合久久五| 熟女五月天久久综合| 色99视频| 丁香六月婷婷综合色| 丁香婷婷基地| 久婷视频| 五月婷精品| 婷婷五月天97干| 狠狠色狠狠鲁| 日本欧美成人片AAAA| 情欲综合网| 欧美在线| 午夜爱爱爱成人| 婷婷97狠狠成人网站| 男人天堂伊人五月丁香| 婷婷五月激情小说| 99免费成人网| 丁香六月综合激情| 99er国产| 内射人妻视频国内| 久久这里只有精品无码| 大香蕉 婷婷| 激情都市五月天| 色综合综合综合| 日日操,天天操| 婷婷六月丁香五月图区| 欧美激情综合色综合| 国产成人精品一区二区三区视频 | 久久久99免费视频| 婷婷五月丁香久久| 欧美日韩成人在线网| 日韩欧美成人片| 久色大| 久9久9久9久9久9久9| www.91久久| 国产精品色婷婷99久久精品| 亚洲色图五月丁香| AV中文在线| 思思热在线视频精品| 九九久久精品| 成人午夜视频精品一区| AⅤ色区| 久久久.www| 激情五月婷婷五月丁香五月开心五月| 色九月欧美| 亚洲操操| 五月婷婷网久久| 操操操97| 婷婷五月天视频| 夜夜 操无码| 激情综合无码| 很很操很很操| 91婷婷视频| 午夜婷婷五月天| 亚洲AV第二区国产精品| 99热97| 天天色五月| jiujiuxiangjiaowang| 五月婷婷激情久久| 超碰人人操在线| 九九成人视频| 激情五月天小说| 日本色婷婷| www五月| 日韩精品二三区| 九九re精品视频在线观看| 综合激情婷婷| 五月天狠狠网| 99爱视频精品在线观看| 激情婷婷激情在线不卡| 日日操天天操| 天天做天天双| 99视频日韩| www久久艹| 亚洲天堂亚洲色色色| 丁香婷婷成年| 九九久久五月天| 欧美婷婷五月激情| 丁香五月开心亚洲| 97高清国语自产拍| 色五月五月婷婷| 玖玖爱资源站| 丁香五月丁香伊人| 大操人妻| 色色五月天婷婷| 中文字幕乱轮| 婷婷在线观看五月天在线视频| 色五月噜噜| 亚洲色视频| 色婷婷丁香五月天在线视频| 婷婷网影院| 亚州在线中文字幕| 99操逼| 国产精品国产VA片国产| 国产操碰| 182tv992tv人之初午夜免费观看| 久久久婷婷婷| 五月丁香影视| 五月亭亭六月激情| www激情| yiqicaoav| 少妇2做爰HD韩国电影| 中文字幕人妻在线| 五月婷婷色吧!| 9.1综合网| 婷婷香蕉视频| 九九九九精品精| WWW.婷婷| 五月丁香六月激情欧美综合| 综合色天天| 久操热| 五月婷激情影院| 丁香五月瑟瑟| 9热网站| 激情六月婷婷| 五月婷婷偷拍| 中文av网站| 丁香美女主播视频在线观看| 亚洲五月天伊人| 天天久久人人| 九九九精品视频免费观看| 五月日韩中文字幕| 激情四射亚洲| 99热精品在线| 91九色中文字幕女在线观看| 五月丁香六月婷婷操操操| 26UUU精品一区二区Com| 人妻人人操| 啪啪综合| 99玖玖免费视频| 91疯狂操操操操| 午夜不卡久久精品无码免费| 天天干天天爽| 丁香六月五月天| 五月婷婷久久综合| 久久伊人婷婷| 国产精品久久..4399| 91无码高清| 婷婷八月丁香激情综合| 激情深爱五月天| 丁香婷婷社区| 另类 在线| 97热在线精品| 欧美婷婷日本| 精品久久这里热66| 色婷婷色99国产综合精品| 人人草开心五月天| 六月五月婷婷| 婷婷五月天黄色小说| 涩涩涩.com| 天天操夜夜橾| 激情婷婷六月天| 天天爱天天狠天天透| 亚洲操操操| 六月婷婷开心| 亚洲婷婷基地| 超碰在线人人| 天天色视频| 99综合网| 老师高潮流白浆喷水的A片| 九九九九热99超碰| 丁香97综合| 婷婷色五月开心五月| 久久久精品免费啪啪国| AV大片在线观看| 免费人人操| 亚洲综合五月天婷婷丁香| 色狠狠色综合久久久绯色AⅤ影视| 五月丁香精品| 亚洲五月婷婷| 99视频精品视频| 婷婷婷色五月| 日韩操逼小电影| 五月天精品| 草一草avb| 色五月婷婷五月天| 99视频| 婷婷大香焦| 色护士综合| 99热1| 欧美日韩91| 99日本黄站| 99在线观看免费精品视频| 亚洲激情丁香五月基地| 亚洲综合网激情小说| 快色t v在线入口| 九九热在线视频| 色欲婷婷五月天丁香| 日本在线视频播放91| 久久免费9| 色色色色色色色色综合网| 啪啪东京热| 欧美操我| 六月婷婷七月丁香| 五月网激情| 九九日本视频| 涩婷婷五月天| 九九视频这里只有精品| 久久六月天| 黄色网址五月婷婷| 色色色地址| 亚洲丁香五月深爱五月| 五月 婷婷 成人| 97久久精品| 色丁香五月婷婷| 99久久99久久综合| 婷婷.com| 色综合色五月| 色狠狠色噜噜噜a天堂一区| 亚亚州久久高潮| 欧美激情综合色综合色| 九九热婷婷| 极品人妻VIDEOSSS人妻| 色色五月婷婷久久| 亚州日本欧州韩美高青高潮一| 天天干天天操天天拍| www夜夜| 五他月天啪啪啪| 五月婷婷丁香成人网| 五月天色丁香| 免费视频WWW在线观看网站| 国产九月婷婷| 五月天色婷好好| 久久99这里只有精品视频 | 青青草原精品久久| 婷婷五月天色色| 中文超碰视在线| 综合激情伊人影视在线| 99色网站| 久久综合五月天激情小说网站| 8区视频在线| 狠狠干2007| 婷婷五月激情图片| 五月 婷 久| 色婷婷最爱五月| 欧美色色色色色| 秋霞av不能| 婷婷五月天亚洲天堂| 精品人人操| 超热久碰.com| 激情五月丁香色婷婷| 婷婷91| 影音先锋天天日| 天天爽,天天操。| 婷婷色在线| 色约约视频一区二区三区四区五区| 天天五月香欧美| 久久婷婷啪啪视频| 色婷婷五月丁香色| 五月天成人伊人| 99久久这里只有精品| 久99久精品视频| 天天日天天爽夜夜爽| 狠狠丁香| 玖玖五月| 99精品综合| 九九爱激情| 午夜性爱影视一区77| 亚洲操人| 99久久精品国产色欲| 26uuu欧美日本| 激情五月天天| 婷婷综合网伊人| 第九色区av天堂| 色五月成人| 色婷天天| 六月丁香中文字幕| 亚洲最大视频| 亚洲天堂有码| 97色色色色色色色色色色色色色| 最近中文字幕大全免费版在线 | 99久久综合精品五月天| 丁香六月激情综合| 99综合视频一体| 久久XX| 99精品网址| 五月天激情小说欧美激情| 人操91在线| 丁香五月激情在线| 超碰在线看| 97亚洲色 torrent magnet| 色五月综合网| 久久久思思热| 天天干狠狠| 女人露出p毛视频www网站| 婷婷五月天久久| 五月情丁香色| 国产精品扒开腿做爽爽爽A片唱戏| 99视频色在线观看| 日本色道视频网站| 色久影院| 久久99精品九九久久久婷婷| 国产成人av在线播放| 五月丁香婷婷在线| 五月天激情啪啪| 99ri在线| 五月天狠狠网站| 八戒青柠影视剧在线观看| 丁香婷婷六月天| AV色色天堂中文| 99热6色| 久久精品夜色噜噜亚洲a∨| 五月天婷婷免费| 久操婷婷| 亚洲妇女熟BBW| 婷婷爱五月天人人爱| 丁香五月婷婷www..com| 99热在这里只有精品| 成人视频在线免费播放| 婷婷中文在线| 婷婷丁香五月天欧美| 亚洲V国产V欧美V久久久久久| 五月丁香狠狠| 婷婷丁香社区| 丁香五月伊人| 亚洲五月天综合| 婷婷五月天丁香久久| 色九九九九| 天天搡日日搡aaaaⅩ| 色色五月天激情| 亚洲综合狠狠艹| 黄色五月婷| 97色婷婷| 亚洲狠狠婷婷综合久久久| 九九视频在线观看视频在线播放69| 日熟女| 精品九九在线观看| 久久99国产综合精品免费| 伊人AV五月婷| 超碰99热| 婷婷丁香无码专区| 国产在这里只有精品| 91九色精品女同系列| 熟妇内谢69XXXXXA片| 天天做天天爱天天爽综合网| www.五月婷婷.com| 人妻丰满精品一区二区A片| 婷婷五月中文在线视频| 伊人久久艹| 色五月色综合| 伊人久久婷婷| 天天爽夜夜爽天天爽夜夜爽| 成人在线不卡| www.99色在线| 成人婷婷| 婷婷五月六月丁香综合| 91九色视频| 26uuu成人网| 五月丁香色| 婷婷久久亚洲| 色色精品色| 五月婷婷丁香综合,亚洲天堂| 91操人视频| 色色色色网色色网色色| 7月婷婷六月丁香| 9色免费网| 亚洲综合五月天| 精品人妻久久久久| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 9精品在线| 色五月婷激情| 久久亚洲网| 9999三级片| tingtingzonghewang| 色婷婷丁香综合中文字幕| 99riAV成人在线视频| 狠狠干夜夜干| 五月天婷婷在线播放免费| 亚洲激情亚洲激情| 97人妻碰碰碰久久| 五月天丁香婷婷网| 另类图片色五月| 小视频久久久aaa| 婷婷丁香成人在线视频| 婷婷九月激情| 免费成片在线观看| 综合av在线| 99免费在线视频| 99热免费精品| 成人免费va| 六月婷婷色宗合| 色五月婷婷激情综合网| 婷婷五月激情欧美| 91天堂网综合| 91/九色黑人| 久久一级AV| 色综合色| 久久99热这里只有精品| www.婷婷,com| 天干夜夜操| 99re这里只有精品首页| 婷婷五月 丁香六月| 色色婷婷丁香| 五月丁香成人| 五月婷婷七月丁香| 五月黄色婷婷| 丁香五月婷婷av影院| 九九在线精品| 99re这里| 五月久久婷婷| 久久人人九| 天天日天天色| 婷婷五月天在线观看第二页| 五月婷婷无码专区| 日日干日日s| 亚洲色9| 激情综合啪啪啪| 久久曰曰| 九九色婷婷| 99精品久久久| 久久看婷婷| 人人操人人干AV| 亚洲AV无码影院| 超热久碰.com| 日韩精品电影| 九热视频精品| 欧美精品A片一区在线观看| 欧美在线视频9| 色婷婷文字幕| 在线中文亚洲| 97操碰碰无码视频| 丁香婷婷五月激情| 99综合在线| 九九色精品| 色婷婷网| 婷婷色网| 五月激情丁香久久综合网| 99热久只有精品首页| 天天日日人| 婷婷 激情 五月| 六月丁香五月激情亚洲AV| 九九激情网| 婷婷五月天Av| 婷婷六月色丁香视频在线观看| 色天天久婷婷| 色婷婷丁香AV综合| 亚洲激情色色| 六月 丁香 视频| 另类小说色婷婷| 91色噜噜狠狠狠狠色综合| 97碰超级人人看| 91一起操| 依人大香蕉| 狠狠久久婷五月综合色| 亚洲天堂AV综合网| 激情五月天色婷婷综合| 丁香花五月天激情| 伊人五月天综合网| 97色五月天| 久久思思热视频| 色欲午夜无码久久久久久张津瑜 | 亭亭五月丁香综合欧美| 狠狠做六月爱婷婷综合aⅴ| 久久婷婷六月综合资源| 蜜臀嫩草| 夜夜夜夜夜骑撸| 丁香五月婷婷啪| 超碰色碰碰| 婷婷丁香在线| 久久免费高| 91无码高清| 欧美成人无码一区二区三区| 色婷婷五月天不卡| 日本久热| 97精品人人A片免费看| 99视频在线看| 久热久色| 久久久久人妻精选| 成人看片网站| 亚洲天堂AV综合网| 亚洲综合99| 色色色色色色97| 97人人操人人爽| 99精品综合| 国产9色在线/日韩| 丁香六月亚洲综合| 综合久久99| 伊人成综合五月婷婷| 婷婷五月天色色| 久久人妻伦理| 九月婷婷| 色婷婷AⅤ| 色999五月色| 五月丁香免费视频| 久久日婷婷| 九九国产视频| 久色婷婷200| 国产精品99久久久久久久女警| 色色九区| 只有久久精品免费| 五月婷婷综合激情| 日韩AV中文字幕在线| 狠狠大香婷婷爱| 伊人五月综合网| 色啦啦视频| 色婷婷综合久久久久| 99成人免费热视频| 天堂成人A片永久免费网站| 9l视频自拍9l九色9l成人| 天天做天天爱天天爽在| 久艹大香蕉| www.com在线操视频免费观看| 六月婷婷视频| 亚洲综合视频网| 一区无码| 玖玖九九99| 五月激情影院| 色九九九九| 婷婷五月色網站| 国产人妻777人伦精品HD| 91婷婷| 婷婷五月天久久| 北条麻妃伊人 | 99久久婷婷精品视频| 任你艹| 玖玖在线| 停停综合色色| 五月综合色播播丁香婷婷| 色五月综合网| 國語久久婷| 久久色9| 人人操91色| 先锋男人99资源| 婷婷在线精品| 婷婷99狠狠躁天天躁| 色噜噜狠狠色综合成人99| 日本nghangse中文字幕| 思思热在线视频99| 精品一二三区久久AAA片| 婷婷激情九月| 97在线刺激| 日本99在线视频| 久久婷婷人人| 激情婷婷22月间| 色色COm| 欧美久久久中文字幕| 国产成人va在线| 五月天婷婷综合| 天天综合久久| www.99色| 久久在这里有精品| 这里只有九九精品| 色色色色色色网站| 成功精品影院| 激情小说五月天社区丁香| 亚洲在线操| 超碰资源在线| www激情婷婷com| 日韩少妇内射免费播放| 99久99热| 色婷婷久久综合| 色色狼人综合| 九九自拍网| 9 99免费视频| 色色无码| 六月激情婷婷综合| av性爱在线| 久久精品国产AV一区二区三区 | 日日日日做夜夜夜夜无码| 色综合婷婷| 五月婷人妻| 五月天婷婷偷拍| 五月激情偷拍| 婷婷国产五月天17c| 久久久久久人妻| 色欲九区| 丁香五月偷拍| 六月婷婷无码| 91打屁股免费看| ss视频xx91| 亚洲综合成人网站| 亚洲丁香婷婷丁香五月天激情| 色欲影香| 丁香婷婷深情五月亚洲| 色婷婷六月激情| 亚洲精品又粗又大又爽A片 | 丁香五月中文字幕久色| 人妻中文av| 啪啪综合| 99久久亚洲精品视频| 一本大道嫩草AV无码专区| 日日肏夜夜干| 天天干天天操天天射| 久久久久思思热| www.五月天婷婷| 欧美色频| 日日夜夜小色哥| 婷婷五月色图| 五月婷综合| 丁香六月毛片| 色九九丁香九月色九九色| 超碰在线观看99| 亚洲艹网| 久热re视频在线观看网站| 久99久99精品免| 色欲婷婷夜夜| 久久九九免费视频| 国产热精品| 五月五月婷婷| 成片免费观看视频大全| 战争与艾拉电影免费观看| 六月婷在线| 五月天婷婷久久| 最新精品视频99| 欧美久久久久久久久中文字幕| 熟女网站久久| 热的国产,热的综合,热的有码| 日韩AV在线免费| 五月婷婷丁香在线| 战争与艾拉电影免费观看| 久久加勒比| 精品亚洲国产成AV人片传媒| 99这里只有精品视频| 天天插综合在线| 日本色超碰|