欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

SparkSQL缺失值處理實(shí)戰(zhàn):從類型識別到策略選型與避坑指南

SparkSQL缺失值處理實(shí)戰(zhàn):從類型識別到策略選型與避坑指南 1. 數(shù)據(jù)清洗里最不起眼卻最要命的一環(huán)做數(shù)據(jù)開發(fā)的人都有一個共識真正花時間的地方從來不是寫業(yè)務(wù)邏輯而是把原始數(shù)據(jù)收拾干凈。尤其是當(dāng)上游數(shù)據(jù)來自多個業(yè)務(wù)系統(tǒng)、日志埋點(diǎn)、第三方接口的時候缺失值幾乎無處不在。你寫一個聚合統(tǒng)計(jì)結(jié)果發(fā)現(xiàn)某個關(guān)鍵字段有30%是null算出來的均值直接偏了你做一個用戶畫像結(jié)果發(fā)現(xiàn)年齡字段一半是空的分群邏輯直接失效。SparkSQL作為分布式計(jì)算框架里最常用的數(shù)據(jù)處理工具之一它自帶的缺失值處理能力其實(shí)比很多人想象的要豐富。但問題在于大部分教程只告訴你dropna和fillna兩個方法實(shí)際工作中遇到的場景遠(yuǎn)比這復(fù)雜——什么時候該刪、什么時候該填、填什么值、怎么填才不破壞數(shù)據(jù)分布這些決策背后都需要有明確的判斷依據(jù)。這篇內(nèi)容面向的是已經(jīng)用過SparkSQL做基本ETL、但對缺失值處理還停留在“調(diào)個API”階段的開發(fā)者。我會從缺失值的類型識別開始講到不同處理策略的選型邏輯再到SparkSQL中具體函數(shù)的實(shí)操細(xì)節(jié)最后分享幾個我在實(shí)際項(xiàng)目中踩過的坑和總結(jié)出來的經(jīng)驗(yàn)。整篇內(nèi)容基于Scala和PySpark雙語言示例你可以直接對照自己的環(huán)境復(fù)現(xiàn)。2. 先搞清楚缺失值到底是什么類型2.1 缺失值的三種面孔null、NaN和空字符串很多人一上來就開始寫fillna但根本沒搞清楚自己數(shù)據(jù)里的“缺失”到底長什么樣。在SparkSQL里缺失值至少有三種不同的表現(xiàn)形式處理方式完全不同。第一種是null這是SparkSQL中最標(biāo)準(zhǔn)的缺失值表示。當(dāng)DataFrame的某一行某個字段沒有值時默認(rèn)就是null。null在SparkSQL中有特殊的語義——任何與null的運(yùn)算結(jié)果都是null包括null null返回的也是null而不是true。這一點(diǎn)和很多傳統(tǒng)數(shù)據(jù)庫的行為一致但在做條件判斷時特別容易踩坑。第二種是NaNNot a Number這通常出現(xiàn)在浮點(diǎn)數(shù)類型的列中。比如你從CSV讀取數(shù)據(jù)時某個數(shù)值列有一個空單元格Spark可能會把它解析為NaN而不是null。NaN和null的區(qū)別在于NaN是一個合法的Double類型值它參與運(yùn)算時不會像null那樣“傳染”但會導(dǎo)致結(jié)果變成NaN。比如1.0 NaN NaN而1.0 null null。第三種是空字符串這在使用concat、split等字符串函數(shù)時特別常見??兆址赟parkSQL中不是null null返回false。很多從Hive表或者JSON日志里讀出來的數(shù)據(jù)缺失值是以空字符串的形式存在的。// Scala示例識別不同類型的缺失值 val df spark.read.option(header, true).csv(path/to/data) // 統(tǒng)計(jì)null值 df.filter(col(age).isNull).count() // 統(tǒng)計(jì)NaN值 df.filter(col(salary).isNaN).count() // 統(tǒng)計(jì)空字符串 df.filter(col(name) ).count()# PySpark示例識別不同類型的缺失值 from pyspark.sql.functions import col, isnan, when, count df spark.read.option(header, true).csv(path/to/data) # 一次性統(tǒng)計(jì)所有列的缺失情況 df.select([ count(when(col(c).isNull() | isnan(c) | (col(c) ), c)).alias(c) for c in df.columns ]).show()注意isNaN只能用于數(shù)值類型的列對字符串列調(diào)用會報(bào)錯。在實(shí)際使用中建議先通過df.dtypes確認(rèn)列類型再決定用哪種檢測方式。2.2 為什么必須先做缺失值畫像我見過太多人直接上來就dropna()或者fillna(0)結(jié)果要么丟掉了大量有效數(shù)據(jù)要么引入了嚴(yán)重的偏差。正確的做法是先做一輪“缺失值畫像”搞清楚三件事第一每列的缺失比例是多少。如果某列缺失超過80%那這列本身可能就沒有保留價(jià)值直接drop掉整列比費(fèi)勁填補(bǔ)更合理。如果缺失在5%以下那刪除缺失行的影響很小可以放心drop。第二缺失是隨機(jī)的還是有規(guī)律的。如果缺失值集中在某個時間段、某個業(yè)務(wù)線、某個用戶群體那說明缺失本身攜帶了信息。比如一個訂單表的“優(yōu)惠券ID”字段大量缺失很可能是因?yàn)榇蟛糠钟唵伪緛砭蜎]用優(yōu)惠券這時候填一個“無優(yōu)惠券”的標(biāo)記值比填null更有業(yè)務(wù)含義。第三缺失值和其他列有沒有關(guān)聯(lián)。比如“收入”字段缺失的人可能“職業(yè)”字段也大量缺失這說明這些數(shù)據(jù)可能來自同一個不完整的采集渠道。這種關(guān)聯(lián)性分析可以幫助你判斷缺失機(jī)制從而選擇更合適的處理策略。# 缺失值畫像一次性輸出每列的缺失統(tǒng)計(jì) from pyspark.sql.functions import col, isnan, when, count, round total df.count() missing_stats df.select([ round(count(when(col(c).isNull() | isnan(c), c)) / total * 100, 2).alias(c _missing_pct) for c in df.columns ]) missing_stats.show()這個畫像做完之后你手里就有了一張“缺失地圖”接下來每一列該怎么處理心里就有數(shù)了。2.3 缺失機(jī)制的三種類型及其對處理策略的影響統(tǒng)計(jì)學(xué)上把缺失機(jī)制分為三類雖然聽起來偏學(xué)術(shù)但理解它們對實(shí)際決策非常有幫助。完全隨機(jī)缺失MCAR缺失與任何變量都無關(guān)純粹是隨機(jī)發(fā)生的。比如傳感器偶爾丟包導(dǎo)致的數(shù)據(jù)缺失。這種情況下刪除缺失行不會引入偏差直接drop是安全的。隨機(jī)缺失MAR缺失與其他可觀測變量有關(guān)但與缺失值本身無關(guān)。比如“收入”字段的缺失與“教育程度”有關(guān)高學(xué)歷的人更不愿意透露收入但給定教育程度后收入缺失是隨機(jī)的。這種情況下可以用其他列的信息來填補(bǔ)比如按教育程度分組后用組內(nèi)中位數(shù)填充。非隨機(jī)缺失MNAR缺失與缺失值本身有關(guān)。比如高收入人群更傾向于不填寫收入字段。這種情況下任何填補(bǔ)都會引入偏差最好的做法是保留一個“是否缺失”的標(biāo)記列讓模型自己去學(xué)習(xí)這個模式。在實(shí)際的SparkSQL數(shù)據(jù)處理中你不需要嚴(yán)格證明數(shù)據(jù)屬于哪種機(jī)制但需要有這個意識不是所有缺失值都應(yīng)該被填補(bǔ)也不是所有缺失行都應(yīng)該被刪除。3. SparkSQL缺失值處理的核心武器庫3.1 dropna和fillna的參數(shù)細(xì)節(jié)與常見誤用SparkSQL的DataFrameNaFunctions提供了兩個核心方法drop和fill在PySpark中對應(yīng)dropna和fillna。這兩個方法的參數(shù)設(shè)計(jì)其實(shí)很靈活但很多人只用了最基礎(chǔ)的用法。先看drop方法的完整簽名// Scala def drop(how: String, cols: Seq[String]): DataFrame def drop(minNonNulls: Int, cols: Seq[String]): DataFrame def drop(how: String): DataFrame def drop(minNonNulls: Int): DataFrame def drop(cols: Seq[String]): DataFrame def drop(): DataFrame# PySpark def dropna(self, howany, threshNone, subsetNone)這里有幾個關(guān)鍵參數(shù)需要說清楚how可選any或all。any表示只要有一列是null就刪除該行all表示所有指定列都是null才刪除。默認(rèn)是any。thresh指定一行中至少要有多少個非null值才保留。這個參數(shù)比how更靈活比如你有10列設(shè)置thresh8表示至少有8列有值才保留該行。subset指定只考慮哪些列的缺失情況其他列的null不影響刪除決策。# 示例只考慮關(guān)鍵列的缺失至少要有3個非空值才保留 df.dropna(thresh3, subset[name, age, city, salary, dept])再看fill方法# PySpark def fillna(self, value, subsetNone) # value可以是單個值、字典列名到填充值的映射// Scala def fill(value: String, cols: Seq[String]): DataFrame def fill(value: Double, cols: Seq[String]): DataFrame def fill(value: Long, cols: Seq[String]): DataFrame def fill(value: Boolean, cols: Seq[String]): DataFrame def fill(valueMap: Map[String, Any]): DataFrame這里有一個非常容易踩的坑fill方法只會填充與給定值類型匹配的列。比如你用fill(0)它只會填充數(shù)值類型的列字符串列中的null不會被填充。如果你用fill(unknown)它只會填充字符串列。這個行為在Scala API中尤其明顯因?yàn)镾cala是強(qiáng)類型的。// 這個fill(0)只會影響數(shù)值列字符串列的null不受影響 df.na.fill(0) // 如果要同時填充不同類型的列需要用Map df.na.fill(Map( age - 0, name - unknown, is_active - false ))提示在PySpark中fillna的行為略有不同——它會嘗試將填充值應(yīng)用到所有兼容類型的列。但為了精確控制建議始終使用字典形式指定每列的填充值。3.2 用select和when組合實(shí)現(xiàn)精細(xì)化填充fillna雖然方便但它的填充邏輯是“一刀切”的——要么填固定值要么按列填固定值。實(shí)際工作中我們經(jīng)常需要更精細(xì)的控制比如“按分組的中位數(shù)填充”“按時間序列的前值填充”“根據(jù)其他列的條件動態(tài)填充”。這些場景就需要用selectwhenotherwise的組合來實(shí)現(xiàn)from pyspark.sql.functions import col, when, median, last from pyspark.sql.window import Window # 場景1按部門分組用組內(nèi)中位數(shù)填充薪資缺失 window_dept Window.partitionBy(dept) median_salary median(salary).over(window_dept) df_filled df.select( name, dept, when(col(salary).isNull(), median_salary) .otherwise(col(salary)) .alias(salary) )// Scala版本 import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.functions._ val windowDept Window.partitionBy(dept) val medianSalary median(salary).over(windowDept) val dfFilled df.select( col(name), col(dept), when(col(salary).isNull, medianSalary) .otherwise(col(salary)) .alias(salary) )這種方式的優(yōu)勢在于填充邏輯完全由你控制可以引用其他列的值、可以調(diào)用聚合函數(shù)、可以使用窗口函數(shù)。缺點(diǎn)是代碼量比fillna大但對于生產(chǎn)環(huán)境的數(shù)據(jù)清洗任務(wù)來說這點(diǎn)代碼量換來的是可解釋性和可維護(hù)性。3.3 用窗口函數(shù)做時序填充last_value和first_value時間序列數(shù)據(jù)的缺失值處理是一個獨(dú)立的話題。比如用戶行為日志中某個用戶某天沒有活躍記錄但你需要補(bǔ)齊每天的記錄用于計(jì)算留存率。這時候就不能簡單地填0或者填均值而是要用“前一個有效值”來填充。SparkSQL的窗口函數(shù)可以很好地解決這個問題from pyspark.sql.functions import last, first, col from pyspark.sql.window import Window # 按用戶和時間排序用前一個有效值填充 window_user Window.partitionBy(user_id).orderBy(date) \ .rowsBetween(Window.unboundedPreceding, Window.currentRow) df_filled df.withColumn( value_filled, last(value, ignorenullsTrue).over(window_user) )// Scala版本 val windowUser Window.partitionBy(user_id).orderBy(date) .rowsBetween(Window.unboundedPreceding, Window.currentRow) val dfFilled df.withColumn( value_filled, last(value, ignoreNulls true).over(windowUser) )這里的關(guān)鍵是ignorenulls true參數(shù)它讓last函數(shù)跳過null值取最近的一個非null值。如果不加這個參數(shù)遇到null時last會返回null填充就失效了。注意rowsBetween(Window.unboundedPreceding, Window.currentRow)定義了一個從第一行到當(dāng)前行的窗口。如果你想要“后一個有效值”來填充可以用first配合rowsBetween(Window.currentRow, Window.unboundedFollowing)。3.4 用approxQuantile做分位數(shù)填充的完整流程中位數(shù)填充是處理數(shù)值型缺失值的常用策略因?yàn)樗鼘Ξ惓V挡幻舾?。SparkSQL提供了approxQuantile方法來近似計(jì)算分位數(shù)比精確計(jì)算中位數(shù)快得多尤其適合大數(shù)據(jù)集。# 計(jì)算某列的中位數(shù)0.5分位數(shù) median_val df.approxQuantile(salary, [0.5], 0.01)[0] # 用中位數(shù)填充 df_filled df.fillna({salary: median_val})// Scala版本 val medianVal df.stat.approxQuantile(salary, Array(0.5), 0.01)(0) val dfFilled df.na.fill(Map(salary - medianVal))approxQuantile的第三個參數(shù)是相對誤差relative error值越小結(jié)果越精確但計(jì)算越慢。0.01的誤差在大多數(shù)場景下已經(jīng)足夠如果數(shù)據(jù)量特別大可以放寬到0.05。但這里有一個實(shí)際項(xiàng)目中經(jīng)常被忽略的問題全局中位數(shù)填充會壓縮數(shù)據(jù)的方差。如果你用全局中位數(shù)填充了30%的缺失值那么這30%的數(shù)據(jù)全部集中在同一個點(diǎn)上后續(xù)做統(tǒng)計(jì)分析時方差會被嚴(yán)重低估。更好的做法是分組計(jì)算中位數(shù)比如按地區(qū)、按年齡段分組每組用自己的中位數(shù)填充。# 分組中位數(shù)填充的完整實(shí)現(xiàn) from pyspark.sql.functions import col, median, when, broadcast from pyspark.sql.window import Window # 方法一用窗口函數(shù)適合分組數(shù)不多的場景 window_spec Window.partitionBy(region) df_filled df.withColumn( salary, when(col(salary).isNull(), median(salary).over(window_spec)) .otherwise(col(salary)) ) # 方法二先計(jì)算分組中位數(shù)再join回去適合分組數(shù)很多的場景 median_df df.groupBy(region).agg(median(salary).alias(median_salary)) df_filled df.join(broadcast(median_df), onregion, howleft) \ .withColumn(salary, when(col(salary).isNull(), col(median_salary)) .otherwise(col(salary)) ).drop(median_salary)方法二在分組數(shù)很多比如按城市分組有幾百個城市時性能更好因?yàn)閎roadcastjoin把小表分發(fā)到每個節(jié)點(diǎn)避免了窗口函數(shù)的shuffle開銷。4. 不同業(yè)務(wù)場景下的缺失值處理策略選型4.1 用戶行為日志缺失往往意味著“沒有發(fā)生”用戶行為日志類數(shù)據(jù)的缺失值處理有一個特殊之處很多字段的缺失不是數(shù)據(jù)質(zhì)量問題而是業(yè)務(wù)邏輯上的“沒有發(fā)生”。比如“點(diǎn)擊時間”字段為null可能意味著用戶根本沒有點(diǎn)擊“優(yōu)惠券ID”為null意味著用戶沒有使用優(yōu)惠券。這種情況下填0或者填“無”比刪除更有業(yè)務(wù)意義# 用戶行為日志的典型處理 df_clean df.fillna({ click_count: 0, # 沒有點(diǎn)擊就是0次 coupon_id: none, # 沒有使用優(yōu)惠券 stay_duration: 0, # 沒有停留就是0秒 is_new_user: False # 默認(rèn)為老用戶 })但這里有一個需要警惕的地方不要把“沒有發(fā)生”和“數(shù)據(jù)丟失”混為一談。如果“點(diǎn)擊時間”為null是因?yàn)槁顸c(diǎn)SDK在某些機(jī)型上失效導(dǎo)致的那填0就是在掩蓋數(shù)據(jù)質(zhì)量問題。區(qū)分的方法是看缺失的分布——如果缺失集中在某個時間段或某個設(shè)備型號那很可能是數(shù)據(jù)采集問題如果缺失是隨機(jī)分布的那更可能是業(yè)務(wù)上的“沒有發(fā)生”。4.2 交易訂單數(shù)據(jù)金額字段的缺失不能隨便填交易類數(shù)據(jù)中金額字段的缺失是最敏感的。一筆訂單的金額為null可能是退款、可能是測試訂單、也可能是數(shù)據(jù)同步延遲。這種情況下刪除缺失行往往比填補(bǔ)更安全因?yàn)樘铄e金額會直接影響財(cái)務(wù)報(bào)表和業(yè)務(wù)決策。# 交易數(shù)據(jù)的保守處理策略 # 1. 先標(biāo)記缺失保留原始信息 df_marked df.withColumn(amount_missing, col(amount).isNull()) # 2. 對于金額缺失的訂單單獨(dú)輸出到異常表供人工核查 df_abnormal df_marked.filter(col(amount_missing) True) df_abnormal.write.saveAsTable(abnormal_orders) # 3. 正常數(shù)據(jù)繼續(xù)處理 df_normal df_marked.filter(col(amount_missing) False)如果業(yè)務(wù)上確認(rèn)某些金額缺失可以用0填充比如“優(yōu)惠金額”字段沒有優(yōu)惠就是0那也要在代碼中明確注釋并且和業(yè)務(wù)方確認(rèn)過。4.3 用戶畫像數(shù)據(jù)用模型預(yù)測填充比統(tǒng)計(jì)量填充更合理用戶畫像場景中缺失值處理的目標(biāo)和日志、交易數(shù)據(jù)不同——我們不是要“修正”數(shù)據(jù)而是要“補(bǔ)全”特征以便后續(xù)做推薦或分群。這種情況下用統(tǒng)計(jì)量均值、中位數(shù)填充雖然簡單但會損失特征之間的相關(guān)性。更合理的做法是用機(jī)器學(xué)習(xí)模型來預(yù)測缺失值。比如“年齡”字段缺失可以用“消費(fèi)金額”“瀏覽品類”“活躍時段”等特征訓(xùn)練一個回歸模型來預(yù)測。SparkML提供了完整的Pipeline支持from pyspark.ml.feature import VectorAssembler from pyspark.ml.regression import RandomForestRegressor from pyspark.ml import Pipeline # 分離有年齡和無年齡的數(shù)據(jù) df_with_age df.filter(col(age).isNotNull()) df_without_age df.filter(col(age).isNull()) # 用有年齡的數(shù)據(jù)訓(xùn)練模型 assembler VectorAssembler( inputCols[purchase_amount, browse_count, active_hours], outputColfeatures ) rf RandomForestRegressor(featuresColfeatures, labelColage) pipeline Pipeline(stages[assembler, rf]) model pipeline.fit(df_with_age) # 預(yù)測缺失的年齡 predictions model.transform(df_without_age) df_filled df_with_age.union( predictions.select(user_id, purchase_amount, browse_count, active_hours, col(prediction).alias(age)) )這種方式的代價(jià)是計(jì)算資源消耗大但如果你要做的是高價(jià)值的用戶分群或推薦系統(tǒng)這點(diǎn)投入是值得的。4.4 策略選型對照表場景類型推薦策略理由注意事項(xiàng)缺失比例5%直接刪除影響小簡單可靠確認(rèn)缺失是MCAR缺失比例5%-30%分組填充保留數(shù)據(jù)量減少偏差分組字段要有業(yè)務(wù)意義缺失比例30%考慮刪除整列或標(biāo)記缺失填補(bǔ)可能引入過大偏差評估該列對下游任務(wù)的重要性數(shù)值型特征中位數(shù)/分組中位數(shù)對異常值魯棒注意方差壓縮問題類別型特征眾數(shù)/新增“未知”類別保留類別信息“未知”類別本身可能有預(yù)測力時序數(shù)據(jù)前值填充/插值保持時間連續(xù)性注意不要跨用戶填充金額/關(guān)鍵指標(biāo)刪除或人工核查填錯代價(jià)高保留缺失標(biāo)記供追溯5. 那些文檔里不會寫的踩坑記錄5.1 fillna的類型陷阱為什么我的字符串列沒被填充這是我在實(shí)際項(xiàng)目中最常遇到的問題之一。Scala API中df.na.fill(0)只會填充數(shù)值類型的列字符串列的null完全不受影響。更隱蔽的是如果你的DataFrame中某列是StringType但存儲的是數(shù)字字符串比如從CSV讀進(jìn)來沒做類型轉(zhuǎn)換fill(0)也不會生效。// 假設(shè)df有name(String)和age(Integer)兩列 // 這個操作只會填充age列的nullname列的null原封不動 df.na.fill(0) // 正確的做法用Map明確指定每列的填充值 df.na.fill(Map(name - unknown, age - 0))在PySpark中fillna(0)的行為是嘗試填充所有數(shù)值列但如果你傳入的是字符串它只會填充字符串列。這個差異在Scala和PySpark之間切換時特別容易搞混。實(shí)操建議無論用哪個語言始終用字典/Map形式指定填充值不要依賴默認(rèn)的類型匹配行為。5.2 dropna的subset參數(shù)你以為刪的是全部其實(shí)只看了部分列dropna的subset參數(shù)如果不指定默認(rèn)會考慮所有列。這意味著只要任意一列有null整行就會被刪除。在一個有50列的表里即使每列只有1%的缺失率一行完全沒有任何缺失的概率也只有(0.99)^50 ≈ 60%也就是說40%的行會被刪掉。# 危險(xiǎn)操作不指定subset可能刪掉大量數(shù)據(jù) df.dropna() # 等價(jià)于 df.dropna(howany, subsetNone) # 安全操作只考慮關(guān)鍵列 df.dropna(subset[user_id, order_id, amount])我的經(jīng)驗(yàn)是永遠(yuǎn)不要在不指定subset的情況下調(diào)用dropna。先想清楚哪些列是“關(guān)鍵列”——這些列的缺失意味著這行數(shù)據(jù)不可用其他列的缺失可以通過填充解決。5.3 用0填充的隱藏風(fēng)險(xiǎn)均值和方差的雙重扭曲用0填充數(shù)值型缺失值是最簡單粗暴的做法但它的副作用比大多數(shù)人想象的要大。假設(shè)一個字段的真實(shí)均值是100標(biāo)準(zhǔn)差是20你有20%的數(shù)據(jù)缺失并用0填充那么填充后的均值會變成80標(biāo)準(zhǔn)差會膨脹到約45。這意味著任何基于均值的統(tǒng)計(jì)都會偏低任何基于方差的分析都會偏高如果后續(xù)做標(biāo)準(zhǔn)化z-score填充的0會被當(dāng)成一個極端的低值# 對比用0填充 vs 用中位數(shù)填充對方差的影響 from pyspark.sql.functions import mean, stddev # 原始數(shù)據(jù)無缺失 original_stats df.filter(col(value).isNotNull()) \ .agg(mean(value), stddev(value)).collect() # 用0填充 filled_zero df.fillna({value: 0}) zero_stats filled_zero.agg(mean(value), stddev(value)).collect() # 用中位數(shù)填充 median_val df.approxQuantile(value, [0.5], 0.01)[0] filled_median df.fillna({value: median_val}) median_stats filled_median.agg(mean(value), stddev(value)).collect()實(shí)測下來用中位數(shù)填充對方差的影響遠(yuǎn)小于用0填充。如果業(yè)務(wù)上確實(shí)需要用0填充比如“購買次數(shù)”字段那至少要在后續(xù)分析中加一個“是否填充”的標(biāo)記列讓模型或分析師知道哪些值是填充出來的。5.4 分布式環(huán)境下的approxQuantile精度問題approxQuantile是一個近似算法它的結(jié)果依賴于數(shù)據(jù)的分區(qū)方式。在分布式環(huán)境中如果數(shù)據(jù)傾斜嚴(yán)重某些分區(qū)的數(shù)據(jù)量遠(yuǎn)大于其他分區(qū)近似結(jié)果的誤差可能會超過你設(shè)定的relative error。# 檢查分區(qū)是否均勻 df.rdd.getNumPartitions() df.groupBy(spark_partition_id()).count().show() # 如果數(shù)據(jù)傾斜先repartition再計(jì)算分位數(shù) df_repartitioned df.repartition(200, region) median_val df_repartitioned.approxQuantile(salary, [0.5], 0.01)[0]另外approxQuantile對null值的處理也需要注意——它會自動忽略null值所以計(jì)算出的中位數(shù)是基于非null數(shù)據(jù)的。這通常是符合預(yù)期的但如果你需要把null也考慮進(jìn)去比如把null當(dāng)成0那就要先填充再計(jì)算。5.5 多列聯(lián)合填充時的順序依賴問題當(dāng)你需要對多列進(jìn)行填充且填充邏輯之間存在依賴關(guān)系時操作的順序會影響最終結(jié)果。比如你先用“年齡”的中位數(shù)填充了年齡缺失然后又想用“年齡”和“收入”的關(guān)系來填充收入缺失——這時候填充后的年齡已經(jīng)不再是原始數(shù)據(jù)了基于它計(jì)算出的收入填充值也會有偏差。# 有依賴關(guān)系的填充順序很重要 # 第一步先填充基礎(chǔ)字段 df_step1 df.fillna({age: median_age}) # 第二步基于填充后的age來填充income df_step2 df_step1.withColumn( income, when(col(income).isNull(), col(age) * avg_income_per_age) # 基于age的估算 .otherwise(col(income)) )我的建議是盡量讓每列的填充邏輯獨(dú)立如果確實(shí)有依賴關(guān)系在代碼中明確注釋依賴順序并且對每一步的結(jié)果做數(shù)據(jù)質(zhì)量檢查。6. 把缺失值處理嵌入完整的ETL流水線6.1 設(shè)計(jì)可復(fù)用的缺失值處理函數(shù)在實(shí)際項(xiàng)目中缺失值處理不應(yīng)該是散落在各個腳本里的零散代碼而應(yīng)該封裝成可復(fù)用的函數(shù)或類。這樣做的價(jià)值在于統(tǒng)一處理標(biāo)準(zhǔn)、方便審計(jì)和修改、減少重復(fù)代碼。def clean_missing_values(df, config): 通用的缺失值處理函數(shù) config: { drop_cols: [col1, col2], # 缺失超過閾值直接刪除的列 fill_zero: [count1, count2], # 用0填充的列 fill_median: [salary, age], # 用中位數(shù)填充的列 fill_mode: [city, category], # 用眾數(shù)填充的列 fill_custom: {status: unknown}, # 自定義填充 drop_rows_subset: [id, date] # 這些列缺失則刪除整行 } from pyspark.sql.functions import col, median, when # 1. 刪除整列 if config.get(drop_cols): df df.drop(*config[drop_cols]) # 2. 刪除關(guān)鍵列缺失的行 if config.get(drop_rows_subset): df df.dropna(subsetconfig[drop_rows_subset]) # 3. 用0填充 if config.get(fill_zero): fill_dict {c: 0 for c in config[fill_zero]} df df.fillna(fill_dict) # 4. 用中位數(shù)填充 if config.get(fill_median): for c in config[fill_median]: median_val df.approxQuantile(c, [0.5], 0.01)[0] df df.fillna({c: median_val}) # 5. 用眾數(shù)填充 if config.get(fill_mode): for c in config[fill_mode]: mode_val df.groupBy(c).count() \ .orderBy(col(count).desc()).first()[0] df df.fillna({c: mode_val}) # 6. 自定義填充 if config.get(fill_custom): df df.fillna(config[fill_custom]) return df這個函數(shù)的設(shè)計(jì)思路是把“策略”和“執(zhí)行”分離。配置文件描述每列該怎么處理函數(shù)負(fù)責(zé)執(zhí)行。這樣當(dāng)業(yè)務(wù)規(guī)則變化時只需要改配置不需要改代碼。6.2 處理前后的數(shù)據(jù)質(zhì)量校驗(yàn)缺失值處理做完之后必須做一輪校驗(yàn)確認(rèn)處理結(jié)果符合預(yù)期。校驗(yàn)的內(nèi)容包括目標(biāo)列的缺失率是否降到了預(yù)期水平填充后的數(shù)據(jù)分布是否發(fā)生了劇烈變化均值、方差、分位數(shù)是否有意外的類型轉(zhuǎn)換比如整數(shù)列被填充后變成了浮點(diǎn)列def validate_cleaning(df_before, df_after, target_cols): 對比處理前后的數(shù)據(jù)質(zhì)量 from pyspark.sql.functions import mean, stddev, count, isnan, when for c in target_cols: before_missing df_before.filter( col(c).isNull() | isnan(c) ).count() / df_before.count() after_missing df_after.filter( col(c).isNull() | isnan(c) ).count() / df_after.count() before_stats df_before.agg( mean(c).alias(mean), stddev(c).alias(std) ).collect()[0] after_stats df_after.agg( mean(c).alias(mean), stddev(c).alias(std) ).collect()[0] print(f列 {c}:) print(f 缺失率: {before_missing:.2%} - {after_missing:.2%}) print(f 均值: {before_stats[mean]:.2f} - {after_stats[mean]:.2f}) print(f 標(biāo)準(zhǔn)差: {before_stats[std]:.2f} - {after_stats[std]:.2f})如果發(fā)現(xiàn)填充后均值偏移超過10%或者標(biāo)準(zhǔn)差變化超過20%就需要重新審視填充策略是否合理。6.3 增量數(shù)據(jù)處理中的缺失值策略一致性在流式或增量ETL場景中缺失值處理有一個額外的挑戰(zhàn)今天用中位數(shù)填充明天數(shù)據(jù)更新后中位數(shù)變了歷史數(shù)據(jù)的填充值和新數(shù)據(jù)的填充值不一致。這會導(dǎo)致同一列的數(shù)據(jù)在不同批次之間不可比。解決方法是把填充參數(shù)持久化。每次計(jì)算出的中位數(shù)、眾數(shù)等統(tǒng)計(jì)量保存到配置表或文件中后續(xù)批次復(fù)用同一套參數(shù)定期比如每月重新計(jì)算并更新。# 保存填充參數(shù) fill_params { salary_median: median_val, age_median: age_median, city_mode: city_mode, computed_date: 2024-01-15 } import json with open(/path/to/fill_params.json, w) as f: json.dump(fill_params, f) # 后續(xù)批次讀取參數(shù) with open(/path/to/fill_params.json, r) as f: params json.load(f) df df.fillna({salary: params[salary_median]})這個做法看起來簡單但在實(shí)際項(xiàng)目中經(jīng)常被忽略導(dǎo)致數(shù)據(jù)口徑不一致的問題很難排查。7. 幾個讓我印象深刻的真實(shí)案例7.1 一個字段的缺失率從5%突然漲到40%某次日常巡檢發(fā)現(xiàn)用戶表的“手機(jī)號”字段缺失率從平時的5%突然漲到了40%。第一反應(yīng)是上游數(shù)據(jù)同步出了問題但檢查了同步任務(wù)日志沒有發(fā)現(xiàn)異常。后來做了一次分組統(tǒng)計(jì)發(fā)現(xiàn)缺失集中在某個特定渠道的新增用戶上。進(jìn)一步排查發(fā)現(xiàn)那個渠道的注冊頁面最近改版了手機(jī)號從必填變成了選填。這不是數(shù)據(jù)質(zhì)量問題而是業(yè)務(wù)規(guī)則變化。如果當(dāng)時直接按“缺失率超過30%就刪除整列”的規(guī)則處理就會把整個手機(jī)號字段刪掉影響后續(xù)的短信觸達(dá)和用戶召回。這個案例給我的教訓(xùn)是缺失率的變化趨勢比缺失率的絕對值更重要。建立缺失率的日常監(jiān)控比事后補(bǔ)救有效得多。7.2 用均值填充導(dǎo)致的報(bào)表偏差一個銷售報(bào)表中“訂單金額”字段有約8%的缺失。當(dāng)時的處理邏輯是用均值填充。上線一個月后業(yè)務(wù)方反饋報(bào)表中的“總銷售額”比財(cái)務(wù)系統(tǒng)的數(shù)字高了約3%。排查后發(fā)現(xiàn)缺失的訂單金額并不是隨機(jī)分布的——它們主要來自一個大客戶這個客戶的訂單金額普遍偏高。用全局均值填充后這些訂單的金額被低估了但同時又因?yàn)樘畛淞酥刀鴽]有被排除在統(tǒng)計(jì)之外導(dǎo)致總銷售額出現(xiàn)了偏差。正確的做法應(yīng)該是對于這種非隨機(jī)缺失要么刪除缺失行并在報(bào)表中注明“不含缺失數(shù)據(jù)”要么用該客戶的歷史平均訂單金額來填充而不是用全局均值。7.3 時序填充時跨用戶污染的問題在處理用戶日活數(shù)據(jù)時需要補(bǔ)齊每個用戶每天的記錄。最初的實(shí)現(xiàn)是用last_value按時間排序填充但忘記加partitionBy(user_id)導(dǎo)致用戶A的缺失值被用戶B的數(shù)據(jù)填充了。這個bug在測試環(huán)境沒有發(fā)現(xiàn)因?yàn)闇y試數(shù)據(jù)只有少量用戶排序后恰好沒有跨用戶的情況。修復(fù)方法很簡單加上partitionBy即可。但這個案例說明時序填充一定要確認(rèn)窗口函數(shù)的partitionBy是否正確否則填充結(jié)果完全是錯的。# 錯誤寫法沒有按用戶分區(qū) window_wrong Window.orderBy(date) \ .rowsBetween(Window.unboundedPreceding, Window.currentRow) # 正確寫法按用戶分區(qū) window_correct Window.partitionBy(user_id).orderBy(date) \ .rowsBetween(Window.unboundedPreceding, Window.currentRow)8. 關(guān)于缺失值處理我總結(jié)的幾條實(shí)操原則做了這么多年的數(shù)據(jù)清洗關(guān)于缺失值處理我形成了幾個固定的判斷原則分享出來供參考。原則一先畫像再動手。不要拿到數(shù)據(jù)就寫fillna或dropna。先花10分鐘做一輪缺失值統(tǒng)計(jì)搞清楚每列的缺失比例、缺失的分布特征、缺失與其他列的關(guān)系。這10分鐘的投入能幫你避免后面10個小時的返工。原則二能保留標(biāo)記就保留標(biāo)記。無論你最終選擇刪除還是填充都建議在DataFrame中增加一個布爾列標(biāo)記原始數(shù)據(jù)是否缺失。這個標(biāo)記列本身可能就是一個有價(jià)值的特征而且在后續(xù)排查問題時可以快速定位哪些數(shù)據(jù)是填充出來的。原則三填充策略要能解釋給業(yè)務(wù)方聽。如果你用中位數(shù)填充了“收入”字段業(yè)務(wù)方問起來你要能說清楚為什么用中位數(shù)而不是均值、為什么不用0、填充后的數(shù)據(jù)對分析結(jié)論有什么影響。如果解釋不清楚說明填充策略可能有問題。原則四處理邏輯要版本化。缺失值處理的配置哪些列刪、哪些列填、填什么值應(yīng)該像代碼一樣納入版本管理。每次修改都要有記錄方便回溯和審計(jì)。原則五不要追求零缺失。有些缺失是數(shù)據(jù)本身的特性強(qiáng)行填充反而會引入噪聲。比如用戶畫像中的“年收入”字段很多人就是不愿意填你硬要填一個預(yù)測值可能還不如保留null讓模型自己去處理。最后分享一個我在實(shí)際工作中常用的小技巧對于不確定該填什么值的列我會先用不同的策略各跑一遍填0、填中位數(shù)、填眾數(shù)、刪除然后對比每種策略下下游核心指標(biāo)的變化。如果某種策略導(dǎo)致核心指標(biāo)偏移超過5%就說明這個策略可能不合適。這個方法雖然笨但很有效尤其是在面對不熟悉的業(yè)務(wù)數(shù)據(jù)時。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情视频综合| 久久久婷丁香五月| 色婷丁香| 激情综合网丁香| 丁香婷婷基地| 婷婷丁香五月天哟啪| 久久色婷婷| 久久刺激网| 亚洲av成人在线| 日韩在线视频网站| 婷婷五月天福利| 97中文在线| 久久偷拍综合五月天| 99久久婷婷精品视频| 激情五月婷婷色播网| 天天摸天天日天天舔| 亚洲亚洲人成综合网络| 五月成人天| 六月丁香AV| 丰满熟女人妻一区二区三| www网站在线观看| 伊人在线视频| 五月天丁香六月综合| 五月天色色网站| 欧美激情 日韩无码 婷婷 五月天 久久婷婷丁香五月一二三 | 天天操综合网| 激情五月天小说视频| 成人网在线观看视频| 色婷婷丁香五月天激情综合网| 五月天丁香婷婷视频网址 | 全高清无码视頻| 天天天在线观看| 色综合天堂| 丁香啪啪| 色区域网站视频| 就爱日五月天| 婷婷色综合| 精品激情| 九97免费视频| 午夜成人网站在线观看| 欧美天天干五月丁香| 激情综合色五月丁香| 亚洲va在线∨a天堂va欧美va| 欧洲S级在线观看| 天天干天天拍| 26uuu成人网| 超碰9| 丁香六月婷| 男人天堂AV在线一区二区| 草做免费在线观看| 五月天激情婷婷| 五月天婷婷丁香视频| 91熟妇大香蕉| 五月天婷婷影院| 婷婷噜噜| 激情深爱综合| 色婷婷情片| 中文字幕黄色片| www色婷婷com| 色婷婷在线视频久| 庭庭久久内射| 亚洲中文字幕翔田千里| 五月丁香综合激情| 欧美影院| 开心五月激情五月丁香五月婷婷| 久久机热/这里只有精品| 婷婷五月天日逼| 婷婷五月丁香综合桃花色网| 五月天激情国产综合婷婷婷| 婷婷激情性爱| 亚洲精品午夜国产va久久成人| 色综合激情| 五月激香蕉网| 婷婷五月天伊人| 26uuu国产| 综合激情婷婷| 伊人网碰碰| 性爱网五月婷婷| 内射综合网| 狠狠色狠狠色综合日日91| 久久3p| 狠狠CAO日日穞夜夜穞AV| 亚洲综合五月天婷婷| 精品无码色| 蜜乳人妻一区二区三区| 99热在线极品极品| 少妇水多A片太爽了| 91视频精品99| 色婷婷精品视频| 色播五月丁香综合| 五月天婷婷xxx| 五月婷婷九九久久| 真实的国产乱XXXX在线91| 久久婷婷五月天懂色| 欧美天天干五月丁香| 久久久婷丁香五月天激情综合| 婷婷色五月91啪啪| 蜜桃人妻无码AV天堂三区| 九月av| 五月天激情中文字幕| 久久久精品99亚洲综合| 色情丁香五月婷婷精品| 97干在线看| 99热这里只有精品最新网址| 日日干综合| 久热超碰| 久久综合干| 亚洲色五月婷婷| 狠狠操狠狠插| 五月天色区| 96精品久久久久久久久| 激情人妻综合| 香蕉操亚洲| 九九九九这里只有精品| 夜夜撸天天操| 开心色五月天久久久久久久| 婷婷五月激情天| 婷婷六月激情丁香| 色五月综合网| 国产色色网站网址| 九九热精品在线| 丁香婷婷五月天色综合| 九九综合视频在线观看| 天天日天天狠狠操| 亚洲婷婷丁香五月亚洲| 99热这里有精品24| 青青草婷婷综合五月| 伊人大香五月天| 97狠狠色| 久久久99视频| 99热这里只有99| 91操片| 六月激情婷婷综合| www.五月天色色.com| www,超碰| 久久9精品| 超碰男人色| a色婷婷| 狠狠久久婷| 99精品丰满| 日本天堂网站99| 久久性都花花世界成人免费视频| 丝雨一区二区| 亚洲成人无码网站| 欧韩性爱| 202丰满熟女妇大| 精品人妻一区二区| WW婷婷五月天com| 午夜伊人大香蕉| 欧美电影在线播放| 丁香亭亭激情四射| 国产三级片91| 久热伊人| 日日做A爰片久久毛片A片英语 | 欧美精品A片一区在线观看| 九九色综合网| 激情com| 国熟女视频| 视频1区2区| 五月天深爱激情网| 亚洲精色| 色爱亚洲| 久久五月天精品视频| 91成人看片| 天堂久久大香蕉| 77799热| 先锋av性爱成人电影| www.狠狠色.com| 五月天天天天天天天天天天天婷婷婷| 六月色色| 色青五月天| 美女妹子后射视频网站在线观看| 夜色综合网| 婷婷五月综合在线| 婷婷五月花| 一区二区传媒视频| 久久3p| 婷婷99狠狠躁天天躁| 成人超碰AV| 五月天综合区| 久久久久亚洲AV成人无码电影| 色爱五月天| 丁香激情网| www.wuyuetian啪啪| 丁香色情五月综合激情| 深爱婷婷基地| 开心婷婷五月天激情网| 五月开心激情| 国产第99页| 婷婷精品在线| 色色色.COM| 综合激情在线| 亚洲欧洲中文日韩久久AV乱码| 91精品久| 梁铮版蜘蛛女在线观看| 涩涩五月天| 激情六月天| www久久久久久久| 国产成人在线精品| 亚洲成人噜噜| 乱精品一区字幕二区| 六月色 亚洲| 91婷婷丁香五月天免费视频网站| 五月丁香婷婷伊人| 伊人9草在线观看| 9九热视频| 天天夜天天色天天| 99精品久久久久久久| 久久久久激情| 婷婷王月天影院| 色欲色香综合网| 西西4r午夜剧场| 91精品久久久久久| 五月丁香六月婷婷激情网| 伊人激情AV一区二区三区| 五月婷婷www| 激情五月开心五月在线视频| 狠狠色噜噜狠狠| av国产精品| 成人综合AV| 色婷婷激情视频| 婷婷久久亚洲| 懂色av蜜臀av粉嫩av永陈冠希| 丁香婷婷免费| www色婷婷久久综合久色| 婷婷六月网| 99精品一二三四视频| 丁香综合| 午夜理论片最新午夜理论剧| 久九色| 色综合99无码| 亚洲五月丁| 丁香六月婷婷综合激情欧美| 碰碰碰91| 婷婷综合精品视频97| 丁香六月婷婷久久综合| 五月婷婷综合热| 国产综合婷婷| 99热99| www狠狠| 九热精品| 97丁香五月| 夜夜操激情| 丁香婷婷色五月| 久久伊人婷婷| 色婷婷婷婷| 欧美亚洲成人在线| 开心五月网| 色色色com| 婷婷五月花免费视频在线| 久久性爱视频| 日本wwww在线| 午夜色丁香| 国产又色又爽又黄又免费| 亚洲性受XXXX五月丁香| 色情婷婷| www.激情五月天。com| 五月 激情视频| 9色免费网| 婷婷射图五月天| 高清一区二区三区日本久| 狠狠综合久久| 99这里只有精品|v| 色婷婷婷av| 色五月网址| 婷婷成人综合| 婷婷另类小说| 五月婷婷久久激情| 大香蕉久久青青| 天天日天天插| 性生活久久朋友人妻| 亚洲视频操| 黄色片久久| 大香蕉啪啪啪| 99热精品无码| 国产.亚洲.欧洲视频在线| 99人人干人人| 噼里啪啦在线观看免费完整版视频| 色热久资源| 五月综合激情婷婷六月色窝| 99热一本| 国产性爱一级| 欧美熟女99| 99久久99久久综合| 九九99免费理论| site:pnnrt.com| 丁香综合久久| 婷婷久热| 成人色站,在线视频,看片-SS1AV| 欧美私人家庭影院| 无码人妻一区二区三区免费九色| 色婷婷女优有码五月亭| 91九色|疯狂|高潮|对白|| 99热亚洲精品| 欧美在线视频99| 四虎婷婷五月天| 久久精品A片777777| 色五月aV| 超爽内射| 婷婷射丁香| 九九色中文| 97五月天| 五月婷婷综合精品| 六月丁香啪啪啪| 99在线小视频| 九色视频这里只有精品| 色婷婷久久7777| 欧美va在线| 九九精彩久久| 亚洲综合1024| 五月伊人视频在线看| 久久婷婷五月综合色区| 七七色色综合| 久久久久综合激动五月天| 婷婷丁香六月天| 五月婷婷色吧!| 色婷婷成人久久| 亚洲一区二区无遮挡A片| 91人人操.COM| 人妻体体内射精一区二区| 伊人丁香花综合影院| 超碰九热| 婷婷色色网| 十月丁香婷婷| www.久操| 性爱视频99| 伊人五月婷婷| 2022人人操人人看| 色色国产| 天堂综合久| 婷婷五月中文在线| 美女xx不卡| 99精色| 婷婷五月激情片| www。五月,com| 99热综合色图| 午夜无码精品色综合久久| 亚洲蜜乳AV| 色五月 五月婷婷| 五月六月激情| 人妻自慰在线| 天天综合 99久久婷婷| 丁香六月婷婷久久综合| 天天色天天日| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 爱操人妻| 天堂网亚洲色图| 五月丁香婷婷成人网| 婷婷五月精品在线| 欧美一级色| 午夜在线成人网站免费观看| 五月亭亭开心网| 夜夜综合色| 久久只有这里精品免费| 亚洲av另类在线观看| 97综合在线| 五月婷婷人妻| 色五月 激情婷婷 综合五月天| 超碰A V在线| 天天色天天日| 91九色熟女| 久久这里只有精品16| 婷婷久久五月丁香| 激情五月天99色| 性色做爰片在线观看WW| 99操碰| 成人狠狠成人狠狠成人狠狠成人狠狠| jiqingtaose五月天| 青青草原爱爱网| 裸体做A爰片毛片A片免费| 激情综合网五月天| 五月激情婷婷女| 九色视频91疯狂| 97丁香视频| www.色五月| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 丁香色婷婷| 色 色 色综合com| 免费精品66| 九九久久五月天| 狠狠婷婷日韩| 婷婷在线网| 久久婷婷五月综合| AVDV久久| 青青草五月天| 涩涩涩五月天| 色婷婷丁香| 九热视频这里只有精品| 五月丁香六月婷婷色| 丁香五月婷婷六月婷婷| 国产亚洲99久久精品| 九九精品婷| 91碰免费视频| 91丨九色丨国产| 亚洲亚洲人成综合网络| 黄网在线免费| 婷婷五月激情四射手| 八戒青柠影视剧在线观看| 色玖玖| 99ri国产在线| 91.com男女操| 五月天开心色情网| 日韩成人网址| 婷婷五月激情图片| 成人做爰A片免费看视频| 丁香五月婷婷基地| 九九久久综合| 双性美人被调教到喷水A片| 五月婷婷色五月| 91操熟女| 婷婷五月天伊人| 五月天伊人网| 丁香六月综合激情| 99综合五月免费视频色婷婷| 狠狠色狠狠色综合日日91| 欧美日本99| 日本一级大片| 91超级碰在线视频| 五月丁香婷婷色| 九月丁香| 色六月丁香婷婷狠狠干| 99爱最新免费视频在线观看| 婷婷四色五月| 天天久综合| 99热在线观看免费精品| 伊人网大香| 激情文学久久| 色99在线| 婷婷综合性爱网| 免费三级黄色| WWW.久久久久久久久久久久久| 久热99久热| www.久久9| 激情中文在线| 色丁香五月天射婷婷爱婷婷| 好吊丝aV| 亚洲激情婷婷| 五月婷婷六月激情| 五月婷婷在线视频| 大香蕉久久视频久久视频| 666555。COm毛片| 人妻视频一区而且二区| 影音先锋男人资源站一区二区| 六月婷婷七月丁香| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 婷婷性爱综合| 国产免费一区二区在线A片视频| 欧美99热| 五月丁香婷婷综合| 国产又黄又爽又色的免费| 伊人大香蕉爱聚| 激情综合网激情五月天| 六月香五月婷| 91九色精品| 国产 码在线成人网站| 亚洲综合视频八| 色婷婷久久天天性爱| 五月婷婷亚洲综合网| 狠狠狠夜夜夜| 亚洲精品成人| 久久999久久999久久999久久| 五月丁香手机在线| 五月天婷婷成人| 天天操天天操天天操天天操天天操| 91精品激情9| 人人综合久| 亚洲日韩乱码一区二区三区四区| 天天综合 99久久婷婷| 人人人人人人人人人草| 超碰二区| 亚洲天堂制| 99热九九这里只有精品| 爽天天天天天天天| 精品久久穴| 51XX午夜影福利| 婷婷六月激情丁香| 五月丁香六月综合激情| 大香蕉欧美在线| 五月丁香六月欧美综合| 色综合色综合网| 狠狠狠狠狠狠草| 五月婷丁香花| 免费啪啪亚州视频| Www.久久| 一二三区视频韩国| 婷婷色五月天在线观看| 成人短视频在线免费观看| 99色色网站| 五月婷啪| 欧美久人人| 深爱激情九九五月天 | 97在线综合| 天天色五月婷婷91久久久久久久| 开心四月婷婷在线色播播| 精品99在线| 99re久热| 五月婷婷婷自由综合| 五月丁香六月婷婷网| 久久9RE热视频精品98| 91dy.av| 婷婷啪啪| 91色综合网| 99色亚洲| 久久婷婷艹| 男人天堂亚洲综合| 天天日天天插| 亚洲婷婷视频| 精品久久99码| 久久激情五月天| 99re8在这里只有精品| 九九成人电影婷婷| 能看的av片| 亚洲欧美婷婷五月色综合| 久草A片| 激情婷婷六月天| 婷久久高清| 五月深爱婷婷| 婷婷成人基地| 色五月激情五月丁香五月婷婷啪啪综合 | 天天爱天天做天天日| 激情丁香九九五月综合网| HD久久精品视频| 丁香五月天天高清在线| 午夜AV网| 夜丁香五月婷婷| 五月天久久婷| 亚洲欧州色情在线观看| www.99精品日操伊人乱碰在线| 好吊丝aV| 99国产在线精品视频| 色播丁香五月婷婷操:屄| 婷婷久久大香蕉| 天天五月丁香五月| 日韩成人网址| 九九精品这里只有| 大战熟女丰满人妻AV| 激情综合网婷婷久久| 9久热| 丁香色六月婷婷| 99热精品在线观看| 久久精品国产AV一区二区三区 | 免费看成人AA片无码视频吃奶| 五月天伊人av| 欧美大片| 色狠狠色噜噜噜a天堂一区| 欧美69久成人做爰视频| 亭亭五月激情亚洲在线| 欧美人人草草| 激情开心五月天| www.综合久久.com| 99在线精品观看99| 久久黄色免费视频| 天堂婷婷综合| 欧美xx激情视频在线观看| 久久久久久久久久久久63| 激情六月天婷婷| 欧美性猛交99久久久99| 黄色AV日韩| 亚州激情网| 96精品成人无码A片观看金桔 | 98色花堂98t.R| 色色色色综合网| 九九综合视频在线观看| 成人无码精品1区2区3区免费看| 99热日本| 野外99热| 人妻AV在线| 天天爽—爽| 婷婷综合丁香| 婷婷五月影院| 婷婷激情丁香五月天综合| 中国女人做爰A片| 日日做夜夜爱| 丁香五月天.com| 色色色色网| a v色婷婷| 综合九色| 开心深爱激情网| 日批在线看| 丁香狠狠操| 他改变了拜占庭| 亚洲中文字幕在线观看| www色五月| 激情五月天丁香| 亚洲第一成人无码A片| 99re鈥哸鈥唙| 婷婷五月天丁香| 亚洲成人影视在线| 天堂中文国产| 婷婷色色播五月天| 色婷婷丁香九月| 国产成人+综合亚洲+天堂| 精品免费99| 日本美女上人| 亚洲久久天堂| 亚洲精品国产成人AV在线| 日在线V视频在线播放| 91精品国产色猫| 婷婷狠狠操| 婷婷视频在线| 色五月婷婷中文字幕在线观看 | 五月激情综合五月| 猫咪伊人久久| 五月天社区婷婷| 91婷色| 热久久66| 亚洲综合1024| 九月色婷婷婷| 涩涩五月天| 九九精品网| 精a品a视a频| 99综合99| 精品人妻伦一二三区久久| 九九热这里| 安息电影在线观看完整版| 六月综合婷婷开心伊人| 国产精品久久久久久久久久免费| 日本一级一片免费视频| 天天色综合网吨吧| 色噜噜狠狠色综合伊人| 色色综合激情| www超碰com| 天天日天天干天天操| 日本狠狠网| 夜夜天天久久婷婷| 亚洲精品亚洲人成人网| 99视频在线观看视频| 亚洲成av人影院| 色丁香婷婷| 丁香五月色欲| 开心婷婷五月天电影院| 天天操无码| 97丁香视频| 国产精品天天狠天天看| 任你爽视频| 狠狠人人婷婷| 天天干com| 色婷婷精品小视频| 五月婷婷另类| 国产成人综合在线| 狠狠久久婷婷| 欧美日韩国产一二区| 国产亚洲精品久久久久久郑州| 亚洲熟女色| 日韩1区2区| 丁香五月天五码婷婷| 26UUU| 五月丁香久| 成人短视频免费| 1024亚洲无码| 成人做爰高潮A片免费视频| 婷婷久久综合| 九月丁香亭亭| 国产白丝在线一区| 人人操AV| 天天操婷婷| 乱色色色| 色婷婷综合网站| 先锋男人99资源| www.25五月婷婷| 五月天久久久| 久久久中文| www.精品99| 日韩AV在线免费观看| 色婷婷女优有码五月亭| 97婷婷五月激情六月丁香伊人| 激情操逼婷婷| 五月天婷a在线| 熟妇人妻中文字幕无码老熟妇| 亚洲操人| 五月丁香啪啪啪| 影音先锋激情网| 电影《战争与艾拉》免费观看| 精品思思久久| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 亚洲视频二区| 中文字幕永久在线| 丁香六月婷婷一区| 日本狠狠爽| 99热这里只有精品亚洲| 色欲日日躁| www.五月婷婷久久.com| 日日操,夜夜爽| 久久开心五月婷婷| 婷婷开心久久| 五日激情综合| 99九九综合久久九九| 亚洲第一成人无码A片| 成人av在线网站| 美日韩成人| 婷婷五月激情丁香| 丁香五月成人| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品| 内射干少妇亚洲69XXX| 中文字幕乱码亚洲精品一区| 日韩野外 无套| 天综合日日夜综合7799| 91凹凸在线| 日本高清久久| 色丁香综合影院| 婷婷五月天a| 综合激情五月天六月婷免费视频| 99热在线播放| 超碰在线看| 婷婷在线精品| Aaa久久| 色久99| 色月九九| 婷婷丁香77777| 久久99色色| 色婷婷成人五月| 五月丁香好婷婷A片网| 99这里只有精| 久久全意婷婷| 99碰| 五月天伊人av| 婷婷激情五月天小说校园| 五月婷婷综合网| 九九视频这里只有精品| Blackedraw视频一区二区| 亚洲视频在线网| 婷婷丁香激情综合色情| 五月天成人在线视频丁香| 思思久久99热只有频精品66| 极品另类| 99久久久99久久91熟女| 99九九99九九九视频精品| 欧美激情综合色综合啪啪五月| 婷婷欧美色| 亚洲激情免费视频观看| 五月丁香香蕉| 99视频综合| 色婷婷88| 久久A热| 成人免费高清在线播放| 狠狠精品干练久久久无码中文字幕| 日本97在线看片| 亚洲综合九九| 丁香美女主播视频在线观看| 久久精典| 热久综合| 亚洲欧洲另类| 99热这里只有是亚洲国产| 超碰精品在线| 五月激情婷婷偷拍| 任你草| 日日日日操| 99热免| 无码色| 三男玩一女三A片| 亚州综合色| 丁香八月综合激情| 五月天伊人综合| 久久久久久久久久久久久9| 六月丁香婷婷综合狠狠爱夜夜爱| 久婷婷久草| 五月天婷婷免费| 婷婷五月丁香激情| 亚洲色色色色色色色色色| 婷婷五月天在线观看第二页| 九九在线精点品| 成人AV综合在线| 狠狠操天天操综合| 中文字幕av在线| 丁香六月综合| 婷婷综合五月天激情| 在线观看av网站| 日韩五月婷婷久久| 99热这里只有精品亚洲| 99色网站| 成人网站高清无码| 色综合久久天天综合网 | 开心激情综合| 激情图片99| www.26uuu.com亚洲电影| www.狠狠| 1024国产| 婷婷五月天成人网| 日本三级第一页| 婷婷五月天成人动漫| 五月婷婷久久久| 大香久久伊人网| 最新亚洲色色网| 99网| 丁香五月欧美激情| 狠狠五月天| 99青青草99| 午夜 外网 精品 在线| 色播五月丁香| 在线成人网址| 超碰人人操人人干| 无码少妇高潮喷水A片免费| www.精品99| 婷婷五月天开心网| 一本久婷婷综合| 天天舔天天| 五月婷在线| 狠狠色丁香久久久婷| 99热这里都是精品| 九九热re99re6在线精品| 欧洲亚洲精品| 天天综合网色欲香| 天天干天天叉| 国产毛片操B| 亚洲爱爱无码婷婷色五月| 婷婷久久五月| 激情四射五月天偷偷看婷婷| 26uuu欧美日本| 啪啪激情网| AV在线免费播放| 成人综合视频在线| 狠狠色噜噜狠狠| 99五月婷| 九九青草热| 国产资源在线视频| 亚洲婷婷五月| 操人久久| 久综合| 91成人电影| 五月色丁香| 97人凄人人操人人爽| 99精品在线观看视频| 精品网站:999WWW| 六月色播| 丁香婷婷网| 亚洲五月花| 色欲人妻综合aaaaaaaa网| 色五月丁香五月| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 五月丁香日本一抹本| 99亚洲视频| 丁香色情五月天| 99久在线精品99re8热| 日操| 欧美69久成人做爰视频| 99性感视频| 久超免费视频| 久久婷婷五月综合| 丁香六月激情四射| 婷婷狠狠干| 激情婷婷人妻| 色色婷婷综合| 久久机热/这里只有精品| 视频1区2区| 91男同| 婷婷五月天视| 大香焦啪啪啪| 国产性爱亚洲是图| 91干在线| 丁香色色网| 另类小说婷婷色| 99久久終合| 男人天堂99| 五月天五月色婷婷综合| 热91久| 激情丁香五月天图片| 丁香五月综合激情性爱| 欧美25p| 五月 丁香 欧美| 丁香婷婷五月天成人| 久久久27操| 热99精品视频在线观看| 人人艹艹艹| 六月婷婷在线| 色五月婷婷基地| 欧美日韩中文国产一区发布| 97色操| 丁香五月成人| 六月婷婷狠狠做| 五月综合丁| 99热在线观看免费精品| 99re热视频| 五月丁香婷婷综合视频| www久| 五月婷婷丁香综合网| www.射伊蕉婷婷| 色婷婷电影| 婷婷色基地| 久99| 97伦乱| 婷婷99视频精品| 五月情综合| 伊人久热91| 五月婷婷啪啪| 日本 @ va 免费| AV在线大香蕉| 91 影音先锋| 色情久久久| 人妻videos人妻高清| 九色在线观看91av| 极品人妻VIDEOSSS人妻| 五月天婷婷乱论小说| 久去色色| 日本 色综合| 9999久久久久| 激情六月丁| 五月激情精品视频| 欧美日韩国产伦精品日韩人妻一| 图片区 小说区 区 亚洲五月| 日日色综合| 蜜臀av无码久久久久久久久 | 九九热精品| 日韩一区二区三区无码| 在线观看免费狠狠色丁香香综合 | 国产免费性爱| 国产激情AV| 国产资源91在线| 五月丁香手机在线| 99热在线看| 极品人妻VIDEOSSS人妻 | 国产日批视频免费播放| 色婷婷综合电影| 被强行糟蹋的女人A片| 9热视频在线观看| 99热在线观看这里只有精品| 婷婷五月天成人在线视频| av五月丁香婷婷网| 久久精品99国产精品日本 | 色欲天天综合网| 亚州色色色| 婷婷五月天亚洲天堂| 中文字幕不卡+婷婷五月| 久久综合最新网址| 少妇性按摩无码中文A片| 人人综合久| 五月婷婷开心综合| 丁香开心深爱| AAA久久| 琪琪色影音先锋| AV大片在线播放| 五月天综合久久| 丁香五月色网| 天天天操天天天日| 99在线看片| 五月婷婷在线视频免费观看| 色天堂A| 久碰久| 九九婷婷激情综合网| 久操婷婷| 久久婷五月天| 中文久久婷婷| 亚洲操b| 久99久热只有精品国产99| 五月丁香久人妻中文| 六月婷欧美| 一区二区你懂的| 成人在线观看精品| 99噜噜噜在线播放| 超碰国产在线| 国産精品| 色五月婷婷影院| 天天摸天天透天天舔| 色色丁香激情五月| 深爱丁香激情| 色婷婷成人影片| 欧美天天爽| 亚洲成人在线播放| 九九九热精品| 久久婷婷色情7777网站| 色五月偷偷| 激情 婷婷| 六月丁香激情| 丁香五月WWW| 久久婷婷五月综合色天| 色九月丁香婷婷蜜桃在线观看| 变态 另类 在线| 人妻熟人中文字幕一区二区| 精品一二三区久久AAA片| 色五月婷婷中文字幕| 操国产人妻| 丁香六月婷婷一区| 99色在线观看免费| 人人人操Av| 丁香色六月| a色色色色色| 99精品视频免费在线播放| 丁香五月婷婷久久综合激情网| 91天天操天天干天天射| 五月丁香影院| 热的国产99热| www色婷婷久久综合久色 | 九九热在这里只有精品| 激情都市五月天| 五月丁香六月情亚洲| 国产精品久久久久久五月天加勒比| 翔田千里无码| 婷婷色情小说| 97色色在线视频| 色五月综合在线| 丁香五月天之婷婷影院| www.日本91| 五月丁香 啪啪| 五月婷婷丁香| 国产日韩欧美性爱| 大地9中文在线观看免费高清| av亚洲国产小电影| 综合色色五月| 丁香五月激情五月| 亚洲av成人电影在线观看| 99人人操人人操人人精| 六月丁香大香蕉| 天天做天天爱天天搞| 欧美日韩AAAAA| 99色热视频| 久热播这里只有精品| 噜噜吧天天爱| 大香蕉五月丁香| 五月开心久久| 天天揷综合网| 99综合成人视频在线观看| 日熟女| 色婷婷av在线观看| 五月激情精品视频| 五月婷婷丁香综合网| 色五月婷婷小说亚洲中文字幕组| 九热精品| 大香蕉久操| 丁香五月天AV在线 | 噜噜操操| 五月六月播婷婷| 另类国产综合| 欧美色色色色色| 97碰免费视频在线| 国产精品色| 综合色五月亭亭| 五月激情久久| 综合色网站| 99国产er热视频| 五月天堂在线| 天天摸夜夜夜| 翔田千里 50岁 无码| av大香蕉| 色婷婷色丁香色欲av| 色三级色三级| 婷婷丁香五月精品| 亚洲欧美一区二区三区四区爱爱动图| 99热99美国在线观看| 99在线免费视频| 久久婷婷免费| 激情综合在线观看| 婷婷激情综合无月| 久久久精品色| 99视频在线精品| 99亚洲精品综合在线| 先锋资源婷婷| 精品一区二区三区四区五区六区介绍 | 久青操| www好屌操| 五月丁香花视频| 国产亚洲99久久精品| 在线看AV| 99色视频| 婷婷五月天堂一本在线| 国产亚洲精品久久一区二区三区| 婷婷色婷婷| 人妻激情网| 99热日韩这里只有精品| 亚洲成人人人操| 中文字幕在线免费观看视频| 婷婷丁香综合在线| 99er日韩| 人人干av| 免费视频WWW在线观看网站| 大香蕉啪啪啪啪啪啪| 激情美女五月天| 天天做天天爱| 99色| 99精品视频偷拍| 99热视精品| 丁香久久| 99久热精品在线| 九九在线免费观看| 超碰色色综合| 26uuu成人网| 丁香五月狠狠在线观看| 99爱在线视频| 久九男女天堂| 91操人| 性天天中文网| 性爱视频99| 狠狠色婷婷7777久综合| 色五月视频无码播放| 亚洲不卡| 九九九九中文字幕| 九九一综合精品| 色999;丁香五月| 久久精品99久久久久久久久| 五月婷婷五月天天| 色婷视频| 99热超| 午夜电影网VA内射| 激情视频网址| 九九九午夜视频| 五月婷婷开心亚州在线| 五月婷婷丁香六月| 婷婷久久久久| 99久热这里只有精品| 男人大jjc女人免费视频| 狠狠色丁香| 亚洲网站999| 久久一伦| 99视频在线观看欧| 激情综合五| 五月丁香六月婷综合成人综合| 99综合| 色色9 9| 丁香综合伊人AV| 亚洲色啪| 成人网址在线观看| www.91婷婷| 中文字幕天天干| 久色网五月| 国产古装妇女野外A片| 婷婷,五月天,丁香,第一| 日日干天天射| 久久久精品99| 婷婷五月天激情在线| 91精品刘玥| 九九草热在线观看| 激情第四色| 色婷丁香五月| 91要啪| 久久精品系列| 欧美色五月| 久久精品五月| 看久久性爱视频| 高清免费在线视频| 色婷婷综合网站| 天天干,夜夜爽| 国产亚洲色婷婷99精品| 免费视频无码| 五月伊人综合| 天天婷婷综合亚洲亚洲| 九九热在线观看6| 久久这里只有精品热在99| 日本 欧美在线| 日韩亚洲视频| 99精品在线观看| 九九热在线精品视频| 97色碰| 婷婷天天日婷婷| 亚洲综合字幕色色| 婷婷伊人久久| 久久婷婷伊人| 久久亚洲激情五码| 天天插天天狠| 丁香五月天激情综合| 五月天丁香啪啪综合| 五月婷色| 欧美综合激情五月丁香| 天天色,天天日,天天做| 久久久人妻| 丁香五月婷婷久久综合激情网| 色色色99| 在线成人网站| 成人av免费观看| 久久黄A片| 国产99热| 天天综合天天玩夜夜玩天天玩夜夜玩 | 另类激情五月| 免费看成人AA片无码视频吃奶| 狠狠五月天婷婷| 日日日日日| 五月丁香六月激情网| 思思热在线| anquye五月| 久久天堂色| 四色五月婷婷| 色色色区| 人妻精品一区二区三区| 久久aaa| 中文字幕一色哟哟哟哟| 伊人婷婷五月天av| 色婷婷成人久久| 亚洲无线视频| 67194国产| 天天日夜夜爽| 亚洲情a| 日韩成人电影在线播放| 超碰人人99| 婷婷五月激情四月综合 | 久久久18| 色噜噜狠狠色综合无码久久欧美| 九色婷婷| 开心五月激情五月丁香五月婷婷| 色综合av超碰| 另类A片| 97色色色色| 5月丁香美女影院| 99热这里只有精品99| 久久9久| 影音先锋女人AA鲁色资源| 五月天激情av| 91婷婷搞| 久/久精品99看9| 伊人午夜综合色啪| 91精品久久久久久久久久久久| 婷婷久久五月| 99热色在线精品| 怡春院久操| 成人精品视频99在线观看免费| 99热成人在线观看| 丁香激情四射| 狠狠综合| 激情亚洲网| 91超级碰碰| 久久婷婷五月综合色欧美| 开心激情五月天网| 9er热在线精品视频| AV片在线观看| 99综合一区| 九九热只有这里是精品| 日本天堂久久| 婷婷色婷婷| 天天插天天插天天插| 亚洲天堂啪啪| 国产黄色在线| 九九精品综合| 夜夜夜夜做天天天做无码视频| 91碰免费视频| 国产成人网址| 五月 婷婷 成人| 97色在线视频| 色99xx| 久久激情视频| 五月激情五月婷婷五月天在线| 天堂综合久久| A片试看120分钟做受图片| 日日噜噜夜夜狠狠久久丁香五月| site:wpjngj.com| 日韩av网站在线观看| 超碰久热| 五月天啪啪啪| 五月视频日本免费观看| 亚洲婷婷久久综合| 久久人妻熟女一区二区| 色爱亚洲| 99热国产这里只有| Www99热| 婷婷伊人久久无码色五月| 99久视频| 激情五月,婷婷五月,丁香五月| 亚洲综合视频天天精品| 99热99| 婷婷99狠狠躁天天久久久九九九| 久久总和99| 啪到高潮激情丁香五月| 欧美日韩大黄| 中文字幕日韩成人| 色婷婷AV在线观看| 天天做天天爱天天爽| 亚洲免费av在线| 五月婷婷开心六月激情小说| 深爱激情中文五月天av| 丁香六月婷| 丁香六月天婷婷色| 狠狠综合网| 97干婷婷| se99视频| 久久婷婷六月综合资源| 久久久婷婷婷| 怡红院91a√| 亚洲av综合在线| 色狠狠色噜噜AV天堂五区 | 狠狠操天天操天天操| 玖玖综合色|