欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Hive數(shù)倉SQL遷移Spark SQL:方言差異、UDF改造與數(shù)據(jù)驗(yàn)證實(shí)戰(zhàn)梳理

Hive數(shù)倉SQL遷移Spark SQL:方言差異、UDF改造與數(shù)據(jù)驗(yàn)證實(shí)戰(zhàn)梳理 從接手的那天起我就知道這活兒沒有表面看起來那么簡單。團(tuán)隊(duì)反饋過來的需求很簡短——把現(xiàn)有的Hive數(shù)倉SQL遷移到Spark SQL。我當(dāng)時(shí)的第一反應(yīng)是這不就是把SQL語句改一改、換個(gè)引擎跑嗎等真正干起來才發(fā)現(xiàn)整個(gè)spark-sql migration最耗時(shí)的地方根本不在翻譯SQL而在于兩套引擎在語義、元數(shù)據(jù)、UDF和運(yùn)行時(shí)行為上的隱性差異。這篇文章就把我在這個(gè)遷移項(xiàng)目里的完整經(jīng)歷、踩坑過程和沉淀下來的檢查清單一次說清楚。無論你是正準(zhǔn)備把Hive作業(yè)遷到Spark SQL還是想把老的Spark 2.x作業(yè)升級(jí)到Spark 3.x又或者是把其他引擎的SQL方言整理成Spark SQL規(guī)范都應(yīng)該能從這里面找到可以直接抄作業(yè)的部分。1. 動(dòng)手之前先分清你要做的是哪一種Spark SQL遷移很多人一聽到migration就默認(rèn)是在做引擎替換這其實(shí)是個(gè)誤區(qū)。我在項(xiàng)目啟動(dòng)前做的第一件事就是把遷移這件事拆成了三個(gè)完全不同的類型因?yàn)樗鼈兊墓ぷ髁俊L(fēng)險(xiǎn)點(diǎn)和驗(yàn)收方式完全不一樣。1.1 引擎替換型Hive作業(yè)遷到Spark SQL這是最典型的一種也就是把原本跑在Hive on MR或Hive on Tez上的SQL作業(yè)整體切換到Spark SQL引擎上執(zhí)行。這種遷移的核心矛盾在于Hive和Spark SQL雖然都支持絕大部分HiveQL語法但Spark SQL的Catalyst優(yōu)化器有自己的執(zhí)行語義尤其在子查詢、隱式類型轉(zhuǎn)換、NULL處理和窗口函數(shù)邊界上兩邊的行為差異非常明顯。我在項(xiàng)目里遇到的一個(gè)典型問題是Hive里允許把String類型字段直接和BigInt類型做等值JOIN引擎會(huì)自動(dòng)做寬松的隱式轉(zhuǎn)換跑起來一點(diǎn)問題沒有。但同樣的SQL切到Spark SQL如果不開兼容開關(guān)直接拋AnalysisException提示cannot resolve或類型不匹配。這類問題在存量幾百條SQL的數(shù)據(jù)倉庫里幾乎每十條就能碰上一次。1.2 版本升級(jí)型Spark 2.x作業(yè)遷到Spark 3.x第二種類型是Spark版本大版本升級(jí)。很多團(tuán)隊(duì)之前用Spark 2.4跑得好好的因?yàn)樾鹿δ?、安全補(bǔ)丁或云平臺(tái)服務(wù)期限的原因必須升到Spark 3.x。這類遷移表面上不動(dòng)SQL業(yè)務(wù)邏輯但Spark 3.0開始默認(rèn)啟用了ANSI模式的部分規(guī)則還把很多老參數(shù)標(biāo)記為deprecated導(dǎo)致原來能跑的生產(chǎn)作業(yè)突然在測(cè)試環(huán)境翻車。最典型的例子是spark.sql.legacy.allowCreatingManagedTableUsingNonemptyLocation這類遺留行為開關(guān)以及spark.sql.shuffle.partitions默認(rèn)值變化對(duì)性能的影響。這不是改SQL的問題而是調(diào)參和語義對(duì)齊的問題。1.3 方言轉(zhuǎn)換型把Presto、Flink SQL等方言整理為Spark SQL規(guī)范第三種類型相對(duì)少見但也不是沒有——把Presto/Trino或者Flink SQL的查詢邏輯統(tǒng)一改寫成Spark SQL規(guī)范。這種遷移的難點(diǎn)是函數(shù)名和語義映射比如Presto的approx_distinct到Spark SQL是approx_count_distinctFlink的HOP窗口在Spark SQL里要用window函數(shù)或flink風(fēng)格改寫稍不注意就會(huì)算出完全錯(cuò)誤的結(jié)果。MIGRATION COCKPIT操作手冊(cè)里有一句話我很認(rèn)同數(shù)據(jù)遷移的核心不是搬而是驗(yàn)證搬過去之后的行為一致。放在這里也一樣——搞清楚你是哪一種遷移才能決定后面每一步的精力分配。我在項(xiàng)目啟動(dòng)前先做了一輪資產(chǎn)盤點(diǎn)把待遷移SQL按來源、涉及引擎特性、是否含UDF做了分類這一步幫我在后面省下大量排查時(shí)間。2. 方言差異清單同一條SQL在兩個(gè)引擎里的行為可能完全不同如果說遷移項(xiàng)目的前半程是能跑通后半程就是跑得對(duì)。很多SQL在Hive里跑得很歡到Spark SQL里要么直接報(bào)錯(cuò)要么悄無聲息地給你一個(gè)不同的結(jié)果。這里我把自己實(shí)際遇到過且概率較高的方言差異點(diǎn)整理成了一份清單。2.1 ANSI模式開關(guān)一切差異的源頭Spark SQL從3.0開始引入spark.sql.ansi.enabled開啟后對(duì)類型轉(zhuǎn)換、除零、非法日期等行為的約束非常嚴(yán)格。Hive則默認(rèn)走盡力轉(zhuǎn)換的路線字符串轉(zhuǎn)數(shù)字轉(zhuǎn)不了就返回NULL而ANSI模式下直接拋異常。舉個(gè)例子在Hive里執(zhí)行SELECT CAST(abc AS INT)結(jié)果是NULL作業(yè)照常跑。同一個(gè)語句放到Spark SQL的ANSI模式下直接拋NumberFormatException。這會(huì)讓很多原本能用的臟數(shù)據(jù)邏輯突然變成作業(yè)失敗。我在遷移項(xiàng)目里的處理方案是對(duì)于存量Hive作業(yè)先用spark.sql.ansi.enabledfalse跑通再逐批開啟ANSI并修正SQL。這么做是為了把語法層遷移和數(shù)據(jù)質(zhì)量治理兩個(gè)目標(biāo)分開推進(jìn)避免混在一起后問題無法定位。2.2 常用函數(shù)行為差異對(duì)照表下面是我們?cè)谶w移過程中踩過且修復(fù)過的具體函數(shù)差異建議直接保存下來當(dāng)成排查手冊(cè)用場景Hive行為Spark SQL行為遷移建議字符串轉(zhuǎn)數(shù)字失敗返回NULL不報(bào)錯(cuò)ANSI開啟時(shí)報(bào)錯(cuò)關(guān)閉時(shí)返回NULL先判斷臟數(shù)據(jù)比例再用TRY_CAST做安全轉(zhuǎn)換datediff(end, start)返回INT天數(shù)返回INT天數(shù)但日期非法時(shí)行為不同統(tǒng)一先做日期合法性過濾substr與負(fù)索引負(fù)數(shù)索引從尾部計(jì)數(shù)負(fù)數(shù)索引返回空串改寫邏輯或統(tǒng)一約定參數(shù)非負(fù)count(distinct col)精確去重計(jì)數(shù)精確去重計(jì)數(shù)但大key傾斜風(fēng)險(xiǎn)更高數(shù)據(jù)量大時(shí)改用approx_count_distinctNULL排序升序時(shí)NULL默認(rèn)排在最前升序時(shí)NULL默認(rèn)排在最后可用NULLS FIRST/LAST控制顯式指定NULLS排序方向map與struct構(gòu)造語法較寬松對(duì)類型一致性要求更嚴(yán)格提前統(tǒng)一元素類型LATERAL VIEW explode空數(shù)組不輸出行空數(shù)組不輸出行但explode_outer才保留原行明確是否需要保留空行上面每一個(gè)差異都在我這次遷移中至少觸發(fā)過一次線上問題。特別是NULL排序這個(gè)點(diǎn)明明同一個(gè)結(jié)果集Hive和Spark排出來的前幾條記錄完全不同做數(shù)據(jù)驗(yàn)證時(shí)直接對(duì)不上賬。2.3 隱式類型轉(zhuǎn)換JOIN條件里的隱形殺手隱式類型轉(zhuǎn)換是遷移中最隱蔽的一類問題。在Hive里String和Int做等值JOIN時(shí)引擎會(huì)嘗試轉(zhuǎn)換通常在Hive里表現(xiàn)為把字符串先轉(zhuǎn)成數(shù)值。但Spark SQL在默認(rèn)情況下要求兩邊的數(shù)據(jù)類型匹配度高否則就走BroadcastNestedLoopJoin或者直接報(bào)錯(cuò)。我遇到過一個(gè)典型的生產(chǎn)故障兩張事實(shí)表用order_id關(guān)聯(lián)一張表的字段類型是INT另一張表在Hive建表時(shí)沒注意變成了STRING。Hive里跑了兩年都沒事遷移到Spark SQL后速度驟降排查發(fā)現(xiàn)是因?yàn)轭愋筒灰恢聦?dǎo)致JOIN沒法走SortMergeJoin而走了NestedLoop。修復(fù)方式也很簡單把STRING字段統(tǒng)一轉(zhuǎn)成INT或BIGINTJOIN性能馬上就恢復(fù)了。這里的經(jīng)驗(yàn)是遷移前先做一遍全量元數(shù)據(jù)對(duì)比把類型不一致的JOIN key單獨(dú)列出來不要等到作業(yè)上線了才通過性能問題反查。3. 表結(jié)構(gòu)與元數(shù)據(jù)遷移CREATE TABLE能跑通只是起點(diǎn)很多人在遷移時(shí)只盯著SQL語句忽略了一個(gè)更基礎(chǔ)的東西——目標(biāo)集群里的表定義是否和源集群完全一致。實(shí)際上表結(jié)構(gòu)層面的坑比SQL語法的坑更多而且一旦埋下后面所有作業(yè)都會(huì)受到影響。3.1 建表屬性檢查清單在Migrate your data類的操作手冊(cè)中元數(shù)據(jù)遷移永遠(yuǎn)排在第一步這里我把它落地成了一張可直接對(duì)照的表結(jié)構(gòu)差異檢查表存儲(chǔ)格式TextFile、SequenceFile、Parquet、ORC是否在目標(biāo)集群均已支持壓縮方式源表用Snappy、Zlib還是LZ4目標(biāo)集群的Codec是否配置齊全分區(qū)字段PARTITIONED BY的字段順序、類型是否完全一致分桶信息CLUSTERED BY和BUCKETS數(shù)量是否保留這直接影響Spark的bucket pruning表屬性tblproperties里的transient_lastDdlTime等參數(shù)是否需要保留字段注釋COMMENT信息是否遷移影響下游數(shù)據(jù)字典和數(shù)據(jù)治理行格式與SerDe自定義SerDe類在Spark SQL里是否可用我們項(xiàng)目的表都是從Hive Metastore遷移過來的理論上元數(shù)據(jù)應(yīng)該是同步的。但實(shí)際執(zhí)行時(shí)發(fā)現(xiàn)源集群里有一批用ROW FORMAT SERDE定義的表SerDe類只在老集群的Hive環(huán)境中注冊(cè)過Spark SQL執(zhí)行時(shí)無法加載導(dǎo)致一批作業(yè)全掛在表掃描階段。3.2 文件格式與壓縮Parquet和ORC不是隨便選的文件格式這塊我強(qiáng)烈建議在遷移前就統(tǒng)一好標(biāo)準(zhǔn)而不是沿用每個(gè)業(yè)務(wù)線各自的偏好。Parquet和ORC在Spark SQL里都支持得很好但要注意幾個(gè)細(xì)節(jié)Parquet的schema兼容性Spark SQL讀Parquet時(shí)如果文件里的字段類型和表定義不一致會(huì)走spark.sql.parquet.respectSummaryFiles和mergeSchema相關(guān)邏輯。如果老集群寫入了臟schema新集群可能需要開spark.sql.parquet.enableVectorizedReaderfalse才能正確讀取但這會(huì)犧牲性能。ORC的ACID支持如果源表是Hive ACID事務(wù)表尤其是帶UPDATE和DELETE的遷移到Spark SQL后要確認(rèn)版本。Spark 3.x支持讀取Hive ACID表但不支持所有的ACID寫入操作需要評(píng)估是否改寫寫入鏈路。壓縮算法的Codec名稱Hive里寫的是org.apache.hadoop.io.compress.SnappyCodecSpark SQL里經(jīng)常簡寫成snappy兩邊要能正確識(shí)別。如果Codec缺失作業(yè)不會(huì)報(bào)錯(cuò)但文件大小會(huì)異常膨脹。3.3 INSERT OVERWRITE的語義差異一個(gè)容易忽略的坑INSERT OVERWRITE在Hive和Spark SQL里的語義對(duì)分區(qū)表的處理不同。Hive的INSERT OVERWRITE默認(rèn)是覆蓋動(dòng)態(tài)分區(qū)對(duì)應(yīng)的分區(qū)目錄但Spark SQL在早期版本曾經(jīng)出現(xiàn)過覆蓋整張表或覆蓋非預(yù)期分區(qū)的行為。雖然Spark 3.x已經(jīng)默認(rèn)按分區(qū)覆蓋但如果你是從Spark 2.1或更早版本一路升級(jí)過來的一定要在測(cè)試環(huán)境驗(yàn)證一遍。我建議的統(tǒng)一規(guī)范是所有分區(qū)寫入都顯式指定靜態(tài)分區(qū)或者保證動(dòng)態(tài)分區(qū)的predicate足夠收斂不要依賴引擎默認(rèn)行為。這看起來保守但能在遷移期減少大量意外。4. UDF/UDAF遷移改造最容易拖慢進(jìn)度的隱蔽環(huán)節(jié)在Hive SQL向Spark SQL遷移的過程中最容易被低估的就是UDF和UDAF資產(chǎn)。很多團(tuán)隊(duì)的SQL看起來只是幾十個(gè)查詢但背地里掛了十幾個(gè)自定義函數(shù)有的還是用Hive的Java接口寫的。這些UDF在Spark SQL里能不能跑、性能如何直接決定整個(gè)遷移的排期。4.1 先盤點(diǎn)再動(dòng)手搞定UDF資產(chǎn)清單我接手項(xiàng)目時(shí)先做了一個(gè)UDF資產(chǎn)盤點(diǎn)按照以下維度建了一張表UDF名稱語言注冊(cè)方式邏輯復(fù)雜度能否用內(nèi)置函數(shù)替代遷移優(yōu)先級(jí)get_md5JavaHive永久函數(shù)低spark內(nèi)置md5可替代高parse_urlJavaHive永久函數(shù)低內(nèi)置parse_url可替代高json_extractPython臨時(shí)函數(shù)中建議改用get_json_object高geo_distanceJava永久UDF中無內(nèi)置替代中rank_by_groupScala永久UDAF高可用窗口函數(shù)改寫低這么一盤很多UDF其實(shí)是多余的。能用內(nèi)置函數(shù)替代的我建議一律用內(nèi)置函數(shù)因?yàn)閁DF在Spark SQL里不僅僅是寫法問題還涉及序列化、代碼生成和優(yōu)化器穿透性能差距很大。4.2 Hive UDF與Spark SQL的兼容調(diào)用Spark SQL天然支持加載Hive的UDF只需要在SQL里通過CREATE TEMPORARY FUNCTION或永久函數(shù)注冊(cè)即可。但要注意三點(diǎn)第一Jar包的依賴沖突。我們有一個(gè)Hive UDF依賴了舊版本的Guava和Jackson在Hive里沒事加載到Spark里直接和Spark自身依賴的版本沖突ClassNotFound和NoSuchMethodError滿天飛。這種問題排查周期很長強(qiáng)烈建議提前做依賴隔離測(cè)試。第二UDF的返回值類型聲明。有些Hive UDF用ObjectInspector實(shí)現(xiàn)返回值類型推斷在Spark SQL里可能會(huì)被識(shí)別為BinaryType而不是StringType導(dǎo)致結(jié)果集在展示和落盤時(shí)出現(xiàn)亂碼或者類型轉(zhuǎn)換異常。遇到這種情況需要在注冊(cè)函數(shù)時(shí)顯式指定返回類型。第三Python UDF的性能問題。Python UDF在Spark里每個(gè)分區(qū)的每行數(shù)據(jù)都要經(jīng)過Arrow序列化和反序列化數(shù)據(jù)量大時(shí)性能衰減非常明顯。我在項(xiàng)目里遇到一個(gè)Python UDF處理JSON字段源作業(yè)在Hive里跑15分鐘切到Spark后跑了將近兩個(gè)小時(shí)。后來把邏輯改寫為get_json_object和from_json內(nèi)置函數(shù)組合才把作業(yè)壓縮到10分鐘以內(nèi)。4.3 用SQL表達(dá)式替代UDF遷移之外的額外收益這里提供一個(gè)經(jīng)驗(yàn)思路遇到UDF先問自己三個(gè)問題——這個(gè)函數(shù)能不能用SQL表達(dá)式加內(nèi)置函數(shù)拼出來能不能用CASE WHEN解決能不能用窗口函數(shù)替代只有三個(gè)都回答不了才需要保留UDF。我用這種思路處理過一批自研字符串清洗函數(shù)它們?cè)驹贖ive里用Java實(shí)現(xiàn)邏輯是把一串文本里的手機(jī)號(hào)、郵箱、URL脫敏??雌饋砗軓?fù)雜但實(shí)際上用正則表達(dá)式regexp_replace配合幾個(gè)CASE WHEN就能實(shí)現(xiàn)不僅省去了UDF遷移的部署工作執(zhí)行速度還提升了4倍以上。5. 數(shù)據(jù)結(jié)果比對(duì)怎么確認(rèn)遷完之后的數(shù)是對(duì)的遷移到一半的時(shí)候業(yè)務(wù)方一定會(huì)問你一句你確定遷完之后的數(shù)據(jù)是對(duì)的嗎面對(duì)這種問題光拍胸脯沒有用得有一套數(shù)據(jù)驗(yàn)證的機(jī)制。我在這套機(jī)制上的投入幾乎和SQL改寫本身一樣多。5.1 三層校驗(yàn)法從粗到細(xì)逐步逼近我把數(shù)據(jù)比對(duì)設(shè)計(jì)成了三個(gè)層級(jí)從速度和置信度兩個(gè)維度做平衡第一層是行數(shù)與主鍵唯一性校驗(yàn)。最簡單也最可靠每個(gè)表跑一下COUNT(*)關(guān)鍵表再跑一下主鍵去重后的數(shù)量和源集群對(duì)比。如果連行數(shù)都對(duì)不上后面就不用比了。我們遷移的第一個(gè)月里有將近40%的表在這一層就被攔下來了原因包括分區(qū)目錄丟失、數(shù)據(jù)重復(fù)寫入和JOIN類型變化導(dǎo)致的行數(shù)膨脹。第二層是關(guān)鍵聚合指標(biāo)校驗(yàn)。對(duì)每個(gè)業(yè)務(wù)表抽取一組核心指標(biāo)比如金額求和、訂單數(shù)COUNT、用戶數(shù)COUNT(DISTINCT)在源集群和目標(biāo)集群分別執(zhí)行對(duì)比結(jié)果。這一層能發(fā)現(xiàn)大部分明細(xì)數(shù)據(jù)錯(cuò)亂的問題。需要注意COUNT(DISTINCT)在超大寬表上的執(zhí)行效率不高可以采樣后用approx_count_distinct對(duì)比精度完全夠用。第三層是抽樣明細(xì)比對(duì)。針對(duì)數(shù)據(jù)量特別大且不允許誤差的表我采用分層抽樣——按業(yè)務(wù)日期各抽一天的完整全量數(shù)據(jù)做全字段比對(duì)。比對(duì)方法是通過hash函數(shù)將每行序列化成指紋然后做集合差集。這一層的成本最高所以一般只應(yīng)用于核心交易表和用戶主數(shù)據(jù)表不會(huì)對(duì)全部表做。5.2 空值與邊界值數(shù)據(jù)比對(duì)中最容易忽略的部分?jǐn)?shù)據(jù)比對(duì)結(jié)果不一致很多時(shí)候不是真的一致性問題而是空值語義差異和邊界值格式化差異。舉個(gè)例子Hive里的空串和NULL是兩種不同的值但在下游分析時(shí)經(jīng)常被當(dāng)成等價(jià)處理。而Spark SQL在讀取某些字段時(shí)如果文件里實(shí)際是空串而表定義允許NULL部分寫入鏈路會(huì)把這個(gè)空串自動(dòng)轉(zhuǎn)成NULL。對(duì)比結(jié)果一跑差異值全來自這類字段。另外Decimal類型也有類似問題——源表和目標(biāo)表如果精度定義不一樣一個(gè)是DECIMAL(10,2)一個(gè)是DECIMAL(12,4)同一個(gè)數(shù)值在兩張表里Hash出來的指紋就不一樣。所以抽樣比對(duì)前必須先把兩端表的字段類型統(tǒng)一成同一套口徑。5.3 數(shù)據(jù)驗(yàn)證過程的自動(dòng)化手工執(zhí)行SQL驗(yàn)證在三五十張表的時(shí)候還能靠人肉推進(jìn)到了幾百張表的量級(jí)就完全不可行了。我建議把驗(yàn)證流程做成一個(gè)定時(shí)腳本用Shell或者Python按表分批執(zhí)行上述三層校驗(yàn)結(jié)果輸出到差異報(bào)告里。實(shí)操上有幾個(gè)細(xì)節(jié)可以供參考源集群和目標(biāo)集群的數(shù)據(jù)庫連接串、調(diào)度參數(shù)統(tǒng)一放在配置文件里避免腳本里硬編碼每張表的校驗(yàn)SQL由表結(jié)構(gòu)元數(shù)據(jù)自動(dòng)生成比如從Metastore讀取主鍵字段后自動(dòng)拼COUNT DISTINCT語句校驗(yàn)結(jié)果落庫每次遷移批次后自動(dòng)生成一個(gè)diff報(bào)告發(fā)送給相關(guān)方這套機(jī)制不復(fù)雜但能讓數(shù)據(jù)對(duì)不對(duì)從主觀判斷變成客觀可查的流程。6. 上線后踩過的坑三類高頻運(yùn)行錯(cuò)誤實(shí)錄遷移SQL全部跑通、數(shù)據(jù)比對(duì)全部通過之后并不代表項(xiàng)目結(jié)束了。作業(yè)到了生產(chǎn)環(huán)境在真實(shí)數(shù)據(jù)量和并發(fā)條件下還要面對(duì)運(yùn)行時(shí)的那一關(guān)。我把這個(gè)階段遇到的高頻錯(cuò)誤整理成三類每一類都附上了排查思路方便你將來遇到時(shí)能快速定位。6.1 運(yùn)行錯(cuò)誤一JOIN字段類型不一致導(dǎo)致的性能跳水現(xiàn)象是某個(gè)匯總作業(yè)從原來跑20分鐘變成了跑3小時(shí)以上而且集群資源占用居高不下。一開始我以為是資源競爭后來看Spark UI發(fā)現(xiàn)執(zhí)行計(jì)劃里出現(xiàn)了BroadcastNestedLoopJoin而正常的等值JOIN應(yīng)該走SortMergeJoin。排查時(shí)我打開了兩張表的schema才發(fā)現(xiàn)一張表的user_id是INT另一張表是STRING。在Hive里引擎自動(dòng)做了轉(zhuǎn)換所以察覺不出來到了Spark SQL由于類型不完全匹配優(yōu)化器選用了兜底的NestedLoop方案。修復(fù)方式很簡單把JOIN條件的字段顯式轉(zhuǎn)換成同一類型再查看執(zhí)行計(jì)劃確認(rèn)已經(jīng)恢復(fù)成SortMergeJoin。這件事也讓我養(yǎng)成了一個(gè)習(xí)慣任何涉及JOIN和分區(qū)的字段遷移前必須做一輪類型一致性檢查。6.2 運(yùn)行錯(cuò)誤二Decimal精度溢出現(xiàn)象是某個(gè)金額計(jì)算作業(yè)在遷移后偶發(fā)報(bào)錯(cuò)錯(cuò)誤信息是java.lang.ArithmeticException: Decimal overflow。源集群Hive里同樣的計(jì)算一直正常為什么到了Spark SQL就溢出原因是Spark SQL在計(jì)算DECIMAL(p,s)類型的乘法、除法時(shí)有一套嚴(yán)格的精度和小數(shù)位推導(dǎo)規(guī)則。比如兩個(gè)DECIMAL(10,2)相乘按規(guī)則會(huì)推導(dǎo)成DECIMAL(21,4)超出某些場景下的允許精度。Hive在對(duì)應(yīng)場景下則做的是更寬松的轉(zhuǎn)換。解決方案有兩個(gè)方向一是把相關(guān)字段的類型統(tǒng)一擴(kuò)展到更大精度二是修改計(jì)算邏輯中的CAST位置先轉(zhuǎn)成DOUBLE再計(jì)算并在最終結(jié)果處轉(zhuǎn)回DECIMAL。第二種方案要注意浮點(diǎn)數(shù)精度損失金額敏感場景建議先放大精度再運(yùn)算。6.3 運(yùn)行錯(cuò)誤三動(dòng)態(tài)分區(qū)暴增導(dǎo)致Driver OOM現(xiàn)象是某張分區(qū)表的寫入作業(yè)頻繁O(jiān)OM錯(cuò)誤日志定位到Driver端內(nèi)存不足。查看分區(qū)情況后發(fā)現(xiàn)這個(gè)作業(yè)寫入時(shí)按天和按渠道兩個(gè)字段做動(dòng)態(tài)分區(qū)某天數(shù)據(jù)量特別大生成了幾萬個(gè)分區(qū)Driver端維護(hù)分區(qū)元數(shù)據(jù)的內(nèi)存瞬間被打滿。這個(gè)問題的修復(fù)方案有三步第一步在寫入SQL里對(duì)不同數(shù)據(jù)量的渠道做拆分流量大的渠道走獨(dú)立作業(yè)單獨(dú)指定靜態(tài)分區(qū)寫入第二步動(dòng)態(tài)分區(qū)寫入前先預(yù)估分區(qū)數(shù)量超過閾值時(shí)改走批處理循環(huán)比如按渠道維度循環(huán)執(zhí)行一個(gè)個(gè)靜態(tài)分區(qū)寫入第三步適當(dāng)調(diào)大spark.sql.maxDynamicPartitions上限并增加Driver內(nèi)存。這里的核心經(jīng)驗(yàn)是**動(dòng)態(tài)分區(qū)不是越多越好它和Driver內(nèi)存之間有直接的線性關(guān)系。**在遷移大表時(shí)如果發(fā)現(xiàn)分區(qū)數(shù)異常增長應(yīng)該優(yōu)先從業(yè)務(wù)上拆分寫入任務(wù)而不是一味調(diào)大參數(shù)。7. 寫在最后遷移檢查清單與個(gè)人體會(huì)文章的最后一部分我按遷移前、遷移中、上線前、上線后四個(gè)階段整理了一份完整的檢查清單權(quán)當(dāng)項(xiàng)目復(fù)盤留檔。這份清單不一定適用于所有團(tuán)隊(duì)但大體框架可以復(fù)用。階段檢查項(xiàng)完成標(biāo)準(zhǔn)遷移前SQL資產(chǎn)盤點(diǎn)與UDF資產(chǎn)盤點(diǎn)輸出待遷SQL清單、UDF依賴清單遷移前元數(shù)據(jù)對(duì)比所有表/視圖字段類型、分區(qū)、存儲(chǔ)格式差異清單遷移前環(huán)境參數(shù)對(duì)齊ANSI模式、Codec、序列化器、Metastore版本梳理完畢遷移中SQL語法改造全部作業(yè)在測(cè)試集群跑通耗時(shí)記錄在案遷移中UDF替換與改寫無法替代的UDF已重新編譯并完成依賴隔離遷移中三層數(shù)據(jù)校驗(yàn)核心表行數(shù)、聚合、抽樣明細(xì)全部通過上線前執(zhí)行計(jì)劃對(duì)比JOIN類型、分區(qū)裁剪、Shuffle分區(qū)數(shù)符合預(yù)期上線前資源參數(shù)調(diào)優(yōu)shuffle分區(qū)數(shù)、Executor內(nèi)存、并行度按目標(biāo)數(shù)據(jù)量配置上線后灰度與監(jiān)控先切10%流量觀察再逐步放大到全量上線后回滾預(yù)案數(shù)據(jù)回流腳本和雙跑機(jī)制保留至少兩個(gè)賬期最后再分享一點(diǎn)個(gè)人體會(huì)。我剛開始做這個(gè)遷移項(xiàng)目的時(shí)候以為最大的困難會(huì)來自復(fù)雜的SQL改寫后來才發(fā)現(xiàn)真正消耗精力的是那些平時(shí)的隱形約定——隱式類型轉(zhuǎn)換、UDF的序列化行為、動(dòng)態(tài)分區(qū)數(shù)量這些細(xì)節(jié)平時(shí)在Hive里跑著一點(diǎn)感知都沒有換了引擎就全都冒出來了。如果你也在做類似的spark-sql migration我的建議是不要把遷移當(dāng)成一次性翻譯工程而是當(dāng)成一次數(shù)據(jù)鏈路的重構(gòu)。在排期里多預(yù)留兩到三成的時(shí)間給數(shù)據(jù)核對(duì)和異常排查這個(gè)時(shí)間會(huì)連本帶利地還給你。遷移本身不難難的是證明遷完之后行為和原來一致——在這一點(diǎn)上任何工具和腳本都替代不了你對(duì)自己數(shù)據(jù)的理解深度。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷久久| 久久激情天堂| 成人无码精品1区2区3区免费看| 婷婷五月网图片区| 精品五月天| av国产精品| 午夜九九九九九九九九九九九九九| 亚洲人妻一区二区| 午夜69成人做爰视频| 九色PORNY自拍成人精彩视频| 日日爱699| 丁香五月久久| 婷婷99| 五月天播播中文字幕| 99re热视频这里只精品| 久热这里这里有精品| 欧美色99| 六月丁香色色色| 五月花婷婷丁香| 天天爱天天操| 久久色情| 久99久视频| 91亚洲天堂| 五月天激情日色在线| 婷婷亚洲色| 另类激情五月| AV操逼网| 国产婷婷五月天| 色色色.COM| 人妻内射一区二区在线视频| 99色看这里只有精品| 996热| 99热全是精品| 九九無妻| 五月丁香激情啪啪| 91蜜桃婷婷狠狠久久综合9色| 日本狠狠干| 婷婷5月久久综合网站| 影音先锋女人av鲁色资源网小说免费 | 亚洲婷婷丁香五月视频| 欧美性猛交XXXX乱大交极品| 性婷婷| AV大香蕉| 大香蕉手机视频| 91综合色| 久99综合婷婷| 九九色色网| 免费成片在线观看| 日本五月天婷婷丁香| 桃色五月婷婷| 久久五月激情| 日本欧美999久久久三级片| 天天舔天天摸视频| 在线超碰免费| 婷婷五月天电影区小说区| 一本色道久久综合狠狠躁一二三| 婷婷六月伊人| www.cao.com久久| 综合色色婷婷| 丁香五月婷婷五月基地| 五月天六月婷| 丁香五月天婷婷大香蕉| 777色色色| 丁香五月婷婷香| 99成人小视频| 亚洲视频在线网| 国语精品探花| 91窝窝| 婷婷色五月色| 91在线操| 成人在线网址| 激情五月婷黄版| 久色网| 亚洲操逼网| 色色五月丁香婷婷| 嫩草AV久久伊人妇女超级A| 亚洲五月花| 色婷婷六月性| 996er热| 亚洲无码免费看| 亚洲无码九九| 五月花激情网| 99在线视频播放| 色五月天丁香婷婷| 五月天婷婷久久视频| 五月婷成人| 婷婷五月天久久| 九九色中文| 五月婷激情| 九色PORNY9l原创自拍| 亚洲色综合| 成人午夜无码视频| 激情五月天网站| 婷婷丁香五月天综合网| 97啪在线观看视频| 亚洲丁香五月天视频| 五月天另类图片区99| 操逼视频一区| 激情五月天噢美| 99热免费| 性日本精品| 欧美六月婷婷| www.婷婷五月天| 色播五月丁香| 老妇六区| 五月天桃色深爱网| 久/久精品99看9| 伊人婷婷激情| 久久九九经典| 色婷婷9| 综合久| 日日夜夜干| 九九免费视频| 成人五月天婷婷| 狠狠精品干练久久久无码中文字幕 | 激情五月婷| 日本天天综合| 91在线观看www| 丁香五月天.com| 91综合在线| 99热免费| 色五月丁香五月天| 色99日韩| 亚洲第一成人无码A片| 婷婷丁香五月综合激情小说| 久久五月激情综合| 色婷婷成人做爰A片免费看网站 | 五月丁香婷婷钟和色图| 蜜臀99精品| 97人人操在线| 久久A极片| 亚洲亚洲永久无码777777| 中日韩狠狠色| 丁香六月婷| 激情五月天小说视频| 日韩三及成人AV片| 99热在线观看| 97色色色色色| 日韩色色色色色| 少妇搡BBBB搡BBB搡毛茸茸| 深爱五月网| 亚洲操逼片| 国产肥白大熟妇BBBB视频| 这里只有免费的精品| 免费AV在线网址| 色婷婷久久| 五月天婷婷色播| 亚洲国产网站| 激情AV| 亚洲国产色色| 亚洲精品视频在线播放| 懂色av粉嫩AV蜜臀AV| 另类图片激情五月| 亚洲看av的网站| 色五月97| 色婷婷成人做爰A片免费看网站| 丁香六月婷婷综合在线| 九九五月天| 亚洲妇女熟BBW| 狠狠色丁香| jiujiu热在线视频| 色婷婷四虎| 国产超碰在线| 啄木鸟丝袜美女福利视频| 色色激情网| 成人美女网| 六月激情网| 久久色五月天| 91se在线观看| 国产精品久久久久久喷浆| 中文av网| www.色婷婷。com| 91大屁股精品| 亚洲精品无码一区二区| 亚洲热久久| 成年人夜夜喷水| 天天爽夜夜操| 九九色综合网| 亚洲激情97五月天| 天天日天天狠狠操| 亚洲婷婷婷| 亚洲中文字幕在线观看| 免费亚洲婷婷中文字幕| 久久色这里只有精品| 亚洲婷婷视频| www,色综合| 色色色综合网| 色久女| 天天影视色综合网| 五月天婷基地| 色婷婷a v| 激情性爱五月天网页| 9l视频自拍九色9l视频自拍九色9l社区| 深爱激情久久| www久久久| www.婷婷五月天,com| 亚洲操B| 久久美女五月天| 久久视频这里都是精品| 天堂久久精品| 久久婷婷激情四射五月天| 另类少妇人与禽zOZZ0性伦| 丁香六月激情| 激情色视频| 日本综合久| www.久9| 国产黄大片在线观看画质优化| 日韩综合久久| 五月丁香六月玩女人| 色天天久婷婷| 久碰视频| 91精品婷婷国产综合| 嫩草免费视频| 无码日本精品XXXXXXXXX | 97在线刺激| 五月婷婷啪啪啪啪| 色五月激情综合| 久操热| 婷婷伊人綜合中文| 激情综合网激情五月俺也去| 五月丁香六月婷| 婷婷伊人久久| 日亚二欧美| 激情色视频| 这里只有精品视频国产| 狠狠操狠狠爱| 91九色国产在线| 国产黄色大片| 玖玖99婷婷| 五月婷婷激情综合| 99久热| 亚洲激情久久| 婷婷涩涩五月天| 色五月婷婷激情五月| 婷婷五月天最新综合你懂的| 涩综合网| 亚洲一级AV在线免费播放| 精品人妻午夜一区二区三区四区| 久草五月| 五月综合激情| 婷婷五月综合网| 狠狠狠狠狠狠色| 丁香婷婷噜噜| 夜夜综合色| 青草热视频这里只有精品| 婷婷六月丁香综合| 五月丁香久久网| 九色婷婷| 丁香六月色婷婷| 久激情| 亚洲精品另类| 91久久人人操| 久久天堂女人| 日韩久操婷婷| 丁香五月天日韩无码| 亚洲亚洲人成综合网络| 激情内射人妻1区2区3区| 五月综合视频| 色婷婷丁香五月| 色婷婷网| 色婷婷综合网站| 丁香五月六月综合激情| 九九综合色综合| 五月亭亭开心网| 天天精品视频免费观看| 国产成人亚洲综合A∨婷婷| 五月丁香六月婷婷开心网| 六月婷婷影院| 99热精品6| 狠狠色噜噜狠狠狠888了| 在线五月色播| 丁香五月狠狠综合欧美| 五月丁激情| 色丁香综合影院| 亚洲另类婷婷五月丁香在线播放| 99 热| 精品99这里有| 成熟妇人A片免费看网站| 免费视频无码| 免费无码毛片一区二区A片| 风流少妇A片一区二区蜜桃| 成人电影一区| 极品人妻VIDEOSSS人妻| 五月天丁香啪啪网| 婷婷六月丁综合| 五月婷久草| 五月色情婷婷| 综合色吧| 综合大香蕉| 97精品欧美91久久久久久久| 色综合色综合网| 五月丁香999| 三级黄网站| 国产亚洲色婷婷久久99精品91| www.久久久久| 色综合久久五月| 五月丁香色色综合| 久久婷婷五月综合色播| 色五狠狠| 五月丁香六月婷婷激情网| 五月丁香成年黄色| 色色色色色色色色网站| 欧美精品XXXXBBBB| 久久综合站| 久久久久久18| 婷婷色情网| 欧美日韩99| eeuss人妻| 亚洲视频丁香网va| 丁香五月综合网亚洲综合欧美狠狠| 激情五月综合网最新 | 五月天激情综合首页| 成人va在线观看视频| 高清激情av在线观看| 欧美猛片| 天天婷婷| 日本一道久久| 无码少妇高潮喷水A片免费| 亚洲中文字幕AV在线| 亚洲AV无码电影| 丁香五月 激情文学| 天天综合久久| VA婷婷| 五月天成人网婷婷| 婷婷五月天黄色小说| 五月精品| 天天爽天天爽| 综合久久五| 光棍影院日韩精品| 色婷婷视频| 少妇激情五月婷婷| 五月丁香六月激情欧美综合| 婷婷的99视频网站| 被男人添B超爽视频| 任你爽在线视频| 91在线视频综合| 天天爱天天做天天日| 桃色激情婷婷伊人网| 激情网综合| 午夜婷婷久久 | www.久久久久久久久久.com| 99热久草| 丁香成人综合| 丁香婷婷色五月激情综合| 色一情一乱一乱一区91| 精品一二三区久久AAA片| 亚洲色99综合天堂| 碰碰女| 天天天天天天天干| 五月天激情无码| 日韩色五月| 婷婷激情五月综合| 青青色com久久| 色色色国产| 婷婷五月AA五月在线| 婷婷丁香五月亚洲| 99视频精品在线| 五月成人丁香av91| 殴美日比视频| 色五月色综合| 久久六月天| 天天插天天射| 哇嘎成人久久| 亚洲丁香五月天在线视频| 狠狠色狠狠操| 99性爱| 99久久五月婷婷| 色婷婷丁香| 久久这里只有精品无码| 人人色婷婷| 五月婷婷开心网| 精品久9| 97人人操| 狠狠撸激情综合丁香五月天俺来啦| 99视频久久| 秋霞少妇AV网站| 久久与婷婷| 亚洲婷婷六月天| 伊人网啪啪| 99国产精品久久久久久久久久久 | 影音先锋91资源站| 五月社区丁香| 激情综合在线观看| 丁香色婷婷色手机免费在线| 色琪琪一综合久久激情五月视频| 五月天激情无码高清 | 99re热| site:pnnrt.com| 五月天综合| 操逼巨乳91| 五月丁香六月婷婷综合免| 天天日天天插| 丁香婷婷欧美综合| 99re99在线看| 美欧成人视频| 久久婷婷六月综合国际| 久久五月丁香婷婷| 五月精品| 婷婷色色欧美综合网| 久久久WWW| 五月婷婷丁香综合| 久久草大香蕉| 久99久视频免费观看| 热99视频| 综合色播| 亚洲免费观看高清完整版AV线| 五月天色婷婷视频| 婷婷伊人綜合中文字幕小说| 91超级碰人人操| 色播丁香五月婷婷操:屄| 五月天婷婷综合网| 懂色av粉嫩AV蜜臀AV| 狠狠大香婷婷爱| 婷婷五月视屏| 国产乱子轮XXX农村| 久操干| 99热这里只有精品 搜| 日韩AAAAA| aV欲望人妻中文字幕| 国产五月天激情小说| 天天搡日日搡aaaaⅩ| AV片在线观看| 日日干日日s| 9l视频自拍九色9l视频自拍九色9l社区| 91久女| 日韩一区二区在线播放| 色三级色三级| 婷婷伊人綜合| A久网| 欧美激情五月天| 婷婷五月天综合网| 婷婷五月色惰| 久久九九亚洲| 婷婷五月噜噜| 久草热8精品视频在线观看 | 极品少妇XXXX精品少妇偷拍| 人妻狠狠操| 性爱久久| 久久久九九视频精品18| 天天操夜夜爽| 五月开心播播网| 亚洲五月天,激情视频| 色五月婷婷五月天| 9热久久在线| 免费观看的AV| 思思久久99热只有频精品66| 丁香午月AV中文字幕| 站长推荐无码播放| 亚州综合色| 婷婷王月天影院| 日曰躁夜夜躁2026| 五丁香激情综合| 丁香五月天综合| www色五月| 五月天激情网图片| 久久9热综合| 午夜电影网VA内射| 国产毛片精品一区二区色欲黄A片| 另类A片| 婷婷中文字幕| 99精品女人天堂| 超碰熟女拍拍| 色综合女人99| 天天操综合网站| 666555。COm毛片| 91艹人| 人妻久久久| 色很很96| 996er热| www.久久99| 人妻AV在线观看| 偷拍91九色| 五月天播播中文字幕| 亚洲色区17| www.俺去也com| 丁香五月大香蕉| 久久五月天精品视频| 婷婷开心激情| 亚洲国产精品成人免费一区久久久在线观看AAAA| 五月婷婷人人人操| 99热碰碰热| 情色婷婷五月天| 欧美久久网| 97亚洲婷婷| 国产性爱一级| 99热综合网| 婷婷五月丁香花综合| 天天干天天拍| 亚州操操| www.久久久.com| 99 re视频一区| 婷婷五月大香蕉| 色五月超碰| 色婷婷婷婷| 久99久在线| 九九久久99| 久久婷婷热| 91精品综合久久久久久五月丁香| 噜噜噜噜噜久| 五月天色五月| 丁香六月爱综合| 五月停停大香蕉| 五月天色婷婷成人| 亚洲4区国产欧美| 亚洲午夜一区二区| 五月天婷婷av| 色婷婷亚洲婷婷| 青草性爱视频| 91打屁股免费看| 涩五月丁香| 伊人大香蕉爱聚| 九九性视频| 午夜色丁香| 人妻久久久久久久| 色婷婷久久综合久色综| 丁香五月电影| 视色网在线播放| 五月婷婷色在线| 久久视频这里99| 久久婷婷五| 九九大香蕉黄色影院| 婷综合| 色五月成人| 色婷婷色五月丁香| 天天久久婷婷| 五月丁香好婷婷A片网| 色九区| 99热91| 色五月激情基地| 丁香五月天日韩无码| 五月激情影院| 婷婷99狠狠躁天天躁| 性爱综合网| 丁香六月天色婷婷| 一起草av在线观看| 超碰在线91| 好好日激情五月天| 国产91在线视频| 婷婷久久综| 狠狠搞五月天| 婷婷无五月无码视频| 五月天综合在线观看| 超碰猛烈的性猛交| 俺去也婷婷| 色色aⅤ網| 丁香五月 激情文学| 99久久久久久| 国产婷婷综合| ady狠狠入| 久久婷婷啪啪视频| 婷婷色5月天在线。| 极品嫩草| 久久9久| 99热久只有| 天天肏视奸| 97性视频| 久久五月婷综合网| 欧美日韩国产一区二区| 色五月婷婷老师| 日日操,夜夜爽| 久草五月天| 久色| 六月合五月婷| 超碰成人免费| 色综合激情图区| 大香蕉欧美在线| 婷婷久久午夜网| 色色综合网。| 久久综合爱| 激情婷婷狠狠干| 国产99久9在线| 99无码精品| 在线可以看的av网址| AV操逼网| 中文字幕中文有码在线| www,色婷婷| 色综合久久88色综合天天人守婷| 久热婷婷在线视频| 色播丁香| 狠狠色成人影片| sS丁香五月婷婷| 99久久終合| 六月综合婷婷开心伊人| 亚洲综合丁香五月天| 亚洲国产成人综合| 亚洲中文字幕在线观看| 激情综合网五月| 婷婷综合成人五月天| 五月婷婷九九久久| 国产一区二区三区影院| 日韩黄色电影| 深爱丁香激情| 最新色色五月天| 大香蕉色婷婷伊人在线| 成人在线不卡| 天天夜夜操| 五月丁香啪啪网| 久久婷五月影院| 日本婷婷五月天| 美女丁香五婷婷| 开心婷婷五| 五月婷婷六月丁香首页| 国产精品天天狠天天看| 99久久99九九九99九他书对| 99这里是精品| 激情网五夜婷婷| 玖玖婷婷婷丁香五月| 亚洲欧洲中文日韩久久AV乱码| 色欲午夜无码久久久久久张津瑜| 天天干天天 亚洲| 在线观看的av| 激情五月天福利| 亚洲欧美成人在线| 97热在线精品| 五月婷婷婷婷婷| 五月丁香六月综合情在线观看| 久热久re| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 色色色在线观看| 色五月婷婷7777| 五月激情六月综合| 中文字幕 中文字幕明步| 狠狠色婷婷丁香六月| 五月天丁香婷| Av在线不卡一区| 97五月天| 色婷婷电影网| 丁香六月综合| 五月丁香激情在线| 99热这里只有精品亚洲| 婷婷六月色开| 婷婷九月丁香天堂丁香天堂| 九月丁香久久网| 狠狠狠狠狠| 久久3p| www激情五月天| 无码G高清天| 亚洲中文字幕网| 97碰碰碰| 开心婷婷五月综合| 色五月激情五月| 亚洲热热视频| 99九九玖玖| 精品少妇蜜臀91| 五月丁香婷婷无码中文| 婷婷午夜激情| 亚洲色综久久五月| 色八戒操婷婷| 99国产在线精品视频| 99re这里只有| 九九操操| 九九99香蕉在线视频播放| 五月天深爱激情网| 天天操九九插| 亚洲色涩视频| 五月婷婷啪啪啪| 午夜成人在线免费视频| 欧美五月婷婷综合| 国产AV一区二区三区日韩| 久操大香蕉| 日本3级片一区2区| 久久99网| 俺也去在线视频| 亚洲精品性色| 激情亚洲色图片丁香综合| 激情五月伊人婷婷| 99综合色色色| 九九精品在线视频观看| 婷婷丁香激情综合色情| 91色在线| 中文AV在线观看| 99热 在线播放| 欧美一黄一色一乱一伦| 色狠狠婷婷| 亚洲三A| 777精品久无码人妻蜜桃| 天天综合网在线| 99热网站| 在线日韩视频| 婷婷久久五月天| 色色色色色色色色五月先| w婷婷五月婷婷w| 色九九九九| 99精品网| 久草热在线视频| 99久久网站| 99这里有精品视频视频| 丁香五月综合在线视频| 九九精品视频在线观看| 天天摸色吧天天摸色吧| 无码网站视频| 亚洲操b| 人妻操逼视频| 99这里只有精品视频| 开心深爱激情网| 五月天狠狠网| 婷婷五月天伊人| 婷婷 丁香 精品| 欧美激情综合色综合啪啪五月| 亚洲五月天另类小说图片| 泰州成人视频| 激情五月天影院| 久久99网| 午夜婷婷久久| 久久婷.com| www.91久久| 婷婷五月精品在线| 婷婷五月综合啪| 亚洲丁香五月| 激情綜合W W W,激情五月天| 五月天啪啪啪| www.99热精品| av在线免费播放| 激情AV| 五月婷婷五月天| 亚洲第一综合| 一本色道久久88加勒比| 男人大jjc女人免费视频| 20253AV| 日韩五月婷婷| 久久婷婷五月天蜜桃| 啪啪91| 婷婷区日本| 99.色| 天天婷婷色六月| 丁香五月天之婷婷影院| 影音先锋四区| 天天日天天爽夜夜爽| 狠狠精品干练久久久无码中文字幕| 激情五月婷婷| 日本97人人| 综合激情专区| 色五月色五天色情网| 99热99在线| 综合色五月天| 婷婷五月美女直播| www.婷婷,com| 天天日天天摸| 成人做爰高潮A片免费视频| 97碰碰草| 99九九视频精彩在线| 另类激情综合| 天天爱天天做天天舔| WWW激情五月天| 丁香五月综合在线观看| 精品色色| 九九综合久久| 少妇高潮呻吟A片免费看软件| 欧美色片中文字幕久久久久| 丁香啪啪中文字幕| 另类激情四射| 色综久久AV| 日本成人小说婷婷六月| 五月婷婷五月| 久久99网| 九七色色六月丁香| av第一二区| www久久久| 亚洲综合色丁香五月天| 少妇达人正片在线播放_ikun_福利吧| www.99久久久| 乱精品一区字幕二区| 99久久天堂婷婷| 午夜亚洲国产精品av一区二区| 丁香五月天色| 九九爱激情| 最新久久网址| 2018国产大陆天天弄| 99久久終合| 欧美激情丁香五月| 亚洲激情免费视频| 久久9久| 影音先锋男人女人| 九热久| 五月丁香激情综合欧美| 婷婷久月| 天天干,天天日| 在线成人av播放| 婷婷久久综合| 婷婷五月骚厕所| 婷婷丁香九月| 久久久99精品免费观看| 欧美 日韩 成人| 亚洲夜五月| 亚洲精品激情| 夜夜躁爽日日| 91热在线观看视频| 91久久婷婷| 国产另类综合| 日本99热| 五月丁香久久激情综合| 久久久久久久97| 丁香激情六月天婷婷| 亚洲午夜电影| 最近中文字幕2019视频1| 人人操 色| 77799热| 国产激情综合五月久久| 99热网站| 一操久久| 日日干夜夜撸夜夜骑| 五月天婷婷成人网| 欧美成人精品三区综合A片| 五月婷婷精品| 5月色亭亭视频| 久久激情五月| 97高清国语自产拍| 久久综合影院| 丁香五月在线视频黑人| 久久久久久久97| 免费观看欧美成人AA片爱我多深| 天天综合五月天| jiujiu无码五区| 色五月影视| 久久丁香五月天| 大香婷婷| 天天爽天天弄| 丁香五月婷婷网| 欧美日韩精品人妻狠狠躁免费视频| 日本人人干| AⅤ色区| 婷婷五月激情图片| 中文字幕人妻一区二区| 色综合久久888| 国产成人va在线| 九月色婷婷| 婷婷六月香| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 九九热123| 九九色综合| 五月婷婷五月丁香| 国产亚洲精品AAAAAAA片| 91丨九色丨熟女丰满| 爱婷婷五月| 五月婷婷综合在线| 婷婷久久免费| 五月天成人在线播放丁香| 色播五月天激情| 成人毛片在线免费观看| 五月天婷婷激情春色小说| 亚洲天天| 色婷六月| 婷婷激情五月天视频在线| 婷婷综合网| 日本一级特黄大片AAAAA级| 五月婷婷网站| 思思热在线视频精品| 久久92| 五月丁香六月综合基地| 极品人妻VIDEOSSS人妻| 久久曰曰| 色婷婷综合影院| 日韩av在线播放综合网| 99极品视频| 色色五月丁香| 五月激情射| 26uuu亚洲精品国产| 欧美三级A做爰在线观看| 97在线综合| 婷婷丁香18| 99只有精品9| 亚洲色婷婷99一9|| 综合色五月| 日本WWW九九九| 另类五月激情| 超碰只有精品在线| 凹凸7777操操操| 午夜色婷婷| 人人插9| 日日爱激情| 丁香五月婷婷激情四射深爱激情| 五月丁香日本片| 亚洲AV成人精品日韩在线播放| 2013AV天堂| 久久思思精品| 婷婷色影音天| 狠狠干总合| 五月婷婷丁香| 99操碰| 可以看的av网站| 超碰九热| 五月婷婷co.m| 丁香在线视频| 91成人视频| 亚洲综合色网| 月丁香久久久| 婷婷五月天天aV| 大地9中文在线观看免费高清 | 婷婷偷拍网| 欧洲综合视频| 色婷婷五月天偷拍| 日本色综合| 激情五月天情色| 26uuu欧美激情另类| 丁香狠狠干| 欧美性爱特黄一级aaaassss| 婷婷综合久久| 99色在线观看免费| 色五月天在线观看| 九九热欧美| 五月婷婷啪啪啪| 精品99在线| 天天干天天干天天干| 免费看片操逼| 五月天激情国产综合婷婷| 亚洲色图五月丁香五月婷婷| 日日夜夜小色哥| 5月丁香综合图区| 26UUU精品一区二区c〇m| 国产午夜精品一区二区三区嫩草| 99这里只有免费的精品| 色5月婷婷| 4399在线观看免费高清电视剧| 激情五月天色播| 色婷婷婷av | 香蕉久久国产AV一区二区| 97资源欧美日韩大香蕉超碰一区| 五月综合丁香婷婷| 婷婷射图| 中文字幕永久免费| 久久综合爱| 91婷婷| 五月婷婷在线丁香| 欧美色色色色色| 婷婷五月天受日本法律保护| 五月婷婷啪啪| 97丁香花五月天激情小说| 五月丁香激情综合网| 性爱AV天堂| 五月天开心网| 思思久ren热| 少妇大叫太大太粗太爽了A片 | 5月婷婷性视频| 欧美综合激情| www.色擼擼.com| 中文字幕高清av| 六月婷婷五月天| 超碰97久久| 九九亚洲综合| 99热99在线| 免费亚洲婷婷| 色噜噜,噜噜色| 免费三级黄色| 色婷婷九月| 91窝窝| 玖玖婷婷色五月| 狠狠狠狠狠狠色| 九九色色| 久久国产精品乱子伦_靑青草…| 欧美性猛交AAAA片黑人 | 色婷婷六月精品| 大香蕉婷婷婷| 涩综合婷婷| 五月天婷婷操逼视频| 亚洲中文字幕网| 天天天天天天天干| 无码少妇高潮喷水A片免费| 五月激情丁香| 无码一级片| 婷婷综合色图| 99免费成人网| 丰满人妻妇伦又伦精品国产| 婷婷色网站| 奇米网大香蕉| 五月婷婷欧美| 色色色综合视频| 香蕉网婷婷| 小视频久久久aaa| 99日逼视频| 亚洲激情五月| 激情网第四色| 五月丁香本色在线观看| 日日操夜夜骑| 成人Av在线大片| 婷婷综合激情| 26UUU在线观看| 亚洲啪啪精品| 六月婷婷av| 五月天激情偷拍| 丁香五月天堂婷婷| 婷婷五月情| 91热在线| 成人午夜天| 99热这里只有精品2| 国产色网站| 久久综合激情| 激情综合网 激情五月天| 日韩无码系列| 99久视频| 婷婷五月丁香基| 六月丁香婷婷综合影院| 淫视馆aV二区一区| wwccc久久久| 成人一区在线观看| 久久98| 26uuu欧美亚洲日韩| 牛牛色av| 91色五月| 婷婷激情综合无月| 五月婷婷久久网| 日本女人久久| 五月天色狠狠| 香港九九六区八区99| 99九九热视频| 五月丁香婷婷网网网网| 九九99九九精品免费| 五月激情小说网| 亚洲综合视频在线| 国产全是老熟女太爽了| 日本五月天一页| 99精品视频偷拍| 丁香激情五月| 狠狠干综合网| 国产 亚洲 在线| 色婷婷丁香五月| 五月天深爱激情网| 狼人婷婷久久| 女人高潮内射99精品| 99热这里只有精品免费观看| 色婷婷婷婷| 中日韩美欧成人一区二区精品在线 | 大香蕉欧美在线| 丁香婷婷久久| 99热网站| 婷丁香久综合| 在线中文字幕免费视频| 91超碰在线播放| 激情五月综合六月丁香婷婷狠狠干| 婷婷色一二三区波多野结衣| 久久99久久99久久99人受| 午夜不卡成人一区二区| 成人永久免费视频在线观看| 性爱视频久久| 都市激情五月婷婷亚洲| 婷婷五月天久久久| 1024亚洲无码| 五月激情综合网| 开心五月色婷婷综合开心网| 网色99| av首页在线| 亚洲无码色色| 丁香五月婷婷色情综合| 26UUU一区二区| 国产色香蕉精品五夜婷| 五月香婷婷| 性爱久久| 激情丁香网| 丁香九月婷婷综合| 中文婷婷狠狠| 三级三久久线久久99久目本WW| 狠狠做深爱婷婷久久综合一区| 亚洲精品乱码久久久久久按摩观| av超碰在线| 色色丁香| 人妻视频在线| 综合色色婷婷| 怡红院 久久| 五月婷婷狠狠久久| 亚洲亚洲人成综合网络| 伊人久久大香蕉网| 五区毛片七区毛片| 丁香九月综合| 五月天婷婷色色| 久久久免费精彩视频| 就爱操www com| 五月婷婷丁香综合| 亚洲成人在线观看网址| 婷婷操逼| 玖玖99免费视频| 懂色AⅤ| 亚洲美女婷婷五月天| 1999天天操夜夜操| 亚洲宗合激情| 操骚货在线| 激情第四色| 密桃激情五月天综合网| 丁香 婷婷 激情 综合 五月| 五月丿香啪啪| www免费在线视频| 九九热这里| 色婷婷综合影院| 五月婷婷在线观看| 婷婷区日本| 日本色婷婷| 超碰9在| 九久久九精品视频| www.狠狠操| 久久婷婷激情| 人妻啪啪啪| 天天干天天操天天上| 99er这里只有精品| 99九无网码| 大香蕉在线观看9| 无码AV免费精品一区二区三区 | 夫妻超碰在线| 日韩精品一区二区三区,四区,五区视频| 综合久久婷婷| 99精品视频网| 久8色色| 婷婷五月天xxx| 天天日天天做天天舔| 欧美VA视频| 丁香六月激情四射| 国产精品爽爽久久久久久| 欧美性爱五月天| 免费啪啪亚州视频| 26uuuavcom| 五月丁香六月激情综合| 亚洲日韩久久婷婷伊人| 99啪啪网| 狠狠久久婷五月综合色| 伊人色综合久久久| 欧美大片| 大香蕉五月天婷婷丁香91| 欧美精品熟女一区二区| 免费看欧美成人A片无码| 婷婷五月精品| 丁香婷婷五月天色综合| 这里只有精品2| AA片在线观看视频在线播放| 丁香五月婷婷啪啪啪| 天天狠狠综合精区| 五月丁香色婷婷| 日韩婷婷| 色婷六月| 操操操Av| 婷婷五月花丁香| 成人九九视频| 国产精品国产VA片国产| 婷婷舔| 激情四射五月天偷偷看婷婷| 激情av在线| 午夜丁香六月婷| 色婷婷影音| 久久婷婷网址| 色婷网站| 香蕉久久国产AV一区二区| 激情五月天婷婷丁香| 996热re视频精品视频| 激情综合五月婷婷丁香| 六月婷婷久久| 激情五月色播五月| 色播五月| 俺去也婷婷| 天天澡天天狠天天天做| 5月婷婷激情在线| 大香蕉婷婷丁香天堂AV| 99热在线资源| 91精产品自偷自偷综合| 天天干天天曰天天射| 99色久| 国产婷婷五月| AV网址大全在| 最熟少妇乱码| 婷婷综合久久综合| 大香蕉久久视频久久视频 | 五月丁香六月久久| 亚洲五月天色| 欧韩性爱| 天天爱天天做天天舔| 久久精品小视频| 五月天婷婷开心| 人人干Av| 天天檫天天爽| 丁香五月在线看| 亚洲第一精品网站| 五月丁香婷婷综合视频| 国产激情综合五月久久| 五月丁香综合网| www,com,五月色色| 九九热av| 开心激情站| 五月婷婷五月天| 日欧一片内射VA在线影院| 狠狠精品干练久久久无码中文字幕| 色欧美一级| 伊人99久久| YW无码| 99热九九在线| 久久3p| 中文字幕永久免费| 天搞天天天天天| 色婷婷婷av| 久久黄色网扯| 亚洲人妻一区二区 | 色色色9| 超碰在线国产| 五月丁香啪| 性欧美大战久久久久久久83| 亚洲狠狠丁香婷婷香蕉| 超碰在线资源| www.9797国产| 婷婷97碰碰| 久99热| 日日干日日s| 日日舔夜夜操| 超碰在线免费9| 一级性爱视频| 国产又爽又猛又粗的视频A片| 中文字幕人妻一区二区| 国产综合81p| 色色综合网站| 丁香婷婷五月天色播| 女人天堂 AV| 玖玖99免费视频| 五月天婷婷综合网| 狠狠擼综合| 亚洲人人96@| 开心五月丁香婷婷| 色色色免费视频| 久色激情| www.五月.com| 荫道BBWBBB高潮潮喷| 色亭亭影园| 色播色丁香五月| 五月久久网| 五月婷婷色影院| 亚色网站小视频| 五月婷婷婷婷婷| 网站免费一站二站| 色色婷婷丁香| 疯狂做受XXXX高潮A片动画| 激情综合文学| 无码yw| 婷婷成人综合| 欧美色小说婷婷| 99热在线只有精品| 色综合丁香婷婷| 五月天激情网站| 夜色五月天| 在线看黄色| 无码九九| 久久免费视频62| 日韩黄色电影| 日韩另类| 色五月综合网站| 欧美三日本三级少妇三99| 欧美噜噜免费观看| 天天射综合网夜夜操| 夜夜操狠狠操| 五月丁香五月婷婷| 99热国产在线| 久9无码视频| 激情丁香久久| 五月婷婷开心亚州在线| 色婷婷天堂| www.99色| 九九久久久综合| 九洲一级A片| 色五月婷婷丁香国产在线| 五月婷婷啪啪啪啪| 日韩成人AV在线| 色狠狠色噜噜AV天堂五区| 亚洲色综合色网| 五月丁香六月激情综合网| 开心五月综合激情综合五月| 天天做天天爽| 啪啪综合网| 丁香五月 激情文学| 九九综合九九| 久久精品永久免费| 婷婷婷久久久| 色婷婷丁香A片区毛片区女人区| 婷婷激情啪啪| 婷婷国产综合| 色综合激情|