欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Hive性能優(yōu)化實(shí)戰(zhàn):從執(zhí)行計(jì)劃到數(shù)據(jù)傾斜的全面調(diào)優(yōu)指南

Hive性能優(yōu)化實(shí)戰(zhàn):從執(zhí)行計(jì)劃到數(shù)據(jù)傾斜的全面調(diào)優(yōu)指南 1. 為什么Hive性能優(yōu)化是個(gè)繞不開(kāi)的坎做數(shù)據(jù)倉(cāng)庫(kù)這行的沒(méi)人能繞開(kāi)Hive。不管你上層用的是Spark SQL、Flink SQL還是Trino底層存儲(chǔ)大概率還是落在HDFS上元數(shù)據(jù)還是那套Metastore表格式不是ORC就是Parquet。Hive這東西說(shuō)它老也好說(shuō)它慢也好但架不住它生態(tài)成熟、穩(wěn)定、便宜。問(wèn)題在于很多人用Hive就是寫(xiě)SQL跑數(shù)跑得慢就加資源加完還慢就罵罵咧咧換引擎。實(shí)際上大部分性能問(wèn)題根本不在引擎本身而在SQL寫(xiě)法、表設(shè)計(jì)、分區(qū)策略、文件布局這些地方。我見(jiàn)過(guò)太多團(tuán)隊(duì)一個(gè)ETL任務(wù)跑三個(gè)小時(shí)查下來(lái)就是全表掃描加笛卡爾積改完SQL直接降到八分鐘。也見(jiàn)過(guò)數(shù)據(jù)傾斜把整個(gè)集群拖垮最后發(fā)現(xiàn)是某個(gè)key的記錄數(shù)是其他key的幾萬(wàn)倍。Hive性能優(yōu)化這件事核心不是背參數(shù)而是理解它背后的執(zhí)行模型——MapReduce也好Tez也好Spark也好底層邏輯都是分而治之你要做的是讓數(shù)據(jù)分得均勻、算得局部、傳得少。這篇文章適合誰(shuí)看如果你是數(shù)據(jù)開(kāi)發(fā)工程師、數(shù)倉(cāng)建設(shè)者、ETL負(fù)責(zé)人或者你每天的工作就是跟Hive SQL打交道那這篇內(nèi)容就是給你寫(xiě)的。我會(huì)從執(zhí)行計(jì)劃、表設(shè)計(jì)、SQL寫(xiě)法、參數(shù)調(diào)優(yōu)、數(shù)據(jù)傾斜處理這幾個(gè)維度把Hive性能優(yōu)化這件事拆開(kāi)揉碎講清楚。每個(gè)優(yōu)化點(diǎn)我都會(huì)說(shuō)明為什么這么做有效背后的原理是什么以及在實(shí)際操作中怎么落地。不堆術(shù)語(yǔ)不抄文檔全是實(shí)戰(zhàn)里踩出來(lái)的經(jīng)驗(yàn)。2. 先看懂Hive到底怎么跑你的SQL2.1 從SQL到任務(wù)執(zhí)行流程拆解很多人優(yōu)化Hive就是憑感覺(jué)加參數(shù)問(wèn)他為什么加這個(gè)參數(shù)答不上來(lái)。這不行。你得先知道一條Hive SQL提交之后到底經(jīng)歷了什么。一條SQL進(jìn)來(lái)Hive首先通過(guò)Antlr做詞法語(yǔ)法解析生成抽象語(yǔ)法樹(shù)AST。然后經(jīng)過(guò)語(yǔ)義分析綁定元數(shù)據(jù)信息比如這張表有哪些字段、分區(qū)是什么、存儲(chǔ)格式是什么。接著生成邏輯執(zhí)行計(jì)劃再經(jīng)過(guò)一系列優(yōu)化器規(guī)則——謂詞下推、列裁剪、分區(qū)裁剪、常量折疊等等——變成物理執(zhí)行計(jì)劃。最后根據(jù)你設(shè)置的執(zhí)行引擎把物理計(jì)劃翻譯成MapReduce任務(wù)、Tez DAG或者Spark Job。關(guān)鍵點(diǎn)在這里優(yōu)化器能做的事情是有限的。它只能在你寫(xiě)的SQL基礎(chǔ)上做等價(jià)變換如果你寫(xiě)的SQL本身就是全表掃描加笛卡爾積優(yōu)化器救不了你。所以優(yōu)化的第一原則是寫(xiě)SQL的時(shí)候就要考慮執(zhí)行計(jì)劃長(zhǎng)什么樣。舉個(gè)例子你寫(xiě)了一個(gè)SELECT * FROM orders WHERE dt 2024-01-01如果orders表是按dt分區(qū)的優(yōu)化器會(huì)自動(dòng)做分區(qū)裁剪只掃描對(duì)應(yīng)分區(qū)。但如果你寫(xiě)的是SELECT * FROM orders WHERE substr(dt,1,4) 2024分區(qū)裁剪就失效了因?yàn)閮?yōu)化器無(wú)法從函數(shù)表達(dá)式反推分區(qū)范圍。這就是典型的“寫(xiě)法決定性能”。2.2 執(zhí)行引擎的選擇邏輯Hive支持多種執(zhí)行引擎最常見(jiàn)的是MapReduce、Tez和Spark。很多人問(wèn)選哪個(gè)我的答案從來(lái)都是看你的集群現(xiàn)狀和任務(wù)特征。MapReduce是最穩(wěn)的但也是最慢的。每個(gè)MapReduce階段都要落盤(pán)中間結(jié)果寫(xiě)HDFS下一個(gè)階段再?gòu)腍DFS讀。一個(gè)復(fù)雜的SQL可能被拆成五六個(gè)MapReduce任務(wù)每個(gè)任務(wù)都有啟動(dòng)開(kāi)銷和IO開(kāi)銷。Tez把多個(gè)MapReduce任務(wù)合并成一個(gè)DAG中間結(jié)果不落盤(pán)或者少落盤(pán)性能提升明顯。Spark基于內(nèi)存計(jì)算迭代計(jì)算場(chǎng)景優(yōu)勢(shì)大但對(duì)內(nèi)存要求高且和Hive on Spark的兼容性需要額外關(guān)注。我個(gè)人的經(jīng)驗(yàn)是如果集群資源緊張、任務(wù)以批處理為主、對(duì)穩(wěn)定性要求極高用MapReduce如果追求性能且集群有Tez優(yōu)先用Tez如果團(tuán)隊(duì)已經(jīng)有Spark生態(tài)用Spark引擎也合理。但不管用哪個(gè)引擎表設(shè)計(jì)、分區(qū)策略、文件大小這些底層的東西不變優(yōu)化邏輯是相通的。提示切換執(zhí)行引擎不是銀彈。我見(jiàn)過(guò)有人把MapReduce換成Tez性能沒(méi)提升反而更慢原因是小文件太多Tez的DAG啟動(dòng)開(kāi)銷被放大了。引擎切換前先解決小文件問(wèn)題。2.3 執(zhí)行計(jì)劃怎么看看執(zhí)行計(jì)劃是優(yōu)化的基本功。在Hive里用EXPLAIN命令在Spark SQL里用EXPLAIN EXTENDED。重點(diǎn)看幾個(gè)東西Stage的劃分、Map和Reduce的數(shù)量、是否有數(shù)據(jù)傾斜的跡象、謂詞下推有沒(méi)有生效、Join的類型是什么。比如你看到執(zhí)行計(jì)劃里某個(gè)Stage的Reduce數(shù)量是1那說(shuō)明所有數(shù)據(jù)都涌向一個(gè)Reducer這幾乎必然導(dǎo)致性能瓶頸。再比如你看到Map Join沒(méi)有生效而是走了Common Join那說(shuō)明小表不夠小或者參數(shù)沒(méi)配對(duì)導(dǎo)致本可以避免的Shuffle發(fā)生了。我習(xí)慣在優(yōu)化前后各跑一次EXPLAIN對(duì)比Stage數(shù)量、Operator類型、數(shù)據(jù)流向。優(yōu)化有效的標(biāo)志通常是Stage數(shù)量減少、Shuffle數(shù)據(jù)量下降、Map Join替代Common Join、分區(qū)裁剪生效。3. 表設(shè)計(jì)層面的優(yōu)化地基沒(méi)打好后面全白搭3.1 分區(qū)與分桶讓數(shù)據(jù)有跡可循分區(qū)是Hive性能優(yōu)化里性價(jià)比最高的手段沒(méi)有之一。按天分區(qū)、按業(yè)務(wù)線分區(qū)、按地區(qū)分區(qū)本質(zhì)上就是把一張大表在存儲(chǔ)層面切成小目錄。查詢的時(shí)候如果帶上分區(qū)條件Hive直接定位到對(duì)應(yīng)目錄掃描的數(shù)據(jù)量可能從TB級(jí)降到GB級(jí)。但分區(qū)不是越多越好。每個(gè)分區(qū)對(duì)應(yīng)HDFS上的一個(gè)目錄分區(qū)太多會(huì)導(dǎo)致NameNode元數(shù)據(jù)壓力大同時(shí)小文件問(wèn)題會(huì)非常嚴(yán)重。我見(jiàn)過(guò)有人按小時(shí)分區(qū)一天24個(gè)分區(qū)一年8760個(gè)分區(qū)每個(gè)分區(qū)里就幾MB數(shù)據(jù)查詢的時(shí)候光列目錄就耗掉幾秒。合理的分區(qū)粒度通常是天或者月具體看數(shù)據(jù)量和查詢模式。分桶是在分區(qū)的基礎(chǔ)上進(jìn)一步做哈希切分。CLUSTERED BY (user_id) INTO 64 BUCKETS意思是按user_id的哈希值把數(shù)據(jù)分成64個(gè)文件。分桶的好處是Join的時(shí)候如果兩邊都按同樣的鍵分桶可以做Bucket Map Join避免Shuffle采樣的時(shí)候可以直接對(duì)桶采樣不用全表掃描。分區(qū)和分桶怎么選我的經(jīng)驗(yàn)是分區(qū)用于過(guò)濾分桶用于Join和采樣。如果你的查詢經(jīng)常按時(shí)間過(guò)濾按時(shí)間分區(qū)。如果經(jīng)常按某個(gè)維度Join考慮按那個(gè)維度分桶。兩者可以疊加使用比如先按天分區(qū)再按user_id分桶。3.2 文件格式與壓縮IO是最大的瓶頸Hive表的數(shù)據(jù)最終落在HDFS上文件格式直接決定了讀取效率。TextFile是默認(rèn)格式可讀性好但性能最差因?yàn)樗葱写鎯?chǔ)查詢一列也要讀整行而且沒(méi)有壓縮。ORC和Parquet是列式存儲(chǔ)查詢時(shí)只讀需要的列壓縮比高自帶索引性能遠(yuǎn)超TextFile。ORC和Parquet怎么選ORC對(duì)Hive的兼容性更好支持ACID事務(wù)謂詞下推更徹底Parquet在Spark生態(tài)里更常用嵌套結(jié)構(gòu)支持更好。如果你們團(tuán)隊(duì)以Hive為主選ORC如果Spark和Hive混用Parquet更穩(wěn)妥。我實(shí)測(cè)下來(lái)同樣的數(shù)據(jù)量和查詢ORC的掃描速度通常比Parquet快10%到20%但差距沒(méi)有想象中那么大。壓縮方面Snappy是折中選擇壓縮比和速度平衡Zlib壓縮比更高但解壓慢LZO速度快但壓縮比一般。對(duì)于熱數(shù)據(jù)用Snappy對(duì)于冷數(shù)據(jù)歸檔用Zlib。注意ORC和Parquet自帶壓縮不需要額外指定壓縮格式建表時(shí)指定STORED AS ORC TBLPROPERTIES (orc.compressSNAPPY)即可。3.3 小文件治理NameNode的噩夢(mèng)小文件是Hive性能的隱形殺手。每個(gè)小文件在HDFS上都是一個(gè)獨(dú)立的塊NameNode要維護(hù)每個(gè)塊的元數(shù)據(jù)。小文件多了NameNode內(nèi)存吃緊查詢時(shí)Map任務(wù)數(shù)量暴增每個(gè)Map處理一點(diǎn)點(diǎn)數(shù)據(jù)就啟動(dòng)和銷毀開(kāi)銷全花在調(diào)度上了。小文件怎么來(lái)的動(dòng)態(tài)分區(qū)插入是主要來(lái)源。你開(kāi)啟動(dòng)態(tài)分區(qū)一條INSERT語(yǔ)句寫(xiě)了幾百個(gè)分區(qū)每個(gè)分區(qū)里可能就幾KB數(shù)據(jù)。另一個(gè)來(lái)源是頻繁的增量寫(xiě)入每次寫(xiě)一點(diǎn)攢了一堆小文件。治理小文件有幾個(gè)手段。第一在寫(xiě)入端控制動(dòng)態(tài)分區(qū)插入時(shí)設(shè)置hive.merge.mapfilestrue和hive.merge.mapredfilestrue讓Hive在任務(wù)結(jié)束后自動(dòng)合并小文件。第二定期做合并任務(wù)用ALTER TABLE ... CONCATENATE或者重寫(xiě)一遍數(shù)據(jù)把多個(gè)小文件合并成大文件。第三調(diào)整Reduce數(shù)量Reduce數(shù)量決定了輸出文件數(shù)量適當(dāng)減少Reduce可以避免產(chǎn)生太多小文件但要注意不要造成單文件過(guò)大。注意合并小文件是有代價(jià)的會(huì)消耗額外的計(jì)算和IO資源。建議在業(yè)務(wù)低峰期做或者用獨(dú)立的合并任務(wù)調(diào)度。4. SQL寫(xiě)法優(yōu)化同樣的邏輯不同的性能4.1 Join優(yōu)化的核心邏輯Join是Hive里最耗資源的操作沒(méi)有之一。Join的性能取決于三個(gè)因素參與Join的數(shù)據(jù)量、Join的鍵、Join的方式。Hive支持多種Join方式Common JoinReduce端Join、Map Join廣播小表、Bucket Map Join分桶Join、Sort Merge Bucket Join排序合并分桶Join。默認(rèn)情況下Hive會(huì)走Common Join也就是兩邊數(shù)據(jù)都按Join鍵做Shuffle然后在Reduce端做笛卡爾積匹配。這個(gè)過(guò)程的網(wǎng)絡(luò)傳輸和磁盤(pán)IO開(kāi)銷巨大。Map Join是優(yōu)化Join的第一選擇。如果有一張表足夠小可以完全加載到內(nèi)存里Hive會(huì)把它廣播到每個(gè)Map節(jié)點(diǎn)在Map端完成Join避免Shuffle。觸發(fā)Map Join的條件是小表的大小小于hive.mapjoin.smalltable.filesize默認(rèn)25MB。你可以手動(dòng)指定/* MAPJOIN(small_table) */來(lái)強(qiáng)制走M(jìn)ap Join。但Map Join不是萬(wàn)能的。如果小表其實(shí)不小廣播到每個(gè)節(jié)點(diǎn)會(huì)消耗大量?jī)?nèi)存和網(wǎng)絡(luò)帶寬反而拖慢任務(wù)。我見(jiàn)過(guò)有人強(qiáng)制Map Join一張500MB的表結(jié)果每個(gè)Map容器都OOM。判斷標(biāo)準(zhǔn)很簡(jiǎn)單小表大小乘以Map數(shù)量如果超過(guò)集群內(nèi)存總量的一定比例就不要用Map Join。Bucket Map Join和Sort Merge Bucket Join是更高級(jí)的優(yōu)化。如果兩張表都按Join鍵分桶且桶的數(shù)量成倍數(shù)關(guān)系可以做Bucket Map Join每個(gè)Map只處理對(duì)應(yīng)的桶避免全表Shuffle。Sort Merge Bucket Join要求兩邊都按Join鍵分桶且排序性能更好但建表要求更高。4.2 數(shù)據(jù)傾斜的識(shí)別與處理數(shù)據(jù)傾斜是Hive性能問(wèn)題里最讓人頭疼的。現(xiàn)象很簡(jiǎn)單大部分Reduce任務(wù)很快跑完少數(shù)幾個(gè)Reduce任務(wù)跑得極慢甚至卡在99%不動(dòng)。原因也簡(jiǎn)單某個(gè)Join鍵或者Group By鍵的數(shù)據(jù)量遠(yuǎn)超其他鍵導(dǎo)致處理這個(gè)鍵的Reduce任務(wù)負(fù)載過(guò)重。識(shí)別數(shù)據(jù)傾斜的方法看任務(wù)監(jiān)控如果Reduce階段有個(gè)別任務(wù)耗時(shí)是其他的幾倍甚至幾十倍基本可以確定是傾斜?;蛘吲芤粋€(gè)SELECT key, COUNT(*) FROM table GROUP BY key ORDER BY COUNT(*) DESC LIMIT 10看看最大key的計(jì)數(shù)是不是遠(yuǎn)超平均值。處理數(shù)據(jù)傾斜有幾種思路。第一種Map Join如果傾斜是因?yàn)樾”鞪oin大表把小表廣播出去在Map端完成Join傾斜自然消失。第二種加鹽打散給傾斜的鍵加上隨機(jī)前綴讓數(shù)據(jù)分散到多個(gè)Reduce然后再去掉前綴做二次聚合。第三種單獨(dú)處理傾斜鍵把傾斜的鍵單獨(dú)拎出來(lái)處理剩下的數(shù)據(jù)正常Join最后Union回去。第四種調(diào)整Reduce數(shù)量增加Reduce數(shù)量可以緩解傾斜但不能根治因?yàn)閮A斜鍵的數(shù)據(jù)量沒(méi)變只是分到了更多Reduce上單個(gè)Reduce的壓力可能還是大。我個(gè)人的經(jīng)驗(yàn)是優(yōu)先用Map Join不行就加鹽加鹽解決不了就單獨(dú)處理。加鹽的代價(jià)是SQL變復(fù)雜需要寫(xiě)兩段邏輯再合并但效果通常很好。4.3 窗口函數(shù)與Group By的取舍窗口函數(shù)和Group By都能做聚合但性能特征不同。Group By會(huì)把數(shù)據(jù)按Key做Shuffle然后在Reduce端聚合輸出結(jié)果行數(shù)等于Key的數(shù)量。窗口函數(shù)不減少行數(shù)它在每行上計(jì)算一個(gè)聚合值但需要把數(shù)據(jù)按分區(qū)鍵排序排序開(kāi)銷大。如果只需要聚合結(jié)果用Group By。如果需要在明細(xì)行上附加聚合信息用窗口函數(shù)。但要注意窗口函數(shù)的PARTITION BY鍵如果數(shù)據(jù)傾斜同樣會(huì)導(dǎo)致性能問(wèn)題。而且窗口函數(shù)默認(rèn)會(huì)把整個(gè)分區(qū)的數(shù)據(jù)加載到內(nèi)存排序分區(qū)太大可能OOM。一個(gè)常見(jiàn)的優(yōu)化技巧是先用Group By做預(yù)聚合再用窗口函數(shù)。比如你要計(jì)算每個(gè)用戶的累計(jì)消費(fèi)可以先按用戶和日期Group By算出每日消費(fèi)再用窗口函數(shù)做累計(jì)這樣窗口函數(shù)處理的數(shù)據(jù)量小很多。4.4 謂詞下推與列裁剪的實(shí)戰(zhàn)細(xì)節(jié)謂詞下推是指把過(guò)濾條件下推到數(shù)據(jù)掃描階段盡量早地過(guò)濾掉不需要的數(shù)據(jù)。列裁剪是指只讀取查詢中用到的列不讀整行。這兩個(gè)優(yōu)化在列式存儲(chǔ)格式ORC、Parquet上效果特別明顯。但謂詞下推有失效的場(chǎng)景。如果過(guò)濾條件寫(xiě)在子查詢里且子查詢有LIMIT或者窗口函數(shù)謂詞下推可能不生效。比如SELECT * FROM (SELECT *, ROW_NUMBER() OVER (ORDER BY id) AS rn FROM t) tmp WHERE rn 10這個(gè)rn的過(guò)濾條件無(wú)法下推到掃描階段因?yàn)閞n是計(jì)算出來(lái)的。這種情況下Hive會(huì)先掃描全表計(jì)算ROW_NUMBER再過(guò)濾性能很差。列裁剪的注意事項(xiàng)是**避免使用SELECT ***。SELECT *會(huì)讀取所有列即使你只需要其中幾列。在寬表場(chǎng)景下這個(gè)差距可能是幾倍的IO。養(yǎng)成習(xí)慣需要什么列就寫(xiě)什么列。5. 參數(shù)調(diào)優(yōu)讓Hive跑得更順滑5.1 Map與Reduce數(shù)量的控制Map數(shù)量由輸入文件的分片大小決定。mapreduce.input.fileinputformat.split.maxsize控制每個(gè)Map處理的最大數(shù)據(jù)量默認(rèn)等于HDFS塊大小通常128MB或256MB。如果小文件多可以調(diào)小這個(gè)值讓每個(gè)Map處理更少數(shù)據(jù)但Map數(shù)量會(huì)增多。如果文件大且少可以調(diào)大這個(gè)值減少M(fèi)ap數(shù)量。Reduce數(shù)量默認(rèn)由Hive根據(jù)輸入數(shù)據(jù)量估算但估算經(jīng)常不準(zhǔn)。hive.exec.reducers.bytes.per.reducer控制每個(gè)Reduce處理的數(shù)據(jù)量默認(rèn)256MB。hive.exec.reducers.max控制Reduce數(shù)量上限。你可以手動(dòng)指定Reduce數(shù)量SET mapred.reduce.tasks 100。Reduce數(shù)量不是越多越好。Reduce太多會(huì)導(dǎo)致每個(gè)Reduce處理的數(shù)據(jù)量很小啟動(dòng)和關(guān)閉開(kāi)銷占比高Reduce太少會(huì)導(dǎo)致單個(gè)Reduce處理的數(shù)據(jù)量大容易傾斜和OOM。我的經(jīng)驗(yàn)值是每個(gè)Reduce處理128MB到256MB數(shù)據(jù)比較合適。你可以根據(jù)輸入數(shù)據(jù)總量除以這個(gè)值來(lái)估算Reduce數(shù)量。5.2 內(nèi)存與并行度參數(shù)Hive任務(wù)的內(nèi)存分為Map內(nèi)存和Reduce內(nèi)存。mapreduce.map.memory.mb和mapreduce.reduce.memory.mb控制容器內(nèi)存大小。mapreduce.map.java.opts和mapreduce.reduce.java.opts控制JVM堆大小通常設(shè)置為容器內(nèi)存的80%左右。如果任務(wù)報(bào)OOM先看是Map OOM還是Reduce OOM。Map OOM通常是Map Join的小表太大或者單個(gè)Map處理的數(shù)據(jù)量太大。Reduce OOM通常是數(shù)據(jù)傾斜導(dǎo)致單個(gè)Reduce處理的數(shù)據(jù)量過(guò)大或者聚合操作的內(nèi)存占用超限。調(diào)大內(nèi)存能解決一部分問(wèn)題但根本解決要靠?jī)?yōu)化數(shù)據(jù)分布。并行度方面hive.exec.paralleltrue可以讓沒(méi)有依賴的Stage并行執(zhí)行hive.exec.parallel.thread.number控制并行線程數(shù)。這個(gè)參數(shù)在復(fù)雜SQL里效果明顯但要注意集群資源是否足夠并行度太高會(huì)互相搶資源。5.3 動(dòng)態(tài)分區(qū)與嚴(yán)格模式動(dòng)態(tài)分區(qū)插入是ETL里的常用操作但默認(rèn)配置下性能很差。hive.exec.dynamic.partition.mode默認(rèn)是strict要求至少有一個(gè)靜態(tài)分區(qū)。hive.exec.max.dynamic.partitions和hive.exec.max.dynamic.partitions.pernode控制動(dòng)態(tài)分區(qū)的最大數(shù)量默認(rèn)值偏小容易報(bào)錯(cuò)。開(kāi)啟動(dòng)態(tài)分區(qū)后每個(gè)Map和Reduce都會(huì)為每個(gè)分區(qū)創(chuàng)建一個(gè)文件如果分區(qū)數(shù)量多小文件問(wèn)題會(huì)很嚴(yán)重。建議開(kāi)啟動(dòng)態(tài)分區(qū)的同時(shí)設(shè)置hive.merge.mapfiles和hive.merge.mapredfiles為true讓Hive在任務(wù)結(jié)束后自動(dòng)合并小文件。另外hive.exec.dynamic.partition要設(shè)為true否則動(dòng)態(tài)分區(qū)不生效。這些參數(shù)看起來(lái)瑣碎但配錯(cuò)一個(gè)就可能導(dǎo)致任務(wù)失敗或者性能驟降。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 任務(wù)卡在99%不動(dòng)的排查思路這是最經(jīng)典的問(wèn)題。任務(wù)跑到99%然后卡住幾十分鐘甚至幾個(gè)小時(shí)。原因幾乎總是數(shù)據(jù)傾斜某個(gè)Reduce任務(wù)處理的數(shù)據(jù)量遠(yuǎn)超其他任務(wù)其他任務(wù)早就跑完了它還在慢慢磨。排查步驟第一看任務(wù)監(jiān)控找到那個(gè)卡住的Reduce任務(wù)看它的輸入數(shù)據(jù)量。第二跑一個(gè)Group By統(tǒng)計(jì)找出計(jì)數(shù)最大的Key。第三確認(rèn)這個(gè)Key是不是業(yè)務(wù)上的熱點(diǎn)比如某個(gè)大客戶、某個(gè)默認(rèn)值、某個(gè)空值。解決方案如果是Join導(dǎo)致的傾斜嘗試Map Join或者加鹽。如果是Group By導(dǎo)致的傾斜可以設(shè)置hive.groupby.skewindatatrueHive會(huì)自動(dòng)做兩階段聚合先加隨機(jī)前綴分散數(shù)據(jù)再去掉前綴聚合。這個(gè)參數(shù)對(duì)Group By傾斜有奇效但會(huì)增加一輪Shuffle。6.2 OOM錯(cuò)誤的定位與解決OOM分兩種JVM堆內(nèi)存溢出和物理內(nèi)存溢出。JVM堆內(nèi)存溢出會(huì)報(bào)java.lang.OutOfMemoryError: Java heap space物理內(nèi)存溢出會(huì)被YARN殺掉報(bào)Container killed by YARN for exceeding memory limits。JVM堆內(nèi)存溢出通常是Map Join的小表太大或者聚合操作的HashMap太大。解決方法是調(diào)大mapreduce.map.java.opts和mapreduce.reduce.java.opts或者放棄Map Join改用Common Join。物理內(nèi)存溢出通常是JVM堆外內(nèi)存使用過(guò)多比如ORC讀取時(shí)的緩沖區(qū)、網(wǎng)絡(luò)傳輸?shù)木彌_區(qū)。解決方法是調(diào)大容器內(nèi)存mapreduce.map.memory.mb和mapreduce.reduce.memory.mb同時(shí)確保JVM堆大小不超過(guò)容器內(nèi)存的80%。提示調(diào)大內(nèi)存不是萬(wàn)能藥。如果數(shù)據(jù)傾斜嚴(yán)重單個(gè)Reduce處理的數(shù)據(jù)量是其他Reduce的幾十倍調(diào)大內(nèi)存只能延緩OOM不能根治。還是要從數(shù)據(jù)分布入手。6.3 小文件問(wèn)題的應(yīng)急處理如果發(fā)現(xiàn)表目錄下小文件太多查詢性能急劇下降可以應(yīng)急做一次合并。用ALTER TABLE table_name PARTITION (dt2024-01-01) CONCATENATE可以把分區(qū)內(nèi)的小文件合并成大文件。但這個(gè)命令只對(duì)ORC和RCFile格式有效且合并后的文件大小不可控。更徹底的方法是重寫(xiě)數(shù)據(jù)INSERT OVERWRITE TABLE table_name PARTITION (dt2024-01-01) SELECT * FROM table_name WHERE dt2024-01-01配合設(shè)置Reduce數(shù)量來(lái)控制輸出文件數(shù)量。這個(gè)操作會(huì)消耗計(jì)算資源建議在低峰期做。長(zhǎng)期方案是建立小文件監(jiān)控和定期合并機(jī)制。我通常會(huì)在ETL流程的最后加一個(gè)合并步驟用hive.merge相關(guān)參數(shù)自動(dòng)合并或者單獨(dú)跑一個(gè)合并任務(wù)。6.4 常見(jiàn)問(wèn)題速查表問(wèn)題現(xiàn)象可能原因排查方法解決方案任務(wù)卡在99%數(shù)據(jù)傾斜看Reduce任務(wù)耗時(shí)分布Map Join、加鹽、skewindataOOM內(nèi)存不足或數(shù)據(jù)傾斜看錯(cuò)誤日志和任務(wù)監(jiān)控調(diào)大內(nèi)存、優(yōu)化數(shù)據(jù)分布任務(wù)跑得慢但沒(méi)報(bào)錯(cuò)全表掃描、小文件多看執(zhí)行計(jì)劃和文件數(shù)量分區(qū)裁剪、合并小文件Reduce數(shù)量為1沒(méi)有Reduce階段或估算錯(cuò)誤看執(zhí)行計(jì)劃手動(dòng)設(shè)置Reduce數(shù)量Map Join不生效小表超過(guò)閾值看執(zhí)行計(jì)劃調(diào)大閾值或手動(dòng)MAPJOIN動(dòng)態(tài)分區(qū)報(bào)錯(cuò)分區(qū)數(shù)量超限看錯(cuò)誤信息調(diào)大max.dynamic.partitions7. 我在實(shí)際優(yōu)化中攢下的幾條硬核經(jīng)驗(yàn)優(yōu)化這件事參數(shù)是表邏輯是里。我見(jiàn)過(guò)太多人把參數(shù)抄來(lái)抄去結(jié)果任務(wù)該慢還是慢。真正有效的優(yōu)化一定是從理解數(shù)據(jù)和查詢模式開(kāi)始的。第一條經(jīng)驗(yàn)先看數(shù)據(jù)量再看執(zhí)行計(jì)劃最后調(diào)參數(shù)。數(shù)據(jù)量決定了瓶頸在哪里執(zhí)行計(jì)劃告訴你Hive打算怎么跑參數(shù)只是微調(diào)。順序反了就是瞎調(diào)。第二條經(jīng)驗(yàn)小文件治理要常態(tài)化不要等出問(wèn)題了再救火。我現(xiàn)在的習(xí)慣是任何寫(xiě)入Hive的任務(wù)只要涉及動(dòng)態(tài)分區(qū)或者高頻增量寫(xiě)入必須配自動(dòng)合并。這個(gè)習(xí)慣幫我省了無(wú)數(shù)次半夜爬起來(lái)處理故障的時(shí)間。第三條經(jīng)驗(yàn)數(shù)據(jù)傾斜的根因往往在業(yè)務(wù)側(cè)不在技術(shù)側(cè)。某個(gè)Key特別多可能是因?yàn)闃I(yè)務(wù)上有個(gè)大客戶或者某個(gè)字段默認(rèn)值是空導(dǎo)致大量數(shù)據(jù)涌向同一個(gè)Reduce。技術(shù)手段能緩解但根治要靠業(yè)務(wù)側(cè)的數(shù)據(jù)分布優(yōu)化。第四條經(jīng)驗(yàn)不要迷信Map Join。小表夠小才用不夠小就老老實(shí)實(shí)Common Join。強(qiáng)制Map Join導(dǎo)致OOM比Common Join慢得多。第五條經(jīng)驗(yàn)執(zhí)行引擎的選擇要看集群現(xiàn)狀不要跟風(fēng)。別人說(shuō)Tez快你就換Tez結(jié)果集群沒(méi)調(diào)優(yōu)好反而更慢。先把MapReduce跑穩(wěn)再考慮升級(jí)引擎。最后分享一個(gè)我常用的優(yōu)化檢查清單每次優(yōu)化任務(wù)前過(guò)一遍分區(qū)裁剪生效了嗎列裁剪做了嗎Join方式選對(duì)了嗎Reduce數(shù)量合理嗎小文件合并了嗎數(shù)據(jù)傾斜處理了嗎內(nèi)存參數(shù)配了嗎這七個(gè)問(wèn)題過(guò)完大部分性能問(wèn)題都能定位到。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产成人精品亚洲线观看| 白人荫道BBWBBB大荫道| 婷婷激情五月综合基地| 狠狠色丁香久久| 91色综合网| 色五月激情五月丁香五月婷婷啪啪综合 | 丁香五月第四色88| 久久性操| 久久免费婷婷视频| 五月色丁香成人| 国产亚洲成人综合| 被男人添B超爽视频| 色婷婷久久综合久色综| 婷婷香五月综合激情| 九色视频91| 婷婷五月丁香亚洲| 中文成人在线| 色五月激情综合网| jiZZdr| 狠狠色婷婷7| 51XX嘿嘿午夜无码| 另类亚洲电影| www.99操.com| 七月丁香婷婷 色色| 97碰久久| 操操人人| 久久五月天色婷婷| 99热| 久久在线大香蕉| 森林影视大全,最好看的2019年视频 | 99国产精品久久久久久久久久久| 激情综合五月婷婷六月丁香| 色色色.COM| 六月丁香激情综合网| 色五月色五天色情网址| 婷婷五月天亚洲综合网| 五月天婷婷无码| 五月丁香欧美综合| 婷婷五月天情色| 五月丁香婷婷综合网色欲| 日本综合久| 久久大香蕉视频| 久cao香蕉影院| 五月综合久久| 中文AV网| 日韩久久视频| 超碰国产av| 激情综合另类| 男女免费视频999| 99色精品视频| 色播综合| 婷婷久久视频| 日日噜狠狠色综合久久| 五月丁香婷庭在线| 五月六月伦理| 第四色大香蕉| YJLZZJLZZ亚洲乱熟无码| 人人摸人人搞| 婷婷六月激情在线视频| 91操碰| 色婷婷亚洲综合天堂| AV片一区在线观看| 色综合久久无码| 天天干天天av天天射| 国外亚洲成AV人片在线观看| 99啪啪骑| 婷婷五月天色色| 人妻操逼视频| 久久综合九九| 一本到不卡高清DVD| 久久久91精品| 久久久jd| 5月色婷婷| 婷婷午夜激情| 深爱激情五月天色婷婷| 婷婷五月天激情五月天深爱五月天| 五月丁香六月激情综合在线| 9色小视频在线观看| 开心婷婷五月| 日本少妇AA一级特黄大片| 色婷婷丁香社综合| 蜘蛛女免费观看完整版高清电影| 色久激情在线| 综合色99| 色爱爱综合网| 亚洲成人免费在线| 人草人人| 色婷婷色99国产综合精品| 五月丁香六月综合激情无码软件亮点| 日本在线视频播放91| 亚洲操逼网| 97久久超碰| 色婷婷丁香五月| 婷婷色色亚洲| 久久久久亚洲AV无码网影音先锋| 日本无va视频| 五月天激情国产综合婷婷婷| 亚洲成人av在线播放| 综合成人小说婷婷| 在线成人va| 狠狠色综合网站久久久久| 91婷色| 婷婷五月丁香影院| 久草热在线视频| 综合色色网| 99热精品在线观看| 欧美伊人9| 99在线播放视频| 另类图片激情五月天| 成人色站,在线视频,看片-SS1AV| 丁香桃色网| 五月婷婷人人人操| 大地9中文在线观看免费高清| 天天干人人奸97| 麻豆雪千夏| 人人干人人操外国| 久久视频这里都是精品| 亚洲婷婷免费| yw国产AV| 亚洲视频丁香网va| 99婷婷| 五月天色色色网| 秋霞黄色一级久久| 丁香色六月婷婷| 97久久精品| 亚洲最大在线| 欧美噜一噜| 开心激情婷婷| 综久久久| 淫荡综合网| 亚洲网视屏| 伊人99久久| 日韩亚洲视频| 97在线刺激| 成人在线观看精品| 操操操www.com| 色婷婷五月天视频网站| 99在线视频观看| 激情四射网| 操操操www.com| 狠狠狠色激情综合适合| 日本色99网站| 婷婷丁香视频| 96精品成人无码A片观看金桔| 超碰国产AV| 久久婷婷成人视频| 婷婷久久久| 日本nghangse中文字幕| 99视频这里只有久久精品| 狠狠综合久久| 超碰在线观看9| 五月久久噜噜| 欧美性爱五月天| 色婷婷色情| 99视频这里有精品免费观看| 99精品偷自拍| 伊人婷婷激情| 成人无码髙潮喷水A片| 色婷婷AV久久| 精国产品一区二区三区A片| 久久精品五月天| 99精品免费欧美小视频 | 五月婷婷色综图片| 国产超碰人人| 久久久五月天| 中文字幕综合网| 99热九九热| 狠狠CAO日日穞夜夜穞AV| 激情五月天丁香| 久久色五月| 日韩激情网站| 激情五月丁香六月综合AVXXXX| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 色。 日日日| 久久久无码精品成人A片小说| 91人无码久久久久久| 99热精品在线免费观看| 99操中文视频| 日良久久| 玖玖精品视频99| 欧美黄色一级录像| 久9视频免费播放| 色五月激情问网站| 婷婷五月天电影在线| 日本一级特黄大片AAAAA级| 婷婷综合在线视频| 成人五月天丁香| 五月色婷婷影院| 五月性色| 99re热精品在线视频| 99碰碰| 成人亚洲精品| 激情色播| 99热只有精品在线观看| 丁香操逼| 琪琪色五月天| 青青草日本亚洲| 色吊丝av中文字幕| 26.uuu丁香五月婷婷| 97碰超级人人看| 亚洲操操操| 热99久久这里只有精品| 婷婷天堂综合| 大香蕉五月天婷婷| 欧美成人精品一区二区| 色香久久| 伊人久久婷婷| www.夜夜騎夜夜狠| AV网站免费在线| 第四色激情网| 狠狠做五月婷婷| 激情98色婷婷五| 婷婷久久亚洲| 狠狠操狠狠爱| 久久婷婷五月综合网| 亚洲免费婷婷| 婷婷五月丁香五月| 日本三级日本黄色| 2017人人操| 久久久久久久久久8888| 丁香婷婷天堂| 五月天丁香成人社| 久久性爱网站| 久久伦乱| 色欲久久99精品久久久久久| 97久久久| 性日本精品| 天天噜日日噜综合无码| 琪琪色网在线| 99碰碰| 婷婷五月丁香基地在线视频官网| 丁香六月婷婷高清| 激情AV在线| 日本久久九| 五月天婷婷成人网| 26uuu成人网| 色五月中文网| 六月婷婷久久| 成人综合伍月天| 久久无码激情视频| www色婷婷| 亚洲人成网站999综合| 婷婷五月激情图片| 97碰成超视频免费视频| 丁香九月婷婷| 九月丁香五月婷婷| 婷婷六月丁香综合| 久热 91| 97超碰免费超级在线观看| 综合网天天| 九九视频这里只有精品在线播放| 久热一本| 91高潮喷水久久久久久久久| 在线99热| 9l视频自拍9l九色成人| 五月婷婷色五月| 99综合视频| 天天色综网| 在线,国产,色,热视频| 成人电影在线免费试看| 色六月婷婷| 玖玖婷婷视频| 狼人婷婷综合| 婷婷五月天影院| 墨西哥毛片内射精| 日产精品一线二线三线芒果| 五月激情婷婷丁香| 色综合区| 免费视频无码| 五月天色丁香| ji'qi'luan'ren'lun| 狠狠狠狠狠狠| www.夜夜操.com| 五月综合激情视频在线| 亚洲第一精品成人999久久精品| 丁香六月婷婷综合色| 丁香五月天堂网| 青青草原福利在线| 五月婷婷六月丁香| 色婷婷电影网| 国产精品人成A片一区二区| 婷婷91| 一级性爱视频| 国产毛多水多女人A片| 久久人妻熟女一区二区| 熟妇天天综合| 99久久久免费| 日日鲁鲁夜夜爽爽| 五月婷婷六月爱| 丁香 婷婷五月| 五月激情六月| 丁香五月乱中文字幕| 午夜做爱影院| 91操操| 国产一区二区三区影院| Caoub青青超碰| www.cao.com久久| 亚洲xx网| 五月婷婷,六月激情| 亚洲六月婷| 天天日夜夜操五月| 狠狠久久婷五月| 激情小说五月天| 国产精产国品一二三在观看| 婷婷久久内射| 色综合久久88色综合天天人守婷| 天天摸天天透天天舔| 91玖玖| 久久思思热| 九色激情| 色狠狠综合| 综合激情伊人影视在线| 26UUU欧美| 情色五月天网站| 伊人综合网站| 99在线视频播放| Av大香蕉| 久热只有精品| 五月婷婷色在线| 色婷婷丁香九月| 亚洲国产色婷婷| 激情五月天色婷婷| 日日操夜夜撸| 激情综合网站| 五月激情基地| 久久久人妻| 久久aaaaa| 激情的五月婷婷蜜桃| 五月花婷婷丁香| 亚洲欧洲另类| 99碰| 老司机日日夜夜青草| 99精品在线| 久鲁鲁色网| 九九99久久| 日本www五月婷婷| 99re热久久| 婷婷五月天论坛| 99亚洲无码| 婷婷色综合| 国产精品成人AV在线| AV操操操| 丝袜熟女一区二区三区| 激情四射网| 久久综合9| 91综合色| 色宗合,宗合网| 综合久久五月天| 一点色成人网| 3pAV| 欧美日韩成人在线| 天天做天天爱天天爽夜夜揉| 超碰99在线观看| av最新在线| 亚洲色色色色| 成人va视频| 色播播五月天| 婷婷久久在线| 五月婷婷co.m| 91在线日| 婷婷丁香五月天操逼| 91玖玖| 五月天伊人日日噜影片AV| 综合久久十三| 日本色频| 丁香五月婷婷在线| 国产无套精品一区二区| 97视频91| www五月天com| 国产AV一区二区三区最新精品 | 久热99热| 日本精品人妻无码77777| 日韩啪图| 九九亚洲小视频| 国产密乳av一区二区三区四区| 伊人婷婷大香蕉| 激情五月伊人婷婷| 五月婷婷丁香五月婷婷丁香| 97精品人人A片免费看| 丁香五月色五月| 国产裸舞福利资源在线视频| 99激情| 最新无毒无码AV| www.91久久| 日日狠狠久久偷偷四色综合免费| 成人视屏在线观看| 亚洲av网址| 噜噜噜色噜噜| 亚洲国产无线乱码在线观看| 色色吧综合| 人人摸人人摸| 91九色 熟| 99爱在线| 激情婷婷激情在线不卡| 五月草影视| 少妇被躁爽到高潮无码文| 激情五月婷婷欧美极品| 东北熟女视频99| 天天日天天舔| 亚洲精品五十一区| 疯狂做受XXXX高潮A片| 色五月综合激情| 久久9RE热视频精品98| www.久久综合| 青青草护士中出内射-欧美电影在线天堂新版 | 激情婷婷五月天| 天天摸,天天爽| 五月婷婷综合在线亚洲视频| 成人精品人妻| 色视频2025| 亚洲狠狠色丁香婷婷综合久久| 99热.com| 天天色综合色色色色色。| 日本久久色| 色综合久久88色综合天天看| 狠狠狠激情网| 亚洲美女高潮久久久久久69| 蜜乳av一级av| 中文字幕,综合,91| 丁香六月 婷婷六月| 97操碰98| 99色综合| 伊人狠狠丁香婷婷综合尤物| www.五月丁香av| www.天天干.com| 五月丁香另类网| 五月天综合在线网| 99色色色色| 久久久久久婷| 五月天色婷婷综合| 婷婷五月天Av| 人妻精品一区二区三区| 日韩九区| 婷婷爱五月| 激情网狠狠干| 久久婷五月影院| 丁香六月无码播放| 狼人婷婷综合| 五月天婷婷在线播放| 美欧日韩国产成人在战| 日日干天天射| 婷婷激情另类| 久久婷婷五月综合色和| 亚洲无码yw| 91操网| 丁香六月婷婷久久综合| 六月激情婷婷综合| 欧美性生交XXXXX无码小说| 人妻操操色| 色婷婷丁香AV综合| 午夜成人网站在线观看| 青青草搞屄视频网站| 三级片AAA久久久AAA久久久AAA | 热久91| 综合伊人久久| 思思99热在线| 狠狠操综合| 亚洲久久婷婷| 丁香久久五月婷综合| 九九精品热| 五月婷高清视频| 亚州欧美黄色电影| 中文在线成人| 99热这只有| 婷婷操无码| 人人摸人人干| 色五月婷婷丁香国产在线| av在线婷婷| 天天草天天爽| 这里只有精品99视频| 五月天婷婷青青草| 色婷婷六月天| 丁香五月婷婷偷拍| 怡红院AV亚洲一区二区三区H| 色五月首页| 任你日视频| 亚洲V国产V欧美V久久久久久| 天天综合网网欲色| 亚洲国产婷婷色五月| 超碰久热| 婷婷综合在线| 亚洲狠狠狠色婷婷综合激情久久久| 99久久五月婷婷| 欧美日韩99| 亚洲免费99| 日日干天天射| 五月色丁香婷婷综合| 九九久久99| 久久视频九九视频| 色婷婷av在线观看| 激情婷婷22月间| 99热免费观看| 超碰人人99| 免费视频舔| 天天日色情| 色播综合| 99视频在线精品| 婷婷伊人激情婷婷| 六月激情婷婷综合| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 亚洲中文丁香| 九九综合网色全集 | 国产免费av在线| 久久久亚洲精品一区二区三区浴池 | 色婷婷AAA| 99视频网| 激情亚洲色图片丁香综合| 色色色地址| 啪啪日热| 白人荫道BBWBBB大荫道| 色五月在线播放| 色五月成人| 九九色99| 六月丁香深深爱| 色五月综合激情| 色爱爱综合网| 五月J香蕉婷婷| 色五月丁香婷婷| 欧美精品18| 很很干五月天| 国产Va视频| 99这里有精品视频| 亚洲性视频| 97sese婷婷| 丁香婷婷九月在线| 免费看欧美成人A片无码| 五月婷六月| 五月婷婷亚洲| 久久少妇视频| 婷婷丁香五月高清| A久网| 色五月成人在线| 美女婷婷六月色| 色色综合成人网| 99热99在线精品| 中文字幕不卡网站| 操97在线观看| 99色在线观看视频者| 成人国产欧美大片一区| 99视频| 99在线精品免费视频| 我爱大香蕉| 综合激情站| 婷婷色中文字幕| 人。妻久久| 激情五月天开心总和网| 狠狠搞狠狠操| 超碰91人人操| 99热9| 色久天| 丁香五月成人| 99操视频| 欧美日本免费一道免费视频| 色九九中文字幕| 五月丁香婷婷狠狠操| 99精品久久久久久| 一起草aV| 人伦30P| 精品成人久久久久久久_一二三四视| 超碰在线观看9| 五月丁香无码| 丁香五月在线视频| 开心五月婷婷99| 26uuu欧美激情另类| 激情丁香图片| 人人妻人人澡| 五月婷婷啪啪| 成人无码髙潮喷水A片| 五月婷婷色| 欧美日韩成卜| 吾爱AV导航| 91综合视频在线| 伊人婷婷五月天av| 国产激情久久久| 婷婷99狠狠| 五月丁香六月日逼| 蜜桃五月天| 深爱激情网综合| 婷婷五月综合体验看| 五月丁香久久网| 五月婷婷天| 国产精品99久久久久久久女警| 婷婷在线中文字幕| 99精品网址| 色热久| 婷婷久久视频| 激情综合婷婷| 99婷婷国产最新视频| 色色亚洲视频| 99re热视频这里只精品| 激情骚五月| 色情综合| 新激情五月天色播| 亚洲综合五月天婷婷丁香| 丁香五月婷婷在线| 5Www色5夜| 日韩成人中文字幕| 婷婷五月久久| 激情另类综合| 5月丁香综合图区| 色九九九九| 丁香五月婷婷动漫视频| 五月婷婷亚洲色视频| 99热这里是精品| 天天色中文字幕女优AV| 婷香五月| 丁香五月综合在线视频| 丁香九月久久| AV操一操| 激情五月天婷婷久久久久久久久久久| 夜夜骑天天操| 日本少妇裸体做爰高潮片| 五月亭亭欧美女人| 26uuuavcom| 99九九在线精品热动漫| www.91热久久| 噜噜色五月| 狠狠色五月天| 久热黄色| 综合久久五月| 国内婷婷丁香社区在线播放| 天天天天干| 国产精品18久久久| 五月婷婷色综图片| 五月成人天| WWW.国产| 亚洲免费电影2| 色婷婷色五月丁香| 色吧综合网| 日韩 mm 不卡| 天天干天天色天天干| 五月天激情国产综合婷婷| 天天肏天天肏| 亚洲第一色区| 一本色综合色| 欧美男女婷婷| 婷婷免费无视频| 精品乱码久久久久| 国产老熟妇亲子乱对白| 99热这里只有是亚洲国产| 五月婷婷丁香六月| 婷婷综合色| 五月丁香五月综合欧美| 亚洲天堂色| 五月花成人网| 色五月婷婷在线| 91性高潮久久久久久久久| 国产日日操夜夜操的肉棒视频| 色爱五月天| 99久久色| 五月天,激情四射,婷婷频道| 成人做爰高潮A片免费视频| 五月天色图| 超碰猛烈的性猛交| 欧美色色色色色色| jiZZdr| 一区二区你懂的| 伊人五月网| 成人精品视频99在线观看免费| 99re思思热在线视频| 久久久91| 色婷婷伊人| 99热天堂| 婷婷午夜丁香| 超碰亚洲天堂| 久久大香蕉| 超碰狠狠操| 国产在线中文字幕| 色婷婷色五月综合| 婷婷综合国产| 深爱开心激情| 五月丁香六月婷婷综合| 五日激情综合| 99热99美国在线观看| 婷婷色操| 99热在线精品播放| 天天综合 99久久婷婷| 操碰久| 伊人玖玖精品| 婷婷色丁香五月| 亚州色色色| 色婷网| 天天干,夜夜爽| 色爱综合视频| 久久小说网| 久久久精久人妻| 久久99大| 俺去也综合| 色五月婷婷91| 亚洲99热| 婷婷丁香人妻| 99精品丰满| 婷婷五月色天| 99日本精品视频热| 五月天综合| 激情综合网激情五月网| 精品少妇人妻AV无码专区偷人 | 五月开心婷婷极品激情| 成人午夜天| 婷婷五月深爱五月| 欧美性爱中文字幕| 国产成人高清| 国内婷婷丁香社区在线播放| 九九精品免费视频99| 丁香五月手机在线| 夜夜夜天天操| 久久探花91swag| 婷婷五月花| 性爱先锋AV| 免费观看18视频网站| 日日操,夜夜撸| 色哟哟性爱av| 丁香婷婷久久| 五月丁香六月婷婷久久| 九月婷婷久久久| 99精品国产乱码久久久人妻| 激情五月婷婷色| 国产综合视频婷婷| 成人综合网站| 91久久色| 婷婷五月丁香基| 婷婷婷久久久| 99热最新精品| 丁香五月婷婷少妇| 伊人在线视频| 91成人性爱视频| 激情五月天婷婷图| 日本女色人人| 91九色精品女同系列| 亚洲综合视频一下| 成人丁香色| 成人国产欧美大片一区| www.久久综合| 深爱激情网噜噜色| 久婷婷| 色999五月色| 五月婷婷激情久久| 色99亚洲| 任你擦免费视频| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 4399在线日本A片| 丁香婷婷啪啪啪| 激情伊人| 超碰京东热av男人的天堂| 99久久99九九99九九九| 人妻久久久久久久久久久| 天天天久久久| 《久久综合九色综合97婷婷| 色九九综合| 襙逼网| 婷婷久草| 五月丁香婷婷综合视频| 五月天大香焦| 中文字幕日产A片在线看| 91操在线视频| 日日噜狠狠色综合久| 五月色视频| 在线天堂9| 激情婷婷人妻| 欧洲毛片基地c区| 无码九九九九| 九九九九九九热| 久久免片| 成人av中文字幕| 这里只有精品免费| 丁香综合网| 日韩黄黄| 9l视频自拍9l九色成人| 久久婷婷五月综合啪| 日韩AC在线免费观看| 午夜少妇在线观看视频| 激情五月丁香婷婷| 97人人干人人操| 99成人| 婷婷五月天狠狠| 久热这里只有精品视频6| 这里只有精品热| 快乐激情五月色婷婷| 亚州精品成人片| 曰韩五月丁香色婷婷无码| 亚洲色婷婷| 久久精彩视频| 无码色| 欧美婷婷综合| 在线只有精品| 丁香五月天社区| 天天综合在线网| 99热最新| 久久久久久久人妻| 久久99网站| 亚洲午夜AV| 91丨九色丨东北熟女| 色欲av伊人久久大香线蕉影院 | 91人妻人人操| 中文字幕丰满乱孑伦无码专区| 久久se 综合网| 欧美丰满熟妇BBB久久久| 亚洲中文字幕在线观看| 免费看欧美成人A片无码| 国产欧美熟妇另类久久久 | 无码激情AAAAA片-区区| 99热 精品在线| 成人AV在线中文版| 日日做A爰片久久毛片A片英语| 超碰狠狠操| 亚洲色婷婷| 国产精品久久久久久久久久| 嫩草AV久久伊人妇女超级A| 日本不卡高字幕在线2019| 99国产精品久久久久久久久久久 | 99re视频精品| 五月丁香五月综合欧美| 丁香六月婷婷综合啪啪| 色XX综合网| 成人在线综合| 欧美人妻一区二区| 亚洲中文字幕在线观看| 99热在线播放| 天堂久久丁香| 91人人妻人人操| 98色丁香五月婷婷综合网| 五月激香蕉网| 九九超日本| 大香蕉九操| 爱爱色五月天| 五月丁香激情六月| 五月丁香六月婷婷色情| 99综合视频| 九九人人操| 五月婷婷激情综合| 欧美日韩成人h| 五月激情婷婷国产精品久久久久久| 亚洲精品字幕| 色婷婷五月综合色婷婷| 99re热99| 色国产五月| 激情五月天开心总和网| www.91久久| 久久怕怕视频| 草草色情综合网| 丁香婷婷超碰 | 日日夜夜天天| 视频一区二区在线| 欧美在线看| j久久性爱视频| 五月香蕉婷婷| 六月色婷婷色| 五月天播播综合| 黄色激情五月天| 亚洲综合在线视频| 碰超亚洲| 91人人操人人| 99久久婷婷五月天| 大香蕉五月婷婷| 国产精品久久久久久久久久| 欧美日韩国产一区二区| 久激情网| 丁香六月婷婷综合在线| 97精品欧美91久久久久久久| 中文字幕日产A片在线看| 91久久九| Av大香蕉| 日本颜色视频人人爱| 五月丁香啪啪| 婷婷五月丁香综合亚洲| 超碰激情网| 五月婷六月天| 91欧美| 丁香五月婷婷激情中文| 男人天堂伊人五月丁香| 99热8| 日本少妇裸体做爰高潮片| 久久99精品久久久久子伦| 狠狠色综合777| www.婷婷五月天| 国产精品第一国产精品| 日本97久久久精品| 色五月丁香六月资源站| 色综合另类| av中文字幕免费观看| 婷婷激情视频| 五月丁香花婷婷玉莉AV| 九九Av| 婷婷五月天激情综合| 综合九九| 狠狠操综合| 日本婷婷在线| 丁香五月激情啪啪| 亚洲亚洲人成综合网络| 97操在线视频| www.狠狠| 亚洲视频在线观看区| 激情五月第四色| 色六月婷婷| 色色草97| 五月丁香久久久| 婷婷六月天| 九九久久免费视频44| 亚洲综合色丁香婷婷六月| 欧美性丁香色色五月天干干| 伊人9在线| 五月第四色| 香蕉97碰碰碰欧美| 丁香六月啪啪| 色色色色色色色色五月先| 成人免费网站免费看| 天天日天天操天天干| 久热9| 久久婷婷内射| 97婷婷五月天| 丁香五月激情图片婷婷| 激情五月综合ì香亚洲| 五月综合视频| 亚洲操操| 色情婷婷| 色婷婷综合久久久久| 99热精品在线在线| 日韩AV中文字幕在线| 午夜色丁香| 草榴视频黄色网| 99aese| 囯产精品久久欠久久久久久九大| 色噜噜五月丁香婷婷| 五月丁香天堂网| www.婷婷com| 青青草蜜臀| 日本无码专区| 天插天啪天啪天啪| 五月天综合在线网| 1995年关宝慧版蜘蛛女| 日韩黄色中文字幕| m色激情网| 九色综合五月天婷五月| 综合激情深爱| 色综合中文综合网| 99乱视频| 久久色五月天| 久色网址| 天天婷婷综合| 亚洲激情四射| 狠狠操狠狠狠| 日本成人内射| 中文AV网站| 小骚穴电影| www,久久久| 开心婷婷五月天综合| 九九aV| 开心五月激情站| 超碰九热| 天天做夜夜爽| 久久综合网桃花| 97操碰视频| 九九综合伊人| www.婷婷| 夜夜操狠狠操天天操| 91碰碰碰久久久久| 99热日| 97九色| 日本人妻伦在线中文字幕 | 91色久| 99 热| 91精品激情9| 精品成人a v无码内射| 婷婷久久内射| 九九久久网| 丁香婷婷久久激情| 亚洲激情六月丁香| 亚洲在线操| 久久99热这里| yirenjiqingshiping| 五月天伊人久久久久| 国产99久9在线| 中文字幕av久久爽一区| 五月丁香啪啪激情| 激情五月综合网| 久久这里只有精品无码| 99热精品超碰| 思思热精品在线| 色婷婷狠狠色| 婷婷五月天网址| 欧美日韩99| jiqingliuyuetian| 97五月久久丁香婷婷| 久久久WWW| 五月开心婷婷| 五月天堂婷婷| www.人人操人人看人人想人人摸 人人人人操,COM| 乱乱av| 国产成人高清| 色色99| 婷婷夜夜操| 九九激情网| 无遮羞AV| WWW.久久.COM| 九九这里只有精品| 欧美激情五月天婷婷| 色约约视频一区二区三区四区五区| 亚洲熟女色| 思思久久思思| 粉嫩av蜜桃av蜜臀av| 久久se 综合网| 狠狠色综合网| 欧美婷婷五月天综合| 欧美色久| 日本在线观看99| 69精品人人人人| 天天爽天天草| 婷色人人狠| 久艹伊| 无码免费人妻A片AAA毛片西瓜 | 丁香婷婷五月综合欧美另类| 亭亭五月色男人| 婷婷五月花西瓜| 99这里只有精品视频免费| 日韩精品电影| 成人无码精品1区2区3区免费看| 亚洲精品国产精品乱码视99| 亚洲色婷婷99一9|| 全高清无码视頻| 人五月天婷婷喷水| 九九亚洲| 久久久久网站| 五月丁香做爱视频| 婷婷亚洲天堂| 影音先锋综合网| 久久人妻精品| 成人五月天丁香婷| 国产婷婷色综合AV蜜臀AV| 影音先锋女人av鲁色资源网小说免费| 欧美日韩精品一区二区三区钱| 色五月婷婷中文字幕| 97干网站| 天天做夜夜爽| www久热com| 婷婷综合五月激情| www.久久| 国产精品美女| 五月婷婷性爱视频| 97啪在线观看视频| 小视频久久久aaa| 免费视频无码| 婷婷开心五月| 久久开心五月婷婷| 五月婷婷色男女| 激情五月天丁香| 99热国内精品| 亚洲精品成人片在线播| 99九九精品视频推荐| 99re在线播放| 色色婷婷丁香| 九九在线精点品| 色啪综合| 亚洲在线操| 成人色图情色成人网 www.5b5b5bcom 五月天| 婷婷伊人久久综合| www 五月天 com| 天天干天天日天天插 | 另类激情中文| 九九热只有精品| 思思国产99| 丁香六月亭亭久久综合| 午夜免费试看| 永久热91| 日本三级99人妇网站| 99网| 狠狠五月激情丁香六月| 色婷婷19| 午夜成人天堂久久无码日韩久久| 色九九九九| 热热99爱爱| 色久99| bukadeavzaixian| 色吊操色妞| 日韩三级视频一区二区| 东北熟女视频99| 99热国产婷婷| 91精品综合久久婷婷九色| 色老久久| 国在线激情网| 思思网站| 深爱婷婷色| 天天草天天日| 丁香婷婷婷五月| 狠狠干伊人| www.俺去也com| www五月天com| 亚洲熟妇无码乱子AV电影| 天天干夜夜谢| 色五月天丁香婷婷| 丁香五月综合婷婷| 婷婷天天色| 99热这里只有精品8| 久草热8精品视频在线观看| 久久R激情| www.91在线看| 久久久99免费视频| 婷婷色综合| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 99色啊| 五月婷六月天| 五月丁香久久| 婷婷99| 免费看欧美成人A片无码| 91干99| 九九热10| 九九这里只这里只有精品| 五月婷婷丁香av| 丁香五月Av| 综合大香蕉| 永久精品| 久久综合婷婷激情| 夜夜AVV| 天天日天天添| 色情五月天se| 99久在线精品99re8热| 思思精品视频| 久久久久久久久月丁| 色婷亚洲| 第四色激情网| 蜜乳A√| 丁香五月社区| 五月久久婷婷| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 亚洲99一级无嗎特制在线| 色婷婷啪啪啪啪啪啪| 五月婷婷丁香伦理网| 激情五月小说婷婷| 激情欧美五月丁香| 色五月天 丁香| 久/久精品99看9| 五月婷婷m| www.婷婷.com| 无码人妻AV久久久一区二区三区| 久久综合66| 91色婷婷综合久久中文字幕二区| 五月天婷婷久久综合| 免费观看大片视频 丁香婷婷 六月欧美| 99无码视频| 丁香五月综合久久| 色噜噜狠狠色综合AV兰草影视| 欧美日本va| 天天综合精品| 超碰无码老师| 99热九九这里只有精品10| 婷婷五月情| 中文字幕丰满孑伦无码专区| 五月婷婷丁香六月| 九九九午夜影院成人| 丁香六月激情综合| 欲求不满的人妻| 新99色色色色色色| 婷婷丁香九月| 1024人妻无码中文字幕| 丁香色六月| 色五月激情五月开心五月| 亚洲精品国产熟女久久久| 丁香五月首页| 丁香五月婷久久| h在线看免费版在线看| 婷婷涩五月| 亚洲热久久| 粉嫩AV久久一区二区三区| 国产成人网址| 亚洲综合另类| 精品日本视频444| 丁香五月婷婷啪啪| 激情綜合W W W,激情五月天| 亚洲欧洲另类图片| 九九热这里只有精品5| 婷婷激情图片| 天天操天天插天天射| 99在线观看视频精品| 色色色网站| 青青色com久久| 激情激情激情网| 日本少妇裸体做爰高潮片| 婷婷综合色| 天天天天操| 婷婷中文网站| 丁香五月六月激情| 五月天激情四射| 操碰99| 狠狠综合网| 色婷婷综合在线| 夜夜撸天天日| 最近中文字幕在线中文视频| 色婷婷丁香网| 色五月婷婷av| 大香蕉人在线65| 欧美丁香五月| 中文字幕网伦射乱中文| 激情深爱婷婷网| 超碰在线99| 亚洲韩国日产综合AV| 亚洲色情网站| 日本www免费九九| 婷婷婷五月天最新综合你懂的| 亚洲超碰在线| www.99视频| 人人操插| 超碰色婷婷| 久久 婷婷 五月天| 婷婷色色欧美| 色婷婷成人五月| 狠狠 久久| 色婷婷五月天视频在线| 丁香五月婷婷视频| 99爱视频在线观看| 五月婷婷综合激情网| 色婷精品91| 国产av第一专区| 婷婷五月天狠狠搞干| 丁香狠狠色婷婷久久无码视频| 99r久久这里只有精品| 欧美久热| 天天在线天天综合网色| 99热这里只有精品9| 伍月婷丁香婷| 激情丁香五月婷婷| 日本丁香五月婷婷| 开心五月婷婷| 美女激情婷婷| 亚洲久久天堂| 五月婷婷 激情五月| 伊人久久大香线蕉亚洲五月天,| 九九热免费| 六月婷婷综合激情| 五月丁香啪啪综合| 激情五月色综合网| 国产在线黄色| 9999久久久久| 成人无码精品1区2区3区免费看| 色婷婷在线视频久| 欧美日韩成人h| 五月天开心激情综合网| 久久婷婷色综合老司机| 日韩色久| 美日韩成人| 色色国产| 丁香五月av在线| 色婷狠狠| 婷婷色在线播放| 久久色区| 91精品激情9| 色视频五月天| 碰碰91| 99啪啪视频| 久噜久噜| 丁香五月婷婷色偷偷| WWW,五月| 欧美丁香婷婷天天操| 五月婷婷爽爽爽| 五月婷婷五月| 婷婷五月天综合AV| av在线免费网站 | 久久久com| 亚洲精品色色色| 任你操精品免费| 丁香婷婷社区| 天天爽天天做| 久久免费操| 九九视屏| 国产裸舞福利资源在线视频| www.99色在线| 狠狠色丁香| 婷婷五月天首页|