欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Hive調(diào)優(yōu)實(shí)戰(zhàn):Tez與MapReduce引擎差異及核心參數(shù)優(yōu)化指南

Hive調(diào)優(yōu)實(shí)戰(zhàn):Tez與MapReduce引擎差異及核心參數(shù)優(yōu)化指南 1. 項(xiàng)目概述為什么Hive調(diào)優(yōu)不是“選個(gè)參數(shù)改一改”就完事了Hive 基于常用參數(shù)的調(diào)優(yōu)Tez和MR引擎——這個(gè)標(biāo)題里藏著一個(gè)被太多人低估的真相它根本不是一份“參數(shù)清單CtrlC/V”的速查手冊(cè)而是一套需要你同時(shí)理解SQL語(yǔ)義、執(zhí)行引擎行為、YARN資源調(diào)度邏輯、數(shù)據(jù)物理分布特征四層結(jié)構(gòu)的系統(tǒng)性工程。我?guī)н^(guò)三屆某高校大數(shù)據(jù)實(shí)驗(yàn)室的實(shí)訓(xùn)項(xiàng)目每年都有至少三分之一的學(xué)生卡在同一個(gè)地方把hive.exec.reducers.bytes.per.reducer256000000改成128000000后作業(yè)反而從3分鐘拖到12分鐘或者盲目調(diào)大tez.grouping.min-size結(jié)果小文件爆炸式增長(zhǎng)NameNode內(nèi)存直接告警。問(wèn)題出在哪不是參數(shù)錯(cuò)了是他們只看見(jiàn)了“參數(shù)”沒(méi)看見(jiàn)參數(shù)背后那個(gè)正在奔跑的執(zhí)行計(jì)劃。Tez和MR表面都是執(zhí)行引擎但內(nèi)核邏輯天差地別MR是嚴(yán)格的兩階段Map→Shuffle→Reduce所有中間結(jié)果必須落盤Tez則是DAG驅(qū)動(dòng)允許Map-Reduce-Map鏈?zhǔn)綇?fù)用甚至能把Join和Filter合并進(jìn)一個(gè)頂點(diǎn)。這意味著同樣一條SELECT COUNT(*) FROM sales WHERE dt2024-03-15 AND region華東在MR下可能觸發(fā)全表掃描兩次Shuffle在Tez下卻能通過(guò)Vertex重用動(dòng)態(tài)分區(qū)裁剪把I/O壓縮掉70%。所以調(diào)優(yōu)的第一步永遠(yuǎn)不是打開(kāi)hive-site.xml而是先用EXPLAIN看懂你的SQL到底被翻譯成了什么樣子。這不是玄學(xué)是每個(gè)真實(shí)生產(chǎn)環(huán)境里每天都在發(fā)生的決策現(xiàn)場(chǎng)某公司電商中臺(tái)團(tuán)隊(duì)曾因未識(shí)別出一個(gè)隱式類型轉(zhuǎn)換string字段和int常量比較導(dǎo)致整個(gè)訂單寬表Join失效被迫重跑TB級(jí)任務(wù)損失近4小時(shí)計(jì)算資源。你調(diào)的不是參數(shù)是你對(duì)數(shù)據(jù)流動(dòng)路徑的掌控力。2. 執(zhí)行引擎底層邏輯拆解Tez與MR的基因差異決定調(diào)優(yōu)方向2.1 MR引擎穩(wěn)定但笨重的“流水線工人”MapReduce的本質(zhì)是把計(jì)算任務(wù)強(qiáng)行切分成兩個(gè)不可逾越的階段Map負(fù)責(zé)局部處理Reduce負(fù)責(zé)全局聚合。這種設(shè)計(jì)帶來(lái)了極強(qiáng)的容錯(cuò)性——任何一個(gè)Map Task失敗只需重跑該分片但代價(jià)是強(qiáng)制落盤。每一輪Shuffle數(shù)據(jù)必須從Map端寫入本地磁盤再由Reduce端拉取、排序、歸并。這就決定了MR調(diào)優(yōu)的核心矛盾如何在磁盤I/O、網(wǎng)絡(luò)傳輸、內(nèi)存占用三者間找平衡點(diǎn)。比如mapreduce.map.memory.mb設(shè)得太低JVM頻繁GCMap Task啟動(dòng)慢設(shè)得太高YARN容器分配不均集群并發(fā)度驟降。更隱蔽的是mapreduce.input.fileinputformat.split.minsize這個(gè)參數(shù)——它控制InputSplit最小大小直接影響Map Task數(shù)量。假設(shè)你有一批平均200MB的ORC文件若split.minsize128MB每個(gè)文件會(huì)生成1~2個(gè)SplitTask數(shù)可控但若誤設(shè)為10MB200MB文件會(huì)被切成20個(gè)Split瞬間多出19個(gè)Map Task每個(gè)Task只處理10MB數(shù)據(jù)大量時(shí)間耗在JVM啟動(dòng)和心跳通信上實(shí)際吞吐反而暴跌。我實(shí)測(cè)過(guò)某日志分析場(chǎng)景將split.minsize從默認(rèn)的1B即按文件塊切調(diào)整為256MBMap Task數(shù)從1280個(gè)降到320個(gè)總耗時(shí)從8分23秒縮短至4分17秒CPU利用率從35%升至68%因?yàn)闇p少了75%的進(jìn)程調(diào)度開(kāi)銷。這說(shuō)明MR調(diào)優(yōu)的關(guān)鍵不是“堆資源”而是讓每個(gè)Task承載合理的工作負(fù)載避免“大馬拉小車”或“小馬拉大車”。2.2 Tez引擎靈活但敏感的“交響樂(lè)團(tuán)指揮”Tez拋棄了MR的僵化兩階段用DAG有向無(wú)環(huán)圖描述任務(wù)依賴。一個(gè)典型的Join操作在Tez中可能被編譯成三個(gè)頂點(diǎn)V1讀取左表過(guò)濾V2讀取右表過(guò)濾V3執(zhí)行Hash Join。這三個(gè)頂點(diǎn)可以并行啟動(dòng)V1/V2的輸出直接通過(guò)內(nèi)存管道Tez Runtime傳給V3完全繞過(guò)磁盤。這種設(shè)計(jì)釋放了巨大性能潛力但也引入了新挑戰(zhàn)頂點(diǎn)間的資源競(jìng)爭(zhēng)、內(nèi)存緩沖區(qū)溢出、動(dòng)態(tài)規(guī)劃失敗。比如tez.runtime.io.sort.mb它定義了每個(gè)Task用于排序的內(nèi)存緩沖區(qū)大小。設(shè)得太小如64MB數(shù)據(jù)頻繁spill到磁盤失去Tez優(yōu)勢(shì)設(shè)得太大如2GB單個(gè)Task可能吃光NodeManager內(nèi)存觸發(fā)YARN Kill。更關(guān)鍵的是tez.grouping.min-size——它控制輸入分組的最小字節(jié)數(shù)直接影響頂點(diǎn)并行度。假設(shè)你有1000個(gè)小于10MB的Parquet文件若min-size1MBTez可能為每個(gè)文件創(chuàng)建一個(gè)Task產(chǎn)生1000個(gè)頂點(diǎn)若設(shè)為100MB它會(huì)嘗試將10個(gè)文件合并成一個(gè)InputGroupTask數(shù)降到100個(gè)。但這里有個(gè)陷阱如果文件大小極度不均90%是5MB10%是500MBmin-size100MB會(huì)導(dǎo)致大文件單獨(dú)占一個(gè)Task小文件卻要湊夠100MB才啟動(dòng)造成嚴(yán)重的長(zhǎng)尾效應(yīng)。我們?cè)诰€上遇到過(guò)一個(gè)ETL任務(wù)因tez.grouping.min-size設(shè)置不當(dāng)95%的Task在2分鐘內(nèi)完成最后5個(gè)Task卡在30分鐘以上根源就是3個(gè)500MB文件被單獨(dú)調(diào)度而其他小文件還在等待湊組。Tez調(diào)優(yōu)的精髓在于用參數(shù)引導(dǎo)引擎做更聰明的決策而不是替它做決策。2.3 引擎切換不是開(kāi)關(guān)而是重構(gòu)執(zhí)行路徑很多人以為把hive.execution.enginemr改成tez就能自動(dòng)加速這是最大誤區(qū)。Hive的SQL優(yōu)化器Calcite會(huì)為不同引擎生成不同執(zhí)行計(jì)劃。比如ORDER BY在MR下必須走全局Reduce排序而在Tez下可能被優(yōu)化為TopN頂點(diǎn)局部排序大幅減少數(shù)據(jù)移動(dòng)。但這種優(yōu)化有前提你的數(shù)據(jù)必須滿足某些條件。例如SELECT * FROM user_log ORDER BY ts DESC LIMIT 100如果user_log表按ts字段做了Bucketing且數(shù)據(jù)已排序Tez可能直接讀取最新Bucket的頭部數(shù)據(jù)但如果表是隨機(jī)插入的Tez仍需全表掃描排序。因此引擎切換必須配合表結(jié)構(gòu)改造對(duì)高頻排序字段建Bucket對(duì)Join鍵做Sort Merge Bucket Join對(duì)小表啟用hive.auto.convert.jointrue觸發(fā)Map Join。某金融風(fēng)控團(tuán)隊(duì)遷移Tez時(shí)僅改引擎未動(dòng)表結(jié)構(gòu)QPS提升不足15%加入Bucket優(yōu)化后核心反欺詐查詢響應(yīng)時(shí)間從2.3秒降至0.4秒。這印證了一個(gè)事實(shí)引擎是肌肉表結(jié)構(gòu)是骨骼沒(méi)有匹配的骨骼再?gòu)?qiáng)的肌肉也發(fā)揮不出力量。3. 核心參數(shù)詳解與實(shí)操配置從原理到落地的完整閉環(huán)3.1 內(nèi)存類參數(shù)不是越大越好而是精準(zhǔn)匹配數(shù)據(jù)特征內(nèi)存配置是調(diào)優(yōu)的基石但錯(cuò)誤配置比不配更危險(xiǎn)。以hive.tez.container.size為例它定義了Tez Task容器的總內(nèi)存上限。很多團(tuán)隊(duì)直接設(shè)為NodeManager可用內(nèi)存的80%結(jié)果發(fā)現(xiàn)大量Task因OOM被Kill。原因在于container.size包含JVM堆內(nèi)存-Xmx和堆外內(nèi)存Direct Memory、Code Cache等。若container.size4GJVM堆通常只能分到3G剩下1G給堆外使用。當(dāng)tez.runtime.io.sort.mb20482G排序緩沖區(qū)時(shí)堆外內(nèi)存已接近極限一旦發(fā)生GC或網(wǎng)絡(luò)抖動(dòng)極易溢出。正確做法是建立計(jì)算公式container.size ≈ (tez.runtime.io.sort.mb tez.runtime.unordered.output.buffer.size.mb JVM Overhead) × 1.2其中JVM Overhead按堆內(nèi)存的25%估算。例如目標(biāo)排序緩沖區(qū)1.5G則container.size ≈ (1536 256 1536×0.25) × 1.2 ≈ (1536 256 384) × 1.2 2176 × 1.2 ≈ 2611MB → 取整為2816MB2.75G這樣既留出安全余量又避免資源浪費(fèi)。我在某廣告平臺(tái)實(shí)測(cè)將container.size從4G降至2.75Gtez.runtime.io.sort.mb同步從2G調(diào)至1.5GTask失敗率從8.7%降至0.3%平均執(zhí)行時(shí)間縮短19%。因?yàn)楦〉娜萜髂芴岣遈ARN調(diào)度并發(fā)度而1.5G排序緩沖區(qū)足以覆蓋95%的中間數(shù)據(jù)規(guī)模避免了頻繁spill。3.2 并行度參數(shù)控制“多少人干活”更要控制“每人干多少”并行度參數(shù)直接決定集群資源利用率。hive.exec.reducers.bytes.per.reducerMR和tez.grouping.min-sizeTez看似功能相似實(shí)則邏輯相反前者是上限控制每個(gè)Reducer最多處理多少字節(jié)后者是下限控制每個(gè)InputGroup至少多少字節(jié)。這導(dǎo)致調(diào)優(yōu)策略截然不同。對(duì)于MR計(jì)算理想Reducer數(shù)的公式是reducers_num min( max_reducers, ceil( input_data_size / bytes_per_reducer ) )其中max_reducers由hive.exec.reducers.max限定。假設(shè)處理1TB數(shù)據(jù)bytes_per_reducer256MB則理論Reducer數(shù)為1024GB / 0.25GB 4096。但若max_reducers1000最終只有1000個(gè)Reducer每個(gè)需處理1GB數(shù)據(jù)容易OOM。此時(shí)應(yīng)優(yōu)先調(diào)大max_reducers而非盲目減小bytes_per_reducer。對(duì)于Teztez.grouping.min-size的設(shè)定需結(jié)合文件統(tǒng)計(jì)信息。我們開(kāi)發(fā)了一個(gè)小腳本掃描HDFS目錄輸出文件大小分布hdfs dfs -ls /data/sales/* | awk {print $5} | sort -n | awk BEGIN{count0;sum0;min999999999;max0} {count; sum$1; if($1min)min$1; if($1max)max$1} END{printf Count:%d, Avg:%.0fMB, Min:%.0fKB, Max:%.0fGB\n, count, sum/1024/1024, min/1024, max/1024/1024/1024}實(shí)測(cè)某電商日志表12800個(gè)文件平均大小85MB最小4KB最大3.2GB。若設(shè)min-size128MB約60%文件需合并Task數(shù)預(yù)估為5120若設(shè)min-size64MBTask數(shù)升至8192。經(jīng)壓測(cè)5120個(gè)Task時(shí)YARN隊(duì)列等待時(shí)間最短平均1.2秒而8192個(gè)Task時(shí)等待飆升至8.7秒。結(jié)論選擇min-size應(yīng)使Task數(shù)落在集群并發(fā)能力的“甜蜜點(diǎn)”通常為集群總vCore數(shù)的1.5~2倍。3.3 數(shù)據(jù)讀寫類參數(shù)讓IO成為加速器而非瓶頸Hive的IO性能極大依賴底層文件格式和讀寫參數(shù)。ORC/Parquet是標(biāo)配但參數(shù)配置常被忽視。hive.exec.orc.split.strategyBI默認(rèn)適合大寬表它按Stripe切分而hive.exec.orc.split.strategyHYBRID會(huì)智能判斷對(duì)小文件用ETL策略按文件切避免過(guò)度切分。某用戶行為分析任務(wù)原始用BI策略1000個(gè)10MB ORC文件生成10000個(gè)SplitTask數(shù)爆炸切換HYBRID后Split數(shù)降至1200耗時(shí)下降41%。另一個(gè)關(guān)鍵是orc.compress和orc.stripe.size。orc.compressZLIB壓縮率高但CPU貴SNAPPY則更快。我們做過(guò)對(duì)比處理100GB原始日志ZLIB壓縮后22GBSNAPPY壓縮后38GB但SNAPPY解壓速度是ZLIB的3.2倍。在CPU充足的集群選ZLIB在IO密集型任務(wù)如報(bào)表導(dǎo)出選SNAPPY更優(yōu)。orc.stripe.size控制Stripe大小默認(rèn)256MB。Stripe是ORC的讀取單元設(shè)得太小如64MB增加元數(shù)據(jù)開(kāi)銷太大如1GB導(dǎo)致單次讀取數(shù)據(jù)過(guò)多緩存命中率下降。經(jīng)驗(yàn)法則是stripe.size ≈ 4 × avg_query_result_size。例如多數(shù)查詢返回10MB結(jié)果集則stripe.size40MB較合適。3.4 Join與聚合優(yōu)化參數(shù)從算法層面降維打擊Join和聚合是Hive最耗時(shí)的操作參數(shù)調(diào)優(yōu)直擊算法核心。hive.auto.convert.jointrue開(kāi)啟Map Join將小表廣播到每個(gè)Map Task內(nèi)存中徹底規(guī)避Shuffle。但閾值hive.mapjoin.smalltable.filesize默認(rèn)25MB常被忽略。某團(tuán)隊(duì)有張維度表32MB因超閾值無(wú)法觸發(fā)Map Join被迫走Reduce Join耗時(shí)增加5倍。解決方案不是硬調(diào)閾值而是用ALTER TABLE dim_user SET TBLPROPERTIES(auto.purgetrue)清理歷史版本并用INSERT OVERWRITE重建表利用ORC的輕量壓縮將體積壓到22MB。聚合方面hive.groupby.skewindatatrue是處理數(shù)據(jù)傾斜的利器。它啟用兩階段聚合第一階段加隨機(jī)前綴打散Key第二階段去前綴匯總。但副作用是增加一次Shuffle。因此僅在EXPLAIN確認(rèn)存在嚴(yán)重傾斜如某個(gè)Reducer處理數(shù)據(jù)量超均值10倍時(shí)啟用。我們?cè)O(jiān)控到一個(gè)訂單表GroupByprovince北京、廣東數(shù)據(jù)量是其他省的50倍開(kāi)啟此參數(shù)后長(zhǎng)尾Reducer消失整體耗時(shí)下降63%。4. 實(shí)操全流程從診斷到上線的七步工作法4.1 第一步基線捕獲與問(wèn)題定位30分鐘任何調(diào)優(yōu)前必須建立可量化的基線。我堅(jiān)持用三組數(shù)據(jù)鎖定問(wèn)題執(zhí)行計(jì)劃快照EXPLAIN EXTENDED SELECT ...重點(diǎn)關(guān)注Stage-1的Map Reduce或Tez標(biāo)識(shí)、Edges數(shù)量、Vertices依賴關(guān)系。特別留意FileScan是否走了分區(qū)裁剪Partition Filters、Join是否標(biāo)記Map Join。資源消耗日志在YARN UI中找到對(duì)應(yīng)Application下載logs/stdout搜索GC time、Spill、Container Killed等關(guān)鍵詞。一次典型失敗日志顯示2024-03-15 10:23:41,221 INFO [IPC Server handler 10 on 41234] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task attempt_1710498210123_123456_m_000045_0 killed because it was running for too long說(shuō)明Task超時(shí)需檢查mapreduce.task.timeout或數(shù)據(jù)傾斜。HDFS訪問(wèn)模式用hdfs fsck /data/table_name -files -blocks查看文件數(shù)量、平均大小、Block分布。若發(fā)現(xiàn)大量1MB文件基本可判定小文件問(wèn)題。某次調(diào)優(yōu)中基線顯示MR任務(wù)耗時(shí)14分32秒EXPLAIN顯示2個(gè)Reduce StageYARN logs中Spill次數(shù)達(dá)12萬(wàn)次fsck顯示12.7萬(wàn)個(gè)文件平均大小僅1.2MB。問(wèn)題根源清晰小文件Shuffle溢出。4.2 第二步小文件治理2小時(shí)小文件是Hive性能殺手必須前置解決。方案分三級(jí)緊急止血用ALTER TABLE table_name CONCATENATE僅ORC/Parquet合并小文件。該命令在后臺(tái)啟動(dòng)MapReduce任務(wù)將同一目錄下小文件合并為標(biāo)準(zhǔn)大小如256MB。注意執(zhí)行期間表不可寫需安排在業(yè)務(wù)低峰期。長(zhǎng)效防控在ETL寫入端設(shè)置hive.merge.mapfilestrueMap端合并、hive.merge.mapredfilestrueReduce端合并并調(diào)大hive.merge.size.per.task256000000256MB。源頭根治修改上游Kafka消費(fèi)程序?qū)atch.size16384默認(rèn)提升至131072增加單次寫入數(shù)據(jù)量同時(shí)啟用Flink的StreamingFileSink的bucket_interval按時(shí)間窗口滾動(dòng)寫入避免高頻小寫。實(shí)測(cè)某日志表治理后文件數(shù)從12.7萬(wàn)降至840平均大小升至302MBMR任務(wù)耗時(shí)從14分32秒降至5分18秒。4.3 第三步引擎適配與參數(shù)初篩1小時(shí)根據(jù)基線診斷結(jié)果選擇引擎若任務(wù)含大量ORDER BY、DISTRIBUTE BY、復(fù)雜DAG如多層嵌套子查詢首選Tez若任務(wù)簡(jiǎn)單單表聚合、無(wú)Join、集群MR生態(tài)成熟MR更穩(wěn)。然后用參數(shù)矩陣快速篩選| 參數(shù)類別 | MR推薦值 | Tez推薦值 | 調(diào)整依據(jù) ||----------|-----------|------------|------------|| 內(nèi)存上限 |mapreduce.map.memory.mb4096|hive.tez.container.size3072| 匹配NodeManager內(nèi)存的70% || 排序緩沖 |mapreduce.task.io.sort.mb1024|tez.runtime.io.sort.mb1536| 避免spill留20%余量 || 并行度 |hive.exec.reducers.bytes.per.reducer512000000|tez.grouping.min-size134217728| 按基線文件大小分布計(jì)算 |所有參數(shù)在hive-site.xml中統(tǒng)一配置避免SQL中SET污染。4.4 第四步執(zhí)行計(jì)劃深度優(yōu)化2小時(shí)參數(shù)只是杠桿執(zhí)行計(jì)劃才是支點(diǎn)。重點(diǎn)優(yōu)化三類場(chǎng)景分區(qū)裁剪失效檢查WHERE條件是否用變量如${dt}確保變量在編譯期可解析對(duì)LIKE模糊查詢避免前導(dǎo)通配符%abc改用REGEXP或倒排索引。Join順序錯(cuò)誤Hive默認(rèn)按FROM順序Join但最優(yōu)順序應(yīng)是小表優(yōu)先。用/* MAPJOIN(small_table) */強(qiáng)制指定或調(diào)整SQL中表順序。謂詞下推失敗EXPLAIN中若Filter Operator出現(xiàn)在FileScan之后說(shuō)明過(guò)濾未下推。檢查UDF是否標(biāo)有Description注解或改用內(nèi)置函數(shù)。某報(bào)表任務(wù)原SQLSELECT a.id,b.name FROM fact_order a JOIN dim_user b ON a.uidb.id WHERE a.dt2024-03-15EXPLAIN顯示Filter在Join后耗時(shí)8分。改為SELECT /* MAPJOIN(b) */ a.id,b.name FROM (SELECT * FROM fact_order WHERE dt2024-03-15) a JOIN dim_user b ON a.uidb.idFilter下推至Scan耗時(shí)降至1分22秒。4.5 第五步壓力測(cè)試與參數(shù)微調(diào)3小時(shí)用tpcds-kit生成10GB測(cè)試數(shù)據(jù)運(yùn)行核心SQL 5輪記錄平均耗時(shí)、StdDev、YARN資源峰值。關(guān)鍵觀察點(diǎn)若StdDev 15%說(shuō)明存在不穩(wěn)定因素如GC抖動(dòng)、網(wǎng)絡(luò)波動(dòng)需檢查-XX:UseG1GC等JVM參數(shù)若CPU利用率 40%可能是I/O瓶頸調(diào)大tez.runtime.io.sort.mb若內(nèi)存利用率 90%需降低container.size或優(yōu)化SQL減少中間數(shù)據(jù)。我們采用二分法微調(diào)以tez.runtime.io.sort.mb為例初始設(shè)1536MB測(cè)試后CPU利用率65%StdDev 8%則嘗試1792MB若出現(xiàn)OOM則回退至1280MB。最終確定1664MB為最優(yōu)值。4.6 第六步灰度發(fā)布與監(jiān)控埋點(diǎn)30分鐘上線不等于結(jié)束。在hive-site.xml中添加property namehive.log.explain.output/name valuetrue/value /property property namehive.query.log.level/name valueINFO/value /property這樣每次查詢會(huì)在/tmp/hive-logs/生成explain_query_id.txt便于事后審計(jì)。同時(shí)在Prometheus中配置HiveServer2指標(biāo)hive_server2_queries_total{statussuccess}、hive_server2_query_duration_seconds設(shè)置告警若P95耗時(shí)突增200%立即通知。4.7 第七步效果驗(yàn)證與知識(shí)沉淀1小時(shí)上線后持續(xù)監(jiān)控72小時(shí)對(duì)比基線指標(biāo)基線優(yōu)化后提升平均耗時(shí)14m32s2m18s85%YARN Container失敗率8.7%0.2%98%HDFS讀取量1.2TB0.3TB75%最后將本次調(diào)優(yōu)的EXPLAIN截圖、參數(shù)變更列表、測(cè)試數(shù)據(jù)、監(jiān)控圖表整理成內(nèi)部Wiki標(biāo)題為《Hive調(diào)優(yōu)案例庫(kù)電商日志分析任務(wù)V1.0》供團(tuán)隊(duì)復(fù)用。記住調(diào)優(yōu)不是一次性動(dòng)作而是將經(jīng)驗(yàn)轉(zhuǎn)化為可復(fù)用的資產(chǎn)。5. 常見(jiàn)問(wèn)題與避坑指南那些文檔里不會(huì)寫的實(shí)戰(zhàn)教訓(xùn)5.1 “調(diào)了參數(shù)為什么沒(méi)效果”——四大隱形陷阱提示90%的“無(wú)效調(diào)優(yōu)”源于未識(shí)別這些隱藏條件。陷阱一參數(shù)作用域沖突Hive參數(shù)有四個(gè)作用域HiveServer2全局Session會(huì)話SQL HintHive CLI配置。若你在hive-site.xml中設(shè)hive.execution.enginetez但在Beeline中執(zhí)行SET hive.execution.enginemr;后續(xù)所有SQL都走M(jìn)R。更隱蔽的是某些JDBC連接串自帶?hive.execution.enginemr參數(shù)會(huì)覆蓋服務(wù)端配置。排查方法在SQL開(kāi)頭加SET hive.execution.engine;確認(rèn)當(dāng)前生效值。陷阱二執(zhí)行計(jì)劃緩存未刷新Hive會(huì)緩存執(zhí)行計(jì)劃Plan Cache尤其在HS2啟用了hive.server2.cache.resultstrue時(shí)。你改了tez.grouping.min-size但舊計(jì)劃仍在緩存中執(zhí)行。解決方案執(zhí)行INVALIDATE METADATA table_name;Impala語(yǔ)法Hive不支持或更可靠的方法——重啟HiveServer2服務(wù)或在SQL中加/* NOCACHE */提示。陷阱三底層存儲(chǔ)格式不兼容曾有團(tuán)隊(duì)將hive.exec.orc.split.strategyHYBRID用于TextFile表結(jié)果任務(wù)直接失敗。因?yàn)镠YBRID策略依賴ORC/Parquet的元數(shù)據(jù)如Stripe信息TextFile無(wú)此結(jié)構(gòu)。務(wù)必確認(rèn)DESCRIBE FORMATTED table_name中InputFormat為org.apache.hadoop.hive.ql.io.orc.OrcInputFormat或org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat。陷阱四YARN資源未同步擴(kuò)容調(diào)大hive.tez.container.size4096但YARN的yarn.scheduler.maximum-allocation-mb仍為3072導(dǎo)致容器申請(qǐng)被拒絕Task卡在ACCEPTED狀態(tài)。必須同步調(diào)整YARN參數(shù)yarn.scheduler.maximum-allocation-mb ≥ container.size且yarn.nodemanager.resource.memory-mb需預(yù)留足夠空間。5.2 “為什么Tez比MR還慢”——五個(gè)反直覺(jué)真相注意這些情況Tez天然劣勢(shì)強(qiáng)行切換只會(huì)更糟。真相一超小數(shù)據(jù)集100MBTez的DAG編譯、頂點(diǎn)調(diào)度、AM通信開(kāi)銷約2~5秒而MR的JobClient啟動(dòng)僅需1秒。處理10MB測(cè)試數(shù)據(jù)時(shí)Tez耗時(shí)8.2秒其中調(diào)度占6.1秒MR僅3.4秒。結(jié)論小任務(wù)用MR大任務(wù)用Tez。真相二強(qiáng)順序依賴的SQL如INSERT OVERWRITE TABLE t1 SELECT ...; INSERT OVERWRITE TABLE t2 SELECT * FROM t1;Tez雖能優(yōu)化為DAG但t2必須等t1完全寫入才能開(kāi)始讀。此時(shí)MR的簡(jiǎn)單性反而更高效因?yàn)闊o(wú)需維護(hù)頂點(diǎn)狀態(tài)機(jī)。真相三高延遲網(wǎng)絡(luò)環(huán)境Tez頂點(diǎn)間通過(guò)Netty傳輸數(shù)據(jù)若集群跨機(jī)房如北京IDC訪問(wèn)上海HDFS網(wǎng)絡(luò)RTT50msTez的管道傳輸優(yōu)勢(shì)被抵消甚至因重試機(jī)制導(dǎo)致延遲更高。此時(shí)MR的磁盤落盤反而更穩(wěn)定。真相四UDF大量使用反射Tez的TaskClassLoader對(duì)反射調(diào)用更敏感。某自定義JSON解析UDF在MR下耗時(shí)1.2秒/行在Tez下飆升至4.7秒/行。原因是Tez的類加載器層級(jí)更深Class.forName()開(kāi)銷增大。解決方案改用ObjectInspector接口或預(yù)加載Class。真相五Hive版本過(guò)低Hive 2.3.0以下版本Tez優(yōu)化器不成熟EXPLAIN常顯示冗余頂點(diǎn)。升級(jí)到Hive 3.1.3tez.am.resource.memory.mb等參數(shù)才真正生效。某團(tuán)隊(duì)卡在Hive 2.1.0折騰兩周無(wú)果升級(jí)后參數(shù)立竿見(jiàn)影。5.3 “如何快速判斷該調(diào)哪個(gè)參數(shù)”——一張決策樹(shù)就夠了面對(duì)海量參數(shù)新手常不知所措。我總結(jié)了一張實(shí)戰(zhàn)決策樹(shù)覆蓋95%場(chǎng)景開(kāi)始 │ ├─ SQL是否含ORDER BY / SORT BY → 是 → 檢查hive.limit.optimize.enable tez.runtime.sorter.class │ ├─ 是否有Join操作 → 是 → 查EXPLAIN是否Map Join → 否 → 調(diào)hive.auto.convert.join hive.mapjoin.smalltable.filesize │ │ │ └─ 是 → 檢查小表大小 → 25MB → 確認(rèn)hive.mapjoin.smalltable.filesize閾值 │ ├─ 是否有GROUP BY → 是 → 查EXPLAIN是否有Skew → 是 → 開(kāi)hive.groupby.skewindata hive.groupby.mapaggr.checkinterval │ │ │ └─ 否 → 調(diào)hive.map.aggr hive.map.aggr.hash.percentmemory │ ├─ 任務(wù)是否頻繁O(jiān)OM → 是 → 查YARN日志 → Container Killed → 調(diào)container.size io.sort.mb │ │ │ └─ GC time高 → 調(diào)JVM參數(shù)-XX:UseG1GC -XX:MaxGCPauseMillis200 │ └─ 任務(wù)是否長(zhǎng)尾95%快5%極慢 → 是 → 查EXPLAIN各Reducer數(shù)據(jù)量 → 差異10倍 → 啟用Skew參數(shù)或加鹽這張圖已在某云廠商客戶培訓(xùn)中驗(yàn)證工程師按圖索驥平均30分鐘內(nèi)定位到核心參數(shù)效率提升4倍。5.4 我踩過(guò)的最深的三個(gè)坑血淚換來(lái)的經(jīng)驗(yàn)坑一hive.optimize.index.filtertrue引發(fā)的數(shù)據(jù)錯(cuò)亂某次上線后報(bào)表中用戶數(shù)突增200%。排查發(fā)現(xiàn)該參數(shù)啟用后Hive會(huì)嘗試用索引跳過(guò)某些Block但我們的ORC表未建索引Hive誤判為“全匹配”跳過(guò)了部分?jǐn)?shù)據(jù)塊。關(guān)閉此參數(shù)后恢復(fù)正常。教訓(xùn)非必要不開(kāi)啟實(shí)驗(yàn)性參數(shù)尤其涉及數(shù)據(jù)正確性的??佣ez.runtime.unordered.output.buffer.size.mb設(shè)為0的災(zāi)難為減少內(nèi)存占用將該參數(shù)設(shè)為0期望禁用緩沖區(qū)。結(jié)果Tez強(qiáng)制啟用最小值1MB但因配置沖突所有Task的輸出緩沖區(qū)被初始化為1字節(jié)導(dǎo)致數(shù)據(jù)寫入失敗。日志中滿屏java.nio.BufferOverflowException。正確做法不設(shè)為0而是設(shè)為合理值如64MB。坑三hive.exec.dynamic.partition.modenonstrict的權(quán)限漏洞開(kāi)啟此模式后動(dòng)態(tài)分區(qū)可插入任意路徑某開(kāi)發(fā)誤寫INSERT OVERWRITE TABLE t PARTITION(dt) SELECT ..., 2099-01-01 as dt將測(cè)試數(shù)據(jù)寫入生產(chǎn)分區(qū)覆蓋了真實(shí)數(shù)據(jù)。此后我們強(qiáng)制要求動(dòng)態(tài)分區(qū)必須配合hive.exec.max.dynamic.partitions.pernode默認(rèn)100和hive.exec.max.dynamic.partitions默認(rèn)1000雙重限制。6. 進(jìn)階思考超越參數(shù)的系統(tǒng)性優(yōu)化視角調(diào)優(yōu)走到深處會(huì)發(fā)現(xiàn)參數(shù)只是冰山一角。真正的瓶頸往往藏在更底層。某次為某視頻平臺(tái)優(yōu)化推薦日志分析我們已將Tez參數(shù)調(diào)至極致耗時(shí)仍卡在6分12秒。EXPLAIN顯示所有頂點(diǎn)正常YARN資源充足但hadoop fs -du -h /tmp/hive-*發(fā)現(xiàn)臨時(shí)目錄堆積了2.3TB數(shù)據(jù)。根源在于Hive默認(rèn)將UNION ALL的每個(gè)分支結(jié)果寫入獨(dú)立臨時(shí)目錄而該SQL有12個(gè)分支。解決方案不是調(diào)參數(shù)而是重構(gòu)SQL邏輯用WITH子句提取公共表表達(dá)式將12分支合并為3個(gè)主分支臨時(shí)目錄數(shù)據(jù)降至0.4TB耗時(shí)降至2分07秒。這揭示了一個(gè)本質(zhì)Hive調(diào)優(yōu)的終極形態(tài)是用SQL工程思維替代參數(shù)工程思維。當(dāng)你能熟練運(yùn)用LATERAL VIEW explode()替代多層嵌套JOIN用WINDOW FUNCTION替代自關(guān)聯(lián)用INSERT ... VALUES批量寫入替代逐條INSERT參數(shù)調(diào)優(yōu)的空間自然就縮小了。另一個(gè)維度是基礎(chǔ)設(shè)施協(xié)同。我們推動(dòng)運(yùn)維團(tuán)隊(duì)將HDFS的dfs.datanode.max.transfer.threads從4096提升至8192dfs.client.read.shortcircuit.streams.cache.size從256調(diào)至1024配合Hive的hive.exec.orc.zerocopytrue使ORC零拷貝讀取生效單節(jié)點(diǎn)吞吐提升37%。這說(shuō)明最好的Hive調(diào)優(yōu)從來(lái)不是孤立地改hive-site.xml而是讓計(jì)算引擎、存儲(chǔ)系統(tǒng)、網(wǎng)絡(luò)架構(gòu)形成合力。最后分享一個(gè)小技巧在hive-site.xml中添加propertynamehive.server2.logging.operation.level/namevalueEXECUTION/value/propertyHiveServer2會(huì)將每條SQL的執(zhí)行階段Compile、Execute、Fetch耗時(shí)寫入日志幫你精準(zhǔn)定位慢在哪一環(huán)——是編譯慢SQL太復(fù)雜、執(zhí)行慢數(shù)據(jù)傾斜、還是取數(shù)慢網(wǎng)絡(luò)或客戶端瓶頸。這個(gè)細(xì)節(jié)讓我們的平均問(wèn)題定位時(shí)間從2小時(shí)縮短至20分鐘。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香五月综合激情性爱 | 久热这里有精品视频| 久久曰曰| 六月婷婷久久| 五月天激情图| www激情| 丁香六月综合激情| 97色干| 开心激情色婷婷五月天| 狠狠色狠狠| www.夜夜操| 婷婷五月天在线观看免费| 色爱99| 久久婷婷五月天| 亚洲综合激情五月| 婷婷丁香五月欧美人| 曰本aaaaaa丈片| 人妻操逼视频| 亚洲综合久| 色婷婷丁香五月天在线视频| 好好干Av| 色五月综合激情| 香蕉97碰碰碰欧美| 日本啪啪天堂| 九九精品综合| 吉澤明步Av一區二區| 伊人干综合| 欧美激情丁香五月| 97精品自拍视频| 无码 av电影| 五月天成人免费视频| 91视屏在线观看com.wwwvv| 婷婷五月天午夜激情影院| 桃色五月天| 伊人久久婷婷五月综合97色| 五月天婷婷xxx| 亚洲AV成人在线观看| 91狠狠综合久久| 婷婷五月骚厕所| 成人精品在线| 久操热| 久草视频大香蕉99| 肏日网在线看| 婷婷激情啪啪| 婷婷久久图片| 天天干,天天操,天天射| 99综合熟女| 五月丁香综合| 亚洲乱码日产精品BD| 狠狠综合久久| 激情婷婷五月天| anquye五月| 日本www五月婷婷| 在线另类视频| 婷婷激情肏屄网| 97婷婷丁香| 婷婷五月五月丁香| 狠狠色丁香久久综合婷婷亚洲成人福利 | 久久久大香蕉| 久久综合激情| 熟妇人妻中文字幕无码老熟妇| 丁香五月性爱| 欧美私人家庭影院| 99只有精品9| 午夜少妇在线观看视频| 99艹精品在线观看| 五月丁香六月成人| 草综合网| 久久婷婷欧美| 思思热在线观看| 99热这里只有精品3| 噜噜噜噜综合在线| 九九色色| 日韩一区二区A片免费观看 | 99er6| www色婷婷久久综合久色| 久久五月天色婷婷| 六月欧美综合色情| 色色哒五月婷婷六月丁香| 日日夜夜爽爽| 婷婷综合亚洲| 亚洲日韩一页精品发布| 超碰自拍天堂| 91狠狠综合久久久| 欧美视频在线观看噜噜| 五月天激情久久| 亚洲五月停停| 色欲丁香| 免费看欧美成人A片无码| 狠狠色综合五月人人| 久久AAAA片一区二区| 久久99国产综合精品免费| 无码日本精品XXXXXXXXX| 少妇被下春药玩弄A片| 99在线观看| 青青久在线视频免费观看| 先锋影音av色五月天资源站| 亚洲精品国产setv| 激情五月丁香六月| 9l视频自拍9l九色成人| 99ri视频在线观看| 青草性爱视频| 欧美日韩成人在线观看| 99精品热| 久久色五月天| 9久热这里只有精品| 亚洲激情综合| 68热超碰在线| 五月丁香激情五月天| 中文字幕色色色| 丁香五月五月婷婷五月天激情四射| 婷婷五月天在线综合| 亚洲AV人人操| 国产伊人大香蕉| 91精品丝袜久久久久久| 色婷婷久久综合久色综| 亚洲A片成人无码久久精品青桔| 一本婷婷丁香久久| 色爱综合视频| 深爱激情丁香| 五月激情网站| www夜夜操| 色色婷婷丁香| 天天操B| 激情五月婷婷啪啪| 五月丁香激情啪啪| 色人久久| 碰超99| 182tv992tv人之初午夜免费观看| 无码网| 另类激情中文| 五月天天丁香婷婷| 婷婷操逼网| 美国十月色婷婷在线观看| 欧美日韩99| 亚洲一区二区无遮挡A片| 激情久久五月天| 26uuu欧美激情另类| 久久这里只有精品热在99| 丁香色影院| 亚洲激情高潮| 色情综合网| 97资源欧美日韩大香蕉超碰一区| 丁香婷婷情色五月天| 久久一级AV| 综合亚洲六月婷婷在线| 五月丁香狠狠爱| 一级七香蕉| 五月丁香婷婷国产精品综合| 2018国产大陆天天弄| 五月丁香六月综合基地| 91色噜噜狠狠狠狠色综合| 国产在线网| 色久婷婷五月| 91操碰| 久草a片| 热99这里只有精品视频| 不卡成人免费| 亚洲热视频| 丁香五月狠狠在线观看| 丁香婷婷月| 色色色五月| 激情婷婷五月基地| 日本一级大片| 大香蕉婷婷五月| 欧美日韩成人在线免费| 69久久99精品久久久久婷婷| 五月丁香激情四射综合| 婷婷六月色开| 久久久久久久综合狠狠综合| 99精品偷自拍| 亚洲免费99| 九九热青草| 九九视频精品视频精品| 亚洲色区17| 69色色视频| 99久久婷婷国产综合亚洲| 婷婷五月天亚洲精品| 人妻丰满精品一区二区A片| 91seav| 中文字幕av网站| 99热这里只有精品22| 久久综合66| 这里只有精品视频一区| 婷婷丁香五月天影院 | 六月丁香六月婷婷欧美| 99久在线精品99re5热视频| 九九热婷婷| 无码区婷婷五月花开| 日本精品99网站| 亚洲婷婷五月天在线激情综合网| 狠狠干五月| 亚洲最大五月六月丁香婷婷| 久热 91| 91操网| www.主妇. com| 久久人妻少妇嫩草AV| 天天射色五月天| 97超级碰碰碰| 丁香五月天啪啪| 夜夜撸天天日| 大香蕉五月丁香| 久久久中文| 99精品久久久久久久婷婷久久| 丁香婷婷五月天成人| 婷婷色网站| 色婷六月| 99欧美热| 丁香五月六月| 51国精产品自偷自偷综合 | 亚洲婷婷五月| 就爱操www com| 91在线人| 嫩草AV久久伊人妇女超级A| 婷婷五月天激情综合深爱激情| 色色色色色五月| 日韩一级淫乱片一区二区三区| 日本五月婷婷| 五月婷综合性中心| 掩去也综合五月视频| 中文不卡av| 久久婷婷影院| 久青操| 天天艹天天色| 秋霞电影理论| 丁香五月天婷婷久久| 丁香婷婷婷五月综合色情| 五月天偷拍| 色色色在线观看| 很很干在线视频| 久久久99婷婷久久久久久| www.婷婷五月天.com| 啄木鸟丝袜美女福利视频| 91九色在线| 亚洲啪啪自拍| 丁香五月影| 久久婷婷六月综合| 色哟哟精品| 欧洲免费视频色| 久久五月丁香婷婷| 久久视频婷婷视频| 日韩操逼大片| 婷婷人人操| 丁香婷婷综合影院| 久婷婷视平| 97碰久久| 婷婷成人视频| 99热这里只有精品免费| 日日色综合| 久久99美女精彩视频| 五月丁香综合伦理片| 6月丁香婷婷| AV网站免费在线| www.刺激色网站www.| 丁香五月婷婷欧美性爱| 99在线视频。| 色色色色色色五月婷婷| 91久久综合| 国产精品丝| 99er精品视频| 九九热re99re6在线精品| 五月草影视| 久久性爱视频这里只有精品| 久久久久丁香婷婷五月天| 激情五月色播五月| 久久综合丁香| www99热| 99热一区| 国产精产国品一二三在观看| 欧美婷婷色五月网| 久9热| 激情五月天婷婷图| 另类国产综合| 综合网激情| 丁香婷婷九月| 午夜天堂啪啪| 开心五月婷婷伊人| 国产免费一区二区三州老师F1F1| 久久综合九九| 韩国久久少妇视屏| 色色五月婷婷久久| 欧美丰满熟妇BBB久久久| 国产精品A成V人在线播放| 无遮羞AV| 九九re精品视频在线观看 | 婷婷激情五月综合丁| 丁香婷婷久久综合在线| 五月丁香婷婷综合| 欧美 日韩 人妻 高清 中文 | 六月婷婷最新网址| 色 免费网站视频| 99惹| 大香蕉婷婷久久| 99爱精品| 国产阿姨日皮艹逼内射视频| 五月天综合在线观看| 精品色色| 大地资源色婷婷视频在线| 五月婷婷久久大片| 五月婷婷AV| 激情综合网五月天天| A久网| 婷婷天堂综合| 99热97美女| 激情五月婷婷综合| AV性爱在线| 无码任你操| 丁香婷婷天堂| 99综合视频在线| 亚洲日日操| 26uuu最新地址| 激情综合网激情五月丁香五月俺也去| 色丁香五月天| 欧美黄色韩日网| 婷婷五月六月丁香| 色玖玖玖| 色婷亚洲| 国产在线aaa片一区二区99| 精品视频网| 桃色Av色哟哟| 色欲天天综合| 六月婷婷最新网址| 五月综合亚洲婷婷| 夜夜骑夜夜撸| 99视频九九热| 丁香色婷婷五月天| 亚洲欧美成人在线观看| 97丁香五月天| 色五月丁香婷婷| 丁香五月婷婷欧美成人色图| 丁香激激情网| 香蕉AV777XXX色综合一区| 成人五月天视频| 五月丁香六月综合激情| 另类A片| 99性感视频| 亚洲综合九九| 熟女色专区| www.色婷婷.com| 新激情五月天| www好屌操| 五月婷婷在线视频| 欧美精品99久久久| 久久人妻久久| 91操人视频| 俺去也五月天| 五月开心久久| 九九热精品视频在线观看| www.色五月.com| 伊人久久大香线蕉AV最新午夜| 97久久香草精品视频| 激情五月婷婷| 《诡秘之主》在线观看| 狠狠综合网| 精品婷婷| 久久精彩视频| 亚洲综合网激情五月天| 亚洲精品久久久无码| 这里都是精品99| 婷婷色网| 99热这里只有精品98| www.日日夜夜.com| 这里只有精9| 日日操天天操| 午夜不卡成人一区二区| 亚洲综合色成丁香五月色| 亚洲婷婷丁香五月亚洲| 五月丁香久久激情综合| 婷婷在线激情| 99性视频| 久九男女天堂| 久久九九色| 97人妻碰碰碰久久| 九色婷婷| 亚洲热综合网在线观看| 日噜噜色| 亚洲黄色精品| 第四色五月激情网| 99天堂在线观看免费视频| 亚洲婷婷乱乱丁香| 99啊精典免费视频| 丁香六月婷婷久久综合| 99r久久这里只有精品| 国产小精品| 五月婷婷激情四月| 桃色激情五月天| 婷婷五月在线综合| 天天综合网在线| 婷婷色啪| 日本视频久久| 五月丁香六月激情| 国产色色在线| 色婷婷色丁香色欲av| 人人爱摸视频| 色激情综合狠狠婷婷| 丰满少妇乱A片无码| 热的无码综合视频| 婷婷五月香蕉| 五月婷婷视频| 9999三级片| 日韩欧美一区二区三区四区| 色婷婷色丁香色欲av| 97视频91| 婷婷五月成人系列| 99精品热视频| 秋霞电影理论| 亚洲无码11| 能看的av| 五月婷婷啪啪| 成人婷婷深爱综合网| 激情丁香久久| 熟妇内谢69XXXXXA片| 99无吗| 91超碰人人操| CAOBIBI| 五月天开心网| 精品久热69| 久久与婷婷| 97成人超碰免| 丁香五月之久操视频| 欧美Va婷色| henhencao国产在线| 久久婷婷综合拍| 99色视频| 九九热超碰| 久草热视频在线观看| 久久婷婷成人视频| 91色色色18| yw国产AV| 中字幕视频在线永久在线观看免费| 婷婷 丁香 精品| 色欲五月天| 99久久久免费| 久久色9| 成人丁香婷婷| 无码免费人妻A片AAA毛片西瓜| 91.com男女操| 五月天综合色| 2025色婷婷| 五月婷婷co.m| 思思视频这里是精品| 婷婷内射视频在线| 日韩一66精品| 婷婷激情五月天综合| 久久午夜丁香| 色婷婷色五月综合| 日韩三级视频一区二区| 超碰色碰碰| 亚洲12p| www久| 丁香五月婷婷激情网| 狠狠色综合精品视频在线| 天天爽天天日人人爱| 91viP在线看| 久艹伊| 红桃91人妻爽人妻爽| 色爽干| 国产精产国品一二三在观看| 日韩免费视频| 日韩成人精品中文字幕电影| 婷婷综合九色伊人| 99在线视频。| 免费色婷婷| 97caop| 无人区码一码二码三码医生系列| 久久er99热精品一区二区 | 五月天丁香久久综合| 成人无码髙潮喷水A片| 久久国产色| 五月天婷婷色色| 亚洲久热| 99热色精品| 内射爽无广熟女亚洲| 亚洲色热| 日日影院 | 任你躁XXXXX麻豆精品| 色偷偷AV亚洲男人的天堂| 日韩无码成人电影| 九色综合网| 秋霞九九无码| 91综合在线视频| 啪啪综合| 人人爱天天摸摸天天爱| 天天操夜夜爱| 亚洲精品永久久久久久| 色综合婷婷| 这里只有精彩视频| 久久97久久99久久综合欧美| 久久久久视剧HD| 丁香天堂夜| 99热碰碰热| 国产xxxxx在线观看| 国产精品五月丁香| 五月天五月天激情网| 五月开心激情| 五月开心久久| AV中文字幕夜夜操b天天摸bb| 91精品综合久久久五月天| 五月综合丁香婷婷| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 操婷婷基地| 色五月色图| WWW五月婷婷| 开心五月婷婷在线| 欧美综合五月丁香六月婷| 天天操天天操天天操天天操天天操| 五月婷婷五月天| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 91操女| 色色色婷| 五月丁香色狠狠干大屄| 丁香婷婷五月六月久久| 青草视频在线播放| 91色在线/日韩| 丁香六月婷婷综合麻豆| 久婷婷色| 色五月丁香A欧美com| 色婷婷啪啪啪啪啪啪| 婷婷五月天.com| 伊人婷婷五月天| 色色国产| 久久综合无| 五月天婷爱综合| 婷婷五月激情图片| 东北熟女高潮99综合99| 开心久久xxx色| 激情五月综合网最新| 99久久婷婷国产综合| 九月丁香八月婷婷加勒比| 91视频综合网| 五月婷婷久草在线视频综合| 狠狠干五月天| 91精品无码久久久久久五月天| 影音先锋 91工厂| 96精品久久久久久久久| 久久五月热| 亚洲色激婷| 性天堂久久| 婷婷五月天丁香综合网| 婷婷丁香五月激情图片| 99色精品| 久久婷.com| 26UUU欧美| 伊人综合网站| 丁香婷婷五月天校园春色| 思思99热| 日韩操女| 天天爽天天干| 丁香社92视频| 99热久久这里只有精品2010| 五月天大香蕉av| 天天做天天爱天天摸| 中文资源在线a | 另类图片五月天| 97人碰人操| 色天天久婷婷| 开心五月激情网| 日本色婷婷| 久操福利| 人妻综合网| 久操97| 久久aaaaa| 成人视频婷婷| 伊人成综合五月婷婷| 99在线视频在线观看| 久久久五月天| 丁香六月 人妻| 99热精品在线播放| 丁香五月婷婷丫| 色99视频| 天天操夜夜夜拍拍拍| 开心激情婷婷| 亚洲mm色| 草榴视频黄色网| 激情婷婷五月天日本系列| 香蕉97碰碰碰欧美| 久久性爱视频这里只有精品| 91精品视频男人的天堂| 激情五月天色播| 久热伊人9| 五月天婷婷色色网| 日本三级日本三级99| 99热国产精品| 久久五月天综合视频网站| 天天日天天色| 五月天激情.com| 91九九九九九九| 五月丁香六月情| 日韩黄色网络| 亚洲天堂热| 五月天色五月天| 婷婷99综合| www.狠狠艹| 日韩另类在线观看| 五月天综合| 欧洲激情五月天| 丁香五月停停av| 青青草五月天| 丁香六月开心| 99欧美热| 婷婷五月AV| 5月色婷婷| 97日本操| 久操大香蕉| 五月天婷婷丁香蜜桃91| 1234操逼网| 久久久中文| 伊人婷婷五月| 色婷久九| 亚洲国产精品成人午夜| 六月激情综合| 狠狠色丁婷婷日日,伊人激情综合网 | 国产亚洲99久久精品熟女| 九九婷婷综合| 91婷婷五月天综合视频| 五月丁香激情综合啪啪| 国产午夜精品AV一区二区麻豆 | 九月婷婷激情| 操逼在线视频| 67194成I人在线观看线路1| 欧美三级A做爰在线观看| 激情五月婷婷色| 久久九九网| 超碰在线50| 激情久久综合| 97婷婷五月天| 激情丁香久久| 大香蕉狼人久久| 久久人妻少妇嫩草AV| 综合99综合久久久久久久| 99re思思热这里| 9有码中文| 开心色色五月天综合| www.色综合.com| 99热久草| 人妻系列久久久久久久久久久 | 97五月婷| 五月色网| 9色视频在线| 伊人五月成人| 26uuu欧美亚洲日韩| 婷综合| 久热婷婷在线视频| 久777| www99热| 九九综合伊人| 色综合另类| 五月婷久久在线| site:901-07.com| 五月婷激情影院| 91人无码久久久久久| 少妇真实被内射视频三四区| 99热这里只有精品8| 久久婷婷视频| 五月色婷婷综合| 蜜桃五月天色| 丁香网五月网| 丁香五月天婷婷中文| 538午夜激情| AV在线观看网站| 色香久久| 91肏| 亚洲在线资源| 五月天天堂久久| 亚洲成片在线观看| 成人VAV视频在线观看| 七月丁香婷婷 色色| 国产又粗又大又爽又黄| 99热这里只有精品9| www.99热这里只有精品| 婷婷99狠狠| 婷婷中文在线| 五月婷婷AV| 99久久久| 丁香五月久久| 色婷婷成人做爰A片免费看网站| 深爱综合网| 狠狠操狠狠操| 专区无日本视频高清8| 99精品久久| 五月婷婷六月天| 国产精品久久久久久久久久| 欧美色男人网站| 四季8848精品成人免费网站| 爱草视频在线观看| 狠狠插狠狠| 26uuu另类亚洲欧美日本一| 五月丁香欧美在线| 五月天成人小说| 色婷婷AV在线| 精品五月天| 久久久久9999| 5月丁香美女影院| 青青久久91| AVV黄| 六月丁香大香蕉| 色婷婷五月天激情| 白天AV月月| 欧美va欧美va差| 丁香五月色| 色欲久久综合| 成人午夜视频精品一区| 狠狠狠狠青草| 色综合久久888| 天天在线天天综合网色| A久网| 久青操| 91丨九色丨国产打屁股| 欧美日韩色色| 亚洲综合色色| 色婷五月天网站| 五月婷婷在线免费观看 | 99热新网址| 5月丁香婷婷| 日韩色五月| 色五月婷婷综合| 天天综合区| 婷婷射图| 色婷婷五月天堂资源| 五月天婷婷综合| 婷婷五月天AV| 亚洲成人在线观看网址| 国产精品成人在线| 天天摸天天日天天舔| 日本久热| 淫视馆av三区| 激情图片亚洲| www.99热| 无码成人播放器| 五月婷婷啪啪啪| 五月婷AV| 久久机热/这里只有精品| 日比视频91| 婷婷在线播放av| 韩国天天婷婷| 无码人妻少妇色欲AV一区二区 | 人妻狠狠操| 99热97| 欧美性生交XXXXX无码小说| 99久久久久久www| 99热这里只有精品一| 日本超碰在线| www久久久久| 免费试看小视频 99| av在线免费播放| 狠狠色噜噜色狠狠狠综合色| 亚洲舔观看| www.婷婷| 色天堂在线| 色五月丁香伊人五月| 婷色五月天| 色欲丁香| 色色色地址| 玖玖热99| 日本五月视频| 国产做爰视频免费播放| 六月丁香婷婷五月天| 五月婷视频在线| 伊人久久大香线蕉亚洲五月天,| www.狠狠狠.com| 夜夜夜夜夜操| 亚洲色碰| 五月色网| 日韩一级A片黄色| 久久五月天综合| Av在线资源| 思思久热| 婷婷激情六月中文| 欧美婷婷五月| 日操熟女| 26uuu另类| 综合欧美五月婷婷| 99视频精品8| 国自产拍偷拍精品啪啪一区二区| 色婷婷丁香六月| 丁香五月婷久久| 九九综合| 综合激情视频| 亚洲色9| 网站免费一站二站| xxxx五月| 久久久国产精品黄毛片| 五月婷婷中文网| 99ER热精品视频| 欧美毛片www| 亚洲日韩成人三级av| 婷婷丁香五月天小说| 天天射网站| 人妻VideOssS人妻| 久超免费视频| 色噜噜狠狠色综合日日| 五月丁香婷婷综合视频| www.99热在线观看| 免费黄色视频网址| 久热91| 国产热精品| 五月丁香六月综合图| 五月丁花六月丁香综合| 九色 在线| 五月天激情亚洲| 99热在线99| 激情五月天天| 五月开心久久| 啊v视频在线观看| 伊人激情| 日日舔夜夜操| 欧美在线看| 激情五月影院| 久久这里只有精品16| 热久91| 淫视馆AV在线| 久月丁香爱婷婷综合| 男人先锋久久| 99爱在线视频| 天天爽成人综合网站| www婷婷色| 天天干天天插| 五月天开心激情网色欲无码| 激情性爱五月天网页| 99性色| 99热在线播放| 天天日日| 久热9| 五月丁香AV、伊人业余、性色熟妇| 99在线视频。| 欧美日综合| 婷婷网五月| 五月丁香激情四射| 无码一区精品一区视频| 丁香五月av| 99人这里只有精品| 蜜桃婷婷狠狠久久综合| 九九Av| 色99热| www.激情.com.| 色婷婷在线视频观看| 九九热黄色| 热99精品视频| 天天操天天爱天天日| www.9色色色| 99热这里只有精品在线| 一起草性爱不卡视频| 婷婷五月天天天日日夜夜| 中文字幕精品推荐免费在线观| 开心激情网在线| Www.狠狠| 色小说婷婷五月天天天| 日本99在线| 欧美婷婷色| 永久精品| 九艹在线| 99精品免费欧美小视频 | 欧美性爱专区| 天天综合精品| 欧美六月| 天天色天天日| 五月婷婷狠狠干| 婷婷六月丁香在线| www.maotanji.com| 亚洲成人精品三区| 亚洲国产精品VA在线看黑人| www.婷婷五月天.com| 97色色色色色| 婷婷五月天首页| 婷婷五月天伊人在线| 五月天久久综合| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 26uuu亚洲| 久久五月激情综合| 欧美25p| 色五月婷婷天天操夜夜操| 操操操www.com| 五月婷婷色色色| 日熟女| 婷婷色一二三区波多野结衣| 婷婷97色| 97干干干丁香| 少妇性BBB搡BBB爽爽爽电影| 99精品在线观看| 日本色色色| 狼人狠狠操| 婷婷五月天情色| 九九婷婷网五月天| 99爱这里只有精品免费视频| 色狠狠综合| 久久婷婷五月丁香| 人妻久久久久久久久妻久久久久| 五月婷婷综合热| 激情图片亚洲| 婷婷激情五月天7| 激情丁香婷婷六月天| 五月丁香六月久久| 综合欧美五月婷婷| 99热99网| 五月天激情网图片 - 百度| 激情深爱综合| 激情五月综合六月丁香婷婷狠狠干| 女人露出p毛视频www网站| 成人精品在线观看| 国产色丁香| 久久久久久草黄色片AV在线观看| 色五月天.con| 狠狠艹狠狠艹| 色9色| 思思综合热| 日日夜夜小色哥| 黄色AAAAA| 99热在线播放| 亚洲成人高清在线| 欧美这里只有精品| 狠狠精品干练久久久无码中文字幕| 色色婷婷五月天| 亚洲精品V天堂中文字幕| 激情网五月天| 激情图片99| 国产老熟妇亲子乱对白| 超碰在线观看99| 再綫Av免费視品| 丁香五月综合在线| 五月丁香婷婷三级| 国产精品久久久久久妇女6080| 秋霞午夜理论| 成人无码精品1区2区3区免费看| 思思热在线视频观看精品| 操一区| 久久亚洲色导航| 亚洲精品久久久久久久久久吃药| 婷婷丁香五月天综合网| 成人国产欧美大片一区| 开心五月婷婷在线| 激情综合另类| www.婷婷五月天| 亚洲成人无码网站| 色色婷婷五月天| 婷香五月网在线| 亚洲无AV在线中文字幕| 久99久热只有精品国产99| 超碰69天堂| 丁香婷婷社区| 色婷婷婷婷| 丁香五月婷婷啪啪| 精品色色网| 五月色婷丁香| 棕合影院色色| 六月婷婷五月丁香首页| 国产精品天天狠天天看| 性天天中文网| 五月婷婷六月丁香玖玖玫瑰91| AV网站免费在线| 另类色视频| 超碰婷婷五月| 丁香五月av| 六月丁香深深爱综合网| 国产无套精品一区二区| 99热6色| 五月婷中文字幕| 婷婷五月花| 婷婷色基地| 免费观看亚洲AV片| 中文字幕丰满孑伦无码专区 | 丁香五月天啪啪| 丁香五月天啪啪激情综合网| 九九99在线| 天天影院色| 狠狠干五码| 久久婷婷五月天激情四射| 色色色99| 天天干天天射色综合| 99欧州偷拍视频| 色婷婷基地 | 高清无码视频网址| 成人五月天在线观看| 亚洲正能量欧美| 色欲天天综合网| 操啊操av| 五月大香蕉| 日韩av免费版| 99亚州综合精品成人网| 婷婷六月伊人| 免费黄色视频网址| 九日日夜夜69| 99热这里是精品| 99热成人在线观看| 操人无码| 综合激情四射一theav| 久久九九色| 婷婷五月av| www.国产亚洲69ty.久久久久久久久久久久| 国产在线网址1| 97精品综合| 五月婷婷激情久久| 好吊操这里只有精品| 丁香五月天天| 国产视频色色色色色色色| 综合久久综合久久| 久热A| 天天搽天天射| 丁香五月停停基地| 五月激情四射网站| 深爱婷婷网| 色五月亚洲| 热的无码综合视频| 黄色aaaaa| 超碰9在| 七月丁香五月婷婷在线| 操91| 另类激情五月在线视频欧美| 精品综合五月| 六月丁香花婷婷| 色综合香蕉| seuuu婷婷| 婷婷亚洲色| 久久久久久久久99精品| 夜夜撸日日骑| 久久五月网| 亚洲小视频免费观看| 大香蕉久久婷婷精品综合| 亚洲激情四谢| 欧美经典片免费观看大全| 亚洲无码播放| 思思99热| 成人开心五月天| 第四色婷婷色五月| 久鲁鲁色网| 啊V视频在线观看| 亚洲午夜Av| 东北熟女高潮99综合99| 91人在线观看| 九九成人视频| 99久视频| 91色色色| 色五月天堂| 色婷婷综合影院| 这里只有精品1| 色综合天天天天做夜夜| 婷婷基地五月色| 激情图片婷婷| 免费99情趣网视频| 狠狠香婷婷五月| 九九色中文| 色色色99| 婷婷伊人网| 99色干| 9久久久久久久久久久| 五月天激情网址| 99精品女人天堂| 日韩操女| 97热久久| 超碰资源在线| 久久99精品日本| 超碰在线超碰| 日本99在线| 五月丁香激| 九九热自拍| 另类视频综合| 久9热| 思思久久网| 密黄站| 五月丁香999| 操嫩逼电影| 久久欧洲综合网| www99热| 六月丁香啪啪啪| 91大神操美女| 婷婷激情五月| 日本久久精品| 精品少妇人妻AV无码专区偷人| 亚洲亚洲人成综合网络| 超碰婷婷色| 狠狠色中色| 丁香五月天天| 99久久婷婷五月综合| 大香网伊人久久综合| 噜一噜免费视频| 狠狠干综合| 香蕉久久国产AV一区二区| 丁香五月之久操视频| 一区=区操屄高清大全av| 久99精品视频| 国产免费AV在线| 色色综合色视频| 丁香六月高清视频| 久久99免费视频| 99亚洲精品| 色丁香五月| 亚洲日韩一页精品发布| 久9综合| 国产一区18| 热99国产精品| 综合久久五月| 色婷婷亚洲婷婷在线观看| 99日本黄站| 粉嫩AV久久一区二区三区| 亚洲岛国电影| 超碰三级片| 99色看这里只有精品| 99综合免费视频| 99久在线观看| 激情综合五月| 伦乱人妻| 91综合在线| 开心综合激情综合| 久久综合首页| 激情婷婷丁香| 色色九区| av婷婷丁香 六月| 天天天天爽爽天干| 99自拍网| 色香蕉精品五夜婷| 色情婷婷。| 五月综合激情图片 | 五月天久久小说| 亲子乱AV一区二区三区下载| 俺五月| 色在线99| 荫道BBWBBB高潮潮喷| 色五月大| 深爱网深爱综合网| 婷婷激情六月视频| 伊人五月天| 大香蕉75线| 免费AV黄在线播放| 色偷偷五月天| 色婷婷六月| 丁香五月婷婷大香蕉| 国产婷婷五月中文字幕高清| 色五月丁香五月| 天天综合色| 日韩在线一级| 天天撸夜夜爽| 色综合久| 97超碰在线观看免费| 天天爽成人综合网站| 99热一区| 草草夜夜操| 99人碰碰碰| 天天综合亚洲| 国产精品一区在线观看你懂的| 欧美激情伊人| 人人干Av| 色欲色香综合网| 久久九九九九| 婷婷四色五月| 很很干天天干| 亚洲狠狠婷婷| 五月综合激情视频| 99热这里都是精品| 丁香五月婷婷偷拍| 五月婷婷九月婷婷九月婷婷| 婷婷99狠狠| 2017狠狠干| 五月天精品视频| 亚洲日韩一页精品发布| 97操在线视频| 婷婷99狠狠| 五月婷婷欧洲| 五月色情网| 丁香五月自拍| 另类亚洲2| 日日夜夜狠狠| 久草婷| er99免费视频在线| 五月天色色网站| 综合婷婷久久| 久久久久婷| 国产亚洲99久久精品熟女| 激情二色月| 这里只有精品视频在线| www超碰| 99热精品观看| 日韩在线一级| 色色AV色色色东莞| 玖玖婷婷五月天毛片| 婷婷色香六月综合激情| 色999;丁香五月| 日本久久99| 五月天综合久久| 亚洲成人网站在线播放| 色五月综合在线| 色色色宗合网| dingxiangtingtingliuyue| 中文字幕1区2区。| 五月丁香六月欧美综合| 五月激情啪啪| 狠狠色婷婷7| 亚洲午夜av| 精品在线| 99久久久久| 五月婷婷开心深| 色色色欧美| 丁香六月AV| 五月综合视频| 99热欧| 另类少妇人与禽zOZZ0性伦| wwW天天干| 婷婷色五月激情| 五月天婷亚洲天综合网综合| 人人干人人看| 婷婷色五月噜噜| 99久久综合| 日本va欧美va精品发布视频| 国产精品美女久久久久AV超清| 五月丁香美女| 九九无码| 狠狠色婷婷丁香六月| 熟女人妻一区二区三区免费看| 五月婷婷综合网在线播放| 欧美性做爰大片免费看办公室 | 欧美日本免费一道免费视频| 亭亭色色五月天| 婷婷综合五月| 激情小说五月天社区丁香 | 人人摸人人干| 天天狠狠色噜噜| 婷婷五月天丁香综合网| 吉澤明步Av一區二區| 五月婷免费视频| 久久婷婷久久| www.色五月| 色色色综合| 99色热综合| 亚洲无码九九九| 五月丁香色婷婷色| 337p大胆噜噜噜噜噜91Av| 天天做天天爱天天爽| 五月丁香999| 亚洲操女| 五月天天久久香| 久激情网| 97精品人人A片免费看| 婷婷丁香激情| 综合九九中文字幕| 久久伊人五月天| 五月丁香婷婷AV天堂| 香港九九六区八区99| www.天天干| 五月天社区| 丰满少妇猛烈A片免费看观看| 人妻VideOssS人妻高清| 六月婷欧美| 色婷婷六月| 婷婷五月情天| 久草性爱| 丰满女老板BD高清A片| 中文字幕色色| 91se在线视频| 青草青草视频2免费观看| 天天激情站| 亚洲成人在线播放| 丁香五月婷婷天激情| 五月天激情综合网| 亚洲五月丁香综合网| 狠狠婷婷日韩| 久久性视频| 天天射天天射一道本日本社区| 久久大香蕉伊人| 亚洲色热| 五月婷婷开心综合| 久久99精品九九久久久婷婷| 成人国产欧美大片一区| 激情深爱五月天| 六月色婷婷欧美| 色蜜婷婷| 少妇性BBB搡BBB爽爽爽电影| 五月婷婷色| 玖操97|