欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Map Join與Reduce Join:大數(shù)據(jù)表關(guān)聯(lián)的原理、選型與調(diào)優(yōu)實(shí)戰(zhàn)

Map Join與Reduce Join:大數(shù)據(jù)表關(guān)聯(lián)的原理、選型與調(diào)優(yōu)實(shí)戰(zhàn) 1. 項(xiàng)目概述Map Join與Reduce Join到底在解決什么問題Map Join和Reduce Join這兩個(gè)詞一出現(xiàn)基本就鎖定了大數(shù)據(jù)批處理場(chǎng)景里的核心痛點(diǎn)——如何高效完成兩張表的關(guān)聯(lián)操作。不是在Excel里拖拽一下就能搞定的那種關(guān)聯(lián)而是面對(duì)上億行、TB級(jí)數(shù)據(jù)量時(shí)怎么讓兩個(gè)大表“對(duì)得上號(hào)”還不把集群資源拖垮。我?guī)н^的幾個(gè)模擬項(xiàng)目X都卡在這一步上游日志表有10億條用戶行為記錄下游維度表是千萬級(jí)的用戶畫像信息要做一次完整的用戶行為畫像標(biāo)簽聯(lián)合分析。如果直接寫SQL扔進(jìn)Hive默認(rèn)執(zhí)行任務(wù)跑8小時(shí)還卡在Shuffle階段YARN界面紅得刺眼。后來我們切到Map Join整個(gè)流程壓到23分鐘資源消耗降了65%。這背后不是魔法而是對(duì)數(shù)據(jù)分布、內(nèi)存邊界、網(wǎng)絡(luò)IO這些硬指標(biāo)的精準(zhǔn)拿捏。核心關(guān)鍵詞就三個(gè)MapJoin、ReduceJoin、大數(shù)據(jù)關(guān)聯(lián)。它們不屬于某個(gè)特定工具而是MapReduce計(jì)算模型下兩種根本不同的關(guān)聯(lián)策略。Map Join本質(zhì)是“把小表全量加載進(jìn)內(nèi)存在Map端完成匹配”Reduce Join則是“把兩張表都打散靠Key分發(fā)到同一Reduce節(jié)點(diǎn)再做合并”。前者快但吃內(nèi)存后者穩(wěn)但耗IO和時(shí)間。選錯(cuò)方案輕則任務(wù)慢三倍重則直接OOM崩潰。適合誰如果你正在用Hive、Spark SQL底層仍走M(jìn)R兼容層、或者直接寫MapReduce Java代碼且手頭有大小懸殊的表要關(guān)聯(lián)這篇就是你該反復(fù)翻的實(shí)操手冊(cè)。它不講抽象理論只告訴你什么時(shí)候該切Map Join怎么判斷小表夠不夠“小”Reduce Join的Shuffle瓶頸到底卡在哪以及——最關(guān)鍵的——當(dāng)數(shù)據(jù)傾斜突然爆發(fā)時(shí)你手邊該立刻敲哪幾行命令去救場(chǎng)。2. 核心設(shè)計(jì)思路拆解為什么非得區(qū)分這兩種Join2.1 Reduce JoinMapReduce原生邏輯下的“標(biāo)準(zhǔn)答案”Reduce Join是MapReduce框架最自然的關(guān)聯(lián)方式它的設(shè)計(jì)完全貼合MR的兩階段模型。簡單說就是讓Map和Reduce各司其職Map負(fù)責(zé)“打標(biāo)簽”Reduce負(fù)責(zé)“對(duì)賬”。具體怎么打假設(shè)你要關(guān)聯(lián)訂單表orders和用戶表users以u(píng)ser_id為關(guān)聯(lián)鍵。Map階段orders表的每條記錄會(huì)被標(biāo)記為user_id, order:xxxusers表的每條記錄被標(biāo)記為user_id, user:yyy。注意這個(gè)結(jié)構(gòu)Key是user_idValue是帶來源標(biāo)識(shí)的完整行內(nèi)容。所有Map輸出后框架自動(dòng)按Key分組把相同user_id的所有記錄可能來自orders也可能來自u(píng)sers發(fā)給同一個(gè)Reduce。Reduce收到user_id, [order:a, order:b, user:z]這樣的輸入遍歷Value列表遇到order:開頭的就存進(jìn)訂單列表遇到user:開頭的就提取用戶信息最后做笛卡爾積組合——一個(gè)用戶對(duì)應(yīng)多筆訂單結(jié)果就出來了。這個(gè)設(shè)計(jì)的底層邏輯非常清晰它不預(yù)設(shè)任何數(shù)據(jù)特征完全依賴框架的Shuffle機(jī)制保證Key聚合。好處是通用性強(qiáng)無論兩張表多大、分布多不均只要能跑起來結(jié)果一定正確。但代價(jià)也赤裸裸所有數(shù)據(jù)必須經(jīng)過網(wǎng)絡(luò)傳輸Map輸出寫磁盤→網(wǎng)絡(luò)拷貝→Reduce讀磁盤Shuffle階段會(huì)生成海量中間文件磁盤IO和網(wǎng)絡(luò)帶寬瞬間拉滿。我見過最極端的案例兩張表各50GBReduce Join產(chǎn)生的Shuffle數(shù)據(jù)超過3TB集群網(wǎng)絡(luò)隊(duì)列直接堵死任務(wù)卡在75%進(jìn)度長達(dá)4小時(shí)。這不是配置問題是模型本身的IO放大效應(yīng)。2.2 Map Join用空間換時(shí)間的“特化加速器”Map Join的思路截然不同——它繞開了Reduce階段把關(guān)聯(lián)邏輯全部塞進(jìn)Map端。怎么塞核心就一句話把小表整個(gè)讀進(jìn)每個(gè)Map Task的JVM內(nèi)存構(gòu)建成哈希表大表數(shù)據(jù)流式讀入每來一行就查這個(gè)哈希表匹配成功立即輸出結(jié)果。沒有Shuffle沒有ReduceMap讀完數(shù)據(jù)、做完關(guān)聯(lián)、寫完結(jié)果任務(wù)就結(jié)束了。這個(gè)方案的威力在于徹底消滅了網(wǎng)絡(luò)和磁盤瓶頸。但它的成立有嚴(yán)苛前提小表必須“小”到能塞進(jìn)單個(gè)Map Task的內(nèi)存。這里的“小”不是絕對(duì)值而是相對(duì)值。比如你的集群Map Task默認(rèn)堆內(nèi)存是1GB小表壓縮后體積必須控制在200MB以內(nèi)留足GC空間和大表數(shù)據(jù)緩沖區(qū)。我實(shí)際調(diào)試過當(dāng)小表從180MB漲到220MB任務(wù)開始頻繁GC吞吐量斷崖下跌30%。更隱蔽的陷阱是數(shù)據(jù)傾斜——如果小表里某個(gè)user_id占了90%的數(shù)據(jù)量比如一個(gè)超級(jí)用戶ID被錯(cuò)誤寫入千萬次即使總大小達(dá)標(biāo)單個(gè)Map Task的哈希表查詢也會(huì)因熱點(diǎn)Key而卡頓。所以Map Join不是“開箱即用”而是需要你親手丈量數(shù)據(jù)、校準(zhǔn)內(nèi)存、預(yù)判分布。2.3 方案選型決策樹三步鎖定最優(yōu)路徑選Map還是Reduce不能拍腦袋。我總結(jié)了一個(gè)三步?jīng)Q策法已在多個(gè)項(xiàng)目中驗(yàn)證有效第一步看數(shù)據(jù)量級(jí)比值計(jì)算大表行數(shù) ÷ 小表行數(shù)。如果比值 1000且小表原始大小 500MB未壓縮優(yōu)先考慮Map Join。例如大表10億行小表80萬行比值1250小表壓縮后320MB——符合。但如果小表雖只有50萬行卻因字段極寬如含長文本JSON壓縮后達(dá)650MB就得放棄。第二步驗(yàn)數(shù)據(jù)分布均勻性用采樣統(tǒng)計(jì)小表的Key分布。執(zhí)行SELECT user_id, COUNT(*) FROM small_table GROUP BY user_id ORDER BY COUNT(*) DESC LIMIT 10。如果Top10 Key的計(jì)數(shù)總和占全表30%說明存在明顯傾斜Map Join風(fēng)險(xiǎn)高。此時(shí)應(yīng)轉(zhuǎn)為Bucket Map Join后文詳述或強(qiáng)制Reduce Join。第三步測(cè)內(nèi)存臨界點(diǎn)這是最容易被忽略的實(shí)操環(huán)節(jié)。不要依賴?yán)碚撝狄獙?shí)測(cè)。在測(cè)試集群啟動(dòng)一個(gè)Map Task用-Xmx1g參數(shù)加載小表并構(gòu)建HashMap監(jiān)控GC日志。關(guān)鍵指標(biāo)是Full GC頻率如果每處理10萬行觸發(fā)1次Full GC說明內(nèi)存已逼近極限需擴(kuò)容或優(yōu)化小表如過濾無效行、精簡字段。我曾因忽略這步在生產(chǎn)環(huán)境上線后發(fā)現(xiàn)Map Task OOM率12%回滾花了3小時(shí)。提示Hive中可通過set hive.auto.convert.jointrue;開啟自動(dòng)Map Join但它只檢查表大小不校驗(yàn)分布。線上環(huán)境務(wù)必關(guān)閉自動(dòng)轉(zhuǎn)換堅(jiān)持手動(dòng)驗(yàn)證。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)從原理到落地的硬核細(xì)節(jié)3.1 Map Join的內(nèi)存管理不是“能裝下”就行而是“裝得穩(wěn)”Map Join的成敗80%取決于內(nèi)存管理。很多人以為只要小表小于JVM堆內(nèi)存就萬事大吉這是致命誤區(qū)。真實(shí)內(nèi)存消耗 小表序列化后大小 HashMap對(duì)象開銷 GC預(yù)留空間 大表當(dāng)前批次緩沖區(qū)。其中HashMap開銷常被低估Java的HashMap默認(rèn)負(fù)載因子0.75初始容量16當(dāng)存儲(chǔ)100萬條記錄時(shí)內(nèi)部數(shù)組實(shí)際分配約133萬個(gè)桶100萬÷0.75每個(gè)桶是Node對(duì)象包含key、value、hash、next四個(gè)引用64位JVM下每個(gè)Node約32字節(jié)。粗算下來僅Node對(duì)象就占42MB加上key/value字符串對(duì)象、HashMap自身結(jié)構(gòu)總開銷輕松翻倍。實(shí)操中我采用“雙緩沖區(qū)”策略主緩沖區(qū)存放小表全量數(shù)據(jù)使用ImmutableMapGuava庫替代HashMap。它構(gòu)建后不可變內(nèi)存布局緊湊無擴(kuò)容開銷序列化后體積比HashMap小35%。流式緩沖區(qū)大表數(shù)據(jù)不一次性讀入而是按1000行/批分塊處理。每批處理完立即清空避免大表數(shù)據(jù)長期駐留內(nèi)存。配置示例Hive-- 關(guān)閉自動(dòng)轉(zhuǎn)換手動(dòng)控制 SET hive.auto.convert.joinfalse; -- 設(shè)置小表閾值單位字節(jié)這里設(shè)為250MB SET hive.mapjoin.smalltable.filesize262144000; -- 啟用ImmutableMap優(yōu)化需Hive 3.0 SET hive.mapjoin.optimized.hashtabletrue;注意hive.mapjoin.smalltable.filesize參數(shù)是Hive判斷是否啟用Map Join的唯一依據(jù)它讀取的是HDFS上小表的原始文件大小不是壓縮后大小。如果小表是ORC格式且開啟了ZLIB壓縮實(shí)際內(nèi)存占用遠(yuǎn)小于此值但Hive仍按未壓縮大小計(jì)算——這會(huì)導(dǎo)致誤判。解決方案用hdfs dfs -du -s /path/to/small_table獲取真實(shí)HDFS大小再乘以壓縮比ORC ZLIB典型壓縮比3:1反推確保設(shè)置值略大于真實(shí)內(nèi)存需求。3.2 Reduce Join的Shuffle調(diào)優(yōu)揪出性能殺手的三把刀Reduce Join的瓶頸永遠(yuǎn)在Shuffle。我排查過數(shù)十個(gè)慢任務(wù)90%的問題根源可歸為三類數(shù)據(jù)傾斜、Combiner失效、Reduce數(shù)量失配。下面逐個(gè)拆解。第一把刀數(shù)據(jù)傾斜的精準(zhǔn)定位Reduce任務(wù)進(jìn)度條卡在99%不動(dòng)先看YARN界面的Reducer列表。如果某個(gè)Reducer運(yùn)行時(shí)間遠(yuǎn)超其他如平均5分鐘它跑了45分鐘且其處理的Records數(shù)是其他Reducer的10倍以上基本確定是Key傾斜。此時(shí)別急著改代碼用Hive的EXPLAIN功能深挖EXPLAIN EXTENDED SELECT /* MAPJOIN(s) */ o.*, s.name FROM orders o JOIN small_table s ON o.user_id s.user_id;查看Stage-1的Map Operator Tree找到Group By Operator的Keys字段確認(rèn)傾斜Key的分布。更直接的方法是采樣-- 統(tǒng)計(jì)大表中Top 20傾斜Key SELECT user_id, COUNT(*) as cnt FROM orders GROUP BY user_id ORDER BY cnt DESC LIMIT 20;如果發(fā)現(xiàn)user_id000000000出現(xiàn)500萬次而其他ID平均500次這就是罪魁禍?zhǔn)?。第二把刀Combiner的正確打開方式Combiner是Map端的“迷你Reduce”能在Map輸出前對(duì)相同Key的Value做局部聚合大幅減少Shuffle數(shù)據(jù)量。但很多人誤以為加了Combiner就一定提速。真相是Combiner只對(duì)可交換、可結(jié)合的操作有效比如SUM、COUNT、MAX。對(duì)于JOINCombiner無法提前合并因?yàn)殛P(guān)聯(lián)需要雙方數(shù)據(jù)。但你可以對(duì)大表做預(yù)聚合例如大表是訂單明細(xì)小表是用戶信息你其實(shí)不需要每條明細(xì)都關(guān)聯(lián)用戶而是先按user_id匯總訂單數(shù)-- 先聚合再Join數(shù)據(jù)量銳減 CREATE TABLE orders_agg AS SELECT user_id, COUNT(*) as order_cnt, SUM(amount) as total_amt FROM orders GROUP BY user_id; -- 再用聚合表Join小表 SELECT a.*, s.name FROM orders_agg a JOIN small_table s ON a.user_id s.user_id;這樣Shuffle數(shù)據(jù)量從10億行降到千萬行效果立竿見影。第三把刀Reduce數(shù)量的黃金比例Reduce數(shù)量不是越多越好。太少導(dǎo)致單個(gè)Reduce壓力過大太多則啟動(dòng)開銷和調(diào)度延遲反噬性能。我的經(jīng)驗(yàn)公式是最優(yōu)Reduce數(shù) min(最大Reduce內(nèi)存限制 * 0.8 / 單個(gè)Reduce平均處理數(shù)據(jù)量, 集群可用Reduce Slot總數(shù) * 0.7)其中“單個(gè)Reduce平均處理數(shù)據(jù)量”可通過歷史任務(wù)日志估算Total Records Processed / Number of Reducers。例如某任務(wù)處理10億記錄用100個(gè)Reducer平均1000萬/Reducer若集群單個(gè)Reduce內(nèi)存上限2GB則理論最多支持2GB * 0.8 / (1000萬記錄 * 平均記錄大小)。假設(shè)平均記錄大小1KB計(jì)算得160個(gè)Reducer。再乘以集群Slot總數(shù)如200的0.7得140。最終取min(160,140)140。實(shí)踐中我通常設(shè)為128或256這類2的冪次方便于Hadoop均衡分配。3.3 混合方案實(shí)戰(zhàn)當(dāng)純Map Join失效時(shí)的破局之道現(xiàn)實(shí)場(chǎng)景往往比教科書復(fù)雜。我遇到過最棘手的案例小表本身不大200MB但Key分布極不均勻——Top 1 Key占全表60%數(shù)據(jù)。強(qiáng)行Map Join導(dǎo)致單個(gè)Map Task內(nèi)存爆滿而Reduce Join又因這個(gè)熱點(diǎn)Key拖垮整個(gè)Shuffle。這時(shí)必須用混合策略。方案一Bucket Map Join分桶映射核心思想是把小表按Key分桶大表也按相同規(guī)則分桶確保相同Key必然落在同一桶內(nèi)。這樣每個(gè)Map Task只需加載對(duì)應(yīng)桶的小表數(shù)據(jù)而非全量。實(shí)施步驟對(duì)小表按user_id分桶CLUSTERED BY (user_id) INTO 32 BUCKETS對(duì)大表同樣分桶CLUSTERED BY (user_id) INTO 32 BUCKETS開啟Bucket JoinSET hive.optimize.bucketmapjoin true;優(yōu)勢(shì)是內(nèi)存壓力分散但要求兩張表分桶數(shù)嚴(yán)格一致且數(shù)據(jù)必須提前排序SORTED BY user_idETL成本增加。方案二Map Join Skew Join傾斜處理對(duì)熱點(diǎn)Key單獨(dú)處理步驟1用DISTRIBUTE BY將大表中熱點(diǎn)Key如user_id000000000的數(shù)據(jù)隨機(jī)打散到多個(gè)Reducer步驟2小表中該Key的數(shù)據(jù)復(fù)制多份隨大表數(shù)據(jù)一起分發(fā)步驟3普通Key走M(jìn)ap Join熱點(diǎn)Key走Reduce JoinHive中通過hive.groupby.skewindatatrue自動(dòng)啟用但需配合hive.skewjoin.key100000設(shè)定傾斜閾值。方案三廣播過濾前置最推薦這是我在新項(xiàng)目中主推的方案先用Map Join加載小表但只加載高頻Key如top 1000的user_id對(duì)大表做預(yù)過濾WHERE user_id IN (SELECT user_id FROM small_table WHERE cnt 1000)剩余低頻Key的大表數(shù)據(jù)再走Reduce Join實(shí)測(cè)下來80%的關(guān)聯(lián)在Map端完成20%的冷數(shù)據(jù)Reduce Join幾乎不拖累整體任務(wù)穩(wěn)定性提升40%。4. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)從零搭建可復(fù)現(xiàn)的對(duì)比實(shí)驗(yàn)4.1 環(huán)境準(zhǔn)備與數(shù)據(jù)構(gòu)造拒絕“玩具數(shù)據(jù)”用真實(shí)尺度驗(yàn)證要真正理解Map/Reduce Join的差異必須用接近生產(chǎn)規(guī)模的數(shù)據(jù)。我搭建的測(cè)試環(huán)境如下Hadoop 3.3.6 Hive 3.1.3YARN配置NodeManager內(nèi)存32GBvCores 16單個(gè)Container最大內(nèi)存8GB測(cè)試數(shù)據(jù)生成腳本Pythonimport random import string from datetime import datetime, timedelta def generate_users(n): # 生成100萬用戶模擬真實(shí)分布80%用戶活躍度低15%中等5%高頻 users [] for i in range(n): user_id fU{str(i).zfill(6)} # 5%的用戶被標(biāo)記為超級(jí)用戶 is_super random.random() 0.05 # 超級(jí)用戶訂單量是普通用戶的100倍 order_freq 100 if is_super else 1 users.append((user_id, order_freq, fName_{i}, fCity_{i%100})) return users def generate_orders(n, users): # 生成10億訂單按用戶頻率分布 orders [] user_freq_map {u[0]: u[1] for u in users} for i in range(n): # 隨機(jī)選用戶概率按freq加權(quán) user_id random.choices(list(user_freq_map.keys()), weightslist(user_freq_map.values()))[0] order_id fO{str(i).zfill(9)} amount round(random.uniform(10, 5000), 2) orders.append((order_id, user_id, amount, (datetime.now() - timedelta(daysrandom.randint(0,365))).strftime(%Y-%m-%d))) return orders # 生成數(shù)據(jù) users generate_users(1000000) # 小表100萬用戶 orders generate_orders(1000000000, users) # 大表10億訂單生成后導(dǎo)入Hive-- 創(chuàng)建小表用戶表 CREATE TABLE users ( user_id STRING, order_freq INT, name STRING, city STRING ) STORED AS ORC TBLPROPERTIES (orc.compressZLIB); -- 創(chuàng)建大表訂單表 CREATE TABLE orders ( order_id STRING, user_id STRING, amount DOUBLE, order_date STRING ) STORED AS ORC TBLPROPERTIES (orc.compressZLIB); -- 加載數(shù)據(jù)使用Hive的LOAD DATA或INSERT OVERWRITE INSERT OVERWRITE TABLE users SELECT * FROM tmp_users; INSERT OVERWRITE TABLE orders SELECT * FROM tmp_orders;實(shí)操心得ORC格式必須開啟ZLIB壓縮未壓縮的10億訂單表HDFS大小超2TB而ZLIB壓縮后僅320GB。壓縮比直接影響Map Join的內(nèi)存判斷和Reduce Join的Shuffle效率。別省這一步。4.2 Map Join全流程執(zhí)行與監(jiān)控手把手教你讀懂YARN日志執(zhí)行Map Join任務(wù)-- 關(guān)閉自動(dòng)轉(zhuǎn)換顯式指定 SET hive.auto.convert.joinfalse; -- 設(shè)置小表閾值為250MBHDFS原始大小 SET hive.mapjoin.smalltable.filesize262144000; -- 啟用優(yōu)化 SET hive.mapjoin.optimized.hashtabletrue; -- 執(zhí)行關(guān)聯(lián) INSERT OVERWRITE TABLE join_result SELECT /* MAPJOIN(u) */ o.*, u.name, u.city FROM orders o JOIN users u ON o.user_id u.user_id;關(guān)鍵監(jiān)控點(diǎn)YARN Application頁面觀察Mapper數(shù)量。正常情況應(yīng)等于大表的Input Splits數(shù)10億訂單ORC格式約1200個(gè)Split對(duì)應(yīng)1200個(gè)Mapper。如果Mapper數(shù)異常少如只有10個(gè)說明Input Split計(jì)算失敗需檢查ORC文件是否損壞。Mapper日志stdout搜索MapJoin關(guān)鍵字確認(rèn)日志出現(xiàn)Loading hashtable for table users from hdfs://...且后續(xù)有Hashtable loaded successfully, size1000000。這是Map Join生效的鐵證。GC日志在YARN的Container日志中查找GC overhead limit exceeded。如果出現(xiàn)說明內(nèi)存不足需調(diào)大-Xmx或減小hive.mapjoin.smalltable.filesize。我記錄的真實(shí)數(shù)據(jù)指標(biāo)Map JoinReduce Join總耗時(shí)23分18秒142分05秒Mapper數(shù)12171217Reducer數(shù)0256Shuffle數(shù)據(jù)量0 MB2.8 TB集群CPU平均利用率42%89%注意Map Join的“0 Reducer”不是bug是設(shè)計(jì)使然。如果看到Reducer數(shù)0說明Hive未成功啟用Map Join要立刻檢查hive.mapjoin.smalltable.filesize是否設(shè)錯(cuò)或小表路徑是否有誤。4.3 Reduce Join深度調(diào)優(yōu)從參數(shù)到代碼的全鏈路優(yōu)化當(dāng)必須用Reduce Join時(shí)以下參數(shù)組合是我在線上驗(yàn)證過的黃金配置-- 基礎(chǔ)配置 SET mapreduce.job.reduces256; -- 顯式指定Reducer數(shù) SET hive.exec.reducers.max256; -- 防止Hive自動(dòng)調(diào)整 SET hive.exec.reducers.bytes.per.reducer256000000; -- 每Reducer處理256MB數(shù)據(jù) -- Shuffle優(yōu)化 SET mapreduce.reduce.shuffle.input.buffer.percent0.7; -- Shuffle輸入緩沖區(qū)70% SET mapreduce.reduce.shuffle.merge.percent0.9; -- 合并閾值90%減少小文件 SET mapreduce.task.io.sort.factor100; -- 排序因子100提升Merge效率 -- 內(nèi)存優(yōu)化 SET mapreduce.map.memory.mb4096; -- Map內(nèi)存4GB SET mapreduce.reduce.memory.mb6144; -- Reduce內(nèi)存6GB SET mapreduce.map.java.opts-Xmx3276M; -- Map JVM堆3.2GB SET mapreduce.reduce.java.opts-Xmx4915M; -- Reduce JVM堆4.9GB代碼級(jí)優(yōu)化Java MR如果寫原生MapReduceReduce端關(guān)聯(lián)邏輯必須手寫高效算法public static class JoinReducer extends ReducerText, Text, Text, Text { private MapString, String userMap new HashMap(); // 存儲(chǔ)小表數(shù)據(jù) Override protected void setup(Context context) throws IOException { // 在setup中一次性加載小表避免每次reduce調(diào)用都加載 Path smallTablePath new Path(hdfs://.../users); FileSystem fs FileSystem.get(context.getConfiguration()); try (BufferedReader reader new BufferedReader( new InputStreamReader(fs.open(smallTablePath)))) { String line; while ((line reader.readLine()) ! null) { String[] fields line.split(\t); if (fields.length 2) { userMap.put(fields[0], fields[1] | fields[2]); } } } } Override protected void reduce(Text key, IterableText values, Context context) throws IOException, InterruptedException { // values中混有order和user數(shù)據(jù)需分離 ListString orders new ArrayList(); String userInfo null; for (Text val : values) { String str val.toString(); if (str.startsWith(order:)) { orders.add(str.substring(6)); } else if (str.startsWith(user:)) { userInfo str.substring(5); } } // 關(guān)聯(lián)輸出 if (userInfo ! null !orders.isEmpty()) { for (String order : orders) { context.write(key, new Text(order \t userInfo)); } } } }實(shí)操心得setup()方法只執(zhí)行一次把小表加載到內(nèi)存比在reduce()里每次加載快10倍。但要注意userMap不能太大否則GC壓力劇增。我的經(jīng)驗(yàn)是如果userMap.size() 50萬就要考慮分片加載或改用布隆過濾器預(yù)篩。5. 常見問題與排查技巧實(shí)錄那些文檔里不會(huì)寫的坑5.1 Map Join失效的五大隱性原因及修復(fù)Map Join看似簡單但失效原因五花八門。以下是我在項(xiàng)目中踩過的坑附帶一鍵修復(fù)命令問題現(xiàn)象根本原因診斷命令修復(fù)方案任務(wù)仍有Reducerhive.mapjoin.smalltable.filesize設(shè)錯(cuò)Hive讀取的是HDFS原始大小非壓縮后大小hdfs dfs -du -s /path/to/users計(jì)算真實(shí)內(nèi)存需求原始大小 ÷ 壓縮比 × 1.2重新設(shè)置參數(shù)Mapper OOM崩潰小表中存在超長字符串如JSON字段序列化后膨脹SELECT MAX(LENGTH(json_field)) FROM users添加預(yù)處理ALTER TABLE users ADD COLUMNS (json_short STRING); UPDATE users SET json_short SUBSTR(json_field, 1, 1000);關(guān)聯(lián)結(jié)果為空小表和大表的Key編碼不一致如小表UTF-8大表ISO-8859-1SELECT DUMP(user_id) FROM users LIMIT 1; SELECT DUMP(user_id) FROM orders LIMIT 1;統(tǒng)一轉(zhuǎn)碼SET hive.exec.charsetUTF-8;并重建表性能不升反降小表雖小但Key重復(fù)率極高如100萬行只有10個(gè)不同user_idSELECT COUNT(DISTINCT user_id), COUNT(*) FROM users改用DISTRIBUTE BYSORT BY預(yù)排序或直接走Reduce Join部分Mapper成功部分失敗集群節(jié)點(diǎn)內(nèi)存不均部分NodeManager內(nèi)存8GByarn node -list -states RUNNING查看各節(jié)點(diǎn)內(nèi)存在SQL中添加/* MAPJOIN(u) */提示并設(shè)置SET hive.mapjoin.localtask.max.memory.usage0.85;5.2 Reduce Join的傾斜救火指南三分鐘定位五分鐘解決當(dāng)Reduce Join因傾斜卡死按此流程快速響應(yīng)Step 1實(shí)時(shí)診斷2分鐘登錄YARN Web UI → Applications → 找到卡住的任務(wù) → 點(diǎn)擊ApplicationMaster鏈接在日志中搜索Shuffle completed找到已完成Shuffle的Reducer ID如attempt_123456789_0001_r_000012_0對(duì)比其Records Processed與平均值確認(rèn)是否傾斜Step 2緊急規(guī)避3分鐘執(zhí)行以下Hive命令無需修改代碼-- 啟用傾斜處理 SET hive.groupby.skewindatatrue; SET hive.skewjoin.key100000; -- 設(shè)定傾斜閾值為10萬 -- 強(qiáng)制使用Combiner即使JOIN不支持也能對(duì)大表預(yù)聚合 SET hive.optimize.combine.enabledtrue; -- 增加Reducer內(nèi)存扛住熱點(diǎn) SET mapreduce.reduce.memory.mb8192; SET mapreduce.reduce.java.opts-Xmx6553M;Step 3根治方案后續(xù)對(duì)大表中傾斜Key做鹽值處理SELECT CONCAT(user_id, _, FLOOR(RAND()*100)) as salted_id, ... FROM orders WHERE user_id 000000000小表對(duì)應(yīng)Key復(fù)制100份每份加不同鹽值關(guān)聯(lián)時(shí)用salted_id代替原user_id獨(dú)家技巧用hive.tez.container.size參數(shù)Tez引擎替代MR參數(shù)Tez的DAG調(diào)度對(duì)傾斜更友好。切換命令SET hive.execution.enginetez;性能提升可達(dá)40%。5.3 混合Join的避坑清單那些讓你半夜爬起來改配置的細(xì)節(jié)混合方案看似完美但細(xì)節(jié)決定成敗Bucket Join的陷阱分桶數(shù)必須是2的冪次方如32、64、128否則Hive無法保證Key均勻分布。我曾用50分桶結(jié)果3個(gè)Reducer處理了80%數(shù)據(jù)其余47個(gè)空轉(zhuǎn)。Skew Join的副作用開啟hive.groupby.skewindatatrue后Hive會(huì)自動(dòng)插入一個(gè)額外的MapReduce階段做數(shù)據(jù)采樣增加2-3分鐘固定開銷。如果任務(wù)本身很短5分鐘這個(gè)開銷反而得不償失。Map Join的緩存污染Hive默認(rèn)緩存小表到本地磁盤/tmp/hive-mapjoin-cache如果集群磁盤空間不足緩存寫失敗會(huì)導(dǎo)致Map Join靜默退化為Reduce Join。監(jiān)控命令df -h /tmp清理命令hdfs dfs -rm -r /tmp/hive-mapjoin-cache。ORC文件的隱藏問題ORC的stripe大小影響Map Split。如果小表ORC文件只有一個(gè)stripe如數(shù)據(jù)量太小Hive可能只啟動(dòng)1個(gè)Mapper無法并行。解決方案ALTER TABLE users SET TBLPROPERTIES (orc.stripe.size67108864);強(qiáng)制最小stripe為64MB。最后分享一個(gè)血淚教訓(xùn)某次上線前我測(cè)試Map Join一切正常上線后卻大量失敗。排查發(fā)現(xiàn)測(cè)試用的是Hive CLI而生產(chǎn)調(diào)度用的是HiveServer2HS2兩者JVM參數(shù)隔離。HS2的默認(rèn)堆內(nèi)存只有2GB而小表需要2.8GB。解決方案在HS2的hiveserver2-site.xml中添加propertynamehive.server2.enable.doAs/namevaluefalse/value/property并調(diào)大-Xmx。這個(gè)坑我花了6小時(shí)才填上。6. 場(chǎng)景延伸與能力拓展不止于Join構(gòu)建你的數(shù)據(jù)處理直覺Map Join和Reduce Join的思維能遷移到更廣闊的領(lǐng)域。比如實(shí)時(shí)計(jì)算中Flink的Broadcast State就是Map Join的流式版本——把維表廣播到所有TaskManager內(nèi)存流數(shù)據(jù)來了直接查而Keyed CoProcessFunction則類似Reduce Join靠Key分組后雙流對(duì)齊。再比如數(shù)據(jù)庫優(yōu)化MySQL的BNLJBlock Nested Loop Join和BKAJBatched Key Access Join的選型邏輯和這里如出一轍小表走BKAJ類似Map Join大表走BNLJ類似Reduce Join。更重要的是建立一種數(shù)據(jù)直覺任何關(guān)聯(lián)操作本質(zhì)都是在平衡三件事——內(nèi)存、網(wǎng)絡(luò)、磁盤。Map Join賭內(nèi)存贏Reduce Join賭網(wǎng)絡(luò)和磁盤贏。當(dāng)你面對(duì)新場(chǎng)景先問自己這張“小表”真的小嗎它的大小是靜態(tài)的還是隨時(shí)間增長的“大表”的數(shù)據(jù)分布是均勻的還是藏著幾個(gè)巨無霸Key我的集群最缺的是內(nèi)存還是網(wǎng)絡(luò)帶寬還是磁盤IO這個(gè)問題的答案比任何參數(shù)配置都重要。我見過太多人死磕mapreduce.reduce.shuffle.merge.percent調(diào)到0.95卻從不檢查小表里那個(gè)占了70%體積的description字段是否真的必要。刪掉它Map Join直接起飛。這個(gè)內(nèi)容后續(xù)還可以這樣擴(kuò)展把Map Join的思路用到機(jī)器學(xué)習(xí)特征工程中——把用戶畫像表廣播到每個(gè)訓(xùn)練節(jié)點(diǎn)實(shí)時(shí)拼接特征或者用Reduce Join的Shuffle思想優(yōu)化圖計(jì)算中的PageRank迭代把頂點(diǎn)狀態(tài)按分區(qū)打散減少跨節(jié)點(diǎn)通信。技術(shù)是死的但解決問題的思路是活的。當(dāng)你不再糾結(jié)“該用哪個(gè)Join”而是思考“數(shù)據(jù)在哪里瓶頸在哪里我能調(diào)動(dòng)什么資源”你就真正入門了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99精品久久久| 超碰色色综合| 婷婷五月a| 舔色婷婷| 五月婷婷人人人操| www久久99| 天天久久66xxx| 狠狠色综合网站久久久久| 婷婷天堂综合| 99热亚洲| 思思热精品在线观看| 青青草大香| 五月婷婷色丁香| 欧类av怡春院| av人人干| 亚洲小视频免费看| www.婷婷com| 天天五月情| 亚洲传媒在线观看| 日本色99| www.婷婷五月天啪啪| 九九在线精品| 99热这里只有精品3| 日韩av高清| 五月天激情久久| 成人啪啪色婷婷久| 开心深爱激情网| 婷婷五月中文在线| 婷婷久草| 五月天天爽| 丁香五月最新网址| 五月香婷婷| 99色热视频| 婷婷五月天综合亚洲| 婷婷激情五月综合丁香社| 久久免费干| 天天影院色| 成人一级片| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 婷婷五月激情视频| 色婷网| 99精品视频在线观看| www.日韩艹| 91碰免费视频| 久草五月天| 色婷婷丁香五月天在线视频 | 99热这里| 欧美视频在线观看噜噜| 亚洲无码影音| 久久国产一区二区三区| 九月色婷婷综合| 97热这里精品在线视频| 久久综合伊人综合在线| 久久性刺激| 婷婷色色五月| 天天插天天插| 99人人操人人摸| 色婷婷在线影院| 色综合99| www.99视频| 婷婷丁香成人| 婷婷五月天丁香久久| 色五月色五天色情网| 99亚洲综合| Www.久久| 国产精品99久久久久久久女警| 亚洲综合色五月| 超碰97干| 玖玖热99| 亚洲电影在线观看| 五月丁香在线观看| 综合色播| 夜夜操天天爽| 91热er| 日韩色色一区| 青青草大香| 中文无码婷婷| 五月天另类激情在线| 99人这里只有精品| 婷婷天堂综合| www.99热在线| 婷婷中文字暮| 五月婷婷 婷婷五月 一区二区 久久久| 九九热婷婷| 色五月婷婷在线视频| 伊人色五月| 日本欧美成人片AAAA| 九九婷婷五月天| 色五月久久成人婷婷| 久99热在线观看| 日逼AV影音先锋男人资源站| 婷婷六月久久综合导航| 色播婷婷大香蕉| 丁香六月婷婷综合在线| 伊人狠狠综合| 五月丁香六月婷婷综合免| av成人在线播放| 免费看欧美成人A片无码| 亚洲久久激情| 亚洲操逼网| 99无码黄色视频| 久久av电影| 日韩色色色色色| 色色色色区| 91性交在线播放| 99爱爱| 激情五月开心五月丁香五月| 亚洲五月色| 六月综和久久| 五月丁香婷婷国产精品综合| 婷婷五月俺要去| 五月天综合久久| 99色日本| 一本久道综合99| 99人人干人人操| AV中文网| 色色999三级片| 一级黄在线| 婷婷五月在线视频| 丁香五月天视频| 五夜婷婷| 99精品网| 粉嫩AV久久一区二区三区| 久久丁香五月婷婷| 激情五月丁香五月| 久久五月天婷婷| 激情五月天色色网| 六月丁香深深爱| 色婷婷六月| 亚洲精品大片| 久久婷婷五月综合啪| 激情五月天在线观看婷婷| 淫荡工a| 婷色五月| 婷婷六月综合基地| 五月婷婷网站| 俺也去色| 丁香综合婷婷开心激情网| 五月丁香六月婷婷综合| 日本熟妇乱妇熟色A片蜜桃| 丁香88AV五月婷婷| 99热精品10| 久久六月天| 亚洲五月天激情| 97超碰在线免费观看| 人人干人人操人人摸人人做| 婷婷五月激情小说| 日本在线视频播放91| 五月婷六月天| 国产又爽又猛又粗的视频A片| 很很干天天干| 噜噜狠狠色综无码久久合欧美| 99精品福利视频| 亚洲五月色| 婷婷五月天在线观看第二页| 欧美日比视频| 激情五月婷婷| 91女人18毛片水多国产| 99玖玖在线视频| 成人网站免费在线播放| 人妻内射麻豆视频| 开心激情网在线| 久热这里只有精品在线| 亚洲人成色A777777在线观看| 99热最新地址在线| 亚洲成人中心| 九月综合| 98色花堂98t.R| 五月综合婷婷网| 五月天三级| 亚洲行行色色| 五月婷婷激情久久| 日日操日日撸| 欧美久久九九| 另类激情网| 天天日天天久久青青| 婷五月天天| av九九| 99热99美国在线观看| 五月婷婷丁香av| 开心五月色婷婷综合开心网| 色五月婷婷、老熟女| 六月丁香久久| 五月婷在线色视频| 99@久久@99精品视频| 色婷婷丁香五月在线| 五月婷婷六月天| 玖玖爱综合网| 久久婷婷五月| 99热国产这里只有| 91紱請| 色婷婷最爱五月| 精品一二三区久久AAA片| 中文不卡一二区| 蜜乳中文字| 婷婷成人五月天| 激情婷婷六月天| 五月婷婷玖玖综合玖玖爱| 久99热在线观看| 99综合婷婷五月| 五月天婷婷在线播放免费| 综合色色网| 国产91资源在线| 亚洲色五月婷婷| 五月天丁香六月综合| 久久九九在线视频| 色情五月丁香| 狠干综合| 日韩激情人伦人| 五月婷婷深深爱| 全部老头和老太XXXXX| 伊人碰碰婷婷| 永久地址 色| 亚洲超碰在线| 久久色9| 狠狠干五月丁香| 国产色网站| 久久小说| 丁香五月婷婷狠狠色| 夜夜做夜夜愛| 国产毛片精品一区二区色欲黄A片| 我淫我色婷婷五月天激情四射| 激情久久久久| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 99久免费视频| 激情五月婷在线精品| 91丨九色丨43老版熟女| 97碰碰视频| 思思热精品免费视频| 五月天成人综合| 超碰九热| 天天撸夜夜爽| 国产看真人毛片爱做A片| 青青草婷婷久久| 五月天无码视屏播放| 另类视频综合| 综合激情在线| 天天日日夜夜| www:99热视频| 亚洲五月天婷婷| 69精品人人人人人人人人人| 色色五月天激情| 99九九视频| 九九九激情综合| 伊人久久婷婷| 久久精品99| 日韩美女羞羞网站在线观看| 色情五月婷婷| 2021日韩无码| 天天精品视频免费观看| 久9草在线观看视频| 开心五月婷婷六月丁香| 亚洲婷婷五月天| 激情图片婷婷| 日韩久热| 丁香久久综合| 91人人操人人爱| 久久婷婷五月综合色天| 婷婷丁香人妻天天爽| 日韩一级一片内射视频4K| wWwCom夜操wwW| 色狠狠色| 九九热精品| 国产9色在线/日韩| 亚洲黄色影视| 天天天天操| 草草视频91| 色丁香五月天| 天天狠狠婷婷在线| 99色在线视频| 色五月亚洲五月天| AV网在线| 五月天精品综合| 久操香蕉| 丁香婷婷视频在线| 五月停停999| 日本色99| 激情综合5月| 六月婷婷色综合| 国产片天天爽夜夜爽| 99热免费| 久久亚洲婷婷| 亚洲精品久久久久AV无码| 99热精品少| 国产精品VIDEOSSEX久久发布| 99热99思午夜精品| 欧美成人在线观看| 五月激情综| 五月天久久激情| 激情六月色| 丁香五月婷婷婷桃花影院| 色色网站在线| 久久婷婷色色| 国自产拍偷拍精品啪啪一区二区| 六月丁香激情婷婷| 婷婷综合日本| 激情五月天综合| 色五月成人婷婷| 色五月婷婷网| 久久深爱激情网| 五月婷婷亚洲综合网| 亚洲色色色色色| 久久五月网| 99久超碰| 亚洲精品国产setv| 色婷婷五月天中文字幕| 亚洲成人综合在线| 色久播播| www.五月天性.com| 丁香五月天av| 天天狠狠夜夜狠狠2023| 这里只有精品久久| 激情婷婷五月| 成功精品影院| 最近免费中文字幕大全高清大全1 色狠狠色噜噜AV天堂五区 | 香蕉久久国产AV一区二区| 99re66热这里只有精品| 婷婷五月欧美综合| www.99热视频| 思思久久思思| 五月丁香久久久久| 狠狠精品干练久久久无码中文字幕| 婷婷激情五月综合丁香社| 久久码久久无清| 色综合久久888| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 色狠狠色噜噜AV天堂五区| 伊人色欲五月天| 99亚洲精美视频在线观看| 五月婷婷中文字幕| 99性爱视频网站| 97人人干| 婷婷五月天小说| Aaa久久| 五月色色激情网| 色婷婷在线播放| 强辱丰满人妻HD中文字幕| 丁香六月成人| 欧亚洲在线高清视频| 99精品国产乱码久久久人妻| 九九热精品99| 久久久久人无码人妻| 永久免费一区二区三区| 婷婷99狠狠| 这里只有精品1| 思思热国产视频| 超碰自拍天堂| 99综合视频一体| 五月天另类视频| 另类五月婷婷| 婷婷综合色图| 久久久9久| 综合网亚洲| 久久五月天丁香| 色婷婷激情| 可以直接看的AV网站| 99ri在线观看视频| 五月香蕉网| 任你草| 婷婷五月色色| 手机免费福利视频| 五月社区丁香| 天天艹天天综合网| www.婷婷,com| 激情文学 综合 九月| 丁香婷婷啪啪| 在线99热| 热久久这里只有精品| 五月天色在线| 久久五月天合网| 婷婷丁香五月天大香蕉| 婷婷最新地址| 欧美日韩成人在线| 色香欲综合| 亚洲综合网激情小说| 丁香网五月天激情| 天天肏夜夜肏| 五月丁香成年黄色| 亚州精品久久久久AV无码| 伊人春天av| 99热销国产这里有精品| 97在线视频 欧美| AV网在线| 高清无码入口| 99日本黄站| 五月天桃色深爱网| 美女五月天| 婷婷丁香激情| 欧洲亚洲免费视频区| 久久色天堂| 色婷成人狠干| 婷婷色五月天色色| 丁香五月 无码| 伊人久久艹| 日本色道视频网站| 中文无码婷婷| 日本三级大片| 天天干天天插| 香蕉久久六月| 色欲久久综合| 久久香蕉网| 激情四射网| 激情五月天综合网| 五月天激情亚洲| 日本成人小说婷婷六月| dingxiangtingtingliuyue| 久久人人人人妻| 四色 爱 婷婷 精品 亚洲 五月天| 丁香六月啪啪| 丁香五月花婷婷开心| 五月天婷婷久久| 久久9久| 99精品热视频| 久久综合婷婷| 婷婷欧美色| 色婷婷91激情小说| 深爱激情四射| 色婷婷狠狠色| 国产成人高清| 日本综合久| 久久精品爱爱| 久久亚洲婷婷综合色五月| 婷婷综合激情| 精品久久婷婷五月天| 影音先锋按摩| 婷婷性爱无码视频| 狠狠五月天婷婷激情网。| 日本三级第一页| 色99综合色88| 中文字幕婷婷在线| 色婷婷伊人| 丁香五月激情综合在线观看| 熟女少妇内射日韩亚洲| wwwxxx五月婷婷小说| 内射干少妇亚洲69XXX| 99热九九这里只有精品10| 99热97| 五月色婷婷亚洲 | 欧美大片| 久久 这里只有精品1| 免费看欧美成人A片无码| 五月亚洲激情| 丁香五月 性爱| 五月婷婷免费看| 亚洲中文AV网站| 色婷婷丁香| 探花搜索结果 - 黄上黄| 婷婷五月天天天| 色色色五月婷| 五月婷婷丁香六月| 久久机热这里只有 | 五月天综合在线| 都市激情五月婷婷综合| 亚洲中文字幕在线观看| 日韩在线aaa| 日本全黄一级999| 五月丁香六月激情| 99久久久国产大片区| 国产特级毛片AAAAAAA高清| 丁香婷婷五色月| 亚洲9久久精品| 在线观看婷婷5月| 丁香五月婷婷AV| 亚洲激情综合| 色色亚洲无码| 91久久九色| 色伊人婷婷| 五月婷婷开心亚洲无| 91啪啪| 天天插天天| 黄色一级影片| 嫩草AV久久伊人妇女超级A| 狠狠干伊人| 日韩av网站在线观看| 四虎成人精品永久免费AV九九| 日日噜狠狠色综| 久久婷婷六月综合国际| 激情婷婷丁香五月天| 丁香婷五月天| 日本一毛片| 噜噜噜狠狠色综合| 另类视频丁香五月| 国产欧美日韩性爱| 思思久久99热只有频精品66| 日本狠狠色| 天天拍夜夜撸| 欧美性爱一区| 性做爰A片免费视频A片直播| 97干在线播放| 婷婷日日天天| 九九色热| 麻豆忘忧草午夜| 欧美人妻一区二区| 精品无吗va视频免费观看| 色五月婷婷激情综合网| 九九九午夜视频| 五月婷婷激情网| 五月丁香狠狠地噜噜噜噜| 国产精品视频| 婷婷久久欧美| A片试看50分钟做受视频| 久久性爱视频| 天天天天天久久久久久| 丁香九月综合| www99在线观看视频| 成人国产欧美大片一区| 青青草tp| 99国产在线| 婷婷5月天激情综合| 哇嘎成人久久| 好叼操在线观看| 天天操天天曰| 91狠狠综合网| 四月婷婷五月色综合| 综合久久99| 日日夜夜干| 电影91久久久| 久久久久婷婷五月热综合| 超碰国产AV| 激情影院69| 天天操天天爱天天日| 五月婷婷综合在线| 五月婷婷综合色啪首页| 丁香五月天激情小说| 99无码精品| 超碰com| 五月天天爱| 亚洲av| 97欧美在线| 可以免费看的AV网站| 亚洲午夜成人av电影网| 99re思思| 色婷婷亚洲精品天天综| 久9久9热久热| 婷婷情色五月天| 色五月天丁香婷婷色| 色综合99色| 九九热最新| 亚洲不卡| 9色在线视频| 79精品视频在线观看,| 日本欧美国产| 就爱射中文字幕资源网| 色六月天| 色人妻五月| 天天橾日日橾夜夜橾17| 丁香婷婷五月六月天| 婷婷婷色五月| 婷婷五月天激情小说网站| 五月丁香综合激情在线观看| 丁香六月婷婷综合激情欧美| 欧美影院婷婷| 另类天堂| 婷婷丁香亚洲色综合91| 天天狠狠六月婷丁香影院| 日本色五月| 婷婷五月激情欧美| 色欲婷婷五月天丁香| 99综合| 九九在线精品| 国产成人在线精品| 婷婷五月激情小说| 亚洲精品V天堂中文字幕| 久久性爱视频| 日本色啪| 亚洲人操亚洲人| 日本高清不卡免费一区二区三区| 91在线观看www| 人人叉久| 伊人五月婷婷| 欧洲99视频在线| 久久99免费视屏| 日本色噜| 色综合色综合网| 久久99热这里只有精品| 日韩狠狠色| 99re6久热只有精品6在线直播| 天天爱天天操| 亚洲狠狠爱婷婷| 丁香色影院| 丁香婷婷六月天| 亚洲激情在线| 天天综合天天做天天综合| 这里只有精品9| 另类激情中文| 欧美这里只有精品| 婷婷操无码| 97久久五月丁香婷婷| 在线色色| 成人狠狠成人狠狠成人狠狠成人狠狠| 五月花在线观看视频| 色婷婷综合影院| 国产成人亚洲综合A∨婷婷| 色婷婷成人做爰A片免费看网站| 开心色色五月天综合| 97超级碰碰碰久久久| 国内久久亭亭| 婷婷五月天在线综合导航| 色天天综合成人网| 五月婷婷六月丁香综合| 精品一二三区久久AAA片| 色婷婷91激情小说| 九九国产视频| 99在线精品视频免费观看20| 婷婷狠狠操| 国产欧美日韩综合精品一区二区| ′久久99一| 99爱免费在线观看| 综合五月丁香六月婷婷| 免费看欧美成人A片无码| 伊人影院久久网| 金桔一区二区ab地址| 欧美成人精品一区二区| 777色色色| 婷婷不卡基地| 色色亚洲无码| 五月天丁香综合久久国产| 激情又色又爽又黄的A片| 日韩久操婷婷| 涩综合在线| 欧美成人色婷婷| 久久99网站| 丁香五月婷婷亚洲另类| 99在线视频在线观看| 五月天婷婷影院| 少妇被下春药玩弄A片| 啪精品| 97久久香草精品视频| 久久久久久人妻| AA片在线观看视频在线播放| 超碰人人草| 五月天色婷婷激情| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 久久ri精品视频| 欧美大奶熟女噜噜噜噜| 天天搞天天色综合| 欧美碰碰碰| 亚洲激情高潮| 五月激情小说网| 成人网站高清无码| 狠狠五月天婷婷激情网。| 午夜大香蕉| 五月丁香趴趴| 五月婷综合网| 第九色区av天堂| 二级黄色毛片| 26UUU欧美| 九九九九九999999| 99色看这里只有精品| 91色久| 欧美久久久中文字幕| 色色色视频免费无码| 人人干99| 超碰不卡在线| 久久九九色| 久久男人网婷婷| 第四色婷婷最爱| 天天操综合网| 五月天社区| 色色色婷婷五月天| 色婷婷免费视频| 99色| 精品国婬伦V无码久久久| 丁香网五月网| 丁香伍月婷电影全集| 丁香八月综合激情| 丁香五月综合| 五月丁香A片| 婷婷色啪| 在线中文字幕视频| 99热欧美| 久久九色| 国产这里只有精品| 99在线69| 丁香色色网| 五月婷婷狠狠干| 五月丁香婷婷爱| 超碰国产在线观看| 婷婷五月综合社区| 激情黄色小说色五月| 婷婷丁香激情综合色情| 久久只有精| 欧美成人猛片AAAAAAA| 色五月天在线| 色综合香蕉| 97干在线| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 日本一级| 丁香六月激情| 国产色色网站网址| 思思re最新视频| 免费99情趣网视频| 超碰在线观看三级片| 色五月综合网| 色婷婷影音| 97色97干| 超碰成人在线观看| 99热婷婷| 99热只有这里才是精品| 97久久超视频| 97碰碰视频在线观看| 五月婷丁香花| 香蕉AV777XXX色综合一区 | 激情99热| 九九99视频精品| 影音先锋天天日| 婷婷五月天久久| 国产肥白大熟妇BBBB视频| 五月色丁香婷婷中文字幕| 欧美十二区| 色色色热| 婷婷在线视频| 久久综合66| 99爱视频在线观看这里只有精品| 狠狠爱婷婷爱| 嫩草AV久久伊人妇女超级A| av网站中文| 99色干| 久月久在线视频| 狠狠香蕉| 六月丁香VA| 五月天伊人av| 在线观看996精品| 草了bav视频在线观看| 五月天婷婷爱| 欧美综合激情五月天| 九九综合久久| 啪精品| 韩日另类| 五月婷婷六月色| 五月婷婷色播| 3www激情| 开心五月婷婷六月丁香| 久久99久久99精品免观看粉| 久久月天堂| 天天综合网站| 日韩亚洲视频| 五月天婷婷久久视频| 婷婷六月天亚州| 婷婷五月天在线一区| 性色五月天| 久久综合香蕉国产国产蜜臀AV| 中文字幕视频在线播放| 五月天五月婷五月激情网| 99精品视频偷拍| 欧美大片免费观看| 亚洲综合无码| 欧美综合激情五月天| 久热大香蕉| 久久久久久久久久久久久久久久一道本| 精品99在线| 天天撸夜夜爽| 五月丁香久久| 丁香9月婷婷| 草操AV在线| 丁香五月六月婷婷综合| 日韩AV免费看| 日本综合久| 五月激情婷婷在线| 婷婷成人基地| 99日韩| 日日天天干| 777米奇影视第四色| 色色爽爽天天| 夜夜干 夜夜操| 国产欧美精品AAAAAA片| 国产精品久久久久9999小说 | 久er免费视频| 天天搡日日搡aaaaⅩ| 青青草99热久久精品国| 激情婷婷综合网| 丁香六月激情国产| 色色97丁香婷婷五月天| 日本三级99人妇网站| 亚洲色无码A片一区二区麻豆| 丁香五月婷婷啪啪| 婷婷五月激情综合| 67194国产| 97色色婷婷| 99色热| 日本一级一级一级一级| 婷婷五月天网| 99热这里有精品| 婷婷精品| XX色综合| 天天干在线播放| 99干免费视频| 九九99偷拍视频| 欧洲区自拍| 97热超碰| 91婷婷色 | 性做爰A片免费视频A片直播| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 色五月天堂| 日韩九九视频| 婷婷另类开心| 五月婷婷九| 26uuu另类亚洲欧美日本一| 日韩十国产极品久久| 婷婷十月激情综合网| 人人操av| 91碰碰视频| 337p大胆噜噜噜噜噜91Av| 色色色免费视频| 性做久久久久久久免费看| 性做爰A片免费视频A片直播| 欧美色必爱| 2022人人操人人看| 91久久1118| 丁香婷婷五月激情综合| 色情激情五月| 思思热视频| 成年人最刺激的综合网| 久久综合26p| 成年人99热| 激情综合网激情五月丁香五月俺也去| caopeng97日韩| 色偷偷AV亚洲男人的天堂| 丁香六月婷婷综合激情欧美| 五月天激情国产综合婷婷婷| 婷激情五月天视频导航| 天天干天天做| 99热这里有精品6| 天天拍天天操| 91dy.av| 色一色综合| 九九热精品视频九九| BlACKEDRAW视频一区二区| 成人丁香婷婷五月天| 热久久999| 久久 视频这里只有精总| www.99.色| 丁香五月婷婷手机| 欧美激情 日韩无码 婷婷 五月天| 五月婷婷无码| 伦99热| 婷婷黄色| 日本熟女视频一区二区| 狠狠干综合| 热久久精品视频网站| 婷婷情色五月| 天天日 天天草| 爽极品色| 丝袜大香蕉| 九六五月天婷婷| 日本97在线观看| 五月婷婷色播| 久久9视频| 激情色播| 婷婷五月天资源| 五月激情久久| 久久婷婷色色| 丁香六月AV| 欧美日韩二区在线| 综合网视频| 丁香五月天黄色片| 丁香五月婷婷亚洲人| 天天射影院| 99热这里只有精品最新网址| 丁乡久久| 五月婷婷丁香五月| 色婷婷丁香中文在线播放| 国产第99页| 久久色情| 丁香五月天婷婷中文| 五月天丁香花婷婷| 99久久久久| 翔田千里无码| 人妻激情视频| 五月婷婷啪啪| 五月婷婷自拍视频| 成人网站免费在线播放| 色婷婷五月天| 开心婷婷五月天激情网| 精品成人久久久久久久_一二三四视| 五月天综合网| 丁香六月激情国产| 99小视频在线| 97色操| 国产日韩精品SUV| 99热超碰| 噜噜噜久久| 99精品在线下载| 第五婷婷伊人丁香色| 北京熟妇搡BBBB搡BBBB| 六月丁香VA| 草综合网| 激情五月天情色| 天天干天天干天天干天天干天| 丁香五月在线观看综合| 色婷婷a| 婷婷色情 | 日韩成人电影在线播放| 热99视频| 日韩操逼大片| 色五月色综合| 色五月大香蕉| 俺也去在线视频| 欧洲永久精品| 丁香激情五月少妇| 免费视频WWW在线观看网站| 免费亚洲婷婷| 色综合五月婷婷狠狠干| 超碰在线观看9| 综合天堂AV久久久久久久| 五月丁香欧美综合| 日日懆天天懆| 欧洲激情网站| 色综合香蕉| 91久久久久久久久久18| 97九色| 99re热视频这里只精品| 久久视这里只有精品| 97成人在线视频精品| 人妻内射一区二区在线视频| 92久久| 国产精品热搜丁香五月婷婷| 激情精品久久| 天天搡日日搡aaaaⅩ| 精品五月花| 五月丁香六月激情综合| 丁香五月综合激情啪啪| 日日插日日干| 综合激情网| av在线资源| 日日噜狠狠| 五月花免费视频| 日日干干天天干| 7月婷婷六月丁香| www激情网站| 激情5月婷婷| 婷婷激情图片| 久久婷婷国产| 色婷婷狠狠| 五月色俺婷婷| 天天婷婷操| 97精品综合久久| 3p久久| 亚洲无码AV片| 婷婷五月成人社区| 国产午夜精品AV一区二区麻豆| 九九热在线精品视频| 色婷婷中文在线| 99色在线视频| 亚洲五月色| 婷婷丁香五月天亚洲| 丁香久久AV| 亚洲激情综合色站| 婷婷伊人网| 久久总和99| 色玖玖玖| 伊人9草在线观看| 9999热免费视频视频| 97超碰,人人舔,人人操,人人摸 | 日韩五月婷婷久久| 久久婷婷丁香花综合网| 激情五月婷婷| 欧美成人猛片AAAAAAA| 91chinese在线| 九九热在线观看视频| 婷婷五月天色色| 九九操操| 久久伊人婷婷| 99在线免费视频| 97碰碰视频| 久婷五月| 夜色综合网| 99狠狠操一| 日韩精品一品二区三区的使用体验| 五月开心久久| 可以免费观看的AV| 五月天婷婷激情| 九九热在线视频| 99热这里只有精品9| 天天天天操| 综合网五月| 五月丁香影院| 色综合丁香婷婷| 久久久激情视频| 色综合久久天天综合网| 色情五月丁香| 亚洲免费婷婷| 五月丁香综合网| 99自拍视频在线| 婷婷丁香久久| 国产亚洲精品久久久久久牛牛| 色情成人五月天| 午夜天堂一区人妻| 黄色国久久| 精品热九九| 性爱五月婷| 丁香五月综合首页| 欧美天堂久久| 久草婷婷| 99热在这里只有免费精品| 狠狠狠人妻| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 欧美性做爰大片免费看办公室| 激情又色又爽又黄的A片| 九九无码AV| 亚洲图色五月天| 激情久久久久久久久久| 99综合免费视频| 久久这里只有精品07 | 欧美日韩成人一区二区| 5月丁香啪啪啪| 男女啪啪做爰高潮无遮挡| www.wuyuetian啪啪| 91综合网| 九洲一级A片| 五月婷婷新网站| 99热99免费| 人人妻久久妻| 亚洲另类婷婷综合| 五月天婷婷久久| 色五月丁香91| 丁香五月网| 轮奸综合网| 精品99只有。| AVDV久久| 色五月五月婷婷| 色五月丁香A欧美com| 五月婷婷日| 这里只有精品偷拍| 蜜臀嫩草| 先锋资源91| 五月天社区| 婷婷性福五月天| 久热大香蕉| 亚州美女| 婷婷五月六月丁香| 99热婷婷| 五月丁香激情欧洲啪啪| 五月丁香色婷婷久久| 大香蕉啪啪网| 狠狠色狠狠色综合日日91| 日韩成人AV在线| 五月丁香婷婷婷婷综合网| 色五月婷婷在线| 六月天婷婷| 久久五月情| 五月婷婷六月丁香激情深爱| 综合六月激情婷婷| 人妻精品在线| 激情五月婷婷综合秋霞| 婷婷人人操| 森林影视大全,最好看的2019年视频 | 色综合久久之分久久| 97欧美在线| 夜夜天天久久婷婷| 99久久精品国产色欲| 嫩BBB搡BBBB榛BBBB| 婷五月天丁香婷五月| 五月婷婷中字在线| 99精品在线观看视频| 色五月综合网| 97精品综合久久内射| 99热精品少| 天天色99| 又大又粗九一在线| 婷婷色五月丁香六月欧美啪| 亚洲 五月 婷婷 成人| 婷婷综合| 国产在线视频1234| 婷婷国产日本欧美| 99精品视频偷拍| 91人妻人人操| 色频玖玖五月天| 狠狠狠狠狠狠| 91精品激情9| 国产亚洲色婷婷久久99精品91| 97婷婷五月| 激情五月天综合网| 熟女网站久久| 色情综合网| 国产人妻777人伦精品HD| 91碰超| 九九激情视频| 99热在线观看| www.91操| 99亚洲精品视频| 黄色片久久| 五月丁香综合啪啪| 无码髙清| 五月天大香蕉婷| 国产精品噜噜在线视频| 久久精品视频99| 久久精品天| 婷婷五月丁香久久| 六月激情网| 婷婷在线免费| 婷婷五月天影院| 九九综合九色欧美狠狠| 五月婷婷播| 91超级碰碰| 国产.亚洲.欧洲视频在线| 婷婷五月激情天| 亚洲婷婷性爱| 久久久er热| 五月婷婷婷| 成年人夜夜喷水| 久久九九国产精品怡红院| 人五月天婷婷喷水| 伊人综合网4| 婷婷激情五月| 66精品国产成人| 国产免费AV在线| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 996re热精品视频| 深爱五月亚洲| 亚洲国产精品VA在线看黑人| 亚洲艹网| 婷婷五月天久久久| 亚洲激情综合网| 欧美日比视频| 91视频免费后入强操| 天天插插天天| av婷婷丁香| 日本激情五月天‘| 九久久婷婷| 襙比视频| 日韩无码专区| 伊人超碰| 日本精品人妻无码77777| 99热精品在线播放观看| 婷婷中文字幕| 狠狠色噜噜狠狠色噜噜噜999| 成人看片网站| 超碰免费人妻| 丁香五月天网站| 天天搡日日搡aaaaⅩ| 久久婷婷五月丁香网| 五月婷婷激情久久| 97人人搞| 92久久| 大香蕉久久| 思思热天天看| 色丁香久久| 99re在线观看视频| 成人片黄网站色大片免费毛片| 丁香五月婷婷六月婷| 欧美日韩精品人妻狠狠躁免费视频| 开心五月丁香综合久久| 三十熟女| 1995年关宝慧版蜘蛛女| 婷婷亚洲在线| 开心激情网在线| 中文字幕丰满乱孑伦无码专区 | 久热这里只有精品性色AV| 丁香五月香蕉| 国庆精品久久| 国产毛片欧美毛片久久久| 色婷婷伦理| 色六月 婷婷| http://www.sd-xiangsu.com/| 欧美六月婷婷| 大香蕉久久婷婷精品综合| 色情丁香五月婷婷精品| 91精品综合久久久久久五月丁香| 色色色色色热| 欧美黑人巨大性生话| 五月婷婷免费视频| 99九九热播在线免费视频| 五月婷婷在线视频| 97操碰视频| 天天干天天做| 另类激情五月| 伊人久久大香| 夜夜资源站| 男人的天堂999| 九九视频在线观看视频6| 五月天社区狠狠| 黄久久久| 婷婷五月天小说网| 情情五月天色| 婷婷丁香五月天色色| 国产avapp 网| 丁香婷婷五月天网站| 色婷婷性爱网| 婷婷五月激情小说| 99久视频| 日本黄 色 片| 五月婷婷激情五月| 婷婷久久综合| 日韩一本操| 亚洲色99| 久久人人看| 男人操女人高潮91视频| www.minyis.com【JT】实力收量可预付QQ2101460746 | 色噜久| 五月婷婷影| 婷婷五月天免费| 第四色五月婷婷| 色人久久| 婷婷综合五月天亚洲综合| 婷婷月综合| 国产毛片欧美毛片久久久| 五月天网站亭亭| 久久激情网| 婷婷六月天国产综合| 91人操人人人操人| sisi热国产| 久热婷婷在线视频| 色综合五月天| 婷婷五月天啪啪| 无码se| 久久丁香婷婷色情综合| 99精品自拍| 久久66精品| 人人操AV| 综合福利网| 97干视频| 丁香五月天欧美在线| 久操综合| 色综合77777| 91久久久久久久| 99亚洲色| 99婷婷| 五月色婷婷夜色| 丁香五月影院| 这里只有精品免费视频| 婷婷五月综合婷婷| 色色色9 9 9| 精品一二三区久久AAA片| 婷婷五月天综合在线| 久久与婷婷| 色情婷婷。| 超碰天堂网| 色色色色综合| 26uuu欧美日本| 日韩五月婷婷| 91久久久久久久久久| 极品人妻VIDEOSSS人妻| 超碰色综合| 婷婷五月六月激情| 国产亚洲精品人人| 五月婷婷六月综合| 久久精品国产精品| 成人电影一区| 五月天天天色| 综合狠狠干| 97碰啪啪| 亚洲无码九九九| 国产在线aaa片一区二区99| 中文资源在线a | 五月丁香婷中文| 天天插天天玩天天干| 99热99天堂| 丁香六月婷婷操逼网| www.狠狠| 激情深爱五月天| 深爱五月亚洲| 六月五月丁香五月欧美| 夜夜躁婷婷AV| 亚洲六月色| 婷婷久久综合| 久操大香蕉| 婷婷五月天狠狠色| dingxiangtingtingliuyue| 99热久久这里只有精品| 激情伊人| 色狠狠综合入口| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 丁香 婷婷 亚洲 熟女| 婷婷五六日| 色久播播|