欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

分布式計算框架優(yōu)化實戰(zhàn):從瓶頸定位到數(shù)據(jù)傾斜調(diào)優(yōu)

分布式計算框架優(yōu)化實戰(zhàn):從瓶頸定位到數(shù)據(jù)傾斜調(diào)優(yōu) 1. 別急著調(diào)參先把瓶頸層次分清1.1 任務(wù)變慢首先要回答“慢在哪一層”做分布式計算框架優(yōu)化這幾年我見過一個非常普遍的現(xiàn)象任務(wù)一慢大家第一反應(yīng)就是調(diào)并行度、加內(nèi)存、改超時時間。結(jié)果參數(shù)改了一圈任務(wù)還是那個鳥樣甚至更慢了。分布式計算框架優(yōu)化這件事難點從來不在“調(diào)參數(shù)”本身而在于你怎么定位問題。一個跑得慢的分布式任務(wù)可能慢在四個完全不同的地方調(diào)度層、計算層、數(shù)據(jù)讀寫層、網(wǎng)絡(luò)傳輸層。不同層次的瓶頸對應(yīng)的優(yōu)化手段是完全不同甚至互相矛盾的。比如你盲目提高并行度如果是數(shù)據(jù)傾斜導(dǎo)致的慢任務(wù)數(shù)量越多長尾反而越明顯如果是小文件過多導(dǎo)致的慢并行度提上去之后文件碎片化只會更嚴重。所以我現(xiàn)在的習(xí)慣是先回答三個問題再動手。第一任務(wù)慢是整個作業(yè)都慢還是只有某個階段慢如果整個作業(yè)都慢多半是資源總量不夠或者調(diào)度策略有問題如果只有特定階段慢那個階段內(nèi)部一定有異常。第二慢的階段是CPU密集、內(nèi)存密集還是網(wǎng)絡(luò)和磁盤密集這三個方向的優(yōu)化動作完全不一樣。CPU密集要考慮簡化計算邏輯、壓縮數(shù)據(jù)量內(nèi)存密集要查對象大小和GC情況網(wǎng)絡(luò)磁盤密集要重點看Shuffle讀寫量和數(shù)據(jù)本地性。第三任務(wù)運行過程中有多少執(zhí)行單元是真正在干活的很多分布式任務(wù)出現(xiàn)性能問題的時候你會發(fā)現(xiàn)大量執(zhí)行單元處于空閑等待狀態(tài)只有少數(shù)幾個在拼命跑。這時候你再怎么加資源都沒有意義因為問題不在資源總量而在數(shù)據(jù)分布。1.2 用一條流水線理解分布式作業(yè)的性能結(jié)構(gòu)我習(xí)慣把分布式計算框架比作一條多工位流水線數(shù)據(jù)是流水線上的物料每個執(zhí)行任務(wù)是一個工位框架的調(diào)度器就是工廠的排產(chǎn)系統(tǒng)。物料從上游流向下游經(jīng)過每個工位的處理最終產(chǎn)出結(jié)果。流水線有一個很直白的規(guī)律整條線的產(chǎn)出速度不由最快的工位決定而由最慢的工位決定。分布式計算框架里的“最慢工位”通常表現(xiàn)為兩類。一類是的確有個別工位處理的數(shù)據(jù)量特別大這就是數(shù)據(jù)傾斜另一類是工位本身不缺活干但物料傳輸太慢工位一直在空等數(shù)據(jù)這類問題常見于網(wǎng)絡(luò)擁塞、本地性差、序列化開銷高的場景。在動手之前建議先打開框架自帶的執(zhí)行歷史頁面把每個階段的耗時分布圖看一遍。不管是什么框架只要是類MapReduce模型都會有類似的階段耗時視圖。你要找的是那些“尾巴”特別長的階段大部分任務(wù)幾秒鐘就跑完了但某個階段里有幾個任務(wù)跑了十幾分鐘甚至更長。這種長尾形態(tài)是最重要的線索??吹介L尾先別急著調(diào)參繼續(xù)往下定位大概率能發(fā)現(xiàn)問題本質(zhì)。2. 調(diào)度層優(yōu)化并行度、動態(tài)分配與數(shù)據(jù)本地性2.1 并行度不是越大越好它有一個合理區(qū)間并行度是分布式計算框架里最常見的調(diào)整項但也是被誤解最多的一個參數(shù)。很多人認為并行度開得越大任務(wù)跑得越快實際上并行度只是決定了任務(wù)被切成多少份來并行處理真正決定處理速度的是你有多少可用的CPU核心和內(nèi)存。最合理的并行度區(qū)間大致是集群可用CPU核心數(shù)的2到3倍。為什么不是1倍因為分布式任務(wù)的執(zhí)行階段之間有小幅波動有的任務(wù)快有的任務(wù)慢留出一些余量可以讓執(zhí)行單元忙起來之后仍然有新任務(wù)可領(lǐng)。超過3倍之后收益就開始不明顯了反而會引入額外的調(diào)度開銷、序列化開銷和上下文切換開銷。反過來如果并行度小于核心數(shù)那么有大量CPU資源會被浪費。舉個例子一個集群有32個執(zhí)行單元每個執(zhí)行單元2個核心那么可用核心數(shù)大約是64個并行度建議設(shè)定在128到192之間。我之前排查過一個任務(wù)并行度被人從200改成了2000結(jié)果單階段創(chuàng)建了兩千個小分區(qū)每個分區(qū)只裝了幾百條數(shù)據(jù)。執(zhí)行完一看絕大多數(shù)時間都花在任務(wù)的調(diào)度和元數(shù)據(jù)管理上真正計算的時間反而沒多少。把并行度調(diào)回256之后時間立刻降了一半還不止。并行度還有一個隱性作用它會影響Shuffle時生成的文件數(shù)量。并行度越高每個上游任務(wù)產(chǎn)生的輸出分區(qū)越多下游要拉取的數(shù)據(jù)塊就越碎。文件一多NameNode層面壓力大下游任務(wù)拉數(shù)據(jù)的次數(shù)也多。所以調(diào)整并行度的時候一定要同時關(guān)注Shuffle讀寫量和文件數(shù)量別只看任務(wù)跑完的時間。2.2 動態(tài)資源分配什么時候開什么時候關(guān)動態(tài)資源分配是一個很實用的調(diào)度層優(yōu)化手段。簡單說就是框架根據(jù)當(dāng)前任務(wù)積壓情況動態(tài)地向資源管理器申請或釋放執(zhí)行單元。任務(wù)多的時候就多申請幾個執(zhí)行單元任務(wù)少了就自動回收避免資源閑著浪費、忙時又不能用的尷尬局面。什么場景適合開動態(tài)分配最典型的是混合負載的場景不同團隊提交不同類型的作業(yè)作業(yè)到達時間不均勻有的凌晨跑批有的白天跑交互式查詢。這種場景下固定分配資源要么浪費要么不夠用動態(tài)分配能讓集群整體利用率上去不少。什么場景不適合開如果你的任務(wù)是分鐘級甚至秒級的短任務(wù)那動態(tài)分配的收益就很小。因為每個任務(wù)的執(zhí)行時間本身就不長動態(tài)申請資源也要花時間申請過程中任務(wù)可能已經(jīng)跑完了大半這反而拖慢了整體進度。還有一種情況是任務(wù)本身對穩(wěn)定性要求極高比如核心鏈路的準實時計算這種任務(wù)更推薦固定資源池保證資源隨時可用而不是和別的作業(yè)搶資源。如果決定開啟動態(tài)分配有幾個參數(shù)值得注意。一個是執(zhí)行單元空閑回收的超時時間默認值通常偏保守適合長任務(wù)如果你跑的是半小時以內(nèi)的短任務(wù)建議把回收時間調(diào)短一些讓資源能更快流轉(zhuǎn)給其他作業(yè)。另一個是同時運行任務(wù)的并行度上限建議保留一個合理上限防止極端情況下資源被某個任務(wù)無限制地吞掉影響其他核心作業(yè)。2.3 數(shù)據(jù)本地性調(diào)度器最容易被忽視的一條規(guī)則調(diào)度器在給任務(wù)分配執(zhí)行單元的時候會盡量讓計算發(fā)生在數(shù)據(jù)所在的節(jié)點上。這樣任務(wù)可以直接讀取本機磁盤上的數(shù)據(jù)塊不用走網(wǎng)絡(luò)。數(shù)據(jù)本地性從好到差依次有四個級別進程內(nèi)本地、節(jié)點內(nèi)本地、機架內(nèi)本地和跨機架讀取。級別每降一級網(wǎng)絡(luò)傳輸?shù)拈_銷就上一個臺階。在實踐里最容易出問題的不是本地性本身而是本地性“退化”。什么是退化本來任務(wù)應(yīng)該在本節(jié)點執(zhí)行但由于本節(jié)點的執(zhí)行單元不夠、節(jié)點負載過高、或者節(jié)點出了故障調(diào)度器等了一段時間之后發(fā)現(xiàn)本地執(zhí)行不了就會退而求其次把任務(wù)調(diào)度到別的節(jié)點上去讀遠程數(shù)據(jù)。任務(wù)雖然跑起來了但代價是大量網(wǎng)絡(luò)IO。如何判斷本地性是否退化看執(zhí)行歷史里的本地性級別統(tǒng)計如果任務(wù)大量跑在“任意節(jié)點”級別而很少跑在“節(jié)點內(nèi)”級別那就要注意了。常見的修復(fù)方向有幾個檢查節(jié)點是否頻繁宕機或重啟、避免執(zhí)行單元數(shù)量被其他任務(wù)擠占、盡量讓任務(wù)隊列長度短一些。還有一個非常容易被忽略的原因數(shù)據(jù)文件放在外部存儲上每次讀取都要走網(wǎng)絡(luò)這時候本地性級別天然就不高優(yōu)化方向應(yīng)該是把熱數(shù)據(jù)預(yù)熱到本地緩存或者調(diào)整存儲掛載方式。3. 數(shù)據(jù)傾斜與Shuffle重分布默認分區(qū)方案往往就是瓶頸3.1 從長尾任務(wù)到傾斜判定三步完成數(shù)據(jù)傾斜是分布式計算框架里最經(jīng)典也最讓人頭疼的問題。它的本質(zhì)是數(shù)據(jù)在分區(qū)之間分布不均勻某個分區(qū)處理的數(shù)據(jù)量遠遠大于其他分區(qū)。判定數(shù)據(jù)傾斜我一般分三步。第一步看耗時分布。打開執(zhí)行歷史如果某個階段的大部分任務(wù)都在一分鐘內(nèi)跑完但有少量任務(wù)跑了十分鐘以上而且這類任務(wù)的耗時是正常任務(wù)的三五倍起步基本可以鎖定傾斜嫌疑。第二步看每個任務(wù)讀取的記錄數(shù)。不用精確到條數(shù)看大體的量級就行。正常情況下各個任務(wù)讀取的數(shù)據(jù)量應(yīng)該在差不多的量級如果個別任務(wù)讀取的數(shù)據(jù)量是其他任務(wù)的幾十倍那傾斜幾乎是可以確定的。第三步看GC和內(nèi)存表現(xiàn)。傾斜任務(wù)通常會因為處理數(shù)據(jù)量過大出現(xiàn)頻繁的垃圾回收甚至直接內(nèi)存溢出。GC日志里面如果看到長暫停頻繁出現(xiàn)而其他任務(wù)沒有這個現(xiàn)象那基本可以實錘了。數(shù)據(jù)傾斜最常見的高發(fā)場景有兩個。一個是寬表關(guān)聯(lián)關(guān)聯(lián)鍵集中在少數(shù)幾個熱門值上比如一個訂單系統(tǒng)里某個大客戶貢獻了全站一半以上的訂單量按客戶ID關(guān)聯(lián)時這個客戶對應(yīng)的分區(qū)就會被打爆。另一個是分組聚合比如按城市維度做統(tǒng)計一線城市的數(shù)據(jù)量可能是四五線城市的幾十倍導(dǎo)致聚合任務(wù)嚴重不均。3.2 加鹽和廣播兩種最常用的處理手段處理傾斜沒有萬能方案要根據(jù)操作類型選擇手段。我做得最多的兩組組合是聚合場景用“加鹽兩階段聚合”關(guān)聯(lián)場景用“小表廣播”。加鹽的思路其實很樸素既然某個鍵的數(shù)據(jù)太多那就把這個鍵拆散。第一階段在鍵上附加一個隨機后綴把原鍵拆成多個子鍵這樣原本一個分區(qū)承受的壓力就被分散到多個分區(qū)上第一階段在子鍵層面上做局部聚合然后第二階段去掉后綴再對原始鍵做一次最終聚合。這里有個細節(jié)加鹽的核心是隨機后綴的基數(shù)基數(shù)太小起不到拆分效果基數(shù)太大又會在第二階段聚合時引入額外開銷。比較穩(wěn)妥的做法是結(jié)合集群核心數(shù)來設(shè)一般取核心數(shù)的1到2倍不要讓第一階段產(chǎn)生太多臨時分區(qū)。還有一個限制條件需要特別留意如果業(yè)務(wù)要求精確結(jié)果而且計算里有去重、排序這類不能被兩階段拆解的操作那加鹽方案就不合適了只能退而求其次把熱點鍵單獨抽出來處理其余鍵走正常流程。廣播適用于關(guān)聯(lián)場景邏輯也很直白如果一張表很小比如幾MB到幾十MB那就把它廣播到每個執(zhí)行單元上去每個任務(wù)都在本地內(nèi)存里維護這張表的查找結(jié)構(gòu)關(guān)聯(lián)的時候直接查內(nèi)存完全不需要走Shuffle。這個方案對分布式框架優(yōu)化的收益非常大因為它直接從機制上消滅了關(guān)聯(lián)操作里的網(wǎng)絡(luò)傳輸。但廣播也有邊界條件。首先小表大小必須可控一般控制在幾十MB以內(nèi)太大的表廣播一次就要占滿執(zhí)行單元內(nèi)存。其次要確認小表的內(nèi)容相對穩(wěn)定如果關(guān)聯(lián)鍵經(jīng)常變化、小表頻繁更新廣播的成本就會升高。我在實際項目中見過有人把一張幾百MB的維表強行廣播結(jié)果每個執(zhí)行單元多吃了兩百多MB內(nèi)存整個集群的GC時間直線上升反而比Shuffle Join還慢。3.3 Shuffle相關(guān)配置排序、壓縮和緩沖區(qū)的取舍Shuffle是分布式計算框架中成本最高的環(huán)節(jié)之一因為它伴隨大量磁盤讀寫和網(wǎng)絡(luò)傳輸。圍繞Shuffle的優(yōu)化本質(zhì)上就是在四個開銷之間做平衡CPU壓縮開銷、磁盤IO開銷、網(wǎng)絡(luò)傳輸開銷和內(nèi)存緩沖開銷。先說分區(qū)數(shù)。Shuffle的分區(qū)數(shù)決定了下游讀取數(shù)據(jù)時的并行度也決定了生成文件的數(shù)量。一個常見的錯誤是Shuffle分區(qū)數(shù)設(shè)置得過大產(chǎn)生大量幾KB甚至幾百字節(jié)的小文件。這些小文件的元數(shù)據(jù)開銷比數(shù)據(jù)本身還大。比較穩(wěn)妥的做法是讓Shuffle后每個分區(qū)的數(shù)據(jù)量控制在50MB到200MB之間。如果一群小文件鋪面而來優(yōu)先考慮重分區(qū)合并或者調(diào)小分區(qū)數(shù)。再說壓縮。Shuffle數(shù)據(jù)寫入磁盤和網(wǎng)絡(luò)傳輸時默認會做壓縮。壓縮能減少磁盤占用和網(wǎng)絡(luò)傳輸量但代價是CPU開銷。如果你的集群CPU很緊張而磁盤和網(wǎng)絡(luò)相對寬裕可以考慮關(guān)閉壓縮或者換更輕量的壓縮算法反過來如果磁盤帶寬或網(wǎng)絡(luò)帶寬是瓶頸那就開更高壓縮比的算法。這個選擇沒有絕對標準完全取決于你的集群到底缺什么資源。我見過一個任務(wù)開啟高壓縮比后網(wǎng)絡(luò)傳輸量降了70%但CPU使用率漲了快一倍最終任務(wù)時間幾乎沒變。所以在壓縮這件事上一定要實測之后再決定。還有緩沖區(qū)。Shuffle讀寫過程中數(shù)據(jù)會經(jīng)過內(nèi)存緩沖區(qū)。緩沖區(qū)太小數(shù)據(jù)就要頻繁刷盤磁盤IO次數(shù)激增緩沖區(qū)太大會擠占執(zhí)行單元堆內(nèi)存誘發(fā)GC壓力。比較合理的做法是給Shuffle緩沖區(qū)一個適中的默認值然后重點觀察GC耗時和磁盤IO等待時間??吹紾C耗時占比過高就調(diào)小緩沖區(qū)或增加執(zhí)行單元內(nèi)存看到磁盤等待時間居高不下就適當(dāng)調(diào)大緩沖區(qū)。4. 序列化、緩存與算子鏈從傳輸和存儲里摳時間4.1 序列化器的選擇直接影響CPU和網(wǎng)絡(luò)占用分布式計算里數(shù)據(jù)經(jīng)常要在任務(wù)之間傳輸、在磁盤和內(nèi)存之間讀寫。每一次傳輸和落盤都要經(jīng)過序列化和反序列化。序列化器的好壞直接決定了兩件事一是傳輸數(shù)據(jù)體積的大小二是CPU消耗的多少。Java內(nèi)置的序列化機制雖然用起來方便但效果很差。它序列化出來的對象體積往往是緊湊二進制的3到10倍而且序列化過程本身CPU開銷也很大。對分布式計算框架來說默認的Java序列化幾乎算得上性能毒藥。換成高性能序列化框架之后效果通常立竿見影。具體做法一般就是注冊類、啟用相關(guān)配置、把序列化器指定為緊湊二進制類型。有幾點要注意第一類注冊后如果類的字段結(jié)構(gòu)發(fā)生變化舊數(shù)據(jù)可能反序列化失敗所以升級類的時候要謹慎第二不要對無意義的類型啟用序列化保持對接類的規(guī)模穩(wěn)定第三泛型類型需要注冊為對應(yīng)的具體類型否則框架會回退到性能很差的Java默認實現(xiàn)。有人會問序列化器優(yōu)化的收益能有多大我做一個實際的項目時曾把一個每天處理上億條數(shù)據(jù)的統(tǒng)計任務(wù)遷移到高性能序列化結(jié)果Shuffle數(shù)據(jù)量從800GB降到了190GB任務(wù)整體時間縮短了將近30%。這個提升完全不需要動業(yè)務(wù)邏輯只是換了一下序列化方式。4.2 緩存級別不是越強越好關(guān)鍵看數(shù)據(jù)復(fù)用度很多框架都支持對中間計算結(jié)果做緩存把數(shù)據(jù)駐留在內(nèi)存中后續(xù)階段直接復(fù)用。緩存是雙刃劍用得好少計算一次甚至少讀寫一輪磁盤用不好白占內(nèi)存不說還會頻繁觸發(fā)GC把其他正常計算拖下水。我先說什么時候該緩存。最典型的是迭代式計算任務(wù)比如多次迭代直到收斂的算法中間結(jié)果在每一輪迭代里都會被反復(fù)讀取這種情況下緩存收益極大。另一種場景是同一份數(shù)據(jù)集被多個下游任務(wù)復(fù)用比如一份基礎(chǔ)統(tǒng)計數(shù)據(jù)被三個報表任務(wù)共同使用那這份數(shù)據(jù)緩存一次三個任務(wù)都能受益。什么時候不該緩存數(shù)據(jù)只被計算一次、后續(xù)再也不會被使用的場景緩存純屬浪費。很多新手犯的毛病是不分青紅皂白把所有中間結(jié)果都標記成緩存結(jié)果緩存堆積執(zhí)行單元內(nèi)存被塞滿框架頻繁把緩存溢寫到磁盤任務(wù)到最后不比原來快反而多了大量磁盤IO和GC停頓。緩存級別的選擇也很有講究。純內(nèi)存緩存訪問最快但有一定丟失風(fēng)險執(zhí)行單元崩潰后緩存數(shù)據(jù)需要重新計算內(nèi)存加磁盤備用的方式穩(wěn)妥一些但讀取時可能涉及到磁盤IO。我對緩存級別的建議是默認優(yōu)先純內(nèi)存追求穩(wěn)定性再考慮磁盤備份版本如果有多個執(zhí)行單元要共享大體積緩存直接不緩存或者讓它按需重復(fù)計算因為大體積緩存會占滿執(zhí)行單元大部分內(nèi)存空間拖垮整體并發(fā)能力。4.3 算子鏈與執(zhí)行計劃裁剪盡量少制造寬依賴分布式計算框架在執(zhí)行任務(wù)前會把用戶寫的一系列操作解析成一個計算圖。這個計算圖里有一條非常關(guān)鍵的判斷標準相鄰算子之間是窄依賴還是寬依賴。窄依賴指的是每個父分區(qū)只對應(yīng)一個子分區(qū)這種依賴可以在同一個執(zhí)行單元內(nèi)部直接串聯(lián)不需要移動數(shù)據(jù)。寬依賴指的是一個父分區(qū)被多個子分區(qū)引用或者子分區(qū)需要從多個父分區(qū)拉數(shù)據(jù)這種依賴會引入Shuffle也就是重新分區(qū)和網(wǎng)絡(luò)傳輸。寬依賴的代價比窄依賴高出幾個數(shù)量級。所以優(yōu)化計算圖的核心思路就是盡可能減少寬依賴同時讓窄依賴算子盡量合并執(zhí)行。舉一個非常典型的例子。統(tǒng)計某張用戶表里最近七天內(nèi)活躍用戶的總量有人會把所有需要的數(shù)據(jù)全部讀出來然后做一次全量過濾再進行嚴格關(guān)聯(lián)操作最后聚合。但更合理的順序是先做過濾再做關(guān)聯(lián)最后聚合。過濾這一步能極大減少后面節(jié)點的數(shù)據(jù)量。雖然這個順序看起來就是代碼里幾個操作的前后挪動但實際執(zhí)行計劃的差別非常大。過濾提前Shuffle的數(shù)據(jù)量可能減少一個數(shù)量級任務(wù)耗時也會成倍下降。另一個常見優(yōu)化是把小數(shù)據(jù)集的多種處理合并到一起減少中間結(jié)果的落盤次數(shù)。比如對同一個維度表做多次轉(zhuǎn)換這些操作如果在同一個執(zhí)行階段內(nèi)完成就能避免多輪讀寫。暗含的一個原則是對數(shù)據(jù)流的每一步操作都要問一句“這步操作是否讓數(shù)據(jù)量變大了還是變小了”。盡量讓數(shù)據(jù)量大的計算往后排讓過濾、裁剪、字段精簡這些縮小數(shù)據(jù)量的操作盡可能前置。5. 用監(jiān)控和復(fù)盤代替直覺一次長尾任務(wù)的完整定位記錄5.1 必看的監(jiān)控指標清單調(diào)優(yōu)如果沒有數(shù)據(jù)支撐就和閉著眼睛開車差不多。做分布式計算框架優(yōu)化至少要看這些指標我把它們整理成了我日常工作里必備的檢查清單指標維度具體指標正常表現(xiàn)異常信號作業(yè)總體總運行時長、等待調(diào)度時長等待時長占比不超過總時長10%長時間處于等待資源狀態(tài)階段耗時每個階段的耗時分布各任務(wù)耗時差距在3倍以內(nèi)長尾明顯個別任務(wù)遠超中位數(shù)計算資源執(zhí)行單元數(shù)量、CPU使用率CPU使用率整體平穩(wěn)大量執(zhí)行單元空閑或長時間滿載內(nèi)存GCGC次數(shù)、GC時長、堆內(nèi)存占用GC時間占比低于5%GC時間占比高老年代頻繁回收ShuffleShuffle寫數(shù)據(jù)量、讀數(shù)據(jù)量、文件數(shù)數(shù)據(jù)量符合預(yù)期且波動不大某個階段讀寫量異常高小文件數(shù)量激增數(shù)據(jù)分布輸入數(shù)據(jù)量、分區(qū)大小分布各分區(qū)數(shù)據(jù)量大致均勻少量分區(qū)數(shù)據(jù)量遠超均值這套指標配合框架自帶的執(zhí)行歷史頁面來看效率非常高。執(zhí)行歷史頁面能看到每個階段的耗時、每條任務(wù)讀取的數(shù)據(jù)量、GC時間、Shuffle大小等信息基本覆蓋了上表的大部分指標。我拿到一個慢任務(wù)第一步就是打開頁面截圖然后按這張表的順序逐項排查。5.2 一次長尾調(diào)優(yōu)的完整排查鏈路有一次我負責(zé)的一套離線統(tǒng)計作業(yè)里有一條報表任務(wù)最近跑得越來越慢從之前的大概18分鐘漲到了43分鐘。我打開執(zhí)行歷史頁面第一眼看到的是階段列表里某個關(guān)聯(lián)階段占了總耗時的近八成。再看這個階段的詳細列表一共101個并行任務(wù)其中99個任務(wù)都在兩分鐘內(nèi)跑完了剩下兩個任務(wù)一個跑了29分鐘一個跑了32分鐘。這個長尾形態(tài)非常典型不是整個階段都慢而是極少數(shù)任務(wù)拖住了整個階段。我隨后查看了這兩個任務(wù)各自處理的數(shù)據(jù)量其中一個任務(wù)讀取的記錄數(shù)接近全階段均值的35倍。到這里數(shù)據(jù)傾斜的判定基本成立。至于傾斜的鍵是哪一種我看了一眼關(guān)聯(lián)條件這個階段是按訂單歸屬機構(gòu)的編號做的關(guān)聯(lián)報表里某個大機構(gòu)的數(shù)據(jù)量明顯遠高于其他小機構(gòu)。修復(fù)方案很簡單兩步走。第一步針對這個大機構(gòu)對應(yīng)的訂單數(shù)據(jù)和訂單明細之間不加鹽直接關(guān)聯(lián)第二步把第二步之后的維表數(shù)據(jù)量很小適合做廣播。同時把關(guān)聯(lián)階段原本的1000個分區(qū)降到200個減少小文件數(shù)量。改動之后重新跑任務(wù)總耗時從43分鐘降到了15分鐘關(guān)聯(lián)階段從30多分鐘縮短到不足6分鐘。在這個例子里我沒有改任何業(yè)務(wù)邏輯沒有增加一臺機器全靠定位和選區(qū)得當(dāng)。這件事給我一個很深的印象分布式框架優(yōu)化里很多問題本質(zhì)是數(shù)據(jù)分布問題不是資源問題。5.3 三個常見的負優(yōu)化案例負優(yōu)化就是我說的“越調(diào)越慢”相信不少人經(jīng)歷過。舉三個我實際遇到過的典型案例。第一個是把并行度盲目調(diào)大。有人覺得任務(wù)慢一定是并行度不夠于是一步到位調(diào)成原來的三倍。結(jié)果任務(wù)被切成了幾萬個微小的分區(qū)每個分區(qū)的數(shù)據(jù)量只有幾百條調(diào)度開銷和序列化開銷反而成了大頭最終任務(wù)時間翻倍。負優(yōu)化的原因很簡單并行度不是資源只是一個切分維度維度太細了反而增加管理成本。第二個是緩存所有中間結(jié)果。有人給計算鏈路里每一個Dataset都加了緩存標記結(jié)果是執(zhí)行單元內(nèi)存被巨量緩存占滿GC連續(xù)不斷任務(wù)還沒跑完一半就頻繁觸發(fā)老年代回收整個過程比不緩存還慢。負優(yōu)化的原因是把緩存當(dāng)成免費午餐沒有考慮緩存本身也是有成本和生命周期的。第三個是統(tǒng)一開啟壓縮和高壓縮比。壓縮確實能減少數(shù)據(jù)傳輸量但如果集群CPU已經(jīng)吃緊開高壓縮比只會讓計算速度更慢。壓縮、序列化、緩存這些配置項都存在明顯的資源置換關(guān)系最忌諱的就是“一把梭”地全局開啟。6. 工程化收尾把優(yōu)化變成可回歸、可驗證的過程6.1 建立基準任務(wù)集一次只改一個變量我做分布式計算框架優(yōu)化到了一定階段后最大的體會是優(yōu)化本身并不難難的是讓優(yōu)化結(jié)果可復(fù)現(xiàn)、可對比、可回歸。建議你在自己的環(huán)境里固化一組“基準任務(wù)集”。這組任務(wù)要能代表線上大部分作業(yè)的特征有計算密集型的有Shuffle密集型的有數(shù)據(jù)傾斜傾向的。每次調(diào)整配置之前先用這組基準任務(wù)跑一遍記錄每個任務(wù)的耗時、資源消耗、Shuffle數(shù)據(jù)量。改完配置之后再跑一遍直接對比變化。這里有一個非常重要的實驗紀律一次只改一個變量。并行度、序列化器、緩存級別、分區(qū)數(shù)這些參數(shù)之間常常有相互影響如果同時改兩個以上出問題了都不知道是誰的問題調(diào)優(yōu)變成了瞎猜。先改一個記錄結(jié)果再改下一個調(diào)優(yōu)才是可控的。另外要強調(diào)一點參數(shù)調(diào)優(yōu)的結(jié)果并不具備普適性。同一個并行度設(shè)置在一個集群上很好用在另一個集群上可能就很差。因為執(zhí)行單元的核心數(shù)、內(nèi)存大小、任務(wù)特征都不一樣。所以不要照抄別人的配置一定要基于自己的基準任務(wù)集得出自己的參數(shù)組合。6.2 把“數(shù)據(jù)健康”納入日常監(jiān)控最后再說一個容易被忽視的工程化習(xí)慣不僅監(jiān)控任務(wù)的運行狀態(tài)還要監(jiān)控輸入數(shù)據(jù)本身的健康度。數(shù)據(jù)健康度主要看三個維度分區(qū)大小是否均勻、文件數(shù)量是否合理、字段取值分布是否發(fā)生了劇烈變化。很多傾斜問題的根因都是上游數(shù)據(jù)分布發(fā)生了變化。比如某個關(guān)聯(lián)鍵的取值從過去占比5%突然漲到30%你昨天還跑得好好的任務(wù)今天就慢如蝸牛。這種變化靠參數(shù)調(diào)整是沒法根治的必須回溯到數(shù)據(jù)鏈路里找到數(shù)據(jù)分布突變的原因。所以我現(xiàn)在會為關(guān)鍵任務(wù)配套一個數(shù)據(jù)分布檢查在任務(wù)啟動前先對最耗時的關(guān)聯(lián)鍵做一次取樣統(tǒng)計。如果發(fā)現(xiàn)取值分布有明顯長尾就提前觸發(fā)傾斜優(yōu)化邏輯。這個做法看起來多花了一點時間但能避免大量任務(wù)跑到一半才發(fā)現(xiàn)傾斜、然后再白跑一遍的情況。做分布式計算框架優(yōu)化這么多年我最大的體會是通用配置永遠只存在于文檔里不存在于你的集群里。每次手癢想調(diào)參之前先回答三個問題慢在哪一層數(shù)據(jù)分布怎么樣這次改動能否被下一次任務(wù)驗證這三句話幫我少走了很多彎路也分享給你。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷爱综合| 啪啪色激情五月天| 婷婷久久网| 婷婷丁香成人五月天| 激情六月婷婷| 伊人干练久| 亚洲激情| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 开心五月激情网| 天天久久婷婷| 国产成人网址| 97色片| 五月天色导航婷婷资源婷婷| www一起操在线观看| 99思思| 午夜无码精品色综合久久| 亚洲午夜一区二区| 蜜臀综合久草| 国产做爰视频免费播放| 五月婷婷AV| 久久欧洲综合网| 九九人人自拍| 综合网色综合| 激情涩播| 少妇性按摩无码中文A片| 人妻操逼视频| 色婷婷www| 99热只有精品综合| 激情婷婷丁香五月天| 亚洲愉拍99热成人精品| 激情五月久久| 亚洲综合激情五月久久| 免费AV播放| 操日挥操日日| 五月婷婷欧美激情| 丁香六月激情网C0W| 色五月超碰| 黄色热99| 五月婷婷综合激情小说| 国产五月视频| 2025神马午夜福利| 狠狠五月婷婷| 色九九中文字幕| 99在线观看| www.五月天色色.com| 综合热无码| 丁香五月综合激情性爱| 婷婷丁香成人五月天| 大香蕉五月婷婷丁香| 亚洲精品成人| 伦乱天堂| 五月婷亚洲精品AV天堂| 久久香蕉网| 五月天激情久久| 亚洲激情四射| 婷婷五月天堂| 婷婷亚洲影院| 综合网亚洲| 天天做天天爱天天玩| 精品51XX| 欧美狠狠色| 婷婷五月综合啪| 久久精品小视频| 久久网站免费亚洲| 五月丁香人人婷婷在线观看| 色五月首页| 密桃激情五月天综合网| 丁香五月婷婷影院| 99久热| 婷婷精品综合| 日韩另类在线观看| 婷婷五月天色色| 日韩人妻无码精品| 五月天激情婷婷| 婷婷五月情| 国产成人+综合亚洲+天堂| 99热9999| 亚洲精品一区中文字幕乱码| 丁香五月婷婷免费视频| Www99热| 99玖玖在线视频| 97久久五月丁香婷婷| 国产永久一黄| 夜夜操夜夜爽| 99热在线精品观看| 91Chinese在线| 79精品视频在线观看,| 丁香婷婷啪啪| 婷婷天堂综合网| 婷婷五月娱乐在线| 99色婷婷视频| 丁香五月开心五月激情| 亚洲综合网 665566| 午夜激情婷婷| 中美日韩成人在线| 国产精品久久久爽爽爽麻豆色哟哟| 成人无码髙潮喷水A片| av国产精品| 国产全是老熟女太爽了| 亚洲AV另类| 丁香五月婷婷色情综合| 色狠狠色噜噜噜a天堂一区| 丁香五月日本| 日本精品人妻无码77777| 99精品偷自拍| 国产97色在线| 丁香婷婷五月基地| 久久9视频| 色色欧美色色色| 黄色99热| 久久只这里有精品| 日本va欧美va国产激情| 色色综合院| 在线成人网站| 激情综合激情综合| 日本一级黄色片。| 丁香五月天无码AV| 五月天激情小说| 天天日夜夜拍| 九九热婷婷| 五月丁香综合网色欲| 俺去也在线www色官网| 天天激情欧美美女| 色婷婷五月综合激情中文字幕| 偷拍九九五月丁香婷婷| 色区域网站视频| 六月激情网| 久99热| 变态另类色图| 五月开心深深爱激情综合| 99热在线观看| 久久免费操| 精品亚洲国产成人A片在线鸭王| 果冻传媒A片一二三区| 香蕉久久六月| 激情五月综合婷婷| 91九色无码内射| www.sd-xiangsu.cpm| 丁香婷婷视频| 亚洲天堂AV综合网| 天天肏天天爽夜夜爽| 欧美日综合| 99久久婷婷国产综合亚洲| 91精品久久久久久| 五月婷婷啪啪啪| 亚洲成人丁香花| 久久五月综合| 天天日,天天插| 久久全色| 天天日天天摸| 爆乳熟女一区二区三区爆乳| 狠狠干夜夜干| 第五婷婷伊人丁香| 日韩精品一区二区亚洲AV观看 | 国内一级精品| 色五月超碰| 色综合婷婷99| 人妻久久久久久久 | 免费黄色片子| 九九热这里只有精品5| 久久99大全| 97涩婷婷婷婷基地| 成人电影丁香六月天| 亚洲欧洲另类| 久久草婷婷丁香网站| 色九月婷婷| 日本美女上人| 九九精品婷| 婷婷五月丁香五月天| 五月天综合婷婷| 人人操人人看97干| 色婷婷五月在线| 超碰99热精品| 99这里只有| 亚洲另类婷婷综合| 色婷婷综合网站| 天天日天天做天天舔| 碰碰91| 久久精品9| 91色五月| 六月丁香婷婷视频综合在线观看| 日韩一级片| 五月天激情网址| 婷婷婷久久久| 婷婷第六色| 丁香婷婷情色五月天| 国产综合丁香五月天| 国产五月天欧美色| 级情九色| 色欲AVV| 第四色首页| Caoub青青超碰 | 人人摸人人澡人人| 狠狠色狠狠干| 91九九九九| 99re这里有精品手机在线| 中文字幕婷婷9月天| 色欲久久99精品久久久久久| 婷婷五月丁香91| 超碰大香蕉网| www九九免费视频| 深爱激情69热| 熟女色专区| 欧美精品XXXXBBBB| 另类综合色| 色综合婷婷| 五月丁香狠狠爱| 九六五月天婷婷| 九97免费视频| 色情婷婷| 少妇人妻人伦A片| 日本在线视频播放91| 欧美色色色色色| 精品福利911| 婷婷五月综合色小姐小说| 五月天偷拍| 五月丁香久久精品在线观看| 久久婷婷大香蕉| 69久久99精品久久久久婷婷| 玖操97| 九九性爱网| 91日日日| 婷婷五月精品中文字幕| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 欧美黄色一级录像| 成人av在线电影| 精品国产va久久久久久久| 色涩视频久久| 国产FREESEXVIDEOS性中国| 婷婷综合五月天亚洲综合| 久婷婷| 夜色五月天| 色综合久久中文| 丁香五月狠狠综合欧美| 天天日天天添| 91精品综合久久久久久五月天| 激情久久丁香| 色婷婷狠狠18| 色色色国产| 狠狠色中色| 天天天干夜夜夜操| 在线成人网站| 亚洲AV网站在线观看| 激情久久综合网| 亚州精品色情无码A片| 国产首页在线| 万月丁香狠狠爱| 91超级碰碰碰| 激情九月婷婷| 色色五月天婷婷| 丁香婷婷91在线观看视频| 日日操,夜夜爽| 九九Av| 日韩av网站在线观看| 99在线精品免费视频| 激情爱爱网站超大免费| 久热婷婷在线视频| 97操碰在线97| 色色影院黄大片| 久久久国产精品黄毛片| 婷婷五月天综合亚洲| 丁香五月激情啪啪| 99热这里只| 99热播放| 亚洲色频| 无码日本精品XXXXXXXXX | 久久久com| 激情婷婷丁香五月天| 婷婷久久色| 婷婷五月天美女视频| 五月情四婷婷| 米奇影视资源777狠狠色婷婷五月天激情网| 丁香啪啪| 天天 日综合| 日本久久性| 人人操 色| 亚洲黄色av网站| 日噜噜色| 五月色色色| www.99在线| 日韩在线视频中文字幕| 日木狠狠干| 亚洲激情丁香五月天色| 婷婷丁香色情| 999激情视频| 色欲久久久久久综合网综合网| 欧美性丁香色色五月天干干| 六月激情婷婷| 婷婷五月综激情| www.射伊蕉婷婷| 97干欧美| 五月婷婷久久内射| 九九亚洲视频| 日韩影院三级| 玖玖资源在线视频| 久久六月天| 久久久久久久97| 色射7856五月天激情四射| 曰韩五月丁香色婷婷无码| 99热精品在线| 国产69久久久欧美黑人A片| 婷婷五月天电影网| 麻豆AV一区二区三区| 婷婷综合| 婷婷色五月激情| 丁香五月婷久久| 婷婷九月综合| 色五月激情| 国产成人av在线播放| 色婷婷日本| 婷婷五月综合体验看| 色婷婷狠狠| 另类小说激情五月天| 五月天开心色情网| 激情五月天小说视频| 日本激情五月| 久久久天天啊| 99热老司机| 九九久久综合| 精品夜夜澡人妻无码AV| 99色在线观看视频者| 激情婷婷激情在线不卡| 男人視頻站| www91在线| 婷婷九月亚洲| 五月天天丁香婷婷在线中| 999热在线视频| 六月激情婷婷| 丁香五月大片| 五月婷婷综合丁香视频| 天天爽人人综合免费7799| 大香蕉综合网| 天天射影院| 亚洲欧美综合7777色亭亭| 丁香五月激情啪啪综合| 99热在线资源| 婷婷五月丁香综合激情小说| 天天橾夜夜爽| 夜色综合网| 99精品久久| 久久伊人五月天| 久久久国产精品黄毛片| www.五月丁香| 亚洲AV激情五月综合网| 开心五月网 | 久久视频婷婷视频| 久婷婷久草| 99国产这里只有精品| 五月天天天天天天天天天天天天天天天婷婷婷| 热99在线| a毛片二逼wwwwwwwwww| 狠狠色中色| 亚洲久久天堂| 色天堂在线| 婷婷六月丁香激情| 美国天天日天天操| 我爱大香蕉| 大地9中文在线观看免费高清| 五月天久久色| 五月婷婷黄色| 五月天激情啪啪| 99丁香五月婷| 狠狠插.com| 日韩超碰在线| 人人人人人人人草| 天天肏夜夜肏| 小色小蛇伊人婷婷色香五月| 五月婷婷视频ab| 久久综合影院| 久久精品一区二区三区四区| 激情爱爱网站| 国产精品久久7777777精品无码| 亚洲婷婷五月天| wwwss在线观看| 五月综合激情图片| 99这里有精品免费| 国产综合色婷婷精品久久| 嫩BBB搡BBBB榛BBBB| 五月丁香综合影院| 5月丁香六月婷婷| 啊v视频在线观看| 色综合激情图区| 欧美性爱五月天| 天天爽夜夜爽天天爽夜夜爽| 八戒青柠影视剧在线观看| 亚洲一级 片内射网站在线观看| www.99在线| www.99视频| 99久热| 久婷婷五月天影院| 色婷婷小说| 色人久久| 九九九九毛片| 色婷久九| 99精品超在线播放| 亚洲情a| 99re6久热只有精品6在线直播| 亚洲无AV在线中文字幕| 色综合色色| 色偷偷五月天| 碰人人97| 伊人午夜综合色啪| 成人做爰A片免费看视频| 色五月婷婷操逼| 在线可以看的av网址| 能看的AV| 五月香蕉综合| 99九九精品| 五月天天堂久久| 欧美丁香六月激情视频| 成人做爰高潮A片免费视频| 久久性视频| 激情五月婷黄版| 另类国产欧美视频| 99热在线这里| 丁香六月成人网| 五月丁香AV在线| 在线看的免费网站| 深爱五月天 开心网| 狠狠色噜噜狠狠狠狠综合| 人人综合久| 丁香五月婷婷五月天| 成人精品免费在线观看| 色播婷婷五月天| 色情综合网| 丁香九月综合| 91九九| 美女天天艹人人爽| 五月天婷婷久久| 秋霞黄色一级久久| 97色色网| 五月婷婷之激情五月| 五月天婷婷激情| 婷婷开心深爱五月天| 另类图片天天影视在线观看| 综合色播| 激情综合五月| 五月丁香久久呀| 一区二区成人电影免费播放| www.成人婷婷综合| 丁香五月婷婷99| 五月婷婷欧美激情| 十区AV| 色综合天堂| 999精品乱码77777| 国产免费一区二区三区三州老师F1F1.CC| 久久免费试看120秒| 色五月成人| 久久精品五月天| 成人丁香五月| 99在线免费视| 岛国AAAV| 五月婷婷五月| 第四色激情网| 丁香五月综合| 凹凸操Av| 庭庭久久内射| 偷偷与邻居做爰完整视频| 激情黄色小说五月天| 日韩黄在免| 婷婷六月啪啪| 五月丁香手机在线| 久操香蕉| 九九九热精品| 五月色欧洲| 婷婷丁香大香蕉| 天天射影院| 色色丁香| 丁香六月婷婷操逼网| 99久久玖玖| 五月激情婷婷综合| 97高清国语自产拍| 婷婷婷婷色| 精品成人在线观看| 成人国产欧美大片一区| 色丁香五月婷婷| 任你爽免费视频| 五月天久久久| 天天日天天草| 亚洲第一色色色| 欧在线一区| 97人人干人人操| 激情综合五月激情17| 成人美女网| 第四色婷婷五月| 懂色av粉嫩AV蜜臀AV| 色婷视频| 亚洲人人96@| AⅤ在线播放网| 欧美在线视频99| 国产xxxxx在线观看| 日韩丁香涩| 日本婷婷色日| 综合狠狠五月婷婷| 97人人操在线| 色五月色情| 天天干天天日天天操| 五月丁香伊人网| 九九热av| 婷婷丁香色情| 九九人人操| 99综合入口| 久久五月丁香| 久久色五月| 国产乱码久久| 五月丁香激情怕怕| 日本天堂网站99| 成人片在线播放| 噜噜网免费视频| 99热6这里之有精品| 美欧成人视频| 国产欧美熟妇另类久久久| 爽天天天天天天天| 第四色26uuu| 久久综合九九| 久久香蕉婷婷| 六月色 亚洲| 国内外色色色色色成人视频| 激情婷婷六月天| 九九热在线观看视频网站| 丁香激情网| 丁香 婷婷 亚洲 熟女| 六月久久婷婷| 五月天色欧美| av网址在线播放| 久久精品视频99| 开心激情网五月天| 五月天婷婷在线播放免费| 亚州精品色情在线观看| 激情综合久久| 丁香色六月婷婷| 青青久久大香蕉| 嫩草视频| 九月色婷婷综合亚洲| 99国产精品久久久久久久久久久 | 丁香五月综合狠狠| 超碰在线观看三级片| 婷婷色导航| 狠狠香蕉| 午夜色婷婷| www.久久综合| 啪啪99| 五月婷婷激情| 婷婷五月天综合AV| 丁香五月中文字幕色播| 操逼棍操逼| 五月婷婷无码专区| 五月丁花色综合网| site:ornaments52.com| 婷婷成人丁香色情基地30 | 久久怡红院| 久久久久网站| 激情综合五月天| 免费看成人747474九号视频在线观看| 欧美色五月| 丁香五月婷婷AV在线| 九九99一区| 激情综合色播| 五月婷在线观看| 五月婷婷五月丁香| 综合伊人久久| 五月丁香大香蕉| 丁香五月天激情视频| 伊人超碰| 色五月综合| 激情小说五月天| 国精产品一区一区三区免费视频| 色色无码| 婷婷综合仓库中文| 五月天激情黄色网址| 影音先锋91男人资源在线播放| 婷婷色六月| 婷婷五月激情五月丁香五月| 色婷婷色情| 玖玖国产视频一区| 亚洲人人96@| 丁香五月婷婷88在线| 五月婷婷狠狠干| 丁香婷婷色| 久婷久婷| 91狠狠色丁香婷婷综合久久| 日逼影音先锋男人AV资源站| 另类亚洲电影| 久激情网| 综合热无码| 这里只有九九精品| 新激情五月天天在线网| 深爱激情五月网| 亚洲精品一区无码A片| 婷婷欠久少妇| 视频1区2区| 婷婷视频网| 色国产五月| 涩涩涩.com| 九月婷婷色色| 极品少妇XXXX精品少妇偷拍| 久久爱综合| 色9999日韩国产| 99热精这里只有精品| 可以看的AV网站| 日韩一级片| 国产精品第一国产精品| 九九热在线99| 激情婷婷五月天伊人在线观看| 99久久免费精品| 激情丁香九九五月综合网| 久久九九免费视频| 在线sebiav精品视频| 婷婷五月综合在线| 天天成人综合视频| 97人人看| 九色99视频| AV大片在线观看| 亚洲AVDVD| 夜丁香综合| www.99热| 久久五月天激情| 97碰人人操| 丁香色播五月天| 九九99香蕉在线视频播放| 国外亚洲成AV人片在线观看| 综合色影院| 99热精这里只有精品| 丁香婷婷五月六月久久| 91九色白丝| 久久综合影院| 97五月天婷婷| 91狠狠综合久久| 久久 无毛。| 69五月天视频| 99久久6| 91性人人| 婷婷综合网站| 国产精品VIDEOSSEX久久发布| 大天天伊人| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 丁香五月婷在线观看| 五月天成人综合| 光棍影院日韩精品| 思99热精品久久只有精品| 亚洲中文av| 婷婷五月激情五月丁香五月| 艹| 天天干天天干天天干| 欧美日韩日韩成人| 久久久久人妻精选| 97日韩无套内| 热无码A∨| 九九伊人网| 超碰国产在线观看| 色婷婷a三区麻| 99热免费| 色色色视频免费无码| www.五月婷婷| 激情五月综合第一页| 婷婷五月天啪啪| 亚洲乱码日产精品BD| 热九九精品| 国产精品美女| 久久激情五月网| 国产人妻人伦精品一区二区| 久9热| 超碰人人超碰| 九九热99免费视频| 丁香婷婷色情| 色一情一乱一乱一区9| 丁香五月成人论坛| 99精品成人无码A片观看金桔| 欧美在线干| 97人人干人人操| 久久性刺激| 99爱在线视频| 五月激情综合性爱| 婷婷狠狠操| 高清a片基地| 天天插天天干天天舔| 欧美成人猛片AAAAAAA| 99操逼| 日日爽日日| 激情五月天色网站| 99热这里只有精品在线观看| 欧美成人Va| 天天爽天天操| 五月婷婷干| 欧美性色A片免费免费观看的| 深爱五月激情综合| 色婷婷成人做爰A片免费看网站| 激情深愛五月視頻| 日本欧美成人片AAAA | 丁香五月网| 亚洲精品在线视频| 91 九色 熟女| 黑人糟蹋人妻HD中文字幕| 丁香五月婷婷色五月| 大战熟女丰满人妻AV| 丁香欧美| 久久月天堂| 五月婷亚洲精品| 丁香六月欧美| 九九亚洲综合| 婷婷丁香在线| 风流少妇A片一区二区蜜桃| 99re思思精品在线观看| 操操熟女| 99热综合| 五月丁香六月婷婷不卡免费无码| 久久久久9久无码视频| 综合图片色色| 五月婷婷六月丁香免费| 久久精品国产AV一区二区三区 | 北条麻妃伊人 | 国产激情综合五月久久| 秋霞A V毛片| 五月天丁香啪啪综合| 无码免费人妻A片AAA毛片西瓜 | 思思99热| 狠狠夜夜五月丁香| 97在线天堂| 五月天激情网图片| 激情的五月婷婷蜜桃| 七月婷婷色香综合网| 婷婷在线激情| 免费99情趣网视频| 成人在线视频男人的天堂4399| 中文字幕综合网| 欧美丁香六月激情视频| 久草五月天| 天天综合网站| 综合五月天| 久久亚洲网| 嫩草免费视频| 天天色综网| 爱草视频在线观看| 日韩在线观看亚洲| 国产精产国品一二三在观看| 综合伊人久久| 97亚洲色 torrent magnet| 人妻久久久久久| 久久 天天| 亚洲色情久久| 久热在线观看视频9| 婷婷五月六月丁香| 亚洲色优| 99热在线中文字幕| 婷婷视频网| 久久婷婷桃花五月天| 99这里有精品| 五月花婷婷| 婷婷五月天777| 99色| 久久久av久av久片一区二区| 激情av| 激情五月天在线视频| 欧美婷婷六月丁香综合色连续高潮抽搐| 99re久热| 涩五月婷婷| 免费亚洲婷婷五月| 婷婷五月天第四色| 丁香色情五月天| 色私五月婷婷| 久久久久久9热不雅视频| 五月婷婷色五月| 天天综合久久| 日韩精品二三区| 这里只有精品视频国产| 色婷婷久久综| 丰满少妇猛烈A片免费看观看| 日本久久人| 五月婷婷开心综合| 日本少妇AA一级特黄大片| 婷婷 伊人 久久| 99爱在线观看视频| 色综合五月婷婷狠狠干| 婷婷开心深爱五月天| 日日操夜夜操无码免费| 天天综合色99| 激情影院69| 思思热精品在线| 999热在线视频| 五月激情婷婷开心| 色五月激情五月丁香五月婷婷啪啪综合 | www久久久| 99re8这里只有精品99re8热视频| 五月激情婷婷在线| 日日夜夜爽| 五月丁香伊人网| 天天干,噜噜色,狠狠色| WWW,色五月| 色综合婷婷| 丁香花五月天激情| 九热...av| 丁香五月天之婷婷影院| 日韩精品VIP| 夜夜操激情| 婷婷的五月天另类视频| 激情五月色综合国产精品| 69精品人人人人| 美女亚洲五月丁香| 99精品久久久久久久婷婷| 亚洲网在线观看| 久久视频九九视频| 久热精品免费视频4| 特级片神马电影| 熟惀91九色在线| 99热精国产这里只有精品| 成人中文网| 天天草天天日| 色婷婷狠狠久久综合五月| 激情九九综合网| 五月刺激丁香月综合| www.99成人视频| 五月天丁香欧美激情| 天天狠狠夜夜狠狠2023| 五月丁香激情综合网官网| 久久视频这里有精品99| 六月婷基地| 第五色色色婷婷| 91大神在线免费看视频全集男男一起操| 人人舔天天| 一区操| 天天日天天操心| 婷婷激情综合| 国产午夜精品AV一区二区麻豆| 久久婷婷五月综合色播| 日噜噜色| 97碰| 五月丁香综合啪啪啪啪啪| 午夜精品久久久久久久爽| 婷婷五月色網站| 久久婷婷久久| 欧洲第一无人区观看| 色色欧美色色| 99草在线免费观看视频| 色婷婷五月天成人网| 伦乱天堂| 99啪啪视频| 婷婷五月丁香香蕉| 欧美另类五月激情| 一本到不卡高清DVD| 天天天天干| 婷婷五月丁香啪啪| 熟女91九色| 五月婷婷色播| 狠狠干综合网| 欧美日韩99| 婷婷在线五月综合| 丁香婷婷色色| 欧美综合激情五月丁香| 五月婷综合性中心| 99.N在线视频| 丁香五月婷婷基地| 国产99久| 六月色色综合| 国产97色在线 | 日韩| 香蕉久久国产AV一区二区| 玖玖热视频| 一夜福利不卡| 光棍影院日韩精品| 国产人妻777人伦精品HD| 新99色色色色色色| 久久久久9久无码视频| 97人妻碰碰中文无码久热丝袜| 热的无码综合视频| 久色网址| 五月婷婷丁香综合,亚洲天堂| 丁香五月天堂| 狠狠干五月天| 天天射天天射一道本日本社区| 热99精品视频五月| 99久操视频| 五月婷在线| 天天插天天插| 亚州AV超碰人人操| 色五月婷色彩免播放器| 91视频综合网| 日韩AC在线免费观看| 伊人91| 伊人五月成人| 六月婷婷日| 9热精品| 碰人人97| 99ree6| 久久久久久人妻| 五月婷婷中文字幕| 色一色综合| 午夜丁香| 色婷婷基地| 97色色综合| 色五月激情婷婷| 色五月丁香在线| 色色色99韩| 九九色精品| 综合狠狠干| 综合激情专区| 欧美色色日韩| 久草热久草在线视频| 亚洲第一第二网站| 99视频| 五月天天爽| 五月天激情久色| 亚洲开心激情网| 青青草a在线| 伊人春天av| 激情综合久久| 妇激情基地| 天天射美女| 成人短视频在线| 91碰碰视频| 狠狠情色| pom538精品视频| 色九九七七| 99免费在线视频| 天天色五月婷婷91久久久久久久| 亚洲超碰中文字幕| 激情综合九| 亚洲人成播放网站| 天天操天天插天天射| 丁香五月停停av| 五月综合激情网| 五月色亭丁香| 色婷婷亚洲在线观看| 色色丁香五月天社区| 日韩AV中文字幕在线| 日本天堂久久| 五月丁香网站| 精品导航在线x不卡| 99热99在线精品| 婷婷色中文| 九九99免费理论| 99热这里只有精品26| 激情婷婷内射| 日韩AAA| 日日操天天爽| 亭亭五月丁香五月天激情| 夜色综合网| 五月色婷| 亚洲国产精品SUV| 成 人片 黄 色 大 片| 97色五月婷婷在线| 天花AV无码| 欧美日本国产欧美日本韩国99| 久久98| 色婷婷伦理| 色婷婷精品| 丁香五月手机在线| 激情综合网激情五月天| 久99999热视频在线观看免费| 成人精品免费在线观看| 97色视频网| 99久久精品色老| 日本婷婷丁香五月| www五月天com| 九九色综合九九色| 黄色片久久| 色播五月综合网| 丁香午月AV中文字幕| 五月花丁香婷婷| 丁香五月中文字幕| 极品人妻VIDEOSSS人妻| 亚洲第一av| 欧美五月丁香在线| 婷婷五月天精品| 久久99热这里只有精品| 三级片AAA久久久AAA久久久AAA| 伊人婷婷福利网| 色色色婷| 99精品爱| 九九五月天| 无码91中文字幕| 婷婷综合视频| 99色色最新视频| 五月天婷婷AV| 欧美三级巜人妻互换| 精品久久婷婷| 中文无码精品一区二区三区| 综合99综合久久久久久久| 99国产精品久久久久久久久久久| 狠狠色九月| 五月天婷亚洲综合在线嫩草网| 99热亚洲精品| 爱射综合| 激情图片99| 激情五月天网页| www.99婷婷| 97久久精品视频| 丁香五月天激情婷婷丁香六月| 很很干天天干| 欧美性生交XXXXX无码小说| 91精品久| 99高级会所久久| 99热青青草| 青青草Avb在线| 五月丁色AV| 五月婷婷色综图片| 99re久热| 综合在线网| 啪啪操超碰| 色五月,com| 五月婷丁香花| 久草视频一,二三四| 日韩啪啪自拍| www.狠狠干| 日本丁香五月| 日韩一级A片黄色| 99精品小视频| 激情五月天久久| 色色啊| 九九视频这里只有精品| 99久久97久久欧美综合网| 国产精品久久7777777精品无码| 色五月涩涩婷婷| 久久丁香网| 99re在线视频精品,这里只有精品18,| 天天在线XXX| 欧美日韩精品人妻狠狠躁免费视频 | 婷婷黄色五月天在线视频| 99热这里只有精品3| 婷婷九月亚洲| 99精品无码| 婷婷激情五月天小说| 激情综合色五月丁香六月亚洲| www.狠狠| 九九AV在线| 庭庭久久内射| 成人永久免费视频在线观看| 99久久网站| 五月天丁香欧美激情| 丁香五月天天高清在线| 大香蕉AV电影在线| 人人操A| 色一色综合| www.十八禁不禁AV.com| 国产精品色色| 五月色情婷婷开心五月色情| 五月天婷婷成人网| 日本婷婷丁香五月| 久久人妻熟女一区二区| 99热思思在线观看| 色五月播五月| 九九热10| 国产欧美日韩综合精品一区二区| 亚洲综合视频一下| 五月婷婷影视| 激情五月www| 日韩成人综合| 久久色9| 久久婷婷五月丁香网| 婷婷久久亚洲| 激情六月婷婷| 天天爱天天爽| 26uuuavcom| 4399无码视频二区| 高清无码视频网址| 日韩 中文 欧美| 思思热视频在线观看| 婷婷激情五月天激情在线| 538在线精品| 国产欧美婷婷五月| WWW嗯嗯啊啊啊啊| 999影院成人在线影院| 麻豆精品| 99操视频| 色色丁香五月婷婷| 日韩精品一曲二曲三曲四曲五曲| 婷婷成年人免费视频| 婷婷五月综合久久中文字幕| 天天天天操| 五月丁六月婷| 99热很操老逼| 五月激情视频| 青青草护士中出内射-欧美电影在线天堂新版 | 五月天激情小说欧美激情| 最新AV在线观看| 婷婷97| 婷婷开心激情综合五月天| 操人精品| 久久婷婷五月天| 久久丁香五月婷婷| 六月色激情| 狠狠狠狠狠狠| 激情欧美丁香五月| 性爱AV天堂| 日本二级毛片二级毛片| 天天搞天天色综合| 久久久激情视频| 三级片AAA久久久AAA久久久AAA| 国产激情婷婷| 26uuu国产色| 九月av在线| 97碰在线视频| 久久色情综合免费网站| 日韩操逼大片| 国产91资源在线| 亭亭玉月丁香| 色综合五月在线| av在线中文| 超碰婷婷色| 国产操碰| 五月天婷婷在线播放免费| 色情婷婷| 欧美日韩成人综合9| 99久久极情精品一区| 丁香涩涩爱| 婷婷爱综合| 成人五月天丁香婷| 97伦乱| 超碰人妻在线| 激情99| 99热99干| 99色婷婷视频| 国产真实乱了老女人视频| 国产激情在线| 久久久精品人妻录| 丁香六月狠狠| 六月久久婷婷| 91人人爱| 精品国产AV色一区二区深夜久久| WWW.桔色成人.COM| 男人综合网| 六月丁香花婷婷| 先锋资源91| 婷婷五月欧美| 日本91在线播放| 99久久久免费| 思思99热| 五月婷婷之美女图片| 男人的天堂999| 91丨九色丨熟女丰满| 91久久久久久| 色色五月婷| 五月天播播中文字幕| 亚洲激情97五月天| 婷婷色五月激情| www.久久| 五月丁香婷婷综合| 日韩精品超碰在线观看| 久久婷婷综合色丁香| 天天揷综合网| 精品无码久久久久久久久| 久九色| 大香蕉99| 亚洲人成色A777777在线观看| 九九99一区| 夜夜撸天天日| 欧美综合在线五月天色婷婷| 26uuu91| 日韩激情人伦人| 婷婷五月六月丁香综合| 色99亚洲| 婷婷激情六月中文| 操逼棍操逼| 亚洲经典小视频| 激情色色色| 五月天婷婷操逼视频| 五月婷婷啪| 九九热在线亚洲免费视频| 亚洲AV综合在线观看| 色玖玖玖| 棕合影院色色| 国产AV不卡福利| 久综合九综合99| 五月四色激情| 六月婷欧美丁香综合| 激情影院69| 日韩AV在线电影| 久久日本wwww色| 久久久久久久久久久jjjj| www.婷婷五月.com| www.激情五月天.com| 五月天久久激情| 婷婷久久免费| 99亚洲视频| 婷婷黄色| 久久电影4399| 九月婷婷| 99极品视频| 蜜臀九九九九| 另类图片婷婷五月天| 五月天综合在线观看| 色五月丁香婷婷久草| 深爱激情五月婷婷| 欧美激情综合| 伊人综合色干| 五月丁香婷中文字幕| 激情开心五月天| www.婷婷五月天| 国产精品VA在线| 182tv992tv人之初午夜免费观看| 人人操插| 大婷婷色呦呦噜噜色呦呦噜噜| 日本黄色一级| 五月天久久婷婷婷| 色婷婷色99国产综合精品| 99热精品10| 青草青青草| 1级欧美日韩| 天天干天天干天天干天天干天天干天天干天天| 国产精品视频免费看| 99热99| 色综合色色色| 欧美久人人| 久久久久婷| 9久久精品视频| 天堂综合久| 久久婷婷网| 另类激情五月| 激情五月天色色网| 五月天亭亭俺也| 五月激情啪啪| 狠狠色色| 五月婷婷在线网站| 免费无码毛片一区二区A片| 思思w99| #NAME?| 婷婷五月天在线综合| 伊人9草在线观看| 伊人五月天婷婷| 99丝袜精品视频网站| 六月婷婷视频| 久久新| 激情小说在线视频| 五月丁香综合久久| 操操操97| 激情小说婷婷五月| 四月婷婷五月丁香| 伊人久久大香蕉网| www.99热日韩.com| 久久人妻少妇嫩草AV| 手机看片日日做夜夜| 丁香婷婷五月综合欧美另类| 五月丁香激情综合网| 激情综合在线播放| 五月天婷婷av| 色播丁香五月婷婷操:屄| 91丨九色丨大屁股| 蜜桃五月天色| 五月婷婷婷| 丁香婷婷五月色成人网站| 99噜噜噜在线播放| 五月停停大香蕉| 三级大香蕉网| 午夜婷婷久久 | 婷婷五月天成人网| www.五月天婷婷姐姐| 影音先锋91男人资源在线播放| 久久婷婷网| 就是色婷婷五月亚洲色| 亚洲偷| 亚洲色色五月| 激情综合九月| 五月www| 激情丁香五月AV| 色色吧综合| 天天狠狠色噜噜| 啪啪色区| 伊人在线视频| 99日韩网站| 丁香五月久久| 免费无码毛片一区二区A片| 亚洲精品大片| 婷婷欧美激情综合| 99啪视频在线观看| 99色综合网| 九九热手机在线视频| 成人五月丁香社区| 欧美性生交XXXXX无码小说|