欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

HDFS寫數(shù)據(jù)流程源碼解析:從DFSClient到DataNode的管道機(jī)制

HDFS寫數(shù)據(jù)流程源碼解析:從DFSClient到DataNode的管道機(jī)制 聊到 HDFS 的寫數(shù)據(jù)流程大多數(shù)人的第一反應(yīng)是這不就是面試常考的那條鏈路嗎客戶端先問 NameNode 要塊拿到一串 DataNode 列表然后按順序把數(shù)據(jù)丟過(guò)去最后一個(gè)節(jié)點(diǎn)寫完了往回 ACK……但真正到了生產(chǎn)環(huán)境你會(huì)發(fā)現(xiàn)這條鏈路遠(yuǎn)沒有八股文里說(shuō)的那么平順。你可能會(huì)遇到寫入突然卡住、塊副本數(shù)長(zhǎng)期少 1、集群明明有空間但寫文件卻報(bào)超時(shí)——這些現(xiàn)象的答案都藏在源碼里。最近我把 HDFS 寫路徑上的核心代碼重新過(guò)了一遍從 DFSClient 到 DataNode 的 BlockReceiver整理出了這篇更偏“為什么”的解讀。適合兩類人看一是正準(zhǔn)備深入大數(shù)據(jù)源碼的同學(xué)二是被線上寫入問題折磨過(guò)、想搞明白底層機(jī)制的同學(xué)。1. 寫數(shù)據(jù)流程全貌三大角色與一條流水線1.1 先把整體鏈路畫在腦子里讀源碼之前先看整體否則細(xì)節(jié)容易把人淹沒。HDFS 寫數(shù)據(jù)涉及三個(gè)角色客戶端負(fù)責(zé)提交數(shù)據(jù)和接收確認(rèn)NameNode 負(fù)責(zé)元數(shù)據(jù)、分配塊、登記管道信息DataNode 負(fù)責(zé)真正把數(shù)據(jù)落到磁盤。用生活化類比就是“快遞下單—倉(cāng)庫(kù)分配—分撥運(yùn)輸”三個(gè)環(huán)節(jié)環(huán)環(huán)相扣。更具體一點(diǎn)整條鏈路大致是這樣的客戶端調(diào)用 create 請(qǐng)求到 NameNodeNameNode 建立文件元數(shù)據(jù)和租約。客戶端攢了一批數(shù)據(jù)后向 NameNode 申請(qǐng)第一個(gè)塊以及一組副本節(jié)點(diǎn)??蛻舳伺c第一個(gè) DataNode 建立連接第一個(gè) DataNode 再連著第二個(gè)第二個(gè)再連著第三個(gè)形成一個(gè)管道??蛻舳税褦?shù)據(jù)切成 chunk、組裝成 packet沿管道逐級(jí)向下發(fā)送每個(gè)節(jié)點(diǎn)邊收邊落盤邊向下傳。最后一個(gè) DataNode 寫完一個(gè) packet 后逐級(jí)向上返回 ACK直到客戶端收到確認(rèn)??蛻舳耸盏酱_認(rèn)后繼續(xù)發(fā)下一個(gè) packet直到塊寫滿塊寫滿后再次向 NameNode 申請(qǐng)新塊循環(huán)往復(fù)直到整個(gè)文件寫完并關(guān)閉。這條鏈路最關(guān)鍵的不對(duì)稱點(diǎn)在于數(shù)據(jù)是鏈?zhǔn)絺鬏數(shù)腁CK 卻是反向?qū)訉邮栈氐摹?蛻舳税l(fā)的不是“三份廣播數(shù)據(jù)”而是“一份數(shù)據(jù)在管道里被接力復(fù)制”。這個(gè)設(shè)計(jì)和很多人直覺里想的完全不一樣但它是整個(gè) HDFS 吞吐能力的基石。1.2 為什么采用流水線而不是三份同時(shí)發(fā)理論上寫入三副本有兩種方案廣播方案客戶端同時(shí)向三個(gè) DataNode 發(fā)送數(shù)據(jù)每個(gè)節(jié)點(diǎn)各收一份。流水線方案客戶端只發(fā)給第一個(gè)節(jié)點(diǎn)第一個(gè)節(jié)點(diǎn)邊收邊傳給第二個(gè)第二個(gè)再傳給第三個(gè)。廣播方案看起來(lái)直接但有個(gè)致命問題客戶端出口帶寬變成了瓶頸。假設(shè)單客戶端出口帶寬是 1Gbps寫三副本時(shí)每份能分到的帶寬只有三分之一整體吞吐被壓到三分之一。而且副本數(shù)越往后擴(kuò)展這個(gè)問題越嚴(yán)重副本從 3 擴(kuò)到 5客戶端就要同時(shí)扛 5 個(gè)連接的寫流量。流水線方案的聰明之處在于客戶端永遠(yuǎn)只維護(hù)“一個(gè)連接”的寫帶寬下游節(jié)點(diǎn)之間的復(fù)制走的是集群內(nèi)部網(wǎng)絡(luò)。DataNode 之間的帶寬通常比客戶端到集群的帶寬更充足所以整體吞吐不受副本數(shù)線性拖累。你用公司文件服務(wù)器類比把同一份資料發(fā)給三個(gè)人挨個(gè)拷貝當(dāng)然比同時(shí)開三個(gè)窗口對(duì)拷要穩(wěn)得多尤其當(dāng)你本機(jī)的網(wǎng)卡才是瓶頸的時(shí)候。另外流水線方案天然支持異構(gòu)節(jié)點(diǎn)。如果管道里某個(gè)節(jié)點(diǎn)寫盤慢它只會(huì)暫緩自己這一段的傳遞不會(huì)像廣播方案那樣讓三個(gè)節(jié)點(diǎn)同時(shí)等一個(gè)慢客戶端。這就是架構(gòu)設(shè)計(jì)里典型的“以局部排隊(duì)換取整體吞吐”。1.3 理清寫流程里對(duì)應(yīng)的核心源碼類讀源碼最怕一頭扎進(jìn)某個(gè)類里出不來(lái)。按我個(gè)人的閱讀習(xí)慣我會(huì)先拉一張類與職責(zé)的清單再按調(diào)用順序去跟。源碼類所在組件核心職責(zé)DFSClient客戶端發(fā)起 create、addBlock、complete 等 RPC 請(qǐng)求是客戶端入口DFSOutputStream客戶端數(shù)據(jù)緩沖、按 chunk 切分、計(jì)算校驗(yàn)和、組裝 packetDataStreamer客戶端寫數(shù)據(jù)的核心線程負(fù)責(zé)申請(qǐng)塊、建立管道、發(fā)送數(shù)據(jù)、處理 ACKPacket客戶端一個(gè)傳輸單元封裝包含 header、數(shù)據(jù)體、校驗(yàn)信息BlockReceiverDataNode接收管道下發(fā)的數(shù)據(jù)執(zhí)行落盤、校驗(yàn)、向下游轉(zhuǎn)發(fā)DataNode 的 XceiverServerDataNode管理接收連接的線程池每個(gè)連接對(duì)應(yīng)一個(gè) BlockReceiver如果只挑一條主線來(lái)讀我建議從 DFSOutputStream 的 write 方法入手順著數(shù)據(jù)對(duì)象進(jìn)入 DataStreamer.run()再跟著 packet 走到 BlockReceiver。這條路走通之后基本就掌握了整個(gè)寫路徑的 80%。2. 寫前準(zhǔn)備從 create 到選中三個(gè) DataNode2.1 第一步拿到租約而不是直接寫很多人讀寫流程時(shí)習(xí)慣直接跳到“申請(qǐng)塊”但忽略了 create 階段有個(gè)容易被帶過(guò)的機(jī)制——租約Lease。為什么 HDFS 要搞租約因?yàn)樗辉试S兩個(gè)客戶端同時(shí)寫同一個(gè)文件。如果沒有租約兩個(gè)任務(wù)同時(shí)往一個(gè)文件寫數(shù)據(jù)會(huì)造成塊長(zhǎng)度不一致、文件內(nèi)容交叉錯(cuò)亂NameNode 根本沒法判斷誰(shuí)是“合法寫入方”。租約本質(zhì)上就是個(gè)寫鎖文件創(chuàng)建時(shí)客戶端會(huì)拿到一個(gè)持有者標(biāo)記相當(dāng)于在文檔協(xié)作工具里把文件“鎖定編輯”。源碼里租約相關(guān)的邏輯集中在 LeaseManager??蛻舳藢懭脒^(guò)程中會(huì)定期續(xù)約一旦租約超過(guò)硬限制仍未續(xù)約NameNode 就會(huì)認(rèn)為寫方已經(jīng)“失聯(lián)”從而觸發(fā)租約恢復(fù)流程把文件從“寫了一半”的狀態(tài)拉回一致狀態(tài)。這個(gè)機(jī)制在后面故障恢復(fù)章節(jié)還要細(xì)講這里先記住一個(gè)結(jié)論create 不只建文件還在確立“誰(shuí)能寫”的唯一身份。2.2 NameNode 分配塊時(shí)怎么挑節(jié)點(diǎn)客戶端申請(qǐng)塊時(shí)NameNode 會(huì)按機(jī)架感知策略選擇副本放置節(jié)點(diǎn)。默認(rèn)三副本時(shí)策略是第 1 個(gè)副本如果客戶端本身就在某個(gè) DataNode 上就選該節(jié)點(diǎn)實(shí)現(xiàn)本地寫否則隨機(jī)選一個(gè)節(jié)點(diǎn)。第 2 個(gè)副本放到與第 1 個(gè)副本不同機(jī)架的節(jié)點(diǎn)。第 3 個(gè)副本放到與第 2 個(gè)副本相同機(jī)架內(nèi)的另一節(jié)點(diǎn)。也就是說(shuō)最終形態(tài)是“兩個(gè)副本在同一個(gè)機(jī)架另一個(gè)副本跨機(jī)架”。這樣設(shè)計(jì)的核心是平衡可靠性與網(wǎng)絡(luò)開銷。如果三個(gè)副本放三個(gè)機(jī)架機(jī)架間帶寬消耗會(huì)明顯增大如果三個(gè)副本放同一個(gè)機(jī)架一個(gè)機(jī)架掉電就丟所有副本。兩兩一組跨機(jī)架既承受住機(jī)架級(jí)故障又控制了跨機(jī)架流量。順帶說(shuō)一個(gè)容易被誤解的點(diǎn)機(jī)架感知要生效必須配置好網(wǎng)絡(luò)拓?fù)淠_本。如果你沒配機(jī)架信息NameNode 會(huì)把所有節(jié)點(diǎn)當(dāng)作同一個(gè)機(jī)架副本放置策略退化成隨機(jī)打散可靠性和性能都會(huì)打折。線上集群如果發(fā)現(xiàn)寫放大異常先查這個(gè)配置。2.3 從“拿到節(jié)點(diǎn)”到“建立管道”之間還有一步登記客戶端向 NameNode 申請(qǐng)到塊和 DataNode 列表之后并不是直接拿著列表去連接。DataStreamer 會(huì)先通過(guò) RPC 向 NameNode 發(fā)起一次寫塊登記請(qǐng)求把“塊號(hào) 副本節(jié)點(diǎn)列表 管線信息”登記進(jìn) NameNode 的 blocksMap。這一步很容易被忽略但它的意義很實(shí)際NameNode 需要知道當(dāng)前正在寫的塊屬于哪個(gè)文件、由哪些節(jié)點(diǎn)承載。如果缺少這步登記寫入過(guò)程中客戶端讀文件時(shí)NameNode 可能返回“塊不存在”或者“副本位置不完整”DataNode 匯報(bào)塊狀態(tài)時(shí)NameNode 也會(huì)因?yàn)檎也坏綄?duì)應(yīng)塊而拒絕確認(rèn)。這也是為什么我們能看到寫了一半的塊狀態(tài)是 UNDER_CONSTRUCTION而不是 COMPLETED。它表示這個(gè)塊已經(jīng)分配、已經(jīng)有節(jié)點(diǎn)在寫了但還沒完成最終確認(rèn)。2.4 寫前參數(shù)與觀察手段兩個(gè)最基礎(chǔ)的參數(shù)必須清楚因?yàn)楹芏嗉赫{(diào)優(yōu)都從它們開始dfs.blocksize默認(rèn) 134217728 字節(jié)即 128MB。決定一個(gè)塊寫多大后切換新塊。dfs.replication默認(rèn) 3。決定每個(gè)塊有幾份副本。注意dfs.blocksize 調(diào)整只影響調(diào)整之后新創(chuàng)建的文件已存在文件不會(huì)因?yàn)閰?shù)變化而重新切塊。副本數(shù)也一樣降低 replication 只對(duì)后續(xù)新建塊生效存量塊需要額外觸發(fā)復(fù)制任務(wù)或等待后臺(tái)線程調(diào)整。想觀察這個(gè)階段是否正常最直接的辦法是打開客戶端 debug 日志或者直連 NameNode 的 RPC 日志看 addBlock 調(diào)用頻率。正常情況下客戶端寫一個(gè)大文件時(shí)addBlock 請(qǐng)求是“寫一塊、申請(qǐng)一塊”的節(jié)奏而不是開始時(shí)就全部申請(qǐng)完。3. 數(shù)據(jù)真正上路Packet 的制造、發(fā)送與 ACK3.1 數(shù)據(jù)如何被切成 chunk 與 packet走進(jìn) DFSOutputStream 的 write 方法之后你會(huì)看到一個(gè)非常工程化的細(xì)節(jié)用戶數(shù)據(jù)不是從用戶態(tài)直接進(jìn)入網(wǎng)絡(luò)而是先被切割成兩級(jí)小單元。第一級(jí)是 chunk。默認(rèn) chunkSize 是 512 字節(jié)每個(gè) chunk 后面附帶 4 字節(jié)的 CRC32 校驗(yàn)和兩者組成一個(gè)最小的“校驗(yàn)單元”。第二級(jí)是 packet。默認(rèn)大小是 64KB一個(gè) packet 里裝了若干個(gè) chunk 單元。也就是說(shuō)客戶端把一大段業(yè)務(wù)數(shù)據(jù)先按 512 字節(jié)切片每片做一次校驗(yàn)然后攢夠 64KB 封裝成一個(gè) packet 發(fā)往管道。為什么搞兩級(jí)而不直接以塊為單位做校驗(yàn)答案在故障定位粒度上。如果整塊 128MB 只在最后做一次校驗(yàn)一旦發(fā)現(xiàn)有壞數(shù)據(jù)你無(wú)法知道是哪里壞了只能整塊重傳或整塊丟棄代價(jià)極大。按 512 字節(jié)切片后任何一個(gè) chunk 校驗(yàn)失敗都能精確定位到具體位置恢復(fù)時(shí)只需重傳這一小片。而 packet 定在 64KB是為了平衡網(wǎng)絡(luò)傳輸效率與確認(rèn)延遲——包太多會(huì)增加 ACK 往返次數(shù)包太大會(huì)讓接收方緩沖壓力變大。3.2 DataStreamer 線程與兩個(gè)隊(duì)列的關(guān)系繼續(xù)深挖你會(huì)發(fā)現(xiàn) DFSOutputStream 內(nèi)部維護(hù)了兩個(gè)包隊(duì)列dataQueue存放已經(jīng)組裝好、等待發(fā)送的 packet。ackQueue存放已經(jīng)發(fā)送出去、正在等待管道確認(rèn)的 packet。DataStreamer 是一個(gè)獨(dú)立的后臺(tái)線程它不斷從 dataQueue 里取出 packet沿著管道發(fā)送給第一個(gè) DataNode然后將這個(gè) packet 放入 ackQueue。當(dāng)管道逐級(jí)返回 ACK 后DataStreamer 再?gòu)?ackQueue 中移除對(duì)應(yīng) packet 并確認(rèn)發(fā)送成功。為什么非要有一個(gè)單獨(dú)線程做這件事如果把網(wǎng)絡(luò)發(fā)送邏輯直接放在用戶 write 調(diào)用里一旦某個(gè) DataNode 響應(yīng)慢用戶線程就會(huì)阻塞在 write 上業(yè)務(wù)代碼被迫等下等網(wǎng)絡(luò)。單獨(dú)線程讓網(wǎng)絡(luò)發(fā)送異步化用戶 write 只要把數(shù)據(jù)復(fù)制進(jìn)緩沖區(qū)、組裝成 packet 就能返回真正落盤和確認(rèn)的節(jié)奏由后臺(tái)線程控制。這樣寫峰值到來(lái)時(shí)緩沖區(qū)能起到平滑作用不會(huì)因?yàn)閱未尉W(wǎng)絡(luò)抖動(dòng)把業(yè)務(wù)線程卡死。3.3 管道建立時(shí)的握手細(xì)節(jié)管道不是客戶端直接“把所有節(jié)點(diǎn)拉一個(gè)群”而是逐級(jí)建立的??蛻舳讼冗B接第一個(gè) DataNode第一個(gè) DataNode 接收到寫塊請(qǐng)求后會(huì)再向第二個(gè) DataNode 發(fā)起連接并傳遞握手信息第二個(gè)再向下連第三個(gè)。最終所有節(jié)點(diǎn)串成一條鏈。握手過(guò)程中傳遞的信息包括塊 ID、副本節(jié)點(diǎn)列表、客戶端 ID、管線 ID、存儲(chǔ)類型限制等。這些信息有幾個(gè)關(guān)鍵用途節(jié)點(diǎn)需要知道自己是第幾個(gè)副本節(jié)點(diǎn)需要知道完整的副本列表以便后續(xù)塊匯報(bào)管線 ID 用來(lái)區(qū)分不同客戶端建立的寫連接避免數(shù)據(jù)串線。如果握手階段任何一個(gè)下游節(jié)點(diǎn)連不上客戶端不會(huì)傻等。它會(huì)觸發(fā)管道重建邏輯把壞節(jié)點(diǎn)從列表里剔除要么用一個(gè)新節(jié)點(diǎn)補(bǔ)位要么直接把管道縮短然后重新協(xié)調(diào)整個(gè)握手流程。3.4 ACK 的機(jī)制先到者不算成功每個(gè) packet 都攜帶一個(gè)序號(hào)。DataNode 寫入一個(gè) packet 后必須等下游節(jié)點(diǎn)也確認(rèn)寫成功了才能向上游返回 ACK。換句話說(shuō)ACK 不是“我收到了”而是“我和我下游所有節(jié)點(diǎn)都寫成功了”。這個(gè)設(shè)計(jì)非常關(guān)鍵。對(duì)客戶端來(lái)說(shuō)只要收到某個(gè) packet 的 ACK就可以確信這個(gè) packet 已經(jīng)存在于所有副本節(jié)點(diǎn)上不需要再額外對(duì)賬。它把“多副本一致性確認(rèn)”從客戶端下沉到管道內(nèi)部讓確認(rèn)邏輯變得非常純粹。反過(guò)來(lái)想如果每個(gè) DataNode 寫成功就立即回 ACK客戶端以為所有副本都寫好了實(shí)際上數(shù)據(jù)可能只寫了一兩個(gè)節(jié)點(diǎn)一旦中間節(jié)點(diǎn)故障數(shù)據(jù)完整性就無(wú)從保證。所以 ACK 必須從管道尾部逐級(jí)向上匯聚這是 HDFS 寫不丟數(shù)據(jù)的底層保障之一。3.5 塊寫滿與多塊切換一個(gè)塊寫滿后最后一個(gè) packet 會(huì)打上 lastPacketInBlock 標(biāo)記。DataStreamer 發(fā)現(xiàn)這個(gè)標(biāo)記后不會(huì)急著馬上申請(qǐng)新塊而是先等當(dāng)前管道里所有舊 packet 都收到 ACK確保當(dāng)前塊的所有數(shù)據(jù)都已確認(rèn)落到所有副本節(jié)點(diǎn)上。之后客戶端向 NameNode 發(fā)起新塊申請(qǐng)NameNode 重新按機(jī)架感知策略分配一組 DataNode。此時(shí)因?yàn)榭蛻舳丝赡苓€在同一個(gè)節(jié)點(diǎn)上第一副本依然會(huì)優(yōu)先本地化整個(gè)選點(diǎn)和管道建立流程走一遍接著寫下一個(gè)塊。很多人以為一個(gè)文件的所有塊位置是在創(chuàng)建時(shí)一次性分配好的其實(shí) HDFS 是“寫一塊、申請(qǐng)一塊”。這樣做有幾個(gè)實(shí)際好處超大文件不會(huì)長(zhǎng)時(shí)間鎖住大量塊位置信息內(nèi)存占用更可控每個(gè)塊分配時(shí)都參考當(dāng)時(shí)的節(jié)點(diǎn)負(fù)載狀態(tài)能起到寫流量均衡的作用某個(gè)節(jié)點(diǎn)故障時(shí)后續(xù)塊會(huì)自動(dòng)避開故障節(jié)點(diǎn)不需要額外干預(yù)。4. 寫的過(guò)程中出事管道重建與租約恢復(fù)4.1 單個(gè) DataNode 故障時(shí)會(huì)發(fā)生什么假設(shè)管道是 A-B-CB 在寫入過(guò)程中出現(xiàn)磁盤故障或網(wǎng)絡(luò)斷連。此時(shí)客戶端可能在發(fā)送數(shù)據(jù)時(shí)直接收到 IOException也可能是在等待 ACK 時(shí)超時(shí)。不管哪種DataStreamer 捕獲異常后會(huì)執(zhí)行一套固定的恢復(fù)流程關(guān)閉所有與故障管道相關(guān)的連接。把 ackQueue 中所有尚未確認(rèn)的 packet 重新放回 dataQueue等待重新發(fā)送。從副本列表中剔除故障節(jié)點(diǎn) B。向 NameNode 申請(qǐng)一個(gè)替代節(jié)點(diǎn)或用剩余節(jié)點(diǎn) A-C 構(gòu)建新管道。用新管道從第一個(gè)未確認(rèn)的 packet 開始重新發(fā)送。這里有一個(gè)非常重要的設(shè)計(jì)原則出錯(cuò)后不會(huì)“接著寫”而是“整段重寫”。哪怕 C 節(jié)點(diǎn)已經(jīng)收到了部分?jǐn)?shù)據(jù)HDFS 也會(huì)選擇從失敗點(diǎn)開始重傳而不是嘗試?yán)m(xù)傳。原因很現(xiàn)實(shí)續(xù)傳需要精確對(duì)齊各節(jié)點(diǎn)的數(shù)據(jù)長(zhǎng)度判斷復(fù)雜度極高而且無(wú)法保證 B 節(jié)點(diǎn)殘留數(shù)據(jù)沒有污染整段重寫雖然浪費(fèi)一點(diǎn)帶寬但能保證所有副本從同一個(gè)數(shù)據(jù)起點(diǎn)重新開始邏輯簡(jiǎn)單可靠。已經(jīng)寫了部分?jǐn)?shù)據(jù)的壞塊會(huì)后進(jìn)入塊恢復(fù)流程。NameNode 或后續(xù)備份機(jī)制會(huì)介入把一致性不足的副本標(biāo)記為待恢復(fù)最終通過(guò)重新復(fù)制來(lái)補(bǔ)齊副本數(shù)。4.2 客戶端自己掛了租約恢復(fù)節(jié)點(diǎn)故障只是寫失敗的一種另一種常見場(chǎng)景是客戶端進(jìn)程崩潰或長(zhǎng)時(shí)間僵死。這時(shí)候沒有誰(shuí)來(lái)主動(dòng)給節(jié)點(diǎn)報(bào)錯(cuò)NameNode 的租約機(jī)制就成了兜底。每個(gè)文件創(chuàng)建時(shí)都關(guān)聯(lián)了一個(gè)租約客戶端在寫的過(guò)程中需要不斷續(xù)約。如果客戶端停止續(xù)約超過(guò)租約硬限制NameNode 的租約回收器就會(huì)啟動(dòng)租約恢復(fù)流程從寫該文件的客戶端列表中找到最后接觸過(guò)的 DataNode 作為恢復(fù)參考。讓該節(jié)點(diǎn)作為主節(jié)點(diǎn)決定塊的目標(biāo)長(zhǎng)度。所有副本節(jié)點(diǎn)把塊數(shù)據(jù)截?cái)嗷驅(qū)R到這個(gè)長(zhǎng)度。塊狀態(tài)從 UNDER_CONSTRUCTION 變?yōu)?COMPLETED文件可以被正常讀取。這個(gè)流程保證了“客戶端寫一半突然掛了”不會(huì)導(dǎo)致文件永遠(yuǎn)無(wú)法訪問?;謴?fù)出來(lái)的文件可能只包含崩潰前已經(jīng)成功確認(rèn)的數(shù)據(jù)但至少整個(gè)文件是完整的、可讀的不會(huì)出現(xiàn)某個(gè)塊只有半截這種情況。4.3 冪等與重試為什么不會(huì)重復(fù)數(shù)據(jù)HDFS 客戶端和 NameNode、DataNode 之間都是 RPC 通信網(wǎng)絡(luò)超時(shí)后會(huì)自動(dòng)重試。重試機(jī)制沒問題但如果沒有冪等設(shè)計(jì)一個(gè)“創(chuàng)建塊”請(qǐng)求因?yàn)榫W(wǎng)絡(luò)重發(fā)兩次可能就會(huì)創(chuàng)建出兩個(gè)塊造成元數(shù)據(jù)錯(cuò)亂。HDFS 解決這個(gè)問題的思路是給塊引入版本戳。每個(gè)塊從創(chuàng)建開始就帶一個(gè)唯一的 generationStamp寫入過(guò)程中每經(jīng)過(guò)一次恢復(fù)或重建版本戳都會(huì)變化??蛻舳酥卦嚂r(shí)攜帶的是舊的版本戳NameNode 或 DataNode 發(fā)現(xiàn)版本不匹配會(huì)直接拒絕舊請(qǐng)求從而避免重復(fù)寫入產(chǎn)生臟數(shù)據(jù)。讀源碼時(shí)看到 generationStamp 字段千萬(wàn)別跳過(guò)它是 HDFS 所有“重試安全”設(shè)計(jì)的根基。理解了版本戳你就明白為什么寫入過(guò)程中老副本會(huì)被新副本替代而不是簡(jiǎn)單疊加。5. 生產(chǎn)實(shí)戰(zhàn)寫入變慢與異常排查5.1 最常見的三類失敗現(xiàn)象源碼讀得再深最終還是要落到線上問題的排查上。根據(jù)我實(shí)際遇到過(guò)的情況寫路徑上最常見的異?;臼窍旅嫒惉F(xiàn)象可能根因源碼關(guān)注點(diǎn)寫文件報(bào) NotReplicatedYetException文件 complete 時(shí)副本數(shù)還沒達(dá)到最小副本數(shù)要求查看 dfs.replication.min 和 DataNode 塊上報(bào)時(shí)機(jī)寫入中途拋超時(shí)某個(gè) DataNode 磁盤 IO 卡住或網(wǎng)絡(luò)抖動(dòng)DataStreamer 的異常棧、DataNode 端 packet 接收日志塊副本長(zhǎng)期少于預(yù)期節(jié)點(diǎn)故障后管道重建成功但副本補(bǔ)充遲遲沒完成檢查文件是否一直處于 UNDER_CONSTRUCTION或是否存在 missing 塊遇到 NotReplicatedYetException很多人第一反應(yīng)是調(diào)大超時(shí)重試其實(shí)這治標(biāo)不治本。它本質(zhì)上是客戶端在 write 或 complete 時(shí)發(fā)現(xiàn)塊的有效副本數(shù)還沒有達(dá)到最小副本數(shù)。先看看是不是某個(gè) DataNode 寫盤變慢或者節(jié)點(diǎn)剛重啟還在上報(bào)塊信息。節(jié)點(diǎn)狀態(tài)穩(wěn)定后這個(gè)異常自然消失。5.2 寫入超時(shí)的常規(guī)排查路徑如果業(yè)務(wù)側(cè)反饋“寫文件特別慢”我會(huì)按下面的路徑排查打開客戶端日志找到第一個(gè) IOException 對(duì)應(yīng)的 DataNode IP。確認(rèn)這個(gè) IP 是否反復(fù)出現(xiàn)。如果固定某節(jié)點(diǎn)失敗優(yōu)先懷疑該節(jié)點(diǎn)磁盤或網(wǎng)絡(luò)。到對(duì)應(yīng) DataNode 機(jī)器上執(zhí)行 iostat、dmesg檢查磁盤是否報(bào)錯(cuò)、磁盤使用率是否接近飽和。同時(shí)查看該節(jié)點(diǎn)所在機(jī)架的交換機(jī)流量確認(rèn)是不是機(jī)架間帶寬被打滿。核心思想是“先定位到一個(gè)節(jié)點(diǎn)再查節(jié)點(diǎn)級(jí)問題”而不是一上來(lái)就調(diào)客戶端參數(shù)。如果問題源于某塊磁盤硬件故障調(diào)大 RPC 超時(shí)只會(huì)讓整個(gè)寫任務(wù)被拖得更久正確做法是讓故障節(jié)點(diǎn)下線或摘除故障盤。5.3 幾個(gè)值得記住的調(diào)優(yōu)經(jīng)驗(yàn)寫路徑上的參數(shù)不少但真正值得在生產(chǎn)環(huán)境做調(diào)整的并不多。分享幾個(gè)我踩過(guò)坑之后得出的經(jīng)驗(yàn)dfs.client.write.packet-size默認(rèn) 64KB 在絕大多數(shù)場(chǎng)景是合理的。調(diào)大會(huì)減少 packet 數(shù)量和 ACK 往返次數(shù)但會(huì)增加單個(gè) DataNode 的接收緩沖壓力。只有在跨機(jī)房專線小帶寬高延遲的場(chǎng)景下我才會(huì)考慮適當(dāng)調(diào)大。dfs.client.block.write.replace-datanode-on-failure.policy可選值 NEVER、ALWAYS、DEFAULT。NEVER 表示節(jié)點(diǎn)寫入失敗時(shí)直接讓寫失敗ALWAYS 表示總是嘗試替換壞節(jié)點(diǎn)。生產(chǎn)環(huán)境建議先保持默認(rèn)值觀察一段時(shí)間的寫失敗率再?zèng)Q定。改 NEVER 能更快暴露隱藏的壞節(jié)點(diǎn)改 ALWAYS 能提升寫可用性但可能讓副本長(zhǎng)期處于較少狀態(tài)。dfs.replication.min這個(gè)值決定一個(gè)塊最少需要幾個(gè)成功副本才算“可寫”。默認(rèn)值通常不需要?jiǎng)拥绻阌幸粋€(gè)高可靠業(yè)務(wù)希望寫失敗盡早暴露而不是在后臺(tái)慢慢補(bǔ)副本可以把它調(diào)高。配置修改示例property namedfs.client.block.write.replace-datanode-on-failure.policy/name valueNEVER/value /property注意這個(gè)配置是客戶端配置生效范圍是客戶端發(fā)起寫請(qǐng)求時(shí)讀取改了 NameNode 的配置是不生效的。5.4 帶著問題讀源碼的建議最后給想深入源碼的同學(xué)一點(diǎn)建議不要按類從頭到尾讀而是按“一個(gè) packet 從產(chǎn)生到確認(rèn)消失”這條線去追。具體路徑是從 DFSOutputStream 的 write 方法進(jìn)入看數(shù)據(jù)如何被切片、組包跟著 packet 進(jìn)入 dataQueue再看 DataStreamer 線程如何取包、發(fā)送、維護(hù) ackQueue然后跳轉(zhuǎn)到 DataNode 端找到 BlockReceiver 的接收與落盤邏輯最后回到 ACK 的產(chǎn)生與上傳路徑。把這條線走通之后你自然會(huì)弄明白為什么會(huì)有 NotReplicatedYetException、為什么管道重建要重傳未確認(rèn)的包、為什么租約恢復(fù)能解決客戶端“假死”問題。源碼不是用來(lái)背的是用來(lái)回答“線上為什么會(huì)這樣”的。最后分享一點(diǎn)個(gè)人體會(huì)。源碼讀得越多越覺得教科書里的“三步四步”只是壓縮過(guò)的骨架真正有價(jià)值的判斷都在細(xì)節(jié)里——比如為什么 ACK 要等整條管道都寫完為什么壞節(jié)點(diǎn)被替換而不是繼續(xù)湊合。如果你也想啃這塊源碼我的建議是別按類讀按“一個(gè) packet 從產(chǎn)生到確認(rèn)消失”這條線讀順著數(shù)據(jù)流走一遍比任何理論分析都管用。遇到線上寫慢的時(shí)候試試先抓客戶端日志里連續(xù)報(bào)錯(cuò)的 DataNode IP多數(shù)問題都能在十分鐘內(nèi)定位。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99久久久| 亚洲成人免费在线| 亚洲综合视频天天精品| 日韩成人无码片| 亚洲激情综| 九九热精品| 狠狠色五月| 射琪琪| 99色视频| WWW.17C亚洲精品| 激情综合网婷婷久久| 婷婷五月天首页激情| 久久人妻人人| 99性爱精品| 国产免费AV在线| 五月婷婷色在线| 色99色| 91操色| 操碰久| 免费无码毛片一区二区A片| 五月天婷婷视频小说| 丁香综合婷婷开心激情网| 亚洲激情四射色| 超碰93在线观看| 色五月亚洲五月天| 99热欧| 超碰人人99| 国精产品一区一区三区免费视频| 婷婷激情视频| 久久久久久人妻| 77799热| 色在线99| 亚洲AV无码一区二| 九九色天堂| 精品人妻伦九区久久AAA片| 性综合网| 久久久区区一久久久久久| 伊人玖玖婷婷| 操逼巨乳91| 成人在线观看精品| 日本人妻操| 婷婷开心激情| 白人荫道BBWBBB大荫道| 可以直接看的AV| 婷婷亚洲五月| 丁香激情五月天| 思思久热6| 激情网第四色| 国产精品成人av在线观看春天| 婷婷丁香五月综合| 久久久激情| 天天肏高清在线| 久久丁香网| 无码AV免费精品一区二区三区| 婷婷五月六月丁香| 精品一二三区久久AAA片| 热99精品视频观看| 中文AV在线播放| 天天橾夜夜爽| 色五开心五月五月深深爱| 五月色情婷婷| 五月六月激情婷婷| 精品国产va久| 色婷婷影音| 色色色婷婷五月| 韩国97天堂| 熟女色色一区二区| 婷婷丁香五月激情密臀av| 激情开心五月亚洲| 丁香婷婷成人在线播放| 天天草天天摸| 六月婷婷色色色| 婷婷丁香五月综合免费视频百花| 丁香五月综合婷婷| 六月婷婷色综合| 激情六月婷婷| 五月婷婷很很色| 久久六月婷婷| 另类视屏| 开心婷婷五月激情网小说 | 色情开心五月| 九色视频91| 九九热av| site:ornaments52.com| 久re热视频| www.五月天色色.com| 久久婷婷色色| 性生生活大片又黄又| 婷婷色综合| 最近中文字幕大全免费版在线| 操碰97| 欧美大肥婆大肥BBBBB| 99碰碰碰| 精品无码色| 99热这里只有精品中文字幕| 国产小精品| 国产一区二区av免费| 久久黄色片| 综合另类激情| 玖玖综合色| 国产欧美日韩性爱| 婷婷五月深深爱| 久久久免费精彩视频| 波多野结衣AV无码Porn| 俺去也婷婷| 狠狠精品干练久久久无码中文字幕| 色狠狠色噜噜AV天堂五区| 久久五月婷综合| 婷综合六月| 新激情五月天天在线网| 亚洲精品大片| 丁香婷婷老司机久操| 欧美色碰| www.夜夜夜| 丁香六月激情综合啪啪| 亚洲综合激情五月久久| 亚洲黄色av网站| 国产精品黑丝| 婷婷久久五月| 亚洲AV中文在线| 色综合五月天| 啪啪 综合网| 久久五月六月| 啪啪综合| 丁香五月婷婷激情蜜桃| 五月婷婷这里都是精品| 婷久久| 婷婷丁香成人| 色五月婷婷综合在线| 六月激情婷婷色| 天天射色五月天| 9久精品视频| 亚洲色就是色色色| 亚洲性天天| 丁香婷婷成人在线播放| 香蕉久久国产AV一区二区| 婷婷激情四射五月天| 婷婷激情五月| 色婷婷88| 五月花激情网| 九九精品网| 亚洲av日韩无码| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 久久99综合| 婷婷色五月综合| 亚洲色在线观看| 五月婷婷欧洲| 99色看| 国产激情视频在线观看| 国产综合丁香五月天| 五月丁香色色综合| 99色综合| 久热99| 亚洲激情五月| 羞羞嫩草视频| 99愛国产| 色色婷婷综合| 天天爽综合| 99热这里只有精品55| 91碰操| 丁香五月亭亭六月综合激情网| 婷婷五月丁香五月| 日韩成人综合| 思思热久热| 五月丁香啪啪| 九九综合精品| 五月丁香婷婷综合| 激情久久四色| 成人精品视频99在线观看免费| 婷婷五月网图片区| 五月丁香成年黄色| 成人一级片| 亚洲精品激情| 99热国产婷婷| 97操视频| 热中文字幕| 亚洲人妻Av| 97艹| 久久与婷婷| 青青操丝袜美腿| 日本五月视频| www.com色播五月天| 久久丁香久久| 影音先锋 一区| 丁香五月天在线观看| 精品99*| 亚洲色欲AAAAAA| 69超碰在线| 桔色成人官方网站| 日韩熟女啪啪视频| 人人视频人人干人人做| 亚洲免费99| 色婷久久| www.色五月| 久久婷狠狠色| 第四色色六月色综合| 丁香五月成人社区| 蜜乳A√| 精品夜夜澡人妻无码AV| 99热99热不卡| 97人操人免费视频| 色色亚洲视频| 久色中文| 色婷婷91| 日韩精品电影| ...婷婷国产成人亚洲日韩| 五婷婷综合网| 91久久综合亚洲噜噜成人在线| 久1色色| 嫩草哈哈操| 五月丁香久久丝袜啪啪| 97热九九| 婷婷五月婷婷| 操熟女成人网| 欧美三级欧美一级| 任你爽免费视频| 色10月婷婷视频| 特级西西4444www无码| 天堂爱爱| 国产精品视频网| 伊人www22综合色| 亚洲综合婷婷五月| 日韩人妻AV在线| 伊人五月成人| 久久久这里都是精品| 五月丁香激情综合| 日韩视频99| 日韩在线视频网站| 7777国产盗摄农村女人| 99无码| 91碰碰| 98国产精品综合一区二区三区| 五月婷婷综合潮喷| 玖玖色综合| 草草女人亚洲| 成人视屏在线观看| 色欲五月婷婷| 色色五月婷婷| 亚州激情九月| 99精品视频在线观看| 欧美激情综合色综合色| 玖玖婷婷五月天| 国外亚洲成AV人片在线观看| 婷婷永久在线| 色五月丁香五月天| 婷婷5月天av| 大香蕉太香蕉视频97| 五月伊人网| 激情五月综亚网| 色色婷婷色色| 精品久久久久成人码免费动漫| 色综合99| 丁香六月视频免费观看| 婷婷久久欧美| 五月丁香成年黄色| 影音先锋五月天婷婷丁香在线观看| 婷婷综合色图| 激情五月丁香六月| 5月婷婷激情6月| 激情丁香五月AV| 我爱大香蕉| 婷婷五月天免费视频在线观看| 91精品久久久久久综合五月天| 男女av免费看| 亚洲乱码日产精品BD| 色色丁香婷婷综合| 国产色色视频| 五月天婷婷影院影院观看| 久久久久婷婷五月热综合| 婷婷五月精品中文| 成人精品免费在线观看| 我淫我色婷婷五月天激情四射| 婷婷伊人| 色五月av| 五月激情六月综合| 五月之婷婷| 色八月婷婷| 日本三级毛片| 日韩免费99| 男女啪啪做爰高潮无遮挡| 亚洲精品永久久久久久| 怡红院一二三| 老司机伊人| 天天色天天干天天插| 99九无网码| 日本高清不卡免费一区二区三区| 精品爱欲五| 99免费在线视频| 久久大香蕉同僚| 丁香五月综合高清在线| 人妻综合网| 爱99干99| 99热99精品在线观看| 日日噜噜夜夜狠狠久久丁香六月| 超碰资源在线| 亚洲AV中文在线| 久久久久久久久久婷婷| 人人爽欧美婷婷久久久五月丁香 | 99 热国产在| caopeng97人人| 亚洲午夜电影| 东北婷婷五月天| 在线中文av| 九月婷婷激情| 丁香五月婷婷黑人妻黄色电影院| 婷婷五月香蕉| 色八月婷婷| 伊人干综合| 色狠狠色综合久久久绯色AⅤ影视| 久久在线人妻| 狠狠色婷婷六月激情网| 五月丁香六月婷婷无码| 97超碰在线免费观看| 伊人五月综合网| 俺去也五月天婷婷| 欧美日韩成人高清在线| www99热| AA久久| 国产午夜精品一区二区| 欧洲亚洲免费视频9| 97极品在线| 色婷操逼| 97碰碰人人| 日本一级一级一级一级| 成 人片 黄 色 大 片| 色婷婷小说网| AA片在线观看视频在线播放| 亚洲精品第一国产综合亚AV | 在线sebiav精品视频| 91蜜桃婷婷狠狠久久综合9色| 97香蕉人人在线观看| www.9操| 色综合久久综合中文综合网| 色五月婷婷久久| 91精品久久久久久综合五月天| 99热精品在线播放| 嫩草AV久久伊人妇女超级A| 熟女少妇内射日韩亚洲| 激情性爱网站| 婷婷五月天成人| 一本久久亚洲五月婷婷| 人妻无码精品一区| 日韩色色视频| 欧美日韩国产成人在线| 九九久久精品| 国产另类综合| 天天干天天干天天干天天干天| 日本99热| 久久综合网桃花| 综合激情婷婷| www激情| 天堂综合久久| 天天免费成年人视频| 99热精品网| 天天干天天叉| 狠狠操狠狠爱| 丁香婷婷浪潮AV久久综合| 久久婷婷亚洲无码一起| 久久亚洲精品成人无码网站导航| 五月天.com| 亚洲成人综合在线| 日韩av高清| 久婷五月| 色激情五月| 99热欧美| 人人操人人看97干| 五月永久激情| www.色综合| 国产热精品| 夜夜干夜夜操| 在线观看免费视频| 97色久| 色五月婷婷激情五月| 美欧成人视频| 久久视9精| 婷婷五月丁香色综合| 人人色婷婷五月天| 久9热在线视频| 性爱网五月婷婷| 六月婷久久| 婷婷综合网伊人| 91人操| 伊人热在线大香蕉| site:wpjngj.com| 丁香五月婷婷AV在线| 丁香五月婷婷五月| 婷婷久久五月天| 尤物一区二区| 激情五月丁香六月综合AVXXXX| 婷婷五月丁香性爱| www.五月丁香| 99免费热在线精品| 婷婷五月天国产传媒| 五月天色播网| 婷婷五月五月丁香| 色丁香五月婷婷| 超级碰碰碰碰视频| 五月天激情四射| 色婷丨日丨天丨综合久久| 国产成人精品亚洲线观看| www.久久五月天.com| 秋霞av吧| 婷婷激情六月综合| 久久色婷婷| 丁香五月婷婷网| 韩国情人在线电视剧免费观看高清版全集 | 精品人妻午夜一区二区三区四区 | 婷婷五月天成人网| 夜夜夜夜夜骑撸| 激情综合网激情五月天| 成人综合网站| 五月婷婷激情综合av| 亚洲视频二区| 色欧美色色色| 色综合中文| 在线视频色五月| 五月婷婷 婷婷五月 一区二区 久久久 | 开心五月婷| 五月丁香成年黄色| 亚洲V国产V欧美V久久久久久| 五月丁香激情六月| 综合天天综合| 天啪色| 这里只有精品视频免费在线观看| 欧美黄色AA片哗啦啦啦| 天堂爱爱| 九色视频91疯狂| 亚洲视频一区| 婷婷午夜精品久久久| 丁香婷婷五月天色播| 99人妻碰碰碰久久久久| 蜜桃婷婷丁香综合久久开心亚洲| 丁香婷婷性爱| se99视频| 蜜臀九九九九| 色婷婷丁香五月| 九久九精品| 性一交一乱一交A片久久四色| 精品九九视频在线观看| 亚洲sesesese| 国产日韩av片| 欧美偷偷操| 亚洲视频99| 六月婷婷五月天| 日韩五月婷婷| 97人人操在线| AV成人在线播放| 午夜无码熟熟妇丰满人妻| 婷婷丁香六月| 五月婷婷天| 五月色无码| 成人av在线网站| 任你爽在线视频| 99热这里只有精品9| 天天操天天曰| 开心激情网五月| 五月天婷五月天综合网在线观| 97资源碰碰在线| 91高潮喷水久久久久久久久 | 天天色天天搡| 手机在线日韩视频中文字幕| 欧美日韩五月婷婷| 综合99在线| 艹B高清无码| 久久久中文| 成人国产综合| 人妻久热| 丁香婷婷五月色成人网站| www.日日夜夜| 六月天六月婷| 亚州激情九月| 成人国产网站| 婷婷五月影院| 九九九九成人| 九九热在线观看视频| 丁香五月天堂网| 五月婷婷成人w| 五月天丁香六月综合| 色欲久久久久久综合网综合网| 奇米色大香蕉| 丁香五月婷婷激情完整版| 亚洲精品一区无码A片| 99热这里只有精品55| 欧洲毛片基地c区| 九九色大香蕉| Av大香蕉| 99热这里只有精品8| 九九久久综合| 丁香五月激情综合| 91a片爽| 亚洲丁香婷婷| 踪合专区啪啪| 欧美精品99久久久| 久草久青福利| 日韩操| 久久五月综合| 久热黄色| 99热最新| 婷婷基地成人五月天| aaaaaa片| 色丁香婷婷| 99国产在线| 激情综合网五月婷婷| 14色综合婷婷| 婷婷91| 风流少妇A片一区二区蜜桃| 黄色片久久| 色色色宗合网| 婷婷五月中文字幕| 九九热这里只有精品5| 色情·com| 狠狠色婷婷丁香六月| 狠狠色精品综合| 亚洲综合五月| 日日干夜夜干| 久久五月热| www.五月天婷婷| 这里只有精彩小视频视频网站| 另类图片激情五月天| 久久人妻系列| 四虎成人精品永久免费AV九九| 五月大香蕉| 欧美碰碰碰| 99久久久国产大片| 色欲午夜无码久久久久久张津瑜 | 久草a片| 九九黄色网| 人人操人av| 婷婷中文无码| 九九99精品视品| 超碰93在线观看| 热久久77777| 久久色五月天激情小说| 婷婷99狠狠| 91日精品| 五月天婷婷色小说| 97在线精品| 日韩在线观看网址| 天天艹天天综合网| 激情五月天网| 99色爱| 欧美日韩日韩成人| 激情五月综合ì香亚洲| 99色天堂| 久久婷五月综合| 亚洲情综合五月天| 琪琪理论片| 97视频.干com| 另类亚洲视频| 26uuu| 玖玖九九超碰| 亚洲色色色色| 五月天久久婷| 色高清无码视频| 97色色色| 天天弄天天爽| a在线观看| 91久久久久久| 夜夜操天天干| 婷婷五月天成人在线视频| 色综合九九| 久久综合五月婷婷| 日本99热| 婷婷丁香18| 久久九九爽| 亚州操操| 啊V视频在线观看| 久久激情五月婷婷| 超碰人人色| 99自拍网| 五月天亚洲图片婷婷| 亚洲欧美婷婷五月色综合| 久久免费操| 激情综合九月| ay2区| 久久婷婷色| 五月天婷婷三级黄| AA片在线观看视频在线播放| 九九热区一区二区三区| 五月丁香婷婷激情图片| 激情五月天网| 色色激情| 99久久人妻精品无码二区| 五月天婷婷在线啪啪视频| 久久视频在线视频| 深夜A片| 色播五月丁香综合| 色三级色三级| 99热这里只有精品国产免费| 亚洲网站观看视频| 九九热99热| 九九性爱网| 亚洲综合视频在线| 久久只有精品| 超级碰碰碰久久网站| 婷婷狠狠操| 久久五月网| 狠狠爱综合网| 五月婷婷AV| 国产精品99久久久久久猫咪| 狠狠色丁香| 丁香六月五月婷婷| 97在线视频人妻九色| 天天精品视频免费观看| 丁香五月中文字幕久色| 91精品久久久久久久久久久久| 久久五月婷| 色综合色欲综合天天免费| 久久38视频| 五月婷婷啪啪啪| 9热久久在线| 成人做爰A片免费看视频| 丁香 亚洲 久久| 国産精品| 婷婷六月综合| 丁香五月婷婷偷拍| 另类五月婷婷| www.激情| 丁香五月性| 极品少妇高潮啪啪AV无码| 夜夜做夜夜愛| 丁香婷婷激情综合五月激情| 五月婷婷久久爱| 久久婷婷五月丁香网| 这里只有精品99www| 一级二级色大片| 激情五月天网| 99激| 九月婷婷| www.夜夜操.com| 久久久妻人人人| 五月婷婷色白丝| 色色色热| 香蕉综合在线| 99免费热视频在线| 成人网站免费sxj| 丁香五月婷婷色情综合| 嫩草哈哈操| 丁香六月天| 丁香婷婷五月六月久久| 深爱激情六月| 内射激情在线| 天天色天天爽| 亚洲午夜av| 婷婷五月综合网激情| AA片在线观看视频在线播放 | 日韩草草草草草草草草草草草草| 91九色在线视频| 九色激情| 人人人操 超碰| 色五月婷婷影院| 青草激情综合| 碰超在线九色| 人操综合| AA片在线观看视频在线播放| 婷婷六月色| 五月丁香久久网| 五月婷亚洲精品| 久热a| 免费日韩99| 中美日韩成人在线| 日韩在线观看亚洲| 热热99爱爱| 天堂网操| 丁香六月激情国产| 1024在线视频| 久久无意婷婷| 日本nghangse中文字幕| 国产探花一片区| 熟妇高潮一区av| 亚洲愉拍99热成人精品| 国产SUV精品一区二区883| 99无码| 婷婷五月天色| 成人无码髙潮喷水A片| 色色色五月婷婷| 97色色网| 被强行糟蹋的女人A片| 色五月婷婷色| 天天射影院| 狠狠精品干练久久久无码中文字幕| 亚洲色综合| 久/久精品99看9| 国产XXXX搡XXXXX搡麻豆| 国产69久久久欧美黑人A片| 国产精品国产成人国产三级| 日本人人超碰| 丁香婷婷婷婷十二月在线观看视频| av网站免费在线| 五月婷av| 色综合中文色综合网| 综合视频久久| 色欲人妻综合aaaaaaaa网| WWW色五月天| 五月丁香婷婷婷婷综合网| 婷婷五月AV| 久久五月天激情| 丁香婷婷激情五月天无毒不卡蜜桃| 久久99热这里只有精品| 99热国产精品| 亚洲欧洲中文日韩久久AV乱码| 久久99国产综合精品免费| 九久久婷婷| 国产婷婷久久| 99热 这里只有精品 国产 日韩| 丁香五月丐人妻| 一操久久| 国产人人操| 91欧美日韩综合| 国内熟女黄色系列| 色婷婷色综合激情91| AV在线中文| 激情综合网五月天天| 六月丁香激情婷婷| 久久精典| 丁香六月成人| 午夜成人AV在线| 婷婷色五月亚洲| 五月天激情小说欧美激情| 亚洲天堂爱爱| 东京热五月婷婷| 五月丁香激情综合啪啪| 国产va在线视频| 亚洲激情婷婷| 天天色粽合合合合合合合| 国产精女同一区二区三区久| www.婷婷六月天| 亚洲十月婷婷综合| 日本美女上人| 久热精品免费视频4| 黄色精品五月婷婷| 天天摸日日舔狠狠添婷婷婷 | 婷婷五月天激情五月天网站| 久久永久视频| ai97re99一本| 欧美天天爽| 99这里| 亚洲亚洲人成综合网络| 97碰| 婷婷五月综合亚洲| 香蕉久久国产AV一区二区| 香蕉久久六月| 亚洲精品激情| 少妇高潮呻吟A片免费看软件| 六月激情婷婷综合| 亚洲成人va| 久久久18| 97碰碰视频在线观看| 丁香婷婷激情网站| 亚洲精品国产熟女久久久| 婷婷综合精品| 5五月综合网亚洲| 亚洲字幕AV一区二区三区四区| 九九99精品视频| 色色色.COM| 久久久国产精品黄毛片| 激情五月天在线观看婷婷| 婷婷五月天亚洲五码| 丁香激情综合| www.十八禁不禁AV.com| 五月花婷婷| 五月天丁香网| 久操福利| 五月丁香自拍| 五月婷婷亚洲色视频| 五月婷婷伊| 97色五月天| 丁香六月婷婷综合| 九九熱最新視頻| 99热婷婷| 大香蕉久久| 综合色99| 国产激情久久久| 婷婷五月天奸女| 97超碰在线免费观看| 婷婷基地爱| 丁香五月天影院| 人人人操97| 日韩黄色影院| wwwwww.色| 婷婷五月丁香青青草在线| 啪啪啪五月天| 久久久久久久久月丁| 婷婷久久六月费| 久久9久| 色色婷婷五月天| 精品人妻伦九区久久AAA片| 四色综合网| 九九热视频在线观看| 97色碰| 天天干夜夜想| 色爱99| 免费做A爰片77777| 热的无码综合视频| 99九九99九九九视频精品| 色情一区二区播放| 久久丁香九| 五月天婷婷综合网| 99视频久久| www.夜夜| 99在线国| 99热99| 欧美六月| 婷色人人狠| 亚洲妇女熟BBW| 看久久性爱视频| AAA久久久AAA久久久AAA| 99热播放| 六月色婷婷欧美| 黄色录像网点| 色五月婷婷九月| 67194成I人在线观看线路1| 亚洲五月情| yiqicaoav| 天天综合精品| 亚洲一区二区无遮挡A片| 97人人干人人操| 五月婷啪啪| 91狠狠色丁香婷婷综合久久精品| 色99视频| 色墦五月丁香| 天天搞天天色综合| 大香蕉欧美在线| 色99色| 午夜婷婷久久| 亚洲综合99| 老美AA片| 中文字幕激情综合| 国内婷婷丁香社区在线播放| 色五月激情图片| 91九色国产| 婷婷五月天色网久| 黄久久久| 思思热在线观看| 激情五月天综合婷婷网| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 久久之人妻| 亚洲激情四射色| 玖玖色综合网| 久久婷婷亚洲五月天| 色你久久| 91操黄| 久久婷综合| 激情五月天激情综合网| 激情五月婷婷丁香六月| 日韩成人电泉AV| av九九| 婷婷五月色情| WWW激情五月天| 操99| 中文字幕性爱视频| 五月婷婷色欲| 五月丁香狠狠爱| 无码任你操| 噜色精品| 日本色道视频网站| 超碰在线播放免费观看| 欧美S码亚洲码精品M码| 99色热视频| 十月色综合| 狠狠婷婷爱| 91干| 射琪琪| 超碰cap| 麻豆AV一区二区三区| 99re久热| 亚洲操人| 夜夜撸天天操| 五月婷婷亚洲| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 天天五月香欧美| 91九色无码内射| 香蕉久久av一区二区三区| 9久热| 五月天伊人| 可以免费看AV网站| 国产一级婬片毛片| 日本色频| 四色永久成人网站| 丁香五月激情网| 亚洲欧美国产A片免费观看| 国产婷婷色综合AV蜜臀AV| 五月婷婷婷| 日韩啪啪视频| 九九色综合网| 99re在线视频| 五月天综合激情网| 色色色五月婷| 国产婷婷五月天| 激情丁香五月| 成人在线日韩欧美| 九九这里只有精品| 激情九色| 另类小说五月天| 丁香五月婷婷AV在线| 狠狠xx| 六月丁香婷婷综合在线| 激情综合五月婷婷六月丁香| 五月婷婷丁香在线| 色五月丁香网| 狠狠色五月天| 中文AV在线观看| 成人版视频在线观看| 99国产精品久久久久久久久久久| 亚洲第一综合| 亚洲旡码| 深爱开心激情| 99热9| 麻豆AV一区二区三区| 农村熟妇高潮精品A片| 亚洲中文字幕在线观看| 久久您您综合网| 久久五月天 91| 奇米网大香蕉| 色婷婷伊人| 国产伦理精品高清在线观看网站一区二区 | 亚洲中文av| 丁香五月激情宗合| 婷婷五月天色综合翘| 只有久久精品免费| 丁婷婷五月天在线播放| 狠狠干综合| 丁香婷婷久久 | 怕怕視頻| 亚洲看av的网站| ss视频xx91| 色色无码| 色女人久久| 91偷拍视频| 99热久久这里只有精品| 欧美性爱5月天天天看| 开心五月婷婷婷美女| 九九99免费视频| 五月丁香影院| 91传媒无码人妻精| 五月丁香好婷婷A片网| 六月婷婷五月丁香首页| 久热网站| 久99久视频| 色色网站毛片| 大香蕉操操| 久色视频首页| 五月色婷婷综合| 性爱综合网| 日韩熟女啪啪视频| 五月婷婷熟女| 五月天激情国产综合AV| 色五月婷婷网| WWW.国产| 永久免费一区二区三区| 婷婷五月激情六月丁香| 思思热99热| 婷婷亚洲天堂| 久久天堂婷婷五月| 男人天堂伊人五月丁香| 狠狠做婷婷| 欧美黑人巨大性生话| av在线不卡播放| 国产激情综合五月| 色婷婷电影网| 中字幕视频在线永久在线观看免费| 一区二区你懂的| 可以免费观看的av网址| 婷婷免费视频| 久久精品99国产精品日本| 狠狠色婷婷7777久综合| 思思热性操| 久热九九| 日本在线wwww| 夜夜骑日日夜夜| 久久五月网| www...com黄在线观看| 狠狠搞五月天| 99热在线观看| 久久激情综合| 无码网| 国产99久久久国产精品免费看| 丁香社92视频| 婷婷五月天伦理| 国产免费AV在线| 伊人婷婷福利网| 岛国在线观看91| 国产一级片色色| 婷婷色五月丁香六月欧美啪| 五月激情婷婷丁香天堂| 日99网站| 深情六月婷婷综合久久| 92久久| 久久狠婷婷| 日日爱699| 天天草女人| 五月丁香啪啪拍| 大香蕉啪啪啪| 色婷婷成人网| 婷婷的色色五月天| 一起草aV| 玖玖资源站中文| 五月天啪啪网| 青青草视频福利| 99在线精品免费视频| 狠狠做六月爱婷婷综合aⅴ| 激情五月天色婷婷综合| 丁香激情六月天婷婷| 综合色色网| 婷婷放心五日爱| 日韩亚洲视频| 51成人| 五月丁香久久网| 热五月婷婷| 97人人看| 久久久99视频| 情色五月天网站| 国产成人综合在线| 67194成I人在线观看线路1| 在线资源av-超碰中文在线-成人AV| 五月婷婷影| 色婷婷玖玖影院| 色久丁香五| 久久久久久99精品无码| 亚洲碰碰碰| 丁香五月91| 色色婷婷五月天| 色婷婷黄色网络| 六月婷婷综合| 亚洲AV激情五月综合网| 99热国品| 人人看人人摸人人| 91色色色视频| 丁香五月手机在线| XX久久| 久草五月天| 琪琪理论片| 免费黄网不卡AV| 五月天婷婷在线播放免费| 五月情涩综合婷婷| 色呦呦美女| 婷婷色综合| 亚洲乱码日产精品BD| WWW.99热| 97色操| 91色久| 六月婷婷狠狠| 亚洲AV成人精品网站在线播放| 丁香五月婷综合网| 狠狠狠狠狠狠色| 激情五月婷婷| 激情五月亚洲| 秋霞AV淫| 色综合五月天| 欧美啄木乌丝袜人妻系列| 亚洲综合在线网站| 99爱视频在线| 色婷婷九月综合| 伊人网啪啪| 99无码视频| 丁香社区婷婷五月| 久久九九@| 五月丁香成人网| 国产精品日韩十五区| 日本三级日本三级三级人妇四虎| 26uuu欧美| 深爱激情丁香| 另类在线| 午夜在线成人网站免费观看| 激情爱爱网站超大免费| 婷婷五月在线综合| 久久九九亚洲| 亚洲色五月| 桔色成人在线| 亭亭玉立国色天香| 国产色色色色色| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 性色99| 91碰在线| 美女久久婷婷| 无码人妻电影| 久久九精品| 超碰91av| 操操操97| 激情五月瑟瑟| 91午夜激情| 久热这里只精品| 五月丁香六月停停停| 97精品综合久久| 噜噜久| 99熟女视频| 丁香五月婷婷六月婷| 午夜丁香六月婷| 无码激情AAAAA片-区区| 97碰碰视频在线观看| 婷婷五月天亚洲综合网| 九九黄色网| 美国不卡视频| 激情综合色五月丁香| 色婷婷基地| 国产精品VA在线| 六月丁香深深爱| 超碰人人操人人干| 久久婷婷东京热大香樵| 99原创自拍视频在线观看| 大香蕉五月天婷婷| 五月天婷婷综合免费| 9999热这里只有精品| 久久这里只有国产| 五月婷婷激情性爱| 免费操超碰| 超碰婷婷五月| 国产亚洲精品久久久久久豆腐| 日韩啪| 丁五月激情视频免费| 日日日影院| 黄色99网| 激情五婷精品网在线观看网址| 亚洲婷婷丁香| 天天综合91入口| 强奸幻女毛片| 天天干天天日蜜臀av| 国产毛片欧美毛片久久久| 亚洲综合激情五月久久| 思思99久久| 色欧洲| 这里只有精品网| 99热这里只有精品 搜| 亚洲综合五月天综合| 热久久思思热思思| 婷婷激情五月天网站| 丁香五月影院| 91久久久久久久久18| 日韩 中文 欧美| 在线观看免费狠狠色丁香香综合| 日本123区日韩欧美不卡在线看| 久久久久久久,99精品视频| 综合色图婷婷| 99视频综合| 美女被操一区二区| av免费在线观看0| 十二区无码| 欧美偷偷操| www.com在线操视频免费观看| 丁香深五月婷婷| 国产亚洲AV人片在线| 婷婷九月丁香中文| 人人操人人添人人摸97| ady狠狠入| 五月婷婷六月丁香首页| 六月婷婷香蕉| 丁香六月婷婷综合激情欧美| 99超级碰免费视频| 九九热只有这里精品| 五月天 综合 在线| 能看的AV网站| 色丁香五月天婷婷| 五月天婷婷视频小说| 国产精品色婷婷99久久精品| 大香蕉婷婷丁香天堂AV| 九九AV| 国产乱子轮XXX农村| 欧类av怡春院| 微拍92| 97人操人免费视频| 99精品激情| 99热在线中文字幕| 亚州色色色| 538任你爽| 婷婷五月综合在线| 亚洲成人无码专区| 97人人操人人操人人操人人| 啪啪操超碰| 婷婷五月成人色综合| 丁香五月天激情AV| 可以看的AV网站| 成片免费播放| 色婷婷影院| 黄色av网站在线免费播放| 国产综合81p| 看黄的网站18禁| 婷婷激情五月综合丁香社| 色情五月综合婷婷| 亚洲综合在线视频| 日韩ww| 91日日日| 久婷婷五月激情| 久久aaaa片一区二区| 婷久久| 99热久久这里只有精品| 97艹| 亚洲无码99| 色吧婷婷五月亚洲| 色色五月婷婷久久| 色婷婷视频| 天天摸天天做天天爱天天爽| 九九热免费| 九色激情| 青青.com| 五月婷婷第四色| 岛国av网站| 九月婷婷人人操人人舔人人爱| 色色丁香婷婷综合| 五月婷婷狠狠干| 久久精品婷婷| 九月婷婷人人操人人舔人人爱| 亚洲天堂热| 五月丁香六月婷婷无码| 精品人妻伦一二三区久久| 成人在线日韩| 久久婷色| 1024AV视频| 色色五月天婷婷| 26uuu国产激情视频| 五月丁香激情综合| 九九www| 九九久久99| www超碰| 日韩性爱无码| 婷婷五月天亚洲激情戏精品| 97碰在线| 99ri视频在线观看| 天天干夜夜b| 超碰99在线| www.97干视频| 伊人午夜综合色啪| 日本99久久| 九色91美女| 99亚洲精品视频| 丁香五月婷中字在线| 思思热久久阴99| 天堂中文国产| 久久五月天免费网站| 五月婷婷综合色啪首页| 99精品在线| 欧洲亚洲免费视频9| 人妻精品一区二区三区| 激情5月婷婷| 天天舔天天摸天天射| 婷婷色在线| 日韩色五月| 久久亚洲天堂| 97偷拍在线视频| 视色综合| 91人久| 嫩草综合网| 色五月综合网| 色噜噜狠狠色综合日日| 丁香五月中文字幕| 久久hd| 五月激情婷婷国产精品久久久久久| 99人人爽| 久久开心五月婷婷| 激情五月婷婷| 五月婷婷色播网| 亚洲亚洲人成综合网络| 色色网站在线免费观看视频| 色婷婷久久| 超碰在线人妻| 综合激情五月天| 99热综合网| www激情| 91啪啪视频| 色综合色色| 国产成人网站在线观看| 五月丁香激情啪啪| 激情另类综合| 九九人人操| 丁香综合婷婷开心激情网| 老司机伊人| 99热 免费|