欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

Spark Worker啟動與心跳通信源碼解析:注冊機制與容錯設計

Spark Worker啟動與心跳通信源碼解析:注冊機制與容錯設計 1. 從一個被忽略的啟動細節(jié)說起很多人第一次翻 Spark 源碼注意力基本都被 Master 和 Driver 吸走了Worker 往往被當成一個“干活的節(jié)點”草草略過。但真在生產環(huán)境里踩過坑的人都清楚集群里最先出問題的往往不是 Master而是某個 Worker 掉線、心跳超時、資源上報對不上。我印象很深的一次一個測試集群里三臺 Worker 里有一臺總是過一會兒就被 Master 標記成 Dead日志里翻來翻去只有一句“Worker removed”最后定位下來是心跳線程被一個長任務阻塞了。從那以后我就養(yǎng)成了一個習慣看 Spark 的分布式協(xié)調先看 Worker 怎么起來、怎么跟 Master 保持聯(lián)系這條鏈路通了整個集群的“生命體征”才算穩(wěn)。這篇內容就是圍繞Spark 源碼解析里 Worker 的啟動流程以及它跟 Master 的心跳通信展開的。我會把 Worker 從main方法進入、到注冊成功、再到周期性心跳的整條鏈路拆開講重點放在為什么這么設計、關鍵參數(shù)怎么算、實際排查時看哪里。適合已經能跑起 Spark 集群、想進一步理解內部協(xié)調機制的開發(fā)者也適合正在做資源調度相關二次開發(fā)的同學。讀完之后你應該能自己回答Worker 啟動時到底做了哪幾件事、心跳里到底帶了什么、Master 收到心跳后怎么判斷一個 Worker 還活著。在展開之前先給個整體印象Worker 本質上是一個長期駐留的進程它做兩件核心事——向 Master 匯報自己有多少資源、還活著以及接收 Master 的指令去啟動或殺死 Executor。啟動流程解決的是“我怎么讓 Master 認識我”心跳通信解決的是“我怎么讓 Master 一直記得我”。這兩件事看著簡單但里面藏著 Spark 獨立部署模式Standalone最核心的容錯邏輯。2. Worker 啟動流程的整體設計與思路拆解2.1 為什么 Worker 要設計成“先注冊、后心跳”兩段式如果你去看 Worker 的源碼入口會發(fā)現(xiàn)它并沒有一上來就瘋狂發(fā)心跳而是老老實實先走一遍注冊。這個設計不是多余的。分布式系統(tǒng)里一個節(jié)點要加入集群必須先讓協(xié)調者這里是 Master知道“我是誰、我在哪、我有什么”這個動作就是注冊。注冊成功之后雙方才建立一種“約定好的周期性聯(lián)系”也就是心跳。為什么不能直接用心跳代替注冊因為心跳是輕量的、高頻的它只適合傳遞“我還活著”這種增量信息。而注冊需要攜帶完整的身份和資源描述是一次性的、重量級的交互。把兩者分開好處是心跳可以做得非常薄網絡開銷小、處理快注冊則可以做得比較重允許做校驗、持久化、狀態(tài)變更。這跟現(xiàn)實里“入職登記”和“每天打卡”是一個道理——登記要填一堆表打卡只需要刷個臉。從源碼結構上看Worker 繼承自ThreadSafeRpcEndpoint這意味著它本身就是一個 RPC 端點能收發(fā)消息。它的生命周期由onStart觸發(fā)注冊和心跳的啟動都掛在這個階段。理解這一點很關鍵Worker 不是一個簡單的 main 函數(shù)跑完就結束的進程而是一個常駐的 RPC 服務main 只是把它拉起來真正的工作都在消息循環(huán)里。2.2 啟動階段涉及的核心組件與職責劃分把 Worker 啟動這條鏈路拆開主要涉及這么幾個角色。Worker 自身負責組織注冊信息、發(fā)起注冊、啟動心跳線程。Master負責接收注冊、校驗、把 Worker 加入自己的資源池并在收到心跳時更新 Worker 的活躍狀態(tài)。中間還有一個RpcEnv它是 Spark 自己封裝的一套 RPC 通信環(huán)境負責端點注冊、消息投遞、遠程調用。你可以把 RpcEnv 理解成“郵局”Worker 和 Master 都是郵局里的信箱消息通過郵局投遞。這里有個容易混淆的點Worker 注冊時發(fā)給 Master 的RegisterWorker消息里帶的不只是主機和端口還有cores、memory、webUiAddress等資源信息。這些信息是 Master 后續(xù)做資源分配的依據(jù)。所以注冊信息一旦上報錯了比如 cores 報多了Master 就會超發(fā)任務最后 Executor 起不來。這也是為什么我強調注冊階段值得細看——它是資源賬本的第一次寫入。2.3 啟動流程的時序脈絡用文字把時序捋一遍Worker 進程啟動創(chuàng)建 RpcEnv實例化 Worker 端點并注冊到 RpcEnv然后onStart被調用。在onStart里Worker 先嘗試向 Master 發(fā)起注冊拿到注冊響應后啟動一個心跳線程之后進入消息循環(huán)等待 Master 的指令。如果注冊失敗比如 Master 還沒起來Worker 會重試而不是直接退出。這個重試機制是 Standalone 模式能“先起 Worker 后起 Master”的原因。我特別想強調onStart這個鉤子。很多初學者以為注冊是在 main 里直接調的其實不是。Spark 把端點的啟動邏輯收斂到onStart是為了保證“端點已經準備好接收消息”之后才去做注冊這種對外交互。如果順序反了Master 回消息的時候 Worker 還沒準備好接收就會丟消息。這種“先就緒、再對外”的順序是寫分布式程序的基本素養(yǎng)。3. 核心細節(jié)解析與實操要點3.1 注冊消息里到底裝了什么RegisterWorker這個消息體是理解啟動流程的關鍵。它主要包含workerIdWorker 的唯一標識、host、port、cores、memory、webUiAddress以及 endpoint 的引用。workerId 的生成規(guī)則值得一提它通常是host:port拼出來的或者帶一個隨機后綴保證同一臺機器上多個 Worker 實例不會撞 ID。cores 和 memory 來自啟動參數(shù)或者配置文件是 Master 做調度的硬約束。這里有個實操要點memory 上報的是 Worker 可用于 Executor 的內存不是機器物理內存。如果你在spark-env.sh里配了SPARK_WORKER_MEMORY那上報的就是這個值。很多人機器有 64G但只配了 8G然后納悶為什么只能跑一個小 Executor問題就出在這。cores 同理SPARK_WORKER_CORES決定上報多少核。這兩個參數(shù)是 Worker 啟動時最該確認的東西。3.2 注冊響應與失敗重試的處理邏輯Master 收到注冊后會返回一個RegisteredWorker或者RegisterWorkerFailed。成功的話響應里會帶上 Master 的地址Worker 拿到之后就知道以后心跳往哪發(fā)。失敗的話Worker 不會立刻放棄而是走一個重試邏輯。這個重試不是無腦循環(huán)通常會有一個間隔避免把 Master 打爆。我在實際調試時發(fā)現(xiàn)如果 Master 一直沒起來Worker 日志里會反復出現(xiàn)注冊嘗試的記錄間隔比較規(guī)律。這個設計的好處是運維友好——你可以先批量拉起 Worker再起 Master集群能自己收斂。但要注意如果重試間隔配得太短Master 剛起來那一瞬間可能被大量 Worker 同時注冊沖垮所以生產上 Worker 數(shù)量多的時候啟動最好錯峰。3.3 心跳線程的啟動時機與參數(shù)注冊成功后Worker 會啟動一個心跳線程核心是sendHeartbeat的周期性調用。心跳間隔由spark.worker.timeout相關配置間接決定默認情況下 Worker 每隔一段時間發(fā)一次心跳Master 如果在超時時間內沒收到就把這個 Worker 標記為 Dead。這里有個經典的計算關系心跳間隔要明顯小于超時時間一般超時時間是心跳間隔的若干倍留出容錯余量。提示心跳間隔和超時時間是一對需要配合的參數(shù)。間隔太接近超時網絡稍微抖一下 Worker 就被判死間隔太小Master 處理心跳的壓力就上來了。生產上建議保持默認比例不要單獨去調其中一個。3.4 心跳消息的內容與 Master 的更新動作心跳消息本身很輕主要就是 workerId。Master 收到后會去自己的workers映射里找到對應的 WorkerInfo更新它的lastHeartbeat時間戳。這個時間戳就是判斷存活的依據(jù)。Master 內部還有一個后臺線程定期掃描所有 Worker把lastHeartbeat超過閾值的標記為 Dead并觸發(fā)資源回收。這里有個細節(jié)值得注意心跳只更新活躍時間不重新上報資源。也就是說Worker 運行期間如果資源發(fā)生變化比如動態(tài)調整心跳是不會自動同步的。資源變更需要走另外的消息。理解這一點能幫你避免“改了配置為什么 Master 沒感知”的困惑。4. 實操過程與核心環(huán)節(jié)實現(xiàn)4.1 從 main 到 onStart 的完整鏈路Worker 的入口是Worker.main。它做的事情依次是解析命令行參數(shù)、構造WorkerArguments、讀取配置、創(chuàng)建RpcEnv、實例化Worker端點、把端點注冊到 RpcEnv、最后調用rpcEnv.awaitTermination()讓進程掛住。注意最后這一步它讓 Worker 進程不會因為 main 執(zhí)行完就退出而是持續(xù)等待消息。Worker的構造過程里會初始化一堆狀態(tài)比如cores、memory、masterRpcAddress、workDir等。其中workDir是 Worker 存放 Executor 工作目錄的地方默認在 Spark 安裝目錄下的work文件夾。這個目錄如果磁盤滿了Executor 會起不來而且報錯往往不直觀。我踩過一次坑日志里只看到 Executor 啟動失敗最后發(fā)現(xiàn)是 work 目錄所在分區(qū)滿了。4.2 注冊消息的構造與發(fā)送在onStart里Worker 會調用registerWithMaster。這個方法會構造RegisterWorker消息通過masterRpcAddress對應的 endpoint 發(fā)出去。如果配置了多個 Master高可用場景Worker 會嘗試向所有 Master 發(fā)注冊誰先回就認誰。這個邏輯保證了 Master 切換時 Worker 能重新找到組織。發(fā)送注冊之后Worker 會設置一個定時器或者用receiveAndReply等待響應。收到RegisteredWorker后它會記錄 Master 的地址然后調用startHeartbeat啟動心跳線程。整個鏈路是串行的注冊沒成功心跳不會啟動。這個順序保證了心跳一定發(fā)給了“認識自己”的 Master。4.3 心跳線程的具體實現(xiàn)心跳線程通常是一個ScheduledExecutorService或者基于RpcEndpoint的定時消息。它會周期性地向 Master 發(fā)送Heartbeat(workerId)。Master 端在receive里處理這個消息更新對應 WorkerInfo 的lastHeartbeat。如果 Master 找不到這個 workerId說明 Worker 已經被移除會回一個ReconnectWorker之類的消息讓 Worker 重新注冊。這個“找不到就要求重連”的機制很巧妙。它處理了一種邊界情況Worker 以為自己還注冊著但 Master 因為某種原因已經把它清掉了比如 Master 重啟后狀態(tài)丟失。這時候心跳會觸發(fā)重新注冊讓集群自愈。我在測試 Master 重啟時觀察到過這個行為Worker 日志里會先報心跳異常然后自動重新注冊整個過程不需要人工干預。4.4 參數(shù)計算與配置示例假設你要部署一個 Worker機器有 32 核、128G 內存但你希望留一部分給系統(tǒng)和其他服務。一個常見的配置是export SPARK_WORKER_CORES24 export SPARK_WORKER_MEMORY96g export SPARK_WORKER_INSTANCES1這里 cores 給 24 是留了 8 核給系統(tǒng)memory 給 96g 是留了 32g 給系統(tǒng)和緩存。如果你要在一臺機器上跑多個 Worker 實例SPARK_WORKER_INSTANCES就派上用場了但要注意每個實例的 cores 和 memory 要相應減少否則會超發(fā)。比如兩個實例每個給 12 核、48g。心跳相關的配置通常不需要改但如果你網絡環(huán)境特殊可以關注spark.worker.timeout。它的默認值是基于心跳間隔算出來的改的時候要成比例地改別只動一個。5. 常見問題與排查技巧實錄5.1 Worker 注冊不上 Master 的排查順序注冊失敗是最常見的問題。排查順序我一般是這樣先看 Worker 日志里有沒有“Connecting to Master”之類的記錄確認它有沒有在嘗試連接再看 Master 的地址配得對不對spark.master或者SPARK_MASTER_HOST有沒有寫錯然后確認網絡通不通端口有沒有被防火墻擋最后看 Master 日志里有沒有收到注冊請求。如果 Master 壓根沒收到問題基本在網絡或地址如果收到了但拒絕問題在資源校驗或版本不匹配。注意Master 和 Worker 的版本必須一致混用不同版本的 Spark 組件經常導致注冊失敗而且報錯信息不一定直白。5.2 心跳超時導致 Worker 被標記 Dead這個問題的表現(xiàn)是 Worker 莫名其妙變成 Dead但進程還在。原因通常是心跳線程被阻塞了。比如 Worker 上跑了一個特別重的任務把線程池占滿心跳線程搶不到資源。解決辦法是給心跳線程獨立的線程池或者排查是什么任務阻塞了 Worker 的主線程。我在一次壓測里遇到過某個 Executor 啟動時做了大量磁盤 IO把 Worker 的調度線程卡住了心跳發(fā)不出去最后被 Master 判死。5.3 常見問題速查表現(xiàn)象可能原因排查方向Worker 日志反復注冊失敗Master 地址錯、網絡不通、版本不一致檢查配置、網絡、版本Worker 被標記 Dead 但進程存活心跳線程阻塞、GC 停頓過長看線程棧、GC 日志Master 重啟后 Worker 失聯(lián)Master 狀態(tài)丟失、Worker 未重連看是否觸發(fā)重新注冊資源上報與實際不符cores/memory 配置錯誤核對啟動參數(shù)心跳正常但任務起不來work 目錄滿、權限問題檢查磁盤和權限5.4 幾個我踩過的坑第一個坑是 work 目錄權限。Worker 啟動用戶和 Executor 運行用戶如果不一致Executor 目錄創(chuàng)建會失敗而且報錯藏在很深的日志里。第二個坑是主機名解析。Worker 上報的 host 如果 Master 解析不了Master 就無法反向連接 Worker導致任務下發(fā)失敗。第三個坑是心跳間隔和超時時間被一起改小了結果網絡一抖動就大面積判死集群反復震蕩。這幾個坑的共同點是報錯信息都不直接指向根因需要你對整條鏈路有理解才能快速定位。6. 從源碼理解到生產實踐的幾點體會把 Worker 啟動和心跳這條鏈路看透之后我對 Spark Standalone 的容錯設計有了更具體的感受。它沒有用很復雜的共識算法而是用“注冊 心跳 超時判死 自動重連”這套樸素機制撐起了整個集群的成員管理。這套機制的關鍵在于參數(shù)之間的配合以及消息處理的順序。任何一個環(huán)節(jié)的順序錯了或者參數(shù)比例失調都會表現(xiàn)為“Worker 不穩(wěn)定”。如果你正在做資源調度相關的開發(fā)我建議重點看Master里處理RegisterWorker和Heartbeat的那兩個分支以及Worker里registerWithMaster和startHeartbeat的實現(xiàn)。把這幾段代碼和實際日志對照著看很多之前覺得玄乎的現(xiàn)象都會變得清晰。最后分享一個小技巧調試心跳問題時把 Worker 和 Master 的日志級別調到 DEBUG能看到每條心跳的收發(fā)記錄比猜要快得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
怡红院院在线导航网| 亚洲无码免费看| 国产美女精品| 9超碰在线| 九月婷婷激情| 丁香婷婷激情五月| 人妻激情网| 五月婷婷综合久久| 激情五月丁香五月| 秋霞少妇AV网站| 国产成人99久久亚洲综合精品| 亚洲AV无码影院| 啊V视频在线观看| 思思99精品视频| 五月天色小说| 香蕉婷婷色五月| 亚洲色情久久| 日本天堂网站99| www.99热在线| 天天天天天操| 五月婷婷婷综合网| 99人妻碰碰久久久禁片| 玖玖婷婷综合| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 久久婷婷伊人| 久久婷婷五月综合色欧美| 色色哒五月婷婷六月丁香| 操久久精| 国产肥白大熟妇BBBB视频| 欧美VA在线| 欧美影院婷婷| 丁香亚洲色综合| 婷婷五月花| 精品久久二6| 亚洲欧美成人在线观看| 99视频这里有精品| 天天色天天日| 五月天自拍视频| 婷婷丁香综合| 夜夜爽77777妓女免费下载| 开心深爱激情网| 五月丁香久久精品在线观看| 丁香五月成人自拍| 国产69久久久欧美黑人A片| 国产精品热搜丁香五月婷婷| 欧美极品999| 久久综合55| 亚洲午夜av| 五月丁香婷婷啪啪综合网| 免费AV在线| 色婷婷丁香| 极品人妻videosss人妻| 丁香婷婷五月六月久久| 久久五月天 91| 99自拍视频在线| 色婷婷五月亚洲| 69精品无码一区二区三区| 婷婷五月av| 五月天综合在线观看| 久久综合丁香五月| 色婷婷精品视频| 激情内射人妻1区2区3区| 色五月av| 丁香五月综合在线播放 | 国产熟妇乱子伦hd| 99视频内射三四| 丁香婷婷五色月| 射琪琪| 99热欧美| 在线综合网| 这里只有精品热| 国产91九色| 九九99九九精品免费| 超碰人人操在线| www.91.com黄| 亚洲综合五月天婷婷| 亚洲第一色色色色| 婷婷色色网| 色射7856五月天激情四射| 婷婷丁香六月| 色色色五月婷婷| 精品爆操| 色99久草在线| 99这里有精品| 丁香六月婷| 久久99久久99精品免视看婷婷| 久久狠狠干| 香蕉曰比| 99国产精品白浆在线观看免费| 色色免费网站| 夜色综合网| 丁香六月毛片| 2020夜夜操天天爽| 久色视频首页| 99热99在线| ...婷婷五月综合不卡,国产在线手机| 182无码| 激情伊人六| 亚洲国产色婷婷| 婷婷婷色五月| 色六月天天激情综合网| 人妻九九九九| 伊人五月婷婷| 狠狠爱婷婷爱| 丁香五月91| 操碰久| 色yeye色综合| 精品热青草| 国产真人做爰视频免费| 九九色综合| 丁香五月婷婷激情网| 精品丁香五月天在线播放| 五月丁香婷婷激情澎湃四射| 久久A V无码视频| 五月婷婷开心亚洲无| 香蕉婷婷色五月| 九九久久精品國產| 亚洲成人网站在线| 九九干视频| 日韩成人电影av| 九九爱精品网站| 成人超碰网| 亚洲日韩乱码一区二区三区四区 | 亚洲婷婷开心五月| 深爱激情AV| 久久久久久久丁香五月天婷婷 | 天天天天干| 开心五月婷婷| 能看的av| 国产成人AV| 大地资源色婷婷视频在线| 色噜噜婷婷| 五月婷婷啪啪| 成人精品视频99在线观看免费| 91人妻PORNY九色大屁股| 色五月在线观看| 精品在线网站| 婷婷五月天久久久| 日本视频99| 99在线视频资源| 天天拍夜夜撸| 久久精品婷婷| 久久丁香五月婷婷激情综合网| 在线五月婷婷小电影| 激情色色| 婷婷色在线| 久久九九99| 日韩九九视频| 丁香五月婷婷丫| 婷婷五月天六月综合| 青青草护士中出内射-欧美电影在线天堂新版 | 激情婷婷狠狠干| 欧美猛片| 五月激情综合美女久久| 美女丁香五婷婷| 婷婷丁香五月色| 九九在线精品| www.婷婷五月| 亚洲妇女熟BBW| 亚洲精品久久久无码| 国产又爽又猛又粗的视频A片| 国产精品18久久久| 98热精品| 精品久热| 久色五月婷婷综合| 婷婷五月天天天| 中文av网站| 久久综合影院| 在线日韩视频| 99丁香五月| 伊人久久丁香狠狠婷婷综合香蕉 | 五月天六月色| 79精品视频在线观看,| 久久五月综合| 在线播放成人| 色婷婷A| 热九九精品| 丁香五月六月久久综合| 在热视频精品| 天天日 天天草| PORNY九色9l自拍视频成人| 色色操| 亚洲超碰在线| 丁香五月婷婷图片综合| 丁香五月天激情四射网| 婷婷香蕉| 操日本人妻视频| se影音资源在线观看| 久色激情| 免费看欧美成人A片无码| 99久操视频| 99热在线看| 五月婷婷啪啪网| 久久久激情| 婷婷五月天性| 9999三级片| 极品少妇高潮啪啪AV无码| 九九九九精品精| 不卡成人免费| 午夜丁香丁香婷婷| 狠狠色噜噜狠狠| 久久永久视频| 一起草AV入口| 综合久久综合| 激情婷婷丁香色五月| 人人操AV| 老美AA片| 操碰99| 就爱干 在线| 亚洲情欲| 日本婷婷| 色五月婷婷影视| 久久五月婷婷电影| 深爱激情丁香| 九九伊人网| av一区免费看| 色10月婷婷视频| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 丁香久久| 激情色情五月天| 97干在线| 丁香六月婷婷色XXXXX| 精品久久久人妻| 国产欧美日韩综合精品一区二区| 97日本在线| 丁香亭亭久久| 六月婷婷久久| 99热午夜精品| 亚洲五月丁香综合网| 五月亚洲| 99热亚洲| 五月天堂色| 开心五月色婷婷综合开心网| 天天干天天干天天干| 婷五月天| 亚洲性爱99在线| 91视频五月丁香| 国产精品人人做人人爽人人添| 九九九九大香蕉| 色亭亭五月天网扯| 日本婷久久| 亚洲情综合五月天| 91色噜噜狠狠狠狠色综合| 激情五月婷婷色综合| 91久久九久久九久久九久久九久久| 大战熟女丰满人妻AV| 日本一级| 五月天天天色| 香蕉人妻AV久久久久天天| 五月婷婷三级| 日日杆天天| 成 人片 黄 色 大 片| 色哟哟精品| 激情五月综合ì香亚洲| 丰满人妻一区二区三区| 九九99热| 激情丁香五月天图片| 国产人妻777人伦精品HD| www.97碰碰com| 丁香 婷婷 亚洲 熟女| 91操碰| 日韩色久| 九九热视| Av在线资源| 色综久久AV| 色久九| 国产在线自| 亚洲另类久久| 性做爰A片免费视频A片直播| 九九人妻福利| 午夜五月天| 人橾人| 开心激情网五月| 男女啪啪做爰高潮无遮挡| 婷婷久久五月| 婷婷激情综合| 97干视频| 婷婷伊人久久| 人人操插| 琪琪色五月天| 黄网免费观看| 嫩草视频在线观看| 另类精品视频在线观看| 伊人在线视频| 九九美女视频| 亚洲激情五月天| 婷婷中文综合网| 国产美女精品| 丁香五月开心七月| 色5月婷婷| 精品香蕉99久久久久网站| 五月婷婷激情四季| 99色综合| 五月丁香啪啪激情| 丁香五月成人| 欧美久久五月婷婷| 草草女人亚洲| 丁香五月老师| 最新高清无码专区| 五月丁香六月激情网| 久久9久| 国产综合婷婷| 色综合久久天天综合网| 久久9久| 婷婷五月天久久| 日韩欧美老妇性视频91久久久| 婷婷五月天久久久| 欧美精品久| 五月丁六月香| 亚洲在线播放| 99色| 久久9999| 99视频久久| 五月天激情四射网站| 丁香六月婷婷| 欧美色图天堂网色| 五月丁香六月成人| 婷婷五月综合婷婷| 黑人巨粗进入警花疼哭A片| 夜夜爽日日躁| 一本色道久久综合狠狠躁一二三| 就爱射中文字幕资源网| 97人人操人人操人人操人人| 日本婷婷在线| 91九色丨国产丨爆乳| 中文字幕在线资源| 国产裸舞福利资源在线视频| 亚洲成人影视在线| 五月丁香婷婷综合视频| 成人婷婷| 啊v视频在线观看| 久久五月天激情美女| 成人丁香五月天| 激情丁香久久| 超碰色碰碰| 六月婷婷国产| 99在线小视频| 五月婷啪啪| 99九九久久| 激情99| 五月视频日本免费观看| www.9操| 天天xxxxxx天天日| 欧美性爱日韩性爱| 色综合激情| 5月激情天| 极品人妻VIDEOSSS人妻| 激情5月婷婷| 九热av| 在线观看婷婷5月| 久久婷丁香五月| 亚洲精品成人| 激情五月五月五月婷婷| 91在线日本| 色色婷| 99久久免费性爱视频`| 天天色情站| 久热这里只有精品视频6| 操97在线观看| 免费黄色AV| 亚洲精品乱码久久久久久按摩观| 亚洲成人AV电影在线| 婷婷伊人久久综合| 在线观看av网站| www久久久| 五月天婷婷爱丁香中文字幕| www.91在线看| 激情网五月天| 六月婷婷五月天| 91天天操天天干天天射| 超91热| 丁香在线视频| 激情婷婷丁香色五月综合| 99超超碰| 五月婷精品| 激情图片婷婷| 日本久久视频| 色色网站毛片| 丁香五月人妻| 91视屏在线观看com.wwwvv| 影音先锋AV男人站| 久月婷婷| 另类视频丁香五月| www:99热视频| 99精品视频在线观看| 丁香五月激情视频在线| 天天肏天天肏天天肏| 99re这里只有| 五月天激情啪啪| 五月开心久久| 操操操97| 亚洲1区| 婷婷五月六月丁香综合| 99热欧美| 色五月综合97| AA片在线观看视频在线播放| 五月婷中文字幕| 伊人婷婷色激情丁香| 91丨九色丨熟女|新版| 无码少妇高潮喷水A片免费| 激情五月天天狠狠久久| 热的无码综合视频| 九九热99免费视频| 激情亚洲五月| 五月丁香在线| 五月天婷婷綜合院| 天天天天天操| 99热99在线| 春色激情| 九热视频| 狠狠色噜噜狠狠狠狠综合| 丁香五月激情视频在线| 99re最新地址视频| 国产九九一区二区三区| 五月丁香花成人社区| 思思热在线播放| 情趣视频66| 五月激情精品视频| 人人性久久| 成人午夜天| 婷婷九月激情| 噜噜狠狠色综无码久久合欧美| 婷婷五月天色综合翘| 香蕉大综综综合久久| 日韩成人不卡| 色婷婷亚洲| 五月婷婷激情色情网| 8区视频在线| 日日干干天天干| 天天爽在线视频| 国内久久久精品99| 丁香99| 亚洲高清在线| 99操99| 激情 婷婷| 2025天天操| 天天做天天爰天天爽天天无遮挡| 色99热| 国产操B| 99啪啪视频| 天天干 夜夜爽| 亚洲女婷婷五月基地综合久久久| 丁香六月激情综合| 五月婷婷激情久久| 91精品国产色猫| 97啪在线观看视频| av在线资源| 开心五月天激情网| 五月天婷婷五月| 99热这里只有精品98| 婷婷激情综合网| 开心五月婷婷综合在线精品素人| Caoub青青超碰| 久久精品一区二区三区四区| 深爱激情综合网| 天天插天天爽| 九九精品热| 日本成人噜噜| 97干婷婷五月天| 激情美女五月天| 色婷婷久久综合久色综| www. 五月. com| av首页在线| 噜噜在线| 噜噜噜久久| 亚洲天天| 婷婷丁香六月| 中文字幕黄色片| 五月综合久久| 婷婷综合激情| 热99久久这里只有精品| 日韩欧洲亚洲| 97精品在线| 九月久久婷婷| 91狠狠色丁香| 光棍影院日韩精品| 色射7856五月天激情四射| 五月色婷丁香| 91九九精品| 婷婷伊人综合| www.久久色.com| 五月婷婷黄网站大全| 爱久久小说下载网| 婷婷影视久久| 狠狠色丁香乆乆| 2025超碰| 日韩青青| 日韩AV免费电影在线播放| 精品国产一区二区三区四区阿崩| 成人无码精品1区2区3区免费看| 人人97碰| 成人 在线 日韩| 91精品无码| 999精品乱码77777| 久久99综合| 综合色播| 丁香婷婷社区| http:色情日本com| 免费在线观看av网站| 久久38视频| 九月丁香欧美综合| CAOBIBI| 亚洲有码在线视频| 午夜爱插插| 狠狠综合久久综合| 丁香色影院| 激情综合另类| 七七九色| 五月开心婷婷极品激情| 婷婷五月天 偷拍| 六月丁香啪| 久久午夜理论| 天天综合中文| www.henhenl| 九九99精品视频在线观看| 久re热视频| 婷婷丁香人妻天天爽| 狠狠插狠狠插| 欧美婷婷五月丁香| 无码激情AAAAA片-区区| 色婷婷精| 熟女网站久久| 色播五月婷婷综合| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 色色丁香| 任你干aa| 亚洲旡码| 久久综合伊人综合在线| 五月天网站免费欧美| 丁香五月在线自慰| 久操激情| 天天色天天操天天射| 六月婷婷香蕉| 亚洲一二三网| 99riAV国产精品视频| 色~性~乱~伦~噜| 丁香久久| 天堂网色色| 久久精品五月天| 六月婷婷深深爱| 中出内射的人妻视频| 26uuu日韩| 日本色色色| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 操操操B| 人人草碰| 五月婷婷与六月丁香图片激情| 99视频精品视频| 丁香五月天殴美激情| 思思热99热| 丁香五月成人| 五月丁香六月婷| 丁香五月色| 九九艹女| 黄久久久| 婷婷五月开心中文字幕色| 99re鈥哸鈥唙| 综合色色网| 99在线视频观看| 97久人人| 午夜无码精品色综合久久| 98色花堂98t.R| 亚洲精品国产熟女久久久| 五月天激情综合网| 五月天婷婷在线观看精品男人| 天天久综合| 啪啪91| 婷婷色网址| 丁香青青五月天| 大香蕉 伊人夜| 99视频内射三四| 婷婷丁香五月综合激情视频| 婷婷五月天激情小说| 亚洲愉拍99热成人精品| 91色五月| 九九九九这里只有精品| 丁香六月婷婷综合| 久久性刺激| 伊人丁香花综合影院| 开心激情站| 大学生高潮无套内谢视频| 金品在线视频99| 久久精品国产色| 我去色色网五雨天| 欧美69久成人做爰视频| 99人碰碰碰| 天天色综合综合| 99这里都是精品6| 激情婷婷综合网| 天天摸天天舔天天爽| 婷婷五月天色播| 成人片黄网站色大片免费毛片| 99九九热视频免费| 五月天欧美激情| 久久9久| 五月天丁香啪啪网| 日日操夜夜操狠狠操| 玖玖午夜视频| 日韩精品在线观看9| 久久婷婷伊人| 99这里热| 亚洲成人丁香花| 久久大香蕉| 深爱激情综合| 五月婷婷激情在线| 五月丁香在线视频观看| 中文资源在线a| 色yeye欧美| 99惹在线精品免费观看| 五月丁香久| 丁香五月婷婷影院| 开心五月婷婷在线| 婷婷色在线| 九九色影院| 丰满人妻一区二区三区| 日韩aⅴ视频| 干婷婷五月天| 狠狠爱综合| 色婷婷亚洲综合天堂| 激情婷婷五月天伊人在线观看| 婷婷色综合| 久久五月热| 狠狠88综合久久久久噜噜噜| 久久视频这里有精品99| 五月丁香久久呀| 99热网站| 嫩草免费视频| 99久久精品网| 国产AV一区二区三区最新精品 | 无码激情AAAAA片-区区| 91性高潮久久久久久久久| 日本色婷婷| 激情四射亚洲| 婷婷玉月丁香五月在线视频| 色五月综合激情| 色天堂97| www.五月丁香| 亚洲精品在线视频| 婷婷五月色情| 91人碰| 天天干电影| 自拍视频在线观看9| 综合色色婷婷| 久综合4| 久久久人人人妻丝丝丝| 99精品国产在热久久| 丁香婷婷偷拍| 国产美女无遮挡裸体毛片A片| 在线99热| 久久五月天综合| 九九热这里只有精品7| 中美日韩成人在线| www.五月婷婷| 色五月婷婷丁香五月| 超碰人人草| 色99视频| 婷婷丁香社区网| 亚洲综合99| 色10月婷婷视频| 色色性爱视频| 激情com| 五月天婷婷综合| 六月婷婷成人| 亚洲精品久久久久AV无码| 五月天无码视屏播放| 国产美女无遮挡裸体毛片A片 | 天天 青草 制服丝袜 在线| 桃色五月天| 影音先锋xfplay资源男人网| 综合久久99| 六月米奇色综合| 婷婷五月在线影院| 天天日日夜夜爽。| 人人叉久| 大香蕉婷婷丁香天堂AV| 日本啪啪网| A片一曲| 久碰视频| 26uuu国产| 五月婷婷免费| 五月天丁香花婷婷| 色婷婷小说网| 亲子乱AV一区二区三区下载| 五月天伊人| 色婷婷五月基地在线| 成人无码髙潮喷水A片| 亚洲国产成人裸舞| 五六月婷婷久久| 99综合| 色婷婷在线播放| 五月激情六月综合| 岛国资源网| 1024AV视频| 69激情小说| 91久久九| 丁香六月啪啪啪| 九月丁香| 国精产品一区一区三区免费视频 | 久久aaa| 色婷婷8| 夜夜干天天操| 日本三级大片| 大战熟女丰满人妻AV| 国产精品婷婷午夜在线观看| 99热一本久道| 日日夜夜天天综合| 久久婷婷五月综合色播| 日韩xx在线| 婷婷伊人中文字幕| 久久狠狠色| 五月婷婷 自拍| 久久久久久激情| 五月天亚洲最大成人| 久久33视频| 免费视频无码| 亚洲中文无码成人| 综合久久综合五月天婷婷| 久久婷婷综合网| 一區四區歐美日韓| 人操人| 婷婷六月丁| 欧美va视频不用播放器的va视频网| 97碰碰草| 亚洲AV网站| 西瓜美女a片| 91免费看片| 婷婷97狠狠成人网站| 国产五月天欧美色| 激情综合网五月在线播放| 岛国在线观看91| 精品人妻在线| ji'qing'luan'ren'lun| 少妇AB又爽又紧无码网站| 欧美性色A片免费免费观看的 | 久思思热视频在线观看| 91熟妇大香蕉| 九九色色| 深夜A片| 色婷婷免费观看| 久久97久久99久久综合欧美| 人妻久热| 亚洲另类婷婷五月综合| 庭庭久久内射| 九九婷婷五月天| av色婷婷| 五月精品免费XXX| 久久9视频欧美| 爱爱网址9| 欧美婷婷日本| 九九综合久久| 五月天色图| 91免费试看| 色五月激情婷婷| 亚洲五月天婷婷在线| 亚洲色久| 欧美婷婷综合网| 99综合免费视频| 五月婷婷综合网| 东北婷婷五月天| 天堂久久精品| 婷婷久久色| 狠狠干综合| 久久精品五月天| 中文国产五月天| 99久久精彩视频。| 久热re在线视频| 96精品成人无码A片观看金桔| 五月丁香在线| 久久久五月婷婷| 人人草公开操| 97欧美在线| 好叼操在线观看| 五月丁香激情综合| 伊人玖玖精品| 久色资源网| 美女婷婷六月色| 无码人妻激情| 日本一级大片| 极骚大香蕉伊人| 五月激情小说| 国产97色在线| 欧美成人精品一区二区| 丁香色六月| jiujiujiuwuyuetian| 精品热青草| 国产精产国品一二三在观看| 99操视频| 婷婷五月激情网| 97婷婷五月| 九九草热在线观看| 丁香六月婷婷激情综合| 人妻久久婷婷| 1024亚洲| 婷婷五月综合社区在线| 久青草影院| 任你草| 天天肏高清在线| 久热网在线视频| 九九视频这里是精品五月| 97人人操人人爽| 97亚洲婷婷| 色开心五月丁香| 国产成人综合亚洲| 丁香激情网| 天天爽夜夜操| 五月婷婷天| 五月丁香久人妻中文| 综合久久99| 99er久久| 视色综合| 婷婷六月丁香综合| 超碰在线免费9| 免费在线a| Caoub青青超碰| 狠狠ri| 粉嫩AV久久一区二区三区| 五月丁香六月情| 婷婷性爱影院| 91seav| 欧美天堂久久| 99在线视频免费| 丁香五月偷拍| 五月丁香婷婷综合| 国产在这里只有精品| 九九热在线视频,| 亚洲人人干| 天天粽合合合合| 婷婷在线五月天观看| 夜夜骑日日操| 丁香婷婷久久| 欧美成人Va| 综合激情五月四射婷婷| 色VA| 99热成人精品| 婷婷五月天AV激情| 五月丁香六月激情狠狠| 丁香婷婷偷拍| 99热这只有| 五月天成人在线视频丁香| 99视频精品视频| 九九sese| 伊人婷婷激情| 亚洲精品五月| 人妻精品久久久久久| 五月婷婷丁香在线视频| 色综合久久88色综合天天| 99热久久这里只有精品2010| 欧美国产一区二区三区| 五月激情站| 久久久久人妻精品| 99国产视频网| 国产日韩欧美性爱| 超碰9| 五月婷婷黄色| 色香欲综合| 亚洲日日日| 99精品在线观看| 丰满少妇猛烈A片免费看观看| 亚洲色就是色色色| 狠狠色综合无线观看| 99ri国产精品| 91九色 婷婷| 97人人操| 人妻av在线| 丁香五月狠狠在线观看| 99热99精品在线观看| 操逼棍操逼| 五月丁香在线观看| 任你日视频| 五月天激情国产综合婷婷婷| 丁香色色网| 激情内射人妻1区2区3区| 国产无遮挡又黄又爽免费网站| 桃色五月婷婷| 91丨人妻丨国产丨丝袜| 五月婷婷丁香大陆免费| 99er这里只有精品| 精品99网站| jizzdr| 碰碰91| 中文字幕无码人妻少妇免费视频| 久久R激情| 婷婷丁香91| 日本人妻A片成人免费看片| 玖玖色资源站| 热99这里只有精品视频| 综合色激情| 久久伦乱| 五月天激情小说| 99色在线观看视频者| 色婷婷88| 亚洲日日操| 婷婷伊人网| 视频这里只有精品16| 色综合久久888| 夜夜夜夜夜操| 久久成人精品视频| 国产婷伊人| 五月色俺婷婷| 大香人妻| 这里只有精品69| 激情内射人妻1区2区3区| 九九综合五月欧美| www.97干视频| 超碰操日| 国产99热| 婷婷五月花| 天天干天天色天天干| 性生活视频98791| 亚洲婷婷丁香五月| 丁香婷五月| 天天爽天天做| 极品人妻XXXXOOOO| 大香蕉婷婷色| 99视频这里有精品| 五月丁香色综合| 超碰人人艹| 噜噜视频| 伊人免费视频9| 久久在这里有精品| 一级黄色影片| 国产97色在线| 日日操夜夜骑| 婷婷五月丁香基| 99热99热在线观看| 色九九综合| 色九亚洲| 99热在线播放| 9色操| 亚州激情网| 婷婷九月丁香| 激情综合网激情五月天| 五月丁香六月婷婷在线观看| 天天狠狠综合精区| 丁香九色不卡aaa| 欧美婷婷五月天综合| 亚洲无AV在线中文字幕| wWw色五月| 色婷婷狠狠18禁| 亚洲AV第二区国产精品| 久久九九免费视频| AV操一操| 天天夜夜六月丁香五月婷婷老师| 国产成人网| 天天爽爽日日做做| 色色99| 久久婷婷亚洲无码一起| 99爱视频在线| 伊人影院久久网| 26uuu亚洲精品国产| 五月丁香婷婷伊人| 亚洲十月婷婷综合| 色情综合| 久久多色| 婷婷午夜精品久久久| 色五月欧美| 成年人丁香五月| 婷婷丁香五月基地| 亚洲成人噜噜| 亚洲中文字幕在线电影| 这里只有精品视频在线看| 激情五月天在线视频| 色婷婷久久综合| 强伦轩人妻一区二区电影| 99九精品| www.色婷婷| 欧美日韩中国| 五月天激情久久| 色综合久久综合| 亚洲丁香五月天视频| 色婷婷丁香社综合| 丁香五月婷婷在线观看| 丁香狠狠操| 色日本五月天| 超碰免费电影| 99re8这里只有精品99re8热视频| 婷婷亚州综合| 五月天亭亭俺也| 九月丁香很很色| 99热精地址| 黄色aa观看aaguochan| 激情伊人五月天| 怡红院91a√| 第四色婷婷丁香五月| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | www.久久久久久| 婷婷大乡焦噜噜| 亚洲视频在线观看区| 色色日本| 涩涩婷婷五月| 五月色婷婷影院| 国产在线中文字幕| 夜夜躁爽日日| av中文在线| 99自拍视频在线| 狠狠色激情在线| 久久大香蕉丁香| 久久精品亚洲一级牲爱综合| 欧美婷婷综合网| 91大屁股精品| 亚洲第一黄网| 九九热在线观看视频| 96人人操人人操人人| 国外亚洲成AV人片在线观看| 美女要搞搞天天搞搞搞网站| 亚洲狠狠丁香婷婷香蕉| 婷婷播5月| 99超级碰碰| 亚洲成人免费电影| 五月婷婷六月丁香| 99成人| 久久久区区一久久久久久| 婷婷大香焦| 日本色视| 激情爱爱网站| 五月天色婷婷综合| 涩涩涩婷婷| 开心激情站| 狠狠狠夜夜夜| 五月婷婷|欧美| 香蕉综合网| 开心婷婷五月天电影院| 爱爱网址9| 99在线精品免费视频| 色狠狠色噜噜AV天堂五区 | 五月丁香婷婷人体| 激情丁香五月| YJLZZJLZZ亚洲乱熟无码| 五月天婷婷六月激情网| 五月婷婷综合在线亚洲视频| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 天天日色情| 久久天天| 激情综合网激情五月天| 激情99| 色婷婷狠狠色| 九月久久婷婷| 激情深爱五月天| 丁香婷婷五月综合影院| 婷婷性爱综合| 亚洲色五月| 五月激情综合婷婷| 欧美碰碰| 婷婷色在线| 九九久久综合网站| 一区操| 色域五月婷婷丁香| 丁香五月婷婷88在线| 色97啪啪| 97人人干人人操| 久久久久久久久久人妻| 91丨九色丨白浆秘| 日本熟妇乱妇熟色A片蜜桃| 天天爽天天草| 九九久久99精品免费观看www| CHINESE熟女老女人HD视频| 26uuu欧美日本| 啪啪啪大香蕉| 又大又粗九一在线| 五月天婷婷成人网| WWW.夜夜操.com| 婷婷不卡基地| 97色欧美| 丁香五月综合图片在线观看| 天天操天天国产三级片处女学生妹| 伦乱天堂| 五月久久噜噜| 天花AV无码| 99re6久热只有精品6在线直播| 天天网站天天爽| 亚洲色色五月| 天天综合色| 久久 这里只有精品1| 五月丁香大相交| 乱精品一区字幕二区| 欧美狠狠色| 色。 婷婷婷| 碰碰碰91| 99激情| 婷婷射图五月天| 欧美色色干| 丁香五月综合| 婷婷五月天av| 色婷婷成人丁香| 人人操人人妻| 天天插天天插天天插天天插 | a网站免费观看| 色偷偷五月天| 日韩婷婷五月天| 日日干天天射| 日比视频91| www.婷婷五月天| 五月婷婷成人| 天天干狠狠操| 婷婷五月色影视先锋| 国产黄大片在线观看画质优化| 99视频在线播放大全| 另类小说五月天激情| 天堂资源欧日浪女在线播放| 色综色网| 狠狠做深爱婷婷久久综合一区| 综合五月天完整| 激情婷婷色小说| 久久精品99久久久久久| 五月天久久婷| 色五月天电影| 天天爱天天操| 婷五月丁香| 玖玖综合色| 极品人妻VIDEOSSS人妻| 99精品热视频| VfJxEwPH| 丁香六月亚洲| 99久热在线精品| 五月婷九九草| 97人人干| 日本婷婷在线| 秋霞三及片| 久久这里精彩免费在线观看| 77777亚洲午夜久久| 九九九激情综合| 另类视频一区| 激情五月天小说网| 久久狠色噜噜狠狠狠狠97| 激情综合九月| 国产婷婷五月| 99热草草| 人人爽天天爽| 亚洲午夜电影| 婷婷丁香成人五月天| 色久在| 丁香五月天网站| 97操女视频| 嫩草AV久久伊人妇女超级A| 五月婷婷色色| 综合99久久| 丁香色婷婷| 俺去也在线视频| 婷婷婷色五月| 色激情综合| 婷婷成人AV| www.com在线操视频免费观看| 激情综合五月| 激情久久久| 色亭亭五月天丁香综合AV - 百度 - 百度| 久久这里只有精品视频26| 色热久资源| 三级黄网站| 开心五月婷婷婷美女| 婷婷激情啪啪| 我淫我色婷婷五月天激情四射| 九九激情| 成人AV免费观看| 丁香五月婷老师| 六月婷婷国产| 丁香婷婷人妻综合网| 丁香五月AV综合| 大香蕉天堂| 色色色婷婷| 人妻激情网| 久久综合9| 97超级碰人人| 色99在线| 久久伊人五月天| 日韩999| 天天色丁香| 欧美日韩成人在线网| 婷婷五月天堂| 中国激情网| 3www激情| 天堂AV在线看| 69色色视频| 久久这里只有精品1| 三级成人网站| 丁香五月日本| 五月激情开心婷婷| 开心四月婷婷在线色播播| 精品思思久久| 思思99热这里只有精品| 婷婷久久丁香五月| 成人在线综合| 婷婷五月色色| 久操干| 超碰a女人的天堂| 97色永久免费视频| 色娸娸综合网| 7777精品伊人久久久大香线蕉最新版| 综合婷| 婷婷 伊人 久久| 91精产品自偷自偷综合| 激情综合网色五月| 色五月欧美| 夜夜爱影院| 熟女91九色| 97在线/亚洲| 五月婷中文字幕| 色五月,婷婷大香蕉| 97香蕉人人在线观看| 丁香97综合| 婷婷综合色网| 色欲五月婷婷| 亚洲综合九九| 超碰在线人人| 久久久久久欧美精品se一二三四| 99综合免费视频| 蜜乳9188| 亚州精品色情无码A片| 婷婷丁香色五月亚洲| 99热欧美在线观看| 人人人人人人人人人草| 少妇久久诱惑视频| 亚洲最大五月六月丁香婷婷| 激情五月天伊人av| 99久久综合精品五月天| 丁香色综合| 人人做天天爱| 国产性爱亚洲是图| 狠狠色噜噜狠狠| 九九热精品6| 亚洲最大激情无码| 欧美色色色色色色| 九热免费视频| 欧美日韩99| 婷婷丁香久久| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 国产色网站| 香蕉婷婷色五月| 中文字幕 码精品视频网站| 欧洲永久精品| 第四色婷婷最爱| 99re这里只有精品在线观看| 色婷在线视频| 97久久精品视频| 色色五月激情| 色吊丝99| av成人在线播放| 影音先锋一区二区三区| 精a品a视a频| 色婷丨日丨天丨综合久久| 丁香网五月天激情| 亚洲精品永久久久久久| 久久五月婷婷丁香| 婷婷激情社区| 91婷婷色| 国产精品色| 久久久天堂国产精品女人| AV网址大全在| 91成人品| 婷婷五月天激情四射五月天激情| 天天天天天操| 噜噜噜久久亚洲精品国产品91| www热久久yy9| 99热一区| 色青青电影色五月| 无码九九九九| av中文在线| 六月色色综合| 99热这里只有精品22| 91婷婷色| 久久久五月天| 大香蕉 婷婷| 久久精品91视频| 99re99在线看| 久久99久久99精品免视看婷婷| 五月的色婷婷高潮| 97av在线视频|