欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

自研輕量調(diào)度引擎ax:時(shí)間輪模型、狀態(tài)機(jī)與分布式鎖實(shí)踐

自研輕量調(diào)度引擎ax:時(shí)間輪模型、狀態(tài)機(jī)與分布式鎖實(shí)踐 先說說 ax 是怎么來的。它不是拍腦袋造出來的輪子而是被一堆定時(shí)任務(wù)和失敗重試的問題逼出來的內(nèi)部項(xiàng)目。當(dāng)時(shí)我手上有一個(gè)數(shù)據(jù)平臺(tái)跑著大量同步、緩存刷新、報(bào)表生成、IoT 指令下發(fā)之類的活一開始全用 cron 頂著上了集群之后才發(fā)現(xiàn)cron 根本回答不了這幾個(gè)問題同一時(shí)刻到底該哪臺(tái)機(jī)器執(zhí)行機(jī)器掛了任務(wù)誰來接管執(zhí)行失敗了要不要重試、怎么重試ax 調(diào)度這個(gè)內(nèi)部代號(hào)指的就是為了解決這些問題而做的一套輕量調(diào)度內(nèi)核。這篇文章把我從需求梳理、模型選型、核心實(shí)現(xiàn)到踩坑排查的完整過程寫下來給正在考慮自研調(diào)度器、或者單純想搞懂調(diào)度底層原理的朋友一個(gè)參考。1. 為什么會(huì)出現(xiàn) ax 這個(gè)調(diào)度引擎先交代清楚項(xiàng)目從哪來這部分決定了后面所有設(shè)計(jì)決策不看背景直接看代碼容易產(chǎn)生為什么要做這么復(fù)雜的誤解。1.1 業(yè)務(wù)場(chǎng)景里定時(shí)任務(wù)到底缺什么在我們的業(yè)務(wù)里典型任務(wù)長這樣每天凌晨 2 點(diǎn)同步一次訂單數(shù)據(jù)到數(shù)倉每 5 分鐘刷新一次熱點(diǎn)商品的本地緩存每小時(shí)生成一份經(jīng)營報(bào)表每分鐘向一批智能設(shè)備下發(fā)控制指令。單機(jī)單實(shí)例的時(shí)候crontab完全夠用寫幾行配置、配個(gè)日志輪轉(zhuǎn)問題就結(jié)束了。但服務(wù)一上集群語義立刻變了。首先是重復(fù)執(zhí)行兩臺(tái)機(jī)器同時(shí)從配置中心拉到了同一批任務(wù)到了觸發(fā)時(shí)間各自執(zhí)行一遍緩存刷新這種冪等操作還好數(shù)據(jù)同步、訂單推送這種操作就會(huì)出現(xiàn)重復(fù)寫入嚴(yán)重時(shí)直接把對(duì)端系統(tǒng)打掛。其次是無人接管某臺(tái)機(jī)器宕機(jī)后它身上掛著的任務(wù)在它重啟之前永遠(yuǎn)不會(huì)再被觸發(fā)除非人工介入。再一個(gè)是失敗無補(bǔ)償任務(wù)執(zhí)行到一個(gè)中間步驟拋異常cron 只能記一行日志然后等下個(gè)周期但很多任務(wù)需要馬上重試、需要退避、需要告警。這些問題的本質(zhì)是時(shí)間觸發(fā)只是調(diào)度最表層的功能真正的調(diào)度是分布式環(huán)境下對(duì)任務(wù)歸屬、執(zhí)行狀態(tài)和失敗補(bǔ)償?shù)墓芾?。理解了這一點(diǎn)后面設(shè)計(jì)狀態(tài)機(jī)、冪等、分布式鎖的時(shí)候就不會(huì)覺得小題大做。1.2 為什么沒有直接套用現(xiàn)成的開源調(diào)度框架不少朋友聽到自研調(diào)度的第一反應(yīng)是有病吧XX 不香嗎。我承認(rèn)成熟框架功能全、社區(qū)大、文檔多但它解決不了我們的三個(gè)實(shí)際問題。第一是太重。我們有一部分服務(wù)要部署在邊緣節(jié)點(diǎn)上設(shè)備內(nèi)存很小平時(shí)只跑一個(gè)輕量 Agent塞進(jìn)一個(gè)完整調(diào)度框架的客戶端和依賴光依賴沖突就能折騰一整天。我們需要的是一個(gè)可以被裁剪的內(nèi)核邊緣節(jié)點(diǎn)只保留注冊(cè)、觸發(fā)、執(zhí)行、回報(bào)四條鏈路中心節(jié)點(diǎn)才啟用完整的重試、鎖、狀態(tài)機(jī)能力。第二是線程模型不透明。調(diào)度框架為了通用性線程池、隊(duì)列策略、鎖實(shí)現(xiàn)往往是黑盒。真到了線上任務(wù)積壓、延遲飆升的時(shí)候你只能去論壇翻 issue沒法直接通過代碼判斷瓶頸在哪。自研之后整個(gè)線程模型長什么樣我們心里有數(shù)出問題能直接看源碼定位。第三是學(xué)習(xí)成本。為了用好一個(gè)框架團(tuán)隊(duì)需要讀一遍它的架構(gòu)設(shè)計(jì)、配置項(xiàng)和故障排查手冊(cè)這成本遠(yuǎn)比寫一個(gè)夠用的調(diào)度內(nèi)核高。當(dāng)然這里不是勸大家都去自研而是說當(dāng)你的運(yùn)行環(huán)境、資源約束和現(xiàn)成框架的假設(shè)不一致時(shí)自研內(nèi)核是一個(gè)合理選項(xiàng)。ax 也不是一個(gè)完整平臺(tái)它只做調(diào)度引擎不做工作流編排邊界非??酥啤?.3 命名由來與項(xiàng)目邊界ax 原來的全稱是 Agile eXecutor后來覺得這名字太正經(jīng)就干脆當(dāng)成一個(gè)內(nèi)部代號(hào)沿用下來。項(xiàng)目邊界從一開始就畫得很清楚只做時(shí)間觸發(fā) 狀態(tài)管理 失敗補(bǔ)償不做 DAG 編排、不做分布式事務(wù)、不做 Web 控制臺(tái)。這些能力留給上層業(yè)務(wù)按需搭建。這句話說起來輕巧實(shí)際上非常關(guān)鍵。很多自研項(xiàng)目死在順便把 XX 也做了上邊界一模糊就再也不可能輕量了。ax 的核心鏈路就五環(huán)注冊(cè)任務(wù)、等待觸發(fā)、投遞執(zhí)行、收集結(jié)果、失敗重試。其他一切都要圍繞這五環(huán)不許亂長功能。2. ax 的核心設(shè)計(jì)調(diào)度模型怎么選調(diào)度引擎的靈魂不在代碼而在模型。模型選錯(cuò)了后面每修一個(gè) bug 都是在給錯(cuò)誤決策補(bǔ)窟窿。2.1 調(diào)度模型對(duì)比輪詢、延遲隊(duì)列、時(shí)間輪我最早考慮過三種方案挨個(gè)說下取舍。第一種是數(shù)據(jù)庫輪詢。每隔固定時(shí)間掃描一張任務(wù)表把到期任務(wù)撈出來執(zhí)行。它的優(yōu)點(diǎn)是真的簡單任務(wù)定義、狀態(tài)天然落庫重啟不丟數(shù)據(jù)。缺點(diǎn)也很明顯掃描間隔決定了調(diào)度延遲下限間隔設(shè)置到 1 秒數(shù)據(jù)庫壓力就上來了而且每臺(tái)機(jī)器都掃同一個(gè)表還需要額外做分布式搶鎖把簡單問題復(fù)雜化。這種方案適合任務(wù)量小、秒級(jí)延遲完全無所謂的場(chǎng)景。第二種是延遲隊(duì)列。JDK 自帶的DelayQueue或者用 Redis 的 zset 按執(zhí)行時(shí)間戳排序再起一個(gè)線程不斷取隊(duì)首。延遲精度比數(shù)據(jù)庫輪詢高很多能做到毫秒級(jí)。但它有內(nèi)存或存儲(chǔ)開銷問題而且取出到投遞的過程仍然需要有人盯著隊(duì)首本質(zhì)上還是一個(gè)輪詢只是粒度變細(xì)了。第三種就是時(shí)間輪。它用環(huán)形數(shù)組模擬表盤指針每走一個(gè) tick就把當(dāng)前槽位上的任務(wù)批量取出來。插入和移除的時(shí)間復(fù)雜度都是 O(1)不依賴數(shù)據(jù)庫適合高頻、短延遲的場(chǎng)景。我用一個(gè)餐廳類比來理解它不采用時(shí)間輪的做法是傳菜員拿手機(jī)給每桌設(shè)一個(gè)倒計(jì)時(shí)菜越多越手忙腳亂時(shí)間輪相當(dāng)于把廚房出菜口做成一個(gè)旋轉(zhuǎn)轉(zhuǎn)盤每個(gè)菜做好放到對(duì)應(yīng)的格子轉(zhuǎn)盤轉(zhuǎn)一圈到口的菜自動(dòng)流出來傳菜員只要守著轉(zhuǎn)盤出口就行。ax 最終選了時(shí)間輪作為核心調(diào)度結(jié)構(gòu)但不是全盤取代延遲隊(duì)列——長時(shí)間任務(wù)組合了一個(gè)輔助線程來處理后面 2.2 節(jié)細(xì)講。2.2 時(shí)間輪的工作原理與選型原因時(shí)間輪的本質(zhì)是一個(gè)環(huán)形數(shù)組每個(gè)槽位代表一個(gè)時(shí)間單位槽位上掛著一個(gè)任務(wù)鏈表。假設(shè) tick 是 100 毫秒輪盤有 512 個(gè)槽那么轉(zhuǎn)一圈的時(shí)間是 51.2 秒。指針每一 tick 前進(jìn)一步把當(dāng)前槽位鏈表里的所有任務(wù)取出來逐個(gè)投遞給執(zhí)行線程池。這里有幾個(gè)點(diǎn)必須想清楚。第一任務(wù)延遲超過了輪盤一圈怎么辦兩種常見解決思路一是多級(jí)時(shí)間輪類似水表上的小數(shù)位低層轉(zhuǎn)一圈高層走一格二是記錄圈數(shù)任務(wù)進(jìn)槽位時(shí)帶上還需要轉(zhuǎn)幾圈每圈只做計(jì)數(shù)。ax 用的是更懶但更實(shí)用的方案51.2 秒以內(nèi)的任務(wù)直接進(jìn)時(shí)間輪超過 51.2 秒的定時(shí)任務(wù)放到一個(gè)獨(dú)立的優(yōu)先隊(duì)列里由一個(gè)周期線程負(fù)責(zé)到點(diǎn)后把任務(wù)換算成時(shí)間輪內(nèi)的絕對(duì)時(shí)間再注冊(cè)進(jìn)去。之所以這么設(shè)計(jì)是因?yàn)?90% 的業(yè)務(wù)任務(wù)周期都在分鐘級(jí)到小時(shí)級(jí)用單層時(shí)間輪處理短延遲用輔助隊(duì)列兜底長周期兩套配合代碼量最少心智負(fù)擔(dān)最小。第二個(gè)需要想清楚的是槽位沖突。多個(gè)任務(wù)到期時(shí)間可能落到同一個(gè) tick 里所以槽位上掛鏈表而不是單個(gè)節(jié)點(diǎn)。取出當(dāng)前槽位鏈表后必須先把整個(gè)鏈表摘下來再逐個(gè)執(zhí)行避免執(zhí)行過程中新加入的任務(wù)污染當(dāng)前批次。第三個(gè)是精度與性能的取舍。如果 tick 設(shè)到 10 毫秒理論上調(diào)度延遲更小但 CPU 成本明顯上升因?yàn)槊總€(gè) tick 都要做一次取鏈表、判空、加鎖空轉(zhuǎn)也是開銷。ax 最終定了 100 毫秒 tick實(shí)測(cè)下來覆蓋絕大多數(shù)業(yè)務(wù)沒問題。誰要是跑到秒級(jí)以下實(shí)時(shí)調(diào)度那是實(shí)時(shí)任務(wù)系統(tǒng)的活不該讓調(diào)度引擎硬扛。2.3 任務(wù)狀態(tài)機(jī)設(shè)計(jì)調(diào)度系統(tǒng)最怕狀態(tài)定義模糊。執(zhí)行到一半算不算失敗正在等待重試的任務(wù)被手動(dòng)取消是哪種狀態(tài)這些問題不提前定清楚后續(xù)寫分布式鎖和冪等一定會(huì)亂。ax 把任務(wù)實(shí)例的生命周期定義成下面這張表狀態(tài)含義觸發(fā)動(dòng)作PENDING已注冊(cè)等待觸發(fā)注冊(cè)時(shí)寫入TRIGGERED觸發(fā)時(shí)間到已投遞給執(zhí)行線程時(shí)間輪取出時(shí)寫入RUNNING執(zhí)行器正在執(zhí)行執(zhí)行器啟動(dòng)時(shí)寫入SUCCESS執(zhí)行成功執(zhí)行器回報(bào)時(shí)寫入FAILED執(zhí)行失敗不再重試重試次數(shù)耗盡時(shí)寫入RETRY_WAITING執(zhí)行失敗等待退避重試計(jì)算退避時(shí)間后從 RUNNING 轉(zhuǎn)入CANCELLED手動(dòng)取消取消接口調(diào)用時(shí)寫入每次狀態(tài)變更都會(huì)發(fā)布一個(gè)事件告警模塊訂閱FAILED和RETRY_WAITING監(jiān)控模塊訂閱RUNNING和SUCCESS做耗時(shí)統(tǒng)計(jì)。這里有個(gè)容易踩的坑RETRY_WAITING這個(gè)狀態(tài)必須單獨(dú)存在不能直接把任務(wù)丟回 PENDING否則你無法區(qū)分一個(gè)從沒執(zhí)行過的任務(wù)和一個(gè)失敗后準(zhǔn)備重跑的任務(wù)重試次數(shù)和退避時(shí)間的隔離也就無從談起。3. 核心實(shí)現(xiàn)時(shí)間輪、分發(fā)與執(zhí)行線程這一章直接拆源碼級(jí)別的實(shí)現(xiàn)思路。我不會(huì)貼完整工程但會(huì)把關(guān)鍵數(shù)據(jù)結(jié)構(gòu)和執(zhí)行路徑講清楚照著寫一個(gè)最小可用版本不難。3.1 時(shí)間輪的數(shù)據(jù)結(jié)構(gòu)與推進(jìn)邏輯時(shí)間輪可以用一個(gè)類來表達(dá)核心就三塊數(shù)組槽位、當(dāng)前指針、tick 間隔。簡化版本長這樣public class TimingWheel { private final long tickDurationMs; // 每格時(shí)間固定 100ms private final int ticksPerWheel; // 格子數(shù)量固定 512 private final AtomicInteger currentTick; // 當(dāng)前指針位置 private final Node[] slots; // 環(huán)形數(shù)組 public TimingWheel(long tickDurationMs, int ticksPerWheel) { this.tickDurationMs tickDurationMs; this.ticksPerWheel ticksPerWheel; this.currentTick new AtomicInteger(0); this.slots new Node[ticksPerWheel]; } public void add(long deadlineMs, Task task) { long remainMs deadlineMs - System.currentTimeMillis(); if (remainMs 0) { // 已經(jīng)過期立即投遞 executor.submit(task); return; } int tickOffset (int) (remainMs / tickDurationMs); if (tickOffset ticksPerWheel) { // 超過一輪交給長周期隊(duì)列處理 longQueue.offer(new LongTermTask(deadlineMs, task)); return; } int targetIdx (currentTick.get() tickOffset) % ticksPerWheel; slots[targetIdx].add(task); } public void advance() { int idx currentTick.getAndIncrement() % ticksPerWheel; Node node slots[idx].drain(); while (node ! null) { executor.submit(node.task); node node.next; } } }注意幾個(gè)關(guān)鍵的取舍add里用的是System.currentTimeMillis()去算業(yè)務(wù)上的絕對(duì)到期時(shí)間但advance()的推進(jìn)節(jié)奏不能依賴它否則系統(tǒng)時(shí)鐘被 NTP 調(diào)整時(shí)可能出大問題這個(gè)坑我放到第 5 章細(xì)說。另外取出槽位鏈表用的是drain()不是getAndClear()含義是把當(dāng)前槽位鏈表整體摘下來交給執(zhí)行線程池同時(shí)立即允許新的任務(wù)重新掛到這個(gè)槽位。這樣避免了遍歷執(zhí)行完再還回去過程中的鎖持有可能阻塞調(diào)度線程的問題。3.2 調(diào)度線程與執(zhí)行線程的協(xié)作方式調(diào)度線程是純粹的時(shí)間驅(qū)動(dòng)者它由一個(gè)單線程調(diào)度器驅(qū)動(dòng)每隔 100ms 調(diào)用一次advance()。它的職責(zé)只有一個(gè)把到期的任務(wù)從槽位鏈表搬進(jìn)執(zhí)行線程池的隊(duì)列里絕不親自執(zhí)行任務(wù)。這里的原則是調(diào)度線程永遠(yuǎn)不能阻塞。很多調(diào)度框架延遲增高的原因就是不小心在調(diào)度線程里做了 IO、打了日志、或者同步等待執(zhí)行結(jié)果。ax 在這塊畫了死線調(diào)度線程里禁止拋出業(yè)務(wù)異常任務(wù)投遞動(dòng)作全部走 try-catch即使某個(gè)任務(wù)注冊(cè)時(shí)因?yàn)閰?shù)非法崩了也不能影響同一槽位里其他任務(wù)的投遞。執(zhí)行線程池用的配置我建議這么設(shè)核心線程數(shù)按 CPU 核數(shù)乘 2最大線程數(shù)按核心線程數(shù)的 2 倍隊(duì)列用有界隊(duì)列容量根據(jù)任務(wù)量壓測(cè)來定拒絕策略選CallerRunsPolicy。很多人會(huì)選AbortPolicy覺得任務(wù)太多寧可丟但調(diào)度場(chǎng)景下丟了意味著數(shù)據(jù)同步、緩存刷新、報(bào)表會(huì)缺一次后果比阻塞更嚴(yán)重。CallerRunsPolicy的意思是線程池滿了之后讓調(diào)度線程自己幫忙跑任務(wù)雖然調(diào)度線程會(huì)被拖住短暫時(shí)間但至少任務(wù)不會(huì)丟用微量的延遲換任務(wù)可靠性值得。3.3 重試、冪等與分布式鎖任務(wù)接口我強(qiáng)烈建議返回Result(code, message)而不是裸拋異常。背后的原因很簡單拋異常只能表達(dá)失敗了表達(dá)不了這是可以重試的失敗還是這是業(yè)務(wù)上確定失敗的失敗。比如第三方接口明確返回參數(shù)不合法你再重試一百次也沒用返回 503 超時(shí)重試就有意義。所以任務(wù)結(jié)果至少要帶兩個(gè)字段retryable和message。重試退避我選了指數(shù)退避加噪聲long backoff baseMs * (1L (attempt - 1)) RandomUtils.nextLong(0, 1000);為什么加噪聲因?yàn)槿绻麕资畟€(gè)失敗任務(wù)剛好同時(shí)進(jìn)入重試隊(duì)列第一次退避后它們又會(huì)同時(shí)醒來產(chǎn)生的不是重試而是二次流量高峰。加一個(gè) 0 到 1 秒的隨機(jī)量可以有效打散這批請(qǐng)求。分布式鎖是自研調(diào)度繞不開的一道坎。ax 用的是 Redis setnx 實(shí)現(xiàn)的租約鎖拿到鎖的節(jié)點(diǎn)才允許執(zhí)行任務(wù)。最核心的注意點(diǎn)是鎖必須帶租約時(shí)間租約期間執(zhí)行者必須主動(dòng)續(xù)期。否則出現(xiàn)任務(wù)執(zhí)行耗時(shí)超過租約鎖過期被其他節(jié)點(diǎn)拿走兩個(gè)節(jié)點(diǎn)同時(shí)執(zhí)行同一個(gè)任務(wù)的場(chǎng)景你根本查不出是哪臺(tái)機(jī)器干了兩遍。這個(gè)坑的完整排查過程我放到 5.3 節(jié)。此外每個(gè)任務(wù)實(shí)例生成一個(gè)全局唯一executionId執(zhí)行器寫數(shù)據(jù)時(shí)把這個(gè) ID 落到數(shù)據(jù)庫唯一索引。即便鎖機(jī)制真的出了某種極端問題數(shù)據(jù)庫也會(huì)兜住最后一層防線。分布式系統(tǒng)沒有單點(diǎn)保障必須層層設(shè)防。4. 實(shí)操搭一個(gè)最小可用的 ax 調(diào)度核心講完原理給一套可以直接參考落地的骨架代碼。目標(biāo)是讓讀者看完能跑起一個(gè)最小調(diào)度器并掛上一個(gè)真實(shí)任務(wù)。4.1 核心接口與代碼骨架三個(gè)核心接口缺一不可public interface Job { Result execute(JobContext ctx); } public class JobContext { private String jobName; private String executionId; private long triggerAt; // 以及需要的配置項(xiàng)、日志句柄等 }任務(wù)注冊(cè)請(qǐng)求的定義public class ScheduleRequest { private String jobName; private long triggerAtMs; // 首次觸發(fā)時(shí)間 private long intervalMs; // 周期0 表示單次任務(wù) private int maxRetries; // 最大重試次數(shù) private long retryBaseMs; // 退避基準(zhǔn)時(shí)間 private Job job; // 實(shí)際執(zhí)行邏輯 }這里我把 Job 直接塞進(jìn)請(qǐng)求里是為了演示方便生產(chǎn)環(huán)境建議改為jobName - Job 實(shí)例的注冊(cè)表調(diào)度請(qǐng)求只帶名字和參數(shù)。4.2 注冊(cè)、啟動(dòng)、關(guān)閉流程啟動(dòng)流程三步走初始化時(shí)間輪、初始化執(zhí)行線程池、啟動(dòng)調(diào)度線程。public class AxScheduler { private TimingWheel wheel; private ExecutorService executor; private ScheduledExecutorService scheduler; private MapString, Job jobRegistry; public void start() { wheel new TimingWheel(100, 512); executor new ThreadPoolExecutor( coreSize, maxSize, 60, TimeUnit.SECONDS, new ArrayBlockingQueue(queueSize), new CallerRunsPolicy() ); scheduler.scheduleAtFixedRate(wheel::advance, 0, 100, TimeUnit.MILLISECONDS); } public void register(String name, Job job) { jobRegistry.put(name, job); } public void schedule(ScheduleRequest req) { wheel.add(req.triggerAtMs, () - { JobContext ctx new JobContext(req.jobName, genExecutionId()); // 執(zhí)行前的分布式鎖檢查、狀態(tài)流轉(zhuǎn)觸發(fā) jobRegistry.get(req.jobName).execute(ctx); }); } public void shutdown() { // 第一步停止調(diào)度線程不再產(chǎn)生新觸發(fā) // 第二步等待執(zhí)行中任務(wù)完成帶超時(shí) // 第三步關(guān)閉執(zhí)行線程池 } }關(guān)閉流程是很多人忽視的重災(zāi)區(qū)。直接調(diào)executor.shutdownNow()雖然快但會(huì)把執(zhí)行到一半的數(shù)據(jù)同步任務(wù)硬生生掐斷。ax 的優(yōu)雅關(guān)閉順序是先停調(diào)度線程避免新任務(wù)進(jìn)入再給執(zhí)行線程池一個(gè)寬限期讓它把已投遞的任務(wù)執(zhí)行完寬限期過了還賴著不走的才強(qiáng)制關(guān)閉。同樣的思路要應(yīng)用到長周期輔助線程和狀態(tài)上報(bào)鏈路上。4.3 完整示例緩存預(yù)熱任務(wù)每天凌晨 2 點(diǎn)把熱點(diǎn)商品信息從 MySQL 加載到本地緩存這個(gè)任務(wù)非常適合拿來示范jobRegistry.register(hot-cache-warmup, (ctx) - { ListString hotIds queryHotIdsFromDB(); for (String id : hotIds) { ProductInfo info queryProduct(id); cache.put(product: id, info); } log.info(cache warmup done, count{}, hotIds.size()); return Result.success(); });注冊(cè)調(diào)度請(qǐng)求時(shí)可以這樣寫ScheduleRequest req new ScheduleRequest(); req.jobName hot-cache-warmup; req.triggerAtMs nextTriggerAt(2, 0); // 下一個(gè)凌晨 2 點(diǎn) req.intervalMs 24 * 60 * 60 * 1000L; // 每天一次 req.maxRetries 3; req.retryBaseMs 1000; scheduler.schedule(req);掛上去之后立刻觀察三個(gè)點(diǎn)第一任務(wù)觸發(fā)時(shí)間是否穩(wěn)定在監(jiān)控上畫一條實(shí)際執(zhí)行時(shí)間 - 預(yù)計(jì)算執(zhí)行時(shí)間的差曲線第二執(zhí)行耗時(shí)是否平穩(wěn)突然的耗時(shí)尖峰往往意味著依賴的下游慢了第三失敗重試日志是否正確進(jìn)入RETRY_WAITING狀態(tài)而不是直接消失。這三個(gè)監(jiān)控點(diǎn)如果都正常這個(gè)調(diào)度器就可以開始承接更多任務(wù)了。5. 常見問題與排查技巧實(shí)錄這一章是踩坑實(shí)錄全部來自實(shí)際運(yùn)行中遇到的故障和排查過程按問題出現(xiàn)概率排序。5.1 時(shí)鐘回?fù)芤l(fā)任務(wù)延遲最隱蔽的問題沒有之一?,F(xiàn)象是某天任務(wù)大面積延遲每個(gè)任務(wù)都慢幾十到幾百毫秒偶爾慢到秒級(jí)。第一反應(yīng)查線程池沒滿查時(shí)間輪指針看起來在走。后來才發(fā)現(xiàn)是宿主機(jī)系統(tǒng)時(shí)間被 NTP 服務(wù)往回?fù)芰艘幌聦?dǎo)致所有基于System.currentTimeMillis()的剩余時(shí)間計(jì)算全部錯(cuò)亂。排查過程不算難對(duì)比宿主機(jī)日志里的時(shí)間源和任務(wù)延遲曲線就能發(fā)現(xiàn)。解決方案分兩層第一所有業(yè)務(wù)觸發(fā)時(shí)間計(jì)算仍以墻上時(shí)鐘為準(zhǔn)這是語義需要第二時(shí)間輪推進(jìn)節(jié)奏改用System.nanoTime()計(jì)算 delta它不受系統(tǒng)時(shí)鐘調(diào)整影響保證單調(diào)遞增。這樣即便墻上時(shí)鐘跳了調(diào)度線程本身不會(huì)亂走頂多觸發(fā)時(shí)間整體偏差一次下個(gè)周期自動(dòng)糾正。我還順手加了一個(gè)啟動(dòng)檢查如果時(shí)間輪指針發(fā)生回跳立即告警并自動(dòng)復(fù)位到當(dāng)前時(shí)間對(duì)應(yīng)的槽位。5.2 線程池飽和與任務(wù)堆積第二個(gè)高頻問題是執(zhí)行線程池被占滿表現(xiàn)是任務(wù)延遲開始累積越積越多直達(dá) 10 分鐘以上甚至幾個(gè)小時(shí)。排查的時(shí)候不要先看 CPUCPU 高反而可能是執(zhí)行線程在空轉(zhuǎn)等待下游 IO。正確的排查順序是先看線程池活躍線程數(shù)是否長期等于最大線程數(shù)再看隊(duì)列大小是否持續(xù)增長最后看任務(wù)的執(zhí)行耗時(shí)分布有沒有明顯右移。ax 在這個(gè)問題上加了兩個(gè)保險(xiǎn)。一是執(zhí)行耗時(shí)自動(dòng)打點(diǎn)超過 P95 閾值就記一條慢任務(wù)日志定位是哪個(gè)任務(wù)在拖累整體二是支持對(duì)單個(gè) Job 單獨(dú)配置并發(fā)上限避免某個(gè)慢任務(wù)無限占用公共線程池。這里我再強(qiáng)調(diào)一次CallerRunsPolicy一旦線程池滿了調(diào)度線程被迫幫忙執(zhí)行任務(wù)會(huì)反過來拖慢時(shí)間輪推進(jìn)但這是主動(dòng)選擇的可靠優(yōu)先策略寧可慢不可丟。5.3 分布式重復(fù)執(zhí)行第三次踩坑是在一個(gè)報(bào)表任務(wù)上。這個(gè)任務(wù)平常 2 秒跑完鎖租約設(shè)的 5 秒一直相安無事。某天上游數(shù)據(jù)量暴增任務(wù)執(zhí)行耗時(shí)漲到 8 秒鎖在第 5 秒過期另一個(gè)調(diào)度節(jié)點(diǎn)立刻以任務(wù)無人執(zhí)行為由搶鎖再跑了一遍于是兩份報(bào)表同時(shí)生成下游對(duì)賬對(duì)不上。這個(gè)案例暴露了兩個(gè)問題第一租約不夠長當(dāng)時(shí)只按平時(shí)耗時(shí)的 2.5 倍設(shè)置沒預(yù)留出足夠的波動(dòng)空間第二沒有續(xù)租機(jī)制執(zhí)行者持有鎖期間不會(huì)主動(dòng)給鎖續(xù)期一旦超時(shí)只能眼睜睜被搶。修復(fù)措施是雙重保險(xiǎn)執(zhí)行線程內(nèi)部起一個(gè)租約續(xù)期守護(hù)線程每過租約時(shí)長的一半就續(xù)一次同時(shí)執(zhí)行器寫庫時(shí)帶上executionId唯一索引即使將來鎖機(jī)制再有閃失數(shù)據(jù)庫也會(huì)拒絕第二條重復(fù)寫。這個(gè)案例被團(tuán)隊(duì)當(dāng)作反面教材之后所有任務(wù)上線前都要做一次鎖租約、任務(wù)耗時(shí)的推演。5.4 精度與性能的取舍最后聊一個(gè)不算 bug 的取舍。一開始把 tick 設(shè)成 50ms任務(wù)延遲是低了但 CPU 占用比 100ms 時(shí)高了不少。原因很簡單每個(gè) tick 都要做一次數(shù)組定位、鏈表摘取、并發(fā)安全處理即使大部分槽位是空的這些操作的成本省不掉。后來做了個(gè)對(duì)比壓測(cè)同一批任務(wù)在 50ms tick 和 100ms tick 下的調(diào)度延遲差別大約只有幾十毫秒但 CPU 開銷差了近一倍。于是我默默把 tick 調(diào)回 100ms并且只有一個(gè)特殊業(yè)務(wù)對(duì)觸發(fā)時(shí)間精度要求 20ms 以內(nèi)的實(shí)時(shí)指令下發(fā)單獨(dú)開了一個(gè)細(xì)粒度輪盤跟主輪盤隔離互不干擾。這個(gè)案例說明調(diào)度精度不是一個(gè)可以無限優(yōu)化的指標(biāo)想清楚了業(yè)務(wù)真實(shí)需求再定參數(shù)比盲目調(diào)小 tick 更值得。最后給一點(diǎn)實(shí)際建議。如果你也想寫一個(gè)類似的調(diào)度器不要把精力全花在時(shí)間輪算法上那只是入口。真正決定這個(gè)項(xiàng)目能不能扛住生產(chǎn)壓力的是三件事狀態(tài)一致性、冪等控制、失敗補(bǔ)償。ax 走到今天我自己估算至少有 70% 的調(diào)試時(shí)間都花在任務(wù)到底算成功沒有、到底該不該再執(zhí)行一次這類問題上剩下的才是時(shí)間推算、性能調(diào)優(yōu)和監(jiān)控告警。把這些底子打牢再談?wù){(diào)度精度才有意義。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色青青视频| 五月丁香黄色| 3p九色在线| 九九热在线观看6| 久久久久思思热| www.91五月| 婷婷五月丁香影院| 色综合综合综合| 婷婷丁香六月五月天| 丁香六月啪| 五月丁香婷婷啪啪| WwW色婷婷| 操丝袜视频影院导航| 操91| AAA亚洲AV| 麻豆忘忧草午夜| 婷婷深爱五月丁香| 久久人人看| 免费无码毛片一区二区A片| 久久er九九| 激情综合网激情五月婷婷| 激情五月黄色小说| 色婷婷亚洲综合天堂| 丁香五月六月婷婷殴美综合| 4438激情网| 欧美成人A片AAA片在线播放 | 97色婷| 婷婷射婷婷舔| 久久婷婷影院| 无码少妇高潮喷水A片免费| 天天在线XXX| 97视频91| 欧美啪啪网| 九九久久精品| 五月天婷婷成人资源站| 色九亚洲| 超碰成人黄色网| 亚洲视频操| 婷婷六月丁香久| 五月婷婷九| 五月丁香六月婷婷网| 天天操天爱综合| 亚洲啪啪啪啪| 老妇六区| 69er小视频| 偷偷操99| 大香蕉久久伊人网| 五月天激情久久| 99国产这里只有精品| 激情四射五月天偷偷看婷婷| 丁香五月综合无码趴趴| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | WWW.国产| 五月天婷婷在线AN| 婷婷视频在线| 亚洲情综合五月天| 曰韩五月丁香色婷婷无码| 国产亚洲精久久久久| 好看的国产精品| 99re资源在线视频导航| 麻豆AV一区二区三区| 五月婷婷综合激情网| 亚洲第精品| 色99网| 成人在线免费网址| 日韩精品视频中文字幕| 婷婷五月天综合在线| www.国产色| 六月婷久久| www久久艹| 五月丁香婷婷免费视频| 天天综合久久| 日日噜噜夜夜狠狠久久丁香六月| 91精品久久久久久久久| 日韩啪啪视频| 丁香六月色情| 色婷婷社区| 99久视频| 综合激情在线视频| 超碰猛烈的性猛交| 五月丁香人妻| 婷婷综合网| 久色网| 99国产精品久久久久久久久久久 | 五月丁香婷婷五月色| 国产片XXXXA片国语对白| 婷婷五月天色色| 丰满少妇猛烈A片免费看观看| 99爱视频在线观看| 亚洲岛国电影| 丁香九月婷婷| 婷婷亚洲五月丁香综合在线| 人人人操97| 人人色人人摸人人看| 精品人妻久久久| 四色五月婷婷| 99在线精品观看99| 色情五月天导航| 五月天婷婷基地| 五月丁香六月日逼| 婷色综合| 婷婷精品在线| 亚洲精品色色色| 亚洲精品大片| 色色五月天婷婷丁香| 99热这里在线精品| 日韩在线视频9色| 狠狠爱婷婷丁香| 欧美日韩国产一区| 青青草六月丁香| 婷婷五月天综合网| 亚洲AV免费国产电影| 六月色色| 五月综合色播播丁香婷婷| 婷婷激情四射| 99热综合色图| 婷婷五月天成人综合网| 九九伊人网| 九热久| 99免费在线| 色爆五月| 99r久久这里只有精品| 丁香六月婷| 粉嫩AV久久一区二区三区| 色噜噜狠狠色综合无码久久欧美| 久久久精品AV| xxxx久| 久久婷婷六月综合综合| 中文字幕婷婷在线| 天天狠狠干| 9精品一区| 五月亭亭直播| 欧美A片在线视频免费观看| 色婷久| 思思热精品在线视频| 久久婷婷艹| 四月婷婷丁香| 一级二级色大片| 思思热在线| 182TV大香蕉| 婷婷丁香宗合888| 婷婷射综合| 久久99综合| 九九热色视频| 精品人妻伦一二三区久久| 激情性爱五月天| 伊人在线视频| 天插天啪天啪天啪| 五月婷婷www| 色欲色香综合网| 射久久丁香五月| 97资源欧美日韩大香蕉超碰一区| 五月天激情综合在线| 亚洲成人一区| 99热精品在线观看| 嫩草极品| 激情五月天综合网| 另类伊人婷婷| 日本欧美成人片AAAA| 激情综合网,婷婷| 精品热九九| 日本久久人| 五月天激情影院| 99色婷婷| 亚洲操操操| 99热这里有精品首页10| 99视频内射三四| 五月 婷 久| 婷婷色网| 99热8在线| 99综合久久| 九九久久综合网站| 337p大胆噜噜噜噜噜91Av| 啪啪色区| 五月丁香啪啪啪啪| 99热这里只有免费| 五月婷婷色色色| 欧美色五月| 国产精品日日躁夜夜躁| 欧美色骚婷婷五月天| 91精品婷婷国产综合久久| 99视频日韩| www色婷婷com| 婷婷激情丁香六月| 色婷婷小说| 丁香五月激情啪啪啪| 婷婷97| 九九九九这里只有精品| 自拍偷窥99热| 97色热| 五月综合视频| 九九激情视频| 清色五月天| 91AV婷婷| www.久久99热地址发布| 中文婷婷狠狠| 另类激情网| www.99在线| 久久久中文| 69精品人人人人人人| 亚洲va在线| 五月伊人91| av大香蕉| 激情电影五月婷婷| 亚洲五月天天| 99视频精品在线| 超碰免费成人| 中文字幕成人网站| 五月婷婷免费| 欧美日本免费一道免费视频| 欧美婷婷丁香五月社区| 91九色熟女| 天啪色| 久久婷婷五月综合啪| 色吧五月| 五月丁香网站在线播放| 精品人妻伦九区久久AAA片| 亚洲五月丁| 国产成人网址| 色5在线| 欧美这里只有精品| 五月婷婷成人网首页| 久热大香蕉| 久久五月丁香综合17C| 九九9久九9国产视频| 熟女五月天久久综合| AV中文网| 天天操天天谢| 色色影院aaaav| 99热在线精品播放| 99免费视频久久| 日日天天干| 日日想日日夜日日操| 182无码| 狠狠干综合网| 久久久久婷婷五月热综合| 九九热AV| 99热99在线| 深爱激情五月网| 深爱开心五月天| 五月天丁香久久综合| 亚洲色综合性| 丁香五月久久| 香蕉久操| 五月婷婷综合久久| 丁香婷婷丁香五月欧美人| 天天综合情| 国产AV一区二区三区最新精品 | 日本欧美在线| 成人五月天综合网| 五月婷婷丁香社区| 九九亚洲视频| 狠狠色噜噜狠狠狠777奇米| 九九热精品99| 天天摸日日舔狠狠添婷婷婷| 久久五月天视频| 熟妇无码乱子成人精品| 久久亚洲无码| 怡红院院久久| www999日韩精品| 午夜69成人做爰视频| 色婷婷丁香五月综合| 欧美熟女99| 亚洲精品又粗又大又爽A片| 久色婷婷200| 激情 五月 婷婷 丁香| 亚洲99精品九九在线| 六月婷婷色色色| 狠狠综合| 丁香五月婷婷偷拍| 国产女人十八水真多1| 久久精品国产一区二区三区四区| av在线免费网站| 婷婷干五月综合在线播放| 五月丁香激情五月天| 午夜日韩久久久网站| 激情综合五月天| 99热精品一| 色情五月丁香婷婷网| 色欧美日| 停停综合色色| 婷婷色五月激情| 丁香五月 无码| 婷婷99视频在线| 综合色99| 九色婷婷| 色播丁香| 99re在线播放| 欧美搡BBBBB摔BBBBB| 99热超碰在线| 色色射| 五月天婷婷乱论小说| 五月丁香91| 六月丁香网| 超碰com| 人妻久久久久久久| 玖玖精品视频| 五月天播播中文字幕| 五月天天视频| 五月激情婷婷丁香天堂| 无码动漫av| 五月丁香六月婷婷无码| 五月婷婷丁香六月在线| 婷婷色日本| 丁香五月日本| 婷婷六月综合激情| 婷婷伊人综合中文字幕| 99热在线精品观看| 日韩久久视频| 日日夜夜狠狠| 国自产拍偷拍精品啪啪一区二区| 久久精品一区二区三区四区| www.cao.com久久| 久婷久婷激情肉| 六月丁香中文字幕| 婷婷天堂综合| 高清无码 一区 二区 三区| 色五月天视频| 丁香六月婷婷| 亚洲免费99| 2018国产大陆天天弄| 婷婷天天日婷婷| 色婷婷狠狠| 97色在线| 另类少妇人与禽zOZZ0性伦| 中文字幕丰满孑伦无码专区| 五月激情综合婷婷| 异能之下短剧免费观看全集| 精品无码视频| 激情综合亚洲| 无码 av电影| 婷婷五月天综合久久日美女| 九九精品自拍| 丁香五月,激情五月,深爱五月| 大香蕉网站,大香蕉综合| 日韩成人精品中文字幕| 婷婷丁香综合色AV| 99热最新| 婷婷五月天亚洲图片| 久9久成人精品视频| 另类在线| 精品国产a| 五月丁香精品| 五月综合激情视频| 色综合婷婷| 20253AV| 日韩啪啪网| 99热99色| 97在线观视频免费观看 | 亚洲亚洲人成综合网络| 久久婷婷亚洲| 五月婷婷色综图片| 亚洲婷婷五月| 四色AVwww| 999热这里只有精品| 99精品视频在线观看| 曰韩五月丁香色婷婷无码| 殴美激情综合网| 天天透天天爱| 另类亚洲电影| 99精品热| 五月久久婷婷丁香| 大天天伊人| 岛国在线观看91| 久久视频66| 欧美日本一区二区三区| 九九这里有精品| 大香蕉五月天婷婷丁香91| 婷婷五月天va| 色婷婷亚洲精品天天综| 五月色婷婷影院| 色综合天天天天做夜夜| 99久久66综合| www.色五月天.com| 成人做爰A片免费看网站找不到了| 91久久九久久九久久九久久九久久| 欧爱综合视频| 欧美丰满熟妇BBB久久久| 伊人五月天97| 伊人深爱综合| 99在线综合视频| 色五月婷婷一二| 在线日本www| 亚洲avjiujiur91| 激情综合五月丁香| 天天爽—爽| 五月婷婷开心网| 这里只有精品视频222| 怕怕視頻| 99精品在线观看| 色吊丝99| 国产精品电影网| 在线观看日韩12345区| 丁香婷婷五月基地| 久久182| 中文乱子伦视频| 国产婷婷五月天| 五月婷婷丁香综合,亚洲天堂| 综合久久97| 91免费看片| 亚洲色五月天在线| 五月桃花网综合| 色丁香五月综合网| 九九久久腿| 日日爽天天| 欧美成人AAA片一区国产精品| 天天日日人| 久热这里只有精品6| 亚洲人人96@| 五月激情婷婷四射| 色人妻五月| 热99色| 激情五月婷婷丁香| 99日韩| 在线观看免费视频| 九九一综合精品| 伊人五月综合网| av成人在线播放| 99碰碰视频| 激情视频91| 国产亚洲精品久久久久久郑州| 激情五月综合网最新 | 亚洲激情综合| 人妻久久久久久久| 99热在线爱| 综合六月久久| 亚洲综合网 665566| 久色成人| www999日韩精品| 婷婷五月免费视频| 亚洲 综合中文| 久久99久久99久久99| 色五月丁香网| 五月丁香婷婷开心| 六月丁香婷婷综合影院| 99碰碰。| 亚洲亚洲人成综合网络| 九色91国产| 丁香八月综合激情| 啊v视频在线观看| 五月天婷婷综合色| 欧美在线干| 狠狠色激情在线| 色五月超碰| 久久九九99视频| 热91久| 激情综合色网| 激情綜合W W W,激情五月天| 亚洲综合在线伊人婷| 97操资源婷婷| 六月婷婷综合网2| 色色亚洲| 天天干天天操天天拍| 天天插天天干| 91久久久久久久久| 蜜桃婷婷狠狠久久| 九九久久精品國產| 婷婷五月天丁香综合网| 丁香五月天堂婷婷| 久久久久亚洲AV成人无码电影| 欧美毛片www| www.超碰| 99re热精品视频国| 婷婷六月色| 欧美色图45678| 色婷婷9| 99九九免费精品| 人人艹艹艹| 91丨九色丨熟女高潮| 99热只有这里有精品| 成功精品影院| 日本五月婷婷| 久久99激情| 五月天婷婷网站888| 天天舔天天摸天天透| 亚洲激情综合色站| 五月天色婷伊人| 99热这里有精品首页10| 亚州操操| 婷婷五月丁香基地在线视频官网| AA片在线观看视频在线播放| 99操逼| 丁香六月色婷婷| 精品久久久人妻| 综合久久高清| 色婷婷成人| 久久丁香五月| 五月丁香影院| av一区免费看| 二色av| 2015WWW永久免费观看播放| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 丰满女老板BD高清A片| 99re6在线视频精品免费| 99精品综合| 青柠影视免费高清电视剧| 五月天婷婷影院| 亚洲第一影院高清无码网站| 丁香五月香蕉| 天天干夜晚夜操| 超极99精品| 狠狠九九婷婷韩| 婷婷激情四射网| 五月丁香九九| 国产成人综合网| 精品人妻午夜一区二区三区四区| 午夜天堂一区人妻| 99热综合色图| 国产欧美婷婷五月| 狠狠色噜噜| 97碰久久| 日韩一区二区A片免费观看 | 97日本在线播放| 日日操夜夜操无码免费| 九九热再线九九视频免费在线观看| 五月婷婷开心综合| 97色干| www.狠狠| 91九色欧美| 色综合爱综合| 99这里有精品视频| 久色88| 亚洲五月婷婷在线| 色噜噜狠狠插综合| 五月丁香综合啪啪| 玖玖婷婷色五月| 激情亚洲色图片丁香综合| 国产密乳av一区二区三区四区| 国产成人精品亚洲线观看| 久热re在线视频| 婷婷五月激情丁香激情| 精品人妻一区| 99久久婷婷五月综合| 五月激情婷婷六月丁香| 五月丁香淫淫婷婷婷| 深爱激情丁香| 色色九九五月天| 五月天综合图片| 99性爱视频| 青青草性爱视频| 99热这里只有精品免费| 色五月激情网| 欧洲综合视频| 99久在线精品| 色欲久久久久久综合网综合网| 天天精品视频在线观看视频| 亚洲色婷婷| 色五月天堂| 五月丁香激| 亚洲免费电影2| 婷婷色色网| 日本精品99| 伊人9草在线观看| 婷婷欧美激情| 亚洲成人九九九| 亚洲色欲AAAAAA| 欧美精品999| 91青娱乐青青草| 亚洲色色香蕉| www.黄色片-久久成人国产精品在线播放-999AV| 五月天色婷婷伊人网| 99re久热| 婷婷丁香五月综合免费视频百花| 激情五月天婷婷丁香| 噜噜网免费视频| 日韩成人电影Av| 五月天婷a| 做爰丰满少妇1313| www.爱操com.| 婷久久久| 婷婷五月天国产在线播放| 99热99热99热99热| 亚洲123区高清入口| 五月亭亭性| 久久精品女人天堂AAA| 亚洲人妻一区二区| 婷婷色六月| 99精品福利视频| 久色激情| 国产美女无遮挡裸体毛片A片| 思思热热久久| 丁香六月激情| 在线中文字幕视频| 久99视频在线观看| 天天爽天天爽| 性色视频| 丁香五月婷婷亚洲人| 99久久久久| 丁香九月综合| 丁香伍月婷电影全集| 人人干女人| 99视频久久免费视频| 激情婷婷五月天| 在线成人国产| 成人网站免费在线播放| 99亚洲综合| 国产三级在线播放| 亚洲这里只有精品| 高清无码一区二区三区四区| 9热超碰| 久久精品4| 99色播| 五月天久久www| 91丨九色丨东北熟女| 婷婷五月天xxx| 97操| 成人美女网| 精品亚洲VA网站| 婷婷五月综合色中文字幕| 日本激情综合| 99久久综合网| 9这里只有精品| 97自拍视频在线| 日韩精品无码AV| 内射人妻视频国内| 综合色99| 五月天天久久香| 成人网丁香五月| AA丁香综合激情| 婷婷五月天大香蕉在线视频观看| 五月婷婷啪| 色欲久久久久久综合网综合网| 五月 丁香 欧美| 成人AV中文字幕| 欧美日本不卡黄色片| 亚洲午夜av| 第四色五月婷婷| 婷婷无码视频| 狠色狠色综合久久| 婷婷丁香水多多视频| 九九热九九| 99riAV国产精品视频| http:色情日本com| 4399成人黄A片| 五月丁香六月婷婷激情视频在线观看免费 | 一起草AV| 久久五月天色婷婷| 五月丁香婷婷综合视频| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇| 九九热只有这里精品| 中文字幕在线日亚州9| 啪啪操操| av电影在线播放| 婷婷六月丁综合| www婷婷色| 亚洲精品久久久无码| 人人操AV| 亚洲无AV在线中文字幕| 夫妇交换刺激做爰| 国产偷人爽久久久久久老妇APP | 五月婷婷九| 九九大香蕉黄色影院| 色哟哟精品| 婷婷丁五月| 台湾综合丁香五月蜜桃| 青青五月天婷婷| 五月婷丁香亚洲| 久久久er热| 丁香六月婷婷缴情欧美| 99这里只有精品国产| 五月停停直播| 五月婷婷丁香社区| 五月成人网站| 神马欧美精| 日韩黄黄| 日日夜夜狠狠| av国产精品| 热99视频精品在线| 激情五月九九九| 色婷婷五月天偷拍| 天天插天天狠| 久久66成人网站| 亚州色色色| 欧美性爱五月天| 老司机日日夜夜青草| 狠狠色丁香| 99久久久精品| 精品久久婷婷| 国产av基地| 五月 丁香 欧美| 色五婷婷| av在线观看网站| 天天日天天插| 五月婷六月| 六月伊人婷婷| 色婷婷激情| 丁香六月婷婷久久综合| 激情九九九九| 狠狠久久婷五月综合色| 九九精品视频在线观看| 婷婷色色五月天| 五月婷婷六月天| 精品热青草| 丁香激情久久| 婷婷瑟瑟五月天| site:pnnrt.com| 日韩专区五月天婷婷丁香| 色99自拍| 六月天丁婷婷| 丁香六月婷婷综合| 婷婷丁香五月激情密臀av| WWW五月天| 五月天伊人久久久久| 国产欧洲欧洲精品久久| 天堂在线婷婷| 色久婷婷网| 五月天婷婷久久视频| 610018岁成人视频| 婷婷久久婷婷色五月| 午夜爱爱网站| 99超碰在线免费| 99热这里只有精品热| 五月丁香人妻| 亚洲婷婷基地| 五月天婷婷婷| 欧洲电影在线观看免费版英语版| 香蕉狠狠爱视频| 噜噜噜噜噜色| 激情九月丁香婷婷| 日日夜夜狠狠婷婷色| 在线成人网站| 国产精品美女| 天天做天天爱天天高潮| 97狠狠碰| 婷婷五月色播| 羞羞嫩草视频| 色色色.COM| 亚洲av电影在线| 五月综合婷婷开心网| 91婷婷| 超碰人人艹| 超碰在线人妻| 丁香五月久久| 无码色色色| 五月激情婷婷图片基地| 色综合激情| 久久99久久99精品免视看婷婷| 九九热精品99| 综合久久综合五月天婷婷| 丁香六月亭亭久久综合| 婷婷五月丁香第四色超碰在线| 色五月天影视| 久久性视频| 五月天伊人av| 久久综合九九| 激情五月黄色小说| 五月天婷婷久久| 26uuu国产精品| 91男人操女人视频| 丁香五月婷婷动漫视频| 五月天色小说| 日日爱激情| 天天久久九九| 五月天 婷 欧美亚洲| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 亚洲精品444久久久久久| 激情性五月天免费小说视频| 色婷婷88| 涩涩五月天| 天天插轮理| 人妻内射一区二区在线视频| 夜夜夜夜撸夜夜操| 大香蕉婷婷色| 精品一二三区久久AAA片| 青青草蜜臀| 91久久电影| 五月天久久久| 亚洲狠狠狠色婷婷综合激情久久久| 五月婷婷欧洲| 五月婷婷片| 日日天天操| 久久久五月婷婷| 91一起操| 夜夜夜叫天天天做| 久久婷婷五月天懂色| 亚洲另类在线观看| 九九热精品6| 久人操| 精品久久久人妻| 五月天色导航| 任你擦免费视频| 久久97| www.色五月天.com| 色域五月丁香| 97人人操人人干| 午夜激情五月| 无码色色色色色| 亚洲国产精品二二三三区| 色五月婷婷激情| 久久五月天色婷婷| 日本天堂免费99| AA片在线观看视频在线播放| 五月丁香婷婷视频| 五月丁香啪啪啪啪| 大香蕉五月天婷婷| 五月婷婷综合成人| 日日夜夜狠狠| 区美毛片子| 五月丁香狠狠地噜噜噜噜| 91视频一起草| 色综合天天| 久久开心五月天激情| 婷婷五月深深的爱| 激情五月天婷婷直播| 婷色视频| 热99热久| 色色欧美色色色| 六月色婷婷| 成人综合视频在线| 丁香久久久| 久久人妻在线| 97色色色视屏| 97自拍视频在线| 婷婷狠狠青青| 四季8848精品成人免费网站| 丁香五月婷婷啪| 激情性五月天免费小说视频| 色高清无码视频| 影音先锋xfplay资源男人网| 人人性久久| 玖玖激情五月天| 色综啪啪网| 国产精品久久久久久久久久 | 国产婷婷综合| 99热中国| 婷婷五月天亚洲激情戏精品| 加勒比色色| 激情深爱五月婷婷| 丁香五月婷婷色| 超碰在线国产| 五月丁香六月婷综合成人综合| 五月丁香天堂网| 欧美激情五月天| 嫩草AV久久伊人妇女超级A| 无码色| 日本啪啪网| www.狠狠| 99久久这里只有精品| 国产成人网| 99碰碰| 激情六月婷婷| 丁香操逼| 久青操| 五月天丁香网| 成人国产欧美大片一区| 综合另类激情| 超碰人人91| 亚洲综合新99视频| 五月婷婷久| 九九热re99re6在线精品| 色色综合网站| 婷婷五月综合在线| 激情婷婷五月综合| 91精品久久久久久综合五月天| www.久久五月天.com| se99在线| 俺也去综合| www.夜夜操| www.91在线观看| 六月婷婷开心| 国产精品24r| 丁香久久综合| 麻豆123区| 丁香五月社区| 秋霞免费视频| 五月天久久网站| 欧美综合激情五月丁香| 99热66| AA片在线观看视频在线播放| 丁香亚洲色综合| 一本久道综合色婷婷五月| 婷婷色丁香五月| 人人操99| 91偷拍视频| 午夜微拍福利| 五月丁香婷婷综合在线| 大香蕉欧美在线| 五月婷婷丁香大陆免费| 婷婷丁香五月综合免费视频百花| 99热老司机| 色婷婷丁香AV综合| 亚洲婷婷月丁香五月| 男人的天堂五月丁香| 丁香五月大香蕉| 91打屁股视频网站| 99热这里只有精品50| 丁香色五月天| 一月婷婷色色| 2w在线视频| 91综合在线| 婷婷综合五月天| 97 A I色色| 激情内射人妻1区2区3区| 级情九色| 激情综合色婷婷六月天| 欧美69久成人做爰视频| 免费成人va| 色99在线| 大香蕉久久草| 另类激情五月在线视频欧美| 教师性爱毛片| 激情五月丁香激情综合网| 亚洲黄色影视| 欧美日韩91| 91久久综合亚洲鲁鲁五月天| 在线观看亚洲AV| 亭亭五月激情亚洲在线| 伊人激情| 99这里只有精品国产| 日本狠狠干| 久久亚洲A| 久久亚洲天堂| 六月婷婷色色色| 14色综合婷婷| 五月丁香在线观看99| 丁香五月天激情综合| 五月天另类小说久久小说网| 人人操人av| 欧美一级a| 人人妻久久妻| 在线不卡中文字幕| www.婷婷五月| 色噜噜五月天| 99熟女| 精品人妻在线| 97色在线视频| 九九色色网| 成人丁香五月天| 99熟女啪啪视频| 另类图片色五月| 丁香婷婷激情综合五月激情| 九月丁香| 色婷婷在线综合色播网| 2050人人操免费工开爱| 精品国产va久久久| 4399在线观看免费高清黄色视频| ...婷婷国产成人亚洲日韩| 丁香狠狠干| 99热成人| 欧美色图天堂网色| 五月婷婷狠狠干| 丁香五月人妻| 六月色色| 婷婷五月花丁香| 色色综合五月| 97人人干| 五月丁六月婷| 欧美久久网| 久热无码| 激情小说视频图片| 97av在线视频| 亚洲AV久久久久久久久久久久久久久久| 色99热| 五月色丁香| 午夜丁香| 色爱五月天| 婷婷月五天在线在线看| 色域五月丁香| 婷婷五月综合激情免费| 天天色天天搡| 九九99视频精品| 天天爽天天操| 久久久五月婷婷| 日韩一级片| 182无码| 久久免费精彩视频| www天天色天天射| 婷婷五月天在线看| 日本综合99| 4399亚洲视频| 婷婷丁香色情五月天| 99热超碰在线| 综合精品99| 丁香六月婷婷缴情欧美| 五月丁香啪啪网| 色导航色婷婷五月天在线观看| 久热这里只有精品3| 婷婷久久伊人| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 99色 色| 性一交一乱一交A片久久四色| 五月婷婷精品视频| 免费观看高清无码| 婷婷丁香先锋资源网站| 色婷婷综合网| 五月丁香六月| 9色资源在线| www.激情com| 男人的天堂97| 99久久玖玖| 99热日韩| 久 久9 9 热 视 频| 激情五月色婷婷| 狠狠综合网| 婷婷伊人綜合中文字幕| 丁香花五月天社区| 99九九视频| 97色五月天| 日本3级片一区2区| 99re在线播放| www.9797国产| 五月天婷婷久色| 六月婷婷综合| 九九热九九| 亚洲色图日韩网址| 热久久思思热思思| 亚洲色婷婷五月天| 99re视频在线播放| 9视频在线成人网站| 五月天色色网站| 色情五月停停丁香| 色五月激情综合网| a在线免费v| 久热最新视频| 狠狠干综合| 国色天香成人网| 9精品视频在线| 99热骚货| 99热在线精品观看| 久久码久久无清| 亚洲综合丁香婷婷六月天| 色婷婷伊人| 午夜亚洲AV日韩无码| 丁香六月啪| 热99在线| 久久精品A片777777| 超碰人人干| 色丁香影院| 国产精产国品一二三在观看| 狠狠色丁香久久婷婷综合五月| 伊人综合网4| 五月激情婷婷丁香| 亚洲av网址| 日本va网站| 丁香六月五月天| 激情五月天电影| 牛牛澡牛牛爽| 丁香六月婷婷五月天| 99久超碰| 丁香五月玖玖| yazhou seshipin| 亚洲av网站| 99久久人人| 五月四色色| 丁香五月天色婷婷| 精品亚洲国产成AV人片传媒| 五月天a婷婷伊人| 亚洲欧美综合7777色婷婷| 91人人妻人人操| 色人妻五月| 亚洲亚洲人成综合网络| 久热 91| 五月天亚洲综合网| 99riAV成人在线视频| 五月丁香拍拍激情综合| 99视频在线精品免费观看2| 黄色五月婷| 日韩99色99| 九九综合影音先锋| 四色 爱 婷婷 精品 亚洲 五月天| 色婷婷www| 日日操天天| 丁香五月电影| 在线观看av网站| 久久网站免费亚洲| 久久人妻伦理| 成人精品在线| 超碰9在| 五月开心婷婷| 成片免费播放| 久久激情五月天| 欧美精品在线观看| 五月停停色| 中文av网| 亚洲热久| 丁香五月,激情五月,深爱五月| 99精品视频在线观看| 中文字幕综合网| 婷婷五月av| 丁香五月婷婷少妇| 五月天色社区| 天天操天天插天天射| 欧洲第一久色| 91人妻九色大屁股| 亚洲综合狠狠艹| 五月天综合在线网| 久久机只有这里精品| 又大又粗九一在线| 天堂婷婷丁香六月网| 超碰成人黄色网| 激情亚洲婷婷| 婷婷五月激情欧美| 男人天堂99| 色五月琪琪| 成人午夜无码视频| 538在线精品| 九九碰九九爱97超碰| 丁香五月天精品| 久久加勤综合| 天天爽天天日| 激情啪啪五月天| 色情婷婷久久五月天| 青草激情综合| 91丁香五月| 日本色婷婷| 亚洲成人影视在线观看| 狼友视频在线观看18| 久久狼人天堂| 丁香五月最新地址| 日本波多野结衣视频| 久热播这里只有精品| 97超级免费无码| 久久爱婷婷| 超碰在线9| a色色片| 91操人| 婷婷五月天手机版视频| 色婷婷中文| 婷婷大美在线| 狠狠色色色| 五月婷婷激情久久| 狠狠色大香蕉| 激情五月六月婷婷| 国产女生爱爱AA| 91视频五月丁香| 狠狠色噜噜色狠狠狠综合色| 激情五月综合亚洲另类| 91人人澡人人爽人人看| 婷婷亚洲综合| 久久99综合网| 六月激情综合| 五月天色婷婷小说| 日本A片一区| 五月天激情社区| 色综合女人99| 国产精品成人AV在线| 日韩色色网| 婷婷五月天成人网| A网在线欧洲| 99碰| 婷婷五月天综合网| 五月丁香天天| 丁香青青五月天| 91热在线| 99亚洲综合| 国内自拍97在线| 日韩在线一级| 无码九九| 久热99中文字幕| av在线免费网站| 丁香色影院| 久久a热| 色婷婷香蕉丁丁网| 色五月欧美| 97色片| 五月激情视频网| 偷偷操九九| 色色色9| 玖玖爱综合网| 亚洲成人综合在线| 天天色域综合网| 六月丁香狠狠爱| 色5月婷婷| 久久五月综合| 操人无码| 热热色色五月天婷婷| 91婷婷丁香五月| 天天做天天爱天天日| 婷婷黄色网| 99超级碰免费视频| 天插天啪天啪天啪| WWW.久久久久久久| 久久人妻熟女一区二区| 国产毛片精品一区二区色欲黄A片| 九九综合网色全集 | 色综合中文| 开心五月激情| 啪色综合| 中国女人内射6XXXXX| 国产成人av在线播放| 色婷婷影| 久草热8精品视频在线观看| 夜夜爽天天干| 这里只有精品热| 欧美久人人| 精品夜夜澡人妻无码AV| 就爱干 在线| 国产阿姨日皮艹逼内射视频| WWW.国产| 97色色色| 日韩 中文 欧美| 日本婷婷| 天天综合图片| AV五月丁香| 99re8热精品免费视频| 激情婷婷五月天| 日韩成人无码人妻| 五月丁香激情欧洲啪啪| ri电影在线| 99玖玖免费视频| 99热久久日本| 97婷婷色| 五月天亭亭俺也| 97韩国久久电影院| 五月婷综合网| 五月天婷婷爱| 天堂久久性| 婷婷六月天天| www.夜夜操.com| 五月丁香免费看| 婷婷色日本| 欧美久久五月婷婷| 色五月视频无码播放| 97操碰视频| xxxx五月天色色| 人妻丰满精品一区二区A片| 日本久久天堂| 色婷婷狠| 99热9999| 99操| 九九色色| 久婷自拍视频| 日本五月丁香| 五月天婷婷在线观看| 人人干人人操人人摸| 人妻在线观看视频| 久热这里只有精品在线观看| 婷婷五月播| 亭亭玉立国色天香| 丁香色六月| 人妻乱码久久久| 精品人妻伦一二三区久| 99精品视频在线观看| 夜丁香五月婷婷| 色情五月丁香婷婷网| 亚洲啪啪视频| 91丨九色丨国产在线| 最近中文字幕2019视频1| 丁香婷婷月| 婷婷无码视频| 国产五月丁香在线| 久久综合五月婷婷| 亚洲AV成人一区二区在线观看| 99色色网| 日本久久高清| www激情网| 狠狠搞综合色| 丁香五月六月久久综合| 色婷丁香| 人人操人人操919999| 91中文狠狠综合| 欧美肉大捧一进一出免费视频| 人妻操逼视频| 五月婷婷黄色| 亚洲黄色精品| 五月情色天| 九九综合久久| 色播丁香婷婷五月激情| 思思色综合网站| 色爱综合视频| 欧美VA视频| 精品九九网| 男人天堂AV在线一区二区| 超碰永久在线| 色色色色色色色色色色色色色色,网站| 日本久久99|