欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

分布式異步任務(wù)調(diào)度平臺的設(shè)計實踐:從任務(wù)模型到高可用架構(gòu)

分布式異步任務(wù)調(diào)度平臺的設(shè)計實踐:從任務(wù)模型到高可用架構(gòu) 1. 項目概述ax調(diào)度到底在解決什么問題說“ax”之前先聊個背景。我們當(dāng)時業(yè)務(wù)線里有一堆“掛了就要人工介入”的臟活累活用戶上傳文件后的轉(zhuǎn)碼、定時報表推送、庫存同步、售后狀態(tài)自動流轉(zhuǎn)……早期全靠服務(wù)內(nèi)部起的定時器加一些邊寫邊補的Job代碼在硬扛。看起來好像也沒什么問題但等業(yè)務(wù)量上來、節(jié)點一多問題就全露餡了同一臺機器上不同任務(wù)互相搶CPU一個Job卡死連帶整個服務(wù)心跳異常新增一個定時任務(wù)要先找代碼、再發(fā)版、再看運氣。后來我們統(tǒng)一做了一次技術(shù)梳理結(jié)論很明確——需要一個獨立的、能統(tǒng)一管理異步任務(wù)和定時任務(wù)的調(diào)度中心把“任務(wù)怎么定義、怎么分派、怎么執(zhí)行、怎么重試、怎么監(jiān)控”這些事全部收口。ax調(diào)度就是這么來的。項目代號“ax”取自“async executor”的縮寫我們內(nèi)部一直沿用到今天。ax調(diào)度本質(zhì)上是一個輕量級的分布式異步任務(wù)調(diào)度平臺核心能力可以概括成三句話任務(wù)配置化、調(diào)度集中化、執(zhí)行分布式化。業(yè)務(wù)方只需要把任務(wù)邏輯封裝成一個接口實現(xiàn)然后在ax控制臺上注冊任務(wù)、配置觸發(fā)規(guī)則剩下的分派、排隊、失敗重試、執(zhí)行日志全部由平臺接管。對我們這種偏業(yè)務(wù)中臺的技術(shù)團隊來說它解決的不只是“任務(wù)跑起來”的問題更重要的是把任務(wù)治理從“靠約定、靠人盯”變成了“靠平臺、靠制度”。這篇東西適合誰看如果你正在用Quartz、xxl-job、Celery之類的方案或者團隊的任務(wù)調(diào)度還停留在“代碼里new一個ScheduledThreadPool”的階段那ax的設(shè)計思路和落地過程中的坑多少能給你一些參考。尤其是調(diào)度器選型、任務(wù)分派策略、重試與冪等設(shè)計這幾個環(huán)節(jié)我盡量把當(dāng)時踩過的坑和翻車現(xiàn)場都講清楚。2. 整體設(shè)計思路拆解為什么沒直接選開源方案2.1 當(dāng)時擺在我們面前的三條路開始動工之前我們先做了一輪方案評審基本是三選一直接用現(xiàn)成的xxl-job、引入消息隊列做異步解耦、自研一套調(diào)度平臺。xxl-job確實是當(dāng)時比較成熟的選擇功能覆蓋度也高文檔中文友好社區(qū)也很活躍。但我們有幾個實際顧慮第一業(yè)務(wù)方對任務(wù)的管理訴求不只是“觸發(fā)一下”還希望有更細(xì)粒度的分片策略、優(yōu)先級搶占、任務(wù)間依賴編排xxl-job雖然在分片上做得不錯但依賴編排這塊還是偏弱第二我們有一部分任務(wù)是長耗時任務(wù)比如大文件轉(zhuǎn)碼可能跑十幾分鐘甚至更久xxl-job內(nèi)置的調(diào)度線程模型在這種場景下容易出現(xiàn)任務(wù)堆積和誤判超時第三公司內(nèi)部有比較強的統(tǒng)一監(jiān)控和權(quán)限體系要求開源項目直接接進(jìn)來改動成本和后續(xù)升級成本都不小。消息隊列那條路我們也認(rèn)真想過。MQ做異步化確實很合適但它本質(zhì)上解決的是“削峰填谷、流量緩沖”的問題不是“任務(wù)什么時候該跑”的問題。如果用MQ做定時調(diào)度延遲消息在數(shù)量大時會有精度損耗而且“任務(wù)的優(yōu)先級、依賴、分片、回執(zhí)”這些概念MQ并不原生支持要靠業(yè)務(wù)代碼做大量補償。所以MQ可以作為執(zhí)行通道的補充但不能作為調(diào)度內(nèi)核。最后我們定下的思路是調(diào)度內(nèi)核自研執(zhí)行通道可以對接MQ也可以走HTTP回調(diào)兩邊解耦。ax調(diào)度的定位是“調(diào)度大腦”不是“執(zhí)行引擎”。2.2 架構(gòu)分層和模塊邊界定了自研之后我們把ax拆成了幾個清晰的模塊每個模塊的職責(zé)邊界在設(shè)計階段就卡得很死調(diào)度中心scheduler負(fù)責(zé)任務(wù)注冊、觸發(fā)時間計算、任務(wù)分派、狀態(tài)流轉(zhuǎn)是整個平臺的大腦。執(zhí)行器executor業(yè)務(wù)方接入的SDK接收調(diào)度指令執(zhí)行真正的業(yè)務(wù)邏輯然后把執(zhí)行結(jié)果回傳給調(diào)度中心??刂婆_console管理后臺負(fù)責(zé)任務(wù)配置、權(quán)限管理、日志查詢、告警配置。存儲層store元數(shù)據(jù)存MySQL實時狀態(tài)和隊列數(shù)據(jù)存Redis執(zhí)行日志走ES。這個分層的核心考慮是讓調(diào)度中心保持無狀態(tài)。調(diào)度中心本身不執(zhí)行任何業(yè)務(wù)任務(wù)它只負(fù)責(zé)“算時間、發(fā)指令、收結(jié)果”所以可以任意水平擴展。執(zhí)行器才是真正干活的地方由業(yè)務(wù)方自己部署個數(shù)和位置都不受限制??刂婆_更簡單就是個標(biāo)準(zhǔn)的Web應(yīng)用。設(shè)計中最重要的一條邊界是調(diào)度鏈路和執(zhí)行鏈路必須分離。調(diào)度鏈路走HTTP長輪詢或者Netty長連接執(zhí)行鏈路一般走本地線程池如果執(zhí)行邏輯特別重還可以把任務(wù)丟給MQ由下游消費者異步處理。這樣即使執(zhí)行器上某個任務(wù)搞崩了線程池也不會影響調(diào)度指令的接收。2.3 為什么任務(wù)模型要自研而不是套用cron很多團隊做調(diào)度系統(tǒng)第一反應(yīng)就是用cron表達(dá)式定時任務(wù)嘛cron夠了。ax里cron只是觸發(fā)方式之一我們的任務(wù)模型是“事件驅(qū)動 時間驅(qū)動”雙模的。時間驅(qū)動就是大家熟悉的cron、固定間隔、延遲執(zhí)行事件驅(qū)動則是“當(dāng)某個事件發(fā)生后觸發(fā)下游任務(wù)”比如文件上傳完成、訂單狀態(tài)變更、外部回調(diào)到達(dá)。這兩種模式在業(yè)務(wù)里的使用頻率差不多高如果只支持cron那些需要“上游完成后跑下游”的場景就得靠業(yè)務(wù)方自己硬編碼回調(diào)調(diào)度平臺就退化成一個定時器了。另外任務(wù)模型上我們還加了優(yōu)先級和分組的概念。優(yōu)先級解決的是“任務(wù)都在排隊誰先跑”的問題分組解決的是“哪些任務(wù)必須在同一臺機器上串行執(zhí)行”的問題。比如同一個用戶的多筆訂單狀態(tài)流轉(zhuǎn)任務(wù)如果被分到不同機器并發(fā)執(zhí)行就會出現(xiàn)狀態(tài)覆蓋這種任務(wù)必須按用戶維度哈希到同一個執(zhí)行器上。這些設(shè)計都不是憑空拍腦袋想出來的而是業(yè)務(wù)方在評審會上一條一條提出來的硬需求。3. 核心細(xì)節(jié)解析與實操要點3.1 任務(wù)狀態(tài)機一張圖想清楚所有流轉(zhuǎn)做調(diào)度系統(tǒng)最容易翻車的地方就是一上來就寫代碼寫完發(fā)現(xiàn)狀態(tài)流轉(zhuǎn)全是洞。我們的做法是先畫狀態(tài)機把每個狀態(tài)的定義和合法流轉(zhuǎn)路徑全部定死再動手寫代碼。ax里任務(wù)實例JobInstance的狀態(tài)定義是這樣的待運行PENDING任務(wù)已創(chuàng)建等待調(diào)度器分發(fā)。分發(fā)中DISPATCHING調(diào)度器已下發(fā)指令等待執(zhí)行器確認(rèn)。運行中RUNNING執(zhí)行器已接收并開始執(zhí)行。成功SUCCEEDED執(zhí)行完成且回執(zhí)成功。失敗FAILED業(yè)務(wù)執(zhí)行異?;虺瑫r等待重試或進(jìn)入死信。取消CANCELED被人為取消或依賴的上游任務(wù)失敗。其中最容易出問題的是PENDING到DISPATCHING這一步。如果調(diào)度中心下發(fā)指令后執(zhí)行器沒收到或者收到了但來不及回執(zhí)任務(wù)就會卡在DISPATCHING。我們的處理是給這個狀態(tài)加一個超時閾值超過30秒沒有進(jìn)入RUNNING就重新分發(fā)同時把分發(fā)次數(shù)記錄下來超過3次直接標(biāo)記為FAILED并由告警通知介入。這里有個細(xì)節(jié)經(jīng)驗狀態(tài)的回推一定要帶“輪次”信息。也就是說執(zhí)行器在回執(zhí)結(jié)果時除了任務(wù)ID還要帶上本次調(diào)度的分派次數(shù)調(diào)度中心只接受最新輪次的回執(zhí)過期輪次的回執(zhí)直接丟棄。否則網(wǎng)絡(luò)抖動導(dǎo)致舊回執(zhí)后到會把一個新分派的任務(wù)誤判成成功或失敗。3.2 任務(wù)分派策略一致性哈希與分組串行的取舍任務(wù)分派是調(diào)度系統(tǒng)最核心的環(huán)節(jié)它決定了“任務(wù)發(fā)給誰”。ax早期版本用的是簡單輪詢遇到執(zhí)行器負(fù)載不均。后來改成一致性哈希按任務(wù)ID哈希到固定執(zhí)行器好處是同一個任務(wù)每次都在同一臺機器上跑本地緩存友好也方便排查問題。但一致性哈希有個副作用如果執(zhí)行器數(shù)量變化擴縮容哈希環(huán)會重排正在運行的長任務(wù)可能會被重新分派。我們的規(guī)避方案是分派時帶一個“親和性”參數(shù)調(diào)度中心優(yōu)先把任務(wù)分給上次執(zhí)行成功的機器只有當(dāng)該機器失聯(lián)或負(fù)載過高時才重新哈希。這個策略在長任務(wù)場景下特別管用實測任務(wù)重復(fù)執(zhí)行率下降了60%以上。分組串行又是一個單獨的話題。對于需要嚴(yán)格串行的任務(wù)組我們在Redis里維護(hù)了一把組鎖key的格式是group:{groupId}:lock拿到鎖的執(zhí)行器才能處理該組的下一個任務(wù)。鎖的持有時間不固定因為任務(wù)時長不可控我們用的是“續(xù)約”模式執(zhí)行器在執(zhí)行期間周期性續(xù)約任務(wù)結(jié)束立即釋放。這個設(shè)計很像分布式鎖的看門狗機制實現(xiàn)起來不難但必須注意續(xù)約線程不能和業(yè)務(wù)線程共用線程池否則業(yè)務(wù)線程池被打滿時續(xù)約也停了鎖被誤釋放串行就變成并發(fā)。3.3 延遲任務(wù)與定時任務(wù)時間輪還是掃表調(diào)度系統(tǒng)躲不開的問題到了該觸發(fā)的時間任務(wù)在哪里等著兩種主流方案我們都深挖過。第一種是時間輪Timing Wheel方案純內(nèi)存精度高適合短延遲、高頻觸發(fā)的任務(wù)。但時間輪的問題在于任務(wù)量大時內(nèi)存占用高而且進(jìn)程重啟后所有未觸發(fā)的任務(wù)全部丟失必須依賴外部存儲做恢復(fù)復(fù)雜度一下就上來了。第二種是掃表方案用一個線程每隔幾秒掃描任務(wù)表中到達(dá)觸發(fā)時間的記錄扔到分發(fā)隊列。實現(xiàn)簡單可靠性高但掃描頻率和DB壓力是矛盾的。我們最終用的是掃表方案的優(yōu)化版所有任務(wù)按下次觸發(fā)時間建立索引調(diào)度器每5秒掃一次掃到的任務(wù)進(jìn)入Redis延遲隊列延遲隊列的消費者再以毫秒級精度把任務(wù)投遞給執(zhí)行器。這樣既保證了數(shù)據(jù)庫層面不會頻繁掃描又讓實際觸發(fā)精度控制在幾百毫秒內(nèi)。這里建議設(shè)置一個合理的“每次掃描上限”。我們是每次最多撈200條到期任務(wù)如果超過200條說明積壓了觸發(fā)告警而不是全量撈出來。原因是防止一次掃描過多導(dǎo)致DB慢查詢進(jìn)而拖垮整個調(diào)度中心。3.4 觸發(fā)規(guī)則的動態(tài)更新業(yè)務(wù)方改任務(wù)配置是常態(tài)比如“這個報表從每天早上8點改成9點”。ax里任務(wù)配置的每一次變更都生成一個新版本調(diào)度器比較“當(dāng)前生效版本”和“內(nèi)存中緩存版本”不一致就重新加載。變更校驗的坑在于cron表達(dá)式的合法性校驗不能只靠cron庫自身的parse還要做一次“近100次觸發(fā)時間計算”防止出現(xiàn)閏年、月底這種極端時間點上cron行為不符合預(yù)期的情況。改配置還有個聯(lián)動問題如果任務(wù)當(dāng)前正在運行中配置變更是否中斷當(dāng)前實例我們的策略是“運行中實例不受影響下一次觸發(fā)采用新配置”。這樣設(shè)計的好處是業(yè)務(wù)不會因為改配置而丟數(shù)據(jù)壞處是如果新配置需要立即生效且任務(wù)是個長跑任務(wù)可能要等很久。所以我們在控制臺上加了一個“強制終止當(dāng)前實例”的操作按鈕帶有二次確認(rèn)和審計日志。4. 實操過程與關(guān)鍵環(huán)節(jié)實現(xiàn)4.1 執(zhí)行器接入SDK的設(shè)計這一塊是業(yè)務(wù)方感知最強的部分接入復(fù)雜度直接決定平臺能不能推廣開。ax的SDK設(shè)計目標(biāo)很明確業(yè)務(wù)方只寫一個實現(xiàn)類其他全部框架搞定。核心接口簡單到夸張public interface AxJobHandler { /** * 執(zhí)行任務(wù) * param context 任務(wù)上下文包含任務(wù)ID、分片參數(shù)、業(yè)務(wù)參數(shù) * return 執(zhí)行結(jié)果true為成功 */ boolean execute(AxJobContext context); }業(yè)務(wù)方在控制臺上注冊任務(wù)時只需要填上Handler名稱、觸發(fā)規(guī)則和業(yè)務(wù)參數(shù)。啟動時SDK會自動掃描并注冊本機可執(zhí)行的Handler列表調(diào)度中心分派任務(wù)時根據(jù)Handler名稱把請求路由到對應(yīng)執(zhí)行器。這里最大的注意點是參數(shù)傳遞的序列化格式。早期我們用的Java原生序列化后來發(fā)現(xiàn)跨語言客戶端接入Python腳本、Node服務(wù)根本沒法反序列化于是全部改為JSON。代價是性能略降但換來的是通用性值得。所有業(yè)務(wù)參數(shù)在控制臺配置時都以JSON字符串形式存儲執(zhí)行時SDK把它注入上下文對象。4.2 回調(diào)鏈路執(zhí)行狀態(tài)怎么回到調(diào)度中心執(zhí)行器執(zhí)行完任務(wù)之后要把結(jié)果回傳給調(diào)度中心。回傳方式有三條鏈路同步HTTP回傳默認(rèn)方式執(zhí)行完成后立即POST結(jié)果到調(diào)度中心。異步批回傳針對高頻短任務(wù)SDK本地攢一批結(jié)果每2秒批量上報一次減少調(diào)度中心壓力。狀態(tài)查詢補償如果調(diào)度中心發(fā)現(xiàn)某個任務(wù)長時間沒收到回執(zhí)會主動向執(zhí)行器發(fā)起狀態(tài)查詢請求執(zhí)行器根據(jù)本地執(zhí)行記錄返回結(jié)果。第三條鏈路非常重要。因為總會有網(wǎng)絡(luò)抖動導(dǎo)致回調(diào)丟失的情況光靠調(diào)度中心單方面重發(fā)會造成任務(wù)重復(fù)執(zhí)行必須先查詢執(zhí)行器當(dāng)前狀態(tài)再做決策。這也是我們常跟業(yè)務(wù)方強調(diào)的調(diào)度系統(tǒng)永遠(yuǎn)不要假設(shè)網(wǎng)絡(luò)是可靠的回調(diào)丟失是常態(tài)不是異常。實操中回執(zhí)消息里我們會帶上“執(zhí)行器IP 進(jìn)程ID 執(zhí)行開始時間”三個追蹤字段。一旦任務(wù)出問題可以通過這些字段快速定位到具體某臺機器上的某個進(jìn)程然后拉對應(yīng)時間段的日志不用再去幾十臺機器里盲猜。4.3 分布式一致性調(diào)度中心多節(jié)點下的去重保障調(diào)度中心是集群部署的兩個節(jié)點可能同時掃到同一個到期任務(wù)如何保證這個任務(wù)只被分派一次我們用了MySQL行鎖加Redis分布式鎖雙層保障。第一層掃描任務(wù)時使用SELECT ... FOR UPDATE SKIP LOCKEDMySQL 8.0支持不需要額外中間件就能解決“多節(jié)點搶同一批任務(wù)”的問題第二層拿到任務(wù)后需要在Redis里通過SETNX搶占一個分派鎖key的過期時間設(shè)為10秒確保即使數(shù)據(jù)庫鎖意外釋放也不能重復(fù)分派。這里有個經(jīng)驗教訓(xùn)分派鎖的過期時間不能設(shè)太短。早期設(shè)的是3秒結(jié)果某次GC停頓超過3秒任務(wù)被重復(fù)分派業(yè)務(wù)方收到了兩條重復(fù)通知。后來改成持有鎖期間主動續(xù)約并把最大持有時間放寬到30秒線上再沒因為這個出過問題。如果任務(wù)數(shù)量巨大可以考慮用Lua腳本原子地完成“搶鎖更新任務(wù)狀態(tài)”兩個動作避免兩步操作的間隙。4.4 動態(tài)線程池控制執(zhí)行器的并發(fā)水位執(zhí)行器收到分派指令后不是馬上丟進(jìn)線程池就完了還要看這個執(zhí)行器當(dāng)前能扛多少并發(fā)。ax的SDK內(nèi)置了一個動態(tài)線程池核心線程數(shù)和最大線程數(shù)都可以通過控制臺動態(tài)調(diào)整無需重啟。調(diào)整時采用“先降后升”策略先降低任務(wù)拉取頻率讓運行中的任務(wù)自然結(jié)束再調(diào)整線程數(shù)避免線程數(shù)突降導(dǎo)致已提交任務(wù)排隊過久。線程池的任務(wù)隊列我們用的是有界隊列默認(rèn)容量1000。超過容量之后新任務(wù)直接走拒絕策略返回“忙”的狀態(tài)調(diào)度中心收到忙狀態(tài)后會把任務(wù)重新放回待運行隊列延遲幾秒再分發(fā)。這比“無限排隊導(dǎo)致執(zhí)行器OOM”健康得多。配置線程池大小要根據(jù)任務(wù)類型拆開一個執(zhí)行器實例上跑多種任務(wù)時我們按任務(wù)分組配置多個線程池避免“轉(zhuǎn)碼任務(wù)把線程吃滿狀態(tài)流轉(zhuǎn)任務(wù)餓死”的問題。5. 部署落地與參數(shù)選型參考5.1 調(diào)度中心的部署形態(tài)調(diào)度中心本身要求不高但為了高可用我們至少部署兩個節(jié)點。MySQL用現(xiàn)有主從Redis用哨兵集群ES用于日志檢索。調(diào)度中心節(jié)點之間通過DB和Redis協(xié)調(diào)狀態(tài)不需要額外引入ZooKeeper這樣運維側(cè)少維護(hù)一個組件壓力小很多。一個值得注意的部署參數(shù)調(diào)度掃描線程的間隔不要小于任務(wù)執(zhí)行的平均耗時。假如任務(wù)平均要10秒掃描間隔設(shè)為5秒就會導(dǎo)致同一個任務(wù)經(jīng)常還在跑就被又掃到一次雖然我們有狀態(tài)去重但DB查詢壓力會變大。我們最后把掃描間隔定在任務(wù)平均耗時的1/3到1/2之間本身上限不超過5秒。5.2 執(zhí)行器資源建議執(zhí)行器建議獨立部署不要和業(yè)務(wù)Web服務(wù)混在一起。混在一起的問題是Web服務(wù)的流量洪峰會影響任務(wù)執(zhí)行的穩(wěn)定性任務(wù)執(zhí)行占滿CPU又會拖垮Web接口響應(yīng)。如果實在要復(fù)用進(jìn)程那就必須做線程池隔離并且給執(zhí)行器設(shè)置“最大占用CPU比例”的熔斷參數(shù)。我們還做了“執(zhí)行器心跳失聯(lián)熔斷”。每個執(zhí)行器每15秒上報一次心跳如果調(diào)度中心連續(xù)3個心跳周期沒收到某個執(zhí)行器的消息就標(biāo)記該執(zhí)行器失聯(lián)不再向其分派新任務(wù)。失聯(lián)恢復(fù)后需要手動執(zhí)行器重新注冊避免半死不活的節(jié)點被重新分派任務(wù)后反復(fù)失敗。5.3 參數(shù)速查表參數(shù)項推薦值說明數(shù)據(jù)庫到期掃描間隔5秒兼顧實時性和DB壓力單次掃描上限200條防慢查詢積壓自動告警分派鎖過期時間30秒持有期間主動續(xù)約執(zhí)行器心跳周期15秒失聯(lián)判定為3個周期任務(wù)超時默認(rèn)值300秒可按任務(wù)單獨配置回調(diào)丟失查詢間隔10秒調(diào)度中心主動補償查詢線程池有界隊列容量1000超出走拒絕策略返回忙表格里的值都是我們在生產(chǎn)環(huán)境長期運行后調(diào)出來的參考值不代表所有場景適配。任務(wù)類型偏短平快的掃描間隔可以調(diào)到2秒任務(wù)偏重的可以放寬到10秒。原則只有一個不要讓調(diào)度中心成為任務(wù)執(zhí)行的瓶頸也不要讓DB因為頻繁掃描而成為瓶頸。6. 常見問題與排查技巧實錄6.1 任務(wù)一直處于“待運行”狀態(tài)這是上線初期被問得最多的一個問題。排查順序通常是先看調(diào)度中心是否有到期掃描日志確認(rèn)任務(wù)是否進(jìn)入了掃描范圍。再看數(shù)據(jù)庫里任務(wù)的next_trigger_time是否正確有時候是配置的cron表達(dá)式有問題。確認(rèn)掃描線程是否卡死。老版本的JDBC連接池若配置不當(dāng)空閑連接會被MySQL服務(wù)端斷開掃描線程拿到失效連接后反復(fù)報錯看起來就是“啥也沒發(fā)生”。我們后來在掃描線程上加了一個埋點計數(shù)器每次掃描無論有沒有掃到任務(wù)都會自增并記錄耗時一旦耗時超過閾值直接告警。這樣任務(wù)積壓的原因是不是出在掃描層一眼就能看出來。6.2 任務(wù)“跑成功了”但調(diào)度中心沒收到回執(zhí)這種問題大多出在回傳鏈路上。我們先看執(zhí)行器日志里有沒有“回執(zhí)發(fā)送失敗”的日志再看調(diào)度中心有沒有收到狀態(tài)查詢的請求。如果執(zhí)行器發(fā)了、調(diào)度中心沒收到大概率是網(wǎng)絡(luò)層有攔截或者負(fù)載均衡把請求路由到了錯誤的節(jié)點。還有一種容易忽略的情況執(zhí)行器本地執(zhí)行成功返回值true但業(yè)務(wù)方法內(nèi)部開了子線程子線程拋異常并沒有冒泡到主線程。這種“假成功”沒法完全靠調(diào)度系統(tǒng)識別只能要求業(yè)務(wù)方在執(zhí)行邏輯里盡量捕獲所有異常并顯式設(shè)置結(jié)果狀態(tài)。6.3 重復(fù)執(zhí)行問題冪等是最后一道防線調(diào)度系統(tǒng)無論設(shè)計得多嚴(yán)謹(jǐn)重復(fù)執(zhí)行在某些極端場景下都是難免的調(diào)度中心GC停頓、網(wǎng)絡(luò)重傳、回調(diào)丟失觸發(fā)補償查詢……所以我們對所有接入ax的任務(wù)有一個硬性要求必須保證接口冪等。平臺會在任務(wù)上下文中注入一個executionId每次觸發(fā)都不同業(yè)務(wù)方在執(zhí)行邏輯開頭以這個ID做去重判斷。具體做法有兩種一種是用Redis的SETNXkey是biz:{bizType}:{executionId}能設(shè)置成功說明是首次執(zhí)行另一種是把executionId作為業(yè)務(wù)表唯一鍵插入沖突說明已執(zhí)行過。前一種簡單后一種在強一致場景下更保險。我們對涉及資金和庫存的任務(wù)強制要求用唯一鍵方案不允許偷懶。6.4 執(zhí)行器負(fù)載不均問題出現(xiàn)負(fù)載不均時先看是不是哈希環(huán)偏斜。節(jié)點數(shù)少時一致性哈希本身容易出現(xiàn)數(shù)據(jù)傾斜解決辦法是引入虛擬節(jié)點每個物理節(jié)點映射150個虛擬節(jié)點實測傾斜率從30%降到8%以內(nèi)。還要看是不是某些任務(wù)的耗時異常膨脹導(dǎo)致機器假負(fù)載。我們加了一個“慢任務(wù)統(tǒng)計”執(zhí)行器中單個任務(wù)執(zhí)行超過平均耗時3倍時自動上報一個慢任務(wù)事件控制臺上能看到Top10慢任務(wù)列表。很多調(diào)度問題其實不是調(diào)度系統(tǒng)的鍋而是業(yè)務(wù)任務(wù)本身變慢了得先把業(yè)務(wù)側(cè)的慢任務(wù)揪出來。6.5 線上事故復(fù)盤一次回調(diào)風(fēng)暴有一次我們調(diào)整了一個大任務(wù)組的并發(fā)上限結(jié)果觸發(fā)了回調(diào)風(fēng)暴。任務(wù)本身是一個查詢類任務(wù)單次執(zhí)行秒級完成之前并發(fā)不高一切正常。調(diào)整并發(fā)上限后同一時間上千個任務(wù)一起執(zhí)行執(zhí)行器回調(diào)線程瞬間打滿大量回調(diào)超時調(diào)度中心觸發(fā)補償查詢查詢又加重執(zhí)行器壓力形成惡性循環(huán)。后來在SDK里加了一個“回調(diào)熔斷”機制本地回調(diào)隊列積壓超過閾值時新任務(wù)直接拒絕執(zhí)行返回“忙”狀態(tài)等下一輪分派。同時在調(diào)度中心側(cè)增加了回調(diào)處理線程池的隊列告警。生產(chǎn)環(huán)境上線后類似事故再沒發(fā)生過。7. 最后分享兩個實操心得第一個心得是關(guān)于任務(wù)日志的。調(diào)度系統(tǒng)本身再完善如果排查問題不方便業(yè)務(wù)方照樣不愛你用。ax里我們做了一個特別“土”但特別好用的功能把每個任務(wù)實例的全鏈路日志從觸發(fā)、分發(fā)、接收、回執(zhí)到重試以時間線形式聚合在控制臺上業(yè)務(wù)排查問題不用再各種系統(tǒng)來回跳。這個功能投入產(chǎn)出比極高強烈建議自研調(diào)度平臺的團隊優(yōu)先做。第二個心得是平臺上線前一定要做“混沌測試”。我們當(dāng)時專門模擬了執(zhí)行器宕機、調(diào)度中心節(jié)點重啟、MySQL主從切換、Redis緩存清空四類故障場景提前暴露了十幾個問題包括狀態(tài)丟失、分派鎖死、回調(diào)丟失等。這些故障如果等到線上自然發(fā)生再處理代價完全不可控。ax調(diào)度這套東西說復(fù)雜也復(fù)雜說簡單也簡單。復(fù)雜在分布式場景下的各種異常情況永遠(yuǎn)超乎想象簡單在只要把任務(wù)模型定義清楚、把狀態(tài)流轉(zhuǎn)規(guī)則定死、把回執(zhí)鏈路補全一個調(diào)度平臺的核心骨架就立住了。如果你正準(zhǔn)備搞類似的系統(tǒng)希望這篇經(jīng)驗?zāi)軒湍闵俨葞讉€坑。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天婷婷激情小说电影| 在线婷婷| 五月香蕉网| 九九五月天| 人妻操逼视频。| 色色六月| 99久热| 丁香五月婷婷88在线| 久99久视频免费观看| 天天射影院| 成人免费在线电影| 激情五月综合网| 国产婷婷色五月| 99自拍视频| 色热久资源| 精品自拍97| 天天综合色| 无码人妻一区| 久操人妻| 久久3p| 亚洲视频码| 97资源碰碰| 五月婷婷综合精品| 国产精品久久7777777精品无码| 五月天色软件| 婷婷久久丁香五月| 99色综合| www.cao.com久久| 99亚洲天堂| 免费黄色片子| 色欲影香| 久久这里只有精品99| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸| 91/九色黑人| 色五月在线观看| 在线天堂9| 五月丁香婷婷成人综合网| 亚洲无AV在线中文字幕| 自拍盗摄 另类| 性爱综合网| 婷婷成人综合免费视频| 久久久久婷婷| 五月婷婷激情综合av| 亚洲婷婷丁香五月天激情小说| www天天色天天射| 99热综合网| 婷婷亚洲日本| 伊人久久大香| 五月婷婷综合视频| 午夜九九电影| 91色在线 | 日韩| 99性视频| 2025天天操| 日韩黄色电影| 深爱婷婷网| 五月丁香婷婷激情在线| 激情五月天福利| 丁香五月天激情网| 六月婷婷成人| 第四色五月婷婷| 久久婷婷91| 激情综合无码| wuyuedingxiang| 国产精品久久久久久久久久| 就爱干 在线| 大香蕉太香蕉视频97| 九色PORNY自拍成人精彩视频| 色色999三级片| 色色色色综合| 五月激情开心婷婷| 99黄色在线视频精品熟女| 亚洲超碰在线| 色婷婷亚洲六月婷婷中文字幕| 91色在线| 亚洲啪| 色综合区| 成人婷婷五月| 婷婷五月天色| 开心五月婷婷婷美女| 91丨九色丨东北熟女| 毛片毛片毛片毛片| 妻久久久久| 99久久.www| 丁香桃色网| 91wwmm导航| 婷婷五月天电影在线| 成人做爰A片免费看网站找不到了| 日本色狠狠| 日日噜噜久久婷婷五月天| 深爱丁香激情| 任你爽视频| 这里只有精品视频| 夜夜久久综合网| 久草婷婷| 五月婷婷99热| 丁香五月婷婷色偷偷| 色亚洲无码| 久久中国毛毛片爱久久| 亚洲中文AV| 狠狠爱综合网| 色五月激情网| 婷婷五月av| 欧美va精品va老师va| 婷婷激情啪啪| 色爱爱综合网| 欧美婷婷丁香社区在线播放| 丰满少妇猛烈A片免费看观看| 五月天婷婷成人网| 狠狠xx| 国产在线6| 成人性生活免费观看。| 熟女人妻视频| 五月婷婷久久综合| 思思热视频| 色情综合网| 狠狠色婷婷丁香六月| 91九色小视频| 九九视频精品视频精品| 99ri视频在线观看| 久久五月热| 裸体做A爰片毛片A片免费| 九九99九九99| 激情综合5月| 亚洲永久免费| 色色色色欧洲| 色婷婷婷婷| 久热免费视频| 国产成人va在线| 久久99网站| 中文字幕精品推荐免费在线观| 天天操无码| 激情五月婷婷色播网| 天天插天天日| 一本色道久久88加勒比—| 五月开行婷婷色五月| 色播激情| 色五月开心开心五月激情五月| 五月丁香婷婷色色色| 黄网免费看| 五月丁香六月婷| 中文字幕av网站| 五月丁香婷中文| 欧美色五月| 情色婷婷五月天| 丁香六月婷婷综合在线| AV九九| 五月丁香五月激情综合色综合| 久色网| 婷婷五月成人| 国产精品日本一区二区在线播放 | 操逼综合网| 久久色亭亭五月天| 亚洲成色综合网站免费观看| 五月婷婷六月丁香激情深爱| 天天操夜夜橾| 99热在线播放| 婷婷涩涩网| 久久性爰视频这里只有精品| 色综合久久44| 五月天色图| 91chinese 在线| 九九九热精品| 超碰国产在线观看| 99干在线视频| 99精品视频推荐| 狠狠五月天婷婷| 五月丁香| 久热久色| 日本欧美成人片AAAA| 激情色五月天| 思思热久久久久思思热| 天天天摸夜夜夜玩| 欧洲色区| 白天AV月月| CHINESE熟女老女人HD视频| 久激情网| 亚洲精品视频在线| 丁香综合伊人AV| 久久久性爱视频| 97色综合| 思思热在线观看| 亚洲六月色| 五月天激情国产综合AV| 六月成人网| 色插综合网| 9久久精品| www.91色| 天天综合精品| 综合伊人久久| aa久久| 婷婷伊人五月丁香天堂网| 伊人婷婷综合| 丁香六月婷| 九九色逼| 蜜桃五月天| 婷婷五月丁香基| 五婷婷六月合| 91xxxx九色| 天天插天天草人人玩| 激情五月婷婷五月| 久久综合99| 69人人操人人爽| 色综合综合色| 亚洲综合视频八| 五月激情综合婷婷| 91丨人妻丨国产丨丝袜| 成人AV中文字幕| 久青操| 久久怡红院| 色吊丝永久访问网址| 91碰碰视频| 色情开心五月| 91色色色18| 午夜爱爱网站| 丰满少妇乱A片无码| 色婷婷九月综合| 日韩三级视频一区二区| 99人妻碰碰碰久久久久视| 久久久高清| 色五月婷婷在线观看| 99人妻碰碰碰久久久久视| 丁香五月综合在线播放| 99久久婷| 99日热在线视频| 久久这里有精品视频在线免费观看| 亚洲AV电影美洲AV电影| 五月色丁香| 丁香五月欧美成人| 亚洲免费av在线| 五月香婷婷| 香蕉久久av一区二区三区| 五月天激情图片网| 九月av在线| 色色无码| 五月丁香婷婷中文网| 天堂网色婷婷| 少妇高潮呻吟A片免费看软件| 婷婷激情社区| 99热这里只有精品2016| 色之综合网| 激情五月丁香六月综合AVXXXX| 丁香五月婷婷啪啪| 丁香五月人妻| 99er精品视频| 激情婷婷另类| 丁香六月婷婷开心| 天天插AV丝袜中| 国产成人av在线| 另类在线免费视频| 色婷婷六月天| 五月丁香六月在线| 五月天婷婷乱| 日本色婷婷五月天成人电影| 婷婷五月色图| 丁香九月激情久久| 懂色av粉嫩av蜜臀av| 亚洲AV综合在线观看| 婷婷五月天色网久| 五五月丁香花激情综合网| yazhochengrenavwang| 久久五月天婷婷| 天天色视频| 婷婷五月综合婷婷| 婷婷六月激情小说网| 久9免费视频| 超碰一区二区| 婷婷五月天国产性感美女演员久久久久| 色99在线观看| 久婷婷| 深爱激情五月婷婷| 丁香五月婷婷色综合基地| 影音先锋毛片网站| 色欲色天天香综合| 婷婷色五月大香蕉在线观看| 五月天婷婷激情网| 丁香久久综合| 超碰人人超碰| 久久er视频6| 操逼毛片国语对白| 色色色激情| 人人97碰| 婷色五月| 色婷婷丁香五月天在线视频| 99精品自拍| 婷婷综合五月天| 好色婷婷| 日韩艹比| 五月天激情日色在线| 日日夜夜九九| 在线视频激情网站| 99在线精品视频| 久九九热| 精品婷婷| 五月色丁香婷婷中文字幕| 天天色五月| 狠狠五月激情丁香六月| 四月婷婷五月色综合| www.五月婷婷久久.com| 99热思思在线观看| 狠狠操狠狠狠| 婷婷丁香五月综合免费视频百花| 天天久久狠狠色综合| 五月色网| 夜夜操加勒比| 色九月婷婷丁香| 日本三级网址| 丁香五月性爱| 96精品成人无码A片观看金桔| 538在线精品| 亚洲精品一二三| 天天日天天色| 丁香久久激情俄| 99操免费视频| 色五月丁香六月资源站| 色五月色综合| 深夜男女福利刺激影院一区完整| 色婷婷五月天| 97操碰人免费| 婷婷丁香五月综合| 久久作爱| 色色激情| 五月婷婷色激情| 99精品在线观看视频| 激情五月丁香五月| 色色六月| 《诡秘之主》在线观看| 99视频热| 免费五月婷婷网| 操九色| 99视频在线精品| 国产成人AV在线| 久久在线视频免费观看| 爆乳熟女一区二区三区爆乳| 蜜桃婷婷丁香| 97精品综合久久| 婷婷五月丁香99| 色色色婷婷五月天| 狠狠草狠狠草| 亚洲日韩一页精品发布| 综合久久97| 亚洲美女婷婷五月天| 66精品成人免费网站在线观看| www.夜夜操| 国产精产国品一二三在观看| 黄色激情久久| 婷婷五月成人系列| 六月婷婷综合| 六月丁香婷婷视频综合在线观看| 99免费在线视频| 色色婷婷丁香| 婷婷九月丁香天堂丁香天堂| 色播丁香婷婷五月激情| 亚洲在线综合| 激情宗合 激情宗合| 激情开心五月婷婷| 一级性爱视频| 一级性感黄色内射视频| 天天爽夜夜爽夜夜爽精品视频| 五月天开心网| 色色影院黄大片| 人妻乱码久久久| XX久久| 伊人久久丁香狠狠婷婷综合香蕉 | 天天综合社区| 色五月超碰| WWW.桔色成人.COM| 精品久久99码| 9l视频自拍九色9l视频自拍九色9l社区| 婷婷激情五月天桃花网| 大香蕉人妻| 91无码高清| 蒲京久久无码视频| 激情综合色| 99精品偷自拍| se色99| 99色视频在线| 2050人人操免费工开爱| 五月激情视频| 色色丁香五月婷婷| 中文字幕视频色婷婷| 99久久99九九99九九九| 日韩精品一区二区刘| 婷婷之六月丁香| 粉嫩AV久久一区二区三区| 欧美成性色| 婷婷精品| 亚洲色情一区二区三区四区| 亚洲成人AV电影在线| 久久99视频| 五月Huangsewang| 天天舔天天插天天爱| 女人天堂AV| 综合五月激情| 久久综合首页| 久久色在线视频| 久久色情| 色色成人網| 黄色三级毛片中字| 超碰男人色| 六月色播| 成人片黄网站色大片免费毛片 | 五月婷婷综合色啪| 噼里啪啦完整版中文在线观看| 色五月丁香六月资源站| 亚洲愉拍99热成人精品| 久久久噜噜噜久久人妻| 青草网在线观看| 婷婷五月天亚洲| A1片久久久| 日本美女上人| 成人无码精品1区2区3区免费看 | 婷婷月五天在线在线看| 丁香五月偷拍| 啪到高潮激情丁香五月| 色婷婷久久久| 久月久在线视频| 思思久久99| 生活片五区| 色无码| 婷婷五月天激情网址| 99精品综合| 五月天在线视频尤物视频在线看| 光棍影院日韩精品| 婷婷伊人网| www.五月丁香av| 激情综合色婷婷啪啪六月天| 激情综合五月| 五月婷婷天天| 综合久久婷婷五月丁香| 六月丁香开心婷婷欧美| 天天天天爽爽天干| 99热老网站| 色婷婷在线电影| 婷婷五月天色播| 五月色 亚洲| 玖玖婷婷视频| 亚洲色图欧美色图日本视频| 婷婷五月天堂| 99综合一区| 伊人网欧美在线男人天堂五月丁香 | 色9色| 婷婷丁香久久网| 综合久久影院| 丁香六月五月婷婷| 色婷婷五月基地在线| 婷婷丁香先锋资源网站| 国产,欧美,学生妹,视频| 久9无码视频| 亚洲综合丁香五月| 天天综合网、天天综合色| 免费成人中文字幕| 少妇水多A片太爽了| 国产免费一区二区三区三州老师F1F1.CC | 综合久| 天天做综合网色综合| 久人操| 欧美色综合天天久久综合精品| 丁香激情五月| 日韩99精品| 丁香五月天殴美激情| 天堂中文国产| 五月天婷婷激情网| 91狠狠综合久久| 五月婷激情影院| 亚洲无码九九| 另类激情五月| 狠狠久久婷五月综合色| 日木狠狠干| 十区av| 色婷婷小视频| 4399精品一区二区| 色伦专区97中文字幕| 久久婷综合| 天天插天天插天天插天天插 | 日本91在线| 在线天堂9| 狠狠干狠狠操狠狠爱| 亚州美女| 538在线精品| www.激情五月| 国外亚洲成AV人片在线观看| 极骚大香蕉伊人| 色婷婷成人做爰A片免费看网站| 日本一级特黄大片AAAAA级| dingxiangtingtingliuyue| 5月婷婷视频网站综合| 秋霞午夜理论| 五月天开心成人网| 天天更新天天亚洲| 99精品视频在线| 欧美久久五月婷婷| 婷婷开心综合人妻小说网址| 五月天婷婷在线AN| 国产精品色婷婷AV综合色色| 91人人爽久久涩噜噜噜| 综合噜噜| 五月婷视频在线观看| 五月婷婷综合激情| 91久久久久久| 国产人妻人伦精品一区二区| 亲子乱AV-区二区三区| 亚洲九九99精品视频在线播放| 超碰九色| 中国丰满熟女A片免费观| 99色综合| 成人精品免费在线观看| 色婷婷久久7777| 99视频在线9| 在线亚洲综合| 五月丁香好婷婷A片网| 性爱综合网| 午夜日日| 国产xxxxx在线观看| 思思热国产视频| 五月熟妇婷婷久久| 五月天综合在线观看| 激情六月色| 久久艹99| 爱久久小说下载网| 五月激情婷婷国产精品久久久久久| 色五月婷婷激情基地| 国产AV一区二区三区日韩| 99在线精品免费视频| 99久操视频| 9 99免费视频| 久一这里有精品国产| 丁香婷婷六月激情综合| 女人被男人吃奶到高潮| 伊人五月婷婷| 婷婷伊人久久无码色五月| 97久久超级| 99综合免费视频| 丁香五月激情婷婷激情| 色99色| 超碰碰碰碰| 婷婷伊人久久| 国产精品人成A片一区二区| 色综合久久天天综合网| 亚洲这里只有精品| 亚洲精品国产成人AV在线| aaaaa黄色| 欧美色婷婷| 日本天堂爱爱| 夫妇交换刺激做爰| 99热a片免| 91视频免费后入强操| 玖玖资源在线视频| 五月开心婷婷网| 无码人妻少妇色欲AV一区二区| 亚洲综合在线伊人婷| 日韩精品一品二区三区的使用体验| 9 1 A v久久久| 五月天另类小说| 激情啪啪五月| 人妻免费网站| 精品九九视频| 这里有精品| 六月婷婷五月丁香首页| 亚洲中文字幕在线观看| 国产激情综合五月久久| 亚洲另类电影| 久草热8精品视频在线观看| 天堂爱爱| 婷婷色色欧美| 中文字幕按摩做爰| 五月天色不卡| 色色永久| 中文字幕乱码亚洲精品一区| 五月婷婷丁香大陆免费| 久久五月婷综合网| 激情五月天久久| 色久九| 五月天婷婷日日爱| 五月丁香久久婷| 综合五月天| 天天做天天爰天天爽天天无遮挡| 狠狠色噜噜狠狠狠狠狠色综合久久| 色婷婷久久| 极品另类| 97婷婷丁香五月天激情图片| 丁香九九九九| 91视频久久久| 岛囯综合激情网| 五月婷婷片| 色久五月| 操B五月天| 天天爽天天爽| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 99色在线观看| 99热精品在线| 五月丁香六月婷婷视频| 色大综合| 爱爱色五月天| 六月色色综合| 2025中文在线视频字幕免费观看| 另类的婷婷| 婷婷五月av| 丰满少妇猛烈A片免费看观看| 无码99| 天天色天天日| 天天狠狠色| 激情合网婷婷| 96丁香六月婷婷蜜桃综合久久| 青青草成人网| 99色在线| 九九综合色综合| 开心五月婷婷在线| 精品A√| 任你躁XXXXX麻豆精品| 免费AV在线| 天天操夜夜操| 秋霞电影理论| 久久性爱网站| 婷婷婷婷婷婷婷婷| 天天噜噜| www.操.com| 五月婷婷丁香在线视频| 99热资源在线| 99精品网| 国产片天天爽夜夜爽| 色五月丁香一区在线| 淫荡家庭AV| 亚洲射激情| 久久婷婷五月免费视频| 亚洲AV综合网| 乱精品一区字幕二区| 久久97| 影音先锋天天日| 91丨九色丨大屁股| 久久丁香网| 婷婷五月天激情综合| 提提热五月天婷婷| 久久色天堂| 丁香六月婷| 嫩草AV久久伊人妇女超级A| 狠狠色丁香久久综合婷婷亚洲成人福利 | 色婷婷88| 色综合九九色综合88| 五月丁香在线国产 | 婷婷色五月开心五月| 99激情视频| BBWCUCKOLD精品熟妇| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品| 北条麻妃伊人| 另类五月婷婷| 亚洲尤物在线| 久久婷婷综合五月天| 婷婷激情四射五月天| 91精品无码| 丁香婷婷久久老熟女综合网| 玖玖婷婷五月天| 殴美97色| 亚洲色婷婷视频| 狠狠插狠狠插| 伊人五月天日日夜夜久久久天天| 日韩一级片| 影音先锋 萱萱| 欧洲永久精品| 色99在线视频| www.99热精品99.com| 久久这里只有精品无码| 人人干av| 久久色五月天| 婷婷五月色播| 爱之国产色情综合| 婷婷激情四射| 99色爱| 色丁香在线视频| 九九精品视频在线6| 亚洲AV久久久久久久久久久久久久久久| 操逼巨乳91| 久久久久婷婷五月热综合| 色色色色热| 天堂伊人干| 五月婷婷精品视频| 久久亚洲婷婷| 六月婷婷网站| 91大屁股在线| 五月天亚洲最大成人| 丁香五月婷婷天激情| 9精品久久999| 五月天六月色| 91人妻九色大屁股| 五月婷婷深深爱爱| AA片在线观看视频在线播放 | 久久九九激情五月天 | 永久免费一区二区三区| 婷婷五月天开心网| 激情九九九九| 亚洲综合狠狠艹| 五月色亚洲| 9l视频自拍9l九色9l成人| 亚洲色图81p| 大香蕉520| 嫩草国产| 天天日天天色| 久久机热这里只有精品免费视频| 91九色首页| 99视频91| 成人va在线播放| 日日夜夜狠狠婷婷色| 亚洲色99综合天堂| 就爱操www com| 丁香五月社区| 色五月播五月| 色5在线| 日韩无码专区| 五月丁香好婷婷A片网| 国产精品美女久久久久AV超清| peg 2区三区四区的| 99人妻碰碰久久久禁片| 五月婷婷免费在线视频| 色综合色综合网| 九九成年视频| 五月丁香激情六月| 久操人| 五月色丁香婷婷综合| 久久九九大香蕉电院| 久99久在线| 91久久网站| 亚洲免费婷婷| 丁香婷婷啪啪啪| 色欲日日躁| 婷婷五月婷婷| 26UUU欧美激情一区二区| 国产 A片 自拍| 婷婷伊人75| 99亚洲天堂| 五月婷婷丁香六月| 东京热五月婷婷| www激情| 久久婷婷五月天激情四射| 婷婷激情网五月天| 色五月婷婷久久| 人妻丰满精品一区二区A片| 国产精品美女| 这里只有视频精品| 亚洲99精品九九在线| 九九色影视| 五月天婷婷永久免费视频| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 亚洲九九在线| 五月婷天堂视频| 国产人妻777人伦精品HD| 国产精品美女久久久久AV超清| 亚洲综合五月天婷婷丁香| 久久99激情五月天| 久久婷婷六月综合国际| 综合激情深爱| 97在线/亚洲| 岛国午夜视频| 琪琪色网址| 色情婷婷久久五月天| 欧美日韩国产成人在线| 婷婷丁香五月基地| 丁香五月婷婷总啪啪| 成人午夜无码视频| www.婷婷| 国产69久久久欧美黑人A片| 五月丁香综合激情网| 免费做A爰片77777| 五月婷婷丁香大陆免费| 人人操人| 99在线观看| 色婷婷4| 丁香婷婷视频一区二区| 99视频色在线观看| 91丨九色丨老熟女激情| 色婷婷先锋| 最近中文字幕2019视频1| 最近中文字幕大全免费版在线| 播丁香五月婷婷欧美| 99九无网码| 久久99视频| 丁香五月婷婷手机| 99九九视频| 天天色综网| 国产精品99久久久久久久女警| 九九精品9| 中文字幕无码人妻少妇免费视频| 激情丁香久久| 欧洲第一无人区观看| 第四色色色色色丁香五月天| 五月丁激情| 狠狠操狠狠插| 日韩人妻AV在线| 婷婷五月色影视先锋| 天天综合永久| 天天干天天操天天爽| 午夜少妇在线观看视频| 日韩在线观看亚洲| 色婷婷伦理| 伊人玖玖婷婷| 97婷婷狠狠久久综合9色| 亚州精品色情在线观看| 日本在线视频播放91| 91无码色色| 在线综合91| 91精品国产综合久久密臀| 色热久| 九九99偷拍视频| 久久九精品| 欧美激情五月天在线观看| 偷拍91九色| 精品亚洲日韩99欧美片| 丁香五月六月婷婷殴美综合| 狠狠噪| 中文字幕在线观看视频www| 内射综合网| 色婷婷综合网站| www.色婷婷.com| 蜜桃婷婷狠狠久久| www.99情趣网| 久久成人亚洲欧美电影| 夜夜骑天天操| 人妻五月天激情开心网| 婷婷狠狠五月综合| 亚洲AV网址| 色色激情五月天| 热久久77777| 五月天激情小说网| 日日操日日射| 超碰在线50| 色色色色色色网| 婷婷九月在线| 欧洲色| www.久久婷婷| 五月天成人小说| 婷婷玖玖丁香| 五月婷婷色激情| 婷五月天| 婷婷天天色| 日本久久9| 日本婷婷在线| 九九视频这里是精品五月| 大香蕉婷婷久久| 欧美黄色一级录像| 天天日日夜夜爽。| 久久久久久久8| 婷婷操逼| 亚洲婷婷丁香五月视频| 五月婷婷九九久久| 中文字幕AV在线| 亚洲婷婷丁香五月亚洲| 色啪综合| 婷婷五月天亚洲图片| 激情久久网| 91丨九色丨东北熟女| 五月婷婷开心网| 丁香婷婷六月激情| 91精品刘玥| 五月色丁香激情| 久久色婷婷| 99热这里只有精品免费观看| 99久久久久| 伊人婷婷福利网| 欧美成人精品三区综合A片| 中文AV在线观看| 操逼福利视频| 91在线看免费 九九九九| 天天干天天拍| 五月婷激情影院| 79色色| 国产免费一区二区三州老师F1F1| 曰韩少妇内射免费播放| 99免费视频在线观看爱| 日韩AV在线免费观看| 99综合97| 97caop| 国产超碰在线| 婷婷五月天久久久| 丁香五月天成人| 婷婷婷婷色| 狠狠干2007| 天天色天天爽| 国产成人在线不卡AV| 亚洲V国产V欧美V久久久久久| 激情综合五月| 日韩啪啪视频| 97色啪| 中文av网| 激情综合五| 国产资源91在线| 成人婷婷桔色| 亚洲精品操一操、噜一噜、摸一摸、爽 | 成人开心五月天| 日韩成人电影在线播放| 97操视频| 丁香五月人妻| 色在线99| 色婷婷久久天天性爱| 九伊人网| 色情五月天小说| 五月天精品| jiZZdr| 婷婷五月色天| 激情五月天色色网| 欧美性爱五月天| 影音先锋91网站在线观看| 欧美成人AAA片一区国产精品| 亚州男人天堂婷婷五月| 日韩黄色中文字幕| 久久婷婷五月天激情| 五月六月丁香婷婷在线观看| 亚洲丁香花色| 九九av| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷激情五月天视频导航| 怕怕av| 色婷婷激情小说网| 99精吕视频在线观看了| 熟女色专区| 丁香婷五月| 最新无毒无码AV| 大香蕉220| 丁香,开心成人,久久| 久综合色| 六月婷婷国产| 五月激情视频| 五月丁香在线观看国产| 日韩AV中文在线观看| AV亚洲在线| 六月婷婷久久| 亚洲色激情| www.9797国产| 婷婷激情六月中文| 五月婷婷久久久| 丁香五月天堂网| 色欲色欲久久宗合网| 亚洲va欧美| 婷婷五月激情片| 激情综合网激情五月天| 五月婷婷av在线| 最新日本A片| 久久人人九九| 婷婷综合97| 超碰97在线观看免费| 99日韩| 五月丁香婷婷成人网| 婷婷97碰碰| 午夜色丁香| 午夜不卡久久精品无码免费| 国产欧美婷婷五月| 色噜噜狠狠色综合日日| 视频一二区| 五月丁香六月婷婷综合伊人| 天天添天天摸天天天天做| 五月婷婷影| 五月久久综合| 色综合性视频| 五月婷婷中文网| 色五月婷婷中文字幕| 99大香蕉| 婷婷精品免费久久| 色色六月| 无码人妻一区二区三区四区| 99热精品在线免费观看| 成人天天爽| 亚洲亚洲亚洲AAAAAA| 超碰免费人人肏| 99热只有精| 9999热免费视频视频| 色综合久久88色综合天天| www91色网站| AV五月婷婷露脸| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 五月网激情| 五月天社区| 香焦网五月天| 婷婷丁香综合| 色婷久久| 婷婷久久免费| 日韩综合久久| 伊人六月无码视频| 色噜噜狠狠色综合日日| 色婷婷六月性| 噼里啪啦在线观看免费完整版视频 | 久久久无码精品成人A片小说| 97久久超级| 色国产五月| 69人人操人人爽| 东京热伊人| 狠狠色婷| 亚洲另类视频| 搡BBBB搡BBB搡五十| 五月丁香婷成人网| 欧美色性色好| 天天操加勒比| 成人做爰黄A片免费看直播室男男| 久草热在线视频| 99热资源在线| a网站免费观看| 思思热精品在线| 狠狠搞五月天| 五月丁香综合激情| 美女主播野战视步页| 久婷首页| 色五月激情五月开心五月| 激情深爱婷婷网| 婷婷六月天| 99热综合在线| 天天射美女| 色五月丁香91| 色欲天天综合网| 日本色婷婷| 天天色凹凸| 思思热再线视频| 日本97在线观看| www婷婷| 国产av影片| 亚洲啪啪视频| 六月丁香婷婷综合狠狠爱夜夜爱| 五月激情小说| 99热这里只有精品9| 丁香五月激情视频在线| 成人日韩欧美| 婷婷 伊人 久久| 天天草天天舔| 秋霞A V毛片| 天天干天天射色综合| 久热九九| 五月婷婷久久激情| 婷婷五月激情网站| 五月丁香综缴情性爱| www.狠狠操| 丁香六月婷婷| 五月丁香婷婷色色| 久久久五月四色| www.久久99热地址发布| 免费无码毛片一区二区A片| 超碰人妻在线| 激情五月综合网| 五月天丁香婷婷社区| 韩国天天婷婷| 天天干狠狠艹| 丁香五月婷婷手机| 人妻爽爽爽久久久久久久久| 99九九免费精品| 丁香婷婷激情| 婷婷五月综合激情免费视频| 欧美色色色色色色色| 9有码中文| 亚洲色婷婷| 久久婷婷五月综合色丁香花| 久久艹 五月天| 99精品视频免费观看| 五月丁香色婷婷婷基地| 丁香综合网| 丁香五月天无码AV| 五月丁香狠狠爱| 涩涩五月天综合| www.99热国产| 天天拍夜夜爽| www.五月瑟| 91精品久久久久久久| 五月丁香六月婷婷久久肏| 五月开心婷婷| 国产精品色色| 久9久9热久热| 99色综合| 五月婷视频| 精品99视频| 综合婷婷六月| 亚洲综合99| 激情综合色网| 婷婷丁香人妻久久在线观看| 五月婷婷中文字幕| 色色色欧美| 少妇婷婷五月天| 激情丁香网| 天堂色婷婷| 青草青草视频2免费观看| 99热| 久久久国产精品黄毛片 | 丁香六月婷| www.99热这里精品 | 日日夜夜爽爽| 97色婷| 热99免费在线| 五月婷婷 婷婷五月 一区二区 久久久| 激情AV在线| 亚洲最大视频网站| 婷婷色中文| 综合激情五月天| 99ri精品在线| 天干干夜夜操| 亚洲第一综合| 爱久久小说下载网| 久久99婷婷| 99色视频在线| 五月色亭丁香| 激情五婷网| 色欲av伊人久久大香线蕉影院 | 成人欧美一区二区三区在线观看| 橾逼网| 日本精品久久久久中文字幕| 欧美性生交XXXXX无码小说| 九九九九九九综合| 夜夜躁爽日| 99视频精品全部免费观看| 五月丁香六月激情| 久综合色| 97干在线| 欧美色狠婷久| 天天综合网91| 最近免费中文字幕大全高清大全1| 久久这里只有精品8| 东北熟女视频99| 激情五月www| 久久aaa| 综合五月婷婷| 色色色色综合网| 色吧五月婷婷| 99丝袜精品视频网站| 五月婷婷免费看| 卡视频1区2区| 欧美激情综合色综合啪啪五月| 综合激情啪啪| 亚洲A片成人无码久久精品青桔| sS丁香五月婷婷| 婷婷在线激情| 五月丁香| 都市激情五月婷婷综合| 中文字幕在线不卡| 丁香五月另类色婷婷麻豆| 热99精品视频| 婷婷爱五月| www.99婷婷| a色色色色色| 99精品视频播放| 丁香婷婷六月婷婷六月婷婷六月婷婷| 香蕉AV福利精品导航| 色狠狠综合| 五月丁香六月婷婷欧美综合| 97人人妻人人艹| 人妻VideOssS人妻| 婷婷午夜精品久久久| 五月婷婷之综合激情| 天天综合.com| 久久激情五月网| 人人操五月天| site:hcxsz888.com| 91VIP在线观看| 欧美日韩aaa| 中文字幕无码人妻少妇免费视频| 婷婷五月丁香基| 99人人操| 亞洲自怕| 日本3级片一区2区| 五月丁香91| 琪琪布丁香社区激情五月天| 丁香五月香蕉| 欧美激情Va| 爱99干99| 婷婷日欧美在线观看| 激情五月深爱五月| 综合久久综合五月天婷婷| 色五月丁香五月婷婷五月成人网| 91色五月| 秋霞AV吧| 91九色精品| 日日操天天爽| ww亚洲ww在线观看| 超级黄色片| 婷婷伊人綜合中文字幕| 91精品综合久久久久久五月丁香| 婷婷视频网| 五月丁六月香av| 色亚洲视频| www.91九色| 丁香五月天激情小说| 91丨九色丨国产在线| 九九在线这里只有精品视频| 91丨九色丨熟女|新版| 狼人婷婷久久| 九九视频这里只有精品| 久久与婷婷| 玖玖爱导航| 九色在线观看91av| 天天操天天操天天操天天操天天操| 激情婷婷五月社区| 97日本在线播放| 日韩成人中文| 激情五月丁香六月综合AVXXXX| 丁香激情四射| 五月丁香大香蕉| 永久的网站AAAA | 天天干天天av天天射| 人妻精品在线| 激情五月六月| 婷婷六月综合基地| 亚洲欧美婷婷五月色综合| 激情六月色| www.婷婷,com| 人妻久久久久久久 | 亚洲av无码影院| 丁香五月电影| 婷婷五月视屏| 日日做天天操夜夜爽| 区美毛片子| 五月婷婷综合网| 日 日干 日日做| 激情五月婷婷综合网| 色99综合色88| 亚洲人成网站999综合| 熟女网站久久| 99视频久久免费视频| 五月丁香龟婷婷| 天天插天天插| 丁香六月婷婷综合| 四色五月婷婷| 激情五月丁香六月| 色九月| 国产1区2区3区| 伊人大香久久| 久久久五月五丁香| 翔田千里aV中文字幕| 色婷婷综合视频| 成人丁香| 26uuu欧美亚洲日韩| 国产综合婷婷| 97碰久久| 99亚洲天堂| 97干婷婷| 五月综合亚洲婷婷| 色噜噜狠狠插综合| 中文字幕日韩无码制服诱或| 另类综合网| 亚洲视频99| 色综啪啪| 91婷婷丁香五月天免费视频网站| 日韩九九视频| 欧美婷婷丁香五月社区| 色五月色五天色情网| 26uuu欧美| 五月婷婷六月丁香激情| 激情五月婷| 无码se| 久久精品9| 色婷婷色九月| 婷婷六月激情在线视频| 丁香五月五月婷婷| 久艹伊| 丁香五月综合激情性爱| 婷婷五月天精品| 国产97在线日韩亚洲女人被黑人巨大| www.婷婷六月天| 九九色大香蕉| 美女精品一级不卡视频| 香蕉99网| 97在线/日本| 欧美天天五月丁香免费观看 | 国产特级毛片AAAAAAA高清| 亚洲综合视频网| 激情www| 极品五月天| 婷婷婷五月香蕉| 五月天第四色开心色播| 噜噜色com| 丁香五月性爱| 色九月婷婷综合| 亚洲五月婷婷| 2014天天爽| 五月天激情四射| 爱久久小说下载网| 操日本三片99|