欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

OpenMontage:輕量級(jí)開(kāi)源工作流編排工具,讓定時(shí)任務(wù)依賴(lài)不再混亂

OpenMontage:輕量級(jí)開(kāi)源工作流編排工具,讓定時(shí)任務(wù)依賴(lài)不再混亂 好幾個(gè)項(xiàng)目里我都被同一件事折磨任務(wù)不少腳本也不復(fù)雜可一旦任務(wù)超過(guò)四五個(gè)串聯(lián)方式就變成一團(tuán)亂麻。后來(lái)我干脆自己牽頭做了一個(gè)輕量級(jí)開(kāi)源工作流編排工具取名 OpenMontage。它把采集、清洗、計(jì)算、通知這些零散步驟像剪輯電影一樣拼接到一張可視化畫(huà)布上維護(hù)的人一眼能看懂整個(gè)流程跑任務(wù)的人也不用再追著十幾個(gè) Cron 日志看。OpenMontage 不是一個(gè)重型的調(diào)度中心定位更接近“把多段工序編排成一條流水線(xiàn)”用節(jié)點(diǎn)表示步驟用連線(xiàn)表示依賴(lài)用觸發(fā)器和調(diào)度規(guī)則決定什么時(shí)候跑再用狀態(tài)機(jī)保證每一步都走得清楚。如果你也在為定時(shí)腳本散落、任務(wù)依賴(lài)混亂、失敗排查困難而頭疼這篇實(shí)戰(zhàn)記錄應(yīng)該能給你一個(gè)可直接參考的落地方案。1. 從“無(wú)數(shù)個(gè)定時(shí)任務(wù)”到“一條流水線(xiàn)”O(jiān)penMontage 的出發(fā)點(diǎn)1.1 真正讓我崩潰的不是任務(wù)多而是“連不上的任務(wù)”先說(shuō)說(shuō)我遇到過(guò)的典型場(chǎng)景。一個(gè)常規(guī)的數(shù)據(jù)日?qǐng)?bào)流程大概長(zhǎng)這樣凌晨 1 點(diǎn)從業(yè)務(wù)庫(kù)抽取訂單數(shù)據(jù)凌晨 2 點(diǎn)做清洗和去重早上 7 點(diǎn)把結(jié)果寫(xiě)入報(bào)表庫(kù)8 點(diǎn)推送給運(yùn)營(yíng)群。這個(gè)流程看起來(lái)很簡(jiǎn)單但第一次用純腳本實(shí)現(xiàn)時(shí)我用的是三個(gè) Crontab 任務(wù)加上一段 if 判斷——“如果表 A 有數(shù)據(jù)就執(zhí)行清洗腳本否則等 30 分鐘再跑”。問(wèn)題很快就暴露了某個(gè)晚上上游數(shù)據(jù)源延遲抽取任務(wù)沒(méi)產(chǎn)出文件清洗腳本等了一會(huì)兒發(fā)現(xiàn)沒(méi)數(shù)據(jù)直接退出但退出前它已經(jīng)把“當(dāng)日已執(zhí)行”的標(biāo)記寫(xiě)進(jìn)了數(shù)據(jù)庫(kù)。第二天早上報(bào)表庫(kù)為空運(yùn)營(yíng)群里一片問(wèn)號(hào)我花了一個(gè)多小時(shí)翻日志才定位到是標(biāo)記位提前寫(xiě)入造成的。這還是只有三個(gè)任務(wù)的情況如果中間再插一個(gè)數(shù)據(jù)質(zhì)量校驗(yàn)、一個(gè)異常訂單重試、一個(gè)多部門(mén)通知腳本間的依賴(lài)關(guān)系很快就會(huì)變成“只有我自己看得懂”的意大利面條。我需要的不是更復(fù)雜的腳本語(yǔ)言而是一個(gè)能把“步驟”和“步驟之間的關(guān)系”顯式表達(dá)出來(lái)的工具。OpenMontage 最初的雛形就是這樣把每一步抽象成節(jié)點(diǎn)節(jié)點(diǎn)之間用有向邊連接由調(diào)度器統(tǒng)一推進(jìn)。這樣“誰(shuí)先誰(shuí)后、誰(shuí)依賴(lài)誰(shuí)、誰(shuí)失敗誰(shuí)會(huì)受影響”全部攤在明面上。1.2 “蒙太奇”這個(gè)命名不是炫技Montage 是電影剪輯里的術(shù)語(yǔ)意思是把不同鏡頭拼接在一起讓單個(gè)鏡頭之外的“新含義”浮現(xiàn)出來(lái)。工作流編排本質(zhì)上也是這么回事單個(gè)腳本本身很無(wú)聊但把“抽數(shù)”“清洗”“校驗(yàn)”“通知”這些孤立的節(jié)點(diǎn)按特定順序拼起來(lái)就形成了完整的業(yè)務(wù)閉環(huán)。所以我把這個(gè)項(xiàng)目命名為 OpenMontage中文可以理解為“開(kāi)放拼接”——它不替你做業(yè)務(wù)邏輯只負(fù)責(zé)把業(yè)務(wù)邏輯安全、可控、可觀(guān)察地拼起來(lái)。OpenMontage 的核心定位可以概括成四點(diǎn)定位具體說(shuō)明編排用 DAG 描述節(jié)點(diǎn)依賴(lài)避免腳本間隱晦的時(shí)序耦合調(diào)度支持定時(shí)觸發(fā)、手動(dòng)觸發(fā)、Webhook 觸發(fā)和依賴(lài)觸發(fā)可視化在畫(huà)布上直接拖拽節(jié)點(diǎn)、連線(xiàn)查看運(yùn)行狀態(tài)和日志可觀(guān)測(cè)每個(gè)節(jié)點(diǎn)都有獨(dú)立運(yùn)行記錄、重試記錄、失敗原因和產(chǎn)出物這個(gè)定位決定了它不是一個(gè)通用計(jì)算引擎也不是一個(gè)消息隊(duì)列。它更像是給團(tuán)隊(duì)里那些“每天都在跑、但沒(méi)人仔細(xì)管”的任務(wù)一個(gè)統(tǒng)一的操作臺(tái)。2. OpenMontage 的核心模型節(jié)點(diǎn)、邊、觸發(fā)器和狀態(tài)機(jī)2.1 DAG 編排不新鮮關(guān)鍵在“節(jié)點(diǎn)”的抽象粒度DAG 這個(gè)概念只要接觸過(guò)任務(wù)調(diào)度的人都不陌生Airflow、DolphinScheduler 這些老牌工具都基于它。OpenMontage 沒(méi)有發(fā)明新東西我把精力放在“節(jié)點(diǎn)應(yīng)該怎么抽象”上因?yàn)橹挥泄?jié)點(diǎn)定義合理編出來(lái)的流程才真正可維護(hù)。OpenMontage 的節(jié)點(diǎn)分四類(lèi)任務(wù)節(jié)點(diǎn)、條件節(jié)點(diǎn)、并行節(jié)點(diǎn)、子流程節(jié)點(diǎn)。任務(wù)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)具體操作比如執(zhí)行一段 Python 腳本、調(diào)用一個(gè) HTTP 接口、運(yùn)行一個(gè) SQL 查詢(xún)條件節(jié)點(diǎn)負(fù)責(zé)分支判斷比如“文件是否存在”“返回值是否為空”“指標(biāo)是否超過(guò)閾值”并行節(jié)點(diǎn)用來(lái)聲明多個(gè)分支可以同時(shí)跑不用手動(dòng)寫(xiě)線(xiàn)程或異步子流程節(jié)點(diǎn)則把一段固定流程封裝成一個(gè)“黑盒”方便多個(gè)父流程復(fù)用。這里有個(gè)很重要的設(shè)計(jì)取舍條件判斷盡量做在“節(jié)點(diǎn)內(nèi)部”讓配置項(xiàng)決定行為而不是讓腳本自己到處寫(xiě) if else。舉個(gè)例子做一個(gè)“失敗后重試”的邏輯傳統(tǒng)腳本會(huì)在 Python 里寫(xiě) retry 循環(huán)但這樣重試的間隔、次數(shù)、退避策略都散落在代碼里平臺(tái)看不到也管不著。在 OpenMontage 里我會(huì)把“調(diào)接口”“校驗(yàn)失敗則重試”拆成兩個(gè)節(jié)點(diǎn)第一個(gè)節(jié)點(diǎn)只管請(qǐng)求第二個(gè)節(jié)點(diǎn)根據(jù)產(chǎn)出判斷不滿(mǎn)足就重新觸發(fā)第一個(gè)節(jié)點(diǎn)。這個(gè)拆法把“做什么”和“何時(shí)重試”分開(kāi)了平臺(tái)能記錄每一次重試的原因不會(huì)出現(xiàn)腳本內(nèi)重試到一半進(jìn)程掛掉、外部一無(wú)所知的情況。2.2 一切重試都要從“冪等”開(kāi)始這是 OpenMontage 設(shè)計(jì)里我最堅(jiān)持的一點(diǎn)任何節(jié)點(diǎn)在實(shí)現(xiàn)上都必須冪等。所謂冪等簡(jiǎn)單說(shuō)就是同一個(gè)節(jié)點(diǎn)用同一批輸入執(zhí)行兩次對(duì)外部系統(tǒng)產(chǎn)生的影響等同于執(zhí)行一次。為什么要這么嚴(yán)格因?yàn)榉植际降氖澜缋铩安煌耆 碧R?jiàn)了執(zhí)行到一半網(wǎng)絡(luò)斷開(kāi)、機(jī)器重啟、數(shù)據(jù)庫(kù)事務(wù)超時(shí)平臺(tái)不知道節(jié)點(diǎn)到底是成功了還是失敗了。如果節(jié)點(diǎn)本身不具備冪等性用戶(hù)就會(huì)面臨經(jīng)典的兩難——重試怕重復(fù)寫(xiě)入不重試怕丟數(shù)據(jù)。我在項(xiàng)目里給了三種冪等推薦方式。第一種是天然冪等操作比如“寫(xiě)入前先按唯一鍵查重”“把結(jié)果直接覆蓋到固定路徑”“SET 類(lèi)型寫(xiě)入”第二種是事務(wù)性?xún)绲劝选皺z查狀態(tài)—執(zhí)行更新”放進(jìn)同一個(gè)數(shù)據(jù)庫(kù)事務(wù)里第三種是引入請(qǐng)求唯一 ID讓接收方通過(guò) ID 去重。如果團(tuán)隊(duì)里某個(gè)節(jié)點(diǎn)的代碼誰(shuí)也改不動(dòng)那至少要在 OpenMontage 節(jié)點(diǎn)配置里聲明“該節(jié)點(diǎn)不允許自動(dòng)重試”寧可用告警讓人來(lái)處理也不能讓重復(fù)數(shù)據(jù)混進(jìn)業(yè)務(wù)表。2.3 狀態(tài)流轉(zhuǎn)每個(gè)失敗都不是憑空而來(lái)OpenMontage 的每個(gè)節(jié)點(diǎn)有五種運(yùn)行狀態(tài)pending、running、success、failed、paused。整個(gè)流程實(shí)例同樣有這五種狀態(tài)但會(huì)額外多一個(gè) cancelled表示用戶(hù)主動(dòng)終止。狀態(tài)含義觸發(fā)動(dòng)作pending等待前置節(jié)點(diǎn)完成前置節(jié)點(diǎn) success 后自動(dòng)進(jìn)入 runningrunning正在執(zhí)行任務(wù)節(jié)點(diǎn)記錄開(kāi)始時(shí)間輸出運(yùn)行日志success節(jié)點(diǎn)成功完成寫(xiě)產(chǎn)出物觸發(fā)下游節(jié)點(diǎn)failed節(jié)點(diǎn)失敗或超時(shí)按重試策略嘗試超出重試次數(shù)后暫停流程paused被人為暫停只允許從 pending 或 running 狀態(tài)切入這套狀態(tài)機(jī)看起來(lái)簡(jiǎn)單但實(shí)際操作中幫我解決過(guò)很多“說(shuō)不清楚”的問(wèn)題。以前腳本掛掉我只能看到“Exit Code 1”現(xiàn)在我可以直接看到流程停在了第幾個(gè)節(jié)點(diǎn)、那個(gè)節(jié)點(diǎn)是失敗了還是被人為暫停、它重試了幾次、每次的日志分別是什么。這省下的不是一兩個(gè)小時(shí)而是整條鏈路排查的可追溯性。2.4 調(diào)度器不要一邊倒地把全部任務(wù)壓進(jìn)來(lái)調(diào)度器是 OpenMontage 里容易被忽視的模塊。它的職責(zé)不只是“到點(diǎn)就執(zhí)行”還包括并發(fā)控制、失敗隊(duì)列、超時(shí)管理。默認(rèn)每個(gè)流程副本有獨(dú)立的執(zhí)行隊(duì)列我會(huì)給每個(gè)隊(duì)列設(shè)置并發(fā)上限比如同一時(shí)間最多跑 5 個(gè)實(shí)例超出部分排隊(duì)等待。這樣即使有人不小心配置成了每分鐘跑一次調(diào)度器也不會(huì)把下游數(shù)據(jù)庫(kù)打爆。超時(shí)處理同樣放在調(diào)度器層而不是節(jié)點(diǎn)層。每個(gè)任務(wù)節(jié)點(diǎn)可以選擇聲明 expected_duration調(diào)度器如果發(fā)現(xiàn)實(shí)際執(zhí)行時(shí)間遠(yuǎn)超預(yù)期就會(huì)在保留運(yùn)行進(jìn)程的同時(shí)發(fā)出警告。這里有個(gè)細(xì)節(jié)調(diào)度器只負(fù)責(zé)“超時(shí)是否達(dá)標(biāo)”業(yè)務(wù)要不要強(qiáng)制殺掉進(jìn)程由節(jié)點(diǎn)自己決定因?yàn)橛行╅L(zhǎng)事務(wù)強(qiáng)行 kill 會(huì)造成更嚴(yán)重的臟數(shù)據(jù)。3. 把 OpenMontage 跑起來(lái)安裝、初始化和第一個(gè)雙節(jié)點(diǎn)流程3.1 環(huán)境準(zhǔn)備一條命令拉起整套服務(wù)OpenMontage 后端用 Go 開(kāi)發(fā)前端用 React元數(shù)據(jù)存儲(chǔ)在 PostgreSQL隊(duì)列使用 Redis??紤]到用戶(hù)環(huán)境差異我對(duì)外主要推薦 Docker Compose 方式整套環(huán)境只需要一個(gè) compose 文件。version: 3.8 services: postgres: image: postgres:15 environment: POSTGRES_DB: openmontage POSTGRES_USER: montage POSTGRES_PASSWORD: montage volumes: - pgdata:/var/lib/postgresql/data redis: image: redis:7 scheduler: image: openmontage/scheduler:1.2 depends_on: - postgres - redis environment: DATABASE_URL: postgres://montage:montagepostgres:5432/openmontage REDIS_ADDR: redis:6379 server: image: openmontage/server:1.2 depends_on: - scheduler ports: - 8080:8080 volumes: pgdata:啟動(dòng)命令就一行docker compose up -d啟動(dòng)后打開(kāi)http://localhost:8080能看到登錄頁(yè)面。默認(rèn)管理員賬號(hào)是 admin / admin123首次登錄后建議立刻改掉。這里有個(gè)我實(shí)際踩過(guò)的坑如果本機(jī) 5432 被其他項(xiàng)目占用compose 里的 postgres 端口映射會(huì)沖突所以我建議不要對(duì)外暴露數(shù)據(jù)庫(kù)端口只讓 scheduler 和 server 通過(guò) Docker 內(nèi)網(wǎng)訪(fǎng)問(wèn)。3.2 用 YAML 定義一個(gè)最簡(jiǎn)單的雙節(jié)點(diǎn)流程O(píng)penMontage 支持畫(huà)布拖拽也支持 YAML 導(dǎo)入。我更推薦先把 YAML 學(xué)好因?yàn)楫?huà)布容易上手但版本管理必須靠文本文件。下面這個(gè) flow 定義了兩個(gè)節(jié)點(diǎn)第一個(gè)節(jié)點(diǎn)執(zhí)行pwd第二個(gè)節(jié)點(diǎn)執(zhí)行date并聲明第二個(gè)節(jié)點(diǎn)依賴(lài)第一個(gè)節(jié)點(diǎn)。name: first_flow description: 我的第一個(gè) OpenMontage 流程 triggers: - type: schedule cron: 0 * * * * nodes: - id: node_print_dir type: task command: sh args: - -c - pwd /tmp/current_dir.txt - id: node_print_time type: task command: sh args: - -c - date /tmp/current_dir.txt depends_on: - node_print_dir把這段內(nèi)容存成first_flow.yaml通過(guò)頁(yè)面上的“導(dǎo)入流程”按鈕上傳。導(dǎo)入后系統(tǒng)會(huì)自動(dòng)解析成 DAG 并渲染到畫(huà)布上你會(huì)看到兩個(gè)節(jié)點(diǎn)方塊和一條連接線(xiàn)。點(diǎn)擊“手動(dòng)執(zhí)行”兩個(gè)節(jié)點(diǎn)會(huì)依次運(yùn)行右側(cè)運(yùn)行記錄里能看到每個(gè)節(jié)點(diǎn)的狀態(tài)和退出碼。3.3 畫(huà)布和 YAML 不是兩套東西而是一體兩面很多第一次用 OpenMontage 的同事會(huì)問(wèn)我在畫(huà)布上改了連線(xiàn)YAML 會(huì)不會(huì)同步會(huì)不會(huì)只有重新導(dǎo)入才能生效我在設(shè)計(jì)時(shí)特意把畫(huà)布當(dāng)作 YAML 的可視化編輯器你在畫(huà)布上拖拽節(jié)點(diǎn)、調(diào)整連線(xiàn)、修改參數(shù)系統(tǒng)會(huì)同步更新背后的 YAML 配置反過(guò)來(lái)你在 YAML 里改完保存畫(huà)布也會(huì)在刷新后保持一致。這背后的實(shí)現(xiàn)并不神秘流程定義本身就是一份 JSON前端負(fù)責(zé)把 JSON 繪制成圖YAML 只是 JSON 的文本表達(dá)形式之一。所以版本管理、Code Review、流程復(fù)制都變得很自然我可以把流程定義提交到 Git 倉(cāng)庫(kù)變更流程就像提交代碼一樣有跡可循。4. 真實(shí)案例搭建“數(shù)據(jù)采集→清洗→通知”業(yè)務(wù)流水線(xiàn)4.1 需求拆解一個(gè)帶分支和重試的真實(shí)場(chǎng)景前面講的都是概念這一段我給一個(gè)可以照抄的具體案例。假設(shè)需求是每天凌晨 2 點(diǎn)從電商平臺(tái)的訂單接口拉取前一天的訂單明細(xì)清洗后統(tǒng)計(jì)銷(xiāo)售額如果銷(xiāo)售額比前一天波動(dòng)超過(guò) 20%就把異常報(bào)告發(fā)到管理群否則只發(fā)一份日?qǐng)?bào)。這個(gè)需求在 OpenMontage 里會(huì)拆成四個(gè)節(jié)點(diǎn)fetch_orders調(diào)用訂單 API把原始數(shù)據(jù)寫(xiě)入本地 JSON 文件。clean_orders讀取 JSON去掉無(wú)效訂單、補(bǔ)充匯率字段輸出清洗后的 CSV。check_sales統(tǒng)計(jì)銷(xiāo)售額與前一日數(shù)據(jù)對(duì)比輸出包含“銷(xiāo)售額”和“波動(dòng)率”的 JSON。notify_group接收上游 JSON決定發(fā)送異常報(bào)告還是日?qǐng)?bào)。節(jié)點(diǎn)之間是單純的串行依賴(lài)唯一的分支在notify_group內(nèi)部根據(jù)波動(dòng)率選擇不同消息模板。4.2 節(jié)點(diǎn)配置與參數(shù)傳遞OpenMontage 的節(jié)點(diǎn)之間靠“產(chǎn)出物”傳遞數(shù)據(jù)。每個(gè)節(jié)點(diǎn)可以聲明outputs下游節(jié)點(diǎn)通過(guò){node_id.output}引用。下面是我實(shí)際使用時(shí)的配置片段為了方便說(shuō)明簡(jiǎn)化了鑒權(quán)邏輯nodes: - id: fetch_orders type: task command: python args: - /opt/scripts/fetch_orders.py outputs: - name: raw_file path: /data/orders/{{ run_date }}.json - id: clean_orders type: task command: python args: - /opt/scripts/clean_orders.py - {{ fetch_orders.raw_file }} depends_on: - fetch_orders outputs: - name: clean_file path: /data/orders/{{ run_date }}_clean.csv - id: check_sales type: task command: python args: - /opt/scripts/check_sales.py - {{ clean_orders.clean_file }} depends_on: - clean_orders節(jié)點(diǎn)間傳遞變量有三個(gè)層級(jí)全局變量、流程觸發(fā)參數(shù)、節(jié)點(diǎn)輸出。我建議文件路徑這種體積大的數(shù)據(jù)用文件傳遞小體積參數(shù)用 JSON 傳遞不要把幾百 MB 的數(shù)據(jù)塞進(jìn)變量里。因?yàn)?OpenMontage 的變量引擎會(huì)把這些數(shù)據(jù)記錄下來(lái)用于觀(guān)測(cè)數(shù)據(jù)量太大不僅拖慢界面還會(huì)給排查問(wèn)題造成負(fù)擔(dān)。fetch_orders.py里最關(guān)鍵的一點(diǎn)是要生成固定文件名的中間文件比如orders_{{ run_date }}.json這樣下游節(jié)點(diǎn)只負(fù)責(zé)讀文件不負(fù)責(zé)猜路徑。代碼內(nèi)部大概是這樣的結(jié)構(gòu)import json, sys from datetime import datetime, timedelta run_date sys.argv[1] if len(sys.argv) 1 else datetime.now().strftime(%Y-%m-%d) # 拉取訂單數(shù)據(jù)并寫(xiě)入文件 raw pull_orders(run_date) with open(f/data/orders/{run_date}.json, w) as f: json.dump(raw, f) print(json.dumps({file: f/data/orders/{run_date}.json}))這里有個(gè)小經(jīng)驗(yàn)節(jié)點(diǎn)腳本的 stdout 最后一行最好輸出一個(gè) JSON 對(duì)象OpenMontage 會(huì)自動(dòng)捕獲它作為節(jié)點(diǎn)的輕量產(chǎn)出。后面check_sales節(jié)點(diǎn)就不需要再讀文件而是直接查{fetch_orders.result.file}排查問(wèn)題時(shí)能減少一次文件讀取。4.3 執(zhí)行失敗到恢復(fù)的完整過(guò)程第一次跑這個(gè)流程時(shí)fetch_orders失敗了。失敗原因是電商平臺(tái)接口限流返回了 429。OpenMontage 的重試策略默認(rèn)是最多 3 次采用固定間隔 5 秒。但真實(shí)接口限流通常需要等待更久所以我給該節(jié)點(diǎn)配了指數(shù)退避策略第一次等 30 秒第二次等 60 秒第三次等 120 秒。這樣既不會(huì)馬上就撞上限流窗口也不會(huì)因?yàn)榈却枚下w流程。- id: fetch_orders type: task retry: max_attempts: 3 strategy: exponential_backoff initial_interval: 30 backoff_factor: 2重試三次仍然失敗后流程會(huì)進(jìn)入 paused 狀態(tài)調(diào)度器不會(huì)自動(dòng)繼續(xù)下游。這時(shí)我會(huì)先在頁(yè)面看fetch_orders的運(yùn)行日志確認(rèn)是限流還是代碼問(wèn)題。如果是限流我會(huì)手動(dòng)改一次接口調(diào)用頻率參數(shù)然后對(duì)fetch_orders單獨(dú)執(zhí)行“重跑本節(jié)點(diǎn)”如果上游已經(jīng)成功再手工觸發(fā)clean_orders和后續(xù)節(jié)點(diǎn)。這種“局部重跑”的能力非常關(guān)鍵它讓我不需要把整條流水線(xiàn)從頭執(zhí)行一遍也避免了重復(fù)拉取前一天已經(jīng)入庫(kù)的數(shù)據(jù)。5. 生產(chǎn)環(huán)境繞不開(kāi)的四個(gè)坑重試風(fēng)暴、并發(fā)上限、告警轟炸與時(shí)間鋸齒5.1 重試風(fēng)暴一個(gè)節(jié)點(diǎn)失敗為什么會(huì)帶崩整個(gè)系統(tǒng)我剛開(kāi)始把 OpenMontage 接入生產(chǎn)時(shí)遇到過(guò)一個(gè)印象很深的事故某個(gè)下游數(shù)據(jù)庫(kù)臨時(shí)重啟導(dǎo)致十幾個(gè)流程實(shí)例里的write_to_db節(jié)點(diǎn)同時(shí)失敗。每個(gè)節(jié)點(diǎn)默認(rèn)重試 3 次重試間隔 5 秒于是同一時(shí)間點(diǎn)上數(shù)據(jù)庫(kù)收到了幾十倍于正常的連接請(qǐng)求結(jié)果把本來(lái)就脆弱的數(shù)據(jù)庫(kù)又壓垮了一層。這就是重試風(fēng)暴。解決思路不是不要重試而是給重試加“全局協(xié)調(diào)”。OpenMontage 后來(lái)加入了一個(gè)全局重試熔斷開(kāi)關(guān)當(dāng)某個(gè)目標(biāo)服務(wù)的失敗率超過(guò)閾值時(shí)調(diào)度器會(huì)自動(dòng)把對(duì)該服務(wù)的重試請(qǐng)求延后同時(shí)發(fā)出告警。這個(gè)開(kāi)關(guān)在初期不一定要開(kāi)但你至少要意識(shí)到重試不是并發(fā)的朋友不加控制的重試會(huì)把局部故障放大成全局故障。5.2 并發(fā)上限不是每個(gè)任務(wù)都需要同時(shí)跑另一個(gè)容易踩的坑是“明明配置了并發(fā)上限為什么任務(wù)還是堆積”。這不是 Bug而是因?yàn)槟J(rèn)的并發(fā)上限只作用于同一個(gè)流程的不同實(shí)例比如report_flow同時(shí)最多跑 3 個(gè)實(shí)例。但如果你有 20 個(gè)不同的流程它們底層訪(fǎng)問(wèn)同一個(gè)數(shù)據(jù)庫(kù)或同一個(gè)外部 API而每個(gè)流程各自有 3 個(gè)并發(fā)那么下游系統(tǒng)依然可能被打爆。所以我在生產(chǎn)環(huán)境里會(huì)給“共享資源型節(jié)點(diǎn)”增加信號(hào)量。比如所有訪(fǎng)問(wèn)銷(xiāo)售數(shù)據(jù)庫(kù)的節(jié)點(diǎn)統(tǒng)一在配置里聲明semaphore: name: sales_db max_concurrent: 5這樣不管節(jié)點(diǎn)屬于哪個(gè)流程它要執(zhí)行時(shí)都必須先拿到sales_db的令牌拿不到就排隊(duì)。這個(gè)設(shè)計(jì)像極了限流器只不過(guò)限制的不是單機(jī)進(jìn)程而是跨流程共享的外部壓力。5.3 告警轟炸失敗原因比失敗次數(shù)更有用告警這塊我也交過(guò)不少學(xué)費(fèi)。最初我圖省事只在流程失敗時(shí)發(fā)一條“xxx 流程失敗”結(jié)果運(yùn)營(yíng)同事每天收到的都是無(wú)頭無(wú)腦的告警后來(lái)干脆把告警群靜音了。真正有效的告警應(yīng)該包含三件事失敗的節(jié)點(diǎn) ID、失敗的具體原因、當(dāng)前處于第幾次重試。如果原因明確運(yùn)維根本不用開(kāi)電腦如果原因模糊至少要把相關(guān)日志摘要帶出來(lái)。在 OpenMontage 里我通常會(huì)給每個(gè)流程配兩條告警規(guī)則一條是“節(jié)點(diǎn)重試后失敗”級(jí)別為 warning只發(fā)到運(yùn)維群另一條是“流程連續(xù)失敗 3 次”級(jí)別為 critical直接電話(huà)告警。三級(jí)規(guī)則比一個(gè)“一失敗就告警”更有用因?yàn)樗讶死M(jìn)了處理鏈路而不是讓人疲于應(yīng)付。5.4 時(shí)間鋸齒定時(shí)任務(wù)的隱性偏差最后一個(gè)坑比較隱蔽如果你有 100 個(gè)流程都配置成每小時(shí)的第 0 分鐘執(zhí)行那么壓力就會(huì)集中在整點(diǎn)附近。數(shù)據(jù)庫(kù)、接口、文件系統(tǒng)都會(huì)出現(xiàn)周期性尖峰而尖峰又常常引發(fā)超時(shí)失敗。我把這個(gè)問(wèn)題叫“時(shí)間鋸齒效應(yīng)”。解決辦法是在 OpenMontage 的觸發(fā)器里添加一個(gè)隨機(jī)偏移量triggers: - type: schedule cron: 0 * * * * offset_seconds: 120offset_seconds表示在整點(diǎn)后 0 到 120 秒內(nèi)隨機(jī)選擇啟動(dòng)時(shí)間。這不是為了偷懶而是為了把洪峰展平讓整體負(fù)載更平滑。尤其在大規(guī)模接入階段這個(gè)參數(shù)能把調(diào)度器的穩(wěn)定性提升一個(gè)量級(jí)。6. OpenMontage 的邊界它不是什么以及值得繼續(xù)做的方向6.1 什么業(yè)務(wù)適合接進(jìn)來(lái)什么業(yè)務(wù)不適合用了一段時(shí)間后我越來(lái)越清楚 OpenMontage 的邊界。它擅長(zhǎng)的是“跨系統(tǒng)的輕量任務(wù)編排”比如定時(shí)跑數(shù)據(jù)、調(diào)接口、發(fā)通知、做校驗(yàn)但它不適合做實(shí)時(shí)流處理也不適合當(dāng)大數(shù)據(jù)量的 ETL 引擎。如果一個(gè)節(jié)點(diǎn)要處理上億行數(shù)據(jù)更好的選擇仍然是 Spark 或 Flink 之類(lèi)的專(zhuān)用引擎OpenMontage 可以負(fù)責(zé)編排它們而不是替代它們。適合場(chǎng)景不適合場(chǎng)景定時(shí)數(shù)據(jù)處理、報(bào)表生成毫秒級(jí)實(shí)時(shí)數(shù)據(jù)流跨系統(tǒng) API 編排上億行數(shù)據(jù)的大規(guī)模清洗失敗重試、分支判斷、人工審批介入復(fù)雜機(jī)器學(xué)習(xí)模型訓(xùn)練中小團(tuán)隊(duì)內(nèi)部的自動(dòng)化運(yùn)營(yíng)需要秒級(jí)分布式的強(qiáng)一致事務(wù)判斷標(biāo)準(zhǔn)很簡(jiǎn)單一個(gè)任務(wù)的執(zhí)行時(shí)間單位如果是“分鐘”到“小時(shí)”需要明確的依賴(lài)關(guān)系和重試策略那 OpenMontage 非常合適如果是“秒”甚至“毫秒”并且不需要持久化編排那直接用消息隊(duì)列更好。6.2 和 n8n、Airflow 這些工具相比差異在哪里經(jīng)常有人問(wèn)我OpenMontage 和 n8n、Airflow 有什么區(qū)別我能不能直接換過(guò)去。我的回答是如果團(tuán)隊(duì)已經(jīng)有成熟使用 Airflow 的 DAG 開(kāi)發(fā)習(xí)慣沒(méi)必要遷移如果只是需要一個(gè)低門(mén)檻的自動(dòng)化編排面板n8n 也夠用。OpenMontage 的價(jià)值在于它踩在兩者中間——既有 Airflow 那種對(duì)任務(wù)狀態(tài)、重試、調(diào)度的嚴(yán)謹(jǐn)控制又沒(méi)有那么重的 DAG 開(kāi)發(fā)成本既有 n8n 那樣直觀(guān)的畫(huà)布交互又不會(huì)把流程定義鎖死在閉源平臺(tái)里。對(duì)比項(xiàng)OpenMontageAirflown8n定義方式Y(jié)AML 畫(huà)布Python 代碼畫(huà)布優(yōu)先部署成本輕量Docker 單機(jī)可用重通常需要多組件輕量重試機(jī)制節(jié)點(diǎn)級(jí)支持退避DAG 級(jí)為主節(jié)點(diǎn)級(jí)外部節(jié)點(diǎn)擴(kuò)展Python/HTTP/Shell/SQLPython 生態(tài)更強(qiáng)內(nèi)置集成多適合團(tuán)隊(duì)中小型技術(shù)團(tuán)隊(duì)數(shù)據(jù)平臺(tái)團(tuán)隊(duì)業(yè)務(wù)自動(dòng)化團(tuán)隊(duì)把三者放在一起對(duì)比不是為了證明誰(shuí)更好而是幫你在選型時(shí)看清自己的約束條件。OpenMontage 最大的優(yōu)勢(shì)是“定義即文本”流程可以放進(jìn) Git 里做 Code Review這對(duì)工程團(tuán)隊(duì)非常重要。6.3 后續(xù)值得擴(kuò)展的方向作為一個(gè)自己維護(hù)的輕量級(jí)項(xiàng)目OpenMontage 目前的版本還有很多短板。我個(gè)人最想補(bǔ)的是三塊第一內(nèi)置更多現(xiàn)成的節(jié)點(diǎn)插件比如飛書(shū)、釘釘、企業(yè)微信通知避免每個(gè)團(tuán)隊(duì)都重復(fù)造輪子第二增加更細(xì)粒度的權(quán)限控制讓運(yùn)營(yíng)團(tuán)隊(duì)只能看自己負(fù)責(zé)的流程不能隨意修改別人的生產(chǎn)任務(wù)第三把運(yùn)行指標(biāo)導(dǎo)出到 Prometheus這樣平臺(tái)本身的穩(wěn)定性也可以納入監(jiān)控體系。不過(guò)我也很清楚工具的能力邊界不是靠堆功能解決的。編排工具的本質(zhì)是約束和可視化真正復(fù)雜的是業(yè)務(wù)本身。一個(gè)流程定義得再漂亮如果節(jié)點(diǎn)代碼不冪等、沒(méi)有日志、輸出格式不穩(wěn)定換任何平臺(tái)都救不了。如果一定要給后來(lái)者一條建議我會(huì)說(shuō)別上來(lái)就追求復(fù)雜先用 OpenMontage 把一兩個(gè)最痛的三節(jié)點(diǎn)流程管起來(lái)跑通之后再逐步擴(kuò)大。工作流編排這件事最重要的不是工具選得有多炫而是你能不能把一個(gè)原來(lái)靠人肉盯著的流程變成一條可以回放、可以重試、可以復(fù)盤(pán)的標(biāo)準(zhǔn)流水線(xiàn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
综合激情在线| 色欲一二三| 欧美成人va| 色婷网| 狠狠色大香蕉| 67194成I人在线观看线路1| 丁香五月婷婷天| 日本啪啪视频HD| 五月婷婷天天色| 婷婷五月天网| 99久久黄色顶级视频| 色屌丝中文字幕| 26UUU| 色很很96| 老师高潮流白浆喷水的A片| 婷婷五月天视频小说| 第九色区av天堂| 视色网在线播放| 五月丁香综合啪啪| 九九色热视频| www.综合久久.com| 天天射影院| 97热视频| 色色色色色色色色色影院| 五月夜丁香| 逼特逼在线免费播放| 亚洲婷婷乱乱丁香| 91精品综合久久婷婷九色| 婷婷六月综合基地| 精品色情一区二区三区四区| 亚洲性爱AV| 少妇达人正片在线播放_ikun_福利吧| 午夜免费试看| 婷婷五月天电影在线| 深爱五月亚洲| 五月丁香最新| 婷色五月| 婷婷亚洲欧美丁香五月| 五月激情啪啪| 婷婷9月天| 人人摸人人干人人做| 秋霞少妇毛片| 九九Av| 色丁香久综合在线久综合在线观看| 人五月天婷婷喷水| 久久9视频| 男人天堂伊人五月丁香| 一区二区三区XXXXXX| 色色色色综合网| 久1色色| 婷婷五月色综合香五月| 97人人操人人干| 天天干天天日天天插 | 成人精品视频99在线观看免费 | 熟女五月天久久综合| 亚洲激情六月丁香| 大香蕉九九| 97丁香五月| www.99热视频| 99国产欧美视频| 久99久视频| 亚洲欧洲色色| 亚洲无码11| 大地9中文在线观看免费高清 | 色青青视频| 色色色9 9 9| 99热这里全是精品| 色色a| 亚洲黄色精品| 人人综合五月人人婷婷| 99色激| 色婷网站| www久久99| 亚洲天码视频www蛋播视频| 99热在线观看| 日本WWW九九九| 大地9中文在线观看免费高清| 五月丁香六月婷婷国产视频| 色五月丁香婷婷综合| 看全色黄大色大片| 婷婷日本在线| 九九成人电影婷婷| 五月天激情小说| 99综合色| 99热这里只是精品| 六月丁香婷婷网| 激情99| 强辱丰满人妻HD中文字幕| av在线免费网站 | 激情婷婷五月久久| 超碰97干| 98永久精品| 久久五月婷天天干| 亚洲亚洲人成综合网络| 操91| 五月天婷婷久久| 亭亭玉月丁香| 亚洲色99| 人人操人人爱丁香五月| www,婷婷五月天777me,com| 日日干天天射| 九九大香视频| 丁香六月色| 国产免费性爱| 婷婷另类小说| 99热资源在线| 久久久ww| 色综合色综合网| 色天堂A| 五月丁香六月香综合激情| 欧美成人无码高清一区二区三区| 热久久66| 丁香六月激情综合| av在线资源| 五月婷婷久久大香蕉| 丁香五月激情啪啪| 国产精品18久久久| 综合网五月| 成人短视频在线免费观看| 综合五月天婷婷色| 66精品成人免费网站在线观看| 九九精品片一| 安息电影在线观看完整版| 丁香五月综合激情啪啪| 狼人婷婷久久| 在线视频另类| 99热国产精品| 久久婷婷五月国产色综合激情| 婷婷五月天黄色| 狠狠色噜噜色狠狠狠综合色 | 99婷婷五月天激情| 亚洲婷婷久久综合| 99九九在线精品热动漫| 五月色网| 99热无码精品| 五月激情网五月综合网| 五月婷婷在线网站| 激情五月www| 俺去也在线视频| 激情综合网,婷婷五月天| 婷婷五月丁香基| 思思热99er在线视频| 久久五月视频| 天天摸日日舔狠狠添婷婷婷| 一级操逼内射在线视频| 五月丁香六月色| 天天插天天爱| 9+1视频网址| 91碰碰视频| 人人干人人操人人摸| 日婷婷久久开心| 激情五月天影院| 婷婷网五月天| 99色在线视频| 色色99| 激情小说婷婷| 色狠狠综合| 丁香五月98| 性爱电影科技贸易有限公司| 丁香涩涩爱| 婷婷五月天综合久久| 可以看的av| 婷婷人人操| 婷婷久久五月天| a在线观看| 丁香五月激情网| 国产XXXX搡XXXXX搡麻豆 | 99爱精品| 麻豆忘忧草午夜| 九色综合五月天婷五月| 久月婷婷| 天天色官网| 九九热这里只有精品6| 久久综合丁香| 亚洲中文字幕在线观看| 婷婷五月色情| 欧美在线骚货| 六月丁香婷婷开心综合基地| 新激情五月天天在线网| 国产亚洲99久久精品| 男同91 | 色婷婷综合久久| 丁香婷婷影院| 九九热10| 天天爽人人爽| 综合网啪| 99热久久这里只有精品| 玖玖九九9999在线观看视频精品| 久久婷婷色| 黄色99网| PORNY九色9l自拍视频成人| 色婷婷色99国产综合精品| 色色三级视频| 91操在线视频| 九九婷婷五月天影视| 97操碰人免费| 午夜免费试看| 看久久性爱视频| 97在线碰| 色婷狠狠| site:picc-up.com| 激情六月丁香| 九九色网| 五月激情丁香五月宗合| 六月丁香综合| 另类图片五月激情| 天天 日综合| 日亚二欧美| 色九月婷婷| 日韩成人电影Av| 丁香五月婷婷狠狠色| 婷婷五月天亚洲综合网| 97精品自拍| 欧美色五月| 亚洲影院婷婷色| 色五月婷色彩免播放器| 天天射影院| 嫩草AV久久伊人妇女超级A| 婷婷伊人视婷婷婷| 激情综合网亚洲色图| 久久久91| 综合www色| 亚洲综合网激情小说| 91九色视频在线观看| 熟妇人妻中文字幕无码老熟妇| 99热欧美精品| 六月丁香影院| 精品人妻午夜一区二区三区四区| 国产午夜精品一区二区| 日韩操女| 极品人妻videosss人妻| 久操热线| 玖玖在线视频| 另类综合激情| 综合色吧| 一本久道综合色婷婷五月| 久久久久9999| 婷婷久久大香蕉| 婷婷五月丁香在线视频| 99热草草| 99热骚货| 无码激情AAAAA片-区区| 久操热线| 精品久久久久久久人妻| www九九热| 9久久精品视频| 青青草视频福利| 五月婷婷婷| 丁香五月婷婷综合精品素人| 亚洲精品国产精品乱码视99| 97干资源在线观看| 五月婷色激情五月| 日本成人内射| 五月婷婷m| 久久综合激情| site:wpjngj.com| aa久久| 人人妻人人澡人人爽| 这里只有免费的精品| 色五月激情综合网| 六月婷婷av| 丁香五月成人婷婷| 97干综合网| 五月天激情婷婷久久| 99A片| 双性美人被调教到喷水A片| 日本 色综合| 天天操夜夜爽歪歪| 91狼友视频网页更新| 五月婷婷在线网站| 久久婷婷丁香花综合网| 五月天精品综合在线| 国产这里只有精品| 五月丁香啪啪啪啪| 97色色色色色| 九九99视频精品| 日韩无码色色| 日韩一区二区在线播放| 国产亚洲精品AAAAAAA片 | 91日视频| 玖玖综合色| 色色色婷| 五月天激情黄色小说在线观看| 欧洲亚洲免费视频9| 大香蕉五月天婷婷丁香91| 99国产精品久久久久久久久久久| 色色色婷婷五月| 久久激情五月婷婷| 色色色色热热| 91精品国产综合久久久不卡电影| 99色播| 丁香六月婷婷色XXXX| 99热大片| 五月婷婷九九久久| 日韩在线一级| 久久综合综合久久| 120分钟婬片免费看| 亚洲日本激情| 八戒青柠影视剧在线观看| 婷婷激情六月中文| 天天日天天干天天插天天射| 91色性感五月婷婷丁香| 五月丁香色六月激情干大屄| 色婷婷综合久久久久| 九九青青草成人| 天天操天天日天天爱| 色婷婷亚洲婷婷| 欧美天天综合网站上去吧| 成人做爰A片免费看网站找不到了| 97色五月天| 亚洲精品无码A片一区二区| 五月天狠狠网| 婷五月丁香俺| 亚洲中文AV| 久久久久人妻网址| 国产乱码久久| 91九色无码内射| 五月婷婷六月丁香色| 婷婷五月中文字幕| 综合色播| 亚洲热视频| 亚洲综合草草| 天天插天天射| 五月丁香va| 丁香婷婷五月份| 蜜桃五月天| 色哟哟www| 亚洲激情在线| 丁香五月天婷婷中文字幕| 久久久网站| 最近免费中文字幕大全高清大全1| 男女久久婷婷五月天| 狠狠色丁香婷婷| 激情伊人五月天| 激情五月天免费视频| 五月激情网综合| 九色在线观看91av| 亚洲无AV在线中文字幕| 激情五月婷婷在线| 色婷婷99| 九九成年视频| 欧美久热| 在线观看亚洲视频影院| 激情五月五月五月婷婷| 九九九九毛片| 爱iii做iiii日日| 午夜成人AV在线| 九九这里精品| 99视频在线播放大全| 中国女人做爰A片| 婷婷综合激情| 最新激情五月天| 超碰网站在线观看| 国产午夜精品一区二区三区嫩草| 亚洲99综合| 久久五月婷婷开心网| 婷婷婷久久久| 日本久碰| 国产婷婷色综合AV蜜臀AV | 91热在线| 日韩操女| 久久婷婷五月天激情新地址| 日韩啪啪视频| 激情丁香五月天图片| 九九人人自拍| 色色色1网址| 五月婷婷六月丁香| 久久九九爽| 五月丁香激情在线| 丁香婷婷激情五月色| 在线资源av-超碰中文在线-成人AV| 国产真实乱了老女人视频 | 影音先锋日本三级资源| 亚洲综合成人网| www.狠狠艹| 日韩五月天婷婷| 91在线日| 伊人五月婷婷| 小色小蛇伊人婷婷色香五月| 成人小说色图婷婷五月| 黄网在线免费观| 六月天婷婷| 五月婷婷激情久久| www.天天干| 日韩六六久久电影| 99在线爽| 亚洲激情图文小说| 伊人婷婷青青cao| 色色色色色五月| 热日韩欧美| 嫩BBB槡BBBB搡BBBB| 久久xx| 99爱视频| 99九九玖玖| 色99网站| 五月婷婷婷婷| 五月综合婷婷五月| 亚洲激情色色| 少妇人妻凹凸视频| 精久久色| 日韩AV无码影片| 99热在线观看免费精品| 无码啪啪| 国产操碰| 99操| 99这里有精品视频| 色欲天天综合网| AV在线免费播放| 亚洲最大激情无码| 五月的色婷婷高潮| 人人操人人爱丁香五月| 五月天综合影院| 色综合色色色色色| 五月婷婷性| 色丁香影院| 天天摸色吧天天摸色吧| 开心激情综合| 精品99在线| av在线免费网站| 成人网址在线观看| 中文字幕av在线| 亚城区在线| 六月色国内综合| 天堂爱爱| 99热只有这里才是精品| 99这里只有| 综合图片色色| 五月天久久综合婷婷| 丁香五月影院| 色五月在线观看| 99热只有| 黄桃AV无码免费一区二区三区| 亚洲精品白浆高清久久久久久| 免费无码毛片一区二区A片 | 七七色色综合| 久久丁香五月婷婷| 日本片日本片祼观看网站在线看中文版网页在线看 | 播五月婷婷开心| 无码se| 欧美熟女99| 三级黄网站| 久久久婷| Www.久久| 99色在线观看视频| 色10月婷婷视频| 色婷婷狠狠18禁| 婷婷久久欧美| www.五月天性.com| 久久人妻久久| www.99热在线观看| 激情综合五月天| 67194线路二在线观看| 99色免费在线观看| 中文字幕婷婷在线| 91久久综合| 久久色情| 牛牛碰免费| 婷婷五月,偷窥偷拍网| 激情五月天婷婷| 大伊香蕉精品视频在线| 伊人大香蕉在线视频| 99精品97| 五月网激情| 日本成人噜噜噜噜噜| 日日艹思思热| av网址在线| 丁香网站| 爆乳熟女一区二区三区爆乳| 一夜福利不卡| 日婷婷久久开心| 日本五月婷婷| 一级韩国产精品毛| 亚洲夜五月| 思思热在线视频99| 五月丁香婷婷综合久久| 98国产精品综合一区二区三区| 99爱操| 黄色一级影片| 六月丁香婷婷尤物| 99热这里都是精品| 免费无码毛片一区二区A片| 七月丁香婷婷 色色| 五月婷婷六月天| 五月婷婷激情网| 五月婷婷色色网址| 婷婷五月天成人动漫 | 天天干天天干天天| 久99久99精品免| 天天人人天天爽| 丁香六月激情| 日韩一区二区A片免费观看| 99热色综合| 激情五月天久久丁香| 很很干夜夜干| 久久人妻熟女一区二区| AV在线中文| 九九机热| 202丰满熟女妇大| 四月婷婷五月丁香| www色中色综合| 婷婷丁香五月激情| 老师把我爽高潮了免费A片| 色噜噜伊人| 丁香六月婷婷色播| 99碰碰碰| 久久只这里有精品| 五月激情小说| 啪啪黄页网| 婷婷综合在线观看视频| 开心五月婷婷激情| 五月激情综合网| 久99| 久热AA| 超碰99在线观看| 69午夜成人影片| 亚洲99在线视频| 无码人妻少妇色欲AV一区二区 | 超碰人人在线观看| 欧美激情五月| 另类婷婷五月天啪帕帕| 深爱婷婷网| 天天狠狠色综合| 亚洲无aV在线中文字幕 | 中文字幕在线视频播放| 丁香六月五月天| av一区二区电影免费在线观看| 中文字幕婷婷五月天在线观看| 国产综合A片| 色播五月| 久久总和99| 亚洲人妻五月丁香婷婷| 亚洲第二AV| 91婷婷五月天嫩女| 男人天堂99| 五月色天情| 91蜜桃婷婷狠狠久久综合9色| 色五月丁香五月| 狠狠色 综合色区| 五月丁香啪啪综合网| 一起草日本| 五月婷婷在线免费观看| 六月婷婷开心| 天天擼久久擼在线| 九月婷婷在线观看| 天天操天天曰| 婷婷欧美综合| 激情五月天综合网| 婷婷激情五月天天天开心| 97热超碰| 九九99在线| 9久久婷婷国产综合精品性色| 五月在在观看| 色在线免费观看| 九九久久综合| 91fuliwang| 538在线精品| 久久综合中文字幕| 欧美三级视频下载| 国产精品美女久久久久AV超清| 综合网色| 丁香九月久久| 深爱激情综合网| 日韩AV大全| 67194成I人在线观看线路1| 丁香五月激情久久麻豆| 综合aV在线| 婷婷色色综合| 精品动漫 无码av| http:色情日本com| 99久久九九视频| 成人在线不卡| 婷婷综合网站| 久久99免费视频| 影音先锋一区二区三区| 色婷婷精品视频| 六月天丁婷婷| 色色综合网络| 亚洲婷婷六月天| 777丁香六月青青草婷婷综合久月| 99综合视频在线| 激情五月天影院| 成人在线视频网| 99精品热视频| 成人无码精品1区2区3区免费看| 久久99热这里只频精品6学生| 九九免费精品| 99这里只有精彩视频| 综合丁香婷婷五月天| 亚洲AV人人操| 婷婷色5月天在线。| 婷婷丁香人妻| 亚洲成色综合网站免费观看| 亚洲在线操| 女婷久久| 丁香五月性| 五月综合色| 日韩天堂久久| 综合婷婷六月| 激情婷婷丁香五月| 天天色色婷婷| 激情五月综合网最新 | 人妻aV在线| 免费视频无码| 性做爰1一7伦| 日本人妻伦在线中文字幕| 色色色色色色色色综合网| 五月天国产| 色五月综合网| 男人的天堂av俄罗斯热| 91在线观看www| 国产精品岛国片在线观看免费| 男人大jjc女人免费视频| 91丨九色丨大屁股| 91凹凸在线| 中文字幕网伦射乱中文| 五月色亚洲| 丁香五月婷婷无码AV| 天天爱天天秀天天做| 97精品综合| 99免费在线视频| 色综久久久| 久久草中文日韩欧美| www久久久久久| 丁香五月激情六月综合| 激情图片五月天| 久色大香蕉| 南京搡BBBB搡BBBB| 色欲午夜无码久久久久久张津瑜 | WWW久久久| 国产亚洲精品久久久久苍井松| 九九九九综合| 丁香五月六月婷婷怡红院| 中文AV网| 特黄三级又爽又粗又大| 丁香五月天偷拍| 99人妻碰碰碰久久久久禁片| 久热re视频在线观看网站| 国产操碰| 天天草天天爱| 欧美日韩欧美| 亚洲小视频免费播放| 少妇丁香婷婷 | 丁香婷婷五月综合欧美另类| 欧美亚洲婷婷五月| 精品一二三区久久AAA片| 色婷婷五月天激情久久| 天天爱夜夜爽| www.超碰在线| 成人欧美日韩| 色日本五月天| 久久天堂女人| 夜色综合网| 91九色小视频| 五月花激情| 99九九中文字幕视频| 久久免费操| 久草嫩草在线观看| 久久人妻精品| 九九热在线视频观看| 五月婷婷六月天| 92国产福利| 国产精品色| 这里只有精品免费在线视频| 色婷婷五月天| 日日操,夜夜爽| 五月色亚洲| 狠狠狠狠狠狠色| 亚洲小视频免费看| 综合色色五月| 99这里都是精品| 九九色大香蕉| 熟女人妻一区二区三区免费看| 国精产品一区二区三区| 天天操天天曰天天射| 亚洲综合色婷婷| 色播五月丁香婷婷| 潘金莲AAAAAAAAAA| 国产精品久久..4399| 婷婷五月丁香在线观看| 婷婷五月天亚洲综合| 碰人人97| 久久精品人妻| 丁香五月六月综合欧美| 深爱五月婷婷开心中文字幕| 激情五月婷黄版| 丰满人妻妇伦又伦精品国产| 激情五月天 婷婷| av久热| 五月丁香大香蕉| 开心五月婷婷在线| 色五月超碰| 婷婷五月成人社区| 激情五月天网| 夜夜骑天天操| 九九热这里精品| 色综合av超碰| 开心五月激情站| 激情com| 99热主页日本| 五月婷婷色啪| 久久九九国产| 97亚洲视频在线| 99热综合在线观看| 婷婷五月天伦理| 午夜九九九九九九九九九九九九九| 99热官网精品在线| 五月天激情日色在线| av一区二区电影免费在线观看| 国产午夜伦鲁鲁| 另类图片五月天| 夜夜操狠狠操| 日本色五月婷婷| 日操五月婷| 狠狠干总合| 日本熟妇人妻在线| 五月亭亭综合五码| 婷婷开心五月| 六月婷婷色综合| 天天天天干| 五月婷婷亚洲色视频| 狠狠狠色激情综合适合| 五月婷婷丁香五月 | 97久久人人操| 五月丁香自拍| 综合久久综合五月天婷婷| 97超碰欧美中文字幕| 9l视频自拍9l九色9l成人| 欧美六月| 狠狠色婷婷7| 婷婷操逼网| 天天插天天| 好好干av| 天天操夜夜橾| 91视频综合网| 五月天精品视频| 无码操B| 成人短视频在线| 色九四色| 夜色热久| 猫咪伊人久久| 美女婷婷六月色| www,99热| 我爱大香蕉| 伊人无码高清| 强奸幻女毛片| 国内一级精品| 超碰在线成人| 婷婷五月丁香av网站| 天天摸天天高潮天天爽| 97碰碰视频| 五月婷婷激情久久| 国产黄大片在线观看画质优化| 五月天激情日色在线| 99热人人操人人操| 影院久久久| 成人电影在线免费试看| 丁香六月高清视频| 色播五月婷婷五月| 久久女人天堂| 国产乱人偷精品人妻A片| 激情综合网色播五月| 色婷婷8| 天天摸天天肏| 国产精品A片| av久热| 精品国产AV色一区二区深夜久久 | 做爱夜夜干天天操| 五月天久久综合婷婷丁香| 激情综合网五月丁香| 成人无码精品1区2区3区免费看| 97在线干| 最新热中文字幕| 丁香婷婷视频一区二区| 色噜噜婷婷| 日本久久色| 超碰在线免费9| 色婷婷91| 国产精品18久久久| 狠狠色噜噜狠狠狠狠狠色综合久久| 九九99九九99九九99视频网| 开心五月婷婷在线| 丁香狠狠色婷婷| 国产毛片精品一区二区色欲黄A片| 免费AV在线网址| 久久99最新| 激情五月天婷婷在线网址发给我| 大香蕉综合在线| 婷婷色六月| 日日夜夜狠狠婷婷色| 97综合在线| 操操操操操操婷婷五月天| 日韩色五月| 亚洲精品又粗又大又爽A片 | 婷婷五月天成人网| 31色区视频免费看| 亚洲最大在线| 六月丁香停| 丁香五月大片| 六月亭亭久久综合激情| 婷婷综合在线| 国产黄色av| 五月婷婷播| 超碰免费大香蕉| 丁香五月天大香蕉啪啪| 天天日天天狠狠操| 五月天淫乱视频| 青青草视频免费观看| 狠狠色综合网| 欧美va在线观看| 99久久超级| 婷婷久久五月| 91婷婷搞| 色五月婷婷中文字幕| YW无码| 九九操操| 五月天成人在线播放| 国产三级在线播放| 丁香五月色五月婷婷宗合| 精品久久99| 伊人久久五月天| 婷婷五月丁香六月| 色级停停| 久色成人| 国产免费一区二区三州老师F1F1| 成人丁香五月天| 99 福利 导航| 99re这里有精品手机在线| 性色天| 99欧美精品99日本精品| 日本熟妇人妻在线| 国产精品天天狠天天看| 五月丁香婷婷在线综合蜜桃| 丁香色五月 97干| 在线视频99| 激情綜合W W W,激情五月天| 2050人人操免费工开爱| www.婷婷五月天啪啪| www.91.com黄| 思思热在线| 久久久欧美精品sm网站| 五月色网| AV片在线观看| 天天爽夜夜爽| 北条麻妃九九九国产精品视频| AA丁香综合激情| 婷婷五月天成人小说| 日本九九九九| 黄急一级视频| 丁香色播五月天| 国产欧美日韩综合精品一区二区| 精品思思久久| 激情六月丁香| 精品人妻在线| 免费婷婷| 久久五月婷综合网| 久狠狠| 中文字幕网站在线观看| 极品 少妇 内射| 东京热免费视频| 综合五月亭亭9| 亚洲12p| 六月婷婷色宗合| 久久加勤综合| 五月天激情综合10p| 欧美99热| 99精品久久久久| 九色啦蜜臀| 玖玖99免费视频| 五月天色丁香| 午夜成人AV在线| 婷婷五月天亚洲| 色色色色色热| 丁香网站| 久热最新视频| 农村熟妇高潮精品A片| 色色日韩无码| 91色色色视频| 色色无码| 色五月,婷婷大香蕉| 激情五月天影院| AV色色天堂中文| 开心五月天激情| 九热av| 五月天综合在线观看| 久久久久久久久久91| 丝袜大香蕉| 婷婷久久免费看| 色播激情| 六月婷婷综合激情| 久久五月丁香| 嫩草AV久久伊人妇女超级A| 婷婷五月激情片| 五月天播播中文字幕| 国产精品第一国产精品| 婷婷激情五月综合丁香社| 六月婷婷青青青视频| 久久久WWW| 五月天自拍网| 色婷婷精| 色碰碰| 亚洲精品第一国产综合亚AV| 深爱激清网| 色色婷婷丁香五月天| 天天干,夜夜爽| 五月丁香花激情综合网| 五月丁香花视频| 日狠狠| 五月丁香婷婷激情澎湃四射| 91凹凸在线| 精品久久这里热66| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 91九色最新视频| 久久婷婷综合五月天| 黄网免费观看| 少妇人妻丰满做爰XXX| 99热这里只有精品50| 中文字幕av网站| 九九香蕉网| 九九热手机在线视频| 久热超碰91| 91丨九色丨国产打屁股| 99色热综合| 久热69| 99色性爰网络| 99热日韩这里只有精品| 色站9/| 婷婷久久综合| 丁香五月在线观看| 婷婷偷拍网| 微拍92| 青青草原亚洲天堂| 天天艹天天色| 91ncm视频| 色日本五月天| 玖玖在线资源视频| 99riAV国产精品视频| 亚洲乱码日产精品BD| 99自拍网| 99热这里全是精品| 蜘蛛女免费观看完整版高清电影| 热99热久| 日韩九区| 最新丁香六月婷婷| 九月丁香亭亭| 激情综合网五月| 夜夜躁爽日日| 亚洲九九在线| 丁香五月自拍| av在线观看网址| 午夜性做爰电影| 婷婷色啪| 天天爽夜夜爽天天爽夜夜爽| 一区二区免费看| 婷婷丁香成人色综合| 九九碰九九爱97超碰| 五月色综合网| 99热精在线九九久久保| 丁香婷婷色九月| 丁香婷婷欧美综合| 五月天桃色深爱网| 激情五月天影院| 六月婷五月丁香| 色五月丁香网| 激情综合网五月丁香| 五月开心啪啪| 岛国AAAV| 国产精品久久欧美久久一区| 婷婷五月天堂| 人妻操逼视频| 精品成人无码A片观看香草视频| 大香蕉狠狠爱主页| 亲子乱AV-区二区三区| 五月丁香成人网| 香蕉综合网| 婷婷99狠狠躁| 五月天a婷婷伊人| 色愛综合网| 99自拍网| 操逼六区| 丁香社92视频| 色播丁香| 久久婷婷综| 综合网啪啪| 五月天婷婷伊人| www.婷婷.com| 人人人操B超碰| 五月婷婷久久爱| 婷婷色亚洲| 婷婷五月,综合伊人| 日本美女五月天| 亚洲六月婷婷| 色热久| 91婷婷色| 伊人久久综合| 九九精品婷| 4399在线观看免费高清毛片| 色爱亚洲| 激情五月天激情小说| 开心激情网在线| 婷婷五月情天| 色色日本| 五月婷婷开心五月| 激情五月天小说| 亚洲色情网站| 五月丁香婷爱在线| 久久这里有精品在线观看| 五月婷婷久久激情| 国产精品成人AV在线观看春天| 五月激情综合网| 亚洲成人在线播放| 成人做爰高潮A片免费视频| 丁香色婷婷| 91精品综合久久久久久五月丁香| 天天射色五月天| 丁香婷婷五色月| 婷婷色五月天综合网| 五月丁香在线婷婷蜜桃| 啪啪啪啪五月天| 日日操夜夜操狠狠操| 99自拍网| 色五月婷婷基地| 九九九色综合| 久久综合激情五月天| 天天看片日日夜夜| 婷婷 亚洲图片 丁香| 西瓜美女a片| www,五月丁,com| 五月香六月婷| 欧洲亚洲精品| 亚洲第一色色色色| 美国不卡视频| 91九色国产| 久久久久久xxxxx| 色五月丁香五月五月婷婷| 五月天婷婷在线观看精品男人| 婷婷五月天com| 色婷婷欧美在线| 淫荡综合网| 久色婷婷200| 天天操夜夜操| 美女网黄| 久久久久激情网| 开心五月激情网| 国产成人AV在线| 婷婷综合五月色播| 久久精品噜噜噜成人A∨色欲| 狠狠狠狠狠干| 五月婷婷久久综合| 伊人五月婷| Www.se.久久| 六月婷欧美| 激情婷婷久久| 五月色综合| 日本熟妇人妻在线| 丁香婷婷成人在线播放| 偷拍五月丁香| 五月天激情图片| 99精品综合视频| 26uuuavcom| 五月天无码| 五月丁香综合网色欲| 热无码A∨| 六月婷婷久久大全| 激情六月丁香| 精品婷婷五月视| 亚洲日日操| 91九色精品熟女内射| 国产肥白大熟妇BBBB视频| 狠狠色综合无线观看| 日本99在线| AV在线资源| 国产成人精品一区二三区熟女在线| 婷婷五月天激情电影| 夜精品无码A片一区二区蜜桃| 激情五月天第四色| 99视频内射三四| 日本a片网址| 五月天婷婷无码视频| 99热这里全都是精品| 五月四色激情| 九九久久久综合| 啪啪啪丁香五月| 亚洲激情婷婷| 激情六月五月婷婷综合网| 色五月婷婷很很操| 久久精彩免费视频| 99热久久日本| 色婷婷丁香五月天| 国产精品久久7777777精品无码| 五月婷婷,狠狠操| 这里只有精彩视频| 97成人在线视频| 久草免费福利视频| se婷97| 久久99热免费| 亚洲色五月| 国产肥白大熟妇BBBB视频 | 爱狠射| 噜噜噜噜噜在线| 天天爽日日爽夜夜爽| 99成人在线观看| 色综合五月| 九九熱最新視頻| 天天色视频| 影音先锋美国A| 精品五月视频婷婷在线观看| 丁香五月婷婷AV在线| 婷婷在线中文字幕| 91免费在线视频6| 婷婷激情综合| 六月婷婷久久| 五月婷婷六月少妇激情| 激情 久久 婷婷| 色五月无码| 亚洲热热视频| 97超碰在线免费观看| www.婷婷五月| 国内精品99| 色婷丨日丨天丨综合久久| 岛国AV网| 五月婷婷偷拍| 狠狠干,狠狠操| 99热在线观看免费精品| 免费看欧美成人A片无码| 丁香色色五月| 人人干天天操五月丁香| 99久久久久| 六月色婷婷综合影视| 色八月婷婷| 天天搞天天色综合| 97人人干人人操| 天天操综合网| 韩国19 主播内部福利vip免费播放| 6月丁香婷婷激情| 色色色色综合| 色色亚洲99com| 日本色婷婷五月天成人电影| 婷婷五月天综合网| 丁香五月婷婷五月| 色色色com| 久久这里只有国产| 五月婷AV| 成人片黄网站色大片免费毛片| 天堂久久精品| 亚洲天堂色| 婷婷久久五月天丁香| 日本五月视频| 九九热最新| 天天日夜夜爽| 五月天色播网| 久久9久| 在线五月婷| 久久xxxx| 五月丁香六月婷婷在线| 色情五月停停丁香| 激情深爱五月| 五月丁香在线| 97碰在线| 久久婷婷亚洲| Www.久久| 99这里有精品视频视频| 最新高清无码专区| 丁香激情网| 激情婷婷五月天| 在线免费观看激情视频| 青青草Avb在线| 色色99| 丁香婷婷色五月合集| 亚洲久热| 激情综合五月激情17| 可以免费观看的av| 国产伊人五月天| 六月丁香啪啪| 丁香五月大片| 婷婷六月激情| 亚洲综合视频在线| 91九色首页| 久久精品99国产精品日本| 亚洲蜜乳AV| 2017人人操| 婷婷五月天久| 欧美综合激情五月丁香| 97五月天| 东北婷婷五月天| 国产AV熟妇人震精品一品二区 | 超碰免费电影| 99亚州综合精品成人网| 国产亚洲色婷婷久久99精品9j| 激情五月丁香社区| 五月激情婷婷丁香天堂| 国精产品一区一区三区免费视频 | 99热国产| 五月丁香婷婷基地| 亚州精品色情无码A片| 啪啪一区| 99久久综合精品五月天| 91av色色乱视频| 色综合色综合色综合色综合| 婷婷五月天丁香社区| 午夜丁香久久久久久| 丁香六月毛片| 色情婷婷久久五月天| 色婷婷免费观看| 午夜色色色极品视频| 天天色天天操天天射| 婷婷五月天AV| 久热超碰| 91人妻九色大屁股| 中文在线成人| 人人色性网| 日本在线观看aaa 99| 五月丁香婷婷色色| 六月丁香五月亭亭| 激情五月婷婷视频一区二区三区| 99ri在线观看视频| 天天日夜夜操五月| 91 原创 在线 九色| 图片区 小说区 区 亚洲五月| 亚洲成人人人操| 精品激情| 99久久偷拍视频| 九九热九九| 丁香五月婷婷色播艳门照| 五月丁香欧美综合| 色婷婷网大全在线| 26uuu欧美| 91操操操| 在线观看av网站| 热99视频精品在线| 亚洲综合在线视频| 婷婷五月天论坛| 五月开心婷婷极品激情| 九热网站| 九九热精品| 欧美激情综合五月色丁香| 色六月天天激情综合网| 五月天婷婷青青草| 99热激情| 天天色天天日| 深爱五月婷婷开心中文字幕| 丁香五月婷婷亚洲另类| 开心五月激情网| 国产精品视频免费看| 久久精品小视频| www.狠狠| 91九色无码内射| 99热9| 五月婷婷啪啪啪| 日日操,夜夜撸| 婷婷五月天受日本法律保护| 五月天婷婷丁香人人操91| 拍真实国产伦偷精品| 伊人超碰| 五月丁香六月香综合激情| 五月天激情综合网站| 嫩草国产| 丁香五月婷婷影视先锋| 另类激情中文| 91超级碰在线视频| 99综合色| 丁香婷婷久久激情| 91婷婷丁香五月天免费视频网站| 久久久人人操A V| 婷婷五月天久草在线| 第四色五月天| 色婷婷精品视频|