欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

從裸用Flowable到統(tǒng)一流程平臺:工作流引擎治理實踐

從裸用Flowable到統(tǒng)一流程平臺:工作流引擎治理實踐 Flowable這個開源工作流引擎在我們系統(tǒng)里躺了大半年之后我終于決定在它上面再蓋一層統(tǒng)一流程平臺。說實話這一步不是一開始就想好的而是被現(xiàn)實逼出來的最初只是想找一個能畫BPMN流程圖、能跑審批的引擎結(jié)果半年后十幾個業(yè)務(wù)系統(tǒng)都在各自調(diào)Flowable的API每個項目組自己部署一套流程模型散落各處待辦任務(wù)互相看不見。寫這篇文章是想把我們從“裸用Flowable”到“建設(shè)統(tǒng)一流程平臺”的完整過程、關(guān)鍵設(shè)計和踩過的坑整理出來給正在用工作流引擎、或者正準(zhǔn)備做流程中臺的團隊一個參考。這篇文章適合三類人一是已經(jīng)用上Flowable、但覺得有點失控的開發(fā)者二是正在做流程平臺選型或架構(gòu)設(shè)計的技術(shù)負責(zé)人三是對BPM、工作流領(lǐng)域感興趣、想了解這套東西落地長什么樣的同學(xué)。我會從為什么選Flowable開始講然后說清楚Flowable直接使用會遇到的典型問題再重點展開統(tǒng)一流程平臺的整體設(shè)計、核心實操細節(jié)、以及我在真實業(yè)務(wù)里踩過的坑和排查思路。內(nèi)容會以實際可落地的方案為主不是泛泛的架構(gòu)概念。1. 為什么拿Flowable當(dāng)起點先說一個很多人會問的問題既然最終要做統(tǒng)一流程平臺為什么不一開始就自己寫一套流程引擎說實話工作流引擎這件事看起來不難無非就是“節(jié)點流轉(zhuǎn)、條件判斷、任務(wù)分配”但真要把BPMN 2.0的網(wǎng)關(guān)、子流程、事件、多實例、定時器都做穩(wěn)定沒有一兩年持續(xù)投入是做不出來的。所以當(dāng)時我們很務(wù)實地選擇了先站在Flowable的肩膀上。1.1 Flowable到底是什么Flowable是基于BPMN 2.0標(biāo)準(zhǔn)的開源工作流引擎它起源于更早的Activiti 5/6分支后來獨立發(fā)展目前社區(qū)版和企業(yè)版并行。核心能力包括解析和執(zhí)行BPMN 2.0流程定義、維護流程實例和任務(wù)、記錄歷史數(shù)據(jù)、支持定時器、消息事件、信號事件以及比較完整的表單集成方案。Java生態(tài)里用得非常廣這也是我們當(dāng)時選它的一個重要原因——團隊都是Java背景排查問題、二次開發(fā)都比較順手。在Flowable里幾個核心對象要心里有數(shù)流程定義ProcessDefinition相當(dāng)于“圖紙”部署好之后不可變流程實例ProcessInstance是按圖紙創(chuàng)建的一次具體流轉(zhuǎn)相當(dāng)于“一棟按圖建出來的樓”任務(wù)Task是流轉(zhuǎn)過程中待辦的一個節(jié)點執(zhí)行實例Execution則更細代表當(dāng)前運行到哪條分支。理解這幾個概念的層級關(guān)系后面做平臺封裝才會心里有底。1.2 選Flowable而不是自己造輪子的三個理由第一BPMN 2.0的覆蓋面很全。會簽、或簽、并行網(wǎng)關(guān)、排他網(wǎng)關(guān)、子流程、邊界事件、補償事件這些都是業(yè)務(wù)上非常高頻的需求自己從零寫一個能讓模型穩(wěn)定跑在生產(chǎn)環(huán)境的引擎工作量遠超想象。第二Flowable的表結(jié)構(gòu)公開、數(shù)據(jù)模型清晰運行實例、任務(wù)、歷史都分開存放對于做監(jiān)控和二次開發(fā)非常友好。第三它的API設(shè)計相對穩(wěn)定RuntimeService、TaskService、HistoryService、RepositoryService這些核心服務(wù)接口多年沒有大變動意味著平臺層可以相對穩(wěn)定地建立在它之上。當(dāng)時我們是拿一個請假審批的Demo做了驗證部署流程圖、發(fā)起流程、查待辦、審批通過、查詢歷史半天時間全部跑通。這個速度讓我們很確定流程引擎本身不需要自己寫精力應(yīng)該放在業(yè)務(wù)能力的抽象上。但也是從這個時候開始隱患已經(jīng)埋下了。2. Flowable直接裸用用著用著就疼了流程引擎跑起來之后業(yè)務(wù)團隊很快發(fā)現(xiàn)這東西好用于是“請假審批”剛上線緊接著就有報銷、合同、采購、出入庫等各種流程需求找過來。每個系統(tǒng)各接各的Flowable看著熱鬧實際是問題的集中爆發(fā)期。2.1 最直接的問題業(yè)務(wù)代碼和流程代碼糾纏不清在裸用階段每個業(yè)務(wù)系統(tǒng)都要自己維護一套啟動流程、處理任務(wù)的代碼。比如一個業(yè)務(wù)系統(tǒng)要發(fā)起審批它要做的事包括往自己的業(yè)務(wù)表里插一條單據(jù)數(shù)據(jù)再調(diào)flowable的RuntimeService.startProcessInstanceByKey發(fā)起流程還要準(zhǔn)備一個業(yè)務(wù)表主鍵和流程實例ID的映射關(guān)系審批回調(diào)時再根據(jù)流程實例ID去反查業(yè)務(wù)數(shù)據(jù)。這套代碼寫一次兩次沒問題寫了十幾個系統(tǒng)之后問題就來了每個系統(tǒng)的映射方式不一樣有的用businessKey有的用流程變量有的自己在擴展表里存關(guān)聯(lián)后續(xù)做統(tǒng)一查詢、統(tǒng)一待辦的時候數(shù)據(jù)根本對不齊。更麻煩的是沒經(jīng)過平臺約束的流程模型寫起來很隨意。有的流程把所有審批邏輯塞進一個ServiceTask里有的把業(yè)務(wù)規(guī)則寫在網(wǎng)關(guān)條件表達式里有的干脆用排他網(wǎng)關(guān)模擬一切。流程圖最后淪為了擺設(shè)真真正正的邏輯都藏在Java delegate里流程定義換代時根本不敢動。2.2 重復(fù)建設(shè)與權(quán)限割裂審批意見、加簽、轉(zhuǎn)辦、撤回、催辦、待辦提醒這些跟流程強相關(guān)但又非常通用的功能我們當(dāng)時在每個系統(tǒng)里都重復(fù)實現(xiàn)了一遍。A系統(tǒng)寫了一套加簽邏輯B系統(tǒng)又寫了一套實現(xiàn)方式還不一樣——有的用Flowable的ADD_AND_APPROVE變更任務(wù)辦理人有的直接在任務(wù)變量里存了一個加簽人列表由應(yīng)用層自己判斷處理。這套東西的時間成本和維護成本都很高。還有一個讓人頭疼的問題是權(quán)限割裂。崗位A的管理者在系統(tǒng)1里能看到待辦在系統(tǒng)2里又得重新配置一遍權(quán)限才能看到那套流程的待辦同一個人的待辦任務(wù)散落在多個系統(tǒng)里沒有一個匯總視圖。用戶每天都得去各個系統(tǒng)里翻一遍有沒有需要自己審批的單子。這種體驗很差而這其實是流程平臺治理缺失的典型表現(xiàn)——流程引擎只是提供了“流轉(zhuǎn)”的技術(shù)能力并沒有把“人的視角”統(tǒng)一起來。2.3 運維與治理基本是空白Flowable裸用階段運維基本是靠“流程沒跑掛就沒人管”。某次有一個定時器任務(wù)因為執(zhí)行節(jié)點所在服務(wù)重啟一批定時器全部錯過觸發(fā)時間要不是業(yè)務(wù)人員反饋“單子卡住了”我們根本發(fā)現(xiàn)不了。再比如流程模型更新當(dāng)時直接覆蓋部署結(jié)果因為新版本的流程圖里刪了一個節(jié)點導(dǎo)致還在途的舊流程實例在查詢?nèi)蝿?wù)時出現(xiàn)空指針最后只能手工改數(shù)據(jù)庫才把流程救回來。還有一個隱藏問題歷史數(shù)據(jù)無限膨脹。Flowable默認會往歷史表里寫大量數(shù)據(jù)ACT_HI_ACTINST這張表幾乎記錄了流程實例的每一個執(zhí)行節(jié)點動作高并發(fā)流程跑上幾個月這張表就是千萬級起步。我們沒有做歸檔策略數(shù)據(jù)庫越來越慢最后拖累了正常的流程任務(wù)查詢。到這一步我們基本意識到Flowable解決的是“單個流程怎么跑”的問題而公司需要的其實是“所有流程怎么被管起來、被統(tǒng)一使用”的問題。這二者之間有巨大的工程缺口。3. 統(tǒng)一流程平臺設(shè)計的關(guān)鍵決策統(tǒng)一流程平臺這個東西說起來容易做起來需要非常清醒地想清楚一個問題我們做的到底是一個給開發(fā)者調(diào)用的SDK還是一個給全公司業(yè)務(wù)系統(tǒng)使用的平臺。這兩者的設(shè)計思路完全不同。我們最后明確平臺必須成為一個獨立的、可獨立部署的中間層Flowable只是這個平臺內(nèi)部的一個引擎組件對外完全屏蔽。3.1 平臺定位流程資產(chǎn)的統(tǒng)一管理入口統(tǒng)一流程平臺的本質(zhì)是把自己定位成所有流程資產(chǎn)的統(tǒng)一管理入口。所有流程模型都必須在平臺上注冊所有流程的發(fā)起、審批、查詢、歸檔都通過平臺進行業(yè)務(wù)系統(tǒng)不允許繞過平臺直接操作引擎底層API。聽起來像是一刀切的規(guī)定但實際上這是避免失控最有效的手段。平臺化之后各個業(yè)務(wù)系統(tǒng)的角色從“自己管流程”變成了“向平臺申請流程能力”。比如業(yè)務(wù)系統(tǒng)需要一個新的審批流程開發(fā)同學(xué)只需要在平臺上設(shè)計BPMN模型、配置好表單地址和權(quán)限策略、申請一個唯一的流程Key然后通過統(tǒng)一的API發(fā)起流程、接收回調(diào)即可。流程模型、運行數(shù)據(jù)、歷史數(shù)據(jù)、待辦權(quán)限全部沉淀在平臺側(cè)方便統(tǒng)一治理。3.2 兩個決定性架構(gòu)決策第一個決策統(tǒng)一入口。所有流程發(fā)起統(tǒng)一走平臺的“發(fā)起流程”開放接口而不是允許業(yè)務(wù)系統(tǒng)直接new一個ProcessEngine然后調(diào)用startProcessInstanceByKey。這樣做的好處非常實際平臺可以在發(fā)起的必經(jīng)之路上做權(quán)限校驗、參數(shù)規(guī)整、冪等控制、數(shù)據(jù)埋點。第二個決策統(tǒng)一運行時。Platform模式即平臺內(nèi)部只維護一個Flowable引擎實例所有流程跑在同一個引擎上。而不是每個業(yè)務(wù)域獨立部署引擎實例來跑自己的流程。統(tǒng)一運行時的好處是待辦任務(wù)天然就匯合在一起查詢所有系統(tǒng)流程的待辦只需要對ACT_RU_TASK表做一次查詢不需要跨庫聯(lián)表。這兩個決策做下來后面很多模塊就順理成章了。3.3 整體架構(gòu)分層我們的平臺架構(gòu)大致是四層最上層是接入層也叫Open API層面向業(yè)務(wù)系統(tǒng)提供發(fā)起流程、審批、查詢、撤回等統(tǒng)一接口。接入層負責(zé)身份鑒權(quán)、參數(shù)校驗、數(shù)據(jù)權(quán)限過濾業(yè)務(wù)系統(tǒng)通過這些接口與平臺交互不感知底層引擎。往下一層是流程編排層負責(zé)流程模型的注冊、流程分類管理、表單配置、權(quán)限策略配置、流程擴展點配置。這一層做的是“建模與業(yè)務(wù)策略的綁定”比如某個流程發(fā)起前要校驗什么、審批通過后要回調(diào)哪個系統(tǒng)都在這一層配置。第三層是引擎適配層這是對Flowable的二次封裝。把RuntimeService、TaskService、HistoryService等原生API包裝成平臺內(nèi)部的服務(wù)并補充了流程實例與業(yè)務(wù)單據(jù)的關(guān)聯(lián)映射、統(tǒng)一任務(wù)模型、事件監(jiān)聽分發(fā)等能力。最底層是數(shù)據(jù)層包括Flowable自身的ACT_*表以及我們自己補充的業(yè)務(wù)關(guān)聯(lián)表、平臺配置表、擴展字段表。數(shù)據(jù)層做的事情很簡單讓平臺的數(shù)據(jù)模型能自洽地支撐上層業(yè)務(wù)。3.4 平臺的核心模塊統(tǒng)一流程平臺從功能上可以拆成幾個核心模塊。流程模型管理模塊負責(zé)BPMN文件的上傳、校驗、部署、版本管理、下線處理。這個模塊把“流程模型”從開發(fā)者的本地文件變成平臺的可管理資產(chǎn)。流程運行模塊負責(zé)發(fā)起流程、驅(qū)動任務(wù)流轉(zhuǎn)、處理各類事件。這個模塊封裝了Flowable最核心的運行時操作是業(yè)務(wù)系統(tǒng)調(diào)用最頻繁的地方。任務(wù)中心模塊負責(zé)統(tǒng)一展示所有待辦、已辦、抄送、我發(fā)起的任務(wù)。它不只從Flowable取任務(wù)數(shù)據(jù)還要聚合業(yè)務(wù)摘要、表單地址、優(yōu)先級、超時信息等讓用戶在一個頁面處理所有系統(tǒng)的審批。權(quán)限與策略模塊負責(zé)流程發(fā)起權(quán)限、任務(wù)操作權(quán)限、數(shù)據(jù)權(quán)限的集中控制。這塊是平臺能否落地的關(guān)鍵后面實操章節(jié)我會細說。監(jiān)控運維模塊負責(zé)流程積壓、超時、異常實例、歷史數(shù)據(jù)歸檔等運維能力。沒有這個模塊平臺就只是個能跑的引擎而不是一個能長期穩(wěn)定服務(wù)的平臺。4. 核心實操從裸用Flowable到平臺化改造平臺化的改造不是重新寫一套系統(tǒng)而是一個個把能力收攏到平臺側(cè)的過程。下面按實操順序講每一步都是我們能直接復(fù)用的經(jīng)驗。4.1 流程定義統(tǒng)一注冊與管理第一步把所有存量流程模型收攏到平臺統(tǒng)一管理。我們建了一張流程模型注冊表我們叫PROC_MODEL_REG字段包括流程Key、流程名稱、所屬分類、版本號、部署ID、狀態(tài)草稿/已發(fā)布/已下線、負責(zé)人、表單標(biāo)識、回調(diào)地址。這張表是流程資產(chǎn)的“戶口本”所有模型在平臺里都有一個正式檔案。一個容易出錯的地方是Flowable自身的流程定義版本機制。同一個流程Key每次部署會生成一個新的流程定義ID帶有版本號。如果業(yè)務(wù)系統(tǒng)用老的部署方式直接按Key發(fā)起流程Flowable默認會使用最新版本。這在流程在途的情況下容易出問題明明A流程實例是上個月發(fā)起的中間的邏輯應(yīng)該按舊版本來但新發(fā)起的流程已經(jīng)使用了新版本。我們的做法是在注冊表里維護每個流程當(dāng)前允許發(fā)起的最小版本和默認版本發(fā)起流程前明確指定要使用的部署版本避免模糊匹配。BPMN文件的來源也要管好。我們從一開始就確定了“模型入庫 Git備份”雙保險BPMN文件上傳到平臺后既存一份到數(shù)據(jù)庫用來部署和展示也同步提交一份到Git倉庫用來追溯和Diff。上線一段時間后回頭看這個習(xí)慣救了我們好幾次——某次模型誤覆蓋我們就是靠Git歷史版本還原的。4.2 發(fā)起流程的統(tǒng)一入口發(fā)起流程是業(yè)務(wù)系統(tǒng)使用頻率最高、也最容易出問題的一個動作。平臺提供的“發(fā)起流程”接口我們定義為platform.startProcess(procKey, businessId, operatorId, variables)。其中businessId是業(yè)務(wù)系統(tǒng)里的單據(jù)主鍵operatorId是發(fā)起人variables是這次流程攜帶的業(yè)務(wù)變量。這里重點說businessId的用法。我們要求業(yè)務(wù)系統(tǒng)必須以業(yè)務(wù)單據(jù)主鍵作為業(yè)務(wù)關(guān)聯(lián)標(biāo)識平臺內(nèi)部會維護一張流程實例與業(yè)務(wù)單號的關(guān)聯(lián)表PROC_BIZ_REL。這個設(shè)計解決了之前在途流程單和流程實例映射混亂的問題。后續(xù)所有“根據(jù)單據(jù)查流程狀態(tài)”“根據(jù)流程實例查業(yè)務(wù)單號”的操作都只查這一張表性能非常好邏輯也干凈。發(fā)起流程前平臺要做三件事一是校驗這個業(yè)務(wù)系統(tǒng)是否有權(quán)發(fā)起該流程Key二是校驗該流程Key當(dāng)前是否在可發(fā)起狀態(tài)而不是已下線三是做冪等控制。冪等控制這點特別容易被忽略但實際很重要。比如前端按鈕被雙擊或者消息隊列重復(fù)投遞如果同一個businessId重復(fù)發(fā)起流程就會產(chǎn)生多條重復(fù)的流程實例業(yè)務(wù)上很難處理。我們的方案是在PROC_BIZ_REL里給businessId和procKey建唯一索引重復(fù)發(fā)起時直接攔截并返回原流程實例ID而不是新建。4.3 統(tǒng)一任務(wù)中心與任務(wù)操作統(tǒng)一任務(wù)中心是平臺讓用戶“有感”的關(guān)鍵模塊。它要做的事情是把Flowable的待辦任務(wù)加上業(yè)務(wù)摘要、表單地址、優(yōu)先級、截止時間等維度后統(tǒng)一展示給用戶。TaskService.createTaskQuery()直接用起來很快會發(fā)現(xiàn)幾個問題。第一待辦任務(wù)查詢條件復(fù)雜后SQL不好優(yōu)化第二Flowable返回的任務(wù)對象上沒法直接關(guān)聯(lián)業(yè)務(wù)摘要比如“采購申請單號PO20250801”這種信息需要二次回業(yè)務(wù)表查詢第三權(quán)限過濾如果靠Flowable的taskCandidateUser表達式配置起來非常繁瑣且不靈活。所以我們沒有直接讓前端查詢Flowable而是做了一層任務(wù)視圖平臺定時任務(wù)把待辦數(shù)據(jù)從Flowable同步到自己的任務(wù)寬表里寬表冗余了Flowable任務(wù)ID、任務(wù)Key、流程實例ID、業(yè)務(wù)單號、表單標(biāo)識、業(yè)務(wù)摘要、當(dāng)前節(jié)點名、接收人、創(chuàng)建時間、優(yōu)先級等字段。業(yè)務(wù)系統(tǒng)統(tǒng)一查這個寬表體驗和性能都遠超直查Flowable。任務(wù)操作方面除了基礎(chǔ)的審批同意、駁回我們重點實現(xiàn)了加簽、轉(zhuǎn)辦、委派、撤回。這四個操作本質(zhì)都是修改Flowable任務(wù)辦理人但細節(jié)差異很大。加簽ADD_AND_APPROVE是當(dāng)前任務(wù)繼續(xù)保留、同時新增一個會簽任務(wù)轉(zhuǎn)辦是把任務(wù)直接交給另一個人處理當(dāng)前人不再是辦理人委派是當(dāng)前人把任務(wù)委派給另一個人被委派人處理后任務(wù)還會回到當(dāng)前人撤回一般是發(fā)起人在流程還在第一個節(jié)點時主動把整個流程結(jié)束起來。這些操作我們都封裝成平臺接口業(yè)務(wù)系統(tǒng)不需要再自己調(diào)用TaskService去改辦理人也就不容易出現(xiàn)辦完任務(wù)后歷史里看不到是誰處理的這種問題。4.4 權(quán)限模型從流程級到任務(wù)級權(quán)限設(shè)計直接決定平臺能否被業(yè)務(wù)方接受。我們經(jīng)過幾輪調(diào)整最后沉淀了一套比較務(wù)實的權(quán)限模型分兩層流程發(fā)起權(quán)限和任務(wù)處理權(quán)限。流程發(fā)起權(quán)限比較簡單就是“誰能發(fā)起某類流程”的策略配置可以按部門、崗位、角色、用戶甚至可以按業(yè)務(wù)數(shù)據(jù)規(guī)則來限制。我們把這部分做成了頁面配置而不是寫死在代碼里。這樣業(yè)務(wù)調(diào)整發(fā)起范圍時不需要發(fā)版。任務(wù)處理權(quán)限復(fù)雜一些核心是解決“誰能看到這個待辦、誰能處理這個待辦”。之前裸用Flowable時有人通過候選組的方式配置待辦候選人的判斷邏輯分散在各處。平臺的做法是統(tǒng)一在任務(wù)分配策略里管理任務(wù)創(chuàng)建時根據(jù)流程模型里預(yù)先配置的分單規(guī)則把任務(wù)分配給具體用戶或候選組并在任務(wù)數(shù)據(jù)里寫入允許操作的用戶列表。后面做待辦查詢時直接按“處理人當(dāng)前用戶”或“當(dāng)前用戶在候選組列表里”過濾簡單直接也方便做數(shù)據(jù)權(quán)限控制。4.5 事件擴展點讓流程和業(yè)務(wù)系統(tǒng)解耦一個審批流程“審批通過后自動更新單據(jù)狀態(tài)”這件事如果寫在Flowable的監(jiān)聽器里那Flowable就和你業(yè)務(wù)系統(tǒng)強耦合了。平臺的處理方式是提供標(biāo)準(zhǔn)的事件回調(diào)機制。我們在Flowable的監(jiān)聽器里只做一件事把事件拋到平臺的消息管道里。比如任務(wù)創(chuàng)建、任務(wù)完成、流程結(jié)束、流程取消這些事件統(tǒng)一封裝成標(biāo)準(zhǔn)消息體包含事件類型、流程實例ID、流程Key、任務(wù)ID、業(yè)務(wù)單號、操作人等字段然后推送給在平臺上訂閱了這個流程事件的回調(diào)地址。業(yè)務(wù)系統(tǒng)側(cè)只需要提供一個接收回調(diào)的HTTP接口在配置中心里登記一下即可。這個設(shè)計把流程引擎和業(yè)務(wù)系統(tǒng)徹底解耦了。后面新的業(yè)務(wù)系統(tǒng)接入時不需要去改平臺代碼不需要再往Flowable里塞業(yè)務(wù)邏輯只需要注冊回調(diào)就行。哪怕是改業(yè)務(wù)邏輯也不會造成流程實例運行中途找不到監(jiān)聽類的問題。4.6 監(jiān)控與歷史歸檔平臺上線后的第一件事是把積壓任務(wù)監(jiān)控做起來。我們寫了一個定時任務(wù)每隔5分鐘統(tǒng)計ACT_RU_TASK里各流程節(jié)點的任務(wù)數(shù)量、停留時長超過閾值的就推送告警。這個告警此前救過一次緊急事故某個系統(tǒng)調(diào)用回調(diào)接口一直失敗任務(wù)在“已辦結(jié)但回調(diào)失敗”的狀態(tài)下堆積了幾百條正是停留時長告警幫我們第一時間發(fā)現(xiàn)的。歷史數(shù)據(jù)歸檔策略也得盡早訂。我們按月份分區(qū)管理ACT_HI_ACTINST和ACT_HI_TASKINST這兩張大表每個月定時把三個月前的明細數(shù)據(jù)遷移到歷史庫。同時借助Flowable自帶的歷史數(shù)據(jù)自動清理機制把不需要保留的流程定義級數(shù)據(jù)、已有歸檔副本的流程實例數(shù)據(jù)做異步清理。這塊做好了數(shù)據(jù)庫規(guī)模才能穩(wěn)定住不會跑著跑著突然因為磁盤和慢查詢出事。5. 關(guān)鍵設(shè)計細節(jié)與踩坑實錄平臺建設(shè)過程中有大量看似不起眼、但影響巨大的細節(jié)。這一節(jié)我把印象最深的幾個單獨拿出來講都是實際踩過的坑希望能幫大家繞開。5.1 流程定義ID還是KEY一定要分清Flowable里有兩個標(biāo)識容易搞混流程定義Key和流程定義ID。Key是BPMN文件里process元素的id屬性比如leaveProcess部署之后Flowable會生成一個帶版本號的流程定義ID形如leaveProcess:1:25031004。很多調(diào)用場景要傳流程定義ID比如按版本發(fā)布、按版本查詢模型如果混用輕則查不到數(shù)據(jù)重則把流程部署到了錯誤版本。我們的統(tǒng)一策略是平臺內(nèi)部所有操作都以“流程Key 版本號”作為邏輯標(biāo)識部署ID只在需要調(diào)用Flowable原生API時臨時獲取不落庫、不傳遞。這樣業(yè)務(wù)系統(tǒng)只跟平臺的Key體系打交道版本歧義在平臺層就消化掉了。5.2 業(yè)務(wù)單號與流程實例綁定必須用獨立關(guān)聯(lián)表很多教程里推薦用Flowable的businessKey來關(guān)聯(lián)業(yè)務(wù)單號我們在早期也這么干過后來發(fā)現(xiàn)不行。原因是businessKey只能在發(fā)起時設(shè)置一次后續(xù)如果業(yè)務(wù)單號因為某種原因需要改變或者一個流程實例要關(guān)聯(lián)多個業(yè)務(wù)單據(jù)businessKey就不夠用了。我們最終采用了獨立關(guān)聯(lián)表方案。PROC_BIZ_REL表記錄了流程實例ID、流程Key、業(yè)務(wù)主單據(jù)ID、業(yè)務(wù)擴展單據(jù)ID列表、創(chuàng)建時間。查詢流程狀態(tài)時先根據(jù)業(yè)務(wù)單號反查流程實例ID再查流程狀態(tài)反過來的需求也同理。這張表是我們整個平臺數(shù)據(jù)模型里承擔(dān)壓力最大的一張表一定要做好索引和分表規(guī)劃。5.3 歷史表膨脹不是等到慢了才處理Flowable的歷史數(shù)據(jù)寫入非常積極尤其ACT_HI_ACTINST幾乎每個活動進出都記一條。高并發(fā)場景下這張表的增長速度超出很多人預(yù)期。我們曾經(jīng)在生產(chǎn)上出現(xiàn)過ACT_HI_ACTINST達幾千萬行的情況導(dǎo)致所有帶歷史表查詢的接口響應(yīng)時間從幾十毫秒變成幾秒。兩條處置經(jīng)驗分享一是從平臺上線第一天就把歸檔任務(wù)寫好不要等出了問題再補二是歷史數(shù)據(jù)查詢接口不要總是直查Flowable歷史表可以定期把需要長期保留的流程快照數(shù)據(jù)冗余到自己的歷史寬表里查詢走寬表Flowable歷史表只作為原始數(shù)據(jù)留存。這樣既保留了數(shù)據(jù)完整性又保證了查詢性能。5.4 上傳BPMN文件的校驗不能省我們對外開放模型上傳功能后業(yè)務(wù)方經(jīng)常從各種建模工具里導(dǎo)BPMN文件上來。有些文件的命名空間不規(guī)范有些引用了一些Flowable不支持的擴展屬性甚至還有的XML在其他工具里能打開、Flowable解析就報錯。平臺做的校驗包括三層一是XML格式的解析校驗確保文件能被正常解析成文檔對象二是BPMN語義校驗檢查是否存在孤立節(jié)點、未閉合網(wǎng)關(guān)等基礎(chǔ)問題三是Flowable部署前的集成校驗直接調(diào)用引擎的部署接口試部署一下部署成功才允許發(fā)布。雖然這個校驗會多花幾秒鐘但省掉了大量上線后才發(fā)現(xiàn)模型錯誤的尷尬。5.5 任務(wù)查詢的索引與緩存設(shè)計Flowable的ACT_RU_TASK在生產(chǎn)環(huán)境數(shù)據(jù)量不小待辦查詢?nèi)绻蛔咚饕頀呙璺浅V旅?。我們觀察下來以下三個查詢場景必須建好索引按任務(wù)辦理人查詢、按流程實例ID查詢、按任務(wù)Key和流程定義Key組合查詢。Flowable的ACT_RU_TASK表默認有一些索引但不同數(shù)據(jù)庫版本上的索引覆蓋并不完全一致所以建好表之后最好由DBA結(jié)合真實慢查詢?nèi)罩景阉饕a一輪。另外流程定義本身是只讀資產(chǎn)非常適合做JVM級緩存。我們把流程Key對應(yīng)的最新部署ID、模型元數(shù)據(jù)都要緩存在平臺進程內(nèi)熱流程發(fā)起時不再反復(fù)查詢數(shù)據(jù)庫。這個緩存命中率高、失效時機清晰只在流程部署新版本時刷新效果非常好。6. 常見問題排查速查表平臺在線上跑了這段時間有幾類問題反復(fù)出現(xiàn)。我整理了一個排查速查表按“現(xiàn)象、可能原因、排查思路、預(yù)防建議”的格式列出來方便團隊各位直接參照?,F(xiàn)象可能原因排查思路預(yù)防建議發(fā)起流程后待辦里看不到任務(wù)任務(wù)創(chuàng)建后又被代碼主動刪掉或者任務(wù)分配給了候選組而當(dāng)前用戶不是候選成員查ACT_RU_TASK確認該流程實例是否有任務(wù)查平臺事件流里任務(wù)創(chuàng)建事件是否正常發(fā)出任務(wù)分配統(tǒng)一走平臺策略不裸調(diào)Flowable流程實例執(zhí)行到某節(jié)點后不再往下走網(wǎng)關(guān)條件表達式?jīng)]有分支命中或JavaServiceTask執(zhí)行拋異常被吞掉查ACT_RU_EXECUTION當(dāng)前停留的節(jié)點看平臺異常日志是否有引擎執(zhí)行錯誤網(wǎng)關(guān)條件要寫兜底分支ServiceTask異常要拋出來并告警會簽任務(wù)只產(chǎn)生了一個人的任務(wù)多實例的collection表達式寫錯或者輸入變量沒傳對查流程發(fā)起時variables集合是否正確檢查節(jié)點多實例配置多實例輸入集合統(tǒng)一由平臺注入不靠業(yè)務(wù)系統(tǒng)傳菜名定時器事件不觸發(fā)引擎時鐘沒有開啟或執(zhí)行節(jié)點上的服務(wù)實例沒有運行查Flowable時鐘配置查看定時節(jié)點所在服務(wù)是否存活定時任務(wù)單獨跑在獨立服務(wù)并配置進程守護流程審批完結(jié)但業(yè)務(wù)系統(tǒng)沒有收到回調(diào)監(jiān)聽器拋異常被忽略或回調(diào)接口網(wǎng)絡(luò)超時查平臺事件表和回調(diào)重試記錄確認回調(diào)地址可達回調(diào)必須配置重試機制和失敗告警歷史數(shù)據(jù)查詢特別慢ACT_HI_ACTINST表過大索引缺失看慢SQL是否都命中歷史表確認歸檔任務(wù)是否正常運行從上線第一天就啟動歸檔查詢走自定義歷史寬表同一個單據(jù)被重復(fù)發(fā)起了流程前端重復(fù)點擊或MQ重復(fù)投遞查PROC_BIZ_REL是否同一businessId對應(yīng)多個流程實例發(fā)起接口做冪等校驗businessIdprocKey建唯一索引新發(fā)布流程模型后老流程實例跑掛老實例走到已刪除的節(jié)點或引用了不存在的bean查老流程實例當(dāng)前停在哪一步和分析新老模型差異發(fā)布新模型前做兼容性檢查不允許刪除仍有在途實例的節(jié)點這個表基本覆蓋了我們?nèi)粘_\維中需要處理的80%問題。排查時記得先看現(xiàn)象發(fā)生在運行期還是流程定義期能少走很多彎路。7. 結(jié)合實際運維再說幾點真心話寫到最后我想分享一些個人在推進這件事時形成的體會。第一做統(tǒng)一流程平臺最難的往往不是技術(shù)而是推動業(yè)務(wù)系統(tǒng)按規(guī)范接入。我們給業(yè)務(wù)方定的規(guī)矩是“平臺提供能力但禁止繞過平臺動引擎”。聽起來像是對業(yè)務(wù)方的限制實際上反而幫他們省了很多事——不用自己維護流程代碼、不用自己處理流程歷史和權(quán)限只需對接平臺的標(biāo)準(zhǔn)API。但前期的溝通量確實很大建議從簡單增量的流程開始試點做出示范案例之后再推全量。第二流程平臺的價值要在“運行三個月后”才能真正體現(xiàn)。初期業(yè)務(wù)系統(tǒng)會感覺平臺多了一層聯(lián)調(diào)多了一些成本看不到明顯收益。真正跑起來之后統(tǒng)一待辦、統(tǒng)一監(jiān)控、權(quán)限集中、模型管理這些能力才逐步顯現(xiàn)出價值。所以如果你們也在推進類似的事情給自己和團隊多一點耐心關(guān)鍵節(jié)點放在上線后第一次大促或月度結(jié)算峰值時那時候平臺的承壓能力一目了然。第三擴展性要給后面留好口子。我們平臺建設(shè)時最擔(dān)心的是“Flowable有一天不能滿足需求怎么辦”。為此我們在引擎適配層做了模塊化封裝核心接口都定義在平臺自己的服務(wù)里底層是Flowable還是其他引擎只影響適配層實現(xiàn)不影響上層業(yè)務(wù)。目前還沒發(fā)生引擎替換但這個設(shè)計給了團隊很大的安全感。第四平臺化之后那些“清理歷史數(shù)據(jù)”“監(jiān)控積壓任務(wù)”“巡檢流程執(zhí)行異?!敝惖氖虑榫筒辉偈悄硞€業(yè)務(wù)系統(tǒng)自己的事了而是平臺團隊的日常職責(zé)。這其實是一件好事當(dāng)你從“把流程跑通”上升到“管理流程資產(chǎn)”時才能發(fā)現(xiàn)哪些流程長期沒人用、哪些流程頻繁超時、哪些流程的模型寫得亂七八糟。流程本身也變成了需要治理的數(shù)字資產(chǎn)。這套方案做到現(xiàn)在平臺已經(jīng)穩(wěn)定支撐了公司內(nèi)部多個業(yè)務(wù)域的上百個流程每天承載數(shù)萬次任務(wù)操作統(tǒng)一待辦入口成為了大家日常工作必不可少的部分。如果你也正在從單點使用Flowable走向流程平臺化的路上希望這篇總結(jié)能幫你對整體規(guī)劃和細節(jié)設(shè)計有一個清晰的參考。別想著一步到位先圈定邊界、統(tǒng)一入口、做好模型和權(quán)限的治理再從運行中逐步補齊監(jiān)控、歸檔和擴展能力這條路走下來是踏實的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美日韩婷婷五月天| 波多野结衣不卡AV| 婷婷之玖玖| 丁香色色网| 亚洲尤物在线| 天天综合色| 国产精品成人av在线观看春天| 天天摸人人摸| 亚洲精品无码一区二区| 日本熟女视频一区二区| 99色色最新视频| 欧美婷婷五月丁香| 丁香五月AV| 开心五月婷婷激情| 五月丁香婷婷在线| 激情综合色婷婷啪啪六月天| 九九热婷婷| 无码少妇高潮喷水A片免费| 天天插天天插| 激情六月下句是什么| 九九青青草成人| 久久激情五月网| www.91久久| 激情四射亚洲| 中文字幕丰满乱孑伦无码专区| 都市激情久久| 欧美成人性爱网| www.五月.com| 97丁香花五月天激情小说| 六月丁香婷婷天堂| 色九九综合| 天天草女人| 九九热这里只有精品首页| 色色吧综合| 91婷婷五月丁香碰| 亚洲视频操| 色呦呦在线| 97色97干| 性色婷婷| 久久婷婷六月综合| 天天天天操| 四月婷婷五月色综合| 九九热精品| 九九热re99re6在线精品| 婷婷色五月丁香六月欧美啪| 99免费在线视频| 色九月婷婷丁香| 六月婷婷视频| 99热这里只有精品22| 狠狠色丁香久久| 六月丁香综合| 色网站99| 激情久久丁香| 色色色综合网| 婷婷开心久久| 少妇性按摩无码中文A片| 色婷婷香蕉丁丁网| AAA久久| 超碰人人操在线| 天天激情站| 2020久久婷婷五月| 成人精品免费在线观看| 激情五月婷婷五月| 五月婷婷开心六月激情小说| 噜噜噜狠狠色综| 另类图片五月天| 爱操人妻| 日日日日日| 丁香五月激情图片| 欧美噜噜免费观看| 久久9999| 亚洲黄网AV| 三级片AAA久久久AAA久久久AAA| 夜夜骑日日夜夜| 久久久久久18| 国产精品美女| 久色网址| www激情| 丁香五月天在线观看视频| 99久久99综合| 我爱大香蕉| 五月天激情视频| 那里有AV网址| 成人短视频在线| 老司机伊人| 五月天四色房丁香亭亭| 亚洲色小说在线综合| 久久久久久久久18久久| 久久这里只精品66| 99人人操人人操人人精| 久99在线| 无码成人播放器| 久久久久亚洲AV成人无码电影| 性婷婷| 一区二区乱码视频| 丁香六月色| 色视频色综合91| 中文字幕av在线| site:feetmall.com| 色综合婷婷| 亚洲天堂有码| 九九超日本| 亚洲春色奇米影视| 中字幕视频在线永久在线观看免费 | 激情伊人| 久青操| 夜色五月天| 五月婷婷色欲| 丁香五月天大香蕉啪啪| 色色色香蕉五月婷| 五月美女婷婷风骚| 91女人18毛片水多国产| 色色色宗合网| 色综合9| 国产人妻777人伦精品HD| 欧美日韩aaa| 亚洲99在线| 五月丁香婷在线| 丁香五月视频在线观看| 日日操天天爽| 丁香五月欧美| 91精品久久久久久久久久久久| 91麻豆国产三级精品福利在线观看| 少妇出轨做爰高潮A片| 五月婷婷深深爱| 久久人妻久久| 亚洲日韩一页精品发布| 影音先锋91| 成人综合AV| 日韩在线视频中文字幕| 日本色频| 操嫩逼电影| 日日爽天天| 婷婷五月综合啪| 人人草人人视| 99久re热视频精品98| 狠狠狠狠狠| 日本欧美成人片AAAA| 激情亚洲五月| 丁香五月av| 久大香蕉| 国产乱人偷精品人妻A片| 色色色五月天激情资源| 丁香六月色婷婷| 欧美成性色| 久久五月婷综合网| 五月丁香性| 色婷婷综合网站| 精品久久99| 国产偷人爽久久久久久老妇APP| 婷婷五月天97干| 国产44页| www.xtbsty.cn.com蜜乳AV| 色色色欧美色色| PORNY九色9l自拍视频成人| 婷婷大乡焦噜噜| 啪啪一区| 殴美综合激情五月天免费视频| 亭亭玉月丁香| 97婷婷五月激情六月丁香伊人| 色琪琪一综合久久激情五月视频| 99热这里只有的精品视| 99久久婷婷| 丁香五月WWW| 99在线观看视频免费| 天堂草在线看www| 开心五月网| 91综合色噜噜| 深爱激情网噜噜色| 色婷婷激情| 亚洲成人超碰| 欧美人人草| 亚洲人人干| 五月综合激情视频在线| 在线一起草av| 激情美女五月天激情在线| 九九热视频精品| 中文字幕婷婷在线| 丁香六月亭亭久久综合| 99热有精品在线观看| www久久久| 在线99热| 香蕉婷婷色五月| 亚洲另类视频| 99资源人人| 蜜臀嫩草| 婷婷五月中文在线| 五月婷婷丁香在线| 欧美天天搞| 久久艹 五月天| 噜噜噜噜噜在线| 天天色天天| 99热 精品在线| 欧日韩AV| 成人.在线日韩| 色婷婷亚洲| 丁香激情网| 色月丁| 久久久久久五月天| 综合 蜜月 婷婷| 五月开心激情| www.99日本| 丁香婷婷五月| 99久久精品色老| 色久女| 五月天综合在线| 丁香九月综合| 天天弄天天操| 久热九九| 99年操人人爽| AⅤ色区| 五月天婷婷色色| 色色色五月婷婷| 婷婷五月天激情四射| 久久婷婷网| 五月天堂婷婷| 丁香五月天婷婷久久| 亚洲精品又粗又大又爽A片| 狠狠久久婷五月综合色| 美女久久天堂| 色五月婷婷久久| 欧美A片在线视频免费观看| 色婷婷裸体色性在线| 停停五月色宗合| AV在线免费播放| 偷偷与邻居做爰完整视频| 综合色色婷婷| 婷婷情色五月| 99久在线视频| 婷婷影院欧美| 国产3p露脸普通话对白| 大香蕉院线| 9久热在线视频| 99热在线观看| 婷婷五月俺要去| 玩熟女五十AV一二三区| 超碰日日操| 婷婷AV丁香| 婷婷成人AV| 91狠狠色丁香婷婷综合久久精品| 玖玖热视频| 香蕉综合网| 99爱在线| 九九99免费理论| 丁香花社区av| 97碰| 日韩aaa| 五月婷婷 欧美| 老美AA片| 婷婷五月激情中文字幕| 五月丁香六月婷婷色情| 狠色狠色综合久久| 青青草a在线| 狠狠色丁香婷婷久久综合| 丁香五月婷婷网| 色五月成人在线| 色情综合网| 欧在线一区| 大香蕉九九| 99色精品| 99久久免费精品| 狠狠色丁香久久久婷| 色婷婷五月天无码视频| 风流少妇A片一区二区蜜桃| 激情综合五| 极品人妻videosss人妻| 日日操夜夜操狠狠操| 日韩综合网络男女香蕉a片| 日本综合99| 91日本在线观看| 婷婷十月激情综合网| 十月丁香婷婷| 九九99在线免费在线观看视频| 日本少妇AA一级特黄大片| 青青草免费公开视频| 亚洲中文av| 综合图片色色| 日韩在线99| 无码人妻精品一区二区蜜桃色欲| 丁香五月天激情综合| 色婷婷A| 六月婷婷综合| 五月天亚洲综合网| 狠狠色噜噜| 激情综合网 激情五月天| 丁香九月婷| 亚洲旡码| 日韩 欧美 国产 一区 二区| 成人无码精品1区2区3区免费看| 婷婷激情综合| 日日夜夜天天| 任你爽精品免费视频6| 五月丁香六月婷| 9色在线| 99er精品| 另类小说婷婷色| 天天撸夜夜爽| 五月天婷婷丁香视频| 99色1| 色欲婷婷夜夜| 婷婷激情五月吧| 大香蕉520| 天堂在线9| www.99热| 婷婷久久五月| 狠狠色婷婷7777久| 激情五月天网站| 97亚洲视频在线| 丁香五月婷婷基地| 潘金莲AAAAAAAAAA| 2017人人操| 青青草色在线视频观看| 久鲁鲁色网| 色爱终和网| 中文av网| 俺也去色| 操逼综合网| 亚洲色久| 亚洲精品性色| 婷婷六月天天| 精品一二三区久久AAA片| www。久久久久一b。Cc| 性色av大香综合| 亚洲精品无人区| 熟妇无码乱子成人精品| 五月天婷婷亚洲| 超碰激情网| 久久 这里只有精品1| 色色色色网| 日日夜夜婷婷| 色偷偷人人| 丁香婷婷人妻| 日日日影院| 操日视频| 国内一级片| 成人免费高清在线播放| 久久五月丁香综合17C| 色综合久久88色综合天天99| 精品香蕉99久久久久网站| 色色综合院| 天天射夜夜爽| 亚洲天堂aaaa| 99国产99| 日韩无码AV电影网站| 嫩草国产| 99视频在线精品免费观看2| 婷婷五月激情五月激情| 丁香五月综合无码趴趴| 开心五月激情五月丁香五月婷婷| 天天搞天天色综合| 五月天婷婷丁香人人操91| 五月天激情综合网站| 丁香五月婷婷大香蕉| 超碰国产在线播放| 中文人妻主播久久| 久久婷婷精品| 婷婷五月天丁香成人社区| 插插网爽妇五月丁香| 久久综合五月天| 婷婷丁香五月天大香蕉| 久久机热这里只有精品| 欧类av怡春院| 五月色婷婷在线观看| 97干在线视频| 欧美三级黄色片久久| 五月婷婷久| 99爱在线视频| 99爱免费在线观看| 婷婷综合在线| 五月婷婷色播视频| 五月丁香影院| 五月天六月丁香| 91Chinese在线| 99色久| 99热a片免| 五月丁香最新| 丁香婷婷色情| 五月丁香av中文| 色噜噜狠狠色综合网| 婷婷色中文| av在线中文| 五月婷婷激情性爱| 久久一热| 婷婷六月丁香激情综合| 国产无套精品一区二区| 五月丁香在线偷拍视频| AV在线免费观看不卡| 五月婷婷色吧!| 青青久在线视频免费观看| 色青青五月| 天堂伊人干| 色色色欧美色色| 色综合网页| 色婷婷日本| 五月色丁香| 99精品网| 久99热| 久久大香免费| 五月丁香婷婷啪啪| 久久AAAA片一区二区| 国产精品第一国产精品| 婷婷开心激情五月激情网| 六月丁香成人| 丁香婷婷社区| 久狠日av| 综合激情在线视频| 婷婷五月天在线观看| 亚洲丁香五月在线观看| 99碰网站| 伊人五月婷| 91男同| 六月伊人婷婷| 丁香五月色网| 97综合视频在线| 99热这里| 亚洲精品小视频| 激情99热| 91免费啪视频| 婷婷五月激情网| 五月婷婷丁香大陆免费| 色综合大香蕉| 91人人爱| 成人欧美日韩| 日日夜夜天天爽| 婷婷丁香人妻天久久| 天天日色情| 久久人人看| 精品草原久久视频| 婷婷五月激情的图片| 九九久久色| 激情五月小说婷婷| 79精品视频在线观看,| 婷婷国产综合| 99热国产婷婷| 久色大香蕉| 成人精品在线观看| 九热...av| 草做免费在线观看| 色婷婷91激情小说| 操B五月天| 激情五月婷黄版| 婷婷丁香熟女| 中文字幕无码人妻少妇免费视频| 丁香色五月天| 久久婷婷啪啪视频| 激情五月综合| 五月丁香婷婷激情视频| 思思热99er在线视频| 激情五月天色色| 激情五月天伊人影院| 丁香六月天色婷婷| 五月婷婷内射网| 97在线精品| 日本在线视频播放91| 色久一| 久久码久久无清| 成人片黄网站色大片免费毛片| 久久激情视频| 五月天激情综合| 激情久久肏屄视频| www.色99| 97操在线视频| 丁香六月久久| 东京热免费视频| 五月综合丁香婷婷| 婷婷九月丁香| 99热精品中文字幕| www.狠狠| 99视频| 欧美性爱一区| 九九综合九九| 思思热精品在线| 亚洲日本激情| 人人舔人人色人人高潮| 婷婷AV丁香| 人妻久久久久久久久妻久久久久| 五月天激情婷婷五月天久久| 日韩按摩二区| 日韩在线五月天婷婷| 97热在线精品| 五月色网| 国熟女视频| 五月六月激情| 五月丁香激情综合网| 五月激情婷婷在线| 超碰97人人操| 丁香六月综合激情| 激情婷婷。| 丁香婷婷超碰| 成人精品一区二区三区四区五区| 久久在线视频只有这里有精品| 九九精品这里只有| www夜夜操comwww| 天天操天爱综合| 久久色亭亭五月天| 色播五月天激情| www.色多多婷| 五月丁香色综合| 日本妈妈乱| 九九一综合精品| 丁香五月婷婷六月婷| 久久婷婷色五月| 日本一毛片| 色婷婷丁香女女| 97五月婷婷| 最新日本A片| 五月天六月婷| 婷婷丁香18| 九九丁香社区欧美激情| WWW.久久久久久久| 99热这里只有的精品视 | 五月天中文网| 狼人狠狠操| 国产日产亚系列精品版优势| 婷五月天六| 婷婷基地成人五月天| 天天爽综合网| 五月婷婷深深爱| 人妻视频在线| 天天久久人人| 亚洲AV成人无码久久精品老人法拉利| 五月丁香久久综合| www.99色在线| WWW,五月天| 国产91九色| 丁香社区婷婷五月| 亚洲视频一区| 亚洲操操| 激情综合色图| 99久久婷婷五月| 思思久久96热在精品国产,| 蜜臀av粉嫩av懂色av| 91丁香色| 人人人人人人人人人草| 亚洲视频在线观看| 异能之下短剧免费观看全集| 欧美久久网| 国内9l视频自拍老熟女九色| 丁香婷婷久久| 99热国产精品| 日本乱论99| 色色性爱视频| 超碰在线播放免费观看| 5月婷婷激情网| 国产亚洲精品久久久久久牛牛| 人妻精品在线| 日韩色五月| 在线成人国产| 九九激情视频| 色情婷婷久久五月天| 深爱开心激情网| 色色热| 国产老熟妇亲子乱对白| 七七九色| 黄色片精品| 五月天网站亭亭| 五月丁香A片| 婷婷综合网| 超碰9在| 天天综合网在线| 中文字幕+中文在线| 无码任你操| 国产精品岛国片在线观看免费| 人妻无码精品一区| 午夜福利8055| 久久婷婷91| 久久久精品视频79| 国产精品涩涩涩视频网站| 九九热思思热| 91传媒无码人妻精| 黄网免费看| 四虎成人精品永久免费AV九九| 九月av| www.五月天婷婷.com| 欧美日韩成人在线| 天天操狠狠操| 99碰碰视频| 操91| 中国激情网| 九九九九大香蕉| 九色视频91| 伊人五月网| 九九久久免费视频44| 9|无码久久久久久| 99热久久这里只有精品| 青青草五月天| 久热伊人| 涩涩涩.com| 六月99天天婷婷激情综合| ..真实国产乱子伦毛片| 91丨九色丨国产打屁股| 国产淫熟妇| 国内在线99视频| www.天天日| 韩国久久少妇视屏| 色播六月| 超碰在线免费观看日韩| 丁香九月婷| 小视频一区| 婷综合| 丁香五月天社区婷婷| 一级黄色影片| 九九热在线视频观看| 激情深爱婷婷网| 婷婷激情久久| 人妻av在线| 婷婷中文字暮| 中文无码婷婷| 日韩AV在线免费| 亚洲AV免费在线| www99热| 人人色性网| 香蕉国产2013| 日本天堂免费99| 任你干aa| 五月天婷婷爱| 99小视频网站| 色婷婷五月网| 国内婷婷丁香社区在线播放| 五月丁香六月激情综合网| 九九人人自拍| 婷婷色五月大香蕉在线观看| 欧美婷婷丁香五月| 日本少妇AA一级特黄大片| 婷婷九月久久| 99re资源在线视频导航| 中文字幕在线aⅴ免费观看| 亚洲色综合| 久久性视频| 午夜九九电影| 99色色热| 亚州欧美国产久精国产99综合视频| 开心五月婷婷激情| 成人五月天在线观看| 综合久久婷婷五月丁香| 日本婷婷综合精品| 特级片神马电影| 国产精品A片| 五月天色婷婷伊人网| 午夜婷婷五月天| 丁香五月五月婷婷五月天激情四射| 亚洲另类婷婷五月综合| 日本va欧美va欧美| 婷婷情爱五月天6| www.yw色| 狠狠干天天日| 日本不卡一区二区三区| 日韩av在线播放综合网| 秋霞av不能| 婷婷丁香97| 天天肏屄夜夜爽| 内射丰满人妻| 午夜五月天| 五月色色色| 天堂无码人妻精品AV一区| 色综啪啪啪啪啪啪| 婷婷五月天丁香社区| 婷婷丁香五月综合| WWW.99热| 91无码视频| 狼人久草| 伊人综合婷婷| 欧美群妇大交乱婬网| 超碰renrenai| 婷婷色色综合| 91色逼| 丁香五月激情综合啪啪| 五月婷丁香| 色婷婷综合亚洲| 亚洲成人va| 天天爽,夜夜爽| 五月丁香久久久久| 天堂成人A片永久免费网站 | Av在线资源| 中美日韩成人在线| 丁香五月天BBw| www.婷婷六月天| 亚洲字幕AV一区二区三区四区| 99免费在线视频| 99热久久最新地址| 久久久com| 天天婬色综合| 丁香六月婷婷一区| 五月天成人网在线观看| 成人免费120分钟啪啪| 人人干99| www开心激情网| 综合色五月| 97AV人人插人人操| 这里只有精9| 久久艹99| 夜色.cnm| 婷婷丁香五月欧美人| 超碰av在线| 免费99色| 就爱射中文字幕资源网| 天天爱天天爽| 婷婷激情四射网| 天天色,天天日,天天做| 欧美交换配乱吟粗大25P| 超碰在线免费| 欧美中文五月天| 日韩中文字幕| 思思热国产视频| 六月丁香啪啪| 五月天丁香久久| 美女丁香五婷婷| 欧美顶级少妇做爰HD| www色色色com| 97碰碰人人| 九热视频精品| 色五月综合在线| 国内熟女黄色系列| xx色综合| 午夜69成人做爰视频| 国产乱码久久| 人人干av| wWwCom夜操wwW| 丁香激情网| 婷婷色在线视频| 开心五月天激情网站| 被强行糟蹋的女人A片| 婷婷激情五月综合| 97九色| 新激情综合| 婷婷六月色播| 婷婷五月丁香99| 婷婷色色网| 成人做爰A片免费看网站找不到了 国产露脸150部国语对白 | 91色综合网站在线| www.五月天社区| 91久久久久| 色五月综合激情| 久久久全国免费视频| 开心五月天激情| 丁香五月之久操视频| AV 3P| 97爱艹婷婷开心丁香激情综合| 五月天婷婷自拍图片在线观看| 极品人妻XXXXOOOO| 狠狠操.COM| 婷婷综合仓库中文| 婷婷五月天BBw| 亚洲中文字幕在线电影| 狠狠干五月丁香综合网| 久七香蕉| 日韩黄黄| 天天综合图片| 1囯产午夜仑鲁鲁| 亚洲精品无码久久| 天天搞夜夜叫| 琪琪色综合网站| 色XX综合网| 涩九九九九| 丁香五月天视频| 天天射夜夜骑| 丁香五月天.com| 日韩啊啊啊| 思思久久思思| 91精产一区三区免费观看| 久久久999精品| 99色色网站| 97亚洲精品| 性天堂久久| 激情的五月婷婷蜜桃| 婷婷五月欧美综合| 亚洲激情五月天| 免费视频舔| 日韩精品VIP| 色综合久久天天综合网| 日日干干天天干| 婷婷五月丁香色综合| 欧亚成人A片一区二区| 色色色综合色| 婷婷五月欧美综合| 久久99精品久久久久久三级| 天天日夜夜| 深爱激情综合| 熟女激情网| 婷婷综合一二三| 激情丁香婷婷| 开心五月网| 国熟女视频| 色九月婷婷丁香| 欧美日本免费一道免费视频| 色婷婷综合久久久久| 欧美草久久五月天91| 天天操夜夜爽天天操| 精品操逼一区二区| 风流少妇A片一区二区蜜桃 | 免费人人操| 久久久一级AAA| 激情五月天电影| 爱婷婷都市激情| 色区域网站视频| 婷婷五月婷| 97碰免费视频在线| 欧美日韩国产一区二区| 91re色综合视频| 婷婷大香蕉| 很很干天天干| 人人操五月天| 99热啪啪| 婷婷久久综合| 嫩BBB槡BBBB搡BBBB| 99操逼| 欧美精品18| 五月天色不卡| 亚洲人人操| 日韩久久视频| 四色99久久| 九九热这里只有精品6| 久99视频| 久久99精品久久只有精品| av久热| 97超碰综合| 九九热精品视频| 婷婷五月色| 99婷婷精品推荐在线视频| 精国产品一区二区三区A片| 风流少妇A片一区二区蜜桃| 亚洲精品又粗又大又爽A片| 婷婷五月激情视频在线| www.操.com| 久色| 夜夜爽天天爽| 五月婷A V在线| 激情五月婷婷色色| 成人版视频在线观看| 99热超碰在线| 中文不卡一二三区| Www,五月天| 五月婷婷久久大香蕉| 综合色色色| 97一区二区| 99热色婷婷| 色色婷| 99热最新网址| 国产成人AV在线播放 | 色啪影院| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 五月婷婷综合成人| 9 99免费视频| 激情小说五月天中文字幕| 性色视频| 91九色首页| 超碰av在| 色偷偷色婷婷| 婷婷五月丁香激情色情| 天堂网啪啪| www.99视频| 激情五月天婷婷丁香| 九九99精品视频在线观看| 婷婷五月婷婷五月天| 五月天婷婷基地综合网| 国产精品久久久爽爽爽麻豆色哟哟| 五月伊人婷婷999| 99综合视频在线| 97在线干| 色婷婷丁香五月天| 日屌日日操日日色| 噼里啪啦在线观看免费完整版视频 | 日韩六十路91性交电影| 色婷婷色久综| 丁香五月Av| 色五月成人| 亚洲另类电影| 激情五月丁香五月| 国产精女同一区二区三区久| www91久久| 久久婷婷操| 香焦网五月天| 亚洲蜜桃精久久久久久久久久久久| 天天操天天插天天射| 日本三级中国三级99| www久| 国产精品第一国产精品| 人人干人人操外国| 久久精品国产色| h在线看免费版在线看| 99色综合| 思思99久久| 五月婷庭丁香在线| 日本99在线| www.97视频| 五月丁香六月婷综合成人综合| 婷婷五月天在线观看第二页| 刘玥av在线| Av狠狠色丁香婷| 色99色| 成人小说色图婷婷五月| 色五月婷婷激情综合网| 丁香五月激情五月| 最新无码专区| 国产乱码久久| 五月天天天天天天天天天天天婷婷婷| A久久| 深爱婷婷基地| 日本系列_4页_777FP| 久久五月丁香综合| 激情婷婷亚洲五月| 91丨九色丨东北熟女| 无码一区二区三区四区五区91c| 思思视频这里是精品| 激情四射五月天| 人妖色AV色综合| 久久久久人妻精选| 免费视频WWW在线观看网站| 丁香九月综合| 91小黄书网址在线观看| 青草五月天| 99热99精品| 久狠狠狠| 激情五月婷婷啪啪| 婷婷丁香五月天在线| 天天日中文| 亚洲一个色| 乱码操操| 亚洲国产精品成人免费一区久久久在线观看AAAA | 色婷婷另类| 综合一本道| 色青青电影色五月| 人人爱人人摸人人澡| 十二区无码| 99热费观看| 亚韩精品视频1区| 婷婷在线午夜| 91综合视频丁香| 色情综合网| 丁香婷婷婷婷十二月在线观看视频| 久久99最新| 九九色热| 日逼免费视频| 婷婷五月综合免费在线| 狠狠人人婷婷| 蜜桃人妻无码AV天堂三区| 国产欧美大香蕉一区| 婷婷情色激情| 色碰97| 91色综合| 思思热思在线精品视频| 年轻的妺妺伦理HD中文| 少妇日麻屄| 99ER热精品视频| 激情五月天综合网| 色综合久久888| 天天爽天天爽| 色综合色综合色综合色综合| 婷婷综合一二三| 欧美槡BBBB槡BBB少妇| 色五月成人在线| 午夜色丁香| 99爱在线视频| 色噜噜婷婷| 久久这里只有精品久久| 日本一級黃色一級片| 激情综合五月开心狠狠| 色九月欧美| 五月天丁香| 五月丁香啪| 新99思思视频| 国内在线99视频| 九九青草热| 天天综合网、天天综合色| se.久久视频在线观看| 婷婷六月丁| 色婷婷色五月综合| 婷婷精品在线| 亚洲精级| 婷婷大香蕉| 亚洲热热视频| 亚洲午夜精品久久久久久人妖| 日韩乱轮AV| 九久9精品| 五月天色婷婷激情| 日日噜人人人做人| 激情五月天啪啪| 日韩黄色中文字幕| 婷婷精品在线| 色综合色综合色综合| 国产精产国品一二三在观看| 五月婷婷激情久久| 六月丁香婷婷网| 激情av在线| 任你弄在线视频免费| 九九色人| 国产精品色色| 五月天天天色| 日在线V视频在线播放| 伊人激情啪啪| 日韩精品999| 99在线小视频| 丁香五月综合狠狠| 五月天啪啪| www.五月丁香| 婷婷精品视频| 亚洲国产99| 天天操天天操天天操天天操天天操天天操| 99色播| 婷婷五月天中文字幕.| 五月丁香啪啪综合| 色五月天丁香婷婷色| 色播色丁香五月| 色欲久久99精品久久久久久| 丁香久久| 91色久| 日本婷婷| 免费亚洲婷婷中文字幕| 成人电影在线免费试看| 婷婷六月激情丁香| 六月伊人婷婷| 啪啪五月天啪啪| 天天舔天天摸天天射| 久色成人| 青草性爱视频| 色婷丁香五月| 丁香六月 婷婷六月| 五月丁香怕怕综合| 久久6这里只有精品| 99热久只有精品首页| 五月婷婷开心亚洲无| 六月综和久久| 欧美五月丁香啪啪响视频| 这里只有精品免费在线视频| 爱性综合网| 色噜噜,噜噜色| 五月永久激情| www一区二区三区| Jh7Uf088VHafNm| 夜夜撸天天操| 五月丁香久| 成人在线网址| 中文字幕日产A片在线看| 丰满少妇猛烈A片免费看观看 | 欧美VA在线| 久久婷婷欧美| 色色色在线免费视频| 激情色播| WwW天天干| 无码婷婷五月天| 精品无码99| 亚洲欧美一区二区三区爱爱动图 | 99热97美女| 日韩国产在线精品| 热婷婷久| 九九伊人网| 79色色色色| 成人AV在线网站| 丁香五月婷婷色| 日韩aⅴ视频| 丁香五月手机在线| 大香蕉久久| 九九爱看亚洲| 丁香五月激情网| 人与禽A片啪啪| 九九视屏| 久久99这里只有精品视频| 天天做天天爽| 麻豆AV一区二区三区| 久久久A级视频| 精品一区二区三区四区五区六区介绍 | 六月婷婷综合久久| 丁香婷婷六月天| 午夜大香蕉| 日本97人人| 五月婷婷开心亚洲无| WWW.17C亚洲精品| 青柠影视免费高清电视剧| 亚洲综合另类| 狠狠五月天婷婷| 日韩高清成人| 婷婷五月综合丁香久久| 婷婷五月激情热播| 成人 视频免费观看网站| 亚洲日韩久久婷婷伊人| 777色婷婷爱五月| 亚洲欧美婷婷五月色综合| 97色五月婷婷在线| 九九人妻福利| 99综合一区| 狠狠 久久| 777精品成人a v久久| 五月丁香激情综合| 中文在线视频久9| 婷婷五月天熟妇| 99re热视频这里只精品| 丁香五月电影院在线观看| 深爱五月天天| 99超超碰| 日日干日日s| 另类小说色婷婷| 五月婷婷欧美| 婷婷五月天情色| 色色五月激情| 婷婷五月天在线综合| 亚洲成人无码专区| 激情婷婷丁香色情五月天| 丁香六月婷婷综合| 色热久资源| 99亚州综合精品成人网| 人妻22p| 婷婷天堂站| 超碰在线人人| 亚洲五月婷| 九九RE视频在线精品| 九月综合| 久9视频| 亚洲AV成人在线| www色五月| 丁香六月啪啪| 青青热久久综合| 五月丁香综合精品欧美| 激情啪啪五月| 婷婷日在线观看| 九九九九热99超碰| 五月婷婷六月丁香玖玖玫瑰91| 免费婷婷| 人妻内射一区二区在线视频| 婷婷深爱五月天在线| 大大香蕉综合在线| 影视av久久久噜噜噜噜噜三级| 色婷婷WWW| AA片在线观看视频在线播放| 激情婷婷啪啪| 超碰chaompinm| 91丨九色丨国产| 99亚洲无码| 欧美激情 日韩无码 婷婷 五月天| 亚洲激情网| 丁香五月婷婷亚洲色图| 天天爱天天操| 91超级碰| 色情终和网| 激情五月丁香亭亭| 精品久久99码| 天天日天天肏天天奸| 日本成人噜噜噜| www色婷婷| 国产成人精品一区二三区熟女在线| 婷婷丁香综合| 丁香激情网| 五月停视频天堂| 丁香五月手机在线| 五月婷婷内射网| 丁香六月欧美| av色婷婷| 亚洲AAAA网| 涩涩婷婷五月| 2018国产大陆天天弄| 亚洲爱爱无码婷婷色五月| 五月丁香中文婷婷中文| 欧美99热| 激情五月天电影| 26uuu色噜噜精品一区| 色综合偷拍| 国产欧美精品AAAAAA片| 五月综合视频| 那里有AV网址| 一区三区视频有限公司| 伊人久久婷婷| 婷婷五月天综合在线| 79精品在线视频| 色综合色色色色色色综合| 久久综合九九| 五月婷婷婷| 丁香五月婷婷精品视频| 人妻AV在线观看| 99干在线视频| 国产精品天天狠天天看| 九九99免费理论| 天天操屄网| 色婷婷丁香特级性爱视频| 大香蕉五月丁香| 色婷婷文字幕| 大香人妻| 国产午夜精品一区二区三区四区 | 国产黄色在线观看| 久久久精品色| 天天色天天日天天舔| 婷婷色五月色妇| 激情四射五月天偷偷看婷婷| 成人短视频在线| 免费亚洲成人电影AV| 六月色五月天天婷婷| 亚洲免费成人电影AV| 91操熟女| 超碰成人免费| 五月婷婷影| 色婷久| 黄色片区子| 夜夜干 夜夜操| www.夜夜| 亚洲精品一二三| 97偷拍对白视频| 97碰碰在线观看视频| 一区二区免费看| 九色PORNY自拍成人精彩视频| 五月丁香久久网| 欧美日韩一a.无| 五婷婷六月合| 自拍盗摄 另类| 五夜丁香| 日日干日日| 国产古装妇女野外A片| 99@久久@99精品视频| 九草性爱| 久久久中文| 丁香六月婷婷综合激情欧美| 色五月天.con| 97色色色色色色色| 美女天天艹人人爽| 五月丁综合在线观看| 伦乱美欧| 久热这里只有精品66| 天天综合网亚洲网站| 99热在这里只有精品| 中文字幕综合| 婷婷另类小说| 一点色成人网| 九月激情婷婷丁香| 1024在线观看免费视频| 91九色国产在线| 激情美女五月天| 婷婷五月视频| 亚洲成人AV在线播放| 国产成人网| 潮汕成人AV片在线| 欧美丁香五月97色| 月婷婷亚洲| 五月丁香成人| 直接看的AV| 五月天婷婷视频| 人与禽A片啪啪| 香蕉伊人综合| 日韩色色小视频| 开心五月婷婷婷美女| 亚洲操b| 五月丁小婷婷激情四射| 99久久久久久www| 91啪级电影| 欧美婷| 蜜桃人妻无码AV天堂三区| 欧美成人AAA片一区国产精品| 免费观看高清无码| A一级操| 天天日天天舔| 色综合综合综合| 国产亚洲99久久精品| 丁香五月六月激情| 99综合视频| 另类丁香综合| 久久精品小视频| 9有码中文| 亚洲狠狠丁香婷婷香蕉| 91婷婷搞| 色婷婷五月天不卡| 久久婷婷六月综合| 九九精品热播| 久久九九在线视频| 综合网色| 色99免费视频中文| 婷婷五月天激情五月天网站| 亚洲av骚货| 百度4399有码精品V在线观看| 九九热视频免费观看| 久久99精品视频|