欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

金融數(shù)據(jù)服務(wù)平臺架構(gòu)實踐:實時指標(biāo)計算與規(guī)則引擎設(shè)計

金融數(shù)據(jù)服務(wù)平臺架構(gòu)實踐:實時指標(biāo)計算與規(guī)則引擎設(shè)計 前陣子一直在忙一個代號叫 financial-services 內(nèi)部項目的重構(gòu)這個項目說白了就是一套面向金融服務(wù)場景的通用數(shù)字化服務(wù)平臺。不是那種給人一種高深莫測感覺的量化交易系統(tǒng)也不涉及任何復(fù)雜金融模型它更像是一套“運(yùn)營中臺”——負(fù)責(zé)把分散在不同業(yè)務(wù)方的行情數(shù)據(jù)、用戶行為數(shù)據(jù)、賬務(wù)流水?dāng)?shù)據(jù)統(tǒng)一收進(jìn)來清洗、計算、存儲再通過規(guī)則引擎和接口服務(wù)輸出給前端展示、風(fēng)險識別和業(yè)務(wù)決策使用。我之所以想把這次實踐經(jīng)驗完整寫出來是因為這個項目踩了不少坑也沉淀了一些通用方法論。不管你是做后端開發(fā)、數(shù)據(jù)工程還是剛到金融類公司做技術(shù)平臺多多少少都能從中找到一些參考。尤其是一些架構(gòu)選型的取舍、實時指標(biāo)計算的細(xì)節(jié)以及生產(chǎn)環(huán)境里常見的臟數(shù)據(jù)和延遲問題這些都不是參考文檔能告訴你的。如果你正準(zhǔn)備搭一套類似的內(nèi)部數(shù)據(jù)服務(wù)平臺那這篇文章應(yīng)該能幫你少走幾條彎路。1. 項目背景與整體設(shè)計思路1.1 這個項目到底要解決什么問題先說背景。業(yè)務(wù)側(cè)有多個渠道包括移動端、網(wǎng)頁端、合作方接口都會產(chǎn)生大量的服務(wù)數(shù)據(jù)。過去這些數(shù)據(jù)各自為政業(yè)務(wù)A關(guān)心交易量業(yè)務(wù)B關(guān)心用戶活躍度業(yè)務(wù)C關(guān)心異常波動每個團(tuán)隊各自拉數(shù)據(jù)、各自建表、各自開發(fā)報表最后口徑對不上指標(biāo)算出來的結(jié)果經(jīng)常相差百分之二三十領(lǐng)導(dǎo)問起來誰也說不太清楚。financial-services 這個項目最初的目標(biāo)非常樸素把數(shù)據(jù)統(tǒng)一收口建立一個穩(wěn)定的指標(biāo)計算平臺。但做著做著發(fā)現(xiàn)光“統(tǒng)一收口”還不夠因為業(yè)務(wù)方對實時性的要求越來越高。以前跑T1的離線報表還行現(xiàn)在業(yè)務(wù)方希望一個活動上線后能實時看到用戶參與情況、交易成功率、異常波動預(yù)警。這就把項目的技術(shù)重心從“批量處理”推向了“實時/準(zhǔn)實時計算”。所以最終這個項目的核心定位是三塊數(shù)據(jù)接入標(biāo)準(zhǔn)化、指標(biāo)計算統(tǒng)一化、預(yù)警輸出自動化。聽起來不復(fù)雜但真正落地時每一塊都有不少細(xì)節(jié)。1.2 技術(shù)選型的思考過程選型永遠(yuǎn)不是選最火的而是選最適合團(tuán)隊維護(hù)的。因為初期調(diào)研的時候我也考慮過直接上完整的流式計算框架比如 Flink甚至也想過用 ClickHouse 做實時數(shù)倉。但最后綜合團(tuán)隊情況選了一條更務(wù)實的路線Kafka 作為消息管道統(tǒng)一接入各類數(shù)據(jù)源一套自研的指標(biāo)計算服務(wù)負(fù)責(zé)做清洗、聚合和規(guī)則判斷結(jié)果寫入 MySQL 和 Redis對外提供 REST API 和 WebSocket 推送。為什么沒有用 Flink其實也不是不能而是學(xué)習(xí)成本和運(yùn)維成本的問題。團(tuán)隊當(dāng)時對 Java 和 Spring Boot 非常熟悉但對 Flink 的部署、調(diào)優(yōu)、狀態(tài)后端管理并不熟練。對于這樣一個不算超大規(guī)模的指標(biāo)計算場景用 Kafka 解耦自研聚合服務(wù)完全能支撐業(yè)務(wù)量而且出現(xiàn)問題時團(tuán)隊自己能快速排查。我個人的原則是在滿足性能指標(biāo)的前提下盡量選擇團(tuán)隊有掌控力的技術(shù)棧不要為了簡歷好看去引入后續(xù)沒人維護(hù)得動的東西。當(dāng)然這套設(shè)計也有明顯的短板。自研計算服務(wù)的水平擴(kuò)展性不如 Flink 這類專業(yè)框架如果未來每秒寫入量達(dá)到幾十萬條就不得不重構(gòu)。但考慮到業(yè)務(wù)增長曲線這個風(fēng)險在接下來兩年內(nèi)是可控的而且我也在設(shè)計上做了分片處理留了一條擴(kuò)展的后路。1.3 架構(gòu)的整體分層一個容易被忽略的點是架構(gòu)圖看著簡單真正落地時要區(qū)分清楚數(shù)據(jù)分層和業(yè)務(wù)分層。數(shù)據(jù)層面我分了四層采集層、傳輸層、計算層、服務(wù)層。采集層由各業(yè)務(wù)線通過 SDK 或 API 上報數(shù)據(jù)傳輸層是 Kafka負(fù)責(zé)削峰填谷計算層是核心承載數(shù)據(jù)清洗、指標(biāo)計算、規(guī)則匹配服務(wù)層對外提供查詢接口和消息推送。業(yè)務(wù)層面則是圍繞“指標(biāo)”來組織而不是圍繞“數(shù)據(jù)源”來組織。比如用戶活躍度這個指標(biāo)它可能來源于用戶埋點、登錄日志、接口調(diào)用日志等多個數(shù)據(jù)源。如果按數(shù)據(jù)源組織邏輯后期指標(biāo)擴(kuò)展時會非常痛苦按指標(biāo)組織邏輯新增數(shù)據(jù)源只需要在接入層做一次適配后續(xù)所有指標(biāo)都能自動復(fù)用。這個設(shè)計看起來是架構(gòu)層面的小事但其實決定了后續(xù)所有開發(fā)效率。我還做了一個很關(guān)鍵的決策計算服務(wù)內(nèi)部分了兩條鏈路一條是實時鏈路一條是準(zhǔn)實時鏈路。實時鏈路處理延遲敏感類的指標(biāo)比如今日交易總額、當(dāng)前在線用戶數(shù)秒級刷新準(zhǔn)實時鏈路處理需要跨時段對比的指標(biāo)比如環(huán)比增長率、異常波動檢測分鐘級計算。這樣做的好處是不會因為少數(shù)復(fù)雜指標(biāo)拖慢整體實時性也讓開發(fā)時可以按需取舍計算深度。2. 核心模塊拆分與細(xì)節(jié)解析2.1 數(shù)據(jù)接入層管好格式才能少踩坑數(shù)據(jù)接入是整個平臺的地基也是最容易出現(xiàn)臟數(shù)據(jù)的地方。接入層我采用了 Topic 加版本號的策略而不是簡單一個 Topic 走天下。每個業(yè)務(wù)方上報數(shù)據(jù)時必須帶上 schema 版本號沒有帶的一律進(jìn)“待修復(fù)隊列”通過一個管理后臺讓業(yè)務(wù)方自己去查看和修正。前期會有些陣痛業(yè)務(wù)方覺得怎么這么麻煩但到了后期做指標(biāo)對齊時你就會發(fā)現(xiàn)這個約束實在救了大命。協(xié)議上當(dāng)時也糾結(jié)過是用 JSON 還是 Protobuf。坦誠講JSON 在調(diào)試時非常友好但做復(fù)雜嵌套結(jié)構(gòu)的時候校驗成本太高解析性能也一般。最終用了 JSON JSON Schema 校驗而不是直接上 Protobuf。原因是團(tuán)隊當(dāng)時人手不足Protobuf 的代碼生成和版本管理需要額外投入而 JSON Schema 允許業(yè)務(wù)方在管理后臺通過配置來調(diào)整校驗規(guī)則靈活度高很多。等業(yè)務(wù)量上來之后再考慮遷移到 Protobuf也是一個可行的演進(jìn)路徑。接入層的另一個隱藏細(xì)節(jié)是“冪等”。Kafka 提供了至少一次投遞語義這在數(shù)據(jù)上報場景下意味著重復(fù)消息幾乎一定會出現(xiàn)。我們在接入層生成了一個針對消息體內(nèi)容的 hash 值存在 Redis 里做去重過期時間設(shè)置為 24 小時。這個處理看似簡單但極大地減少了后續(xù)計算層的重復(fù)計數(shù)問題尤其是做交易量這類累加型指標(biāo)時沒有冪等處理數(shù)據(jù)會有很多水分。2.2 指標(biāo)計算層窗口、口徑與聚合一鍋端指標(biāo)計算層是平臺的大腦也是代碼量最集中的地方。我在這一層實現(xiàn)了一套輕量級的“指標(biāo)引擎”核心思路是聲明式配置每個指標(biāo)由三個要素定義——數(shù)據(jù)源過濾條件聚合邏輯。數(shù)據(jù)源決定去哪些 Topic 取數(shù)過濾條件決定哪些記錄參與計算聚合邏輯負(fù)責(zé)怎么算。業(yè)務(wù)方新增一個指標(biāo)時只要走配置中心提交一份定義計算服務(wù)會自動編譯成可執(zhí)行的算子鏈不需要重新發(fā)版??赡苡腥藭枮槭裁床挥矛F(xiàn)成的流計算平臺或者直接用 SQL 去定義指標(biāo)其實在前期調(diào)研時SQL確實是備選方案但實際業(yè)務(wù)中有很多非標(biāo)準(zhǔn)化的邏輯例如“剔除內(nèi)部測試賬號”“排除特定來源的重復(fù)請求”這些用SQL表達(dá)比較繞。把指標(biāo)計算留在代碼里用配置驅(qū)動反而最靈活。窗口計算是這個模塊里最難啃的骨頭。實時指標(biāo)往往涉及到滑動窗口比如“過去5分鐘的交易成功率”。要實現(xiàn)這個我用 Redis 的 ZSET 按時間戳存儲每個數(shù)據(jù)點每次計算時通過 score 范圍查詢?nèi)〕龃翱趦?nèi)的數(shù)據(jù)再批量執(zhí)行聚合。這個方案在數(shù)據(jù)量不大時性能很好看但一旦窗口內(nèi)數(shù)據(jù)量突破幾十萬ZSET 的操作延遲就會明顯上升。后來我做了采樣策略對于高吞吐的指標(biāo)在寫入 Redis 之前做一次預(yù)聚合把單條消息聚合成秒級的計數(shù)再把秒級計數(shù)存入 ZSET。這個優(yōu)化直接將窗口查詢的數(shù)據(jù)量減少了兩個數(shù)量級。聚合一端還需要特別注意“重算”的問題。消息延遲亂序在分布式場景下是常態(tài)比如一條 10:00:01 的數(shù)據(jù)可能 10:01:30 才到。如果你在窗口關(guān)閉的瞬間就固化結(jié)果這條遲到的數(shù)據(jù)就永久丟失了。我對每個指標(biāo)配置了一個“允許延遲時間”默認(rèn) 30 秒。窗口關(guān)閉后先出一版結(jié)果延遲時間到期后再做一次修訂計算如果結(jié)果有變化推送一條修訂消息給下游。這種“先初算、后修正”的模式在業(yè)務(wù)容忍范圍內(nèi)是一個極其實用的折中方案。2.3 規(guī)則引擎與預(yù)警中心讓異常自動被發(fā)現(xiàn)業(yè)務(wù)方對平臺的一個核心期望是“別讓我們天天盯著報表異常了你得告訴我們”。這就需要一個簡單但高效的規(guī)則引擎。我這里沒有引入 Drools 這類重量級規(guī)則框架而是實現(xiàn)了一個基于 Groovy 腳本的輕量級規(guī)則沙箱。每條規(guī)則由兩部分組成觸發(fā)條件一段表達(dá)式動作推送消息、打標(biāo)記、調(diào)用回調(diào)接口。規(guī)則配置支持灰度發(fā)布可以先讓 10% 的流量實驗觀察效果沒問題再全量開放。規(guī)則容易寫但預(yù)警風(fēng)暴難防。最常見的情況是某個指標(biāo)在短時間內(nèi)抖動規(guī)則頻繁觸發(fā)業(yè)務(wù)方收到幾十條同一個原因的告警慢慢就會產(chǎn)生“告警疲勞”把推送直接屏蔽掉。踩過這個坑之后我特意實現(xiàn)了在不同規(guī)則上的靈活防護(hù)策略一是預(yù)熱規(guī)則觸發(fā)后要連續(xù) N 次持續(xù)命中才真正發(fā)出預(yù)警二是冷卻同一規(guī)則兩次預(yù)警之間必須至少間隔 5 分鐘三是聚合同一對象的多條預(yù)警合并成一條摘要摘要里附帶最近一段時間的趨勢數(shù)據(jù)。這樣調(diào)整后的實際效果告警量減少了約 60%業(yè)務(wù)方反而更愿意處理預(yù)警信息了。規(guī)則引擎里還有一個容易被忽略的能力動態(tài)閾值。有些指標(biāo)在業(yè)務(wù)高峰和低谷時的波動差異很大如果閾值寫死不是誤報就是漏報。我的方案是讓平臺自動維護(hù)每個指標(biāo)的歷史置信區(qū)間以過去7天同一時間段的均值加減三倍標(biāo)準(zhǔn)差作為動態(tài)基線規(guī)則配置時可以引用這個基線。比如可以設(shè)定“當(dāng)指標(biāo)值低于基線下限的20%時觸發(fā)預(yù)警”這個能力上線之后異常識別的準(zhǔn)確率提升明顯。2.4 對外服務(wù)層既要查得到也要推得動平臺對外提供的服務(wù)主要有兩類查詢類 API 和實時推送通道。查詢類 API 相對常規(guī)基于 MySQL 和 Redis 的一二級緩存模式熱點指標(biāo)走 Redis歷史明細(xì)走 MySQL。這里有一個經(jīng)驗值得分享對于指標(biāo)查詢接口我強(qiáng)烈建議不要在 API 層再引入復(fù)雜的OR映射框架直接用一個輕量的查詢對象組裝 SQL 即可。因為指標(biāo)查詢基本都是固定模式的聚合查詢過度設(shè)計只會增加排查問題的難度。實時推送這一塊用的是 WebSocket配合一個輕量的推送網(wǎng)關(guān)。網(wǎng)關(guān)維護(hù)著每個業(yè)務(wù)方的訂閱列表當(dāng)指標(biāo)計算結(jié)果有更新時把變更記錄推給所有訂閱了該指標(biāo)的服務(wù)端連接。為了不讓推送消息成為瓶頸推送頻率做了限流同一指標(biāo)每秒最多推送一條合并后的快照數(shù)據(jù)。實際運(yùn)營下來推送最考驗的不是吞吐而是連接狀態(tài)的維護(hù)——客戶端斷線重連、心跳超時這些看似簡單的問題在實際聯(lián)調(diào)中比寫核心邏輯還磨人。查詢 API 還有一個磨人的點就是“指標(biāo)對齊”。同樣的“今日總交易額”不同端展示不一樣會讓人對平臺失去信任。所以我在服務(wù)層做了一個快照表每五分鐘生成一次所有核心指標(biāo)的全局快照所有查詢默認(rèn)讀取快照而不是實時精確值。這樣不同服務(wù)方看到的數(shù)據(jù)是一致的只是有最多五分鐘的延遲。對于對實時性要求更高的看板提供實時接口但會明確標(biāo)注是“實時值”避免混用。3. 實操過程從0到1的實現(xiàn)路徑3.1 整體技術(shù)棧與項目結(jié)構(gòu)整個項目后端使用 Java 17 Spring Boot 3.x消息中間件用 Kafka 3.x緩存用 Redis 6.x存儲用 MySQL 8.x。布式環(huán)境那就不用想了剛開始是在單機(jī)環(huán)境開發(fā)調(diào)試之后通過 Docker-Compose 部署到三臺測試服務(wù)器上。項目代碼本身按 Maven 多模塊組織大致結(jié)構(gòu)如下financial-services ├── financial-common # 公共代碼工具類、統(tǒng)一返回結(jié)構(gòu)、異常定義 ├── financial-collect # 數(shù)據(jù)接入服務(wù)接收HTTP上報、校驗、寫Kafka ├── financial-compute # 指標(biāo)計算服務(wù)消費(fèi)Kafka、清洗聚合、寫Redis/MySQL ├── financial-rule # 規(guī)則引擎服務(wù)加載規(guī)則、執(zhí)行判定、觸發(fā)動作 ├── financial-api # 查詢與推送服務(wù)REST API WebSocket推送 └── financial-admin # 管理后臺指標(biāo)配置、數(shù)據(jù)修復(fù)、規(guī)則配置對于剛開始做類似平臺的同學(xué)我建議即使項目很小也盡量按這種縱向切分來組織模塊。因為接入、計算、規(guī)則、服務(wù)四塊的部署頻率完全不同混在一個單體應(yīng)用里一次計算邏輯的改動可能還要連帶推送服務(wù)重新發(fā)布非常容易引發(fā)線上事故。3.2 接入與校驗鏈路的實現(xiàn)接入服務(wù)本質(zhì)上是替業(yè)務(wù)方扛住所有“可能出問題”的地方。業(yè)務(wù)方只需要按約定把一個數(shù)據(jù)結(jié)構(gòu) POST 過來剩下的工作全部在 financial-collect 里完成。數(shù)據(jù)接入的代碼核心分三步接收請求、schema 校驗、投遞到 Kafka。第一步比較簡單直接用一個 Controller 接收 JSON 字符串不急著反序列化成強(qiáng)類型對象因為后續(xù)字段可能變化強(qiáng)類型反而限制靈活性。第二步是校驗用預(yù)加載的 JSON Schema 對消息體做校驗失敗的進(jìn)入修復(fù)隊列并通知業(yè)務(wù)方。第三步是投遞這里關(guān)鍵在于為每條消息生成業(yè)務(wù)主鍵式的去重ID把來源標(biāo)識、業(yè)務(wù)ID、發(fā)生時間拼接后做 MD5。實現(xiàn)時想說一個前面提到的坑接入層在處理量突然翻倍時會遇到線程池打滿導(dǎo)致請求超時的情況。常規(guī)思路是調(diào)大線程池但真正的問題是 Kafka 生產(chǎn)者發(fā)送后等待確認(rèn)的時間過長。后來我在代碼里把 batch.size 從默認(rèn)的 16KB 調(diào)到了 64KBlinger.ms 調(diào)整到 10mssend 的吞吐量明顯上漲CPU 反而下降了。這種調(diào)優(yōu)不復(fù)雜但需要你在壓測時關(guān)注生產(chǎn)者的各項指標(biāo)曲線。3.3 指標(biāo)計算的代碼骨架計算服務(wù)的代碼骨架是消費(fèi) Kafka 消息、按指標(biāo)路由、執(zhí)行過濾條件、執(zhí)行聚合算子、寫入結(jié)果。這個骨架本身不新奇但有幾個細(xì)節(jié)我認(rèn)為值得分享出來。第一是消息路由。我收到了業(yè)務(wù)方上報的消息并不直接按照消息類型去查表而是在消息的 header 里塞入了動態(tài)類型標(biāo)記比如metric-type: user_active消費(fèi)端拿到后直接按這個標(biāo)記定位到預(yù)先注冊的計算單元省去了解析嵌套JSON后再判斷類型的損耗。第二是過濾條件的處理。過濾條件我實現(xiàn)成一個 Python 風(fēng)格的表達(dá)式引擎引入一個輕量級表達(dá)式解析庫配置人員可以在管理后臺寫類似channel ! internal_test and amount 0這樣的表達(dá)式保存后會編譯成一個可執(zhí)行的對象每次消息到達(dá)時在內(nèi)存中執(zhí)行。這樣既擺脫了硬編碼又不會因為頻繁拼接字符串而誤傷性能。第三是聚合算子。聚合算子根據(jù)指標(biāo)類型分成 Sum、Count、Avg、DistinctCount、MaxMin 五類。每一類算子都有一個對應(yīng)的裝飾鏈比如 Counter 算子會先經(jīng)過去重器再到累加器再到窗口存儲。這種裝飾鏈模式的好處是新增一個指標(biāo)類型時不需要改聚合核心只要在配置里指定算子鏈即可。下面是計算服務(wù)消費(fèi)并處理一個實時指標(biāo)的核心示例為了保持篇幅簡潔省略部分細(xì)節(jié)Component public class MetricComputeConsumer { KafkaListener(topics ${metric.input.topic}, containerFactory kafkaContainerFactory) public void onMessage(ConsumerRecordString, String record) { MetricEnvelope envelope JsonUtil.parse(record.value(), MetricEnvelope.class); MetricConfig config metricRegistry.getConfig(envelope.getMetricType()); if (config null) { deadLetterService.submit(record); return; } boolean match expressionEngine.evaluate(config.getFilterExpression(), envelope.getPayload()); if (!match) { return; } Object result aggregatorChain.execute(config.getAggregatorChain(), envelope.getPayload()); resultStore.saveWindowedResult(config.getMetricKey(), result); notificationGateway.pushIfSubscribed(config.getMetricKey(), result); } }我不建議把代碼寫得過于抽象但上面這個核心鏈路的抽象程度是合適的每個組件只負(fù)責(zé)一件小事新指標(biāo)上線時基本不用改 Java 代碼只改配置。這帶來的直接收益就是業(yè)務(wù)方提一個指標(biāo)需求從提報到上線的時間從原來的一周壓縮到了幾小時。3.4 規(guī)則引擎的實現(xiàn)思路規(guī)則引擎我選擇了 Groovy 腳本加一個受限的沙箱。每個規(guī)則腳本被嚴(yán)格限制執(zhí)行時間默認(rèn)500毫秒內(nèi)運(yùn)行在獨(dú)立的線程池里如果超時會被強(qiáng)制中斷。這樣做確實有安全上的考量——不允許規(guī)則腳本訪問系統(tǒng)類、文件、網(wǎng)絡(luò)等敏感資源表達(dá)式語法上限制掉 System、Runtime、ProcessBuilder 等危險類。在金融內(nèi)部業(yè)務(wù)場景這個安全級別完全夠用。規(guī)則入?yún)⒌脑O(shè)計也值得一提。每個規(guī)則會收到一個統(tǒng)一的上下文對象RuleContext里面包含當(dāng)前指標(biāo)的最新值、歷史基線、同比環(huán)比、關(guān)聯(lián)對象ID等。腳本里只需要寫類似這樣的代碼if (ctx.currentValue ctx.baselineLowerBound * 0.8) { return new RuleAction(warning, 指標(biāo)低于基線下限20%) } return new RuleAction(none, )這個上下文對象的設(shè)計讓規(guī)則編寫者完全不需要關(guān)注數(shù)據(jù)怎么查、怎么算只需要專注于業(yè)務(wù)判斷邏輯大大降低了使用門檻。甚至業(yè)務(wù)分析師經(jīng)過簡單培訓(xùn)后也能自己寫基礎(chǔ)規(guī)則這就是平臺類的價值所在。規(guī)則執(zhí)行結(jié)果的輸出也做了標(biāo)準(zhǔn)化。輸出的RuleAction中包含動作類型和描述后續(xù)會交給動作執(zhí)行器去處理。動作執(zhí)行器實現(xiàn)了多種通道Webhook 回調(diào)、內(nèi)部 IM 推送、短信發(fā)送、郵件通知。每種通道在實現(xiàn)時都做了限流和降級單個通道異常時不會影響其他通道這是預(yù)警系統(tǒng)在生產(chǎn)環(huán)境里必須具備的韌性。3.5 可觀測性與監(jiān)控設(shè)計一個數(shù)據(jù)平臺如果自身沒有監(jiān)控那出了問題排查起來真的跟大海撈針一樣。我在系統(tǒng)里埋了三類監(jiān)控指標(biāo)接入層監(jiān)控上報量、校驗失敗率、Kafka 積壓量、計算層監(jiān)控處理延遲、聚合耗時、窗口命中率、服務(wù)層監(jiān)控查詢QPS、推送成功率、WebSocket 連接數(shù)。這些監(jiān)控指標(biāo)通過 Prometheus 采集在 Grafana 上展示。核心告警項包括Kafka 消費(fèi)積壓超過閾值、計算引擎任務(wù)執(zhí)行超時率偏高、推送通道成功率低于99%。還有一個小細(xì)節(jié)是鏈路追蹤。因為消息從接入到計算到推送要經(jīng)過多個服務(wù)沒有唯一追蹤ID很難定位問題。我在消息進(jìn)入接入層時生成了一個全局 traceId隨消息一起寫入 Kafka 的 header整個鏈路全程透傳。日志框架里統(tǒng)一打印這個 traceId這樣遇到“某條數(shù)據(jù)沒算出來”的問題可以直接用 traceId 查所有日志節(jié)點效率提升不止一點半點。4. 我踩過的坑與調(diào)優(yōu)記錄4.1 消費(fèi)端不均衡導(dǎo)致的計算傾斜平臺上線初期我發(fā)現(xiàn)有個 Topic 的消費(fèi)速度一直跟不上生產(chǎn)速度但看消費(fèi)者組的整體積壓量又不高。后來排查發(fā)現(xiàn)是 key 分布不均勻造成的某個熱點業(yè)務(wù)方的數(shù)據(jù)占了總數(shù)據(jù)量的 70%消息全部 hash 到了同一個分區(qū)那個分區(qū)的消費(fèi)者忙成狗其他消費(fèi)者閑得長草。這個問題給了我一個很深的教訓(xùn)在選擇 Kafka 分區(qū) key 時不能直接用業(yè)務(wù)方ID而要結(jié)合消息內(nèi)的一個子維度做組合散列。比如業(yè)務(wù)方ID加渠道ID必要時要再加一個隨機(jī)鹽確保消息能相對均勻地分散到各分區(qū)。修改之后分區(qū)消費(fèi)量從“三七開”變得基本均衡。這屬于那種你不在生產(chǎn)環(huán)境大規(guī)模跑一次就絕對發(fā)現(xiàn)不了的坑。4.2 Redis 大Key問題差點把緩存打爆做滑動窗口指標(biāo)時最初把所有明細(xì)消息都塞進(jìn)了同一個 ZSET導(dǎo)致某些熱點指標(biāo)對應(yīng)的 ZSET 里數(shù)據(jù)量巨大單個 Key 的 value 達(dá)到了好幾十MB。那次 Redis 的 INFO 里內(nèi)存直接告警ZSET 操作延遲也飆到了幾百毫秒連帶著其他指標(biāo)的計算也被拖慢了。后來做了兩件事解決。第一引入“小窗口預(yù)聚合”秒級聚合成一條計數(shù)再進(jìn)入 ZSET明細(xì)數(shù)據(jù)落 MySQL 做離線查詢。第二給 ZSET 設(shè)置一個不過期的滾動清理策略每次寫入時順帶刪除超過窗口范圍兩倍的老數(shù)據(jù)避免數(shù)據(jù)只增不減。這個改動上線后Redis 內(nèi)存占用下降了 70%ZSET 操作耗時重回亞毫秒級別。遇到這個問題的同時我也更加確信像 Redis 這類組件用得好不好很多時候取決于你對數(shù)據(jù)生命周期的設(shè)計而不是組件本身的性能。4.3 指標(biāo)修正導(dǎo)致的口徑爭議前面提到我做了窗口修正策略但這個策略上線后引來了新問題業(yè)務(wù)方在午間看到“今日流水總額”出現(xiàn)了回退后臺就炸了覺得數(shù)據(jù)算錯了。其實就是先初算的版本少算了幾條遲到的消息修正后金額反而更準(zhǔn)確但業(yè)務(wù)方只看到了“數(shù)字變小”。為這件事開的會讓我深刻意識到技術(shù)上的正確不一定等于業(yè)務(wù)上的可接受。后來的做法是對于對外展示的核心業(yè)務(wù)指標(biāo)默認(rèn)不啟用修正覆蓋而是通過一個“修訂標(biāo)記”來提示業(yè)務(wù)方當(dāng)前結(jié)果可能會修正。同時在管理后臺提供“修正生效時間”配置業(yè)務(wù)方如果追求極致的準(zhǔn)確可以把允許延遲時間拉長前提是接受展示延遲。這些都是系統(tǒng)設(shè)計時容易忽略的“非功能需求”但實際運(yùn)營中它們往往比功能需求更能決定項目的成敗。你辛辛苦苦實現(xiàn)了高性能的計算引擎卻因為在數(shù)據(jù)展示口徑上沒溝通好最后業(yè)務(wù)方還是覺得平臺“不靠譜”那就太可惜了。4.4 預(yù)警風(fēng)暴壓測時才暴露預(yù)警模塊在功能測試階段沒有發(fā)現(xiàn)問題因為測試數(shù)據(jù)量小觸發(fā)頻率低。但一次全鏈路壓測中模擬了幾倍于正常流量的數(shù)據(jù)預(yù)警服務(wù)中心瞬間打了幾百條推送導(dǎo)致內(nèi)部網(wǎng)關(guān)超時。當(dāng)時我的第一反應(yīng)不是調(diào)大推送線程池而是立刻想著怎么從源頭控制預(yù)警數(shù)量。前面所說的預(yù)熱、冷卻、聚合三層策略正是在這種背景下實現(xiàn)的。壓測結(jié)果驗證了策略的有效性同等流量下最終發(fā)出的預(yù)警數(shù)量下降了一個數(shù)量級。這條經(jīng)驗也適用于所有事件驅(qū)動型系統(tǒng)預(yù)警機(jī)制必須有自我保護(hù)能力否則系統(tǒng)一但進(jìn)入故障狀態(tài)海量冗余通知會讓故障雪上加霜。5. 關(guān)鍵配置與參數(shù)參考5.1 Kafka相關(guān)參數(shù)配置Kafka 參數(shù)這個東西很多人喜歡照抄網(wǎng)上的推薦值但不同業(yè)務(wù)場景差別真的很大。我這里給出的是消息體較小、高峰流量較大的金融數(shù)據(jù)場景下的一組參考配置。參數(shù)推薦值說明batch.size64KB批量發(fā)送閾值調(diào)大能提升吞吐linger.ms10ms等待更多消息的時間兼顧延遲和吞吐acksall確保寫入副本成功compression.typelz4減少網(wǎng)絡(luò)帶寬占用max.poll.records500單次消費(fèi)拉取條數(shù)避免堆積太多內(nèi)存enable.auto.commitfalse手動提交偏移量防止重復(fù)消費(fèi)或丟失關(guān)于enable.auto.commit我想多說一句生產(chǎn)環(huán)境建議一定關(guān)閉自動提交改用手動提交配合處理成功的業(yè)務(wù)邏輯。雖然手動提交代碼上麻煩一點但能有效避免“消費(fèi)了消息但處理失敗卻把偏移量提交了”的問題。很多數(shù)據(jù)不一致的隱形故障根源就出在這里。5.2 Redis與MySQL的存儲劃分這一塊我做一個總體的劃分。實時性要求高的指標(biāo)結(jié)果、滑動窗口數(shù)據(jù)、去重集合全部放 Redis冷數(shù)據(jù)、歷史明細(xì)、預(yù)警記錄、配置快照放 MySQL。Redis 里我建議用 HASH 結(jié)構(gòu)存指標(biāo)快照用一個 KEY 表示“指標(biāo)名”field 表示“統(tǒng)計周期”value 存 JSON 序列化的結(jié)果對象。這樣查詢一個指標(biāo)多個時間段的數(shù)據(jù)時只需要一次 HGETALL非常高效。線下數(shù)據(jù)表的設(shè)計其實并沒有很復(fù)雜但我在建表時做了一件降低后續(xù)心智負(fù)擔(dān)的事情所有核心表都帶一個record_snapshot_no字段每次全局指標(biāo)快照生成時這個編號單調(diào)遞增。業(yè)務(wù)方如果需要分析某一時刻的全局口徑只需要通過快照編號去查詢不需要跨表核對時間戳。5.3 告警配置參數(shù)模板告警配置我提供一個基礎(chǔ)模板你可以根據(jù)項目情況微調(diào)。核心思路是告警不是越多越好要讓預(yù)警真正能落地處理寧可少而準(zhǔn)不可多而濫。alert: preheat_count: 3 # 連續(xù)觸發(fā)多少次后才告警 cooldown_seconds: 300 # 同一規(guī)則告警冷卻時間 aggregate_window: 60 # 聚合窗口秒 max_push_rate: 5 # 每秒鐘最大推送條數(shù) dynamic_baseline: enabled: true history_days: 7 lower_ratio: 0.8順帶提一下max_push_rate這個參數(shù)的意義。它不是限制業(yè)務(wù)方的接收能力而是保護(hù)平臺自身。當(dāng)出現(xiàn)大規(guī)模故障時限流會讓預(yù)警延遲一點點時間但這遠(yuǎn)比把網(wǎng)關(guān)打爆導(dǎo)致所有通知都發(fā)不出去要靠譜得多。6. 后續(xù)擴(kuò)展與個人體會這套平臺上線運(yùn)行之后業(yè)務(wù)方的反饋整體是積極的。過去一個新指標(biāo)從提需求到看到數(shù)據(jù)動輒兩三周現(xiàn)在基本當(dāng)天就能在平臺上配置上線。早期最核心的“指標(biāo)口徑不統(tǒng)一”問題也通過快照機(jī)制和統(tǒng)一配置中心得到了很大改善。我自己的體會是做這類平臺型項目技術(shù)能力其實只是基礎(chǔ)最難的部分往往是對業(yè)務(wù)的抽象以及和各種業(yè)務(wù)方在口徑問題上的耐心溝通。如果后續(xù)要繼續(xù)演進(jìn)我比較看好的方向是引入一套輕量級的“指標(biāo)血緣”能力。也就是說讓每個指標(biāo)能從數(shù)據(jù)源一路追溯到最終的報表展示中間經(jīng)過了哪些過濾、哪些算子、哪些修正全部可視化呈現(xiàn)。當(dāng)業(yè)務(wù)指標(biāo)出現(xiàn)異常時順著血緣圖就能快速定位到是哪條鏈路的數(shù)據(jù)出了變化。這個能力目前市面上有一些商業(yè)產(chǎn)品在提供但自研實現(xiàn)一個基礎(chǔ)版本并沒有想象中那么難。最后再分享一個個人經(jīng)驗開發(fā)這類數(shù)據(jù)平臺時一定要把“數(shù)據(jù)質(zhì)量”當(dāng)成一等公民在架構(gòu)設(shè)計階段就預(yù)留好校驗、修復(fù)、對賬的能力而不是等項目上線了再補(bǔ)。數(shù)據(jù)質(zhì)量的基礎(chǔ)設(shè)施建得越早后期業(yè)務(wù)擴(kuò)張時你越從容。很多問題看著是業(yè)務(wù)規(guī)則問題深挖到底都是數(shù)據(jù)質(zhì)量問題。地基穩(wěn)了上面蓋什么樣的業(yè)務(wù)大樓都不怕。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香成年黄色| 五月丁香六月欧美综合网站| 丁香综合日产精品久久| 色色色色色色色色色999| 国产欧美精品AAAAAA片| 狠狠干狠狠干狠狠干狠狠干| 丁香婷婷久久五月天| 三级大香蕉网| 狠狠久久婷| 亚洲热久久| 超级碰碰碰久久网站| 亚洲久热无码| 青996青| 天天爱天天做天天| 色综合色五月| www.wuyuetian啪啪| 日日婷婷不卡| 五月婷婷丁香大香蕉| 婷婷五月天黄色小说| www.一起草av| 亚洲第一第二网站| 激情五月丁香激情综合网| 亚洲AV在线免费看| 欧美日韩aaa| 97碰 在线视频观看| 亚洲aV写真天天综合网久久| 99在线观看视频| 2020日日干| 91精品久久久久久久| 激情五月天丁香| 五月婷婷丁香六月| 97色色综合| 色五月婷婷大香蕉| 极品人妻XXXXOOOO| 欧美日韩成人在线观看| 啪啪婷婷五月天激情| 伊大人久久| 色五月av| 男人综合网| 亚洲永远av在线播放| 99色色网| 六月激情婷婷综合| 丁香婷婷色九月| 五月激情六月丁香| 人人草开心五月天| 丁香六月婷婷激情综合| 色黄啪啪| 国产人妻777人伦精品HD| 狠狠色婷婷丁香六月| 1囯产午夜仑鲁鲁| 丁香五月色情| 亚洲精品大片| 五月天婷婷六月| 久久婷婷五月综合网| 男人的天堂99| 五月天激情小说| 先锋资源996| 五月丁香久久丝袜啪啪| 久久精品一区二区三区四区| 五月天操逼网| 开心综合激情综合| 婷婷五月激情网| 日韩乱轮AV| 超碰三级片| 99这里的视频都是精品| 超碰猛烈的性猛交| 99在线视频。| 色色激情| 人人97碰| 人妻内射视频| 五月婷婷激情69| 99 re视频一区| 超碰人人色| 婷婷六月天激情影院| 丁香五月黄色| 在线视频九色97| 五月丁香啪啪| 成人综合视频在线| 丁香六月婷婷综合欧美| 这里只有精品99www| 九色 在线| 国产精产国品一二三在观看| 99色视频在线| 激情小说五月天社区丁香| 碰超亚洲| 9+1视频网址| 99精品小视频| 婷婷五月色网| 日韩一区二区三区无码| 色五月网址| 无码A片一区二区免费| 北京熟妇搡BBBB搡BBBB| 丁香五月天激情视频| 亚洲99热| 天天天天爽爽天干| 思思w99| 综合网色| 五月丁香色情| 亚洲AV成人片无码网站| 超碰免费99| 97婷婷五月丁香| 精品无码久久久久久久久| 激情网五月天| 激情五月天激情小说| 青青草护士中出内射-欧美电影在线天堂新版 | 伊人大香五月天| 99天堂在线观看免费视频| 久久只有18视频| 六月丁香激情综合| 婷婷 久综合| 日本99视频精品免费播放| 成人综合网站| 情婷婷五月天在线| 色综合天天网| 好吊丝aV| 人人干Av| 欧美毛片www| 伊人婷婷青青cao| 激情四射婷婷色色色| 日韩小视频在线99| 亚洲五月天色色| seuuu婷婷| 嫩草AV久久伊人妇女超级A| 色欲五月婷婷| 久久久免费精彩视频| 亚洲人成色A777777在线观看| 日日夜夜噜噜爽爽| 天天色综网| 天天爽综合| 激情婷婷五月天伊人在线观看| 99碰碰| 九色七七| 狠狠艹狠狠艹| 欧美五月丁香在线观看| 激情综合另类| 日韩色五月| 五月丁香婷婷成人综合网| 亚洲九九99精品视频在线播放| 91色综合| 99热精品在线播放| 激情五月天噢美| 丁香五月天激情婷婷丁香六月| 99精品在线观看| www.色婷婷.com| 99狠狠色| 天天五月丁香五月| 五月丁香花伦理电影| 天天色五月| 丁香5月综合啪啪| 五月天激情婷婷五月天久久| 激情丁香六月| 婷婷伊人久久| 欧美色色色| 色婷婷影院| 无码激情AAAAA片-区区| 99精彩视频在线观看| 97丁香视频| 综合激情在线观看| 激情婷婷五月天| 婷香五月网在线| 亚洲色婷婷99一9|| 99精在线| 婷婷在线精品| 性色做爰片在线观看WW| 精品导航在线x不卡| 中文字幕欧美精品久久| 色狠狠999综合| 级情九色| 婷婷五月天天aV| 天天搞天天爽| 五月丁香婷婷综合网| 婷婷五月丁香五月| 欧美婷婷九月| 色爱综合视频| 爽天天天天天天天| 亚洲妇女熟BBW| 五月天婷婷色综合| 激情久久久久| 色色婷婷综合网| 日韩视频99| 五月丁香操婷逼| 五月天婷婷无码| 欧美性生交xXxX久久久| 色婷婷777狠狠| 六月婷婷六月天天在线免费| 五月丁香六月情| 啊V视频在线观看| www.超碰| 综合99视频| 久久色在线视频| 性99网站| 婷婷深爱五月天| 青青草原亚洲久| 神马欧美精| 99热只有精品在线播放| 激情综合五月开心狠狠| 伊人综合网站| 色老久久| 久香草视频在线观看| 久久精品系列| 热99玖玖99玖玖99九九| 丁香六月婷婷久久综合| 婷婷五月天美女21p| 久久五月天综合| 狠狠色噜噜狠狠狠777奇米| 99毛片| 五月婷婷这里都是精品| 六月婷婷激情| www.99久久久久99| 丁香婷婷人妻综合网| 99re鈥哸鈥唙| 国产做爰视频免费播放| 欧美婷婷丁香社区在线播放| 欧美又粗又大一区二区在线观看| 五月婷婷深深爱| 国产肥白大熟妇BBBB视频| 久久一级片| 婷婷五月天色网久| 久久综合九九| 婷婷综合亚洲| 五月婷婷六月丁香五月| 91a片爽| 日本a片网址| 日日色综合| 国产精品久久久久9999小说 | 久久视频婷婷| 成人综合伍月天| 久久久久久欧美精品se一二三四| 91av视频在线观看最新网址| 五月激情婷婷开心| 婷婷五月欧美综合| 亚洲婷婷五月草久| 色优久久| 五月开心婷婷极品激情| 九九热AV| 五月丁香色色| 男女久久婷婷五月天| 日本狠狠色| 欧美色色色色色色色色色色| 狠狠干综合网| 大天天伊人| 日日夜夜婷婷| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 激情五月丁香在线观看直播| 丰满老熟妇BBBBB搡BBB| 99热在线99| 97婷婷色| 99热精品在线观看| 久久99综合| 色情成人五月天| 激情五月婷婷综合网| 99无码| 99热偷拍| 特黄三级片| 思思99热| 97欧美在线| 天天久| 婷婷五月综合中文字幕| 色五婷婷| 亚洲成人综合网在线免费观看| 视频这里只有精品16| 亚洲超碰在线| 丁香五月另类小说在线阅读| 色婷婷亚洲婷婷| 怕怕視頻| 亚洲成av人影院| 日韩操人| 思思热在线播放| 夜夜 操无码| 色99自拍| 狠狠干五月天婷婷网| 99综合在线| 99久.| 激情亚洲婷婷| 影音先锋按摩| 国产肥白大熟妇BBBB视频| 综合激情五月丁香9999久久精| 97色色色| 5月婷婷激情6月| 国产肥白大熟妇BBBB视频| 欧美天天干五月丁香| 最近韩国日本免费高清观看| 九九热99精品| 日本色超碰| 色五月AV| 色99视频| 免费观看全黄做爰的视频| 综合狠狠干| 成人美女网| www,婷婷五月天,com| 婷婷丁香五月综合网| 亚洲婷婷激情888精品久| 黄色av网站在线免费播放| 天天天天爽爽天干| 9久国产| 国产精品社区| 狠狠 婷婷| 欧州婷婷五月天综合| 丁香五月激情婷婷| 丁香婷婷色色| 五月亭亭开心网| www.婷婷五月天啪啪| 婷婷五月天天| 日本爆乳片手机在线播放| 婷婷五月天奸女| 色五月婷婷中文字幕| 伊人啪啪网| 色爱综合视频| 久艹久| 狠狠爱激情网| 五月丁香啪啪激情| 美腿丝袜AV天堂网| 97碰在线视频| 日日夜夜久| 香蕉久久六月| 男女啪啪做爰高潮无遮挡| 丁香六月色婷婷综合| 久久婷婷五月天激情| 日日爽日日| 五月天成人伊人| 日韩成人中文| 天堂中文国产| 六月丁香视频网站| 狠狠狠狠青草| 99热免费| 丁香五月天电影| 欧美va精品va老师va| 在线中文AV| 婷婷五月激情五月激情| 五月婷婷综合热| 婷婷情色五月| 日韩另类| 欧美丁香五月| 国产熟女日日骚五月丁香爱| 婷婷五月电影院| 青青草大香| 伊人婷婷大香蕉| 热久久思思热思思| 狠狠色五月| 夫妇交换刺激做爰| 久久婷婷六月综合| 激情五月婷婷网| 精品久热| 91啪啪啪啪| 婷婷丁香十月| 色婷婷六月| 秋霞免费三级片| 色五月丁香A欧美com| 香蕉狠狠爱视频| 亚洲成人电影aaaa| 狠狠色丁香久久久婷| 99在线视频观看| 这里只有精品偷拍| 99天堂网最新| 香蕉久久国产AV一区二区| 五月婷婷综合在线| 99色热综合| 五月婷婷六月丁香| 97色色综合| 在线精品97| 婷婷丁香人妻天天爽| 色五月丁香网| 色婷婷五月网| 丁香五月情色| 国産精品| 99久久久久久www| 欧美激情综合五月色丁香| 99久在线精品| 五月婷婷六月丁香五月| 欧美日韩aaaa| 操丝袜视频影院导航| 亚洲成人免费电影| 97婷婷在线| 亚洲AV影片在线观看| 久久婷婷六月综合| 操人久久| 天天做天天爱天天综合| 天天操夜夜肏| www.狠狠操.com| 久久综合九九| 男女99免费视频| 五月天婷婷激情在线色图| 狠狠色丁香乆乆| 天天干天天爽| 激情综合五月天| 丁香五月婷婷在线观看| 天天插天天插天天插| 天天粽合合合合| 99热九九热| 婷婷激情图片| 婷婷免费视频| 97 A I色色| 日日撸日日操| 伊人午夜综合色啪| 国色天香伊人狠狠色| 在线五月色播| 色婷婷五月基地在线| 五月婷婷干干干| www.99婷婷| 五月丁香视频色色| 九九精品亚洲| 日本99在线视频| www.久久爱.c n| 欧美69色| 操人视频91| 狠狠久久婷| 欧美日本99| 疯狂做受XXXX高潮A片| 五月婷婷综合网| 青青草成人网| 99热综合| 色视频色综合91| 亚洲中字AV电影在线网站| 免费无码毛片一区二区A片 | 91肏肏肏| 少妇性BBB搡BBB爽爽爽视頻| 4438亚洲欧美| 玖玖九九9999在线观看视频精品| 激情电影五月婷婷| 碰99在线| 丁香花婷婷五月天| 91久久精品无码一区二区三区| 色综合偷拍| av无码电影| 激情av| 婷婷永久在线| 另类专区在线观看| 日日影院 | 久久人妻少妇嫩草AV| 婷婷综合丁香| 亚洲欧美国产A片免费观看| 青青草Avb在线| 免费啪啪亚州视频| 天天爽天天爽天天爽天天爽天天爽| 永久免费视频| 色五月婷婷婷婷婷婷婷婷婷婷| 轮奸综合网| 97涩涩丁香五月天| 天天爽天天透天天爱| 99热这里只有免费| 综合狠狠干| 久久女婷| 国产精品99久久久久久久女警| 欧美电影在线观看| 激情五月天福利| 99熟女啪啪视频| 免费黄色视频网址| 亚洲色欲AAAAAA| 丁香久久| www.激情| 丁香五月影| 99小视频在线观看| 伊人网欧美在线男人天堂五月丁香 | 久久 婷婷 五月天| 99这里只有精品| 日B日潘金莲BB| 人人操操| 免費亭亭成人| 亚洲bt丁香五月天婷婷激情小说| 人妻久热| 国产午夜精品AV一区二区麻豆| 日本玖玖在线| 丰满女老板BD高清A片| 99天天操夜夜操| 日本99视频精品免费播放| 九九色婷婷| 激情五月天网页| 婷婷五月天色播| 久久99久久99精品免视看婷婷| 精品人妻伦九区久久AAA片| 久久丁香婷婷色情综合| 丁香五月婷婷色| 丁香婷婷啪啪啪| 在线观看av网站| 性一交一乱一交A片久| 中文字幕在线不卡视频| 操笔无码| 五月丁香久人妻中文| 69精品人人人人| 亚洲日比视频| 综合五月草| 五月丁香六月婷婷久久久综合| 大香蕉伊人99| 亚洲中文AV| 91操熟女| 婷婷五月天欧美图片在线播放电驴| 99福利导航| 国产SUV精品一区二区883| 狠狠色丁香婷婷久久综合| 色插综合网| aa久久| 97人碰人操| 色色色色欧洲| 五月天婷婷AV| 超91热| 99这里只有精品视频免费| 色色色色av色色色色| 色99视频| 最新日韩久热免费视频看看| 五月天婷婷深深爱| 人妻人人操| 亚洲秘 无码一区二区三区妃光/1| 国产精产国品一二三在观看| 操久久网| 九九激情| 在线中文字幕免费视频| 五月天色婷婷av| 久久9精品视频| 中文字幕在线视频播放| 五月激情综合婷婷| 99视频久久| 久热天堂| 激情激情激情网| 亚洲天天操| 国产九九一区二区三区| 久久思思精品| 曰韩五月丁香色婷婷无码| 欧美欧盟性爱网| 囯产精品久久欠久久久久久九大| 伊人久久婷婷五月综合97色| 丁香五月天激情网址| 婷婷五月天综合久久| 五月婷婷亚洲综合在线| 丁香综合网| A片试看50分钟做受视频| 欧美色图45678| 亚洲碰碰碰| 大鸡巴伊人网| 丁香五月,激情五月,深爱五月| 丁香六月综合激情| Xx色综合| 九九无码| 91久操| 99操逼视频| 91视频人人做97| 欧美25p| 激情6月| 六月丁香五月激情网| 99久久婷婷| 婷婷五月天AV网| 五月婷婷五月天| 97日在线视频| 综合激情在线视频| 91人人操.COM| 五月婷色色| 在线视频99| 青青草原伊人网| 伊人喵咪a V| 婷婷四色成人综合色视| 色五月丁香com| 精品99爱免费视频在线观看 | 五月婷六月| 日韩五月婷婷| 伊人激情影院| 国产超碰在线| AV色五月婷婷| 人妻丰满精品一区二区A片| 色区久久| 99热综合| 伊人婷婷色激情丁香| 97人碰人操| 五月天成人在线播放丁香| 丁香六月婷婷综合| 天天综合天天做天天综合| 欧美三级巜人妻互换| 天天操九九插| 啪啪九九色| 五月天婷婷在线AN| 91丨九色丨熟女|老版| 日本一级特黄大片AAAAA级| 桃色激情五月天| 青青草原伊人网| 六月丁香婷婷综合狠狠爱夜夜爱| 97干在线视频| A一级操| 欧美午夜乱妇午夜福利| 婷婷五月天在线综合| 97久久久免费福利网址| 成人亚洲精品| 性婷婷| AV成人在线网站| 99热这里只有精品热| 亚洲av成人一区二区电影在线| 综合网亚洲| 91碰在线| www.色五月| 开心五月婷婷在线视频免费观看| 丁香五月综合激情久久潮喷| 久久婷婷激情| 韩国婷婷丁香五月| 色五月激情综合网站| 五月丁香婷婷成人网| 久久久99久久| yazhoujiqingav| 丁香五月婷久久| 99热综合在线| 天天色播| 青青草激情网| 99色视| 99精品大片| 久久9久| 在线观看免费观看在线9久| 日日夜夜综合| 人人操91| 丁香五月-激情综合| 欧洲色| VA婷婷| 超碰免费观看| 婷婷五月在线观看| 天天婷婷| 另类五月婷婷| 热久久婷婷| 超碰99在线观看| 夜夜骑操AV| 亚洲av成人一区二区电影在线| 九久9精品| 狠狠狠五月婷婷六月丁香| 色五月婷婷1| 九九激情网| 青青草成人网| 丁香五月亚洲无码| www.91.com黄| 精品九九久久| 色色激情五月天| 久久开心五月天激情| 丁香五月激情宗合网| 婷婷六月香| 97人人干| 五月天开心激情综合网| 亚洲激情网站无码| 色婷婷瘦婷婷日韩| 七七婷婷综合| 日日爽日日| 99re鈥哸鈥唙| 激情五月天之六月婷婷| 新97人人上人人| 婷婷五月欧美| 国产精品涩涩涩视频网站| 午夜丁香综合婷婷| 思思热精品免费视频| 婷婷99热| 99久久久久久久| 97高清国语自产拍| 99热6这里只有精品| 四月丁香五月婷婷久久| 深爱婷婷色| 婷婷的久久网站| 人操人| 亚洲最大成人综合网720P| 色色五月天激情| 日本在线va| 人妻操在线看| 婷婷六月激情啪啪| 五月天五月色婷婷综合| 婷婷涩涩五月天| 亚洲韩国日产综合AV| 免费看欧美成人A片无码| 91人人操人人爱| 操嫩逼电影| 在线视频色五月| 一本久道综合99| 91精品综合久久久五月天| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 另类在线| 日本久久性| 吾爱AV导航| 人妻丰满精品一区二区A片| 超碰在线人妻| 五月婷婷色综图片| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 婷婷99丁香| 超碰2021| 婷婷五月成人| 五月丁香久久| 99热婷婷| 亚洲免费av在线| 开心深爱激情网| 成人超碰Av| 26uuu国产精品| 色爱综合视频| 成人色色综合| 四五月婷婷| 激情婷婷综合| 五月天无码视屏播放| 亚洲精品va| 亚洲性受XXXX五月丁香| 九九热在线观看6| 欧美影院婷婷| 欧美色图天堂网| 97干视频| 六月丁香婷婷拍拍| 五月天婷亚洲天综合网综合| 色婷婷狠狠18禁| 亚洲99综合| 97干网站| 综合天天综合| 免费99情趣网视频| 久久99这里只有精品视频| 久热a| 婷婷五月伦理网站| 五月天另类视频| 五月丁香六月花| 久久性爱视频这里只有精品| 日本情色一区二区| YW无码| 99视频极品在线香蕉| 激情五月婷婷啪啪| 成人五月丁香社区| 天天操夜夜啊| 4399在线观看免费高清电视剧| 新99思思视频| 99精品7| 色婷婷社区| 色综合色综合色综合色综合| 中文字幕,综合,91| 久久五月婷| 婷婷五月天成人网| 免费无码毛片一区二区A片| 182.t午在线观看| 免费人人操| 日本超碰在线| 99这里只有免费的小视频在线观看| 2025最新亚洲激情在线| 日本五月视频| 亚洲欧洲午夜成人精品av| 色色丁香五月天| 欧美精品999| 夜夜嗨一区二区三区直播内容 | 2020久久婷婷五月| 丁香婷婷色情社区成人小说| 六月丁香色色| 国产亚洲精品久久久久久牛牛| 日韩黄色中文字幕| 国产91九色| 丁香五月在线人妻| 天天综合干| 五月六月激情| 色五月激情五月开心五月| 婷婷丁香五月综合| 超碰婷婷色| 九九偷拍网| 一起草无码视频| 日韩欧美骚货| 欧美精产国品一二三区| 丁香五月综合| 日韩高清久久| 五月婷婷丁香五月亚洲色| 久久婷婷综合五月天| 欧美婷婷综合| yw.av| 欧美色图45678| 狠狠色综合五月| 婷婷久久亚洲| 超碰2021| 日本综合久| 亚洲日日操| 五月丁香六月婷婷网| 岛国在线观看91| 精品99视频| 狠狠人人| 丁香婷婷影院| 亚洲无码色| 97爱艹婷婷开心丁香激情综合| 丁香激情五月| 国产热精品| 久草大| caop视频| 99啪啪视频| 亚洲激情视频网| 亚洲av成人在线| W色综合| 免费九九热| 色99网| 开心婷婷五月| 丁香五月婷婷欧美成人色图| 97五月婷婷| 丁香五婷婷| 中文字幕丰满乱孑伦无码专区 | 婷婷五月综合婷婷| 色停停五月,在线观看| www.婷婷六月天| 2015超碰| 3www激情| 色色婷婷丁香| 色婷婷a v| 丁香婷婷色情社区成人小说| 免费视频无码| 生活片五区| 五月久久丁香| 中文字幕欧美日韩VA免费视频| www久久艹| 久热视频这里只有精品| 五月丁香网站| 色婷婷av在线观看| 五月激情天| ai97re99一本| 六月色五月天天婷婷| 99热免费观看| 97久久草草超级碰碰碰| 色五月激情五月| www.99riav99| 色综合久久天天综合网 | 婷婷五月天影院| 国产毛片精品一区二区色欲黄A片| 成人做爰A片免费看网站找不到了| 日韩超碰在线| 丁香六月激情综合| 天天肏视奸| 无码激情精品色婷婷久久久久| 色色激情五月天| 91久久精品无码一区二区三区| 综合激情站| 狠狠爱婷婷五月天| 亚洲成人乱码av网站| 亚洲中文字幕av| 99热线观看9| 久久这里只| 国产AV一区二区三区最新精品| 五月亭亭六月色| 久久丁香| 99热精品在线| 综合网色| 大香蕉五月婷婷| 99这里都是精品| 超色欲天天| 精品人妻一区二区三区四区不卡在| h在线看免费版在线看| 色色色色热热| 激情久久综合| 99日在线视频| 国产亚洲色婷婷久久99精品91| 九九久久色| 欧洲免费视频色| 爱99干99| 怡红院院在线导航网 | 婷婷五月天亚洲| 九月婷婷在线视频| 五月婷婷综合久久| 丁香六月天婷婷开心综合| 久热成人| 精品久久久91久久影视网| 91日视频| 97狠狠色| 五月天丁香久久综合| 色五月成人| 噜噜噜噜在线| 中国丰满熟女A片免费观| 五月婷婷六月奇米网丁香| 久久99精品久| 久久免片| 99热这| 日韩黄黄| 丁香六月狠狠干| 色色综合网www| 欧美性丁香色色五月天干干| 色婷婷丁香五月综合| 激情五月婷婷丁香六月| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 开心五月丁香综合久久| 婷婷五月天综合网| 激情婷婷丁香五月天小说| 五月婷婷啪啪啪| 99re这里只有精品99| 99自拍视频| 婷婷五月天激情综合深爱| 丁香婷婷浪潮AV久久综合| 秋霞网在线观看理论91| 在线婷婷| 狠狠色丁香久久久婷| 色黑鬼导航| 香蕉婷婷五月| 天天操比比| 久9视频| 日本99在线视频| 99久久激情视频| 婷婷丁香社区网| 色色婷婷综合| 国产精品18久久久| 五月丁香综合在线| www99精品| 天天插天天插| 狠狠草在线观看| 成人在线观看一区| 秋霞九九无码| 成人.在线日韩| 丁香六月综合激情| 五月婷丁香| 曰曰久久| 五月婷婷,狠狠操| 91午夜激情| 天天做天天摸| 天天操天天草天天草天天| 婷婷五月天AV激情| 久久er+| 99re熱| 婷婷亚洲综合| 色射影院| 九九综合| 久综合网| 91超级碰碰| 久久多色| 91九色国产| 丁香六月婷婷开心| 婷婷色情网| 狠狠干在线| 九九色院| 婷婷成人AV| 九九九九成人| 97在线干| www.99精品视频| 色婷婷AⅤ| 激情九九六月激情免费视频| 久久婷婷五月激情综合| 色99欧洲色19| 激情五月狠狠喔| 草久私拍| 婷婷成人在线| 婷婷综合日本| 秋霞AV淫| 网色99| 丁香五月婷婷亚洲综合精品| 色综合久久88色综合天天99| 色综合网址| 97在线精品| 激情无码五月天| 颜射 精品性爱av| 天天天日天天天干| 五月激情久久综合网| 99热在线这里| 男人的天堂五月丁香| 九九热10| 深夜男女福利刺激影院一区| 大香蕉五月婷婷| 囯产精品久久欠久久久久久九大| 伊人久久艹| av在线免费播放| 色噜噜狠狠一区二区三区| 九九碰九九爱97超碰| 久久视频在线视频| 99热有精品在线观看| 国产免费av网站| 淫荡A片| 激情文学第四色婷婷丁香五月| 欧美天堂久久| 91色色色| 久热无码| 五月情婷婷五月| 丁香婷婷六月激情综合| 5月婷婷激情网| 亚洲激情综合| 久久免费操| 99综合| 五月激情偷拍婷婷| 一级二级香港秋霞欧美欧美秋霞| 亚洲a色| 天天射美女| 婷婷色网| 91制片厂久久久国产电影| 六月丁香天堂| 91九色在线| 六月五月丁香五月欧美| 玖久精品视频9| 俺去也综合| 香蕉婷婷| 丁香六月激情| 国产jd1024基地手机看国产| 狠狠色丁香久久婷婷综合五月| 无码啪啪| 99热大片| 人妻少妇色综合| 色色日本| 91打屁股免费看| 丁香综合久久| 亚洲在线操| 国产精品噜噜在线视频| 五月天影院| 久综合色| 激情五月天影院| 9色婷婷| 麻豆精品| 人妻操逼视频。| 久综合网| 五月丁香六月婷婷免费| www.丁香五月| 97操碰视频| 久久久久人妻精品| 性爱激情久久| www.99在线| 五月激情网综合| www.激情| 色五月美女| 五月婷婷色影院| 五月婷婷精品视频| 直接看的AV| 99热| 欧美操综合| 99国产小视频免费观看| 婷婷五月激情图片| 啪啪啪大香蕉| 色综合狠狠色| 99aese| 欧美激情VA永久在线播放| 大香蕉伊人久久| 性色九九| 婷婷久久五月| 婷婷五月天成人网站| 欧美色色色| 在线不卡AC| 婷婷丁香五月天哟啪| 婷婷五月天在线综合| 91九色在线| 丁香五月 性爱| 色愛综合网| 五月天最新网| 性av| 99九色视频在线观看| 五月婷婷视频28| 免费观看的av| 97碰在线免费观看| 婷婷激情鹿城五月天| 99热大香蕉| 色激情网| 亚洲激情 久久| 人人爱人人草| 停停五月天激情网| 男妓跪趴把舌头伸进我的嘴巴| 风流少妇A片一区二区蜜桃| 另类视频综合| 亚洲人成播放网站| 激情丁香久久| 丁香婷婷色情| 九月停停| 好好干Av| 91人碰| 婷婷五月五月丁香| 这里都是精品99| 久久色这里只有精品| 婷婷社区五月天| 综合久久8| 狠狠色丁香99| 性爱视频99| 色婷在线视频| 五月天婷婷五月| 99亚洲精品| 亚洲五月婷| 五月天伊人| 丁香五月熟女| 六月丁香婷婷开心综合基地| 日韩婷婷| 色婷婷综合网站| 丁香婷婷色情| 91伦| www,欧美干干干干干干| 夜夜干天天操| 伊人久久大香线蕉AV最新午夜| 五月色情网| 国产激情视频在线观看| 九九99免费视频| 婷婷五月天激情开心网| 爱iii做iiii日日| 六月丁香五月激情网| 亚洲操人| 日韩色色小视频| 六月丁香中文字幕| 五月婷婷色色网址| 婷婷六月开心网| 五月丁香五月婷婷| 人妻人人操| 久久精品五月天| 婷婷九月丁香天堂丁香天堂| 精品国产va久久久| 九九热狼人| 天天综合激情| 婷婷深爱五月| WWW色色色COm| 亚洲无码11| 久re热视频| 激情综合网色播五月| 婷婷五月六月丁香| 亚洲综合色色| 伊人久久大香| 日本熟女二区| 久久婷婷东京热大香樵| 色婷婷五月在线| 99热在线看| 五月亭亭直播| 久久婷婷综合拍| 五月婷在线观看| 九月大香蕉| 99精品在这里| 色色五月综合| 激情图片婷婷| 超碰在线视屏| www九九热| 97碰久久| 99综合网| 久久欧洲久久| 26uuu国产| 婷婷综合成人五月天| 中文字幕按摩做爰| 五月天婷婷永久免费视频| 国产精品美女久久久久AV超清| 五月综合激情久久| 亚洲欧洲中文日韩久久AV乱码| 丁香五月视频在线观看| 麻豆AV一区二区三区| 久久人妻情侣| 亚洲av另类在线观看| 丁香五月综合在线播放| 日韩久久日| 久久人妻久久| 五月天大香蕉视频| 天天搞天天爽| 大香蕉免费9| 婷婷狠狠干| 99成人精品六| 亚洲三A| 噜噜噜久久亚洲精品国产品91| 潮汕成人AV片在线| 可以免费观看的av| 成人五月天丁香婷| 人人干人人看| 很很操96| 丁香五月天大香蕉啪啪| 九月丁香五月婷婷| 91热在线观看视频| 香蕉人在线香蕉人在线 | 色5月婷婷色| 深爱激情网综合| Aα在线免费观看| 国产精品色婷婷99久久精品| 亚洲综合字幕色色| 97碰碰碰免费公开在线视频| 九九视频这里是精品五月| 五月天开心色色网| 热99这就是精品视频| 玖玖午夜视频| 思思热在线观看| 夜夜爽日日躁| 热婷婷av| 久热一本| 99r久久这里只有精品| 超碰2021| 久青操| 日本女天天爽| 五月停性愛| 丁香五月天视频| 婷婷国产综合| 97日本操| 婷婷色五月开心五月| 丁香五月婷婷五月天在线| 五月天久久色| 久久最新色| 第四色五月激情网| 爆乳熟妇一区二区三区四区| 五月天婷婷成人| 亚洲sesesese| 男同色五月开心五月激情五月| 麻豆雪千夏| 在线成人网站| 无码AV免费精品一区二区三区| 婷婷色五月色| 中海油常州环保涂料有限公司| 色婷婷综合久久| 91成人看片| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 激情综合网激情五月网| 综合精品99| 深爱激情五月天| 五月天成人在线播放丁香| 伊人三级激情| 丁香九月婷婷| 天天骑天天操| 久久久久久天天日天天爱| www,久久久人人| 日韩啪啪视频| 激情综合丁香五月| www。五月天激情| 久草 tingting| 国产67194| 99在线视频在线观看| 99综合成人视频在线观看| 激情五月综合| 99在线精品视频在线观看| 亭亭玉立国色天香| 超碰免费电影| 激情五月天综合网| 丁香五月婷婷香| 夜夜爽天天| 999热这里只有美国精品| 操一区| av中文网站| 99 热| 婷婷五月丁香人妻无码高清| www.五月天| 99色色视频| 色天天狠狠干| 色婷婷久久综合久色综| 久久伊人婷婷| 亚洲AV成人在线| 1995年关宝慧版蜘蛛女| 色碰干| 国产乱妇无乱码大黄AA片| 欧美性爱五月天| 91男人资源站| 亚洲久热| 丁香五月最新地址| xxx综合在线| 久久婷婷影院| 久久免费试看120秒| 亚洲熟妇AV乱码在线观看| 久久久久久久97| 婷婷五月色亚洲| 人妻射精AV| 色丁香五月| 国产性爱大片久久| 丁香婷婷激情| 婷婷激情在线| 五月婷婷二月丁香| 色色精品色| 欧美大香蕉视频| 亚洲成人丁香花| 久热这里| 婷婷五月天亚洲综合| 激情丁香图片| 99色视频在线观看| 五月婷婷色| 亚洲4区国产欧美| 亚洲综合网在线| 26uuu国产| 婷婷射图| 高清无码视频网址| Va另类视频| 26uuu欧美日韩| 97人人搞| 欧美婷婷精品激| 草榴视频黄色网| 免费看欧美成人A片无码| 性爱综合网| 丁香六月婷婷色播| www夜夜操| 日本色婷婷五月天成人电影| 国产成人+综合亚洲+天堂| 9有码中文| 激情五月天第四色| 色综啪啪| 色色色九九九五月婷婷| 五月天婷婷基地| 欧美在线干| 91精品婷婷国产综合久久| 色综合激情| 大陆肏屄视频| 99热99热| 最新精品视频99| 五月丁香网站在线播放| wuyuedingxiang99| 日本色色图| 婷色五月天| 精品久久9| 另类婷婷五月天啪帕帕| 大香网伊人久久综合| 熟女激情五月天| 激情婷婷啪啪| 五月激情综合深爱| 爱婷婷久久视频| 色婷丨日丨天丨综合久久|