欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

自研輕量級(jí)實(shí)時(shí)事件分析系統(tǒng):從埋點(diǎn)到秒級(jí)看板的實(shí)踐與踩坑

自研輕量級(jí)實(shí)時(shí)事件分析系統(tǒng):從埋點(diǎn)到秒級(jí)看板的實(shí)踐與踩坑 去年做活動(dòng)復(fù)盤的時(shí)候我對(duì)著后臺(tái)的SQL報(bào)表愣了很久明明活動(dòng)還在進(jìn)行中業(yè)務(wù)方問(wèn)當(dāng)前實(shí)時(shí)新增有多少我答不上來(lái)。不是沒(méi)有數(shù)據(jù)而是數(shù)據(jù)散落在日志、數(shù)據(jù)庫(kù)和一堆臨時(shí)腳本里等我把它們攢齊、清洗、匯總出來(lái)十分鐘已經(jīng)過(guò)去了。就是在那一天我決定自己動(dòng)手做一套輕量級(jí)的實(shí)時(shí)事件分析系統(tǒng)代號(hào)就叫rea全稱是Real-time Event Analytics。這套系統(tǒng)從設(shè)計(jì)到上線前前后后花了不到三周卻徹底改變了我們處理現(xiàn)在到底發(fā)生了什么這類問(wèn)題的方式。它沒(méi)有做成多么龐大的平臺(tái)只是一個(gè)能支撐內(nèi)部運(yùn)營(yíng)、產(chǎn)品和開(kāi)發(fā)同學(xué)實(shí)時(shí)看數(shù)的系統(tǒng)。這篇內(nèi)容適合那些不想一上來(lái)就引入重型流計(jì)算框架的中小團(tuán)隊(duì)也適合想搞清楚埋點(diǎn)、采集、聚合、查詢?nèi)溌返降资窃趺椿厥碌那昂蠖斯こ處煛?. 逼我動(dòng)手的三個(gè)需求痛點(diǎn)1.1 活動(dòng)大屏背后的實(shí)時(shí)其實(shí)是延遲統(tǒng)計(jì)我所在的團(tuán)隊(duì)負(fù)責(zé)一個(gè)中型產(chǎn)品日活不算夸張但運(yùn)營(yíng)活動(dòng)非常頻繁。每當(dāng)首頁(yè)改版或者營(yíng)銷活動(dòng)上線業(yè)務(wù)方最關(guān)心的問(wèn)題永遠(yuǎn)是現(xiàn)在到底有多少用戶進(jìn)來(lái)了點(diǎn)擊率怎么樣聽(tīng)起來(lái)很簡(jiǎn)單實(shí)際查詢卻要繞一大圈。事件日志被統(tǒng)一收在文件里每天的定時(shí)任務(wù)負(fù)責(zé)把它們載入數(shù)據(jù)庫(kù)再生成一份離線報(bào)表。這意味著當(dāng)天白天的數(shù)據(jù)要等到凌晨才能看到白天只能靠寫臨時(shí)SQL去查每次執(zhí)行時(shí)間還取決于數(shù)據(jù)量?;顒?dòng)期間流量是平時(shí)的幾倍臨時(shí)查詢一個(gè)不小心就是幾十萬(wàn)行記錄去聚合數(shù)據(jù)庫(kù)CPU直接被頂滿其他業(yè)務(wù)跟著遭殃。這種偽實(shí)時(shí)帶來(lái)的痛點(diǎn)不只是慢。更關(guān)鍵的是它嚴(yán)重壓縮了運(yùn)營(yíng)決策的反應(yīng)時(shí)間?;顒?dòng)上線前半小時(shí)運(yùn)營(yíng)想根據(jù)實(shí)時(shí)數(shù)據(jù)調(diào)整入口位置或廣告語(yǔ)等我們算出數(shù)字用戶早就流失了。要解決問(wèn)題我得讓數(shù)據(jù)鏈路從小時(shí)級(jí)至少走到秒級(jí)。1.2 找現(xiàn)成工具時(shí)遇到的三個(gè)不合身著手之前我花了一周時(shí)間調(diào)研現(xiàn)有的開(kāi)源和商業(yè)方案。結(jié)論是沒(méi)有哪一款能直接塞進(jìn)我們團(tuán)隊(duì)而不產(chǎn)生新的問(wèn)題。第一類是商業(yè)數(shù)據(jù)分析SaaS。它們體驗(yàn)確實(shí)好接入也快但費(fèi)用不低而且核心數(shù)據(jù)要傳到第三方平臺(tái)。當(dāng)時(shí)我們產(chǎn)品里有一些核心業(yè)務(wù)行為的數(shù)據(jù)業(yè)務(wù)方明確不希望在外部系統(tǒng)留存這一條就把大部分SaaS方案排除了。第二類是開(kāi)源重型組件。比如基于流計(jì)算生態(tài)的方案功能強(qiáng)大但需要配套的消息隊(duì)列、計(jì)算集群、監(jiān)控體系。我們團(tuán)隊(duì)一共就四五個(gè)人還要兼顧日常業(yè)務(wù)開(kāi)發(fā)根本沒(méi)有余力去維護(hù)一套分布式系統(tǒng)。為了每天幾萬(wàn)個(gè)事件上流計(jì)算框架明顯是殺雞用牛刀。第三類是傳統(tǒng)BI報(bào)表工具。它們擅長(zhǎng)把已有表結(jié)構(gòu)做可視化但對(duì)事件流這件事沒(méi)什么概念。我想要的是從埋點(diǎn)采集到實(shí)時(shí)聚合到查詢API一整條鏈路都能自己掌控的東西而不是在數(shù)據(jù)已經(jīng)入庫(kù)之后再手工建模。三種路數(shù)擺在一起差距很明顯方案類型優(yōu)點(diǎn)不合適的地方商業(yè)SaaS接入快、圖表全費(fèi)用高、數(shù)據(jù)出域、定制受限開(kāi)源流計(jì)算全家桶擴(kuò)展性強(qiáng)、生態(tài)完善運(yùn)維復(fù)雜、對(duì)團(tuán)隊(duì)要求高傳統(tǒng)BI可視化強(qiáng)、報(bào)表豐富不關(guān)心事件鏈路、實(shí)時(shí)性弱自研輕量系統(tǒng)完全可控、成本低需要自己維護(hù)、迭代1.3 用一句話給rea劃清邊界當(dāng)時(shí)很多人勸我要不先用定時(shí)SQL湊合等數(shù)據(jù)量大了再說(shuō)。我堅(jiān)持要做是因?yàn)榈葦?shù)據(jù)量大往往永遠(yuǎn)等不到。關(guān)鍵不是數(shù)據(jù)量而是能不能在被問(wèn)到時(shí)快速給出答案。所以rea的邊界在一開(kāi)始就定死了用一句話說(shuō)就是一個(gè)輕量級(jí)的、秒級(jí)延遲的、只關(guān)注關(guān)鍵事件的內(nèi)部實(shí)時(shí)事件分析系統(tǒng)。具體來(lái)說(shuō)rea不做以下幾件事不采集全量用戶行為只收錄我們關(guān)心的核心事件不做用戶畫像和廣告投放決策不做毫秒級(jí)實(shí)時(shí)競(jìng)價(jià)那樣的低延遲場(chǎng)景不追求分布式和高可用。這幾條邊界非常重要因?yàn)樗鼈儧Q定了技術(shù)上可以走簡(jiǎn)單粗暴但可靠的路線。邊界劃清之后整個(gè)系統(tǒng)的技術(shù)選型就變得非常輕松因?yàn)槲抑恍枰卮鹨粋€(gè)問(wèn)題在每秒幾千事件、查詢頻率不高的規(guī)模下怎么用最少的人力把鏈路打通下面是我當(dāng)時(shí)的完整設(shè)計(jì)。2. 技術(shù)架構(gòu)怎么在夠用和未來(lái)擴(kuò)展之間找平衡2.1 埋點(diǎn)SDK自己寫還是用現(xiàn)成的埋點(diǎn)是一切分析的地基。調(diào)研了一圈現(xiàn)成的開(kāi)源埋點(diǎn)SDK功能確實(shí)不少自動(dòng)采集頁(yè)面瀏覽、點(diǎn)擊熱圖、用戶屬性全都有。但我掂量了一下決定自己寫一個(gè)不到10KB的輕量SDK原因有三。首先是包體積。我們的前端頁(yè)面本身掛了圖表庫(kù)、請(qǐng)求庫(kù)隨便一個(gè)商業(yè)埋點(diǎn)SDK動(dòng)輒幾十KB對(duì)移動(dòng)端用戶體驗(yàn)影響不是小事。自己寫的SDK可以只保留事件發(fā)送、重試、節(jié)流三個(gè)能力。其次是數(shù)據(jù)協(xié)議的可控性?,F(xiàn)成SDK的事件字段格式往往是固定的想加一個(gè)團(tuán)隊(duì)自定義的環(huán)境標(biāo)識(shí)要么做二次開(kāi)發(fā)要么在數(shù)據(jù)落庫(kù)之后再清洗。自研SDK可以直接采用我們內(nèi)部定義的事件協(xié)議采集端、傳輸端、存儲(chǔ)端使用同一套結(jié)構(gòu)省掉很多中間轉(zhuǎn)換。最后是隱私合規(guī)。自研SDK可以明確地控制哪些數(shù)據(jù)允許采集例如默認(rèn)不采集系統(tǒng)字體、屏幕亮度這類無(wú)意義但容易引起誤會(huì)的字段。由于rea從一開(kāi)始就面向內(nèi)部場(chǎng)景我們不希望采集用戶敏感信息自研可以讓這個(gè)承諾寫進(jìn)代碼而不是寫進(jìn)文檔。這里給一個(gè)最簡(jiǎn)單的瀏覽器端發(fā)送邏輯function sendReaEvent(eventName, props {}) { if (!window._rea || !window._rea.userId) { return; // 未初始化或匿名場(chǎng)景 } const event { v: 1, // 事件協(xié)議版本 id: generateUUID(), // 全局唯一事件ID name: eventName, userId: window._rea.userId, anonymousId: window._rea.anonymousId, time: Date.now(), // 設(shè)備本地時(shí)間戳 props: JSON.stringify(props), }; if (navigator.sendBeacon window.location.protocol https:) { navigator.sendBeacon(/rea/track, new Blob([JSON.stringify(event)], { type: application/json })); } else { fetch(/rea/track, { method: POST, body: JSON.stringify(event), headers: { Content-Type: application/json }, keepalive: true, }).catch(() {}); } }為什么用sendBeacon因?yàn)樗m合頁(yè)面卸載場(chǎng)景下上報(bào)事件不阻塞頁(yè)面跳轉(zhuǎn)瀏覽器會(huì)在網(wǎng)絡(luò)空閑時(shí)把數(shù)據(jù)發(fā)出去。如果沒(méi)有這條很多點(diǎn)擊后立刻跳走的事件就會(huì)白白丟失。2.2 消息管道別一上來(lái)就上Kafka消息隊(duì)列是整個(gè)鏈路的緩沖層很多人第一反應(yīng)是Kafka。Kafka確實(shí)好高吞吐、持久化、消費(fèi)者組一應(yīng)俱全。但對(duì)我們這個(gè)每天幾十萬(wàn)事件、峰值每秒兩三千請(qǐng)求的場(chǎng)景它的問(wèn)題也很明顯依賴獨(dú)立集群運(yùn)維心智高磁盤占用、副本配置、分區(qū)調(diào)優(yōu)哪一項(xiàng)都要花時(shí)間。我的選擇是先用NATS。這是一個(gè)極簡(jiǎn)的云原生消息系統(tǒng)安裝一個(gè)二進(jìn)制就能跑支持主題訂閱吞吐量對(duì)rea的場(chǎng)景完全夠用還自帶持久化選項(xiàng)。團(tuán)隊(duì)沒(méi)有專職運(yùn)維NATS單節(jié)點(diǎn)崩潰了也能快速重啟成本非常低。如果你不想引入新組件用Redis Stream也可以它一樣能做到消息的持久化和消費(fèi)組。我后來(lái)把兩種都跑過(guò)壓測(cè)結(jié)論在下面這張表里對(duì)比項(xiàng)NATSRedis StreamKafka安裝復(fù)雜度低低依賴Redis高單機(jī)吞吐數(shù)萬(wàn)級(jí)/s數(shù)萬(wàn)級(jí)/s百萬(wàn)級(jí)/s持久化支持JetStream支持強(qiáng)運(yùn)維成本低低高適合rea適合適合大材小用選擇NATS之后我們用它的主題把事件從采集服務(wù)分發(fā)給聚合服務(wù)和歸檔服務(wù)。這樣即使聚合服務(wù)重啟事件也會(huì)留在JetStream中不會(huì)丟失。哪天流量真的漲上來(lái)了從NATS遷移到Kafka只需要改消費(fèi)端的幾行代碼因?yàn)閞ea的業(yè)務(wù)邏輯全部在消費(fèi)者內(nèi)部與消息系統(tǒng)解耦得比較干凈。2.3 存儲(chǔ)選型PostgreSQL起步ClickHouse留后路事件明細(xì)最終要落到數(shù)據(jù)庫(kù)里。最開(kāi)始我的候選名單里有四個(gè)選手PostgreSQL、MySQL、ClickHouse、DuckDB。先排除DuckDB它是嵌入式分析型數(shù)據(jù)庫(kù)做離線分析很爽但并發(fā)查詢能力和多用戶訪問(wèn)的支持弱一些不適合作為線上服務(wù)的主存儲(chǔ)。MySQL是順手就能用但數(shù)據(jù)分析場(chǎng)景下它的聚合能力確實(shí)不如PostgreSQL更何況后面我打算用預(yù)處理索引優(yōu)化。ClickHouse是我心里的未來(lái)方向列式存儲(chǔ)、壓縮比高、聚合極快特別適合事件分析。之所以沒(méi)有一開(kāi)始就用是因?yàn)槲覀儓F(tuán)隊(duì)對(duì)它的運(yùn)維經(jīng)驗(yàn)不足同時(shí)ClickHouse更適合在數(shù)據(jù)量已經(jīng)很大的情況下體現(xiàn)優(yōu)勢(shì)。幾十萬(wàn)行數(shù)據(jù)在PostgreSQL里用一條帶索引的SQL也能在幾百毫秒內(nèi)返回完全夠用。所以在第一版里我選了PostgreSQL但留下了一個(gè)伏筆定義事件明細(xì)表時(shí)把event_time、userId、event_name這些分析字段單獨(dú)作為事件維度寬表來(lái)建方便以后原樣遷移到ClickHouse。表格長(zhǎng)這樣CREATE TABLE rea_events ( id VARCHAR(40) PRIMARY KEY, -- 事件ID冪等鍵 name VARCHAR(64) NOT NULL, -- 事件名 user_id VARCHAR(64), -- 用戶ID哈希后 anonymous_id VARCHAR(64), occurred_at TIMESTAMPTZ NOT NULL, -- 事件發(fā)生時(shí)間 received_at TIMESTAMPTZ NOT NULL, -- 服務(wù)端接收時(shí)間 props JSONB NOT NULL DEFAULT {}, -- 擴(kuò)展屬性 created_at TIMESTAMPTZ DEFAULT NOW() ); CREATE INDEX idx_rea_events_name_time ON rea_events (name, occurred_at DESC);2.4 查詢與展示用最少代碼做內(nèi)部看板存儲(chǔ)定了之后展示層我猶豫了一下要不要接一個(gè)開(kāi)源BI工具它們功能確實(shí)豐富可以做下鉆、聯(lián)動(dòng)、權(quán)限管理。但我們的需求其實(shí)很單一幾個(gè)關(guān)鍵指標(biāo)的趨勢(shì)、實(shí)時(shí)粗略計(jì)數(shù)、按事件名分組匯總。為一個(gè)單一需求引入一套完整的BI同樣不劃算。最后我用一個(gè)輕量API服務(wù)加一個(gè)不到200行的前端頁(yè)面解決了。API服務(wù)負(fù)責(zé)查庫(kù)、聚合、緩存前端頁(yè)面就放幾塊圖表實(shí)時(shí)趨勢(shì)折線、事件排行榜、基礎(chǔ)漏斗。數(shù)據(jù)格式統(tǒng)一用JSON返回前端用一套現(xiàn)成的圖表庫(kù)渲染。這個(gè)方案的好處是后續(xù)想換BI、想開(kāi)放數(shù)據(jù)給其他系統(tǒng)只要API不變底層隨便換。3. 核心實(shí)現(xiàn)rea從0到1的五個(gè)關(guān)鍵環(huán)節(jié)3.1 先定事件協(xié)議再寫代碼這是我認(rèn)為整個(gè)項(xiàng)目最重要的決定。如果沒(méi)有統(tǒng)一的事件協(xié)議后面每一個(gè)環(huán)節(jié)都會(huì)因?yàn)樽侄尾黄ヅ涠影?。rea的事件協(xié)議在JSON層面就定義死了字段意義如下v協(xié)議版本整數(shù)從1開(kāi)始。后續(xù)加字段就升版本消費(fèi)端按版本做兼容。id事件唯一ID由前端生成UUID。這個(gè)字段為冪等去重而生后面踩坑部分會(huì)專門講到。name事件名命名規(guī)則是對(duì)象_動(dòng)作比如button_click、page_view、order_submit。userId和anonymousId登錄用戶ID經(jīng)過(guò)哈希后的值和匿名用戶ID用來(lái)做漏斗和留存。time設(shè)備本地時(shí)間毫秒時(shí)間戳。props擴(kuò)展屬性JSON對(duì)象允許不同事件帶不同的業(yè)務(wù)屬性。這里有個(gè)細(xì)節(jié)為什么不直接用Protobuf或者Avro因?yàn)閞ea是內(nèi)部系統(tǒng)解析鏈路上的消費(fèi)者只有采集服務(wù)和聚合服務(wù)JSON的解析開(kāi)銷完全不是瓶頸。Protobuf雖然節(jié)省帶寬、類型約束強(qiáng)但多一層編譯、多一層schema管理對(duì)三周內(nèi)要上線的項(xiàng)目來(lái)說(shuō)收益不抵成本。技術(shù)選型要放在具體約束下看脫離場(chǎng)景談性能沒(méi)有意義。3.2 采集服務(wù)批量寫入和背壓處理采集服務(wù)是前端埋點(diǎn)請(qǐng)求的第一站它的職責(zé)很簡(jiǎn)單接收事件、校驗(yàn)字段、寫入消息管道。但簡(jiǎn)單不代表可以隨意寫。我見(jiàn)過(guò)不少同類系統(tǒng)采集接口一個(gè)一個(gè)往數(shù)據(jù)庫(kù)插結(jié)果流量稍大就卡死。rea的做法是在服務(wù)內(nèi)做兩級(jí)緩沖。第一級(jí)緩沖是一個(gè)內(nèi)存隊(duì)列接收到的每一條事件先丟進(jìn)隊(duì)列由后臺(tái)批量任務(wù)每500毫秒或者攢夠1000條后一次性打包發(fā)給消息管道。第二級(jí)緩沖就是NATS本身它保證即使采集服務(wù)進(jìn)程崩潰已提交到JetStream的事件也不會(huì)丟。緩沖帶來(lái)的直接問(wèn)題是怎么處理隊(duì)列滿了。如果生產(chǎn)速度遠(yuǎn)超消費(fèi)能力繼續(xù)往隊(duì)列里塞只會(huì)導(dǎo)致內(nèi)存溢出。我當(dāng)時(shí)定了一個(gè)降級(jí)策略核心事件比如訂單、支付結(jié)果不允許丟棄即使延遲也要保非核心事件比如普通的按鈕點(diǎn)擊在隊(duì)列超過(guò)80%水位時(shí)直接采樣丟棄一部分并打一條日志。寫代碼時(shí)大概是這個(gè)樣子# 偽代碼示意reactive處理的思路 def handle_event(event, is_criticalFalse): if not queue.offer(event, timeout_ms100): if is_critical: # 核心事件阻塞等待 queue.put(event) else: dropped_count.inc() logger.warning(queue full, drop non-critical event) def batch_flush(): while True: batch queue.take_n(max_count1000, timeout_ms500) if batch: nats.publish(rea.event, batch)背壓處理是最容易被忽略的。很多自建采集系統(tǒng)都是從單條寫入改成批量寫入就完事了完全不考慮生產(chǎn)者太快會(huì)怎樣。結(jié)果就是突發(fā)流量一來(lái)服務(wù)直接內(nèi)存溢出。3.3 實(shí)時(shí)聚合計(jì)數(shù)器放Redis明細(xì)留給數(shù)據(jù)庫(kù)實(shí)時(shí)看數(shù)和精確統(tǒng)計(jì)是兩種不同的需求。業(yè)務(wù)方問(wèn)現(xiàn)在在線多少人其實(shí)不要求100%精確但他們的真實(shí)心理預(yù)期是很快看到大概趨勢(shì)。rea的做法是兩條路并行。一條路是實(shí)時(shí)計(jì)數(shù)。聚合服務(wù)從NATS消費(fèi)事件后按照事件名分鐘級(jí)時(shí)間窗口在Redis里做自增計(jì)數(shù)器。比如keyrea:count:button_click:202506131420值就是這一分鐘內(nèi)這個(gè)事件的數(shù)量。另一個(gè)定時(shí)任務(wù)每分鐘把Redis中的值異步寫入PostgreSQL的匯總表作為長(zhǎng)期趨勢(shì)的依據(jù)。這樣查詢端想看最近五分鐘的趨勢(shì)直接查Redis毫秒級(jí)返回。另一條路是明細(xì)歸檔。同樣從NATS消費(fèi)事件但這條消費(fèi)者專門負(fù)責(zé)把原始事件寫入PostgreSQL的rea_events表供精確查詢和下鉆使用。為什么要拆成兩條消費(fèi)鏈路而不是消費(fèi)一條然后既聚合又入庫(kù)因?yàn)閮煞N操作的耗時(shí)差異很大。寫數(shù)據(jù)庫(kù)涉及磁盤IO和索引維護(hù)耗時(shí)不穩(wěn)定Redis自增是純內(nèi)存操作耗時(shí)非常穩(wěn)定。如果把它們混在一個(gè)管道里一次慢查詢就能拖住實(shí)時(shí)計(jì)數(shù)導(dǎo)致報(bào)表的實(shí)時(shí)名存實(shí)亡。分而治之讓實(shí)時(shí)鏈路盡可能短是rea一個(gè)很核心的設(shè)計(jì)決策。3.4 查詢API三個(gè)緩存的配合查詢API直接面向內(nèi)部看板穩(wěn)定性必須保證。rea的做法是三層緩存。第一層是本進(jìn)程內(nèi)的LRU緩存適合查同一個(gè)事件、同一個(gè)時(shí)間窗口的重復(fù)請(qǐng)求。第二層是Redis存的是分鐘級(jí)別的預(yù)聚合數(shù)據(jù)查詢時(shí)把時(shí)間段拆成分鐘做聚合再在內(nèi)存里合并。第三層才是數(shù)據(jù)庫(kù)只有當(dāng)窗口跨度過(guò)大或者需要按事件名做聯(lián)合過(guò)濾時(shí)才會(huì)執(zhí)行SQL查詢。為什么不能只用數(shù)據(jù)庫(kù)我實(shí)測(cè)過(guò)當(dāng)明細(xì)表數(shù)據(jù)到了幾百萬(wàn)行一條按事件名時(shí)間范圍做COUNT的SQL在PostgreSQL里大約需要200毫秒到1秒這對(duì)于網(wǎng)頁(yè)接口來(lái)說(shuō)還可以接受。但活動(dòng)大屏上的實(shí)時(shí)看板可能每5秒自動(dòng)刷新一次還疊加了三四個(gè)圖表如果全部打到數(shù)據(jù)庫(kù)高峰期查詢線程會(huì)被占滿連采集服務(wù)的連接都會(huì)被拖累。加入緩存之后大部分查詢落到了內(nèi)存數(shù)據(jù)庫(kù)壓力直線下降。一個(gè)典型的API返回結(jié)構(gòu){ event: button_click, granularity: 1m, points: [ { time: 2025-06-13T14:20:00Z, count: 1200 }, { time: 2025-06-13T14:21:00Z, count: 1345 } ], queryTimeMs: 12 }3.5 權(quán)限與數(shù)據(jù)治理內(nèi)部工具也有底線內(nèi)部工具最容易犯的毛病是能用就行權(quán)限和安全往后放。rea雖然只對(duì)內(nèi)部開(kāi)放我還是花了一點(diǎn)時(shí)間做了幾件基礎(chǔ)的事避免以后變成大麻煩。第一事件接入按項(xiàng)目隔離。不同的業(yè)務(wù)項(xiàng)目使用不同的token事件數(shù)據(jù)里帶上project_id查詢時(shí)默認(rèn)按當(dāng)前用戶可訪問(wèn)的項(xiàng)目過(guò)濾。第二userId在采集端就做哈希處理數(shù)據(jù)庫(kù)里不存明文。雖然會(huì)影響精確識(shí)別單個(gè)用戶的能力但對(duì)內(nèi)部事件分析來(lái)說(shuō)我們更關(guān)心群體行為哈希后的ID足夠算留存和漏斗。第三數(shù)據(jù)保留策略。明細(xì)表只保留90天匯總表保留兩年過(guò)期數(shù)據(jù)每天由定時(shí)任務(wù)清理。這條策略不是為了省存儲(chǔ)而是為了在有人問(wèn)你們憑什么存著我兩年前的操作記錄時(shí)我們有一個(gè)明確且合規(guī)的答案。4. 上線前后踩過(guò)的三個(gè)坑完整排查鏈路4.1 時(shí)間戳錯(cuò)亂設(shè)備本地時(shí)間把報(bào)表搞成了亂碼第一個(gè)坑在試運(yùn)行第二天就出現(xiàn)了。我打開(kāi)看板發(fā)現(xiàn)凌晨?jī)扇c(diǎn)出現(xiàn)了一大片page_view事件而當(dāng)時(shí)明顯沒(méi)有多少用戶在訪問(wèn)。再看明細(xì)表某些事件的occurred_at比received_at晚了整整8小時(shí)還有一些事件的occurred_at在未來(lái)。第一反應(yīng)是數(shù)據(jù)源有問(wèn)題。我檢查了采集服務(wù)和數(shù)據(jù)庫(kù)的系統(tǒng)時(shí)間同步服務(wù)器時(shí)間都是準(zhǔn)的又看了消費(fèi)服務(wù)的日志發(fā)現(xiàn)它寫入的received_at是服務(wù)端接收時(shí)間正確無(wú)誤。問(wèn)題只能出在事件本身的time字段。前端埋點(diǎn)代碼用的是Date.now()也就是設(shè)備本地時(shí)間。如果用戶手機(jī)的時(shí)間設(shè)置錯(cuò)誤或者人在海外沒(méi)有校準(zhǔn)時(shí)區(qū)事件時(shí)間就會(huì)偏差很大。修復(fù)方案分兩步。第一步將所有看板的時(shí)間計(jì)算基準(zhǔn)改為received_at也就是服務(wù)端接收時(shí)間保證什么時(shí)間到達(dá)系統(tǒng)是可信的。第二步仍然保留occurred_at作為業(yè)務(wù)分析用的體驗(yàn)發(fā)生時(shí)間但是消費(fèi)端增加了一個(gè)清洗邏輯如果occurred_at和received_at相差超過(guò)24小時(shí)就把occurred_at視為非法用received_at覆蓋并給事件打上一個(gè)clock_skew標(biāo)記。這樣既保住了絕大多數(shù)準(zhǔn)確的時(shí)間戳又不會(huì)讓少數(shù)設(shè)備問(wèn)題污染全局報(bào)表。這個(gè)坑給我的啟示是任何帶有設(shè)備端時(shí)間戳的系統(tǒng)都必須建立一個(gè)接收時(shí)間和發(fā)生時(shí)間的雙軌制并且要有明確的校準(zhǔn)策略。只信設(shè)備時(shí)間早晚會(huì)被雷到。4.2 高峰期寫入阻塞隊(duì)列共享帶來(lái)的連鎖問(wèn)題第二個(gè)坑出現(xiàn)在一次推廣活動(dòng)流量高峰。數(shù)據(jù)庫(kù)連接的等待時(shí)間瞬間拉高表象是明細(xì)表寫入變慢進(jìn)而導(dǎo)致看板上的實(shí)時(shí)指標(biāo)在高峰期掉了20分鐘左右的數(shù)據(jù)。我當(dāng)時(shí)的排查鏈路是先看消費(fèi)服務(wù)日志發(fā)現(xiàn)大量batch flush timeout再看NATS上的堆積數(shù)量超過(guò)正常水位十倍接著排查采集服務(wù)的隊(duì)列積壓情況發(fā)現(xiàn)內(nèi)存隊(duì)列已經(jīng)滿了并且Drop日志在大量刷屏說(shuō)明非核心事件正在被丟棄。按理說(shuō)丟棄之后積壓應(yīng)該緩解但指標(biāo)還是掉。最后我打開(kāi)了整個(gè)采集服務(wù)的線程池統(tǒng)計(jì)才發(fā)現(xiàn)問(wèn)題根源不是消費(fèi)端慢而是采集服務(wù)里接收線程和flush線程共用同一個(gè)線程池高峰期幾條大SQL查詢把線程池占滿之后連事件寫入NATS的線程也被阻塞了。也就是說(shuō)慢查詢通過(guò)線程池競(jìng)爭(zhēng)反向拖住了整個(gè)入口鏈路形成連鎖反應(yīng)。修復(fù)措施是把IO密集的寫管道和計(jì)算密集的SQL查詢徹底分離。采集服務(wù)只用獨(dú)立的一小簇線程處理接收事件寫NATS另一簇線程專門處理查詢或批量聚合。同時(shí)為NATS生產(chǎn)通道單獨(dú)設(shè)置積壓上限超過(guò)閾值時(shí)優(yōu)先丟棄非核心事件而不是讓所有線程一起去搶連接。這次改動(dòng)之后再遇到流量高峰實(shí)時(shí)鏈路基本穩(wěn)住了。排查線上問(wèn)題一定要先畫出請(qǐng)求的完整鏈路看看事件從入口到落庫(kù)要經(jīng)過(guò)哪幾個(gè)隊(duì)列、哪幾個(gè)線程池所有共享資源的競(jìng)爭(zhēng)都可能成為牽一發(fā)動(dòng)全身的瓶頸。4.3 指標(biāo)翻倍事件重放和缺少冪等鍵第三個(gè)坑是報(bào)表數(shù)據(jù)變成真實(shí)的四倍。我排查了一個(gè)下午才找到原因事后看相當(dāng)?shù)湫?。某天活?dòng)看板上顯示按鈕點(diǎn)擊量突然漲到了平日的四倍直覺(jué)告訴我這個(gè)暴漲不合理但前端流量統(tǒng)計(jì)并沒(méi)有明顯異常。排查過(guò)程是從明細(xì)數(shù)據(jù)開(kāi)始倒查的。我先查最近一小時(shí)哪個(gè)事件增長(zhǎng)最猛很快鎖定了click_feed_button然后對(duì)這一小時(shí)的事件按事件ID做去重發(fā)現(xiàn)ID的重復(fù)率接近75%。也就是說(shuō)看板上大部分?jǐn)?shù)字是重復(fù)上報(bào)帶來(lái)的。繼續(xù)往前看采集和消費(fèi)服務(wù)都沒(méi)有重復(fù)消費(fèi)的邏輯消費(fèi)確認(rèn)機(jī)制也正常于是我打開(kāi)了埋點(diǎn)的發(fā)送日志。真相浮出水面頁(yè)面在弱網(wǎng)環(huán)境下fetch失敗后SDK會(huì)自動(dòng)重試但重試時(shí)沒(méi)有重新生成事件ID每次失敗重試都會(huì)把同一個(gè)事件再次發(fā)送。更糟的是在某些瀏覽器里頁(yè)面關(guān)閉時(shí)多次觸發(fā)重發(fā)邏輯一條事件能被送出去三四次。修復(fù)很簡(jiǎn)單前端SDK在創(chuàng)建事件的時(shí)候保留同一個(gè)id但消費(fèi)端做冪等寫入。數(shù)據(jù)庫(kù)的rea_events表給id字段加了主鍵重復(fù)插入直接沖突報(bào)錯(cuò)匯總計(jì)數(shù)那里也按事件ID做了一次Redis的布隆過(guò)濾器重復(fù)事件不會(huì)再進(jìn)入計(jì)數(shù)。后端的冪等設(shè)計(jì)看起來(lái)像是多此一舉但在有網(wǎng)絡(luò)重試機(jī)制的分布式系統(tǒng)里這是人命關(guān)天的事。5. 實(shí)測(cè)效果和我的最終取舍5.1 一組可復(fù)現(xiàn)的壓測(cè)數(shù)字項(xiàng)目上線穩(wěn)定運(yùn)行一個(gè)月后我做了一組簡(jiǎn)單的壓測(cè)目標(biāo)是回答這套輕量級(jí)方案到底扛不扛得住。測(cè)試環(huán)境是兩臺(tái)2核4G的云主機(jī)一臺(tái)跑采集服務(wù)和NATS一臺(tái)跑PostgreSQL和聚合服務(wù)。壓測(cè)工具模擬客戶端以每秒100到5000的速率發(fā)送事件持續(xù)10分鐘。結(jié)果匯總?cè)缦掳l(fā)送速率事件/秒采集服務(wù)CPU數(shù)據(jù)庫(kù)CPU端到端P50延遲端到端P95延遲2005%8%400ms800ms100015%20%600ms1.2s300030%45%800ms2.8s500045%70%1.2s4.1s注意這里的端到端延遲指事件從瀏覽器發(fā)出到進(jìn)入聚合計(jì)數(shù)的時(shí)間整體在秒級(jí)滿足當(dāng)初秒級(jí)延遲的設(shè)定。一旦速率超過(guò)5000數(shù)據(jù)庫(kù)IO開(kāi)始吃緊采集服務(wù)內(nèi)存也會(huì)上漲但這已經(jīng)超出rea預(yù)期的目標(biāo)范圍了。如果你的業(yè)務(wù)量級(jí)遠(yuǎn)高于這個(gè)數(shù)就該考慮ClickHouse和真正的流處理框架了。5.2 和商業(yè)方案和開(kāi)源重方案的對(duì)比賬項(xiàng)目做完之后我把rea和一個(gè)中等價(jià)位的商業(yè)SaaS方案做了個(gè)粗略對(duì)比。按照我們每個(gè)月大約5000萬(wàn)事件的體量商業(yè)方案的年費(fèi)大約在五位數(shù)到六位數(shù)人民幣這個(gè)量級(jí)還不包括數(shù)據(jù)出域可能帶來(lái)的合規(guī)評(píng)估成本。rea的成本主要是兩臺(tái)云主機(jī)和一個(gè)人一個(gè)月大約30%的工作量整體低一個(gè)數(shù)量級(jí)。當(dāng)然商業(yè)方案帶來(lái)的價(jià)值也不能光看錢比如它有一堆現(xiàn)成的漏斗、留存、熱力圖分析不用自己開(kāi)發(fā)。但那些功能對(duì)當(dāng)時(shí)的我們來(lái)說(shuō)是低頻功能我們真正高頻用的只有實(shí)時(shí)趨勢(shì)、事件排行、基礎(chǔ)漏斗三個(gè)。為了低頻功能付出高頻成本不劃算。開(kāi)源重方案那邊也是一樣的道理。如果當(dāng)初直接上完整的流計(jì)算棧光是把環(huán)境撐起來(lái)、保證數(shù)據(jù)不丟就得花掉比業(yè)務(wù)開(kāi)發(fā)更多的時(shí)間。這也引出了我的一個(gè)核心觀點(diǎn)實(shí)時(shí)分析系統(tǒng)的復(fù)雜度應(yīng)該跟著業(yè)務(wù)量級(jí)走而不是跟著技術(shù)潮流走。5.3 項(xiàng)目后續(xù)的擴(kuò)展思路rea目前是能用狀態(tài)但我知道它離一個(gè)完整的數(shù)據(jù)平臺(tái)還差很多。這里列幾個(gè)我接下來(lái)打算做的方向。第一是漏斗分析。目前只能對(duì)單個(gè)事件做計(jì)數(shù)還沒(méi)有把多個(gè)事件按用戶ID串聯(lián)起來(lái)算轉(zhuǎn)化率。我打算基于明細(xì)表寫一個(gè)專門的事件序列查詢接口用哈希后的用戶ID做關(guān)聯(lián)預(yù)計(jì)三到五天能完成。第二是異常檢測(cè)。既然有了Redis里的分鐘級(jí)計(jì)數(shù)完全可以寫一個(gè)簡(jiǎn)單的檢測(cè)器當(dāng)當(dāng)前分鐘的事件數(shù)和過(guò)去7天同一分鐘的中位數(shù)相比偏離超過(guò)三倍時(shí)推送一條告警到內(nèi)部群里。這個(gè)功能對(duì)活動(dòng)期實(shí)時(shí)監(jiān)控特別有用不必等數(shù)據(jù)部門發(fā)現(xiàn)異常。第三是歷史數(shù)據(jù)遷移到ClickHouse。等到明細(xì)表超過(guò)一億行PostgreSQL的聚合查詢會(huì)越來(lái)越吃力屆時(shí)把rea_events同步到ClickHouse查詢接口只在掃描型查詢時(shí)切換數(shù)據(jù)源其余邏輯不用動(dòng)。因?yàn)楸斫Y(jié)構(gòu)從一開(kāi)始就是按分析場(chǎng)景設(shè)計(jì)的這個(gè)遷移成本很低。到這個(gè)階段我已經(jīng)把rea從臨時(shí)救火的腳本正式變成了一件持續(xù)迭代的工具。最后分享一點(diǎn)個(gè)人的實(shí)際體會(huì)。做這類內(nèi)部工具最大的瓶頸不是技術(shù)而是需求邊界。一開(kāi)始我也想把功能做全后來(lái)發(fā)現(xiàn)每個(gè)新增的順手功能都會(huì)帶來(lái)額外的復(fù)雜度。rea之所以能在三周內(nèi)上線并穩(wěn)定運(yùn)行靠的正是開(kāi)始時(shí)那句邊界宣言——輕量級(jí)、秒級(jí)延遲、關(guān)鍵事件、面向內(nèi)部。如果你也想搭一套類似的實(shí)時(shí)分析系統(tǒng)不妨先寫下這三行邊界再開(kāi)始選型。很多時(shí)候知道什么不做比知道做什么更值錢。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
午夜一区| 人妻久久久久久久久久| 成人电影一区| 天堂资源欧日浪女在线播放| 色五月丁香五月| 日本三级大片| 亚洲黄色影视| 五月丁香综合激情网| 大胆伊人久久| 国产精品国产| 99九九中文字幕视频| 五月天婷婷乱论小说| 桃色五月婷婷| 白天AV月月| 婷婷视频网| 99ri在线视频| 五月丁香琪琪| 欧美综合123区| 亚洲激情综合| 97久久人人| 99热在线播放| 丁香五月天啪啪| 九九性视频| 深爱激情中文五月天av| 99热66| 国产精品视频| 久久久久亚洲AV成人无码电影| 婷婷五月天综合AV| 激情综合网五月婷婷| 丁香婷婷六月| 婷婷五月天激情免费在线观看| 欧洲色色| 久久机只有这里精品| 国产成人综合亚洲| 五月婷婷婷| 色吊丝永久访问网址| 国产免费AV网站| 99热偷拍| 国产激情综合| www狠狠| 精品久久久中文字幕大豆网推荐理由| 丁香六月天之亚州热女 | 激情综合五月激情| 久久精品一区二区三区四区| 插插五月天| 五月婷婷综合在线亚洲视频| 99re6久热只有精品6在线直播| 99久久99视频| 九九综合| 99综合色| 久久大香蕉| 婷婷成人基地| 99亚洲精品| 五月色网| 性爱久久| 天天做天天摸| 亚洲成人高清在线| 少妇人妻人伦A片| 五月婷婷成人w| 人人操9| 第四色大香蕉| 婷婷六月网| 91制片厂久久久国产电影| 2025天天日爽| 五月天激情综合网俺也去| 五月天激情综合| 激情网开心网| 久久99精品久久久久子伦| 97人人干人人操| 欧美日本综合网| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 99热精品在线| 操一操插一插| 激情另类综合| 九九九九操逼| 亚洲色视频| 99热在线观看| 色五月 五月婷婷| 大学生高潮无套内谢视频| 日韩十国产极品久久| 九九婷婷综合| 欧美电影在线观看| 色偷偷五月天| 99热这里只有精品手机在线观看| 丁香9月婷婷| 免费97碰碰| 天天爽爽日日做做| 五月婷婷亚洲综合在线| 婷婷久久久| 激情婷婷五月天| 亚洲激情综合五月婷婷啪啪| 丁香六月综合激情| 九九九AAA热视频| 午夜丁香| 九九色综合九九色| 五月丁香激情五月天| 99情色五月天| 欧美日韩aaa| 婷婷五月天第四色| 婷婷的五月天另类视频| 色五月天激情| 五月丁香六月婷婷的女人| 极品少妇XXXX精品少妇偷拍| 中文字幕,综合,91| 五月丁香 久久久| 99啪视频在线观看| 色婷婷88| 综合久久综合| 噜噜网免费视频| 国产XXXX搡XXXXX搡麻豆| 高清不卡一区| 狠狠狠狠青草| 色五月成人在线| 操99| 狠狠va| 色伊人91在线视频| 精品人妻伦一二三区久久| 97人凄人人操人人爽| 五月婷婷色| 99热日韩| 日本一级一级一级一级| 免费视频WWW在线观看网站| 天天日综合| 色婷婷在线视频久| 26uuu丁香婷婷五月| 丁香五月手机在线| 久久综合五月情| 99在线免费观看| 久久丁香五月天| 玖玖爱资源站| 91Chinese在线| 四虎成人精品永久免费AV九九| 五月激情六月丁香| 色婷婷色丁香色欲av| 久久新地址| 激情五月六月丁香| 狠狠99| 五月天伊人| 五月天综合缴情网网站0| 夜夜骑天天玩天天日| 九月av| 夜夜操少妇| 无码激情精品色婷婷久久久久| 天天舔天天摸视频| 日日干日日s| 9精品久久999| 六月丁香花婷婷| 久久99久久久久久| 六月婷婷色宗合| 天天天天天天噜| 婷婷五月天激情小说| 亚洲五月天色色| 婷婷欧美激情| 色色哒五月婷婷六月丁香| 色国产五月| 激情网五月| 久久久99精品| 99热69| 99自拍视频| 99人人干人人| 亚洲VA口| 天天看夜夜看| 【乱子伦】黄色| 欧美性爱五月天| 六月丁香激情最新更新| 久色婷婷200| 69精品人人人人人人| caop视频| 中文字幕av亚洲| 丁香五月天欧美| 五月综合精品| 99热成人在线观看| 乱精品一区字幕二区| 九九热这里只有精品在线观看| 婷婷五月大香蕉| 婷婷爱爱蜜臀天天操| 五月天操逼激情| 饮料下药迷倒漂亮女同事强干| 九九精品re免费视频| 色欲一区二区三区精品A片| 激情五月丁香在线观看直播| 九九99九九99| 丁香婷婷在线| 色婷婷丁香五月天| 狠狠做婷婷| 综合婷婷都市激情| 亚洲操B视频| 婷婷免费无马| 婷婷六月色| 国产成人网址| 日韩青青| 99热久草| 久久aaa| 99精品在| 玖玖热视频| 99无码精品| 久久99性爱| 欧美色六月婷婷| 成人五月天视频播放| 天天搞天天爽| 思思热精品在线视频| 超碰九色| 999精品久久久久久久| 六月丁香停| 亚洲综合激情五月久久| 欧美激情综合色综合色| 色六月婷婷| 国产精品涩涩涩视频网站| 婷婷色色丁香| 99re久热只有精品6在线直播| 五月婷婷丁香五月天| 四川女人毛多水多A片| 亭亭玉立国色天香| 色色亚洲| 国产亚洲精品AAAAAAA片| 91大屁股在线| 中文字幕AV网址| A√天堂网在线| 夜夜干夜夜操| 久草热8精品视频在线观看| 六月丁香六月婷婷欧美| 色婷婷在线视频综合| 九九aV| 色五月激情五月| 婷婷激情综合色五月久久图片| 色综合久久久久| 五月天激情综合10p| 色婷婷影院| 九月久久婷婷| 99久久免费精品| 中文AV网| 日本三级网址| 久久人人人人妻| 色婷婷五月色| 色婷婷亚洲综合天堂| 五月天亚洲图片婷婷| 色五月婷婷色五月婷婷色五月婷婷| 国产精品美女久久久久AV超清| 亚洲人人操| 五月夜丁香| 亚洲av成人在线| 激情色五月天| 一夜福利不卡| 射区导航| 久久婷婷五月综合一| 五月久久亚洲| 国产午夜精品一区二区三区四区| 欧美va亚洲va| www色色com| 肏日网在线看| 婷婷涩五月天综合| 丰满少妇猛烈A片免费看观看| 五月停停999| www五月天激情com| 国产AV一区二区三区日韩| 丁香六月婷婷综合激情欧美| 亚洲国产成人综合| 九月久久婷婷| 久久婷婷六月综合| 99网址在线观看| 99热这只有| 欧美久久婷婷| 一级二级色大片| 亚洲精品激情| 一区二区乱视频码| 欧美va欧美va差| 亚洲国产精品VA在线看黑人| 99热情这里只有精品在线播放| 五月天淫乱视频| 99久久综合狠狠综合久久| 五月综合激情久久| 色999亚洲人成色| 色五月涩涩婷婷蜜桃| 五月天综合婷婷| 日本久久超碰| 色五月成人| 日笨久久网| 久久人妻高清中文| 久久久国产精品黄毛片| 能看的av片| 国产乱人偷精品人妻A片| 婷婷五月丁香六月伊人网| 久久婷婷综合五月天| 性欧美日本| 99热网址| 97电影99热| 亚洲六月色| 五月天久久激情| 婷婷在线激情| 91成人看片| 日本丁香五月| 4438激情网| A片一曲| 色婷婷成人网| 婷婷久热| 日本的α片xxxwww| 五月Huangsewang| 婷婷五月天婷婷| www.99.色| 婷婷五月天六点丁香五月| 丁香深五月婷婷| 夜丁香五月婷婷| 九九99视频精品| 饮料下药迷倒漂亮女同事强干| 久久婷网| 日本欧美成人片AAAA| 五月丁香啪啪拍| 9精品久久999| 色婷婷亚洲精品天天综| 91肏| 色播五月网| 26uuu国产色| 懂色av粉嫩av蜜臀av| 人人人舔人人人操人人人摸人人人97| 涩五月丝袜婷婷| 色偷偷综合| 婷婷99中文字幕| 久热人妻| 精品一区二区三区四区五区六区介绍| 91re色综合视频| 久色大| 亚洲成人在线播放| 亚洲乱码日产精品BD| 一本伊人色婷| 91凹凸在线| 成人丁香五月天| 免費亭亭成人| www.久久婷婷| 色人久久| 久久99热这里只有精品| 五月婷婷干干干| 国产精品涩涩涩视频网站| 婷婷五月丁香综合人妻| 久九九热| 秋霞性爱AV| 婷婷五月天激情亚洲小说| 激情图片久久| 青草青草视频2免费观看| 色综合射婷婷| 色墦五月丁香| 色婷婷av综合网| 婷婷五月综合体验看| 婷婷色综合| 雪千夏麻豆| 婷婷精品免费久久| 精品三区影院| 色999;丁香五月| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷五月丁香人妻无码高清| 99ri精品| 91热视频色网站| 色激情综合狠狠婷婷| 超级碰 久久9| 丁香五月欧美| www.日日夜夜.com| 色天天综合天天综合频道。 | 久久激情网| 亚洲五月综合色播| 国产av基地| 成人亚洲精品久久久久| 玖玖资源在线视频| 另类综合色| 天天爽日日搞| 五月婷婷久久大香蕉| 亚洲欧洲中文日韩久久AV乱码| 丁香五月六月| 五月天婷婷激情小说| 欧美综合123区| 2015在线中文字幕| 日韩一级片| 色五月婷婷亚洲最大| 91干婷婷| 九九这里都是精品| 五月婷婷影| 久久机热这里只有精品| 欧美丁香婷婷天天操| 综合激情在线| 国产视频福利| 毛v一区二区视频| 色天使色综合| 婷婷五月影院| 综合久久综合久久| 99精品小视频| 婷婷深爱五月亚洲综合| 激情黄色小说色五月| www,久久久人人| 超碰免费人| 97自拍视频在线| 色播五月网| 蜜乳A√| 99操视频| 婷婷久久99| 亚洲操B| 九九大香蕉黄色影院| 丁香五月天啪啪激情综和网 | 日本不卡一区二区三区| 播播网色播播| 免费AV播放| 六月婷久久| www.色9| 色99网站| 六月婷婷久久大全| 亚洲久热无码| 久久九九99字幕| 涩五月婷婷| 久久9视频| 91黄操| 另类视在线| 五月天丁香啪啪啪啪| 丁香五月婷婷图片综合| 最新高清无码专区| 五月丁香本色在线观看| 婷婷色色亚洲| 狠狠色噜噜狠| 色色色com| 成人在线二区| 91九色最新视频| 久久久久9| 丁香五月天堂网| 99热自拍| 99色色网| 99精品偷自拍| 色综合久久久无码中文字幕999| 91se精品国产| 亚洲六月综合激情久久下卡| 色综合77777| 九九99久久精品| 麻豆观看夏晴子| 嫩草免费视频| 亚洲AV另类| 亚洲精品成人片在线播| 9 1大香蕉| 在线观看亚洲视频影院| 亚洲婷婷五月天| 国产精品视频| 五月婷婷激情综合网| 亚洲操b| 色99视频| 中文中文在线| 99精品久久久久久| 婷婷久久伊人| 婷婷放心五日爱| 日日噜噜久久婷婷五月天| 天干天天干天天天天天| 欧美综合五月丁香五月天| 人人干Av| 色中色综合| 97干欧美| 91狠狠综合久久久| 青青草婷婷五月天| 丁香五月九九| 亚洲综合视频网| 久久久人妻人伦| 亚洲射激情| 99亚洲色色| 婷婷五月婷婷| 99热这里只有精品3| 91精品91久久久中77777| 婷婷色色综合| 久久超视频| 久99在线| 五月间天堂综合| 国产成人在线精品| 婷婷五月天国产手机在线视频观看| 1010日日无码| 类似婷婷激情综合网站| 丁香五月伊人| 啪啪日本欧美| 99毛片| 天天操夜夜啊| 天天日天天干天天天| 伊人久久五月天| 天堂无码人妻精品AV一区| 婷婷五月天国产性感美女演员久久久久| 人妖色AV色综合| 亚洲五月丁香综合网| 99精品无码网站| 开心五月深爱五月| 天天操夜夜操| 91在线观看www| 5月激情天| ss视频xx91| 九九热视频在线观看| 丁香5月婷婷| 天天在线XXX| 另类色网| 99热这里只有精| 亚洲色五月婷婷| 1024AV视频| 欧美久久婷婷| 五月丁香色婷婷熟女| 亚洲天堂久久| 玖玖婷婷五月天毛片| 日本久久婷| 99精品久久久久久久婷婷久久| 色婷另类| 丁香五月婷婷色综合| 97在线综合| 人人干AV| 色激情五月| 丁香五月婷婷国产在线| 色五月丁香五月五月婷婷| 99免费| 婷婷五月天激情网| 97色啪| 99热这里只有精品69| 91九色精品熟女内射| 天天干天天av天天射| 大香蕉520| 涩综合在线 | 亚洲AV中文在线| 91大屁股| 狠狠色色| 踪合专区啪啪| 九九免费精品| 久久精品一区二区三区四区| 日韩成人无码人妻| 亚洲精品午夜国产va久久成人| 大香蕉综合网| 五月天社区| 色婷婷成人| 成人做爰黄A片免费看直播室男男 A片试看120分钟做受图片 | 婷婷五月俺要去| 操一区| 999九九九久久久99HD| 精品久久久久久久久久久久人妻| www.婷婷| 九九九热精品| 色综合九九| 丁香五月激情图片婷婷| 99这里有精品免费| 国产激情综合| 久久久婷婷五月亚洲97号色| 亚洲天堂aaaa| 好吊兆人妻| 欧美精品久久久久久视频观看| 色婷婷成人网| 色九月欧美| 亚洲免费婷婷| 操碰99在线视频观看| 99热这里只有精品33| 99激情| 五月丁香久久精品在线观看| 九九热中文| 丁香五月天激情视频| 97色视频网| 激情5月婷婷| 色情终和网| 79精品在线视频| 色婷婷久久| 97在线刺激| 久久婷婷人人| 九九热婷婷| 日婷婷| 色九九一二| 最新丁香六月婷婷| www.com色播五月天| 丁香六月天色婷婷| 激情都市另类| 丁香五月丁香伊人| 午夜天堂一区人妻| 色久综合天天做视频| 九色亚洲| 色五月丁香伊人五月| 91操女| 日本五月天一页| 91久久精品视频| 六月色播| 成人啪啪色婷婷久| 97超碰在线免费观看| 99男人天堂| 欧美日韩大黄| 五月丁香色综合| 六月色日韩| 四川BBB搡BBB搡多人乱亂| 深爱激情AV| 青柠影视免费高清电视剧 | 国产精品黑丝| 婷婷五月天综合在线| 涩涩婷婷五月| 五月婷婷综合激情网| 婷婷五月天黄色| www.yw尤物| 91操操| 少妇人妻人伦A片| 五月天婷婷影院影院| 碰超亚洲| 五月天天综合| 婷丁香久综合| 老妇六区| 五月草视频| 91激情五月开心| 婷婷色五月天在线| 天色综合网站| 久久久91精品| 激情五月婷婷| 永久的网站AAAA | 色偷偷五月天| 亚洲色涩视频| 东京热五月婷婷| 玖玖资源站中文| 九色PORNY自拍成人精彩视频| 99re久久| 久久这里有精品视频在线免费观看| 五月丁香激情啪啪网| 99自拍视频在线观看| 久久成人性爱| 色婷婷亚洲综合av| 婷婷五月丁香久久| 这里只有精品久| 91人人操人人看| 久久婷婷视频| 婷婷五月天堂一本在线| 99ri精品| 91五月花丁香| 婷婷综合激情| 五月情色天| 婷婷色在线| 日本www免费九九| 六月丁香av| 久久996re热这里只有精品无码| 欧美123区免| 播播网色播播| 开心亚洲久久开心| 影音先锋综合网| 色偷偷五月天| 五月花免费视频| 激情婷婷五月天伊人在线观看| 婷婷久久爱| 久久狠狠干| 欧美这里只有精品| 五月丁香视频在线观看| 超碰97久久| 无码AV免费精品一区二区三区| 天天舔天天爽| 日韩六十路91性交电影| 国产 亚洲 在线| 伊人大香蕉爱聚| 丁香桃色网| 丁香婷婷中文字幕| 天天干,天天舔| ...婷婷五月综合不卡,国产在线手机 | 色色丁香| 久久久精品人妻| 青青草深爱激情网| 婷婷色导航| 五月狠狠| 婷婷五月丁香激情| 激情丁香五月天| 99小精品| 亚洲爱婷婷| 一本道在线电影| 99热在线观看| 婷婷色操| 99久久大片| 天天人人天天爽| 婷婷色情网| 激情婷婷。| 国自产拍偷拍精品啪啪一区二区| 九九aV| 天天爽天天摸天天爱| 三区激情四射av| 综合啪啪| 六月婷婷视频| 国产色色小草视频| 91se精品国产| 婷婷五月天福利| 五月天色色色| 大香蕉五月丁香| 色五月在线观看| 婷婷五月丁香五月天| 婷婷五月丁香综合亚洲| 五月天婷婷免费| 大香蕉人在线65| 日韩成人综合| 99re资源在线视频导航| 精品9197碰| 日本天天操| 五月丁香婷爱在线| 色五月在线视频观看| 91人妻视频| 国产日日夜夜操| 五月婷婷亚洲综合网| 久久视屏这里只有久久| 色五月综合网| 99精品自拍视频| 久久综合丁香| 六月婷婷激情图片| 九九碰九九爱97超| 91色九| 激情中文在线| 日本高清久| 特级操b片| 激情久久久久久久久| 狠狠色丁香久久婷婷综合五月| 香蕉99网| 中文字幕操比影片| 97伦色婷婷| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 色色色色色色综合网| 成人免费120分钟啪啪| 综合激情开心五月| 无码一区二区日韩| 色色色视频免费无码 | 91精品综合久久久久久五月丁香 | 97啪在线观看视频| 婷婷五月天 丁香五月天 裸体| 综合色色五月| 丁香五月成人自拍| 狠狠草网| 99ri在线观看视频| 综合欧美五月婷婷| 婷婷AV丁香| 一本道综合网| 欧美综合五月丁香五月天| 九九热视频思思| 婷婷五月天偷拍| 丁香色综合| 五月婷婷五月色| 色综合九九色综合88| 欧美日韩成人在线| 日日爽夜夜爽| 丁香五月天大香蕉啪啪| 9久操| 人人操人人爽成人AV| 色色色国产| 激情图片亚洲| 青青草日本亚洲| 天天插,天天射| 九九激情| 激情丁香婷婷| 风流少妇A片一区二区蜜桃| 久久婷婷青青| 亚洲综合一区二区| 少妇日麻屄| 亚洲婷婷激情888精品久| 丁香五月婷婷色偷偷| 玖玖五月丁香| 亚洲日日日| 一级片操逼视频| 在线看黄色| 91五月天| 色五月色五天色情网| 伊人久久大香线蕉av一区| 婷婷综合视频| 激情婷婷在线| 色婷婷av在线| 人人爱天天摸摸天天爱| av狠狠操| 欧美色婷婷| 美女被操一区二区| 丁香色综合| AV 3P| 99∨VTV| 精品色色| 色婷久| 五月婷婷深深爱爱| 色五月影视| 九月丁香婷婷| 拍色综合| 久久精品爱爱| 丁香五月综合在线观看| 综合色五月| 五月婷婷综合在线视频| 日本片日本片祼观看网站在线看中文版网页在线看 | 国产AV一区二区三区最新精品| 国内久久亭亭| 婷婷六月网| 十一月婷婷激情四射| 九色婷婷| 婷婷丁香www视频日本韩国| 99re66热这里只有精品| 五月天激情小说欧美激情| 色色色com| 丁香激情五月天| 欧美婷婷六月丁香综合色连续高潮抽搐| 色五月激情五月天| 日本精品人妻无码77777| 色欲天天综合| 婷婷五月天激情基地| 九九在线视频| www.婷婷,com| 日日日影院| 桃色五月天| 海外网站专业操老外| 亚洲 无码 中文字幕 中出| 9久精品视频| 狠狠色丁香久久综合婷婷亚洲成人福利 | www.五月天色色色| 色综合日日| 大香蕉综合| 91干视频| 色爱五月天| 国产FREESEXVIDEOS性中国| 99re在线视频| 亚洲综合热| 青草视频在线播放| 天天情天天狠天天透| 色色色综合色| 色色色com| 免费AV黄在线播放| 超碰在线人人| 丁香五月WWW| 超碰狠狠色| 无码激情AAAAA片-区区| 2015好吊操| 97香蕉久久超级碰碰高清版 | 亚洲婷婷久久综合| 亚洲成人av在线播放| 五月婷丁香亚洲| 丁香五月综合| 久久婷婷激情五月天一区二区| 亚洲免费观看高清完整版AV线| 亚洲va久久久噜噜噜久久天堂| ...婷婷国产成人亚洲日韩| 狠狠操狠狠操| 丁香五月激情网| 婷婷成人五月天成人文学| 色婷婷aV四虎| 色情五月停停丁香| 亚州男人天堂婷婷五月| 激情亚洲婷婷六月| 亚洲妇女熟BBW| 亚洲俩性性爱图片久久第六页| 综合激情视频| 99久久婷婷| 五月婷婷AV| 久久久五月五丁香| 精品99视频| 婷婷终合色图| 免费视频无码| 一起草无码| 97干视频在线| 久久99综合网| 色噜噜狠狠色综合网| enecarbon-materials.com污K127封锁请涟系@wip1688 | 婷婷色5月天在线。| 青草视频在线观看视频| 国产99视频永久免费| 久久AAAA片一区二区| 精品无码人妻一区| 国精产品一区一区三区免费视频| 婷婷免费无视频| 国成人网| 人妻久久久久久| 超碰在线免费9| 91丨九色丨熟女| 丁香婷婷九月| 婷婷中文在线| 影音先锋按摩| 久热超碰| 国产美女最新VA在线免费观看| 五月婷婷碰碰| 五月激情影视| 久久久大香蕉| 激情五月婷婷| 伊人成人宗合网| 丁香五月婷婷五月基地| 婷婷丁香人妻天天| 午夜丁香 婷婷| 色99热| 另类视频综合| 99热综合| 精品少妇蜜臀91| 色色五月天 亚洲| 激情内射p| 99视频网址| 日日天天干| 99热日本| 91色欲综合| 九九热婷婷| 五月丁香六月婷婷亚洲天堂网站| 九九re精品视频在线观看| 婷婷综合网站| 日本不卡高字幕在线2019| 婷婷五月在线视频| 千人斩操逼| 婷婷久久18| 99久久久久| 操人妻视频91| 五月丁香亚洲校园欧美| 91无码一起草| 99久在线精品| 九九热区一区二区三区| 色9999日韩国产| 97婷婷丁香五月天激情图片| 亚洲六月色| 26UUU在线观看| 丁香五月激情月| 五月婷婷婷婷| 久狠日av| 1024手机在线观看看片_日韩精品| 色爱亚洲| 色色综合无码| www.九九婷婷| www夜夜操| 五月天 另类图片| 亚洲中文字幕AV| 久久您您综合网| 九九热大香蕉| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 激情婷婷激情在线不卡| 五月丁香六月婷| 天天色伊人| 五月激情网站| 九九爱激情| 99热综合网| 色五月丁香婷婷综合| 日本啪啪网| av不卡网站| 91精品丝袜久久久久久| 类似婷婷激情综合网站| 深爱五月天 开心网| 99热国产婷婷| 婷婷综合性爱网| 五月花免费视频| 五月婷婷丁香俺日污视频| 五月丁香婷婷爱激情综合网| 五月叮香啪| 天天躁日日躁狠狠躁日日躁2022年5月9日| 在线另类视频| 五月丁香婷婷成人综合网| 色五月丁香五月激情五月激情| WWW久久99久久99久久| 天天干夜夜想| 五月天天爱| 久久婷婷五月综合色播| yellow视频在线观看91| 狠狠一日| 婷婷社区五月天| 超碰成人av| 婷婷色色欧美| 亚洲 激情 中文| 五月婷激情影院| 99操不停| 琪琪色五月婷婷老师| 五月丁香狠狠爱| 亚亚州久久高潮| 天天摸天天舔天天爽| 婷婷五月天Av| 久久婷鲁| 专区无日本视频高清8| 五月丁香啪啪婷婷| 这里只有免费精品| xx综合网| 五月丁香亚洲校园欧美| 五月间天堂综合| 色色色色色日韩午夜激情 | 日韩色色色色| 狠狠操狠狠| AV性爱网| 久久免费操| 99久久6| 久热这里精品免费| 五月天日日操夜夜操 | 日日日,com| www.五月婷婷.com| 婷婷综合日本| 美腿丝袜AV天堂网| 色久一| 九九热内射| 久久ri精品| 成熟妇人A片免费看网站| 成人无码精品1区2区3区免费看| 综合色色网| 久99视频在线观看| 一级精品999WWW| 久久综合影院| 亚洲av骚货| 久久久久思思热| 操熟女成人网| 国产精品色色色色| 亚洲婷婷月丁香五月| 激情深爱婷婷网| 婷婷五月丁香五月丁香| 成人婷婷色五月天| 久久99热这里只有精品23| 99热 在线观看| 99爱欧美| 另类婷婷丁香| 九玖欧洲亚洲| 这里只有精彩视| 婷婷六月天亚州| 久久99久久99精品免观看软件 | 五月丁香六月婷婷婷婷| 天天天天爽爽天干| 99热这里只有精品3| 五月天激情亚洲| 色噜噜狠噜噜视频| 婷婷激情六月视频| 亚洲综合另类| 91久久久久久久久久久| www.minyis.com【JT】实力收量可预付QQ2101460746 | 色狠狠色| 五月婷婷与六月丁香图片激情| 天天搽天天射| 欧美日韓成人亚洲精品另类| 琪琪理论片| 五月天成人手机在线视频| 色99热| 天天色99| 五月婷婷激情五月| 人人草人人舔| 最近中文字幕在线中文视频| 1024国产在线| 亚洲中文AV| 欧美日韩国产一区二区| 欧美熟女99| 99热最新精品| 另类小说婷婷色| 思思热精品在线视频| 日本va欧美va国产激情| 激情五月婷黄版| 97资源欧美日韩大香蕉超碰一区| 97九色| 婷婷五月天色色| 5月丁香综合图区| 99精品网址| 日韩精品一区二区亚洲AV观看| 日韩操逼大片| 亚洲婷婷丁香五月天激情小说| 人妻videos人妻高清| 欧美婷婷色五月| 婷婷综合五月| 91操人视频| 91fuliwang| 综合AV在线| 久久这里在精品视频| 亚洲亚洲永久无码777777| 99re免费精品视频| 亚洲亚洲人成综合网络| 丁香五月 激情文学| 操91| 六月丁香综合网| 天天干天天做| 五月激情综合网| 天天肏天天肏| 超碰人人在线| 五月婷婷开心丁香| 激情丁香六月| 亚洲中文字幕在线观看| 婷婷干六月综合旧址| 亚洲操操| 天天狠狠干| 99久视频| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 久久五月天激情美女| 99热的无码| 91成人性爱视频| 成人五月丁香花| 大香蕉五月天婷婷| 天天射天天射一道本日本社区 | 久久久久久9热不雅视频| 五月色情婷婷| 深夜A片| 综合色99| 天天干天天操天天射| 99热日本| 色色五月婷婷| 91亚洲免费片| 色五月久久成人婷婷| 深爱激情综合网| 国产成人精品一区二区三区视频| 91九色熟女| 婷婷色中文字幕| 日韩999| 91久久五月天| 亚洲第一精品网站| 男男野外做爰全过程69| 亚洲九区| 九九在线视频| 五月婷婷综合色啪首页| 丁香六月激情综合网| 亚洲av骚货| 色婷婷激情四射视频| 五月天综合图片| 国产精产国品一二三在观看| 激情五月天在线观看婷婷| 五月婷婷开心网| 色婷婷精| 9这里只有精品| 国产av天堂| 这里只有精品视频视频在线观看| 久久总和99| 99热国产婷婷| 五月婷婷激情视频| 伊人狼人干| 丁香五月天激情小说| 五月丁香综合| 9色在线| 五月伊人网| 婷婷五月天丁香社区| 99热手机在线精品| 26uuu成人网| 日本久久视频| 久久丁香五月婷婷| 麻豆WWWCOM内射软件| 99热啪啪| 操碰99| 久热超碰91| 狠狠狠狠狠狠狠狠| 男人大jjc女人免费视频| 99在线观看这里都是精品| 99热在线播放| 九月丁香婷婷| 久久人人九| 超碰在线观看caop| 九九在线免费观看| 六月婷婷色综合| 超碰人人操人人干| 久久激情天堂| 成人 九九九九| 91久久婷婷人人澡草 | 丁香五月综合亚洲| 国产精品久久久爽爽爽麻豆色哟哟| 99啪啪视频| 久久久婷婷婷| 国产三级片91| 丁香综合婷婷五月天| 丝雨一区二区| 九九久久综合网站| 丰满少妇猛烈A片免费看观看| 久月丁香爱婷婷综合| 丁香五月香蕉| 99噜噜噜在线播放| 成人电影一区| 99色精品视频| 99欧美| www.av视频xx999.com| 五月丁香人妻| 亚洲中文字幕AV| 九九热九九| 大香蕉综合网| 色九月婷婷| 色五月丁香激情| 99国产精品久久久久久久久久久| 婷婷五月AA五月在线| 激情六月婷婷| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 色婷婷丁香花五月天| 激情婷婷五月天日本系列| www久久久久久久| 草综合14| 久久总和99| 夜夜谢天天干| 婷婷丁香五另类网站| 曰本久久女| 五月天激情国产综合婷婷| 91网站黄| 中文字幕黄色片| 天天爽天天爽天天爽天天爽天天爽| 天天天天干| 开心日韩丁香婷婷五月| 丁香五月熟女| 久久婷婷丁香| 婷婷成人网五月天| 色情成人五月天| 天插天啪天啪天啪| 五月天婷婷无码| 五月婷婷与六月丁香图片激情| 99九九视频精彩在线| 操日视频| 久久精品婷婷| 色婷婷五月影视| 激情人妻蜜夜系列区| 日韩AAAAA| 五月婷婷深深爱| 大香蕉520| 综合狠狠五月婷婷| 深夜婷婷 丁香| 深爱婷婷丁香五月激情| www.色九月| 婷婷久久久| 思思热精品在线观看| 成人AV网站在线| 日日干日日| 亚洲亚洲永久无码777777| 久热丁香| 亚洲中文乱字字幕线在永久| 99se丁香| 99精品久久久| 色狠狠六月| 亚洲精品中文字幕成人片| www.日日夜夜.com| 国色天香伊人狠狠色| 97影院一级片| 99精品成人无码A片观看金桔| 青草热视频这里只有精品| www.综合久久.com| 99热自拍| 夜夜躁爽日日| 五月丁香综合啪啪啪啪啪| 热久久婷婷| 超碰九色| 99爱视频免费看| www九九| 亚洲中字AV电影在线网站| 激情图片婷婷| 少妇激情五月婷婷| 人妻中文av| 桃色五月天| 婷婷成人视频| 逼逼AV| www.91操| 久久五月婷天天干| 9有码中文| 玖玖九九99| 九九色影视| 狠狠色婷婷色| 五月婷婷久久综合| 久久这里有精品视频| 五月开心婷婷网| 丁香五月瑟瑟| 人妻熟妇国产精品| 五月天婷婷婷| 五月天激情站| 日韩高清成人| 久热精彩视频98| 色五月播五月| 99热在线观看| 我要看激情五月天| 五月色亭丁香| 亚洲成人av在线播放| 国产精产国品一二三在观看| 国产激情视频在线观看| 九九热99热| 亚洲女婷婷五月基地综合久久久| 偷偷操99| 九月色婷婷综合亚洲| www激情| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 色波激情五月天| 性视频久久| 五月丁香六月停停停| 丁香六月综合激情| 色五月激情综合| 99在线亚洲| 伊人婷婷色激情丁香| 九九成人精品免费视频| 激情碰碰碰| 精品少妇人妻AV无码专区偷人| 五月婷婷综合网| 婷婷八月丁香激情综合| 色五月天中文字幕| 色婷婷免费观看| 日本97在线| 亚洲av午夜精品一区二区| 天天日天天久久青青| 婷婷的99视频网站| 99亚洲视频| 婷婷五月av| 日日夜夜爽| AAA亚洲AV| 色。 日日日| 伊人青草成人| 99久久综合网| 五月天狠狠色| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 影音先锋女人av鲁色资源网小说免费| 丁香综合久久| 丁香五月婷婷激情蜜桃| 99色爱| 国产乱子轮XXX农村| 99热在线观看| 超碰在线人妻| 99热色精品|