欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

rea:輕量日志異常檢測(cè)與根因定位方案實(shí)踐

rea:輕量日志異常檢測(cè)與根因定位方案實(shí)踐 一個(gè)項(xiàng)目代號(hào)如果有三個(gè)字母“rea”一線做監(jiān)控的同事基本都能猜出它的定位想用一套輕量的方案把線上日志里的錯(cuò)誤實(shí)時(shí)抓出來(lái)自動(dòng)收斂、分析根因、定向告警。我這次分享的就是這樣一個(gè)內(nèi)部項(xiàng)目reaReal-time Error Analyzer一套服務(wù)于日志異常檢測(cè)和快速定位的開(kāi)源思路型方案。這套東西解決的痛點(diǎn)是服務(wù)一多、日志一雜出問(wèn)題靠人肉 grep耗時(shí)且容易漏想定位根因需要翻遍多臺(tái)機(jī)器把所有異常堆棧翻完才發(fā)現(xiàn)是某一處依賴抖動(dòng)。rea 做的是把日志采集、清洗、規(guī)則檢測(cè)、錯(cuò)誤指紋聚類、根因關(guān)聯(lián)告警串成一條流水線讓“異常浮現(xiàn)”從分鐘級(jí)別降到秒級(jí)別讓“定位根因”從人工翻日志變成自動(dòng)圈定嫌疑對(duì)象。這篇文章適合正在做日志分析、可觀測(cè)性建設(shè)、或者單純被“線上查錯(cuò)”折磨的開(kāi)發(fā)、運(yùn)維、SRE 同學(xué)參考。我不會(huì)堆架構(gòu)圖只講我實(shí)際從零搭這套系統(tǒng)時(shí)踩過(guò)的坑、驗(yàn)證過(guò)的取舍以及可復(fù)現(xiàn)的關(guān)鍵步驟。1. 整體設(shè)計(jì)與思路拆解先說(shuō)說(shuō)為什么要上 rea而不是直接套一套重型的商業(yè)化可觀測(cè)平臺(tái)。我在某公司內(nèi)部支持中間件團(tuán)隊(duì)時(shí)日均日志量大概在 50GB 左右服務(wù)實(shí)例約 40 個(gè)不算大但日志格式極其混亂有 LaaS 的、有用 JSON 的、有純文本拼 keyvalue 的甚至有把整個(gè)調(diào)用鏈打進(jìn)一行里的。如果直接上一套重型全家桶部署成本、存儲(chǔ)成本、學(xué)習(xí)成本都會(huì)讓團(tuán)隊(duì)放棄使用。rea 的定位從一開(kāi)始就是“輕、準(zhǔn)、快”。我們不追求把全部日志都永久存起來(lái)做全量檢索而是做兩件事實(shí)時(shí)撈異常自動(dòng)給異常歸類并把根因信息帶出來(lái)。原始日志只做短期緩沖異常的上下文才做結(jié)構(gòu)化存儲(chǔ)。這樣存儲(chǔ)成本大幅下降規(guī)則可以快速迭代告警效果也直接可見(jiàn)。1.1 為什么項(xiàng)目代號(hào)叫“rea”“rea”內(nèi)部含義是Reduce Error Ambiguity——減少錯(cuò)誤的不確定性。它要解決的核心問(wèn)題是“錯(cuò)誤”error在日志里有多義性。同一個(gè)異常類型可能因?yàn)?host 不同、時(shí)間不同、message 里附帶參數(shù)不同被當(dāng)成好幾個(gè)不同問(wèn)題反過(guò)來(lái)多個(gè)完全不同的異常又可能因?yàn)榘嗤P(guān)鍵字被誤合成一類。于是 rea 的核心設(shè)計(jì)原則就是先規(guī)范化再指紋化。規(guī)范化解決“同義不同形”的問(wèn)題指紋化解決“同根不同相”的問(wèn)題。這個(gè)思想貫穿了后續(xù)的規(guī)則引擎和根因分析模塊。日志只要通過(guò)清洗層就會(huì)被轉(zhuǎn)成統(tǒng)一事件結(jié)構(gòu)再通過(guò)錯(cuò)誤指紋算法進(jìn)行歸一。1.2 流水線式架構(gòu)采集、緩沖、清洗、判活rea 整體是一條數(shù)據(jù)流水線每個(gè)環(huán)節(jié)都允許獨(dú)立重啟和降級(jí)。我實(shí)際用的架構(gòu)是四段式采集端每臺(tái)宿主機(jī)上都部署一個(gè)輕量采集代理專門(mén)做 tail 和轉(zhuǎn)發(fā)不承擔(dān)任何解析邏輯。它只負(fù)責(zé)按行讀日志把整行文本塞給下游。緩沖層采集端和清洗端之間放一個(gè)本地緩沖隊(duì)列。作用就兩個(gè)抗下游抖動(dòng)、削峰。業(yè)務(wù)高峰日志量暴漲時(shí)清洗端來(lái)不及處理隊(duì)列能兜住避免日志丟失。清洗端核心邏輯所在。它拿到原始行之后做編碼歸一、格式識(shí)別、字段抽取、時(shí)區(qū)統(tǒng)一最終產(chǎn)出一條 schema 化的日志事件。判活與存儲(chǔ)端規(guī)則引擎接收清洗后的事件命中規(guī)則的就進(jìn)入“異常事件池”再由指紋模塊來(lái)聚合成“問(wèn)題單”并觸發(fā)告警。為什么清洗端不在采集端做因?yàn)椴杉耸遣渴鹪跇I(yè)務(wù)機(jī)器上的資源敏感一旦做了解析、規(guī)則判斷很容易成為業(yè)務(wù)容器的性能噪音。清洗端獨(dú)立出來(lái)了規(guī)則更新也能熱加載不會(huì)影響采集鏈路。最初我也圖省事在采集端加了解析結(jié)果某次日志多打了一個(gè)字段導(dǎo)致采集端 CPU 飆升直接影響業(yè)務(wù)容器后來(lái)堅(jiān)決把解析邏輯全部下沉。1.3 技術(shù)選型背后的取舍選型一定要看團(tuán)隊(duì)的上下文。rea 這套系統(tǒng)我在單機(jī)模擬和生產(chǎn)集群兩種環(huán)境都驗(yàn)證過(guò)采集端與清洗端通信統(tǒng)一走 JSON Lines 協(xié)議而不是自研二進(jìn)制協(xié)議。好處是排查鏈路問(wèn)題時(shí)每一跳都能直接打印一條數(shù)據(jù)出來(lái)看調(diào)試成本極低。事件存儲(chǔ)用列式存儲(chǔ)按小時(shí)分桶字段只保留核心 20 個(gè)左右message 全文內(nèi)容壓縮后放進(jìn)單獨(dú)列支持按 trace 召回。規(guī)則判斷用“表達(dá)式樹(shù)”實(shí)現(xiàn)不引入重量級(jí)規(guī)則引擎。因?yàn)槲覀兊拈撝?、正則、滑動(dòng)窗口邏輯其實(shí)都可以用幾類算子表達(dá)自己維護(hù)一個(gè)輕量引擎反而靈活。告警通知做成可插拔接口先接內(nèi)部消息機(jī)器人后續(xù)再擴(kuò)展電話、短信通道。一個(gè)很重要的取舍是“實(shí)時(shí)性做到什么程度”。rea 最初定的目標(biāo)是“從日志產(chǎn)生到異常事件可見(jiàn)”在 10 秒以內(nèi)而不是毫秒級(jí)。因?yàn)槿罩痉治鰣?chǎng)景里的“實(shí)時(shí)”是業(yè)務(wù)語(yǔ)義上的實(shí)時(shí)不是流計(jì)算競(jìng)賽里的實(shí)時(shí)。我把窗口設(shè)成了 10 秒讓批量吞吐更穩(wěn)也大幅降低了實(shí)現(xiàn)復(fù)雜度。實(shí)際線上跑下來(lái)p99 在 7 秒左右完全夠用。2. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)如果你只是想把日志收到一個(gè)平臺(tái)里再搜索那不需要 rea。rea 真正值錢(qián)的地方是后面的兩個(gè)環(huán)節(jié)清洗標(biāo)準(zhǔn)化和異常指紋聚類。這兩個(gè)環(huán)節(jié)做好了后面告警的準(zhǔn)確率才會(huì)高做不好就是天天狼來(lái)了。2.1 日志標(biāo)準(zhǔn)化核心字段固定擴(kuò)展字段保留日志標(biāo)準(zhǔn)化最怕的是“什么字段都想格式化”。很多團(tuán)隊(duì)會(huì)試圖把所有日志都整理成一個(gè)超大的統(tǒng)一 JSON結(jié)果每接一個(gè)新服務(wù)就要改一遍 schema維護(hù)成本極高。rea 的思路是核心字段必須固定擴(kuò)展字段用 KV 保留。核心字段我固定為timestamp、level、service、module、host、trace_id、error_type、message、ext_kvs。其中 timestamp 統(tǒng)一轉(zhuǎn)成毫秒級(jí) Unix 時(shí)間戳level 統(tǒng)一成 DEBUG/INFO/WARN/ERROR/FATAL 五檔service 和 module 由采集路徑映射。trace_id 是從日志文本里通過(guò)正則抽取的抽不到就置空。error_type 由規(guī)則引擎在判定異常時(shí)補(bǔ)充而不是在清洗階段猜。這塊最值得強(qiáng)調(diào)的是時(shí)區(qū)統(tǒng)一。很多服務(wù)的容器時(shí)區(qū)沒(méi)設(shè)好日志打印時(shí)間有的是 CST 有的是 UTC如果你不在清洗端統(tǒng)一換算成 Unix 時(shí)間戳后面做時(shí)間窗口、同比環(huán)比、按分鐘聚合全部會(huì)亂套。我吃過(guò)這個(gè)虧有個(gè)服務(wù)日志時(shí)間和實(shí)際時(shí)間差了 8 小時(shí)導(dǎo)致告警里的“最近 5 分鐘”實(shí)際上框的是未來(lái)時(shí)間定位問(wèn)題偏了快兩個(gè)小時(shí)。2.2 錯(cuò)誤指紋異常聚類的最關(guān)鍵技術(shù)假設(shè)線上同時(shí)出現(xiàn) 500 個(gè)“連接超時(shí)”錯(cuò)誤但 message 各不相同有的帶 IP、有的帶超時(shí)時(shí)間、有的帶服務(wù)名。如果你直接按 message 全文去重會(huì)得到幾百個(gè)不同事件如果你按“異常類名”去重又可能把完全不相關(guān)的錯(cuò)誤糊在一起。rea 的錯(cuò)誤指紋算法可以理解為“三級(jí)收斂”第一級(jí)取 error_type 堆棧第一行的方法簽名作為主鍵。比如 “Java 連接超時(shí) com.xxx.rpc.RemoteInvoke.doInvoke”這就是一個(gè)主指紋。它表達(dá)的是“哪個(gè)組件在什么操作上失敗了”。第二級(jí)把 message 中的 IP、端口、時(shí)間戳、數(shù)字 ID、UUID 全部替換成占位符再參與聚類。這樣做是為了把“同一類錯(cuò)誤、不同參數(shù)”歸并同時(shí)避免“不同錯(cuò)誤、相同文案”的誤并。第三級(jí)關(guān)聯(lián) trace_id。如果多條異常屬于同一個(gè) trace_id它們就會(huì)被提升為一個(gè)“一級(jí)事件”直接作為一條調(diào)用鏈的根因候選。這個(gè)信息在定位多服務(wù)問(wèn)題時(shí)非常關(guān)鍵單靠日志文本很難還原。實(shí)際寫(xiě)的時(shí)候指紋就是一組字符串字段拼接后取哈希service error_type normalized_message 堆棧摘要。哈希值相同的事件歸入同一個(gè)“問(wèn)題單”。我們按天對(duì)每個(gè)問(wèn)題單計(jì)數(shù)觀察頻次曲線持續(xù)高頻上漲的就是需要立刻處理的。2.3 規(guī)則引擎靜態(tài)規(guī)則與動(dòng)態(tài)基線配合規(guī)則引擎是 rea 把日志變成告警的開(kāi)關(guān)。沒(méi)經(jīng)驗(yàn)的人容易把規(guī)則寫(xiě)成“出現(xiàn) ERROR 就告警”然后被日志里所有正常 ERROR 淹沒(méi)。rea 的做法是把規(guī)則分成三類關(guān)鍵字/正則規(guī)則常見(jiàn)的“OOM”“NullPointerException”“Timed out”“Connection refused”這些直接命中即異常但告警級(jí)別低只記錄不出通知。閾值規(guī)則對(duì)某個(gè) service error_type 組合在滑動(dòng)窗口內(nèi)統(tǒng)計(jì)出現(xiàn)次數(shù)超過(guò)閾值才真正告警。閾值設(shè)定不能一刀切要按服務(wù)的正常水位來(lái)算。動(dòng)態(tài)基線規(guī)則用過(guò)去 14 天同時(shí)間段的數(shù)據(jù)做基線當(dāng)當(dāng)前窗口統(tǒng)計(jì)值超過(guò)基線 3 倍標(biāo)準(zhǔn)差時(shí)告警。這個(gè)規(guī)則是為了抓“數(shù)量異常漲”的場(chǎng)景專門(mén)防那種低頻但重要的錯(cuò)誤。三者的觸發(fā)優(yōu)先級(jí)關(guān)鍵字規(guī)則先打標(biāo)閾值規(guī)則決定出通知?jiǎng)討B(tài)基線規(guī)則決定升級(jí)通知。打個(gè)比方就像一個(gè)安檢系統(tǒng)先看你是不是名單里的人規(guī)則命中再看你出現(xiàn)的頻率是否異常閾值最后看是不是突然成群出現(xiàn)基線。這套設(shè)計(jì)上線后告警準(zhǔn)確率從最初的 30% 提到約 85%。2.4 實(shí)操中的幾個(gè)關(guān)鍵遺憾要提醒你的是規(guī)則引擎不是“配一次就完事”的。日志格式一變、業(yè)務(wù)量級(jí)一漲規(guī)則參數(shù)就要跟著調(diào)。我們當(dāng)時(shí)犯過(guò)一個(gè)錯(cuò)某核心服務(wù)大促流量翻倍錯(cuò)誤總量其實(shí)是正常的按比例上漲但固定閾值規(guī)則直接告警導(dǎo)致值班組半夜爬起來(lái)處理了一個(gè)“假故障”。后來(lái)給所有閾值規(guī)則都加了“同比放行策略”當(dāng)錯(cuò)誤上漲幅度不超過(guò)請(qǐng)求量上漲幅度時(shí)壓級(jí)處理。這也是為什么我強(qiáng)烈建議你一定要給規(guī)則引擎做“歷史回放”能力。用昨天一整天的日志重新跑一遍今天的規(guī)則集看會(huì)觸發(fā)多少條告警再人工判斷哪些是誤報(bào)。我們把“回放攔截率”作為規(guī)則上線的前置卡點(diǎn)回放時(shí)誤報(bào)率超過(guò) 20% 的規(guī)則不允許發(fā)布。3. 實(shí)操過(guò)程與核心環(huán)節(jié)實(shí)現(xiàn)這一部分我把 rea 最小可運(yùn)行版本的單機(jī)搭建過(guò)程寫(xiě)出來(lái)。你不需要一上來(lái)就上集群先用一臺(tái)機(jī)器把鏈路跑通然后再橫向擴(kuò)展。我用的環(huán)境是 Linux Docker Compose Python 3 和一個(gè)輕量的列式存儲(chǔ)組件。為避免被具體實(shí)現(xiàn)細(xì)節(jié)綁架這里只貼關(guān)鍵配置和思路。3.1 環(huán)境準(zhǔn)備與目錄規(guī)劃模擬環(huán)境下我會(huì)準(zhǔn)備三個(gè)目錄input_logs放原始日志、parsed_events清洗后的結(jié)構(gòu)化事件按小時(shí)分目錄、alerts告警產(chǎn)出。目錄規(guī)劃好了整個(gè)調(diào)試鏈路就特別清晰你可以隨時(shí)看某一環(huán)節(jié)的輸入輸出長(zhǎng)什么樣。鏈路中的組件我用 Docker Compose 編排成三個(gè)服務(wù)collector采集、cleaner清洗、analyzer規(guī)則引擎與指紋模塊。無(wú)論生產(chǎn)環(huán)境規(guī)模多大這三個(gè)角色的邊界都不要破。3.2 采集端配置與原始日志接入采集端我直接寫(xiě)了一個(gè)簡(jiǎn)單的 tail 腳本實(shí)時(shí)讀取 input_logs 下的 app.log按行輸出為 JSONtail -F /var/log/input_logs/app.log | while read line; do printf {ts:%s,raw:%s}\n $(date %s%3N) $line done生產(chǎn)環(huán)境不會(huì)這么寫(xiě)會(huì)用帶 buffer 的采集代理但這個(gè)簡(jiǎn)版能讓你理解采集端只做“搬運(yùn)不做判斷”。消息格式只有兩個(gè)字段ts 和 raw。所有解析邏輯交給 cleaner。3.3 清洗端正則抽取與字段收斂清洗端拿到一條 raw 后做三件事第一識(shí)別日志格式。我先定義了幾套解析模板例如 JSON 日志、K8s 日志、常見(jiàn) Java 堆棧日志。識(shí)別方式是對(duì)開(kāi)頭 200 個(gè)字符做快速嗅探如果以{開(kāi)頭就是 JSON否則按文本模板走。第二抽取核心字段。對(duì)文本日志用一組命名正則提取 timestamp、level、trace_id 和 messagepattern re.compile( r^(?Pts\S \S)\s r(?PlevelDEBUG|INFO|WARN|ERROR|FATAL)\s r\[(?Ptrace_id[^\]]*)\]\s r(?Pmessage.*)$ )抽不到 trace_id 的就留空并在 ext_kvs 里標(biāo)記 needed_flag。有意思的是后續(xù)我們做過(guò)統(tǒng)計(jì)根因定位耗時(shí)和 trace_id 缺失率高度相關(guān)trace_id 缺失越多的服務(wù)平均定位時(shí)間越長(zhǎng)。第三做關(guān)鍵詞歸一。比如把多個(gè)空格合并把異常堆棧里的行號(hào)去掉把數(shù)字替換成{num}。這套“脫敏歸一”后的 message 會(huì)直接參與指紋計(jì)算。3.4 規(guī)則引擎核心代碼示意規(guī)則引擎我用一個(gè)表達(dá)式來(lái)判定每個(gè)規(guī)則就是條件 動(dòng)作。條件支持 in、regex、count_window、baseline_ratio 四種操作。下面是個(gè)示例規(guī)則定義def rule_conn_timeout(event): if event.error_type ! CONN_TIMEOUT: return False window_count sliding_window_count(event.service, event.error_type, window300) if window_count 50: return False if not exceed_baseline(event.service, event.error_type, ratio3.0): return WARNING return CRITICAL說(shuō)明一下這里的兩個(gè)參數(shù)window300 表示在 5 分鐘內(nèi)統(tǒng)計(jì)baseline_ratio3.0 表示當(dāng)前窗口計(jì)數(shù)要超過(guò)歷史同期均值的三倍才升級(jí)。這兩個(gè)參數(shù)不建議一開(kāi)始就設(shè)得很嚴(yán)先放寬讓告警多產(chǎn)生一點(diǎn)然后每天根據(jù)回放結(jié)果收緊。處理后的異常事件進(jìn)入問(wèn)題單聚合器按指紋哈希分桶。同指紋事件只更新計(jì)數(shù)、首末時(shí)間和關(guān)聯(lián)的 trace_id 列表不新增記錄。等到窗口結(jié)束時(shí)問(wèn)題單才正式落庫(kù)并觸發(fā)告警。3.5 從模擬注入到效果驗(yàn)證為了驗(yàn)證鏈路我寫(xiě)了一個(gè)腳本向 input_logs/app.log 注入 500 條模擬錯(cuò)誤日志包含真實(shí)的服務(wù)名和隨機(jī) IP并在 2 分鐘內(nèi)分三批注入。rea 跑完后的結(jié)果是清洗端識(shí)別出 481 條事件規(guī)則引擎命中 468 條指紋聚類后歸并為 3 個(gè)問(wèn)題單每個(gè)問(wèn)題單都帶上了首次出現(xiàn)時(shí)間、計(jì)數(shù)和涉及的 trace_id 列表。這里要特別看一個(gè)參數(shù)這 481 條事件里關(guān)鍵字規(guī)則命中率其實(shí)是 97%但閾值規(guī)則只對(duì)其中 2 個(gè)問(wèn)題單觸發(fā)告警第 3 個(gè)問(wèn)題單因?yàn)轭l次低于閾值只是記錄。這個(gè)設(shè)計(jì)是故意的低頻但嚴(yán)重的錯(cuò)誤也要留痕只是不能大半夜把值班人吵醒。整體跑完從日志寫(xiě)入到問(wèn)題單落庫(kù)平均耗時(shí) 8.6 秒。當(dāng)然這是在單機(jī)模擬環(huán)境生產(chǎn)環(huán)境會(huì)把 collector 和 cleaner 分開(kāi)部署吞吐會(huì)再漲一個(gè)量級(jí)。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄任何日志分析系統(tǒng)上線三個(gè)月內(nèi)一定會(huì)遇到下面這幾類問(wèn)題。我把典型場(chǎng)景、現(xiàn)象、原因和解決辦法整理成一個(gè)速查表也都是我親自排查過(guò)的真實(shí)案例。問(wèn)題現(xiàn)象根本原因排查與解決思路清洗端解析命中率只有 60%大量日志落入 unparsed正則模板順序不對(duì)被誤判格式給解析模板加權(quán)重和 fallback 標(biāo)記定期統(tǒng)計(jì) unparsed 占比超過(guò) 10% 告警同類錯(cuò)誤被拆成幾百個(gè)問(wèn)題單message 里的 IP、端口、實(shí)例 ID 沒(méi)有被歸一檢查歸一化正則確保對(duì) IP、UUID、數(shù)字 ID 都做了替換在指紋生成前統(tǒng)一走 normalize_message 函數(shù)某服務(wù)固定閾值頻繁誤報(bào)業(yè)務(wù)量漲導(dǎo)致錯(cuò)誤總數(shù)同步上漲但占比正常閾值規(guī)則加上同比放行或改為動(dòng)態(tài)基線方式告警重復(fù)轟炸同一問(wèn)題 10 分鐘告警 30 次缺少告警聚合與去重按指紋 時(shí)間窗口聚合同一問(wèn)題單僅首次觸發(fā)通知后續(xù)只在問(wèn)題單狀態(tài)變化時(shí)通知時(shí)間窗口判定的“最近 5 分鐘”與實(shí)際不符部分日志時(shí)間戳是本地時(shí)間未統(tǒng)一時(shí)區(qū)清洗端強(qiáng)制將 timestamp 轉(zhuǎn)為毫秒級(jí) Unix 時(shí)間戳對(duì)無(wú)年份或無(wú)法解析的時(shí)間樣本打標(biāo)丟棄存儲(chǔ)增長(zhǎng)過(guò)快一周吃掉 200GB把清洗后的全量 JSON 都落庫(kù)了原始日志只保留 6 小時(shí)異常事件保留 14 天特征聚合數(shù)據(jù)保留 30 天以上里面最隱蔽的坑是第一行的“unparsed 日志”問(wèn)題。因?yàn)槿罩靖袷接肋h(yuǎn)在變某天一個(gè)服務(wù)升級(jí)了日志打印框架老正則全部失效如果解析命中率沒(méi)有監(jiān)控規(guī)則引擎就像瞎了一樣。我在 rea 里加了解析命中率看板低于 90% 自動(dòng)高亮告警這樣至少能在業(yè)務(wù)抱怨“告警變少”之前發(fā)現(xiàn)問(wèn)題。另一個(gè)實(shí)操技巧對(duì) message 做正則抽取時(shí)務(wù)必用編譯后的正則對(duì)象不要每次實(shí)時(shí) re.compile。在日志量大時(shí)正則編譯的開(kāi)銷會(huì)被放大幾十倍。我用 Python 的re.compile提前編譯并緩存 200 多個(gè)模板解析吞吐從每秒 800 條提升到 2500 條。5. 擴(kuò)展思路與個(gè)人使用體會(huì)rea 這套思路不只能用在日志上。后面我把同一套“清洗層 指紋層 規(guī)則層”的代碼復(fù)用到了調(diào)用鏈異常分析里把分布式 trace 中每個(gè) span 的 status 信息作為輸入清洗抽取出 service、operation、error_code指紋改成 “service operation error_code 相鄰 span 特征”規(guī)則層用同樣的滑動(dòng)窗口和基線告警。這樣連日志里沒(méi)有顯式打印的錯(cuò)誤也能被快速圈出來(lái)。整套擴(kuò)展大概花了一周時(shí)間無(wú)非是換了輸入源和幾個(gè)解析模板架構(gòu)完全沒(méi)動(dòng)。我在實(shí)際使用中最大的體會(huì)是做日志分析系統(tǒng)最難的其實(shí)不是寫(xiě)規(guī)則、不是調(diào)閾值而是建立“對(duì)異常數(shù)據(jù)形態(tài)的敏感度”。你摸清自己的系統(tǒng)在什么時(shí)段、什么負(fù)載下會(huì)打印什么類型的日志才能真正定義出有效的錯(cuò)誤指紋和基線。規(guī)則和算法都是工具判斷力來(lái)自一次次回放和歷史問(wèn)題復(fù)盤(pán)。最后分享一個(gè)事實(shí)一開(kāi)始我們過(guò)于糾結(jié)“錯(cuò)誤指紋”算法要用多復(fù)雜的聚類模型后來(lái)發(fā)現(xiàn)先通過(guò)“error_type 歸一化 message 堆棧摘要”三級(jí)拼接做哈希就能解決 80% 的聚類問(wèn)題。樸素的做法未必不優(yōu)雅關(guān)鍵是先把鏈路跑起來(lái)用真實(shí)數(shù)據(jù)校驗(yàn)再逐步迭代。這套 rea 的完整實(shí)現(xiàn)并不復(fù)雜單體代碼量也不大但鏈路中每一層都有值得打磨的地方。如果你正在被日志查詢慢、告警不準(zhǔn)、根因定位困難這三件事困擾不妨也照著四段流水線的思路先搭一個(gè)最小閉環(huán)再逐步完善。踩完這些坑之后你會(huì)越來(lái)越認(rèn)同一個(gè)觀點(diǎn)好的可觀測(cè)性工具不是把所有數(shù)據(jù)都堆給你看而是替你完成第一輪減法——在正確的時(shí)間用正確的粒度把可疑的東西擺到你面前。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99免费| 五月天伊人| 婷婷五月色情天| 五月婷婷在线免费观看| 91丁香色五月| 久久婷婷六月天| 激情五月网站| 久久伦乱| 日木WWW视频| 婷婷丁香综合色AV| 精品色情一区二区三区四区| 午夜丁香婷婷| 国产精品美女久久久久AV超清| 五月天婷婷色综合| 狠狠狠狠青草| 五月花综合网| 婷婷五月天综合AV| 成人国产欧美大片一区| 99精品视频免费在线播放| www91精品| 国精产品一区一区三区免费视频| 人妻22p| AV九九| 99这里只有精品| 黑人巨粗进入警花疼哭A片| 丁香久久在线| 国产超碰人人| 亚洲婷婷五月天综合| 激情婷婷人妻| 成人免费va| 综合网啪啪| 婷婷99| 深爱五月天| 人妻精品久久久久久| 偷偷操99| 丁香九月综合在线| 久久66精品| 26uuu丁香婷婷五月| 国产AV一区二区三区最新精品 | 亚洲V国产V欧美V久久久久久| 91se精品国产| wuyuedingxiang99| 97干在线播放| 丁香色五月天| 超碰无码老师| 色色是色N一| 东北婷婷五月天| 狠狠色大香蕉| 日日夜夜狠狠婷婷色| www.日韩艹| 色色色无码| 婷婷丁香在线| 久久婷婷青青| 97色碰| 五月丁香婷婷婷婷综合网| 五月婷婷六月少妇激情| 天天色天天| 色和综合网| 九九综合图片网| 婷婷丁香色五月亚洲| 亚洲精品色色色| 99热亚洲| 日本精品人妻无码77777| 97伦色婷婷| 婷久久| 亚州欧美国产久精国产99综合视频| 五月婷婷丁香深深爱| www.热99热| 精品久热69| 国产亚洲精品久久久久久牛牛| 丰满少妇乱A片无码| 99热这里只有精品33| 久操97| 丁香五月欧美婷婷综合| 天天艹天天色| 亚洲无AV在线中文字幕| 婷婷五月 丁香六月| 97色色色视屏| 99热一区| 婷婷欧美色| 亚洲精品电影| 久久久8| 婷婷丁香五月综合免费视频百花| 亚洲妇女熟BBW| 婷婷色婷婷亚洲成人| 成人网站免费在线播放| 第五婷婷伊人丁香色| 激情五月丁香亭亭| 热久久色| 狠狠五月激情丁香六月| 91尤物九色在线| 欧美性爱五月天| 99在线看片| 亚洲激情五月丁香久久久久| 亚韩精品视频1区| RenRenSe在线视频网站| 开心色色五月天综合| 婷婷色色欧美| 五月天俺去也| 亚洲人妻av伦理| 2017人人操| 激情五月天色爱| www.久久久久| 五月婷婷导航| 思思精品热在线| 狠狠综合网| 久草九九| 丁香五月天AV| 五月婷婷丁香在线| 精品久久久91久久影视网| 婷婷激情六月综合| 五月丁香婷婷基地| 伊人婷婷福利网| 五月天婷婷色在线视频免费观看 | 成人在线观看精品| 五月丁香综合啪啪啪啪啪| 日日干夜夜干| 色色综合网。| 五月丁香六月婷婷手机无线| 色婷婷在线视频| 狠狠狠狠狠狠色| 婷婷精品性性性性性性性| 超碰在线成人| 激情婷婷丁香五月天小说| 97婷婷五月丁香| 色亚洲婷婷| 天堂伊人干| 五月丁香激情欧洲啪啪| www91在线| 欧美乱码国产一级A片| 日本久久99久久| 婷婷六月综合基地| 精热在线综合网| 五月激情综合网| 婷婷免费无视频| 成人久碰| 日韩久久色| 五月天婷婷久久| 丁香五月天在线直播观看| 免费视频WWW在线观看网站| 天天天添天天操| AV操一操| 9l视频自拍9l九色成人| 天天综合天天玩夜夜玩天天玩夜夜玩| 色婷婷五月天成人网| 欧美日韩国产一二区| 亚洲一区先锋影音| 成人午夜天| 国产欧美日韩性爱| 亚洲色网址| 婷婷久月| 色五月在线播放| 91丨九色丨熟女|新版| 婷婷五月丁香五月综合网| 丁香婷婷欧美综合| 日韩十国产极品久久| 欧洲MV日韩MV国产| 欧美毛片www| 欧美激情综合| 狠狠色性| 亚洲三A| 婷婷五月天777| 久久九九网| 久久婷婷五月天懂色| 色哟哟精品| 91porn一起草| 国产操碰| 无码色色色色色| 99色这里| 亚洲综合婷婷| 久久性爱视频免费| 免费视频在线观看的网站| 清色五月天| 日日狠狠久久偷偷四色综合免费| 五月天丁香婷婷视频网址 | 国产成人亚洲综合亚洲| 99国产精品久久久久久久久久久| 久久婷婷丁香六月天| 人妻激情视频| 久久五月婷综合| 久久999久久999久久999久久| 91色噜噜狠狠狠狠色综合| 超碰精品在线| 欧美日韩成人一区二区| 大地资源色婷婷视频在线| 国产精品日日躁夜夜躁| 久久精99| 9热网站| 色综合中文| 激情五月天色爱| 丁香五月情| 乱乱av| 99久在线| 久久一级免费黄色片| 婷婷综合精品视频97| 日韩AV在线免费| 五月丁香六月婷婷操操操| 五月婷天堂视频| 亚洲激情亚洲激情 | 婷婷五月亚洲综合| 色五月av| 97涩涩丁香五月天| 五月婷婷综合在线视频| 狠狠操狠狠插| 丁香五月欧美成人| 五月天大香蕉| 狠狠操.COM| 伊人九九68| www.成人婷婷综合| 91精品无码久久久久久五月天| 俺去也在线视频| 亚洲av电影网站| 激情五月天激情综合网| 少妇婷婷五月天| 99热最新精品| 狠狠狠狠免费| 色噜噜狠狠狠狠色综合久欧美| 久久婷五月天| 欧美黑人巨大性生话| 先锋资源 996| www热久久yy9| 五月婷六月| 夜夜骑日日操| 日本va欧美va欧美va精品| 九九成人电影婷婷| 在线观看国产高清视频免费网站 | www一起操| 全部老头和老太XXXXX| 欧美综合123区| 爆乳熟妇一区二区三区四区| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 色激情五月| 激情五月成年| 搡BBBB搡BBB搡18 | 六月丁香网| 日韩av在线免费观看| 99色在线观看视频| 日韩AV色色色| 99爱最新免费视频在线观看| 成人五月天在线视频在线观看| 色婷婷亚洲在线观看| 激情内射人妻1区2区3区| 亚洲欧美综合7777色亭亭| 日韩人妻操逼视频| 免费婷婷| 日本啪啪视频HD| 激情婷婷色五月| 六月丁香色色| 丁香婷婷五月份| 五月婷婷之综合激情| 99久久精品色老| www.色婷婷.com| www一区二区三区| 超级碰碰碰97免费| 成人国产欧美大片一区| 亚洲综合婷婷五月天| 亚洲激情| 97香蕉碰碰人妻国产欧美| www.五月天。com| 丁香五月黄色| 色九月| 婷婷五月天AV| 色五月婷婷7777| 丁香五月婷婷基地| 亚洲色欲欧美一区二区三区| 欧美日韩国产伦精品日韩人妻一| 久久亚洲婷婷| 99热这里只有精品最新| 五月天久久久| 日韩小视频在线99| 免费观看的av| 丁香五月天堂| 无码天天操| 人人干人人操外国| 在线不卡的视频| 久久青草国| 9l视频自拍九色9l黑人| 日本nghangse中文字幕| 亚洲一级AV在线免费播放| 99久免费视频| 99re热在线观看| 亚洲综合999| 久久色五月天| 一起草av| 色亭亭五月天网扯| 五月开行婷婷色五月| 99色看| 久久久99精品| 九九在线精品| 色激情综合| 色99网| 亚洲五月天婷婷| 九九热免费视频| 五月天成人综合| 美日韩成人| 99视频精品视频| 久热这里只有精品在线观看| 五月丁香欧美综合免费视频| 很很干天天干| 啪啪啪大香蕉| 久99999热视频在线观看免费| 色色婷| 丁香五月激情网| AV九九| 国产精品国产成人国产三级| 色色色五月| 99玖玖人人| 成人版视频在线观看| 狠狠综合久久| 三级成人网站| 丁香婷婷五月综合| 色五月丁香五月| 禁欲电影完整版在线播放| 国产精品色色| 99视频35精品视频在线观看| 这里精品| 99色热视频| 亚洲欧美婷婷五月色综合| 九久九精品| 91超级碰碰| 天天操夜夜操| 久久婷婷综合五月趴| 激情综合五月色在线| 丁香五月六月综合激情| 五月天色站| 影音先锋男人女人| 99精品网| 日本丁香五月| 色色五月婷| 开心激情综合| 欧美婷婷色五月| 五月丁香美女| 九月停停| 国产精品成人AV在线观看春天| 天天色天天| 欧美视频在线观看噜噜| 5月婷婷6月丁香aV| 五月丁香色婷婷婷基地| 热99国产精品| 妇激情基地| 午夜丁香综合婷婷| 婷婷九月在线| 九月av在线| EEUSS鲁片一区二区三区| 97操操| 婷婷六月亚洲综合| 人妻久久久久久久 | 可以免费观看的av| 国精产品一区一区三区免费视频| 国内精品免费一区二区2009| 91日韩在线| 激情色视频| 九九色影院| 亚洲网综合在线| 亚州操操| 色五月之第四色| 婷婷丁香18| 亚洲五月婷| 91精品久| 狠狠色狠狠鲁| 99热伊人| 操婷婷基地| 嫩草综合网| 伊人网啪啪| 欧美日本韩国亚洲| 色五月天天在线观看资源站| 五月丁香综合影院| 射婷婷中文字幕| 99热天堂| 激情小说五月天社区丁香| 五月丁香色婷婷色| 日本色图综合| 日本久久天堂| www。五月天激情| 夜夜资源站| 日韩精品一区二区亚洲AV观看| 九色在线五月婷婷网址| H亚洲| 99国产99| 婷婷狠狠香蕉综合| 激情婷婷综合网| 激情五月天99色| 五月天基地| 2013AV天堂| 四色五月视频| 色综合久久中文| 伊人久久大香线蕉av一区| 五月丁香成人| 99天堂网| 九九热这里精品| 色婷婷五月天激情在线播放| 五月天婷婷乱| 激情五月,婷婷五月,丁香五月| 五月婷婷九| 久久66成人网站| 久久少妇视频| 超碰在线免费9| 九色91视频| 超碰成人在线观看| 日韩婷婷| 丁香五月之久操视频| 五月婷婷亚洲天堂97色婷婷| 综合 蜜月 婷婷| 久草狼人| 日本色色网| 人人射人人高潮| 深夜A片| 欧美性爱五月天| 99精品国产热久久91色欲| www.婷婷| 99久热精品在线| 六月丁AV| 五月婷中文娱乐综合| 久久久99精品| 人妻免费网站| 婷婷丁香在线播放| 四色五月婷婷| 久久婷婷激情视频| 五月丁香婷婷色播无码| 99热这里只有精品在线观看| 激情久久网 | 亚洲AV成人在线观看| 激情99。| 精品无码久久久久久久久| 综合激情啪啪| AA片在线观看视频在线播放| 亚洲在线激情婷婷五月| 亚洲精品久久久无码| 国产永久一二一起草| 色综合婷婷| 六月99天天婷婷激情综合| 亚洲九区| 免费视频舔| 99精品视频在线观看| wuyuedingxiang99| 色婷婷综合视频| 丁香五月综合高清在线| 欧美va亚洲va在线播放| 成人一级片| 1000部毛片A片免费观看| 久久婷婷免费| 色婷天天| 天天日人人爽| 噜噜色五月| 五月天综合色| 国产在线视频1234| 极品色丁香| 五月丁香婷中文| 五月丁香婷婷六月| www.色综合| 欧美十二区| 免费播放片大片| 五月天天天综合| 综合九色| 人妻AV在线| 五月丁香六月婷婷在线播放| 久久9久| 久久人妻少妇嫩草AV| 五月婷婷六月丁香首页| 色婷婷成人影片| 丁香婷婷五月| 五月色综合| 久久99免费视频| 99热网站| 99热官网精品在线| 亚洲另类在线观看| 射久久丁香五月| 婷婷舔| 五月综合色| 福利视频在线播放| 色人久夂| 婷婷激情5月| 天天舔天天摸视频| 久久一级片| 国产激情综合| 色久五月| 狠狠色丁香久久| 天天狠狠夜夜狠狠2023| 亚洲夜夜操| 五月婷久久草| 狼人久草| 五月丁六月香| 色综合久| AV变态另类一区二区| 五月激情网站| 草婷婷在线| 五月天之色情综合网| 日本99热| 激情欧美五月丁香| 五月丁香久人妻中文| 色婷婷8| 少妇综合网| 色999亚洲人成色| 人人操9| 五月天色综合| 99热99操| 精品一二三区久久AAA片| 国产麻豆视频| 深情六月婷婷综合久久| 91操在线视频| 久久婷婷五月综合色天| 五月丁香天堂网婷婷| 久婷五月| a在线免费v| 综合综合网| 九九亚洲| 玖玖在线视| 婷婷干五月综合在线播放| 成人综合网站| 99色在线视频| 五月天婷婷丁香导航| 色综啪啪网| 久热久色| 婷香五月| 在线中文亚洲| 久久婷婷成人综合色怡春院| 怎么样可以看免费的一级av| 99精品在线播放| 婷婷五月天小说| 亚洲黄网在线| 六月丁香婷婷开心综合基地| 日本九九九九| 思思久久99热| 色综合久久888| 91天堂网综合| 婷婷丁香人妻天天| 91麻豆国产三级精品福利在线观看| 色婷婷综合影院| 五月丁香婷婷潮喷中文字幕| 色天堂婷婷| 欧日韩AV| 五月天成人综合| 丁香婷婷五月综合影院| 五月天播播中文字幕 | 99这里有精品免费| 996热| 日日夜夜狠狠| 五月天婷婷色综合| 麻豆WWWCOM内射软件| 天堂A∨在线| 欧美α√| 天天射天天射一道本日本社区| 任你日热视频| 99ri6在线视频| 99精品国产在热久久| 激情综合区| 99精品在这里| 色婷婷狠狠干芒果TV| 天天拍夜夜撸| 婷婷综合欧美| 99热老司机| 97在线日本| 91免费啪视频| 婷婷综合中文| 9久热精品在线视频| 久热这里只有精品6| 色五月丁香婷婷久草| 婷婷五月丁香网| 成人狠狠成人狠狠成人狠狠成人狠狠| 91丨九色丨熟女| www91久久| www久久久久久久| 五月Huangsewang| 亚洲xx在线| 五丁香激情综合| 人妻中文在线| 99综合婷婷五月| 狠狠精品干练久久久无码中文字幕| 日良久久| 狠狠色综合网站久久久久| 超碰在线免费| 亚洲激情网| 九九黄色网| 激情五月天影院| www.激情.com.| 五月天婷婷基地| 26uuu淫色| 无码日本精品XXXXXXXXX | 婷婷五月天激情偷拍| 国产精品国产成人国产三级| 九九99热| 婷婷五月激情欧美| 五月色综合| 日本天天操| AAAA亚洲| 综合色七七| 五月丁香淫淫婷婷婷| 天天网曰日曰夜夜综合永久免费| 欧美成人五月天| 五月丁香婷婷啪啪网| 亚洲婷婷激情综合激情999精品| 色婷婷四虎| www.操.com| 五月激情射| 亚洲高清在线| 五月天激日本色情在线| 少妇被躁爽到高潮无码文| 99热这里只有精品13| 婷婷在线日韩综合| 五月天亚洲综合网| 久草视频一,二三四| 日韩久久视频| 婷婷色无码| 婷色影院| 婷婷社区五月天| 久久99jiu9| 午夜九九九九九九| 狼友超碰| 思思久久网| 九九这里有精品视频| 青青福利网| 丁香激情五月少妇| 91久久九久久九久久九久久九久久| 色婷婷五月中文字幕在线dvd| 777丁香六月青青草婷婷综合久月| 电影爱拉战争免费观看| 狠狠干青青草| 色在线视频网2025| 婷婷情色五月天| 大香蕉人妻| 色五月激情综合网| 婷婷五月丁香基| 激情色情五月天| 婷婷成人AV| 99热最新地址在线| 五月天激情国产综合AV| 极品九九九九九九| 丁香六月久久| 日日操夜夜爽天天天| 日日夜夜爽| 91偷拍视频| 亚洲激情久久| 久久久久视剧HD| 综合99综合久久久久久久| WWW.五月天9999| 久久久激情| 五月丁香婷婷人体| 丁香五月网| 亚洲色五月| 精品A√| 天天摸天天肏| 亚洲五月六月婷婷| 色五月成人| 综合激情网五月激情| 日韩熟女啪啪视频| 欧美97色| 五月丁香婷婷婷婷综合网| 《久久综合九色综合97婷婷| 久久婷婷热| 九九99一区| 亚洲人妻av| 婷婷综合玖玖五月| 丁香婷婷五月| www开心激情网| 色综合天堂| 三级黄色大片视频| 人妻AV在线观看| 欧美亚洲婷婷五月| 婷婷五六月丁香| 国产精品色| 人人操AV| 亚洲网综合在线| 丁香六月激情| 婷婷色在线视频| 丁香五月激情网| 深爱婷婷色| 婷婷六月天| 拍真实国产伦偷精品| 国产另类综合| 三级毛片视频| 欧美影院| 五月丁香六月激情综合在线| www.婷婷五月天| 九月丁香八月婷婷加勒比| 色色色色五月天| 五月激情五月婷婷五月天在线| 九九99视频精品| 99性视频| 五月色婷婷综合| 99精品这里只有免费视频| 婷婷五月18永久免费网站| 欧美性做爰大片免费看办公室| 五月丁香六月香综合激情| 99热主页日本| 丁香亚洲色综合| 五月婷婷免费在线观看视频| 青青草原爱爱网| 久草五月婷婷| site:xiongshengzz.com| 丁香五月天社区| 97色伦另类图片小说视频| 欧美日韩婷婷五月天| 五月丁香777| 色综合久久中文| 伊人五月综合网| 天天肏天天插| 狠狠色婷婷色| 91碰碰碰| 99性爱无码| 一级七香蕉| 99热精品99| 另类色视频| 99国产在线精品视频| 97婷婷五月天| 欧美五月婷婷| 国产暴力强伦轩1区二区小说| 天天开心婷婷丁香五月| 婷婷六月天| 色五月激情五月| 精品久久久人妻| 丁香五月天狠狠| 99视频精品全部免费观看| 天天想夜夜爽天天爽| 99热综合在线| 四射综合网| 淫视馆av三区| 久草热久草在线视频| 青青草激情网| 婷婷99狠狠躁天天躁中| 开心五月婷婷婷美女| 韩国97天堂| 强辱丰满人妻HD中文字幕| 99热在线观看免费精品| 婷婷综合色图| 色在线99| 色五月亚洲| 天天操天天操天天操天天操天天操天天操| 五月丁香久久精品在线观看 | 97啪啪| 99久久五月丁香野外| 色婷婷香蕉在线| 夫妇交换刺激做爰| 五月天婷婷基地| 色婷婷综合网| 婷婷伊人| 男女99免费视频| 婷婷五月综合网| 丁香激情网| 婷婷九月丁香| 色屌丝中文字幕| 五月天久久综合婷婷丁香| 五月丁香六月婷婷亚洲| 婷婷五月天论坛| 丁香五月天欧美| 五月激情视频网| 欧美色六月婷婷| 99热 在线观看| 丁香六月婷婷综合色| AV九九| 久久丝丝热| 激情久久久| 丁香五月天激情| 五月丁香美女视频| 久热只有这里有精品| 激情五月天婷婷| 五月天激情黄色小说在线观看| 婷婷爱五月| 丁香色婷婷| 情婷婷五月天在线| 99久久新视频| 婷婷伊人欧美| 99精品在线播放| 久久天堂| 丁香五月综合在线观看| 欧美噜噜久久久XXX| 99.N在线视频| 免费观看欧美成人AA片爱我多深 | 色色婷婷综合网| 成人 在线 日韩| 9999综合99综合人| 激情内射人妻1区2区3区| 97在线综合| 亚洲欧美另类在线23p| 久久综合九色综合88i| 人人草人人爱| 日韩精品一品二区三区的使用体验| www.超碰| 超碰无码318604| 曰本久久女| 丁香五月天啪啪| 久久婷婷色| 天天做夜夜爽| 天天色官网| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 日韩视频99| 激情五月天开心总和网| 天天摸天天透天天舔| 色天堂A| 超碰AV在线| 五月丁香五月婷婷| 国产成人AV| 91a片爽| 亚洲成Av人片乱码色第1集| 五月丁香综合影院| 色婷婷影视| 99热99热在线观看| 99精品7| 丁香五月五月婷婷| 日韩高清成人| 激情五月天色色网| 天天日天天久久青青| 成片免费观看大全| 182TV亚洲| 丁香色五月婷婷17C| 久久五月天激情视频| 日韩在线aaa| 婷婷五月天视频免费在线观看| 五月天成人网在线观看| 激情婷婷五月| 色婷婷成人做爰A片免费看网站 | av中文在线| 日本在线免费中文com.| 欧美爆乳一区二区三区| www.操.com| 97色色色色色| 欧美成人AAA片一区国产精品| 免费视频WWW在线观看网站| 丁香伊人五月色婷婷五十路| 伊人久久大香蕉网| 亚洲国产精品SUV| 色色色宗合网| 五月丁香六月激情综合| eeuus五月婷| 先锋男人99资源| 日日噜狠狠色综合久| 亚洲黄色影视| 久久综合九色综合97婷婷| www.综合久久| 婷婷五月激情热播| 婷婷综合伊人丁香| 婷婷综合色图| 图片区 小说区 区 亚洲五月| WWW嗯嗯啊啊啊啊| 97日在线视频| 26uuu美女三级视频| 日本高清久| 99色在线观看视频| 五月婷在线影院| 色五月婷婷操逼| 91色九| 色色婷婷丁香| WWW,色五月| 综合激情网五月激情 | 性天天中文网| 99热这里只有免费精品| 五月激情影院| 欧美久久网| 婷婷99热| 丁香六月激情综合| 婷婷激情五月| 欧美槡BBBB槡BBB少妇| 91午夜婷婷狠狠久久综合9色| 色狠狠综合| 少妇性按摩无码中文A片| 伊人久久婷婷| 激情内射人妻1区2区3区| 婷婷综合中文字幕| 9色小视频在线观看| 色综合偷拍| 色热久| 五月丁香手机在线| 日在线V视频在线播放| 激情小说之五月| 日日夜夜狠狠干| 无码动漫av| 伊人久久婷婷| 婷婷五月天色| 久久激情四射| 五月天激情综合首页| 最新丁香六月婷婷| 白人荫道BBWBBB大荫道| 久久久久亚洲AV无码网影音先锋| 久久黄A片| 激情欧美丁香五月| 99热综合| 99综合自拍| 国色天香伊人狠狠色| 五月天激情小说| 二区成人视频| 天天综合干| 无码人妻激情| 最新婷婷五月丁香| 婷丁五月| 狠狠爱婷婷| 激情五月天。| 五月丁香 六月婷婷a| 色五月婷婷一二| 免费看欧美成人A片无码| 丁香五月激情棕合| 99青青草| 久久草大香蕉| 成人国产欧美大片一区| 色婷婷操逼| WWW,五月| 91|疯狂丨高潮丨对白| 91干| 99热在线只有精品| 国产精品电| 天天日天天舔天天摸| 狠狠穞A片一區二區三區| av操逼网| 色婷婷五月天天天天天| 久久综合影院 | 丁香五月激情五月| 五月丁香亭亭成人电影| 婷婷丁香久久| 第四色网婷婷| 99热在线观看亚洲区| 青青草国产亚洲精品久久| 无码啪啪| 九九这里有精品| 久久受www免费人成| 日操| 内射综合网| 视频1区2区| 婷婷五月天成人网站| 思思热在线观看| 依人大香蕉| 2017人人操| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 色婷婷五月天天天做| 五月开心久久| 99操逼| 婷婷99丁香| AAAA亚洲| 狠狠狠狠狠狠| 青青久在线视频免费观看| 97碰人人操| 色视五月天婷婷| 任我肏| 五月天久久婷| 久婷久婷激情肉| 狠狠擼综合| 人人人操| 日日操夜夜操中国无码| 99婷婷五月天| 久久精热| www.亚洲激情.com| 欧美色欲色欲天天天www| 大战熟女丰满人妻AV| 深爱五月激情综合| 精品久久99码| 久久久久婷婷| 亚洲第一成人无码A片| 久久久A级视频| 日韩1区2区| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 在线观看av网站| 天天色凹凸| 天天摸天天日天天舔| 成人中文网| 丁香婷婷少妇| 99这里都是精品| 婷婷丁香六月五月天| www激情| 99re热视频这里只有综合亚洲| 开心激情综合| 婷婷丁香综合| 26uuu亚洲| 超级97碰碰| 亚洲综合激情五月久久| chaopeng在线人人| AV在线资源| 五月婷婷第四色| 国产FREESEXVIDEOS性中国 | 伊人婷婷五月天| 色狠狠综合网| 成人av免费观看| 538任你爽| 女同激情久久av久久| 九九热10| 大香蕉久操| 99小视频在线| 丁香五月社区| 天天肏屄夜夜爽| 五月天激情婷婷| 影音先锋xfplay资源男人网| 9久久精品| 久久只有这里精品免费| 婷婷视频网| 日本在线免费中文com.| 国产精品激情AV久久久青桔| 五月天中文字幕在线婷婷| 一级黄在线| 五月婷婷视频28| 久综合4| 九九这里都是精品| 六月丁香激情| 日韩性视频| 婷婷99狠狠| 99爱视频| 色综合久久88色综合中文字幕| 99热欧美| 久久五月天精品视频| 中文字幕日产A片在线看| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 九九热精品视频在线观看| 97色永久免费视频| 亚洲久久激情| 婷婷五月天 偷拍| 午夜69成人做爰视频| 久久激情五月网| 超碰在线播放免费观看| 猫咪伊人久久| 丁香五月婷婷狠狠色| 五月婷婷六月激情| 色噜噜狠狠狠综合曰曰曰| 九九超日本| www.色99| 亚色网站小视频| αv中文字幕在线观| 99色色色色| 久久伊人9| 五月丁香网站在线播放| 久婷婷视平| 丁香婷婷基地| 五月天堂婷婷| 久久人人看| wwccc久久久| 婷婷五月激情视频网| 欧美久久网| www.狠狠操.co m| 99干日日干| 天天干狠狠艹| 97碰超级人人看| 九月婷婷| 五月丁香淫淫婷婷婷| 久久精品五月天| 激情综合五月婷婷| 一级二级香港秋霞欧美欧美秋霞| 97日本在线播放| 99精品视频在线观看| 婷婷五月天网址| 夜夜夜夜夜操| 丁香玖玖| 色婷婷69| 91一起操| 99热这里只有精品3| 色情五月丁香婷婷网| 99干免费视频| 97干视频在线| 色综合爱综合| 亚洲欧洲一二| 亚洲色视频| 天天日天天操天天干| 婷婷丁香先锋资源网站| 亚州操人在线视频| 人人做人人看人人摸| 色老久久| 91久久久久久| 色婷婷六月丁香综合欲精品| 热99精品视频| 久久综合五月天| 丁香六月婷婷一区二区三区| 日本91在线| 69凹凸成人综合网| 91九色无码日韩| 久久五月丁香六月婷| 欧美一级毛卡片无码| 丁香六月婷婷| 99色爱| 欧美色色色色色| 成人.在线日韩| 婷婷久久五月天丁香| 亚洲激情电影五月天色婷婷丁香一起草| 99精品偷自拍| 色婷婷天堂| 五月丁香婷色| 91人操人人人操人| 96精品成人无码A片观看金桔 | 久操97| 日本精品人妻无码77777| 色五月涩涩婷婷| 色噜噜,噜噜色| 午夜在线成人网站免费观看| 99热网站| 亚洲永久免费| 99色在线| 99热99热在线| 97色色婷婷五月天| 五月综合色| 色久免费| 碰超99| 色色亚洲99com| 婷婷丁香五月激情| 播四月婷婷六月丁香| 丁香六月婷月91婷月| 色色色色色五月| 五月开心网| 色噜噜狠狠色综合网| 天天干夜夜欢| 五月天综合在线| 丁香五月婷婷激情蜜桃| 五月丁香婷婷基地| 久久这里只精品| www.五月天性.com| 黄页免费一级视频懂色| 五月情婷婷| 五月婷婷丁香五月亚洲色| 日本99视频精品免费播放| 九九一区| 色99网站| 久久精品只有这| 成人五月天在线视频在线观看| 99热黄| 欧美成人精品三区综合A片| 国产97色在线 | 日韩| 这里只有免费的精品| 九九碰九九爱97| 婷婷综合一二三| 综合av在线| 婷婷在线精品| AV人人操| 五月综合777| 99re热视频这里只有综合亚洲| 色综合久久久无码中文字幕999| 久久久性爱视频| 一级操逼内射在线视频| 二人电影免费版在线观看| 久久婷五月综合| 波多野结衣不卡AV| 天天插天天插| 婷婷射图五月天| 色琪琪一综合久久激情五月视频| 996er热| 色色性爱视频| 婷婷日在线观看| 伊人9草在线观看| 色狠狠色| 99九九综合久久九九| 99精品小视频| 亚洲九九99精品视频在线播放| 91 原创 在线 九色| www九九免费视频| 少妇被躁爽到高潮无码文| 色综合色综合网| 欧美日韩成人在线网| 国产色99| 色宗合久久五月婷婷| 五月婷婷激情综合在线| 婷婷久久五月丁香| 99偷拍视频在线日本| 沈娜娜av| 99日韩| 99热这里只有精品5| 五月综合精品| 开心五月丁香综合久久| 99免费热在线精品| 色玖玖爱| 日本情色一区二区| 玖玖婷婷五月天毛片| 人与禽A片啪啪| 五月丁香六月激情| 婷婷婷婷婷婷婷五月丁香| 欧美婷婷日本| av在线免费网站| 亚洲色婷婷五月天| 五月天婷婷在线播放免费| www夜夜操wwwcon| 五月丁香婷婷激情| 五月天六月天| 婷婷午夜丁香| 99天堂在线观看免费视频| 天天做天天爽| 久久六月天| 狠狠色噜噜狠狠| 天天操夜夜夜拍拍拍| 三级黄网站| 久久久久激情| 日日噜噜久久婷婷五月天| 丁香婷婷综合影院| 日韩99无码| 精品日本视频444| 丁香婷婷五月香蕉91| 日韩久久成人| 国产真实乱对白精彩| 国产精品天天狠天天看| 九九无码| 嫩草AV久久伊人妇女超级A| 91操操| 色丁香五月婷婷| 97人人草| 在线观看国产高清视频免费网站| 91久久综合亚洲鲁鲁五月天| 亚欧州精品视频| 综合激情在线| 亚洲婷婷91丁香| 婷婷月综合| 五月丁香六月婷| 色综合色五月| 激情文学久久| 人妻人人操| 色优久久| 精品久久艹| 九九aV| 丁香六月婷婷| 成人做爰高潮A片免费视频| 国产精品成人AV在线观看春天| 欧美色婷婷| 久久人妻视频| 五月日韩中文字幕| 久久9热好| 大香蕉丁香婷婷| 9色小视频在线观看| www.色情五月天.com| 丁香五月最新网址| 久久香蕉福利| 色婷婷伊人| 婷婷丁香69精华| 干亚洲天堂| 成人网丁香五月| 色婷丨日丨天丨综合久久| 色操b| 思思热精品在线观看| 日日干天天爽| 性天堂久久| 久久综合中文| 99热精品在线播放| A片试看120分钟做受视频红杏| 九月av| 久热这里| 五月综合色| 播五月丁香三月婷婷| 狠狠穞A片一區二區三區| 99操逼| 狠狠高潮精品亚洲1| 秋霞影音91人妻久久| www,天天干| 蜜臀av粉嫩av懂色av| 天天干狠狠| 日韩精品AV一区二区三区| 青青久久五月| 婷婷丁香www视频日本韩国| 欧美色九| 婷婷久久欧美| 丁香婷婷五月天色播| 深爱五月网| www.日本91| 天天色天天| 亚洲精品一区中文字幕乱码| 久超免费视频| 色呦呦美女| 丁香五月六月久久综合 | 日韩色色视频| 极品少妇XXXX精品少妇偷拍| 欧美色必爱| 久草狼人| 五月天五月色婷婷综合| 99久热这里有精品| 亚洲激情网站| 思思99久久| 婷婷综合网站| 91热久88| 182TV大香蕉| 丁香五月婷婷综合视频| 五月天五月婷五月激情网| 殴美综合激情五月天免费视频| 婷婷网五月天| 青草五月天| 丰满人妻妇伦又伦精品国产| 国产超碰av| 99操视频| 亚洲 无码 中文字幕 中出| 天天天天干| 亚洲综合成人网| 啪啪色激情五月天|