欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

日志分析新利器:rea如何自動(dòng)聚類錯(cuò)誤并定位根因?

日志分析新利器:rea如何自動(dòng)聚類錯(cuò)誤并定位根因? 1. 項(xiàng)目為什么叫rea從一次凌晨三點(diǎn)的事故說(shuō)起做后臺(tái)服務(wù)的人大概都經(jīng)歷過(guò)這種場(chǎng)景凌晨三點(diǎn)手機(jī)瘋狂震動(dòng)群里連著十幾條告警說(shuō)某個(gè)核心服務(wù)的內(nèi)存占用飆到90%以上再過(guò)幾分鐘可能就要被系統(tǒng)殺掉。你爬起來(lái)連上服務(wù)器先看監(jiān)控面板再翻日志文件半天找不到頭緒——因?yàn)榫€上環(huán)境跑的進(jìn)程不是你的本地環(huán)境日志量動(dòng)輒幾個(gè)GB報(bào)錯(cuò)堆棧被滾動(dòng)沖刷得七零八落真正有用的那幾行早就沉底了。我之前就被這種問(wèn)題折磨過(guò)好幾回。后來(lái)某天下午坐我旁邊的某同事隨口說(shuō)了一句要是有一個(gè)工具能像搜證據(jù)一樣把崩潰現(xiàn)場(chǎng)自動(dòng)還原出來(lái)就好了。 這句話讓我記了很久。我當(dāng)時(shí)想的是為什么每次線上排查都要靠人肉grep日志、人肉比對(duì)堆棧為什么不能把錯(cuò)誤指紋提取→聚合同源問(wèn)題→輸出根因摘要這條鏈路自動(dòng)化于是就有了rea這個(gè)項(xiàng)目。名字沒(méi)有什么花哨的含義就是Runtime Error Analyzer的縮寫(xiě)——運(yùn)行時(shí)錯(cuò)誤分析器。它的定位非常簡(jiǎn)單給你一堆日志文件或者一個(gè)進(jìn)程core dump現(xiàn)場(chǎng)它能自動(dòng)幫你找出高頻錯(cuò)誤、歸類同源堆棧、還原崩潰前的調(diào)用鏈最后輸出一份按優(yōu)先級(jí)排序的排查報(bào)告。和市面上那些重量級(jí)的APM平臺(tái)、日志分析系統(tǒng)不同rea從一開(kāi)始就想做輕量、單機(jī)、可離線運(yùn)行的工具。不需要部署agent不需要搭大數(shù)據(jù)管道一條命令跑完結(jié)果直接打到終端里。它的目標(biāo)用戶很明確那些被線上故障折騰過(guò)、又不想為一個(gè)排錯(cuò)場(chǎng)景引入一整套復(fù)雜基礎(chǔ)設(shè)施的開(kāi)發(fā)者。這篇文章就把rea從零到一的設(shè)計(jì)思路、核心技術(shù)點(diǎn)、以及我在實(shí)際使用中踩過(guò)的坑完整寫(xiě)出來(lái)。工具本身我用的是Go語(yǔ)言實(shí)現(xiàn)但里面的設(shè)計(jì)思路和排查方法論換成別的語(yǔ)言一樣能落地。2. 核心問(wèn)題拆解錯(cuò)誤分析到底難在哪里2.1 日志噪音比真正的錯(cuò)誤多得多在動(dòng)手寫(xiě)任何代碼之前我先把錯(cuò)誤分析這件事拆解了一遍。做了幾年后臺(tái)開(kāi)發(fā)我太清楚線上日志的真實(shí)狀態(tài)了業(yè)務(wù)日志、訪問(wèn)日志、第三方SDK調(diào)試日志、定時(shí)任務(wù)的正常輸出全部混在一起一條真的致命錯(cuò)誤周?chē)赡車(chē)鴰浊l信息級(jí)別INFO和警告級(jí)別WARN的噪音。如果你只是簡(jiǎn)單地用grep -i error去搜結(jié)果大概率是兩個(gè)極端——要么搜出一堆第三方庫(kù)的軟錯(cuò)誤比如TCP連接超時(shí)重試、某個(gè)非關(guān)鍵依賴暫時(shí)不可用要么因?yàn)槿罩靖袷讲灰?guī)范、錯(cuò)誤信息被截?cái)嗾嬲亩褩8舅巡坏?。這就意味著一個(gè)真正有用的錯(cuò)誤分析工具第一步要做的不是找錯(cuò)誤而是區(qū)分錯(cuò)誤的嚴(yán)重級(jí)別。我在rea里把這個(gè)能力叫做嚴(yán)重度分級(jí)器它會(huì)對(duì)每條日志做一次多維度的打分日志級(jí)別本身ERROR/FATAL優(yōu)先于WARN是否包含堆棧特征出現(xiàn)at、Caused by、Traceback、goroutine等關(guān)鍵詞是否涉及關(guān)鍵模塊DB操作、消息隊(duì)列、核心業(yè)務(wù)接口錯(cuò)誤文本的統(tǒng)計(jì)稀有度同一錯(cuò)誤出現(xiàn)一次和出現(xiàn)一萬(wàn)次分量完全不同這個(gè)分級(jí)邏輯讓我想起一個(gè)生活化的例子學(xué)校廣播里喊請(qǐng)全體師生注意這句話和直接說(shuō)某班某同學(xué)請(qǐng)速到教導(dǎo)處——前者是信息性廣播后者才是真正需要行動(dòng)的事情。日志也一樣大部分ERROR其實(shí)是全體注意式的廣播真正的致命錯(cuò)誤往往帶著明確的堆棧上下文。2.2 同源錯(cuò)誤在不同機(jī)器上長(zhǎng)得不一樣拆解完噪音問(wèn)題后第二個(gè)讓我頭疼的問(wèn)題是同源錯(cuò)誤的識(shí)別。同一個(gè)BUG在不同的機(jī)器、不同的時(shí)間點(diǎn)崩潰打印出來(lái)的堆棧幾乎不可能完全一致——行號(hào)可能不同、內(nèi)存地址每次都在變、goroutine ID是隨機(jī)的、時(shí)間戳差異就更不用說(shuō)了。如果你拿原始文本做聚合分組結(jié)果就是本質(zhì)相同的錯(cuò)誤被拆散成幾千個(gè)長(zhǎng)得略有不同的獨(dú)立條目報(bào)告根本沒(méi)法看。這就像同一個(gè)人的兩張證件照一張剛洗完臉、一張化了濃妝人臉識(shí)別系統(tǒng)如果按像素比對(duì)一定會(huì)認(rèn)為這是兩個(gè)人。所以rea必須實(shí)現(xiàn)一個(gè)堆棧指紋stack fingerprint算法把原始堆棧歸一化成一種不隨環(huán)境變化的結(jié)構(gòu)化特征值。具體做法我做了一字符串清洗加結(jié)構(gòu)保留的組合處理剝離所有明顯易變的部分——十六進(jìn)制內(nèi)存地址、數(shù)字行號(hào)、時(shí)間戳、進(jìn)程ID保留函數(shù)名、調(diào)用層級(jí)、異常類型對(duì)清洗后的調(diào)用鏈做哈希得到指紋然后用指紋做聚類同指紋歸一類這套方案的準(zhǔn)確率高到讓我自己都有點(diǎn)意外。有一次我拿一份生產(chǎn)環(huán)境真實(shí)現(xiàn)場(chǎng)的日志做測(cè)試原始文件里有1萬(wàn)2千多條錯(cuò)誤記錄肉眼根本看不出規(guī)律。rea跑完后聚成了17個(gè)錯(cuò)誤類別而人工確認(rèn)真實(shí)存在的獨(dú)立根因恰好是16個(gè)——多出來(lái)的那1個(gè)是因?yàn)橥粋€(gè)根因在兩種不同調(diào)用路徑上各出現(xiàn)了一次本質(zhì)也算同源。3. 技術(shù)選型與整體架構(gòu)一條命令跑完的輕量設(shè)計(jì)哲學(xué)3.1 為什么用Go而不是Python或Java技術(shù)選型這塊我經(jīng)歷過(guò)一段自我辯論。說(shuō)實(shí)話如果用Python寫(xiě)開(kāi)發(fā)速度肯定最快——文本處理的庫(kù)多、正則表達(dá)式順手、迭代起來(lái)也方便。但我當(dāng)時(shí)的核心訴求有兩點(diǎn)第一工具要在服務(wù)器上零依賴運(yùn)行不想為它裝Python環(huán)境第二處理幾GB的日志時(shí)不能讓內(nèi)存爆炸。最終選了Go。理由很直觀靜態(tài)編譯產(chǎn)物go build出來(lái)就是一個(gè)二進(jìn)制文件扔到服務(wù)器上就能跑連libc的版本兼容問(wèn)題都不用管內(nèi)存可控Go的流式處理和切片機(jī)制讓我可以用很小的內(nèi)存跑完大文件后面實(shí)測(cè)處理2GB日志峰值內(nèi)存只有300MB左右并發(fā)順手做日志分區(qū)和錯(cuò)誤歸類時(shí)goroutinechannel的模型比Python的線程池要清爽太多有人可能會(huì)說(shuō)Java也行——但Java的JVM冷啟動(dòng)時(shí)間和內(nèi)存占用放在命令行工具場(chǎng)景下實(shí)在不劃算。Go在這個(gè)場(chǎng)景幾乎是為性能敏感型CLI工具量身定做的。3.2 整體流程五個(gè)階段串成一條流水線rea的整體架構(gòu)是一條單向流水線每個(gè)階段只做一件事輸出成為下一階段的輸入階段職責(zé)核心技術(shù)點(diǎn)日志采集器讀取文件/標(biāo)準(zhǔn)輸入按行切割增量的bufio掃描支持同時(shí)處理多個(gè)文件嚴(yán)重度分級(jí)器給每條日志打嚴(yán)重度標(biāo)簽規(guī)則權(quán)重打分不依賴外部模型指紋提取器從堆棧中計(jì)算歸一化指紋清洗規(guī)則哈希計(jì)算錯(cuò)誤聚類器將同指紋錯(cuò)誤聚為同一類別排序流式分組內(nèi)存占用低報(bào)告生成器輸出可讀的排查報(bào)告普通文本/Markdown兩種格式按嚴(yán)重度排序這個(gè)流水線設(shè)計(jì)有一個(gè)很關(guān)鍵的工程決策所有階段都是單趟掃描single pass。除了聚類需要少量?jī)?nèi)存外幾乎不要求把全部數(shù)據(jù)加載進(jìn)來(lái)。也就是說(shuō)文件有多大理論上rea就能處理多大。3.3 一個(gè)容易忽略的細(xì)節(jié)文件讀取的斷行處理寫(xiě)日志文件讀取器時(shí)我踩了一個(gè)不算大、但很惡心的坑超大行問(wèn)題。有些第三方庫(kù)會(huì)在異常時(shí)一口氣打印幾十KB的字符串比如把整個(gè)HTTP請(qǐng)求頭拼到一行日志里。用Go的bufio.Scanner默認(rèn)緩沖區(qū)是64KB超長(zhǎng)行會(huì)直接報(bào)ErrTooLong然后中斷掃描——千萬(wàn)別小看這個(gè)我測(cè)試時(shí)真遇到過(guò)一個(gè)第三方SDK把800KB的SQL查詢串打進(jìn)一行日志里。解決方案是改用bufio.Reader配合自管理的ReadString(\n)循環(huán)并且設(shè)置了一個(gè)4MB的硬上限。超過(guò)上限的行按異常超長(zhǎng)行單獨(dú)記錄不直接丟棄——因?yàn)榕紶柲钦婢褪清e(cuò)誤現(xiàn)場(chǎng)的關(guān)鍵信息。4. 指紋算法的核心實(shí)現(xiàn)嬰兒車(chē)也不翻車(chē)的歸一化策略4.1 從想法到落地指紋到底要對(duì)什么做哈希如果你去翻一些日志聚類類項(xiàng)目的源碼指紋這個(gè)概念并不新鮮但實(shí)現(xiàn)質(zhì)量差異非常大。問(wèn)題大多出在清洗規(guī)則的定義上規(guī)則過(guò)松會(huì)把不相干的錯(cuò)誤聚到一塊規(guī)則過(guò)緊又導(dǎo)致分組碎片化。rea的指紋提取針對(duì)三類典型內(nèi)容做了三種策略第一類異常類型首幀函數(shù)名。一個(gè)Java堆棧里NullPointerException和IndexOutOfBoundsException是兩種完全不同的錯(cuò)誤即使后面跟著的函數(shù)調(diào)用??雌饋?lái)一模一樣。所以異常類型必須占用指紋的主要權(quán)重。我計(jì)算指紋時(shí)把異常類型作為哈希串的前綴部分先參與哈希計(jì)算。第二類外部庫(kù)的堆棧幀。大多數(shù)業(yè)務(wù)崩潰的根因都在業(yè)務(wù)代碼里外部庫(kù)的堆棧幀反而是通用前綴——每個(gè)框架報(bào)錯(cuò)都會(huì)帶。我在清洗時(shí)會(huì)標(biāo)記出哪些幀來(lái)自第三方庫(kù)路徑比如github.com/something/...、java.util.、libc.so這些幀在指紋計(jì)算中的權(quán)重被降低同時(shí)保留它們的存在性而不保留具體行號(hào)。第三類易變數(shù)據(jù)。內(nèi)存地址、端口號(hào)、數(shù)字ID、UUID、時(shí)間戳這些統(tǒng)統(tǒng)用占位符替換再進(jìn)哈希否則一次崩潰的兩次現(xiàn)場(chǎng)記錄會(huì)被識(shí)別成兩種錯(cuò)誤。這三條規(guī)則組合起來(lái)最終得到的指紋是一串32位的十六進(jìn)制字符串。每條原始錯(cuò)誤都掛上這個(gè)指紋后續(xù)聚類直接按指紋做鍵分組——這是整個(gè)方案中收益最高、性價(jià)比最好的部分。4.2 歸一化效果用真實(shí)數(shù)據(jù)說(shuō)話我拿了一個(gè)模擬項(xiàng)目X的壓力測(cè)試日志做基準(zhǔn)測(cè)試。這個(gè)項(xiàng)目故意構(gòu)造了三種不同的BUG空指針、連接池耗盡、死鎖超時(shí)。每種BUG在日志中產(chǎn)生了大量外表不同的記錄。rea運(yùn)行后的分組情況如下構(gòu)造的BUG類型原始錯(cuò)誤記錄數(shù)rea聚類類別數(shù)人工核對(duì)結(jié)果空指針286條1類完全一致連接池耗盡154條1類完全一致死鎖超時(shí)97條2類一致一面是超時(shí)前的警告一面是超時(shí)后崩潰死鎖那個(gè)場(chǎng)景多分出一類是合理的因?yàn)殄e(cuò)誤鏈條上的警告級(jí)日志和真正的錯(cuò)誤日志本就不該合并到一類那會(huì)干擾優(yōu)先級(jí)排序。所以說(shuō)到底指紋算法不是要完全智能而是要準(zhǔn)確反映問(wèn)題的結(jié)構(gòu)和語(yǔ)境。4.3 調(diào)優(yōu)時(shí)一個(gè)浪費(fèi)一下午的參數(shù)做指紋清洗規(guī)則時(shí)我花了一整個(gè)下午調(diào)一個(gè)參數(shù)——內(nèi)存地址的替換。剛開(kāi)始我把所有十六進(jìn)制的字符串都視為內(nèi)存地址全部替換成占位符。結(jié)果發(fā)現(xiàn)問(wèn)題了業(yè)務(wù)代碼里有些常量值也是十六進(jìn)制表示比如配置里的魔數(shù)0x3F800000這類值對(duì)錯(cuò)誤定位是有意義的。一律替換后兩個(gè)使用不同常量配置的錯(cuò)誤反而被合到了同一類里。解決方案是在替換前加一道地址合理性檢查十六進(jìn)制值長(zhǎng)度必須在6到16位之間且前后文必須是堆棧幀特征比如前面有或at。不合規(guī)的十六進(jìn)制串保持原樣。這個(gè)細(xì)節(jié)讓我意識(shí)到清洗規(guī)則的每一步都可能引入歧義必須反復(fù)拿真實(shí)日志驗(yàn)證邊界情況。5. 嚴(yán)重度打分與優(yōu)先級(jí)排序讓報(bào)告的第一頁(yè)就是答案5.1 為什么單純的count排序不靠譜第一版rea的排序邏輯很簡(jiǎn)單——哪個(gè)錯(cuò)誤類別出現(xiàn)的原始記錄數(shù)最多就排在最前面。這顯然是個(gè)誤區(qū)。在真實(shí)線上環(huán)境中一個(gè)連接超時(shí)類的WARN錯(cuò)誤可能一小時(shí)出現(xiàn)幾千次但真正導(dǎo)致服務(wù)雪崩的FATAL錯(cuò)誤只出現(xiàn)了兩次。按count排序會(huì)把這個(gè)致命問(wèn)題壓到列表末尾排查者拿著報(bào)告翻到底部才看到真正要緊的線索。正確的排序必須綜合多維度因素。我把每一類錯(cuò)誤用加權(quán)打分的方式計(jì)算一個(gè)最終風(fēng)險(xiǎn)值Error Impact Score (嚴(yán)重級(jí)別權(quán)重 × 頻率因子) 堆棧完整度加分 關(guān)鍵模塊加分各項(xiàng)權(quán)重在配置文件里可以調(diào)。默認(rèn)基礎(chǔ)規(guī)則是這樣的FATAL級(jí)別日志的嚴(yán)重級(jí)別權(quán)重是10ERROR是7WARN是4頻率因子采用對(duì)數(shù)壓縮1次1分10次3分100次5分1000次以上7分——目的是防止高頻低危錯(cuò)誤淹沒(méi)低頻高危錯(cuò)誤包含完整堆棧的錯(cuò)誤額外加3分堆棧中出現(xiàn)數(shù)據(jù)庫(kù)操作、消息隊(duì)列、核心RPC框架的關(guān)鍵詞再各加2分這套打分規(guī)則的實(shí)際效果是報(bào)告第一屏永遠(yuǎn)是那兩三條真正需要馬上去看的錯(cuò)誤后面才是批量出現(xiàn)但危害有限的低危項(xiàng)。5.2 如何設(shè)計(jì)配置項(xiàng)而不顯得臃腫我不喜歡給工具堆太多配置開(kāi)關(guān)因?yàn)樗鼤?huì)變成另一個(gè)需要學(xué)習(xí)的系統(tǒng)。rea目前的配置文件就是一個(gè)YAML文件核心配置分為兩塊。第一塊是堆棧清洗規(guī)則。哪些路徑前綴被視為外部庫(kù)幀哪些模塊名被視為關(guān)鍵模塊都在這里聲明。例如我常用的一個(gè)配置片段fingerprint: external_frames: - github.com/gin-gonic - java.util. - libsystem_kernel critical_modules: - database/sql - pkg/redis - internal/rpc第二塊是嚴(yán)重度打分權(quán)重。用戶可以自行修改各級(jí)別的系數(shù)以適應(yīng)自己業(yè)務(wù)的特點(diǎn)。比如有的團(tuán)隊(duì)機(jī)器資源充足、內(nèi)存溢出風(fēng)險(xiǎn)低他們可以降低關(guān)鍵模塊的加分權(quán)重把注意力集中在業(yè)務(wù)錯(cuò)誤上。這個(gè)設(shè)計(jì)讓我體會(huì)到一套分析體系再好如果只能適用于作者自己的業(yè)務(wù)場(chǎng)景價(jià)值必然有限。把核心策略參數(shù)暴露成可配置項(xiàng)是工具從自用腳本走向可復(fù)用的開(kāi)源作品的關(guān)鍵一步。6. 實(shí)戰(zhàn)測(cè)試拿一份真實(shí)的故障日志跑完整流程6.1 模擬一個(gè)完整的崩潰現(xiàn)場(chǎng)并分析為了驗(yàn)證rea的實(shí)用性我搭建了一個(gè)模擬測(cè)試環(huán)境。這個(gè)環(huán)境跑著一個(gè)精簡(jiǎn)版的分布式緩存服務(wù)代碼故意注入了一個(gè)緩存擊穿級(jí)別的BUG當(dāng)某個(gè)熱點(diǎn)數(shù)據(jù)過(guò)期后并發(fā)請(qǐng)求同時(shí)回源數(shù)據(jù)庫(kù)觸發(fā)連接池耗盡然后被context deadline exceeded錯(cuò)誤覆蓋服務(wù)批量返回500。我抓取了一份約180MB的日志文件日志里混著正常的訪問(wèn)記錄、緩存命中日志、超時(shí)警告以及最后的連接池崩潰堆棧。rea的啟動(dòng)命令非常簡(jiǎn)單rea analyze --input /var/log/cache-service/error.log \ --output /tmp/rea-report.md \ --format markdown跑完耗時(shí)大約4秒。生成的報(bào)告核心部分摘要如下全局共解析日志 422,108 行標(biāo)記錯(cuò)誤級(jí)別日志 1,879 條聚類得到 12 個(gè)錯(cuò)誤類別按風(fēng)險(xiǎn)評(píng)分排名前3的是連接池耗盡風(fēng)險(xiǎn)評(píng)分29涉及892條記錄關(guān)鍵模塊命中4個(gè)上下文超時(shí)風(fēng)險(xiǎn)評(píng)分21涉及613條記錄關(guān)鍵模塊命中2個(gè)熱點(diǎn)數(shù)據(jù)并發(fā)回源風(fēng)險(xiǎn)評(píng)分16涉及374條記錄關(guān)鍵模塊命中2個(gè)最上面的連接池耗盡類錯(cuò)誤報(bào)告里直接附上了最開(kāi)始崩潰時(shí)的完整堆棧。這意味著排查者不需要在180MB文件中人肉搜索打開(kāi)報(bào)告看到第一眼就知道癥結(jié)在哪。6.2 報(bào)告格式與排查效率的實(shí)測(cè)對(duì)比我把同一份日志分別用傳統(tǒng)方法和rea做了一次排查計(jì)時(shí)對(duì)比方式耗時(shí)最終定位準(zhǔn)確性人肉grep堆棧關(guān)鍵詞約35分鐘找到表層的超時(shí)錯(cuò)誤未發(fā)現(xiàn)連接池耗盡根因簡(jiǎn)單按ERROR統(tǒng)計(jì)排序找文件約20分鐘只能定位高頻低危錯(cuò)誤rea分析報(bào)告約4分鐘含工具運(yùn)行時(shí)間直接定位連接池耗盡根因這不只是快慢的問(wèn)題。人肉grep的方式很容易被最容易搜到的錯(cuò)誤誤導(dǎo)而rea利用指紋聚類和嚴(yán)重度排序把看起來(lái)最嚇人的噪音擋在報(bào)告之外反而讓真正的根因浮出水面。我還測(cè)試了一個(gè)稍微復(fù)雜一點(diǎn)的場(chǎng)景同一服務(wù)在三個(gè)不同節(jié)點(diǎn)產(chǎn)生的日志合并分析。三個(gè)節(jié)點(diǎn)的日志格式存在細(xì)微差異有的帶時(shí)間戳毫秒數(shù)有的帶節(jié)點(diǎn)IDrea歸一化后成功識(shí)別出它們屬于同一錯(cuò)誤類別。這進(jìn)一步驗(yàn)證了指紋算法在跨環(huán)境對(duì)比上的可靠性。7. 踩坑記錄三個(gè)影響可靠性的大坑和修復(fù)思路7.1 坑一字符編碼導(dǎo)致的堆棧識(shí)別失效第一個(gè)坑出現(xiàn)在處理非UTF-8編碼的日志文件時(shí)。有些老系統(tǒng)輸出的GBK編碼日志直接按UTF-8讀取會(huì)產(chǎn)生亂碼堆棧關(guān)鍵特征全部丟失指紋聚類直接失效。我最初的實(shí)現(xiàn)是老老實(shí)實(shí)用os.Open加bufio.Scanner默認(rèn)讀取遇到非UTF-8內(nèi)容就直接亂下去。測(cè)試時(shí)發(fā)現(xiàn)GBK文件跑出來(lái)的報(bào)告里錯(cuò)誤類別少得離譜——全部被亂碼后的同一指紋歸并了。修復(fù)方案增加一個(gè)編碼探測(cè)階段讀取文件頭部的前4KB做一次啟發(fā)式判斷。具體來(lái)說(shuō)遵守一個(gè)簡(jiǎn)單原則如果有0xE4-0xE9區(qū)間的高字節(jié)連續(xù)出現(xiàn)兩次以上判定為GBK或GB2312編碼如果是標(biāo)準(zhǔn)的0xEF 0xBB 0xBF開(kāi)頭判定為UTF-8帶BOM。然后通過(guò)golang.org/x/text/encoding/simplifiedchinese做轉(zhuǎn)碼統(tǒng)一轉(zhuǎn)成UTF-8再進(jìn)入分析管線。這個(gè)坑提醒我日志文件的編碼問(wèn)題在真實(shí)生產(chǎn)環(huán)境里有極其高的出現(xiàn)概率工具做輸入層時(shí)不能假設(shè)世界默認(rèn)UTF-8。7.2 坑二多行堆棧日志的合并策略第二個(gè)坑是關(guān)于堆棧記錄的切分。很多語(yǔ)言的異常堆棧不止一行例如Java的堆棧前后會(huì)附帶空行和at開(kāi)頭的多行調(diào)用幀。如果簡(jiǎn)單按行切割日志同一個(gè)錯(cuò)誤堆棧會(huì)被拆成十幾條獨(dú)立記錄指紋計(jì)算自然也就亂套了。解決這個(gè)問(wèn)題需要引入一個(gè)多行緩沖器當(dāng)檢測(cè)到一行以堆棧特征前綴開(kāi)頭時(shí)接下來(lái)的若干行只要滿足堆棧幀特征函數(shù)調(diào)用、文件路徑加行號(hào)就一直合并到該錯(cuò)誤記錄中直到遇到下一個(gè)非堆棧幀的日志行或獨(dú)立的空行。rea在合并時(shí)有一個(gè)小技巧它會(huì)維護(hù)一個(gè)當(dāng)前待定記錄只有當(dāng)讀到下一句非堆棧行時(shí)才決定是否將緩沖內(nèi)容提交。這種延遲提交的方式能避免把多行堆棧誤判成兩條相鄰但獨(dú)立的錯(cuò)誤。7.3 坑三時(shí)間窗口聚類導(dǎo)致的重復(fù)報(bào)告第三個(gè)坑是在設(shè)計(jì)錯(cuò)誤暴發(fā)檢測(cè)功能時(shí)踩到的。當(dāng)時(shí)想加一個(gè)酷炫的特性——如果某個(gè)錯(cuò)誤類別在短時(shí)間內(nèi)集中暴發(fā)單獨(dú)標(biāo)記為爆點(diǎn)。功能本身沒(méi)問(wèn)題但我在聚類分組時(shí)引入了時(shí)間窗口切片結(jié)果把同一個(gè)持續(xù)10分鐘的根因錯(cuò)誤切成5個(gè)獨(dú)立的小類別報(bào)告里重復(fù)出現(xiàn)了5次相同的錯(cuò)誤。修復(fù)思路也很直接時(shí)間窗口只用于爆點(diǎn)標(biāo)記不參與聚類主鍵計(jì)算。聚類主鍵永遠(yuǎn)只有歸一化后的堆棧指紋時(shí)間維度的信息只是在報(bào)告里附加一句該錯(cuò)誤在14:30-14:40間集中出現(xiàn)。這樣既保留了暴發(fā)檢測(cè)的能力又不破壞全局聚類的完整性。說(shuō)到這個(gè)坑我想起設(shè)計(jì)時(shí)的糾結(jié)功能越加越多代碼結(jié)構(gòu)會(huì)不會(huì)失控答案是不會(huì)只要你用一個(gè)硬性約束管住自己每個(gè)功能的輸入和輸出都不能對(duì)其他功能產(chǎn)生副作用。報(bào)錯(cuò)聚類就是指紋指紋就是聚類主鍵誰(shuí)都別想改動(dòng)這個(gè)核心不變式。8. 關(guān)于分析結(jié)果是否可信的一些方法論思考8.1 工具給出的不是答案而是嫌疑名單做這一類診斷工具我越來(lái)越認(rèn)同一個(gè)觀點(diǎn)工具的終極目標(biāo)不是替代人的判斷而是把人的注意力引導(dǎo)到最有可能出問(wèn)題的位置。rea給的報(bào)告本質(zhì)上是一份嫌疑名單——它告訴你按數(shù)據(jù)和特征哪些錯(cuò)誤類別最可疑、最值得先看。但具體是不是根因、要不要立刻發(fā)布修復(fù)仍然需要工程師結(jié)合上下文判斷。這種方式讓我想到了犯罪偵查里的側(cè)寫(xiě)師。側(cè)寫(xiě)師根據(jù)現(xiàn)場(chǎng)痕跡縮小嫌疑范圍但最終鎖定犯罪嫌疑人還是要靠偵探拿著側(cè)寫(xiě)報(bào)告去逐一排查。rea做的就是側(cè)寫(xiě)快速、全面地掃描整個(gè)日志空間把所有可疑點(diǎn)按風(fēng)險(xiǎn)從高到低排列好。8.2 如何驗(yàn)證聚類結(jié)果的準(zhǔn)確性很多用戶拿到一份自動(dòng)聚類報(bào)告第一時(shí)間會(huì)問(wèn)這結(jié)果準(zhǔn)不準(zhǔn)我的驗(yàn)證方法很簡(jiǎn)單三個(gè)步驟從報(bào)告中任選一個(gè)錯(cuò)誤類別回溯原始日志確認(rèn)原始記錄確實(shí)屬于同一根因交換驗(yàn)證隨意抽兩條未歸入同一類的錯(cuò)誤記錄確認(rèn)它們確實(shí)有本質(zhì)區(qū)別反向注入故意在日志中混入已知類型的錯(cuò)誤檢查聚類結(jié)果是否把它們識(shí)別為同一類這是一套黑盒驗(yàn)證法不依賴工具內(nèi)部實(shí)現(xiàn)細(xì)節(jié)。我發(fā)現(xiàn)只要交付給用戶的報(bào)告附上同類錯(cuò)誤中前3條原始日志摘要功能用戶自己做交叉驗(yàn)證就非常方便不需要去翻原始文件驗(yàn)證每一條是否合理分組。8.3 什么時(shí)候不應(yīng)該使用自動(dòng)聚類的工具工具鏈也有一些天生不適用的場(chǎng)景我想坦誠(chéng)說(shuō)清楚日志量極小幾百條以內(nèi)時(shí)直接看日志比跑聚類更快日志本身極度不規(guī)范連基本的日志級(jí)別都沒(méi)有時(shí)自動(dòng)打分的可靠性會(huì)大幅下降需要精確到具體事務(wù)ID做鏈路追蹤時(shí)rea針對(duì)的是錯(cuò)誤分布視圖不是全鏈路追蹤了解工具的適用邊界比了解它的功能特性更重要。rea在設(shè)計(jì)之初就沒(méi)打算替代APM、日志分析平臺(tái)它只解決一個(gè)問(wèn)題快速?gòu)暮A咳罩局邪芽梢慑e(cuò)誤歸類并排序。邊界清晰反而讓它在自己的適用場(chǎng)景里非常稱手。9. 后續(xù)規(guī)劃從分析錯(cuò)誤到輔助修復(fù)決策目前rea跑在單機(jī)上處理離線日志已經(jīng)穩(wěn)定使用了一段時(shí)間但這只是第一步而已。在我個(gè)人的規(guī)劃里后續(xù)有幾個(gè)方向值得繼續(xù)深挖。第一個(gè)方向是錯(cuò)誤趨勢(shì)預(yù)測(cè)。當(dāng)服務(wù)剛出現(xiàn)某類罕見(jiàn)錯(cuò)誤時(shí)rea如果能結(jié)合歷史數(shù)據(jù)給出該類錯(cuò)誤在過(guò)去30天內(nèi)首次出現(xiàn)的標(biāo)記就能提前預(yù)警潛在隱患。事實(shí)上我在后臺(tái)已經(jīng)默默做了這項(xiàng)工作新版本里會(huì)把首次出現(xiàn)時(shí)間和近期頻率走勢(shì)作為報(bào)告的一部分輸出。第二個(gè)方向是堆棧相似度搜索。目前的指紋聚類是精確匹配而真實(shí)世界中的同類問(wèn)題可能因?yàn)榇a版本升級(jí)、依賴庫(kù)更新而出現(xiàn)堆棧結(jié)構(gòu)上的差異。這時(shí)候硬性的指紋哈希就失效了。我打算引入一種模糊堆棧匹配能力利用編輯距離或局部敏感哈希讓相似但非完全相同的堆棧也能被關(guān)聯(lián)起來(lái)。這個(gè)功能對(duì)排查升級(jí)后新出現(xiàn)的問(wèn)題會(huì)特別有用。第三個(gè)方向是與CI/CD流水線的集成每次部署后自動(dòng)把當(dāng)天的錯(cuò)誤日志拉取并生成對(duì)比報(bào)告如果發(fā)現(xiàn)新出現(xiàn)的錯(cuò)誤類別直接通知對(duì)應(yīng)負(fù)責(zé)人。把事后排查變成上線即時(shí)反饋這才是自動(dòng)化工具最大的價(jià)值所在。不過(guò)說(shuō)這些規(guī)劃并不是要畫(huà)餅。以我個(gè)人經(jīng)驗(yàn)工具開(kāi)發(fā)最忌諱功能堆砌——每加一個(gè)功能都要回到最初的那個(gè)問(wèn)題重新問(wèn)自己它能不能幫助工程師更快地找到真相如果能方向就是對(duì)的如果只是技術(shù)上的自我滿足那就該果斷砍掉。至少到今天為止rea走過(guò)的每一步都經(jīng)得起這個(gè)追問(wèn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天日日人| 婷婷五月天激情在线观看| 99re99在线看| 九九热这里只有精品31| 六月婷婷毛片| 五月婷婷久久激情 | www.色五月| 婷婷久久婷婷色五月| 99re这里只有精品免费| 亚洲亚洲人成综合网络| 婷婷五月天综合蜜桃| 99ri国产在线| 亭亭五月天成人| www。久久久久一b。Cc| 99热精品综合| 在线不卡的视频| 这里只有精品视频一区| 99久久国产宗和精品1上映| 国产激情av| 婷婷五月天视频亚洲| 激情五月天丁香| 激情网五夜婷婷| 操91| 婷婷五月天黄色小说| 无人区码一码二码三码医生系列| 五月丁香欧美综合免费视频| 免费超碰在线| 久久思思精品| www.99热精品99.com| 这里只有精品99www| 婷婷丁香在线| 高潮毛片遮挡费高一百度| 在线天堂9| 另类在线观看视频| 天天干狠狠| 五月丁香色色网| 五月婷色| 热的无码综合视频| 天天艹天天综合网| 激情综合网址| 久久激情网| 亚洲 无码 中文字幕 中出| 东京热伊人| 五月天婷婷免费| 亚洲视频99| 秋霞少妇AV网站| 色综合久久88色综合天天人守婷| 婷婷激情六月中文| 激情六月婷婷| 色色免费网站| 日本91在线播放| 色综合xx| 婷婷网影院| 嫩草AV久久伊人妇女超级A| 日日懆天天懆| 性爱网五月天| 色九月丁香婷婷蜜桃在线观看| 开心激情播播五月天| 丁香花五月天婷婷成人社区| 天天综合中文| 大香蕉五月婷婷| 99久久婷婷国产综合| 色婷婷国色天香综合| 久久性综合| 91肏| 超碰国产在线观看| 日日夜夜天天爽| 五月婷婷影| 丁香婷婷五月激情四射网| 五月丁香激情综合网| 五月婷婷伊人久久| 免费AV黄在线播放| www九九热| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 99热爱爱干干日| 久久激情五月婷婷| 丁香五月AV在线| 国产精品美女| 青青999| 91日韩在线| 婷婷五月天手机版视频| 久久色婷婷| 2025色婷婷| 色久婷婷网| 9999久久久久| 天天日天天添| 色五月激情五月丁香五月婷婷啪啪综合 | 日本在线噜噜| 狠狠五月丁香色婷| 天天摸夜夜爽天天做| 婷婷另类开心| 亚洲色婷婷激情| www.99精品视频| WWW免费视频碰碰碰碰| 玖色色综合| 黄色99热| 久大香蕉| 婷婷综合激情| 婷婷五月天激情综合| 综合激情五月丁香| 夜夜夜夜操| 欧美丁香六月激情视频| 色五月婷婷一二| 99色综合网| 久热91| 婷婷五月天无码| 久艹大香蕉| 婷婷久久亚洲| 国产精品扒开腿做爽爽爽A片唱戏| 婷色五月天| 91精品久| 人妻中文在线| 欧美五月婷婷| 国产美女无遮挡裸体毛片A片| 中文成人在线| 色婷婷色和| 六月婷婷啪啪| 五月香蕉综合| 婷婷永久在线| 永久免费视频| 草草夜夜操| 色五月色图| 亚洲99激情| 嫩草乱码一区三区四区| 99超级碰免费视频| 婷婷五月天综合久久日美女| 五五月五月| 这里只有精品热| 互月天综合| 婷婷王月天影院| 久热9| 狠狠色婷| 九九在线免费观看| 五月天色丁香| 五月激情网站| 五月天激情婷婷丁香| 色色色色色色色色色色色色色97| 影音先锋 萱萱| 六月婷婷色综合| 九九热区一区二区三区| 五月色综合| 色婷婷影| www,26uuu,c0m,色情| 欧美25p| 丁香五月天激情网址| 久久99久久99精品免视看婷| 色婷婷久久综合久色| sS丁香五月婷婷| 久久久人妻人伦| 99re99热| 天天操天天日天天爽| 1010日日无码| 五月天色社区| 任你爽精品免费视频6| 久草a片| 色综合久久88色综合天天99| 99视频只有精品| 国产AV一区二区三区最新精品| 亚洲欧洲中文日韩久久AV乱码| 无码一区精品一区视频| 欧美超碰人人| 欧美婷婷日本| 99热这里只有精品13| 99久久综合精品五月天| 五月天成人综合| 2017狠狠干| 色婷婷综合网站| 九九色逼| 丁香五月婷婷少妇| 久久久五月天| 中文网av| 99热这里只有精品9| 婷婷久久五月天丁香| 婷婷色在线| 丁香六月毛片| av一级棒av| 色综合色色| 久久精品五月天| 婷婷丁香18| 五月丁香啪啪激情| 天天日天天爽夜夜爽| 国外亚洲成AV人片在线观看| 久久最新色| 婷婷第六色| 婷婷五月天久久| 日本丁香五月| 婷婷五月天社区| 婷婷激情四射| 人人爽欧美婷婷久久久五月丁香| 久久综合99| 内射激情在线| 午夜丁香综合婷婷| 亚洲欧美综合7777色亭亭| 欧洲精品欧洲情| 婷婷激情啪啪| 9热成人在线视频| 成人色图情色成人网 www.5b5b5bcom 五月天| 操操人人| 婷婷亚洲欧美丁香五月| 午夜丁香婷婷| 99碰在线视频| 这里只有精品久| 天天干天天操天天射| 久草热在线视频| 激情综合网激情五月天| 午夜婷婷久久 | 另类视屏| 日在线V视频在线播放| 天天做天天爱| 无码激情AAAAA片-区区| 丁香五月色色| 五月丁香网站| 无码激情AAAAA片-区区| 中文字幕精品在线观看| 婷婷五月天亚洲色| 色色五月婷婷| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 丁香六月婷婷综合网| 六月份天丁香婷婷| 拍色综合| 国产精品色色色色| 大地9中文在线观看免费高清| 蜜乳人妻一区二区三区| 婷婷色激情五月天| 五月婷婷激情综合| 久操无码| 久久99精品久久久久久噜噜| 亚洲激情六月丁香| SESE无码AV| 91精品丝袜久久久久久| 婷婷四色五月| 九九99香蕉在线视频播放| 五月婷婷 激情按摩| 激情久久四色| 曰曰久久| 思思综合热| 91人妻九色大屁股| 日本五月天网站| 欧美日韩99| 丁香六月在线| 色域五月丁香| 另类激情五月| AA片在线观看视频在线播放| 亚洲视频在线观看99| 粉嫩av蜜桃av蜜臀av| 人人操人人添人人摸97| 五月婷婷天| A片试看120分钟做受图片| 国内久久亭亭| 五月丁香五月婷婷在线观看| 狠狠爱丁香婷| 激情小说婷婷五月| 人妻videos人妻高清| 五月四色激情| 99色色网| www,超碰| 国色天香伊人狠狠色| 青青日韩| 九九热再线九九视频免费在线观看| 久久视9精| 激情五月天婷婷| 激情丁香社区| www.99热精品99.com| 日本三级中文字幕| 久久这里只有精品网| 久久久97| 激情五月天社区| 激情久久久久久| 人人草人人爱手机视频看看| 在线另类| 精品夜夜澡人妻无码AV| 综合激情五月综合激情五月激情1| 夜夜操天天干| xxx日本东京热| 欧美色色色色色| 五月色色色| 國語久久婷| 99久久精品国产色欲| 久久久精品人妻| 无码一区二区三区四区五区91c| 婷婷五月天a| 丁香五月之久操视频| 五月天欧美 另类小说| 久久小说| 极品少妇高潮啪啪AV无码| 五月综合婷婷五月| 丁香五月狠狠在线观看| 午夜丁香| 五月天激情黄色小说在线观看| 丁香五月天堂亚洲社区| 99热97| 六月丁香成人| 五月色色色| 九九久久精品| 四川BBB搡BBB爽爽视频| 婷婷综合激情| 99在线视频精品| 91丨九色丨白浆秘| 青青夜夜狠狠夜夜狠狠| 日韩在线视频9色| 五月婷婷开心亚州在线| 久热黄色| 少妇人妻偷人精品无码视频新浪| 开心五月深爱婷婷| 亚洲国产成人在线| 97人人干| 国产午夜精品一区二区三区四区| 久久婷婷丁香花综合网| 亚洲激情四射色| 在线观看国产高清视频免费网站 | 79成人网| 欧美网站视频4399| 天天日天天爽| 99re热免费观看视频精品| 婷婷黄色五月| 996热| 婷婷六月中文字幕| 插逼综合网| 性爱久久| 91午夜激情| 人妻激情综合| 淫五月停停| 五月天亭亭俺也| 九九热黄色| 婷婷五月天美女21p| 五月丁香在线观看| 五月综合色| 五月激情天| 97人妻碰碰碰碰碰久久久久久| 另类天堂| 色综合女人99| 激情五月天综合网| 色播五月| 久久永久网址| 99色.com| 精品国产一区二区三区四区阿崩| www.91婷婷| XXXX岛国| 国产精品操| 成人做爰高潮A片免费视频| 丁香五月天婷婷激情| 天天弄天天爽| 婷婷五月色图| 欧美久久久中文字幕| 337p大胆噜噜噜噜噜91Av| 日本九九网| 2020日日干| 《诡秘之主》在线观看| 六月丁香好婷婷| www.色九月| 疯狂做受XXXX高潮A片| 99A片| www.99热精品99.com| 91在线日| 人妻啪啪啪| 色婷婷精品小视频| 九九热九九| 欧美日韩精品一区二区三区钱| 99热在线精品观看| 婷婷丁香五月综合| 婷婷丁香成人五月天| 五月婷婷高清| 大香蕉人在线65| 亚洲日韩久久婷婷伊人| 激情综合五| 五月婷婷久久久| www.激情五月天| 欧美日本va| 国产黄大片在线观看画质优化| 五月丁香花激情啪啪网| 极品 少妇 内射| 婷婷中文字幕欧美| 五月综合六月丁| 99久热在线精品| 99干在线| 26uuuuuuuu国产| www.久久爱| 色玖玖爱| 亚洲成人AV在线播放| 久久爱综合| 国产成人AV人人爽人人澡Va| 丁香五月婷婷欧美成人色图| 日本色婷婷| 青青热久久综合| 激情综合网激情五月欧美| 色婷婷亚洲精品天天综| www.yw色| 激情五月婷婷色色| 欧美激情-区二区三区| 开心五月丁香综合久久| 五月婷婷色播| yazhochengrenavwang| 五月丁香六月婷婷操操操| 亚洲狠狠色丁香婷婷综合久久| 婷婷综合五月| 狠狠狠狠狠狠色| 玖玖资源在线视频| 99网| 久久这里只有精品99| 热99只有里视频| 99热久久最新地址| 亚洲九九99精品视频在线播放| 性色做爰片在线观看WW| 翔田千里aV中文字幕| 99综合网| 狠狠五月激情在线| 丁香五月花| 97在线/亚洲| 67194中文字幕| 开心五月婷婷综合在线精品素人| 婷婷干| 九九无码AV| 熟女人妻一区二区三区免费看| 婷婷久久五月天| 五月婷婷丁香| 97人人干| 五月婷婷大香蕉| 开心五月婷婷激情| 国产午夜精品AV一区二区麻豆| 全部老头和老太XXXXX| 99热.com| 国产成人精品一区二三区熟女在线 | 日日躁夜夜躁狠狠久久AV| 影音先锋91男人资源在线播放| 亚洲男女激情| 欧美色图45678| 噼里啪啦完整版中文在线观看 | 五月丁香在线观看| 欧美中文五月天| 丁香五月六月综合激情| 超碰91在线| 涩五月婷婷| 这里有精品| 亚洲综合五月天| 99人妻碰碰久久久禁片| 日韩欧美婷婷丁| 亚洲色婷婷五月天| 俺也去婷婷五月天第五色| 婷婷五月成人色综合| 亚洲色婷婷网站| 亚洲激情网站| 五月婷中文字幕| 任你艹| 欧美十二区| 日本婷婷在线| 色小说婷婷五月天天天| 五夜丁香| 操碰97| 人妻久久久久久久久妻久久久久| 蜜乳中文字| 极品精品一区二区三区在线| 综合激情在线| 思思热闹这里只有精品| 国自产拍偷拍精品啪啪一区二区| 亚洲热久久| 日91高清无玛| 色婷婷狠狠| 九九热手机在线视频| 五月天婷婷综合网| 光棍影院日韩精品| 99操碰| 天天做天天摸| 婷婷丁香水多多视频| 日日艹思思热| www.久久| 婷婷五月天直播| 91九色国产在线| 99er热精品视频| 国产精品99久久久久久久女警| 伊人色综在线| www.激情五月天。com| 6月丁香婷婷激情| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 天天干天天操天天爽| 琪琪布丁香社区激情五月天| 9久久婷婷国产综合精品性色| 色婷婷视频| 久久视频九九视频| 97久久精品| 人妻无码视频网| 99玖玖免费视频| 色小说婷婷五月天天天| 99热在线精品播放| 农村熟妇高潮精品A片| enecarbon-materials.com污K127封锁请涟系@wip1688 | 亚洲激情无码久久| 九九亚洲| 色狠狠色噜噜AV天堂五区| 99久久精彩视频| 成人色情五月天婷婷丁香| 色色日本| 9视频在线成人网站| 久久综合激情| 九九99视频| 激情综合色| 狠狠色五月| 天插天啪天啪天啪| 丁香六月婷婷久久综合| 欧美日韩国产伦精品日韩人妻一| 色五月成人在线| 午夜激情综合| 欧美久人人| 99免费热在线精品| 五月天婷婷丁香六月| 五月色婷婷中文字幕| 香蕉97碰碰碰欧美| 欧美激情 日韩无码 婷婷 五月天| 伊人在线视频| 97在线日韩| 激情播丁香| 97久久久久| 一级七香蕉| 六月色色婷婷| 色99视频| 国产亚洲99| 亚洲成人无码网站| 色 噜噜 九月 婷婷| 丁香五月婷婷亚洲综合精品在线| 激情小说在线视频| 中文字幕网站在线观看| 婷婷激情五月天小说校园| 欧美日本日韩| 激情五月天婷婷免费观看| 五月丁香另类图片| 99热黄| 色婷婷五月天成人网| 99热在线播放| 9精品在线| 久狠狠| 91在线看片| 色婷五月天网站| 色色丁香| 五月天色婷伊人| 日本天天操| 成人在线免费网址| 青青草婷婷综合五月| 九九碰九九爱97| 天天日天天舔天天摸| 欧美六月| 丁香五月欧美成人| 五月天婷婷av| 色色激情| 99热精品在线| 99热在线99| 日本三级日本三级99| 国产婷婷色五月| 五月婷婷久久综合| 99九九精品| 五月婷婷丁香五月天| www.1024久久| 99这里只有精| 99色.com| 久久99热免费最新版| 超碰AV成人| 91精品久久久久、久五月天| 99ri视频在线播放| 亚洲不卡欧洲| 色亚洲无码| 夜夜干 夜夜操| 99色激| 中文字幕成人| 男人天堂伊人五月丁香| 国产午夜精品AV一区二区麻豆 | 六月婷婷色色色| 一级性感黄色内射视频| 99色综合网| 九九视频在线观看| 99在线观看这里都是精品| 天天干,天天日| 97涩涩丁香五月天| 五月天婷婷网站| 六九色综合婷婷五月天| 日本一道久久| 婷婷99狠狠| 久久99最新| 九九热青草| 操操操AV| 9操在线| 五月丁香色婷婷| 天天干天天日日| 亚洲A片成人无码久久精品青桔| 五月天婷婷丁香视频| 婷婷婷久久| 五月婷婷丁香社区| 国产精品人妻欲求不满| 久久精品这里只有精品免费首页| 狠狠做五月| 婷婷成人基地| 婷婷五月丁香六月| av国产精品偷| 国产又粗又大又爽又黄| 五月天婷婷在线AN| www.五月婷婷| 最近中文字幕2019视频1| 婷婷五月天首页| 色一情一乱一乱一区9| 久久久性爱视频| 综合综合色色| 欧美123区免| 丁香六月激情综合| 狠狠五月天婷婷激情网。| 婷婷五月丁香色综合| 亚洲AV免费在线| 思思热在线精品视频网站| 一本九九色| 亚洲综合在线播放| 色五月五月丁香| 久久一级片| 日日干天天| 日本激情五月天‘| 99热国产| 欧美人人草草| 99热免费观看| 色婷婷综合视频| 国产伦理精品高清在线观看网站一区二区 | 精品人妻午夜一区二区三区四区| 色欲婷婷五月天丁香| 【乱子伦】黄色| 五月 婷 久| 五月天大香蕉| se影音资源在线观看| 国产成人网站在线观看| 婷婷成人五月天一区| 激情九月丁香婷婷| 综合激情在线视频| 99热啪啪| 色色色激情网| 六月综合婷婷开心伊人| 五月天色导航婷婷资源婷婷| 在线观看免费观看在线9久| 日韩色情亚洲五月天婷婷| 婷婷五月六月激情| 亚洲综合婷婷| 日本三级韩三级99久久| 欧美激情综合色综合啪啪五月| 久色激情| 婷婷五月开心中文字幕色| WwW色婷婷| 五月丁香啪啪网| 伊人啪啪网| 加勒比色色| 99精品视频推荐| 免费看成人AA片无码视频吃奶| 日本九九视频| 天天色天天干天天插| 性色婷婷| 国产亚洲成AV人片在线| 久久女婷| 91九色欧美| 国产精品视频久久99| 婷婷五月综合婷婷| 五月天久久www| 狠狠色中色| 大学生高潮无套内谢视频| 欧美在线操| 5月婷婷激情在线| 五月天性色| 五月激情婷婷图片基地| 婷婷五月综合基地| 岛国在线观看91| 五月婷婷六月丁香| 成人 在线 日韩| 亚洲激情五月天| 婷婷五月天激情影片| 99er免费在线观看| 夜夜爽天天| 五月天婷婷影院| 日本操片| 99九九热视频免费| 丁香五月婷婷免费视频| 无码激情AAAAA片-区区| 色五月首页| 99久久久99久久91熟女| 97色婷婷成人综合在线观看| 日本久久精品18| 五月丁香777| 婷婷五点亚洲| 激情网开心网| 婷婷丁香六月激情综合| 极品人妻VIDEOSSS人妻| 久久免费精彩视频| 人人草人人舔| 五月天婷婷色| wwwss在线观看| 中文字幕成人| 婷婷五月激情图片| 久re热视频| 99色综合| 亚洲第一精品成人999久久精品| 第一区久久网站| 色五月视频无码播放| 天天色爽| 色婷婷视频| 激情视频网址| 男女99免费视频| 久久总和99| 99久久婷| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 天天插天天日| 极品少妇XXXX精品少妇偷拍 | 99在线观看亚洲| 第2色五月婷| 99久久久99久久91熟女| 天天日,天天射,天天插| 激情的五月婷婷蜜桃| 99日本精品视频热| 开心久久五月天| 欧美激情Va| 丁香五月久久综合| 婷婷五月天激情免费在线观看| 激情婷婷六月天| 9l视频自拍9l九色9l成人| 丁香婷婷基地| 99热网站| 一起草AV入口| 婷婷丁香综合色AV| 天天干天天曰天天射| 婷婷色九月| 五月丁香六月色婷| 亚洲99视频| 色色色色色网站| 丁香五月成人社区| 在线成人网站| 久久怡红院| 丁香五月玖玖| 成人电影在线免费试看| 第四色色六月色综合| 玖玖精品资源| 五月婷av| 九九色综合网| 国产精品久久久久久久久久免费| 婷婷六月偷拍| 另类亚洲2| 这里只有精品视频视频在线观看| 噜噜噜色噜噜| 女人天堂AV| 激情五月天小说网| 久草免费福利视频| 色色色综合色| 亚洲 在线 性爱 | 男人天堂亚洲综合| 五月丁香亚洲综合| 夜夜爽天天干| 大香蕉婷婷婷| 亚洲五月婷婷| 五月深爱网| 变态另类9| 亚洲黄网AV| 99男人的天堂| 九九这里精品| 欧美日韩成人一区二区| 激情又色又爽又黄的A片| 9色免费网| 色色色色热热| 五月六月婷| 激情五月久久| 九九99久久精品| 在线观看av网站| 五月情综合| 狠狠干五码| 色婷婷香蕉| 波多婷婷久久| 五月久久五月激情| 亚洲日日操| 天天插天天插天天插天天插| 天堂呦 呦百度搜索-百度搜索| 久久久91| 97五月天| 久久婷五月综合| 激情五月丁香六月| 玖玖爱资源站| 丁香五月-激情综合| 99免费热在线精品| 欧美25p| 亚洲丁香五月综合| 色五月亚洲| www.久久| 亚洲一级AV在线免费播放| 国产va在线视频| 五月天播播| 韩日另类| 狠狠做六月爱婷婷综合aⅴ| 五月天婷婷激情在线色图| 欧美精品18| 一本色道久久88加勒比—| 26UUU精品一区二区Com| 九九热在线观看视频| 亚洲精品网址| 婷婷综合五月色播| 婷婷丁香五月综合| 丁香五月综合久久| 五月丁香激情在线| 五月婷丁香| 玖玖爱综合网| 俺去也综合| 91婷婷| 五月色网| 另类激情首页| 久久久久久婷| 99精品免费| 色原狠狠综合| 丁香五月在线观看完整版| 色婷婷影院| 欧美超级视频97| 五月色无码| 五月丁香六月婷综合成人综合 | 日日爽日日| 国产古装妇女野外A片| 丝袜人妻| www.minyis.com【JT】实力收量可预付QQ2101460746 | 久激情网| 操逼六区| 直接看的AV| 影音先锋91网站在线观看| 丁香五月婷婷亚洲激情四射| 亚洲色A| 九月丁香久久网| 丁香五月婷婷成人色区| 色色五月婷| 色你久久| 六月丁香婷婷综合在线| 国产日产亚系列精品版优势| 婷婷激情综合无月| 五月天激情久久| 久热99久热| 国产成人va在线| 久久色六月| 色色色综合视频| 超碰资源在线| 超碰在线超碰| 欧美激情综合色综合啪啪五月| 丁香六月成人| 天天干天天射综合网| 婷婷五月综合国产精品| 五月天综合久久| 99久久婷婷五月综合| 激情视频91| 99热在线精品播放| 色婷婷免费观看| 色婷婷五月色| 婷婷激情啪啪| 亚洲成人中心| 五月婷婷激情| www色色色com| 狠狠丁香| 五月天激情国产综合婷婷婷| 好好干Av| 五月天精品| 九九热再线九九视频免费在线观看| 色婷视频| 日韩五月婷婷| 强辱丰满人妻HD中文字幕| 立川无码av| 中文成人在线| 天天舔天天摸天天透| 九 九九九AV| 久色激情| www.夜夜操.com| 色婷婷亚洲| 99色在线| 小视频一区| 久久综合综合综合| 激情五月婷婷在线观看| 超碰人人操人人干| 99热精品在线播放| 这里只有精品视频看看| 久久亭亭电影| 日韩在线一级| 亚洲成人综合在线| 操91| 激情婷婷五月黑人| 热久免费视频9| 欧美乱码国产一级A片| 97操操操| 色135综合网| 99这里都是精品6| 天天摸天天肏| 亚洲精品V天堂中文字幕| www.99成人视频| 五月综合丁香婷婷| 色综合色色| 久久婷婷操| 久久天堂色| 日韩啪啪网| 开心亚洲久久开心| 9色免费网| 天天干天天干天天干天天干天| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 丁香五月综合在线播放| WWW.HENHENL.| 五月婷婷激情网| 九九婷婷五月天影视| 免费成人网在线观看| 思思热精品在线| 亚洲中文乱字字幕线在永久| 丁香玖玖| 天天拍天天操| 丁香五月激情啪啪| www999日韩精品| 国产成人精品123区免费视频| 思思久日精品视频| 色婷婷天堂| 无码人妻精品一区二区蜜桃色欲| 婷婷狠狠干| 色五月婷色彩免播放器| 五月丁香婷婷伊人日韩| 欧美日韩99| 五区毛片七区毛片| 婷婷七月丁香色色| 无码激情AAAAA片-区区| 婷婷五月天AV在线| 九月婷婷| 六月婷婷中文字幕| 国产精品操| 91 影音先锋| 免费观看的婷婷五月视频在线| 婷婷午夜激情| 99re思思热久久| 亚洲色色香蕉| 99日视频在线| http:色情日本com| 网色99| 丁香五月综合在线视频| 六月丁香花婷婷| 39视频第二区| 国产特级毛片AAAAAAA高清| 亚洲网站999| 热99re| 另类专区在线观看| 亚洲国产另类av| 最近中文字幕在线中文视频| www99在线观看视频| 南京搡BBBB搡BBBB| 亚洲啪啪视频| 六月婷婷日| 久久丁香五月天| 久热黄色| 久久这里都是精品| 婷婷五月天色网久| 五月丁香激情综合网| 超碰成人影视| 99er这里只有精品视频| 啪啪 综合网| 天天爽天天草| 激情五月综合六月丁香婷婷狠狠干| 五月色情婷婷| 疯狂做受XXXX高潮A片| 色婷婷久久| 99这里只有精品| 天天爽人人爽| 色婷婷成人丁香| 婷婷综合精品| 天天射色五月天| 日韩成人影片网站| 欧洲色| 欧美色色色| 精品久久艹| 欧美综合五月丁香六月婷| 91丨九色丨43老版熟女| 色综合综合综合| 色色99| www.久久| 丁香五月先锋| 日日爽天天| 激情五月五月五月婷婷| 色综合播放| av网址在线| 五月婷婷影| 五月天婷婷情色| 97热超碰| 狠狠色丁香久久综合婷婷亚洲成人福利 | 亚洲成人五月天| 99热这里| 西瓜美女a片| 久久丁香| 99re热精品在线视频| 日本超碰在线| 91黄操| 色伊人婷婷| 热久国产| 久99在线| 色涩视频久久| 99在线视频观看| 久久视9精| 韩国不卡AC视频| 黄色AAAA韩国guochansanji| 99热传媒| 狠狠色中色| 日本色色视频| 九九色婷婷Av| 丁香亭亭激情四射| 丁香五月电影| 六月丁香婷婷网| 五月天精品| 日韩乱玛久久| 97性高潮久久久| 丁香五月综合AV在线| 天堂美国久久| 99热久久最新地址| av五月丁香| 九九AV在线| 国产一级片| 九九九九精品精| 精品人妻伦一二三区久| 亚洲爱婷婷| 99视频这里有精品| 69精品人人人人| 丁香五月社区| 五月婷婷六月激情在线| 97九色视频| 激情色中文| 三日本无码| 色99自拍| 韩国19 主播内部福利vip免费播放| 日韩AC在线免费观看| ztEJj| 婷婷五月激情综合啪啪| 操日视频| 丁香 婷婷 激情 综合 五月| 99操碰| 六月婷婷成人| 婷婷五月在线免费| 午夜九九电影| 大地资源色婷婷视频在线| 九九亚洲视频| 亚洲va欧美va国产综合久久久| 天天操九九插| 26uuu亚洲欧美日本| 婷婷五月天亚洲五码| 国产成人AV在线| 九月色婷婷| 激情五月久久| 五月天啪啪| 大香蕉福利导航| 久久久婷婷五月亚洲97号色| 色狠狠五月天| 五月天激情四射| 狠狠搞综合色| 日本熟女二区| 亚洲综合另类| 五月天综合视频| 中文字幕中文有码在线| 色色色色色五月| 久久99网| 婷婷丁香六月| 日韩丰满少妇无码内射| 婷婷五月丁香人妻无码高清| 色九亚洲| 色婷婷香蕉| 天天综合图片| 中文久久婷婷| 五月激情婷婷在线| 亚洲乱码日产精品BD| 久久日韩婷婷五月| 五月五婷婷网| 婷婷色成人| 色婷婷五月天激情在线观看| 俺也去在线视频 | 丁香六月激情| 久色视频首页| 九九性视频| 天天色亚洲| 碰碰人人人| 我想看国产大学生口爆吞精的视频| 婷婷99狠狠| 夜夜综合色| 色婷婷88| 超碰人人色| 开心五月天激情网| 激情婷婷五月社区| 国产免费一区二区三区三州老师F1F1.CC| 月婷婷亚洲| 97色啪| 少妇出轨做爰高潮A片| 欧美碰碰| 99这里只有免费的精品| 国产激情综合五月久久| 激情五月天影院| 婷婷狠狠狠爱| 久久婷出差欧美色两性综合网| 亚洲成人婷婷| 五月婷婷啪| 亚洲精品一区中文字幕乱码| 玖玖爱导航| WWW、日本色丁香、co m| 久久婷婷视频| 婷婷91| 噜噜五月天综合| 五夜婷婷| 激情丁香图片| 亚洲亚洲人成综合网络| 9999三级片| 五月婷六月天| 亚洲综合色婷婷| 婷婷六月综合| 色婷婷五月天堂资源| 久久久五月天| 丁香婷婷综合喷| 噜噜噜精品欧美成人在线观看| 日韩人妻AV在线| 国产日韩av片| 999影院成人在线影院| 色婷婷激情| 综合激情sV| 狠狠五月天激情| 色色色成人网| 97色啪| 激情五月,婷婷五月,丁香五月| 亚洲欧洲中文日韩久久AV乱码| 91色色色| 99热综合色图| 国产AV一区二区三区最新精品| 亚洲综合无码| 婷五月天| 97婷婷五月丁香| 婷婷色五月色妇| 九九無妻| 色婷操逼| 91青娱乐青青草| 狠狠综合久久综合| 99在线观看亚洲| 91九色在线视频| 婷婷自拍| 亚洲一区二区无码蜜乳av| 99热综合| 欧美天天草人人草| 精品成人在线观看| 激情综合在线播放| 天天五月情| 99热青青草| 好好干av| 少妇搡BBBB搡BBB搡毛茸茸| 色10月婷婷视频| 五月婷婷影院| 伊人9在线| 五月天偷拍| 大香伊人婷婷| 丁香六月婷婷一区二区三区| 久久婷婷五月天大香蕉| 五月天色婷婷视频| 色五月综合网| 丁香色综合| 亚洲天天操| 丁香六月婷婷操逼网| 九九草热在线观看| 成人午夜视频精品一区| 色噜噜,噜噜色| 人人爽天天爽| 91久久婷婷| 九九热AV| 婷婷大香蕉| 婷婷五月色天| 久久婷婷六月| 日本色婷婷| 五月丁香色色综合| 91欧美日韩综合| 亚洲人人操| www,超碰| 九热精品| 欧美日韩一区二区三区四区| 色色五月天婷婷| 天天干天天干天天干天天干天天干| 五月婷婷婷综合网| 丁香五月另类色婷婷麻豆| 人人操插| 色婷婷亚洲精品天天综| www.五月婷婷| 色播六月| 99热 这里只有精品 国产 日韩| 婷婷五月丁香综合| 色偷偷综合| 丁香六月 人妻| 色五月综合| 热99久久这里只有精品| 久草婷婷网 | 青青草搞屄视频网站| 亚洲成av人影院| 色色影院aaaav| 日韩青青| 洗浴中心操B视频| 97人人操com| 4438激情网| 日韩九九视频| 九九精品99| 国产永久一黄| 一本色道久久综合狠狠躁小说| 丁香六月狠狠干| 婷婷五月成人| 五月综合激情图片| 天堂久久久久天堂网| 婷婷五月天伊人网| 高清国产AV| 亚洲色婷婷| 伊人超碰| 亚洲第二AV| 色五月激情| 亚洲五月天狠狠| www,色综合| 六月丁香五月婷婷| 99精品无码网站| 激情五月天第四色| 婷婷丁香久久| 99激| 色色综合热| 99热婷婷| 六月丁香婷婷天堂| 日韩AV一区二区三区| 五月天婷婷在线播放免费| 五月天三级久久| 91九九| 日本九九热| 五月丁香色婷基地综合久久| 99超级碰免费视频| 无码网| 中文字幕1区2区。| 日日操夜夜撸| 狠狠色婷婷在线| 婷婷综合国产| 亚洲av综合网| 五月天五月色| 五月天婷婷綜合院| 欧美色色色| 这里只有精品1| 婷婷激情四射| 激情综合网婷婷五夜| 久久激情五月天| 婷婷五月天激情偷拍| 9久操| 激情综合久久| 天天碰夜夜爽| 五月婷婷激情刺激| 美女爆乳18禁www久久久久久| 婷婷五月综合社区| 操逼在线视频| 激情四射网| 黄色av网站在线免费播放| 99操久久| 五月婷婷丁香在线视频| 精品思思久久| 久久天堂女人| www.夜夜| 婷婷五月天视频免费在线观看| 亚洲天堂AV免费片| 亚洲4区国产欧美| 夜夜嗨一区二区三区直播内容 | Www.婷婷五月| 色婷婷色情| 伊人五月婷| 激情五月婷婷网| 久草xx性爱视频| 偷偷狠狠久久婷婷五月天| 手机在线视频观看9| 婷婷六月天| 第四色大香蕉| 淫水导航| 日本天天综合| 六月丁香综合| 五月婷婷激情啪啪| 九九久久精品| 中文av网站| 97婷婷丁香五月| 五月色亭丁香| 日韩久久视频| AV中文网| 337p大胆噜噜噜噜噜91Av|