欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Filebeat JSON日志處理:字段裁剪、扁平化與拆分實(shí)操指南

Filebeat JSON日志處理:字段裁剪、扁平化與拆分實(shí)操指南 維護(hù)日志鏈路的朋友大概率都遇到過(guò)這種場(chǎng)景應(yīng)用明明打的是標(biāo)準(zhǔn)JSON到了Kibana里一看有的字段變成了一長(zhǎng)串嵌套路徑有的關(guān)鍵字段被Filebeat自帶字段覆蓋了還有一堆調(diào)試用的冗余字段把索引空間撐得很大。標(biāo)題里拆出來(lái)的本質(zhì)上是三個(gè)需求去掉JSON日志里的部分屬性、把嵌套JSON拍平、按業(yè)務(wù)需求拆分JSON里的內(nèi)容。這篇就圍繞這三個(gè)問(wèn)題用Filebeat完整走一遍配置、排錯(cuò)和落地思路。先說(shuō)清楚這篇內(nèi)容解決什么不依賴(lài)Logstash、不寫(xiě)ES端復(fù)雜管道盡可能用Filebeat自帶的解析能力和處理器processor完成JSON日志的采集、字段裁剪、扁平化與拆分。適合正在用Elastic Stack做日志平臺(tái)、被同事吐槽“Kibana里字段沒(méi)法看”的開(kāi)發(fā)者也適合剛接手Filebeat、想知道json.keys_under_root和decode_json_fields到底怎么選的新手。1. 項(xiàng)目概述與需求拆解1.1 標(biāo)題背后的三個(gè)核心需求表面看這只是“Filebeat采集JSON日志”但結(jié)合實(shí)際運(yùn)維場(chǎng)景訴求其實(shí)非常具體。第一是“去掉部分屬性”。業(yè)務(wù)日志里經(jīng)?;烊氪罅坎槐匾膬?nèi)容調(diào)試用的堆棧、內(nèi)部上下文字段、請(qǐng)求鏈路里的大對(duì)象。如果全部寫(xiě)入Elasticsearch存儲(chǔ)成本會(huì)漲索引mapping也會(huì)被這些臟字段撐出一堆動(dòng)態(tài)映射。所以要做字段裁剪。第二是“JSON日志扁平化”。默認(rèn)情況下Filebeat把JSON解析后如果內(nèi)容里還有嵌套對(duì)象進(jìn)入ES后會(huì)形成嵌套結(jié)構(gòu)比如context.orderId、context.userId。這帶來(lái)的問(wèn)題是查詢(xún)時(shí)要寫(xiě)很長(zhǎng)路徑Kibana可視化里字段展示很別扭Painless腳本里取字段也要寫(xiě)完整路徑。把嵌套路徑拍平成orderId、userId這類(lèi)頂層字段就是所謂的扁平化。第三是“拆分JSON日志”。這個(gè)詞最容易產(chǎn)生歧義。一種理解是把嵌套對(duì)象里的字段拆出來(lái)變成獨(dú)立頂層字段這其實(shí)和扁平化是一回事另一種理解是日志內(nèi)容里有一個(gè)數(shù)組數(shù)組里每個(gè)元素代表一條獨(dú)立業(yè)務(wù)事件要把一條日志拆成多條記錄。這兩種“拆分”的實(shí)現(xiàn)方式完全不同后面會(huì)分別說(shuō)清楚。1.2 為什么這件事要用Filebeat做日志從產(chǎn)生到進(jìn)入Elasticsearch一共有四個(gè)可以干預(yù)處理的位置應(yīng)用自身、Filebeat、Logstash、ES的Ingest Pipeline。應(yīng)用自身處理是最理想的但現(xiàn)實(shí)很骨感日志格式由業(yè)務(wù)代碼決定采集鏈路的維護(hù)者往往改不動(dòng)別人的代碼或者改一發(fā)版要排很久。Logstash雖然處理能力強(qiáng)但中間多一跳組件部署、監(jiān)控、維護(hù)都多一攤事。ES的Ingest Pipeline要占ES節(jié)點(diǎn)CPU日志量一大容易拖慢寫(xiě)入。Filebeat的優(yōu)勢(shì)在于資源占用極小配置靈活自帶的processor已經(jīng)能覆蓋絕大多數(shù)JSON處理需求。對(duì)中小規(guī)模業(yè)務(wù)來(lái)說(shuō)直接在Filebeat里把解碼、裁剪、扁平化都做完是性?xún)r(jià)比最高的方案數(shù)據(jù)在傳輸前就瘦身了帶寬和存儲(chǔ)都省。1.3 明確處理鏈路與輸出目標(biāo)為了后面演示不跑偏先把目標(biāo)鏈路定下來(lái)Filebeat讀取特定目錄下的日志文件按行解析JSON刪除明確不需要的冗余字段對(duì)嵌套對(duì)象做扁平化將業(yè)務(wù)時(shí)間戳轉(zhuǎn)換為timestamp最后輸出到Elasticsearch。整條鏈路只依賴(lài)Filebeat本身不引入Logstash。這個(gè)鏈路里最關(guān)鍵的是搞清楚每個(gè)處理動(dòng)作的順序因?yàn)閜rocessor是按順序執(zhí)行的前一個(gè)的輸出就是后一個(gè)的輸入。順序錯(cuò)了結(jié)果會(huì)千奇百怪。這個(gè)點(diǎn)我會(huì)在后面的實(shí)戰(zhàn)配置里反復(fù)強(qiáng)調(diào)。2. Filebeat環(huán)境與配置基礎(chǔ)2.1 filebeat.yml的配置層級(jí)展開(kāi)配置之前先把Filebeat的配置模型講清楚。filebeat.yml里四個(gè)核心層級(jí)filebeat.inputs定義從哪讀、parsers或input配置項(xiàng)定義怎么解析、processors定義事件進(jìn)入輸出之前怎么加工、output定義最終發(fā)到哪。一個(gè)不錯(cuò)的類(lèi)比是工廠流水線input是原料入口parser是拆箱機(jī)processor是流水線上的一組工位去雜質(zhì)、貼標(biāo)簽、改包裝output是出貨口。每個(gè)工位按順序工作前面工位的產(chǎn)物就是后面工位的輸入。2.2 兩種JSON解碼方式對(duì)比Filebeat處理JSON日志常見(jiàn)的解碼方式有三種很多人一上來(lái)就混用導(dǎo)致結(jié)果莫名其妙。第一種是log input的json配置項(xiàng)經(jīng)典但偏老。配置寫(xiě)法是filebeat.inputs: - type: log paths: - /var/log/app/*.log json.keys_under_root: true json.overwrite_keys: true json.add_error_key: true json.message_key: messagejson.keys_under_root: true表示把JSON最外層字段直接放到事件的根級(jí)別json.overwrite_keys: true表示如果業(yè)務(wù)JSON里有字段和Filebeat自帶字段同名允許覆蓋json.add_error_key: true表示解析失敗時(shí)加一個(gè)error字段便于排查。第二種是filestream input的ndjson parser這是新版本推薦的方式filebeat.inputs: - type: filestream id: app-json-logs paths: - /var/log/app/*.log parsers: - ndjson: target: overwrite_keys: true add_error_key: truefilestream input是Filebeat 7.x開(kāi)始重點(diǎn)發(fā)展的事件流式采集方式但它不支持log input的json.*配置改用parsers里的ndjson。target設(shè)為空字符串效果等同于json.keys_under_root: true。第三種是用decode_json_fields processor這是最靈活的方式也是我比較推薦的方式processors: - decode_json_fields: fields: [message] target: overwrite_keys: true它做的事情是把事件里message字段的內(nèi)容當(dāng)作JSON解析然后按target參數(shù)決定放哪里。與input級(jí)json配置最大的區(qū)別是decode_json_fields是processor可以和其他processor任意組合也可以用條件判斷控制它只對(duì)某些事件生效。三種方式的取舍用表格看更直觀對(duì)比項(xiàng)log input的json配置filestream的ndjson parserdecode_json_fields processor適用inputlogfilestream兩者都可用作用時(shí)機(jī)input讀取階段input讀取階段事件處理階段能否與其他processor自由組合受限受限可以能否對(duì)部分事件生效否否可以版本趨勢(shì)老項(xiàng)目常見(jiàn)新項(xiàng)目推薦通用實(shí)際項(xiàng)目中我的習(xí)慣是老版本存量配置用json.keys_under_root不動(dòng)它新寫(xiě)的配置統(tǒng)一用filestream input加decode_json_fields processor這樣處理邏輯都集中在一個(gè)地方排查問(wèn)題不用翻好幾個(gè)配置段。2.3 processor執(zhí)行順序的關(guān)鍵性processors數(shù)組里的順序就是執(zhí)行順序這一點(diǎn)極其重要。舉個(gè)例子如果你先做drop_fields刪掉message字段再做decode_json_fields去解message這時(shí)message已經(jīng)沒(méi)了decode會(huì)跳過(guò)或報(bào)錯(cuò)。反過(guò)來(lái)先decode把message里的內(nèi)容解析成字段再drop_fields刪掉冗余字段邏輯才是通的。我在真實(shí)項(xiàng)目里見(jiàn)過(guò)最典型的錯(cuò)誤是在decode_json_fields之前加了一個(gè)rename把message改名了結(jié)果decode_json_fields找不到字段整個(gè)JSON解析靜默失敗原始字符串原封不動(dòng)進(jìn)了ES。排查流程走了好久最后發(fā)現(xiàn)就是一行配置順序的問(wèn)題。2.4 字段保留策略的隱藏風(fēng)險(xiǎn)當(dāng)JSON字段被放到事件根級(jí)別后事件里會(huì)同時(shí)存在三類(lèi)字段Filebeat內(nèi)部字段timestamp、metadata、host、log、agent等、業(yè)務(wù)字段、可能存在的ECS字段。做字段裁剪前必須清楚哪些字段是ES和Kibana運(yùn)行依賴(lài)的。比如include_fields白名單如果fields列表里忘了timestamp那么timestamp會(huì)在處理中被過(guò)濾掉日志寫(xiě)入ES后時(shí)間軸直接亂掉。這個(gè)坑很多人踩過(guò)而且排查難度高因?yàn)閿?shù)據(jù)能進(jìn)ES看起來(lái)一切正常就是Kibana時(shí)間不對(duì)。做白名單保留時(shí)默認(rèn)把timestamp、log、host這類(lèi)系統(tǒng)字段帶上再刪業(yè)務(wù)字段會(huì)穩(wěn)妥很多。3. JSON日志扁平化核心實(shí)操3.1 為什么日志要扁平化拿一條實(shí)際日志舉例原始JSON長(zhǎng)這樣{ timestamp: 2024-01-15T10:30:00Z, level: INFO, logger: OrderService, message: 訂單創(chuàng)建成功, context: { orderId: ORD-12345, userId: 10086 } }如果不做扁平化context整體會(huì)作為一個(gè)嵌套對(duì)象進(jìn)入ESKibana字段列表里看到的就是context.orderId、context.userId查詢(xún)要寫(xiě)完整點(diǎn)號(hào)路徑建看板時(shí)要一層層展開(kāi)。如果業(yè)務(wù)里嵌套三層四層mapping會(huì)越來(lái)越亂動(dòng)態(tài)映射產(chǎn)生的字段也會(huì)暴漲。扁平化的目標(biāo)是讓context.orderId變成orderId這樣的頂層字段或者至少變成帶前綴的扁平字段讓查詢(xún)和展示都直觀。3.2 target: 實(shí)現(xiàn)的是“淺扁平化”很多人誤以為decode_json_fields的target設(shè)為空字符串就能把所有嵌套層級(jí)都拍平。實(shí)際上target: 只是把JSON最外層的字段提升到事件根級(jí)別。打個(gè)比方它拆掉了外包裝箱但里面的小盒子還在。對(duì)于只有一層嵌套的場(chǎng)景例如JSON里所有字段本來(lái)就在頂層那target: 確實(shí)夠用。但如果JSON里本身有嵌套對(duì)象比如context字段下還有orderIdtarget: 之后context還是嵌套對(duì)象并沒(méi)有真正展開(kāi)。這是“淺扁平化”和“深度扁平化”的區(qū)別。3.3 深度扁平化script processor遞歸展平要實(shí)現(xiàn)真正的深度扁平化Filebeat的script processor可以派上用場(chǎng)。這個(gè)processor支持JavaScript可以對(duì)事件做任意操作。下面是我在項(xiàng)目里驗(yàn)證過(guò)的一段遞歸展平腳本processors: - script: lang: javascript source: function flattenNode(node, prefix, output) { for (var key in node) { if (!node.hasOwnProperty(key)) continue; var fullKey prefix ? prefix _ key : key; var value node[key]; if (value ! null typeof value object !Array.isArray(value)) { flattenNode(value, fullKey, output); } else { output[fullKey] value; } } } function process(event) { var doc event.Get(); if (doc[context] ! undefined) { var flat {}; flattenNode(doc[context], ctx, flat); for (var k in flat) { event.Put(k, flat[k]); } event.Delete(context); } }這段腳本的意圖是把context對(duì)象里的所有嵌套字段遞歸展開(kāi)新字段名用下劃線拼接比如context.orderId變成ctx_orderIdcontext.userId變成ctx_userId然后把原始的context字段刪除。注意Filebeat script processor的JavaScript API和Elasticsearch的script processor不一樣這里用的event.Get、event.Put、event.Delete是Filebeat事件對(duì)象的原生方法。寫(xiě)腳本時(shí)先看對(duì)應(yīng)版本的文檔不同大版本之間API可能有調(diào)整。3.4 關(guān)于扁平化字段名的關(guān)鍵認(rèn)知這里有個(gè)特別容易踩的知識(shí)點(diǎn)如果你想拍平字段新字段名里千萬(wàn)別帶點(diǎn)號(hào)。比如把context.orderId改名為context.orderId還是原來(lái)那個(gè)名字這在ES里依然會(huì)被當(dāng)作嵌套路徑處理等于白干。真正要做到扁平化字段名里不能有點(diǎn)號(hào)分隔符要么用下劃線要么用自定義前綴。這個(gè)道理類(lèi)似文件路徑a/b/c是路徑分隔a_b_c就是一個(gè)普通文件名。ES的字段名機(jī)制也一樣點(diǎn)號(hào)就是路徑分隔符。理解了這一點(diǎn)你就知道為什么很多人“扁平化”之后Kibana里還是嵌套結(jié)構(gòu)。3.5 扁平化后的字段名沖突處理扁平化時(shí)最常見(jiàn)的沖突是兩條嵌套路徑展平后使用了同一個(gè)字段名。例如context.orderId和data.orderId如果都直接展平成orderId后寫(xiě)的事件會(huì)覆蓋先寫(xiě)的字段。穩(wěn)妥的做法是帶上前綴。我上面的腳本生成ctx_orderId就是把所有字段都加了ctx前綴這樣從context里出來(lái)的字段天然不會(huì)和日志頂層的orderId沖突。如果業(yè)務(wù)上有多個(gè)嵌套對(duì)象需要展開(kāi)建議分別為它們?cè)O(shè)置不同的前綴干脆避免沖突別指望ES能幫你智能合并。4. 去掉部分屬性三種方案的對(duì)比與選型4.1 黑名單方案drop_fields直接刪最簡(jiǎn)單的裁剪手段是drop_fields寫(xiě)法很直接processors: - drop_fields: fields: [extra_verbose_data, context.items] ignore_missing: trueignore_missing: true表示字段不存在時(shí)不會(huì)報(bào)錯(cuò)這在處理多格式日志時(shí)很重要不然某個(gè)字段在這個(gè)事件里沒(méi)有整個(gè)processor會(huì)報(bào)異常。這個(gè)方案的適用場(chǎng)景是字段總量可控你明確知道哪些字段是多余的。比如日志里有一個(gè)巨大的extra_verbose調(diào)試字段直接刪掉最省事。需要注意drop_fields刪嵌套字段時(shí)要寫(xiě)的是事件里的實(shí)際路徑。如果前面已經(jīng)做了扁平化原來(lái)的context.orderId已經(jīng)變成ctx_orderId了這時(shí)候再寫(xiě)context.orderId肯定刪不到東西。4.2 白名單方案include_fields只留需要的字段特別多、真正用的沒(méi)幾個(gè)時(shí)相反的做法更高效只保留關(guān)心的字段。processors: - include_fields: fields: [timestamp, log, host, level, logger, message, ctx_orderId, ctx_userId]白名單的好處是業(yè)務(wù)日志里以后新增了字段也不會(huì)自動(dòng)進(jìn)入ES索引mapping非常干凈不會(huì)出現(xiàn)動(dòng)態(tài)字段泛濫。代價(jià)是每次想看一個(gè)新字段都要改配置靈活性差一些。這里我必須再次強(qiáng)調(diào)include_fields的列表一定要帶上timestamp、log、host這些系統(tǒng)字段。我自己就吃過(guò)虧第一次配白名單時(shí)只想著留業(yè)務(wù)字段結(jié)果時(shí)間字段被過(guò)濾掉了Kibana里所有日志的時(shí)間全亂了排查了很久才定位到是這個(gè)原因。4.3 服務(wù)端方案ES Ingest Pipeline如果處理邏輯希望集中在ES端可以在Elasticsearch里建一個(gè)ingest pipelinePUT _ingest/pipeline/app-log-json { processors: [ { remove: { field: extra_verbose_data } }, { rename: { field: context.orderId, target_field: ctx_orderId } } ] }然后在Filebeat的output里引用output.elasticsearch: hosts: [http://localhost:9200] index: order-app-%{yyyy.MM.dd} pipeline: app-log-json這個(gè)方案的優(yōu)勢(shì)在于邏輯集中在ES端多個(gè)采集器過(guò)來(lái)都能復(fù)用同一套處理規(guī)則改一次全鏈路生效。劣勢(shì)也明顯冗余字段已經(jīng)通過(guò)網(wǎng)絡(luò)傳到了ES白白占用帶寬而且ingest節(jié)點(diǎn)在高峰期的CPU開(kāi)銷(xiāo)不可忽視。4.4 方案對(duì)比與選型建議方案執(zhí)行位置節(jié)省傳輸帶寬新增字段自動(dòng)保留適合場(chǎng)景drop_fieldsFilebeat是是明確知道要?jiǎng)h哪些字段include_fieldsFilebeat是否需改配置字段極多且只需要少數(shù)幾個(gè)ES Ingest PipelineES否是多采集器復(fù)用同一套規(guī)則我的經(jīng)驗(yàn)是中小規(guī)模日志鏈路優(yōu)先全用Filebeat處理。先decode再drop_fields刪明確冗余的字段如果字段確實(shí)太雜改用include_fields白名單但一定把系統(tǒng)字段帶上。單日志量非常大的場(chǎng)景建議把復(fù)雜的字段重命名和類(lèi)型轉(zhuǎn)換放到ES pipeline里Filebeat只做最基礎(chǔ)的解碼和裁剪降低Beat端的CPU壓力。5. JSON日志拆分字段拆分與事件拆分5.1 先搞清楚“拆分”指什么“拆分JSON日志”這個(gè)詞確實(shí)容易讓人犯迷糊。我基于實(shí)際需求把它拆成兩類(lèi)。第一類(lèi)是字段拆分把嵌套對(duì)象里的字段拆出來(lái)變成頂層字段。比如context里的orderId拆成ctx_orderId這個(gè)本質(zhì)上就是前文講的扁平化只是換了種說(shuō)法。第二類(lèi)是事件拆分日志里有一個(gè)JSON數(shù)組數(shù)組中每個(gè)元素代表一條獨(dú)立業(yè)務(wù)事件希望一條日志變成多條記錄進(jìn)入ES。比如訂單日志里orders數(shù)組包含多筆訂單你想讓每筆訂單成為一條獨(dú)立日志。這兩種需求的技術(shù)路徑完全不同下面分開(kāi)講。5.2 字段拆分的實(shí)現(xiàn)思路字段拆分完全可以在Filebeat內(nèi)用script processor完成。比如下面這段腳本把orders數(shù)組里每個(gè)元素展開(kāi)成order_0_id、order_0_amount這樣的字段processors: - script: lang: javascript source: function process(event) { var orders event.Get(orders); if (orders Array.isArray(orders)) { for (var i 0; i orders.length; i) { event.Put(order_ i _id, orders[i].orderId); event.Put(order_ i _amount, orders[i].amount); } event.Delete(orders); } }這樣做的前提是數(shù)組長(zhǎng)度相對(duì)固定。因?yàn)閿?shù)組一旦變成order_0_id、order_1_id這種固定字段ES的mapping會(huì)隨數(shù)組長(zhǎng)度動(dòng)態(tài)增加字段如果長(zhǎng)度不可控mapping會(huì)很難看字段會(huì)無(wú)限膨脹。所以字段拆分只適合數(shù)組長(zhǎng)度有限且穩(wěn)定的場(chǎng)景。5.3 事件拆分的正確姿勢(shì)Filebeat加Logstash把一條日志拆成多條記錄Filebeat本身沒(méi)有這個(gè)能力這是它的邊界。要完成事件拆分標(biāo)準(zhǔn)方案是Filebeat把原日志原樣發(fā)給Logstash由Logstash的split filter處理。Logstash配置示例input { beats { port 5044 } } filter { json { source message target body } split { field [body][orders] target order } mutate { remove_field [body, message] } } output { elasticsearch { hosts [http://localhost:9200] index order-detail-%{yyyy.MM.dd} } }split filter的工作原理可以這樣理解父事件進(jìn)來(lái)了orders數(shù)組有幾個(gè)元素它就復(fù)制出幾個(gè)事件副本每個(gè)副本里把orders數(shù)組的某個(gè)元素賦值到order字段上同時(shí)保留父事件的其他字段。最后用mutate把body、message這些中間字段刪掉輸出的就是干凈的獨(dú)立訂單事件。這里有一個(gè)業(yè)務(wù)上的取舍事件拆分后每條日志攜帶的上下文比如請(qǐng)求ID、用戶(hù)ID會(huì)被復(fù)制到每條記錄中這會(huì)讓存儲(chǔ)膨脹但查詢(xún)體驗(yàn)好很多。如果業(yè)務(wù)上查詢(xún)單筆訂單時(shí)不想關(guān)聯(lián)回父日志這個(gè)代價(jià)是值得的。5.4 拆分后的索引設(shè)計(jì)建議事件拆分后數(shù)據(jù)量通常比原來(lái)多好幾倍。寫(xiě)入ES時(shí)要注意兩點(diǎn)一是給拆分后的事件設(shè)置合理的索引分片數(shù)不要沿用父日志的索引配置二是在輸出端盡量讓ES做冪等寫(xiě)入用業(yè)務(wù)訂單號(hào)做文檔ID避免重復(fù)采集時(shí)產(chǎn)生重復(fù)文檔。如果不想為拆分額外維護(hù)一套Logstash也可以在應(yīng)用端直接修改日志結(jié)構(gòu)把數(shù)組在日志產(chǎn)生時(shí)就打成多條獨(dú)立JSON行。這個(gè)方案最干凈但前提是你能改業(yè)務(wù)代碼。6. 完整實(shí)戰(zhàn)配置一個(gè)可復(fù)現(xiàn)的Demo6.1 演示日志樣例為了把配置講具體模擬一份訂單應(yīng)用日志存到/var/log/app/order-app.log{timestamp: 2024-01-15T10:30:00Z, level: INFO, logger: OrderService, message: 訂單創(chuàng)建成功, context: {orderId: ORD-12345, userId: 10086}, items: [SKU001, SKU002], extra_verbose: {traceId: trace-01, stack: ...}}這份日志包含了我們要演示的所有處理點(diǎn)timestamp需要轉(zhuǎn)成timestampcontext需要扁平化extra_verbose需要?jiǎng)h除items數(shù)組要保持原樣。6.2 filebeat.yml完整配置下面是一份可直接復(fù)用的完整配置filebeat.inputs: - type: filestream id: order-app-log paths: - /var/log/app/order-app.log parsers: - ndjson: target: overwrite_keys: true add_error_key: true processors: - timestamp: field: timestamp layouts: - 2006-01-02T15:04:05Z - 2006-01-02T15:04:05.999Z timezone: Asia/Shanghai ignore_failure: true - drop_fields: fields: [extra_verbose] ignore_missing: true - script: lang: javascript source: function flattenNode(node, prefix, output) { for (var key in node) { if (!node.hasOwnProperty(key)) continue; var fullKey prefix ? prefix _ key : key; var value node[key]; if (value ! null typeof value object !Array.isArray(value)) { flattenNode(value, fullKey, output); } else { output[fullKey] value; } } } function process(event) { var doc event.Get(); if (doc[context] ! undefined) { var flat {}; flattenNode(doc[context], ctx, flat); for (var k in flat) { event.Put(k, flat[k]); } event.Delete(context); } } output.elasticsearch: hosts: [http://localhost:9200] index: order-app-%{yyyy.MM.dd}配置里要解釋幾個(gè)關(guān)鍵點(diǎn)。timestamp processor的layouts用的是Go時(shí)間布局格式不是Java的yyyy-MM-dd格式。Go格式里2006代表年、01代表月、02代表日、15代表小時(shí)、04代表分鐘、05代表秒。這是Filebeat和Logstash時(shí)間格式最大的不同很多人第一次用都會(huì)在這里翻車(chē)。ignore_failure: true的含義是時(shí)間解析失敗時(shí)processor不會(huì)讓整個(gè)事件處理中斷而是繼續(xù)往下走。這在實(shí)際生產(chǎn)環(huán)境里很有用因?yàn)榕紶枙?huì)出現(xiàn)一條格式異常的日志你不能因?yàn)橐粭l臟數(shù)據(jù)把整批事件都堵住。drop_fields放在timestamp之后沒(méi)有依賴(lài)關(guān)系但放在decode之后是關(guān)鍵因?yàn)閑xtra_verbose是解析后的字段不是原始日志行里的路徑。script processor的flattenNode遞歸函數(shù)會(huì)生成ctx_orderId、ctx_userId這些帶前綴的扁平字段然后刪除原始的context對(duì)象。如果context里還有更深層的嵌套這個(gè)遞歸函數(shù)會(huì)繼續(xù)往下展開(kāi)直到所有非對(duì)象字段都變成頂層字段。6.3 啟動(dòng)與驗(yàn)證步驟寫(xiě)完配置先別急著上生產(chǎn)本地跑通再說(shuō)。三個(gè)命令很實(shí)用filebeat test config -c filebeat.yml filebeat test output -c filebeat.yml filebeat -e -c filebeat.yml第一條檢查配置語(yǔ)法第二條檢查output連接是否可用第三條前臺(tái)運(yùn)行并輸出日志。如果處理邏輯復(fù)雜我習(xí)慣先把output改成console做本地調(diào)試output.console: pretty: true這樣可以直觀看到每個(gè)事件經(jīng)過(guò)processors之后長(zhǎng)什么樣確認(rèn)字段都對(duì)了再把output切回elasticsearch。這個(gè)調(diào)試手法幫我省了大量去Kibana刷index的時(shí)間。6.4 驗(yàn)證結(jié)果與字段對(duì)比經(jīng)過(guò)上面配置處理后原始日志字段會(huì)變成這樣原始字段路徑處理后字段處理方式timestamptimestamp、timestamptimestamp processor轉(zhuǎn)換context.orderIdctx_orderIdscript processor扁平化context.userIdctx_userIdscript processor扁平化extra_verbose已刪除drop_fieldsitemsitems原樣保留level、logger、message原樣保留根級(jí)字段在Kibana的Discover頁(yè)面里如果索引模板已經(jīng)生成打開(kāi)字段列表就能看到ctx_orderId、ctx_userId這些頂層字段不再有context這個(gè)嵌套對(duì)象。items作為數(shù)組字段保留方便后續(xù)做聚合分析。7. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄7.1 日志解析失敗卻沒(méi)有任何報(bào)錯(cuò)最常見(jiàn)的現(xiàn)象是原始日志明明是JSON寫(xiě)入ES后message字段還是完整字符串或者干脆多了一個(gè)error字段。原因通常是add_error_key沒(méi)開(kāi)啟解析失敗的信息被Filebeat吞掉了。排查時(shí)先做的不是改配置而是用console output直接看Filebeat內(nèi)部事件長(zhǎng)什么樣output.console: pretty: true如果事件里的message還是原始字符串說(shuō)明decode_json_fields根本沒(méi)匹配到那個(gè)字段檢查fields寫(xiě)的對(duì)不對(duì)。如果事件里有很多error字段說(shuō)明JSON解析失敗把日志原文復(fù)制出來(lái)用格式化工具檢查一下多半是日志里混了多行JSON或者非JSON文本。7.2 時(shí)間字段被覆蓋或丟失Kibana日志時(shí)間全是Filebeat采集時(shí)刻的實(shí)時(shí)時(shí)間而不是業(yè)務(wù)日志本身的時(shí)間。這個(gè)問(wèn)題的根源是沒(méi)有配置timestamp processor或者配置了但field寫(xiě)錯(cuò)了又或者字段在include_fields時(shí)被誤刪。把業(yè)務(wù)時(shí)間字段轉(zhuǎn)成timestamp是JSON日志處理的標(biāo)準(zhǔn)動(dòng)作。同時(shí)記得如果業(yè)務(wù)字段里也有一個(gè)timestamp或類(lèi)似字段decode時(shí)overwrite_keys開(kāi)啟后業(yè)務(wù)字段也可能反過(guò)來(lái)覆蓋系統(tǒng)時(shí)間導(dǎo)致時(shí)間錯(cuò)亂。這種情況建議把業(yè)務(wù)時(shí)間字段rename成一個(gè)業(yè)務(wù)專(zhuān)屬名比如event_time再用timestamp processor轉(zhuǎn)系統(tǒng)時(shí)間。7.3 嵌套字段依然存在扁平化沒(méi)生效我在實(shí)際項(xiàng)目中經(jīng)歷過(guò)這種場(chǎng)景按照網(wǎng)上教程配置了decode_json_fields的target: 以為能完全展平結(jié)果context還是嵌套在ES里。原因前文已經(jīng)說(shuō)過(guò)target: 只是拆外包裝要完全展開(kāi)必須用遞歸腳本。還有一個(gè)隱蔽問(wèn)題如果腳本生成的字段名里帶了點(diǎn)號(hào)比如直接寫(xiě)成ctx.orderId那么ES仍然會(huì)把它當(dāng)作嵌套路徑。字段名里只要有點(diǎn)號(hào)在ES里就是層級(jí)結(jié)構(gòu)。檢查腳本生成的字段名確認(rèn)沒(méi)有點(diǎn)號(hào)。7.4 processor順序?qū)е碌脑幃惤Y(jié)果processor順序的問(wèn)題是排查成本最高的因?yàn)楹芏噱e(cuò)誤很隱蔽。比如先做了include_fields把message以外的業(yè)務(wù)字段全刪了然后decode_json_fields再去解析message解析出來(lái)的字段當(dāng)然也沒(méi)了因?yàn)槭录皇O耺essage一個(gè)字段。經(jīng)驗(yàn)法則是先做decode再做rename再做字段裁剪再做時(shí)間轉(zhuǎn)換最后做輸出相關(guān)處理。按這個(gè)順序排能避開(kāi)80%的processor順序問(wèn)題。7.5 script processor的性能隱患最后講一個(gè)很多人忽略的點(diǎn)script processor用的是JavaScript引擎解釋執(zhí)行開(kāi)銷(xiāo)遠(yuǎn)高于原生processor。日志量小無(wú)所謂但一天幾億條日志時(shí)如果每條都要跑一段遞歸展平腳本Filebeat的CPU會(huì)明顯吃緊。我踩過(guò)這個(gè)坑之后的實(shí)踐原則是能用原生processordecode_json_fields、drop_fields、rename、timestamp解決的絕不寫(xiě)腳本腳本只處理真正無(wú)法用原生能力完成的邏輯。如果日志量真的很大把復(fù)雜處理盡量往ES Ingest Pipeline或Logstash移讓Filebeat只做最輕量的采集和裁剪。還有一種更徹底的思路找業(yè)務(wù)方溝通讓他們?cè)谳敵鋈罩厩熬桶袹SON結(jié)構(gòu)拍平。比如日志里直接輸出orderId而不是輸出context對(duì)象讓采集端再去拆。很多團(tuán)隊(duì)繞了一大圈做扁平化最后發(fā)現(xiàn)讓業(yè)務(wù)改一下日志結(jié)構(gòu)比任何采集端處理都干凈高效。我這里多分享一句個(gè)人體會(huì)Filebeat的processor能力很強(qiáng)但不代表所有事情都適合在Beat端做。學(xué)會(huì)判斷什么該在Filebeat做、什么該給Logstash、什么該留給ES pipeline比背一堆配置參數(shù)重要得多。日志鏈路每多一個(gè)處理環(huán)節(jié)排查鏈路就多一分復(fù)雜度能用最簡(jiǎn)單方案解決的別為了炫技堆復(fù)雜處理。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九九九毛片| 五月天激情小说网| 激情亭亭五月| 男人的天堂五月丁香| 日韩成人影片网站| www.五月天色色.com| 天天做天天爱综合| 色五月激情基地| 久操b网| 亚洲AV免费国产电影| 久久婷婷丁香花综合网| 欧美电影在线播放| 六月丁香啪啪| 天天色天天日| www色色色com| 久热综合| 强伦轩人妻一区二区电影| 精品草原久久视频| 国色天香伊人狠狠色| 天天爽成人综合网站| 人妻视频在线| 任你干嘛免费视频播放| 日韩有码一区| 午夜]香婷婷深深爱| 午夜69成人做爰视频| 人妻无码精品一区| 国产 亚洲 在线| www夜夜操com| 色五月丁香六月欧美综合| 丁香色播五月天| 五月天久久久| www九九| www一起操在线观看| 婷婷.com| 久综合4| 国产精品久久久久久久久久免费| 嫩BBB槡BBBB搡BBBB| 99热激情| 色情成人五月天| 久久亚洲天堂| 97婷婷丁香| 色五月婷婷五月| 日日日日操| 美女100%露全身无挡网站| 日本怕怕视频| 久久五月天合网| 91久久久久久久| 丁香五月最新地址| 精品牛仔裤超碰| 免费观看的av| 久草婷婷| 天天日天天操心| 丁香六月综合激情| 久久婷婷伊人| 色婷婷五月天| 色五月情| 人妻第九页| 亚洲亚洲人成综合网络| 日韩av手机在线观看| 亚洲亚洲人成综合网络| 天天干一干| 色色五月婷| 婷婷激情综合| 色婷婷丁香五月| 狠狠色噜噜狠狠狠狠综合| 色啪影院| 丁香五月婷婷在线| 99精品在线观看| 色五月网址| 亚洲欧美成人在线| 风流少妇A片一区二区蜜桃| 亚洲中文字幕在线观看| 97 天堂| 日韩久久成人| 丁香五月天影院| 碰99在线| 婷婷色五月天色色| 日本久久精品18| 91精品综合久久婷婷九色| 91视频综合网| 99热在线资源| 91一起操| 激情美女五月天| 久热这里这里有精品| 色激情综合狠狠婷婷| 天天爽天天爽天天爽天天爽天天爽天天爽天天| va中文资源在线观看| 天天摸,天天爽| a69在线视频| 色情丁香五月天| AV美美午夜| 五月丁香六月婷婷不卡免费无码| 五月涩涩网| 久久婷婷五月综合啪| 色婷视频| WWW,五月| 激情五月天影院| 丁香婷婷激情| 久久人妻熟女一区二区 | 牛牛热这里只有jingpin| 伊人久久婷婷五月综合97色| 超碰免费观看| 色噜噜五月天| 只有精品在线观看| 色高清无码视频| 深爱激情五月天婷婷网| 99热这里只| 五月婷婷啪啪综合网| 思思久久99| 久久99综合网| 99操视频| 8050一级网| 九九九九无码| 日韩成人综合网| www.25五月婷婷| 丁香六月天婷婷色| 五月天社区狠狠| 俺去也五月| 丁香五月人妻| 九九热精品视频在线观看| 国产精品99久久久久久久女警| 日本不卡高字幕在线2019| 91九色白丝| 操婷婷久久| 日本色色网站| 九九热99re8热免费观看 | 婷婷综合五月天亚洲综合| 99性爱视频| 爆乳熟妇一区二区三区爆乳照片| 久久综合婷婷| 99热九九九九| 九九色色网| 激情深爱婷婷网| 亚洲 小说 欧美 激情 另类| 九九这里有精品| 色婷婷免费观看| 久久久久久久久久8888| 婷婷九月久久| 五月婷婷色播| 99热20| 国产另类综合| 超碰二区| 777影视理论片大全在线观看| 成人国产网| 六月婷婷色色色| 欧美日韩成人| 夜夜爽天操| www久久艹| 丁香五月偷拍| 亚洲综合色激情色五月| 99在线免费视频| 五月激情丁香久久综合网| 欧美婷婷五月天综合| 色优久久| 狠狠干伊人| 亚洲色五月| 五月婷婷激情网| 91色性感五月婷婷丁香| 九九色播五月丁香| 亚洲婷婷开心五月| 激情综合网五月天| 91丨九色丨国产打屁股| 艹色18p| 女婷久久| 久久这里只有精品22| 超碰人人91| 国产亚洲在线| 2022人人操人人看| 欧美激情Va| 无码人妻一区| 日韩成人网址| 中文字幕黄色电影网址| 激情五月天在线| 成人五月天视频| 色爱五月天| Www.sesese丁香| AV成人在线播放| 99er6| 亚洲五月花| 色香欲综合| www...com黄在线观看| 91色涩| 亚洲色情激情丁香五月| 五月婷婷亚洲| 另类丁香五月天区图| 激情AV在线| 五月丁香六月婷婷亚洲激情综合| 五月天色色婷婷| 色日本颜射| 噜噜操操| 综合综合网| 色五月成人| 狠狠干.com| 色三级色三级| 天天爽日日爽夜夜爽| 五月丁香人妻| 国产高潮白浆一区二区| 99er6| 天天干,夜夜爽| .精品久久久麻豆国产精品| 97碰碰碰| 91小黄书网址在线观看| 天天天天操| 久热AⅤ| www.激情在线| 久超超碰| 欧美精品狠狠色丁香婷婷| 五月开心婷婷网| 这里精品| 三人荫蒂添的好舒服A片| 偷偷与邻居做爰完整视频| 色色色色色色色色色色色色色97| 婷婷开心激情综合五月天| 91久久婷婷| 丁香花综合永久入口| 久久视这里只有精品| 六月激情婷婷| 艹B高清无码| 久99久视频| 丁香六月色婷婷| 狼人久草| 六月丁香啪啪啪| 免费五月婷婷网| 99在线精品观看99| 日本久热| 久色视频| 久久婷婷原创视频| 91热er| 性生活视频98791| 人碰人人人玩91| 18av天堂| 色~性~乱~伦~噜| 九九精品re免费视频| 天天爽—爽| 热久国产| 亚洲综合成人网站| 国产精品A片| 久色激情| 久久精典| 在线观看av网站| 激情综合文学| 五月丁香婷婷综合激情基地| 天天爽天天干| 欧美婷婷日本| 五月婷婷六月丁香玖玖玫瑰91| 欧美综合五月天婷婷tin| 亚洲精品乱码久久久久久按摩观| 99热精品观看| 性爱激情小说AV五月丁香花| 婷婷五月天亚洲综合| 色色色欧美| 久久性操| 极品另类| 亚州激情九月| 久久人妻伦理| 免费碰碰视频久| 色婷婷久久综合久色| 欧美人人操| 久久丁香社| 久久久久人无码人妻| 99热综合| AV性爱在线| 丁香五月婷婷五月| 婷婷丁香成人| 亚洲激情网| 97热在线精品| 久久久久久久久久久月丁| 欧美久人人| 色99综合视频| 黄色片久久| 日日日,com| 我爱大香蕉| 五月天婷婷AV| 五月丁香六月欧美综合网站| 久久天堂色| 欧美激情五月| 激情综合丁香六| 激情婷婷五月天伊人在线观看 | 色五月琪琪| 国产精品爽爽久久久久久| 日韩人人操| 丁香网五月网| 夜夜嗨一区二区三区直播内容 | 久久五月丁香婷婷| 久久综合丁香激情五月| 九月激情网| 毛片新网地| 国内久久久精品99| 综合婷婷五月天| 国产91在线视频| 国精产品久久| 人五月天婷婷喷水| 性天天中文网| 六月婷婷天堂| 国产精品热搜丁香五月婷婷| 微拍92| 天天干天天爽天天操| 久久艹 五月天| 深爱五月天天| 5月丁香综合图区| 六月天无码网址| 五月丁香色婷婷| 久久久妻人人人| 六月婷婷中文字幕| 久热视频A.| 狠狠色综合网站久久久久| 天天久综合网永久入口17v| 国产无人区大片| www.久久久久久| 天天爱天天吃狠天天透| 91疯狂操操操操| 天天色天天日天天舔| 91人人人人人人人| 五月天综合视频网| 婷婷激情四射网| 开心五月天激情网| 91免费看片| 婷婷激情在线| 婷婷亚洲综合| 亚洲操b| 久久久五月天| 日韩操人| 天天色五月| 99久久九九视频| 亚州日本欧州韩美高青高潮一| 成人.在线日韩| 亚洲激情视频网| 成人 在线观看国产| 99爱免费在线视频| 美女爆乳18禁www久久久久久| 色欲色香伊人| 中文久久婷婷| www.五月婷婷| 色五月丁香五月激情五月激情| 色婷婷五月天| 亚洲日韩26uuu| 2018夜夜草| 开心五月色婷婷综合开心网| 婷婷性爱综合| 五月丁香婷婷色色色| 九九热re99re6在线精品| 亚洲精品视频在线播放| 狠狠艹狠狠艹| 精品二区| 婷婷五月天激情电影小说| 丁香五月天狠狠操| www色婷婷| 欧美狠狠草| 免费看欧美成人A片无码| 五月丁香色婷| 在线综合91| 日韩在线观看亚洲| 五月天激情综合在线| 欧美交换配乱吟粗大25P| 99亚洲大片精品永久在线观看| 丰滿爆乳一区二区三区| 婷婷六月天激情| 亚洲小电影在线观看黄999| 色色色999| .操區COm| 久久综合五月天激情小说网站| www,天天干| 亚洲网站999| 五月丁香亚洲综合| 五月丁香六月婷婷综合网| 亚洲无码性爱| 亚洲网站999| 九九色综合| 国产无套精品一区二区| 日本五月婷婷| 九九aV| 亚洲精品亚洲人成人网| 五月丁香六月婷婷亚洲| 成人色图情色成人网 www.5b5b5bcom 五月天 | 激情五月天情色| 波多野结衣AV无码Porn| 激情五月深爱五月| 国产精品24r| 性热视频99精品| 激情网战码亚洲A| 九九99九九精品免费 | 久9热插入| 久久99热这里只频精品6学生| 99色综合| 久久九九激情五月天 | 久久草婷婷丁香网站| 色综合久网| 99热久| 丁香成人综合| 性爱激情小说AV五月丁香花| 激情五月综合婷婷| 99爱无码| 91黄址| 人妻体体内射精一区二区 | 五月天成人在线视频丁香| 丁香婷婷五月份| 久久婷婷亚洲| 五月天伊人av| 激情五月天.色网| 久久丝袜婷婷| 亚洲开心激情网| Av在线不卡一区| 99综合视频一体| 五月天四色房丁香| 99热亚洲精品| 国产成人精品一区二三区熟女在线| 99免费热视频| 日本色色色| 欧亚成人A片一区二区| 欧美中文五月天| 任你爽视频| 伊人高清无码| 婷婷丁香花五月天| 美女黄频aⅴ视频| 97精品综合| 综合久久五月天| 伊人婷婷青青cao| 伊人九热| 日本99久久| 婷婷夜夜夜夜| 亚洲成人AV在线观看| 狠狠爱深色婷婷综合| 日韩在线观看亚洲| 欧洲亚洲欧洲99久久| 日本在线99| 激情丁香五月| 欧美色五月| 九九家庭影院| 高清国产AV| 九九伊人网| 激情五月婷婷开心网| 婷婷五月天激情网址| 精品九九久久| 色色色五月婷婷| 久1色色| 亚洲综合欧美色丁香婷婷888月图片 | 99热66| 思思久久99| WWW五月天| 色情五月天。| 久久婷婷七月丁香| 99精品视频网站| 99亚洲无码| 天天摸天天肏| 黄色成人AV在线| 色婷婷五月综合| 99热这里只有精品16| 99热精品在线观看| 在线99色| 欧美婷婷色| 国产精品久久..4399| 六月丁香好婷婷| 91狠狠色丁香婷婷综合久久精品| 亚洲9久久精品| 99亚洲精品| 婷婷五月色播| 婷婷五月天激情AV影院| 五月丁香六月色婷| 超碰网站在线观看| 色色综合网www| 天天天干夜夜夜操| 五月天 婷 欧美亚洲| 婷婷性爱无码视频| 婷色五月| 五月丁香久久丝袜啪啪| 99超碰欧美| 夜夜干夜夜操| 五月丁香婷婷网在线在线| 手机AVAV天堂看网| 五月婷婷干干干| 久久婷婷亚洲无码一起| 99久久国产综合精品五月天喷水\| 538在线精品| 99色在线视频| 伊人婷婷五月天av| 六月丁婷婷| 六月丁香婷婷色狠狠久久| 香蕉久日夜| 99精品视频在线观看| 9热在线观看| 久久这里只有国产视频| 六月婷婷视频| 亚洲五月婷| 69精品人人人人人人| 超碰只有精品在线| 激情小说婷婷| 99热e| 丁香五月婷婷影院| 亚州性爱99| 五月丁香好婷婷姑娘综合网| 国产激情久久久| 免费看无码视频A级| 91聚色综合网| 日本欧美成人片AAAA| 五月色婷婷综合| 丁香五月天激情综合| 五月婷婷激清网| 久久99激情| 久久综合激情| 婷婷九月狠狠色| 开心久久网婷婷| 六月五月天婷婷涩播在线| 亚洲精品99| 色色五月天丁香| 99亚州综合精品成人网| 亚洲精色| 婷婷五月天熟妇| 色婷婷久久综合久色| 99热偷拍| 91色九| 九九中文字幕九| 99视频啪啪| 九九成人电影婷婷| 久久精品99国产精品日本| 婷婷六月丁| 999婷婷综合| 人妻久久人妻久久第一区| 久久久久久丁香五月| 日韩一区二区三区无码| 久久婷婷五月国产激情综合片| 91在线日| 婷婷五月丁香花综合| 超碰成人AV| 无毒黄色网址| 久久性爱网| 99精品偷自拍| 五月婷婷激情| 91久久久久久| 五月天偷拍| 成人在线99| 亚洲中文字幕AV| 久9无码视频| 五月天成人综合| 五月婷婷色五月| 丁香五月婷婷六月| 开心激情网在线| 六月狠狠综合| 这里只有精彩视| 99成人小视频| 深爱激情69热| 婷婷五月天资源| 五月婷婷色吧!| 久久 这里只有精品1| 99亚洲欧洲| 97涩涩丁香五月天| 狠狠狠激情网| 五月天婷婷色播在线网| 激情激情激情网| 五月天激情婷婷丁香| 欧美视频在线观看噜噜| 欧美亚洲婷婷五月| 丁香5月婷婷| 亚洲va在线| 五月激情五月婷婷五月天在线| 天天射综合网夜夜操| 丁香色情五月综合网站| 玖玖资源天天无码| 九九精品在线观看视频6| 亚洲天码视频www蛋播视频| 久热这里只有精品视频免费观看| 99九九精品| 九九视频这里只有精品| 五月天婷婷在线视频| 亚洲激情另类| 久9无码视频| 丁香六月啪啪啪| 五月丁香久久网| 激情五月天色色网| 夜夜爱网站| 97精品综合久久| 农村熟妇高潮精品A片| 亚洲成av人影院| 最新高清无码专区| 久久婷婷五月综合色欧美| 国产毛片操B| 天天操天天国产三级片处女学生妹| 色婷婷精品视频在线播放| 婷婷五月丁香国产| 狠狠色九月| 婷婷色操| 婷婷色在线观看| 色五月丁香六月资源站| 婷婷色播六月无码| 五月丁香五月天现场视频| 五月激情网综合| 丁香五月婷婷日本| 久久色天堂| 99色在线| 538在线精品| 婷婷丁香五月天综合在线日韩| 美女视频图片久久91| 东北黄色一级| 久久久久亚洲AV成人无码电影| 操人91| 久久这里在精品视频| 欧美综合激情五月| 五月丁香天堂网| 99久久精品国产色欲| 性一交一乱一交A片久久四色| 网站免费一站二站| 色婷婷呢狠禁久禁| 色婷婷影音| 99色中文| 丁香婷婷五月天色综合| 天天操夜夜爱| 无码99| 久久精品99| 欧美婷婷| 三日本无码| enecarbon-materials.com污K127封锁请涟系@wip1688 | 屁股翘好撅高迎合跪趴| 五月婷天堂视频| 婷婷久久综| 精品国产va久久久久| 五月婷综合性中心| 天天操人人干| 五月丁香啪| 夜精品无码A片一区二区蜜桃| 色九四色| 人人操女人| 26UUU| 思思热热久久| 五月丁香六月玩女人| 久久久99久久| 国产99久久久国产精品免费看| 亚洲色图五月丁香五月婷婷| a九九热www| 色欲操| 五月丁香狠狠| 综合激情在线| 国产午夜精品AV一区二区麻豆 | 亚洲综合草草| 五月婷婷开心爱| 五月天婷婷在线AN| 五月天激情小说| 精品爱欲五| 亚洲成人AV在线| 激情六| www,五月天激情| 9l视频自拍九色9l视频在线观看| 久99| 大香蕉在线观看9| 久热伊人| 一级二级香港秋霞欧美欧美秋霞| 久久婷婷五月天激情四射| 九九黄色网| 人操91在线| 综合色99| 婷婷色色网| 日本激情91| 色婷婷小说| 玖玖综合玖玖| 五月婷婷高清| 婷婷五月天精品| 依人大香蕉| 67久久| 另类激情综合| 婷婷天天综合| 丁香五月激情啪| 少妇高潮呻吟A片免费看软件| 久久中国毛毛片爱久久| 婷婷五月天堂网| 日本五月视频| 五月婷综合| 20253AV| 五月丁香激情综合| 五月精品免费XXX| 久9久成人精品视频| 国产又粗又大又爽又黄| 99视频在线观看网址| 亚洲第一色色色| 色五月天成人| 久久小说| 久99在线视频| 91小黄书网址在线观看| 秋霞性爱AV| 黄色av网站在线免费播放| 色色五月婷| 五月天激情视频网站| 激情www| 91怕怕网| 五月婷六月综合在线观看| 色播激情五月天| 婷婷久久五月| 99超碰人人| 综合色天天| 成人五月天丁香婷| 九九九干精品| 日本a片网址| 99久在线精品99re8| 婷婷99狠狠| 4438国产免费看| 欧美精产国品一二三区| 婷婷五月天日日日干干干| 91色在线/日韩| 思思干精品| 五月婷婷熟女| 色综合色综合色综合| 九九热在线精品视频| 久久网婷婷| 婷婷5月开心6月| 激情婷婷色色| 狠狠爱丁香婷| 婷婷五月天色丁香| 99操免费视频| 五月婷婷婷色| www.25五月婷婷| 色五月激情网| 一本色道久久88加勒比| 99热最新网址| 99精品视频免费观看| 久久精品一区二区三区四区| 狠狠色狠狠| 色五月丁香伊人五月| 99精品在线| 综合网啪啪| 99视频只有这里精品| 丁香六月综合激情| 人伦30P| 久久精品亚洲一级牲爱综合| 国产精品色色| 久操综合| 丁香婷婷五月| 日韩AV无码影片| 乱码操操| 久久精品国产色| 色情久久久| 色色色色色色色色色色色色色色,网站| 五月婷婷就去色| 丁香五月电影| 亚洲人人操| 五月天停停成人网| 激情五月婷婷| 五月天色婷婷激情综合| 日本综合色色| 激情五月婷婷啪啪| 五月婷婷久草在线视频综合| 四虎国产精品永久在线国在线| 久久性视频| 色99在线| 五月丁香 狠狠爱| 综合狠狠干| 天天艹夜夜艹| 伊人碰碰碰| 激情五月天视频| AV亚洲在线| 日日干日日s| 99超级碰免费视频| 久久曰曰| 色天堂A| 久久五月天免费网站| 99综合一区| 欧美性猛交99久久久久99按摩| 99五月丁香丁| 婷婷五月天激情电影| 伊人久久大香线蕉亚洲五月天,| 综合视频五月| 天天干一干| 大香蕉久久| 99热e| 久久久27操| 五月婷婷婷婷| 91碰碰碰久久久久| 五月婷婷啪啪网| 屁股翘好撅高迎合跪趴| 99视频这里只有免费精品| 丁香五月性| 欧美日韩国产伦精品日韩人妻一| 色色网站在线| 欧美五月停| 五月天中文字幕在线婷婷| 色五月婷婷网| 无码一区二区日韩| 五月婷婷丁香六月| 二色AV| 六月丁香av| 蜜臀99久久精品久久久久| 婷婷五月成人系列| 亚洲av另类在线观看| 婷婷丁香基地在线| 天天干天天拍| 一个色的综合| 日本久久99| 人人干天天舔| 色婷婷五月天偷拍| 99热在线播放| 热99在线| 激情综合网五月在线播放| 亚洲区视频| 激情综合网址| 99精品自拍视频| AV在线大香蕉| 99精品国产热久久91色欲| 999婷婷综合| 久久综合五月天| 99热e| 玖玖无码中文| 日韩操人| 婷婷丁香五月激情| 五月丁香手机在线| 五月婷婷综合网| 天天综合久久| www.色婷婷| 天天玩天天摸| 香蕉婷婷| 色五月婷婷少妇人妻| 日产精品一线二线三线芒果| 日本五月丁香| 97caop| 色婷五月| 久久3级片| 五月婷婷六月开心| 五月天激情黄色网址| 99在线精品视频免费观看20| 六月丁香开心婷婷欧美| 五月天狠狠| www激情网站| 色99日韩| 午夜免费试看| 激情五月婷| 无码se| 九九热在线视频| 99r久久这里只有精品| 亚洲视频在线观看| Va另类视频| 成人精品免费在线观看| 丁香五月天堂网| 亚洲九九视频| 2050人人操免费工开爱| 日本不卡一区二区三区| 91人妻视频| 伊人久久大香线蕉亚洲五月天,| 欧美激情综合五月色丁香| 五月色亚洲| 中文字幕av久久爽一区| 婷婷五月深情丁香深爱日韩| 天天弄天天操| 这里只有九九精品| 婷婷新网址| 高清无码网址| 亚洲美女高潮久久久久久69| www.夜夜操.com| 国产视频久色| 无码碰碰| 人人摸人人澡人人| 国产精品久久..4399| 九色婷婷| 丁香五月网| 操碰99在线视频观看| 九九在线精点品| 色欲av伊人久久大香线蕉影院| 五月丁香啪啪网| 狠狠干五月丁香| 久久人妻少妇嫩草AV| 五月丁香在线看| 99人人干人人| 开心五月网 | 成人一区在线观看| 97在线刺激| 天天射影| 91精品激情9| 久热这里只有精品99re| 五月丁香无码| 99热精品在线| 日日夜夜小色哥| 操婷婷基地| 亚洲啪视频| 激情深愛五月視頻| 日本人妻伦在线中文字幕| 婷婷五月天在线观看第二页| 日韩精品超碰在线观看| 99A片| 婷婷丁香视频| 视频在线免费观看欧洲乱码| 久草大| 色婷丨日丨天丨综合久久| 97久久精品视频| 久久婷婷五月天激情四射| 入口五月婷婷六月香| 成人.在线日韩| 综合图片色色| 色久婷婷五月| 日韩99无码| 99热99精品| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 碰人人97| 五月伊人网| 亚洲 精品 综合 精品| 99视频精品| 六月婷婷日| 无码一级片| av中文在线| 中文字幕 久久9999| 久久99激情| 91精品综合久久久久久五月丁香| 新伍月婷婷| 亚洲成人网站在线播放| 九九色逼| 79色色| 色色五月天丁香婷婷| 无码AV免费精品一区二区三区| 天天综合中文| 综合色色网| 成人在线观看精品| 五月激情天| 天天射夜夜爽| 九 九九九AV| 婷婷色色五月天| 99视频精品全部免费观看| se99热久久一本| 久久草大香蕉| 婷婷草| 99视频内射三四| 91re色综合视频| 久久综合性| 五月天婷婷乱| 久草性爱| 亚洲愉拍99热成人精品| 日本爆乳片手机在线播放| 综合99在线| 日韩成人电影Av| 超碰在线国产| 九九这里都是精品| www.91.com处女在线直播| 99综合99| 亚洲激情综合| 五月天啪啪啪| 99热这里只有精品10| 色99无码| 国产乱子轮XXX农村| 噜噜吧天天爱| 这里只有精品99视频| 丁香六月激情综合网| 九九亚洲视频| 五月婷色激情五月| 深爱五月婷婷开心中文字幕| 久久午夜丁香| 久久精彩视频| 伊人啪啪网| 五月丁香美女| 色色影院黄大片| 亚洲视频在线观看| 色五月婷婷大香蕉| 天天 日综合| 九色七七| 久久婷婷五月综合色丁香花| 久9热| 国产玖玖资源| 五月天五月色婷婷综合| 色婷婷色| 免费观看全黄做爰的视频| 婷婷五月天社区| 伊人婷婷激情| 丁香六月色婷婷| 182.t午在线观看| 五月天色丁香| 色色A| 五月综合777| 亚洲天堂婷婷| 人妻久久久久久久| 五月天综合色| α久久| 色噜噜狠狠色综合日日| 亚洲激情五月| 99热在线观看| 色狠狠综合| 日日夜夜久| 色五月亚洲五月天| 久久免费丁香| 性爱激情五月| 色婷婷五月天| 五月天激情啪啪| 亚洲色婷婷网站| 9|无码久久久久久| 丁香色影院| 97caop| 国产成人99久久亚洲综合精品| 玖玖热视频| 亚洲五月婷天天操| 99久久99视频只有精品| 五月天丁香啪啪啪啪| 92久久精品一区二区| AV五月丁香| 色五开心五月五月深深爱| 激情综合综合综合| www.五月天婷婷| 婷婷激情五月呦呦| 97香蕉碰碰人妻国产欧美| 丁香五月天.com| 操逼棍操逼| 五月丁香久久久日婷婷久久婷婷日| 色婷婷五月色| 9色免费网| 婷婷婷婷婷婷婷婷婷婷丁香| 97色色网| 成人丁香五月| 色五月在线观看| 丰满人妻一区三区三区| 伍月婷丁香婷| 五月婷精品| 亚洲熟女乱色综合亚洲网站| avh片在线观看| 五月天开心网| 综合色播| 开心五月综合激情网| 婷婷婷婷婷婷婷五月丁香| 五月婷婷在线网站| 五月婷五月婷伊人伊人五月婷| 久久综合影院| 玖玖玖婷婷婷| 五月婷婷影视| 大战熟女丰满人妻AV| 亚洲六月色| 99热99久久| 五月婷婷婷| 色噜噜狠狠狠综合曰曰曰| 婷婷伊人激情婷婷| 久热这里只有精品3| 久久曰曰| 婷婷五月综合色拍| 中文字幕五月久久婷婷| 99操不停| 五月激香蕉网| 黄色片久久| 五月天另类激情在线| 五月天开心色情网| 性生活视频98791| 成年人丁香五月| 亚洲另类噜噜| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 欧美成人va| 丁香六月色婷婷综合| 亚洲综合婷婷| 五月天性色| 五月婷婷综合激情| VA五月激情在线| 玖玖色综合| 色五月五月婷婷| AV动漫不卡无码免费| 2013AV天堂| 激情综合另类| 中文字幕不卡网站| 婷婷五月天国产传媒| 国产日韩精品SUV| www.色婷婷.com| www.婷婷五月天| 色情婷婷| 天天狠狠夜夜狠狠2023| 91热久久| 九九热10| 青青草tp| 婷婷欧美综合| 97性视频| 久久hd| 另类激情中文| 九九热这里| 人人草人| 丁香五月婷婷香| 色五月色五天免费视频| 日本VA视频| 亚洲第79页| 一本伊人色婷| 婷婷五月激情在线| 五月色精品| 婷婷激情欧美| 激情五月天网页| 在线色五月婷婷| www.狠狠干| 69午夜成人影片| 色色婷婷综合网| 狠狠干青青草| 激情综合六月| 。久久久久久久久久久久久久人妻| 人妻久久久久久久久| 激情婷婷另类| 新激情五月天色播| 综合五月天婷婷色| 婷婷五月丁香综合人妻| 久久五月激情| 天天爽日日爽夜夜爽| 激情五婷网| 五月天国产婷婷精品视频在线| 亚洲热久久| 五月情色天| 99这里只有| 天天色天天操天天射| 色色色99| 激情丁香五月| 欧美日韩123| 婷婷激情综合| 婷婷五月天激情小说| 五月婷婷在线视频| 婷婷综合在线| 国产偷人爽久久久久久老妇APP| 曰韩少妇内射免费播放| 女人被躁到高潮嗷嗷叫小| 亚洲免费综合一区| 色五月美女| 国产精品成人网站| 婷婷丁香亚洲色综合91| 欧美色色干| 91大神操美女| 九九九精品视频免费观看| 六月婷婷六月天天在线免费| 五月婷婷六月丁香综合视频在线| 欧美综合丁香网| 狠狠色 综合色区| 婷婷五月天在线观看免费| 99精品视频在线观看| 天天操加勒比| 狠狠色婷婷777| 99热91| 国产AV一区二区三区最新精品 | 九九热这里只有精品5| 色婷婷五月天天天天天| 热99精品视频五月| 人人综合久| 亚洲人妻av| www。88热在线视频免费观看| 色视五月天婷婷| 丁香网五月天激情| 婷婷成人五月天成人文学| 九热...av| 这里只有精品视频99| 五月婷婷色| 99热最新国内| 色综合色婷色基地| www.99久久久| 亚洲丁香婷婷五月天综合色| 日本特黄aaaaa| 人人摸人人干人人做| 久久婷婷人人| 国产成人av在线| 亚洲综合激情五月久久| 激情5月婷婷| 91丁香色五月| 成人永久免费视频在线观看| 婷婷射综合| 久久婷婷激情五月天一区二区| 插插干干干色| 激情五月婷婷六月丁香| 欧美色九| 激情综合婷婷| 五月综合色| av网站免费在线| 婷婷色中文| 伊人网欧美在线男人天堂五月丁香| 色国产五月| 色五月色五天免费视频| 五月婷婷,狠狠操| 欧美色色色色色| 色香蕉精品五夜婷| 美欧成人视频| 91超级碰| 色青青视频| 色综合色综合色综合色综合| 色色激情五月| 成人av免费观看| 丁香婷婷激情四射五月| 婷婷六月视频| 丁香五月婷婷啪| 五月丁香婷婷伊人| 国产综合婷婷| 丁香五月天色婷婷| 9 7总站超级碰免费视频| 天堂成人久久| 丁香五月婷婷亚洲色图| 五月天深爱激情网| 六月丁香啪啪啪| 欧美性猛交AAAA片黑人 | 色婷婷玖玖影院| 欧美色五月| 丁香六月成人网| 婷婷六月色开 | 熟妇天天综合| 色婷丁香| 婷婷五月天激情偷拍| 久久人妻www| 大香蕉综合| 日韩黄色影院| 97se视频在线| 很很操96| 五月婷婷综合久久| www激情| 四川女人毛多水多A片| 激情久久综合网| 伊人久久婷婷| 999久久久国产精品| 五月开心久久| 亚洲综合网区| 五月激情网站| 五月激情偷拍| 丁香五月综合网| 五月天婷婷免费| 婷婷色系婷色| 五月天社区婷婷丁香社区| 丁香婷婷色五月| 2013AV天堂| 激情小说婷婷小说| www.婷婷五月| 五月色网| 成人短视频免费观看| 欧美激情五月综合| 亚洲欧美另类在线23p| 久草xx性爱视频| 婷婷五月花| 欧美电影在线观看| 亚洲操B视频| 99激| 婷婷五月天激情网| 色婷婷影视| 日本欧特黄色刺激一区影视久精品无码| 色五月91| 成人九九视频| 婷婷五月丁香综合| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | aV欲望人妻中文字幕| 婷婷色五月综合丁香| 欧美成人网99网| 激情综合网五月| 久久99免费视频网站| www。五月天激情| 五月成人网天天| 婷婷中文在线| 韩日AV片| 欧美噜噜免费观看| 色视频五月天| 婷婷伊人| 婷婷激情六月综合| 99热这里只有精品热| 另类图片色五月| 超碰婷婷五月| 五月丁香六月激情综合网| 国产色色色色| 玖玖色综合| 伊人五月婷婷国产视频| 五月婷婷色丁香| 九色视频91| 十二区无码| 美女va| 少妇搡BBBB搡BBB搡毛茸茸 | 国产精产国品一二三在观看| 久热超碰91| 五月色婷婷激情| 99久久极情精品一区| 久久婷婷综合色丁香| 色八月婷婷| 狠狠干,狠狠操| 极骚大香蕉伊人| 色 免费网站视频| 激情网婷婷五月天| 国产古装妇女野外A片| 丁香五月激情网| 婷婷丁香激情五月天色色| 久久婷色| 国产精品电影网| 思思久日精品视频| 亚洲精品色| 久久大香蕉同僚| 思思精品热在线| 欧美色色色| 好看的国产精品| 开心色五月天久久久久久久| ..真实国产乱子伦对白在线_欧| 91碰碰视频| 五月婷天天搞视频|