欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ELK實戰(zhàn):Spring Boot日志收集方案與踩坑記錄

ELK實戰(zhàn):Spring Boot日志收集方案與踩坑記錄 凌晨兩點被值班電話叫醒說線上訂單成功率驟降。我登上跳板機打開終端面對的是三臺應(yīng)用服務(wù)器上的幾十個日志文件。一行一行地grep關(guān)鍵字一會兒懷疑是數(shù)據(jù)庫連接池爆了一會兒又覺得像是下游接口超時來來回回折騰了一個多小時最后才發(fā)現(xiàn)是某臺實例里一條被截斷的堆棧日志指向了內(nèi)存溢出。那一刻我下定決心不能再靠肉眼翻文件排查問題了必須把日志統(tǒng)一收起來在一個地方就能搜、能看、能分析。這就是我搭建ELK收集Spring Boot日志的背景。ELK指的是Elasticsearch、Logstash、Kibana這套組合專門用來做日志的采集、存儲、檢索和可視化。如果你也在維護Spring Boot應(yīng)用而且手頭有超過兩臺服務(wù)器日志排查已經(jīng)讓你感到吃力那這篇文章寫的整套方案和踩坑記錄應(yīng)該能幫你少走不少彎路。下面不講什么架構(gòu)圖和高大上的原理只講我從零開始搭、上線跑了半年之后沉淀下來的實操內(nèi)容和教訓。1. 為什么非要用ELK這套組合來收集Spring Boot日志1.1 沒有日志平臺之前排查問題到底是什么狀態(tài)在動手搭建之前我先梳理了一下原來的日志處理方式。Spring Boot默認的日志輸出就是往本地文件里寫一臺服務(wù)器一個文件甚至一個應(yīng)用多個實例就是多個文件。我們當時的架構(gòu)是Nginx后面掛了三個應(yīng)用實例日志分別落在各自的服務(wù)器上排查問題只能按下面這套流程走先看告警猜一個大概的時間點。依次登錄三臺服務(wù)器用tail、grep配合時間戳去翻日志。如果問題跨多個服務(wù)還要一邊看應(yīng)用日志一邊看下游服務(wù)日志人工對時間線。遇到堆棧異常被截斷還得回服務(wù)器重新找原始文件。這招在小流量的單機場景下勉強能忍但只要請求量上來日志一滾動舊文件被壓縮成.gz包排查效率會進一步下降。更頭疼的是沒有全局聚合能力——你根本無法快速回答“過去半小時內(nèi)所有ERROR級別的日志有多少條、分布在哪些實例”這類問題。而這類問題恰恰是定位線上故障最常用的切入點。1.2 ELK三個組件在鏈路里的分工ELK這個名字看著像是一個整體但每個組件的職責非常清楚我后來跟同事解釋的時候經(jīng)常打一個比方Logstash是搬運工Elasticsearch是倉庫Kibana是倉庫的展示窗口。Logstash負責從日志文件或者其他數(shù)據(jù)源采集數(shù)據(jù)做過濾、解析、轉(zhuǎn)換然后把干凈的數(shù)據(jù)送給Elasticsearch。它插件生態(tài)豐富支持input、filter、output各種插件自由組合。Elasticsearch負責存儲和檢索。它基于倒排索引能對日志內(nèi)容做全文檢索也能對字段做聚合統(tǒng)計比如按日志級別、按應(yīng)用實例、按接口路徑等維度做count。Kibana負責可視化。它把Elasticsearch里的數(shù)據(jù)變成可查詢的界面可以寫KQL語法做搜索也可以拖拽生成柱狀圖、折線圖、餅圖甚至做Dashboard。對Spring Boot項目而言這套組合最大的優(yōu)勢在于應(yīng)用只需要做很小的改動——把日志格式從純文本改成JSON——剩下的采集、清洗、存儲、查詢?nèi)溌范际乾F(xiàn)成的解決方案。不需要從零開發(fā)也不需要維護復(fù)雜的自研組件社區(qū)里的踩坑資料也足夠豐富遇到問題搜一下一般都有答案。我當時也考慮過是否直接用云廠商的日志服務(wù)但最終選擇自建ELK一是因為我們有現(xiàn)成的服務(wù)器資源二是因為日志數(shù)據(jù)的控制權(quán)在自己手里索引策略、保留周期、字段映射都能靈活調(diào)。1.3 什么規(guī)模的上應(yīng)用才適合上ELK這里我必須說點實話。ELK不是銀彈如果你的Spring Boot應(yīng)用只是單機部署每天的日志量只有幾百MB那完全沒必要搞這套東西直接在服務(wù)器上用grep和tail就夠用Kibana帶來的查詢便利遠不如運維成本大。適合上ELK的場景我總結(jié)為三條應(yīng)用實例數(shù)大于等于3日志已經(jīng)分散在多臺機器上。排查線上問題需要對多實例日志做時間線合并或全局檢索。團隊有基本的Linux操作能力和意愿去維護Elasticsearch集群。如果你符合上面兩三條再動手。否則不要為了技術(shù)而技術(shù)。2. Spring Boot日志端改造先把日志變成機器能讀懂的結(jié)構(gòu)2.1 默認文本日志為什么不適合被采集網(wǎng)上很多ELK教程上來就直接教你怎么配Logstash但我個人強烈建議先改應(yīng)用日志輸出格式。Spring Boot默認的文本日志長這樣2025-01-05 10:00:00.123 INFO 12345 --- [http-nio-8080-exec-1] com.example.service.OrderService : 訂單創(chuàng)建成功orderId10086這種日志人眼讀起來沒問題但對Logstash來說不夠友好。想在Logstash里把時間、級別、線程名、類名、消息拆成獨立字段你得寫一堆grok正則而且Java異常堆棧是多行的處理起來更是麻煩——一條堆棧信息會被拆成好幾個事件后續(xù)檢索時根本沒法把異常堆棧當成一個整體來看。我一開始也想用純文本加grok的方案后來發(fā)現(xiàn)隨著日志里字段越來越多正則只會越來越復(fù)雜維護成本實在太高。最后換成了JSON結(jié)構(gòu)化輸出效果立竿見影Logstash里一句json插件就能解析所有字段自動拆分多行堆棧在JSON里就是一個字符串不用再處理multiline問題。2.2 用logstash-logback-encoder輸出JSON日志Spring Boot 2.x默認使用Logback作為日志框架我們只需要引入一個編碼器依賴并調(diào)整logback-spring.xml里的輸出格式即可。這個依賴在Maven里的坐標是dependency groupIdnet.logstash.logback/groupId artifactIdlogstash-logback-encoder/artifactId version7.3/version /dependency然后新建logback-spring.xml放在src/main/resources下。下面是我實際在用的配置刪減了一些內(nèi)部業(yè)務(wù)字段保留了核心結(jié)構(gòu)?xml version1.0 encodingUTF-8? configuration springProperty scopecontext nameappName sourcespring.application.name/ springProperty scopecontext nameprofile sourcespring.profiles.active/ appender nameJSON_FILE classch.qos.logback.core.rolling.RollingFileAppender file/data/logs/${appName}/${appName}.json/file rollingPolicy classch.qos.logback.core.rolling.TimeBasedRollingPolicy fileNamePattern/data/logs/${appName}/${appName}.%d{yyyy-MM-dd}.%i.json/fileNamePattern timeBasedFileNamingAndTriggeringPolicy classch.qos.logback.core.rolling.SizeAndTimeBasedFNATP maxFileSize500MB/maxFileSize /timeBasedFileNamingAndTriggeringPolicy maxHistory7/maxHistory /rollingPolicy encoder classnet.logstash.logback.encoder.LogstashEncoder customFields{app_name:${appName},profile:${profile}}/customFields /encoder /appender root levelINFO appender-ref refJSON_FILE/ /root /configuration這個配置做了幾件重要的事日志統(tǒng)一寫到/data/logs/{appName}/{appName}.json按天滾動單個文件超過500MB繼續(xù)滾動保留7天。每條日志以JSON格式輸出LogstashEncoder會自動帶上timestamp、version、logger_name、thread_name、level、message等標準字段。通過customFields給每條日志額外加上app_name和profile兩個字段。這個太重要了后續(xù)在Kibana里按應(yīng)用篩選就靠它。有一點提一下LogstashEncoder默認會輸出level_value等字段生產(chǎn)環(huán)境建議看下實際生成的結(jié)果按需精簡避免每一行日志攜帶過多無關(guān)字段。2.3 MDC里塞traceId鏈路日志才能串起來光有JSON還不夠。Spring Boot應(yīng)用在微服務(wù)調(diào)用鏈里一個請求會經(jīng)過多個方法甚至多個服務(wù)如果每條日志之間沒有關(guān)聯(lián)標識在ELK里你只能按時間猜沒法快速拉出整條調(diào)用鏈路。我用的是在日志過濾器里往MDC塞traceId的方案。具體做法是在logback-spring.xml里增加一個MDCInsertingServletFilter或自定義Filter在請求進入時生成UUID寫入MDC然后在JSON輸出里帶上MDC字段。LogstashEncoder默認會把MDC里的鍵值也輸出成JSON字段所以無需額外配置。有了trace_id字段之后在Kibana里搜一個請求直接按trace_id篩選整條鏈路的所有日志就都出來了排查效率完全不在一個量級。2.4 同步打印還是異步打印日志輸出本身有IO開銷在業(yè)務(wù)QPS較高時每條日志都同步寫磁盤會影響接口響應(yīng)時間。線上數(shù)據(jù)說話我們某個核心服務(wù)在日志量高峰期同步輸出JSON時接口RT上升了約20%。后來我把日志輸出改成了異步問題立刻緩解。Logback的異步配置也簡單在JSON_FILE外面包一層AsyncAppenderappender nameASYNC_JSON classch.qos.logback.core.AsyncAppender queueSize8192/queueSize discardingThreshold0/discardingThreshold neverBlocktrue/neverBlock appender-ref refJSON_FILE/ /appender通過上面配置日志寫入成為異步操作業(yè)務(wù)線程不會被磁盤IO卡住。如果隊列滿了discardingThreshold0意味著丟棄部分日志而不是阻塞業(yè)務(wù)線程這在日志不敏感業(yè)務(wù)里是可以接受的如果日志需要百分百采集可以調(diào)大queueSize但也要接受內(nèi)存占用上升的現(xiàn)實具體取舍看業(yè)務(wù)。3. Logstash采集鏈路從日志文件到Elasticsearch的這段路3.1 用Filebeat采集還是直接讓Logstash讀文件第一個要做的決定是采集端選型。Logstash可以直接用file插件讀文件但它的JVM進程比較重如果每臺應(yīng)用服務(wù)器都部署一個Logstash內(nèi)存占用會非常難看。我們應(yīng)用服務(wù)器是4C8G的配置再塞一個默認分配1-2G堆內(nèi)存的Logstash業(yè)務(wù)壓力大的時候會很危險。所以我最終選了Filebeat Logstash的經(jīng)典組合Filebeat部署在每臺Spring Boot應(yīng)用服務(wù)器上用Go寫的輕量、資源占用小負責讀日志文件并轉(zhuǎn)發(fā)給中心Logstash。Logstash單獨部署在日志服務(wù)器上集中處理所有應(yīng)用的日志流做解析、清洗、寫ES。這種架構(gòu)的好處是采集端足夠輕解析邏輯只在中心Logstash維護一份后續(xù)修改解析規(guī)則不用去每臺應(yīng)用服務(wù)器上動配置管理成本直接下降。3.2 Filebeat配置要采集哪些文件Filebeat的配置在filebeat.yml里核心部分如下filebeat.inputs: - type: log enabled: true paths: - /data/logs/*/*.json json.keys_under_root: true json.add_error_key: true fields: log_source: app fields_under_root: true output.logstash: hosts: [10.0.0.x:5044]這里我用的是/data/logs/*/*.json這樣的通配路徑因為每臺服務(wù)器上可能部署多個應(yīng)用各自在/data/logs下有獨立子目錄Filebeat會自動遞歸匹配。有個細節(jié)要說明json.keys_under_root: true表示JSON日志里的字段直接放到日志事件的根層級這樣后續(xù)在Logstash里解析起來省事很多。fields里加的log_source: app是為了標識日志來源未來如果還想采集Nginx、系統(tǒng)日志等其他數(shù)據(jù)源就能做區(qū)分了。3.3 Logstash Pipeline配置一個能直接用的示例中心Logstash的Pipeline配置文件我放在/etc/logstash/conf.d/springboot.conf內(nèi)容如下input { beats { port 5044 } } filter { if [log_source] app { json { source message target json_body skip_on_invalid_json true } if [json_body] { mutate { replace { message %{[json_body][message]} } add_field { logger_name %{[json_body][logger_name]} thread_name %{[json_body][thread_name]} level %{[json_body][level]} app_name %{[json_body][app_name]} } remove_field [ json_body ] } date { match [ [timestamp], ISO8601 ] target timestamp } mutate { remove_field [ host, log ] } } } } output { elasticsearch { hosts [http://10.0.0.x:9200] index springboot-logs-%{yyyy.MM.dd} } }這套Pipeline做了這么幾件事接收來自5044端口的Filebeat數(shù)據(jù)。用json插件把message字段里的JSON字符串解析出來放到j(luò)son_body里。用mutate把json_body里我們關(guān)心的字段提到頂層然后把原始json_body刪掉。這一步是為了讓最終寫入ES的文檔干凈避免嵌套層太深導(dǎo)致Kibana里查詢麻煩。用date插件把日志原始時間覆蓋為timestamp保證后續(xù)Kibana里展示的時間是日志真實產(chǎn)生時間而不是Logstash接收時間。索引名按天滾動形如springboot-logs-2025.01.05。這樣做的好處后面會細說。3.4 關(guān)于杜絕堆棧日志被拆散的一個認知很多人問我Java異常堆棧是多行的Filebeat采集的時候會不會拆成多個事件這個問題在純文本日志場景下確實存在解決辦法是配置Filebeat的multiline規(guī)則把堆棧行合并到前一條日志里。但如果你按我第2節(jié)的做法把日志輸出改成了JSON格式那么這個坑在源頭就消失了。LogstashEncoder輸出的JSON是單行的異常堆棧作為字符串的一部分在JSON里自動轉(zhuǎn)義存儲Logstash解析后message字段里天然就是完整的堆棧文本。所以“多行堆棧問題”在我看來本質(zhì)上是個上游格式化問題而不是采集端問題。把日志端改成結(jié)構(gòu)化輸出比在采集端做各種multiline配置更省心、更可靠這也是我實際用了半年之后的體會。3.5 Logstash性能參數(shù)與持久化隊列Logstash默認Pipeline配置在日志量比較大的時候可能成為瓶頸我調(diào)過幾個關(guān)鍵參數(shù)放在logstash.yml里pipeline.workers: 4 pipeline.batch.size: 1250 pipeline.batch.delay: 5 queue.type: persisted queue.max_bytes: 1gbpipeline.workers控制filter和output階段的并發(fā)線程數(shù)一般跟CPU核數(shù)掛鉤pipeline.batch.size和batch.delay控制批量攢批的大小適當提升能減少IO次數(shù)提高吞吐。重點說下queue.type: persisted。Logstash默認用內(nèi)存隊列如果寫ES時ES恰好重啟或者網(wǎng)絡(luò)抖動內(nèi)存里的日志可能直接丟。用持久化隊列后日志先落盤保存等ES恢復(fù)后再消費發(fā)送可靠性好很多。代價是需要額外的磁盤空間我給了1GB實際運行中完全夠用畢竟消費速度很快。4. Elasticsearch索引設(shè)計與Kibana查詢配置4.1 按天滾動索引寫ES的索引名設(shè)計成springboot-logs-2025.01.05這種按天切分的格式這個決定在我后來維護時幫了很大忙。按天索引的好處是刪除舊數(shù)據(jù)簡單直接刪整個索引就行。索引體積可控單個索引的數(shù)據(jù)量不至于膨脹成巨無霸。排查問題時可以只查指定幾天甚至一天的數(shù)據(jù)響應(yīng)速度更快。配合索引模板可以讓每天新建的索引自動套用統(tǒng)一的字段映射和分片設(shè)置不用每天手動建索引。模板配置大致如下{ index_patterns: [springboot-logs-*], settings: { number_of_shards: 3, number_of_replicas: 1, refresh_interval: 5s }, mappings: { properties: { timestamp: { type: date }, level: { type: keyword }, logger_name: { type: keyword }, thread_name: { type: keyword }, app_name: { type: keyword }, message: { type: text }, trace_id: { type: keyword }, profile: { type: keyword } } } }分片數(shù)3不是拍腦袋定的我們每天的日志量大概在2GB左右算上副本單個索引6GB。按單個分片20-30GB的常規(guī)規(guī)劃標準3個分片既能支撐當前的日增量也有余量應(yīng)對未來的日志增長。如果你日志量更大分片數(shù)可以相應(yīng)提高但別貪多——分片過多會導(dǎo)致ES打開文件數(shù)暴漲集群狀態(tài)反而容易黃。4.2 索引生命周期管理防止磁盤被日志打爆按天滾動索引如果不做清理日志會無限堆積一年下來磁盤遲早被寫滿。ES自帶ILMIndex Lifecycle Management機制我用它把索引分成hot、warm、delete三個階段hot階段保存最近1天的數(shù)據(jù)使用SSD盤上的節(jié)點refresh_interval設(shè)置小一點保證查詢實時性。warm階段超過1天后進入索引只讀refresh_interval調(diào)大減少資源占用。delete階段保留30天后刪除索引釋放磁盤空間。策略配置好后在Kibana的Stack Management里創(chuàng)建ILM Policy再把策略綁定到索引模板新索引會自動套用。這個動作我建議在接入日志的第一天就做好否則后期磁盤告警再補中間那幾天可能已經(jīng)積累了沒法挽回的數(shù)據(jù)。4.3 Kibana里怎么高效查日志日志進了ES之后Kibana里先創(chuàng)建Index Pattern匹配springboot-logs-*時間字段選timestamp就能在Discover里檢索了。我實際用得最多的查詢語法分這么幾種按級別篩錯誤level: ERROR按應(yīng)用篩app_name: order-service按關(guān)鍵字全文檢索message: NullPointerException按鏈路ID查全鏈路trace_id: abc123...組合查詢level: ERROR AND app_name: order-service AND message: timeoutKQL寫法很直觀布爾操作符用AND、OR、NOT。注意一點message字段類型是text全文檢索會自動分詞像trace_id、app_name這類字段是keyword查詢時必須用精確匹配不能寫模糊搜索。如果寫對了字段名但搜不到數(shù)據(jù)先懷疑字段類型是不是不對。除了Discover檢索我還給運維同事做了幾個常用面板按小時統(tǒng)計ERROR數(shù)量變化的折線圖、錯誤日志Top10接口的排名、應(yīng)用各實例日志量對比。Kibana的Dashboard拖拽完成不需要額外寫代碼但前提是日志里有維度字段比如我加過app_name、trace_id、profile這些字段在排障時確實救了命。5. 實測中遇到的坑與完整排查過程5.1 時區(qū)偏了8小時Kibana時間永遠對不上這是上線第一天就碰到的問題。日志在應(yīng)用服務(wù)器上顯示的時間是正確的北京時間但在Kibana里查詢時總比實際時間慢8個小時看日志時感覺像是日志延遲了。當時我檢查Kibana配置顯示默認時區(qū)是瀏覽器當?shù)貢r區(qū)看起來沒有問題。接著我又去ES里查原始文檔用curl直接請求ES接口看寫入的數(shù)據(jù)發(fā)現(xiàn)文檔里的timestamp字段存的確實比實際時間少了8小時。問題根因出在應(yīng)用日志生成時間上。Spring Boot的JSON日志中timestamp攜帶UTC時區(qū)Logstash的date插件按ISO8601解析后寫入ES沒有做時區(qū)轉(zhuǎn)換ES內(nèi)部統(tǒng)一按UTC存儲。而Kibana在展示時會按瀏覽器時區(qū)換算這本身沒錯錯在我Filebeat和Logstash之間的鏈路沒有把時區(qū)對齊到北京時間。排查鏈路是這樣的先確認timestamp原始值是否為UTC時間。用ES里某個文檔的原始JSON確認。再對比Logstash日志里采集時的日志時間確認Logstash解析沒問題。最后確認Kibana的數(shù)據(jù)源和時區(qū)設(shè)置沒問題。最后的解決辦法很簡單在Kibana里把時間顯示時區(qū)改為Asia/Shanghai同時在Logstash的date插件里不依賴時區(qū)轉(zhuǎn)換邏輯而是改用timezone參數(shù)指定Asia/Shanghai確保timestamp正確處理北京時間。這里也提醒一句排查時區(qū)問題不要一上來就懷疑ES先在數(shù)據(jù)源頭把時間戳的時區(qū)含義搞清楚再逐步往后端鏈路排查你會少走很多彎路。5.2 Filebeat斷點續(xù)傳失效重啟后日志丟失有一次給應(yīng)用服務(wù)器發(fā)布新版本重啟了Spring Boot進程然后發(fā)現(xiàn)重啟前最后幾條日志沒有進ES。一開始以為是應(yīng)用沒打印出來后來去服務(wù)器上看了原始日志文件內(nèi)容明明在Filebeat卻沒有采到。排查過程是這樣的確認Filebeat進程是否正常運行systemctl status filebeat顯示正常。查看Filebeat日志發(fā)現(xiàn)沒有報錯。檢查Filebeat的registry文件發(fā)現(xiàn)里面記錄的文件offset可能因為日志文件輪轉(zhuǎn)錯亂了。問題出在應(yīng)用重啟后日志文件路徑發(fā)生了變化。因為Logback滾動策略是SizeAndTimeBasedFNATP當進程重啟且當天已有多個滾動文件時文件名后綴可能變化。Filebeat靠文件名和文件inode來記住讀取位置如果輪轉(zhuǎn)把舊文件刪了或者改了名它的registry里記錄的offset就丟了。我做的改進有兩點在Filebeat配置中加入clean_inactive和ignore_older參數(shù)確保不讀取太舊的文件同時及時清理registry里的過期狀態(tài)。更重要的是優(yōu)化日志滾動策略把滾動周期和進程重啟對不上號的問題從源頭規(guī)避。我的實際配置是讓當前日志始終寫入固定的app.json滾動文件才帶日期后綴。這樣Filebeat始終針對同一路徑追讀很少再出現(xiàn)斷點續(xù)傳問題。5.3 Elasticsearch堆內(nèi)存配置不對集群頻繁GC告警日志上線一個月后收到ES集群GC時間過長的告警。登錄服務(wù)器一查JVM堆內(nèi)存被用滿頻繁Full GC查詢時Kibana卡得幾乎沒法用。排查后發(fā)現(xiàn)根因是我在啟動ES時沒有顯式設(shè)置ES_JAVA_OPTS默認堆內(nèi)存是1GB而日志量增長后索引和查詢的壓力早就超過這個水位。確認問題很像補救方案是調(diào)大堆內(nèi)存但調(diào)大前必須看服務(wù)器物理內(nèi)存剩余情況避免堆設(shè)置太大導(dǎo)致系統(tǒng)本身內(nèi)存不足。ES官方建議堆內(nèi)存不超過物理內(nèi)存的50%但不能超過32GB。我們?nèi)罩痉?wù)器是8C16G給ES分配了8G堆內(nèi)存。調(diào)整后GC告警消失查詢響應(yīng)時間從秒級降到幾百毫秒。這個坑的教訓是ES的堆內(nèi)存一定要在部署時就根據(jù)物理資源規(guī)劃好不要用默認值。默認堆1G只能說能啟動根本跑不了生產(chǎn)。類似的還有bootstrap.memory_lock建議開啟鎖住物理內(nèi)存防止堆內(nèi)存被系統(tǒng)Swap到磁盤導(dǎo)致性能斷崖式下跌。5.4 同一字段在不同日志中出現(xiàn)類型沖突導(dǎo)致索引mapping報錯還有一個容易踩的坑是字段類型沖突。某天發(fā)現(xiàn)有個應(yīng)用的日志索引創(chuàng)建失敗查看ES日志提示某個字段在已有mapping中是keyword類型新日志想寫入long類型沖突了。這個問題的場景很典型應(yīng)用A日志里有個字段叫request_time輸出的是字符串應(yīng)用B日志里同名字段是數(shù)字ES按天索引本來各建各的沒問題但因為我們用了同一個索引模板mapping固化后就無法再寫入不同類型的數(shù)據(jù)。排查鏈路其實比較簡單ES日志里已經(jīng)明確指出沖突字段名和類型但關(guān)鍵是怎么規(guī)避方案一是不同應(yīng)用用不同索引前綴從根上隔離比如order-logs-*、pay-logs-*但這樣Kibana里檢索要切換多個索引模式不夠方便。方案二是在索引模板里對常用字段顯式聲明類型消除字段映射歧義把字段類型控制權(quán)掌握在自己手里。我最終用的是方案二在索引模板里把所有可能產(chǎn)生沖突的字段類型顯式定義好新數(shù)據(jù)只接受匹配的類型?,F(xiàn)在這個坑基本不會再出現(xiàn)。6. 如果讓我再搭一次ELK這幾個建議我會放在最前面從決定搭建ELK到整套鏈路跑順前后花了大概兩周時間中間踩過的坑不少。如果讓我重新來一次我會把下面這幾條作為起步階段就貫徹的原則第一日志端的結(jié)構(gòu)化改造優(yōu)先級高于一切采集配置。先把Spring Boot的日志變成JSON后面所有解析、檢索、面板都會省力不要跳過這一步直接去配Logstash和Kibana。第二從第一天就規(guī)劃好索引模板和ILM策略不要等日志積累了幾天、幾十G之后再補那時插補策略的成本和風險都會大很多。第三給每條日志都帶上trace_id和應(yīng)用標識。ES的全文檢索再強大沒有關(guān)聯(lián)標識你也很難在奔涌的日志洪流里把一次請求的完整生命周期撈出來。鏈路日志的價值在使用ELK半年之后我才算真正體會到。第四不要追求把所有日志都收進來。有些Debug日志、健康檢查的探活日志、批量任務(wù)的空轉(zhuǎn)日志不僅占存儲還在檢索時制造大量噪音。我在Logstash的filter里用drop插件把明顯無用的日志在源頭丟棄效果很不錯索引體積直接降了30%以上Kibana里的檢索結(jié)果也干凈了很多。日志中臺這件事做起來并不神秘難的是把鏈路里的每個環(huán)節(jié)都按生產(chǎn)標準配置好并且堅持治理。希望這篇基于實際經(jīng)驗寫下的東西能幫正在搭建或者準備搭建Spring Boot日志收集體系的你避掉一些坑。如果你在搭建過程中也有自己的踩坑記錄歡迎一起交流。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月天奸女| 亚洲五月天色| 色五月丁香网| 五月婷婷九| 亚洲第二AV| 激情综合丁| 亚洲色图日韩网址| 熟妇人妻中文字幕无码老熟妇| 香蕉狠狠爱视频| 欧洲色| 舔色婷婷| 色婷五月婷婷| 中文字幕乱码亚洲精品一区| 丁香五月首页| 精品综合爱| 亚洲精品激情| 婷婷六月色| 中文字幕欧美日韩VA免费视频| 婷婷五月天亚洲综合网| 色99亚洲| 婷婷五月播| 影音先锋日本三级资源| 婷婷深爱五月| av在线免费网站 | 丁香五月天无码AV| 婷婷 丁香 久久| 亚洲视频一区| 五月婷综合| dingxiangtingtingliuyue| 婷婷欧美激情| 九九色天堂| 欧美色婷婷| 人人摸人人搞| 深爱五月网| 五月丁香六月婷婷综合免| 九九色插| 婷婷丁香黄色| 欧美三级视频下载| 色yeye欧美| 青青草国产亚洲精品久久| 亚洲第一精品成人999久久精品| 天天婷婷综合| 亚洲俩性性爱图片久久第六页| 日韩另类在线观看| 日本婷久久| 欧美日韩日韩成人| 中文字幕五月久久婷| 五月天丁香色色| 99亚洲精品视频| 婷婷五月天激情开心网| 99爱精品| 日韩精品一区二区亚洲AV观看| 久久婷婷操| 婷婷六月丁香在线| 亚洲精品操一操、噜一噜、摸一摸、爽 | 天天草比天天爽| 久婷婷五月激情| 色丁香五月| 91操女| 成人在线视频网| 99九九精品| 伊人玖玖网| 99热这里只有免费精品| 久热免费视频| 五月婷婷AV| 九九热婷婷| 色深爱五月| 婷婷五月丁香婷婷| 91成人性爱视频| 精品久久久人妻| 丁香五月AV综合激情| 国产熟女一区二区三区五月婷| 亚州色综合| 日操夜操天天操不卡| 色噜噜狠狠色综无码久久合欧美| 国产成人综合在线| 播五月婷婷开心| 色婷婷五月综合在线| 激情碰碰碰| 久久婷婷五月综合网| 成人国产欧美大片一区| www.婷婷久久五月天| 大香蕉220| 五月婷在线| 色综合五月天| 91丁香色| 在线成人视频免费| 色婷丁香五月| 色婷婷久综合久久一本国产AV| 五月色俺婷婷| 五月丁香婷婷色色| .青娱乐天天操B| 六月婷婷色色网| 碰超在线九色| 日本女va| 天天干天天做| 狠狠精品干练久久久无码中文字幕| 天天射影院| 九月性爱网| 丁香五月婷婷天堂大香蕉| 超碰人人操| 丁香五月天啪啪| 婷婷五月天日本国产| 婷婷五月开心中文字幕在线| 丁香五月天AV| 噼里啪啦在线观看免费完整版视频| XX色综合| 欧美婷婷| 天天爽天天干| 综合色色五月| 婷婷丁香五月天婷婷| 丁香涩涩五月天| 丁香五月婷婷在线| 五月天电影网| 操人91| www激情网| www.婷婷五月天| 色色色综合色| 国产97色在线 | 日韩| 91人妻色色网| 五月天成人在线| 久热免费视频| 色婷婷丁香| 五六月婷婷久久| 色综合综合色| 五月天激情国产综合婷婷婷| 亚洲无码AV片| 一區四區歐美日韓| 色吧五月婷婷| 2016日日夜夜操| 五月激情偷拍婷婷| 91久久婷婷| 欧美啪啪网| 欧美日本综合网| 五月婷婷六月丁香综合| 爱爱网址9| 久久婷色| 伊人婷婷综合| 99精品高潮| 热99这里只有精品视频| 国产亚洲精品久久久久久郑州| 亚洲视频无| 久久成人精品视频| 久久人人做人人妻人人玩精品va| 亚州激情网站无码| 六月激情婷婷| 久久99综合网| 美女精品一级不卡视频| 欧美丁香五月| 丁香婷婷五月综合| 天堂综合久久 | 婷婷久久性爱| 欧美色色色色色色| 综合激情在线观看| 亚洲中文乱字字幕在线永久| 欧美在线视频9| 婷婷狠狠五月综合| 69凹凸成人综合网| 五月丁香成人| 五月婷婷丁香日韩在线| 久99热| 强壮的公次次弄得我高潮A片日本 | wuyuedingxiang| 狠狠色丁香| 亚洲一区二区无遮挡A片| 开心五月丁香啪| 97五月天| 99热这里只有精品98| 爽极品色| 五月天激情四射| www.色五月| 色爱综合五月| 六月 丁香 视频| 九九九九无码| 亚洲熟女色| 海外网站专业操老外| 天天干天天爽天天操| 国产午夜精品一区二区三区四区| 婷婷五月图片小说网| 激情婷婷狠狠干综合| 夜夜做天天爽| 亚洲成人AV一区在线观看| 五月婷视频| 欧美日韩成人在线| 亚洲第一成人无码A片| 久99久热只有精品国产99| 麻豆AV一区二区三区| 手机激情网| 中文字幕1区2区。| 国产亚洲精品久久一区二区三区| 婷婷色色五月| 婷婷六月成人| 五月丁香婷婷啪啪| 99精品在| 99资源在线视频| 伊人AV五月婷| 久久成人亚洲欧美电影| 精品爆操| site:esunnet.com| 综合久久久婷| 成人片在线播放| 天天在线XXX| 激情av在线| 97天堂| 九九99视频精品| 亚洲无码 图片区| 五月好婷婷| 五月婷婷色啪| 男男野外做爰全过程69| 婷婷综合五月| 99精品网| 五月丁香欧美在线| 丁香五月另类色婷婷麻豆| 美女五月天| 五月丁香久久综合精品| 99ri国产| 国内在线99视频| 色五月偷偷| 色情五月天视频网| 婷婷丁香五月麻豆| 色丁香五月| 99热这里有精品首页10| 九九在线视频| 久久人人九九| 美女五月激情| 91九色丨国产丨爆乳| 激情综合五| 五月婷婷激情久久| 综合xx网| 丁香 婷婷 激情 综合 五月| www.久久婷婷| 大操人妻| 97干在线视频| 日本三级中文字幕| 丁香婷婷在线| 婷婷五月天影视| www.91.com黄| 国产44页| 婷婷五月天天激情| 欧美性生交XXXXX无码小说| 色五月丁香五月天| 五月激情婷婷女| 婷婷久草| 五月丁香婷婷基地| 五月激激激情综合网| 亚洲综合在线伊人婷| 综合激情九月婷婷,激情综合婷婷中文字| 婷婷丁香五月天激情| 日日夜夜爽| 99热九九在线| 99在线免费视频| 天天做天天爱天天玩| 欧美黑人巨大猛烈cuckold| 欧美精品99| 1024欧美日韩精品久久久| 国产亚洲精品AAAAAAA片| 色欲婷婷五月天丁香| 综合五月激情| 六月天丁婷婷| 激情性五月天免费小说视频| 五月停停丁香| www.26uuu.com亚洲电影| 天天色月| 欧美99热| 中文字幕丰满孑伦无码专区| 精品无码久久久久久久久| 中文AV在线播放| a v色婷婷| PORNY九色9l自拍视频成人| 97久久超视频| 色婷婷狠狠久久综合五月| 亚洲综合网在线| 欧美槡BBBB槡BBB少妇| 婷婷五月激情图片| 色婷婷综合视频| 26.uuu丁香五月婷婷| 五月婷婷丁香五月 | 色爱综合网| 久久大香蕉同僚| 婷婷深爱五月丁香| 成人视频婷婷| 99热最新精品| 激情九月综合| 99九九久久| 97自拍视频在线| 99婷婷五月天激情| 日本久久婷婷| 丁香五月六月久久综合 | 色10月婷婷视频| 久月婷婷| 国产一级婬片毛片| 激情五月婷婷五月| 99性视频| 九九9久九9国产视频| 色婷婷基地 | 色婷婷呢狠禁久禁| 国产超碰人人| 丁香久久| 亚洲人成网亚洲欧洲无码久久| 热久91| 亚洲色色色| 亚洲视频一区| 色月丁| 亚洲第一黄网| 亚洲久热无码| 久久婷婷五月天| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 超级黄色片| 99久在线精品99re5热视频| 九九久99免费视频| 九九九这里只有精品| 91在线日| 久久这里只有欧美| 97福利视频| 在线视频另类| 99九九精品视频推荐| 久久图色4| 久久视屏这里只有久久| 在线1青婷| 色五月在线观看| 91.www综合| 99久久.www| 99热99在线| 久久婷婷五月综合色和| 婷婷99狠狠| 另类天堂| BT综合在线视频观看| 婷婷丁香高潮了| 久久99人人| 91av成人| 99热这里只有精品13| 涩婷婷五月天在线精品视频| 97干在线| 99热69| 五月丁香综合激情在线观看| 色婷婷五月天在线观看| 九月婷婷在线视频| 怕怕av| 99在线热视频| 97操男人的天堂| 五月天天天操天天爽夜夜操| 激情中文在线| 国产成人精品亚洲线观看| 怡红院成人AV| 九九精品视频在线观看| 精品亚洲国产成人A片在线鸭王| 啪啪东京热| 思思热在线视频99| 9久热精品在线视频| 99热最新网址| 久久最新色| 丁香五月亚洲无码| 色婷婷五月天| 亚洲综合激情五月天婷婷| 亚洲色频| 草榴视频网| 日日做夜夜爱| 成人无码髙潮喷水A片| 91综合国免费久入| 五月天综合久久| 久久九九一區| 99热网站| 99偷拍视频在线日本| 婷婷五月天美女视频| 婷婷五月天久久| 久久精品99久久久久久| 99男人的天堂| 综合色99| 丁香六月婷婷| 夜夜骑日日操| 国产偷人爽久久久久久老妇APP| 久久看婷婷| 黄色激情网站在线观看| 色五月综合网| 婷婷色五月天色色| 天天干天天干天天干| 欲求不满的人妻| 丁香五月激情澎湃一区| 色婷五月| 天天日日天天| 精品综合网在线| 丁香五月六月激情| 日本在线观看91| 这里只有精品免费| 人人综合色| 亚洲成人va| 国产五月视频| 九九色热视频| 丁香六月激情综合网| 天天做天天爱| 婷婷激情中文综合| 欧美大肥婆大肥BBBBB| 六月香五月婷| 9 1 A v久久久| 久久5 9视频免费观看| 婷婷五月丁香五月天| 色婷婷久久| 91在线看免费 九九九九| 人人干女人| 97碰| 97 天堂| 婷婷丁香五月综合网上| av在线免费播放观看| 99热中文字幕久久| 日本色天堂| 色999;丁香五月| 日韩人妻无码一区二区| 色色五月天激情| 色V狠狠的干| 婷婷五月天堂| 亚洲国产色婷婷| 亚洲精品第一色色色色色色| 色噜噜狠狠色综合伊人| 在线成人va| 激情综合五月婷婷丁香| 五月婷婷五月丁香综合| 91视屏在线观看com.wwwvv| 久草xx性爱视频| 久久婷视频| 97在线/亚洲| 五月激情婷婷图片基地| 人人爽欧美婷婷久久久五月丁香| 五月天成人综合| 热99精品视频| 97日在线视频| 秋霞少妇AV网站| 久久人人九| 婷婷五月天Av| 日噜噜色| 91.com男女操| 五月丁香六月婷婷久久久综合| 啪啪色区| 五月婷婷色色爱| 射久久丁香五月| 久久作爱| 五月丁香激情啪啪网| 五月天综合视频| 五月婷婷精品无在线| 99视频久久| 伊人啪啪网| 激情五月丁香六月| 亚洲五月丁| 庭庭久久内射| 激情国产综合| 91碰免费视频| 成人无码精品1区2区3区免费看| 成人丁香| 武汉美女啪啪视频免费一级片 | 五月婷婷免费视频| 激情五月九九九| 五月天婷婷AV| 婷婷丁香五月高清| 婷婷伊人激情婷婷| 久久久人妻不卡| 久久女人九九| www久视频com| 亚洲国产精品SUV| www.91九色| 超碰狠狠操| 碰97久久| 色三级色三级| 久久婷鲁| 九九精品免费视频99| 99色综合| 五月综合色| 五月婷婷熟女| 99热网址| 婷婷五月综激情| 色爱亚洲| 婷婷刺激综合| 午夜九九九九九九九九九九九九九| 丁香五月网在线观看| 玖玖伦理电影| 色导航色婷婷五月天在线观看| 色婷婷狠狠爱| 激情色播| 五月天婷婷三级黄| 久久色在线视频| 91se在线视频| 金桔一区二区ab地址| 亚洲av综合网| 啪啪啪综合网| 思思热思在线精品视频| 天天成人综合| 久久九九99| 国产成人网| 婷婷五月天av| 五月婷婷免费在线| 99rewww| 91综合在线视频| 久草丁香婷婷五月天婷| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | 97色伦另类图片小说视频| 六月丁香婷婷亚洲中文玖玖| 久久99婷婷| 影音先锋一区二区三区| 色丁香五月婷婷婷| 青青福利网| 99热只有这里才是精品| 欧美婷婷五月| 午夜色丁香| 婷婷六月丁| 97碰人人操| 九九99精品视频在线观看| 五月天婷婷色| 人人插操| 97超碰在线免费观看| 在线观看亚洲视频影院| 日木狠狠干| 亚洲色五月天是什么| 久久久人妻久久久| www.开心激情| 欧美人妻一区二区| 99ri视频| 亚洲成人AV电影在线| 色色色热| www.AV在线| 日韩操人| 色色色.COM| renre人人操国产超碰在线| 五月婷婷激情视频| 丁香五月婷婷激情网| 婷婷五月综合在线| AV六月丁香| 99狠狠色| 亚洲亚洲人成综合网络| 久久小说网| 日本99视频精品免费播放| 国产成人+综合亚洲+天堂| 中文无码精品一区二区三区| 婷婷五月丁香久久| 91久久久久久| 久久久久久婷| 激情综合播播| 99爱视频| 大香蕉AV电影在线| 五月天狠狠网站| 天天日天天插天天操| 都市激情小说婷婷| 天天草天天爽| 国产精品视频| 99精品视频免费在线播放| 亚洲mm色| 99免费在线视频| 九九综合图片网| 日良久久| 狠狠插狠狠操| 婷婷影院A成人| 超碰人人操人人干| 婷婷五月天少妇| 婷婷五月天激情亚洲小说| 天堂色色色| oumeisesewang| 九九99热| 免费啪啪啪网站| 五月天无码视屏播放| 九色啦蜜臀| 六月丁丁香| 婷婷五月欧美| 五月丁香久久久日婷婷久久婷婷日| 99热色精品| 国产国产乱老熟女视频网站97| 超碰资源在线| 99视频网| 国产成人AV| 开心六月丁香五月婷婷| 丁香六月婷婷五月婷婷| 五月 婷 久| 天天综合天天做天天综合| 激情五月天 婷婷| 色婷丁香91| 色综合色欲综合天天免费| 婷婷中文在线| 91Chinese在线| 亚洲婷婷激情综合激情999精品| 婷婷字幕在线| 狠狠色噜噜| 成人AV在线电影| 99热亚洲精品| 97中文在线| 噼里啪啦完整版中文在线观看| 夜夜 操无码| 欧美大道不卡| 久热黄色| 丁香五月亚综合图片| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 成人丁香五月天| 久久久.COM| 午夜婷婷久久 | 久操人| 亚洲激情免费视频观看| 狠狠综合久久综合| 久久这里只有精品网| 国产高潮A片羞羞视频涩涩| 九九综合精品| 日夜操B| 五月天丁香综合在线| 99久久极情精品一区| 影音先锋91视频| 噜噜色婷婷| 精品久久婷婷| 操一区| 婷婷激情伍月网| 色情综合网| 天天日,夜夜爽| 超碰成人av| 五月婷婷狠狠久久| 综合婷婷久久| 精品无码色欲AV| 久久婷综| 天天日天天插| 丁香午月AV中文字幕| 国产美女无遮挡裸体毛片A片| 亚洲mm色| 婷婷综合影院| 五月天大香蕉| 网色99| 玖玖福利视频资源| www狠狠com| 中文字幕,综合,91| 99久re热视频精品98| 色婷婷狠狠18禁| www.婷婷,com| 爱操天堂| 久久激情综合| 六月婷婷色宗合| 99热99美国在线观看| 五月天色狠狠| 色色色色色网站| 婷婷久久丁香五月| 99精品在线播放| 91dy.av| 天天日日| 色五月人妻| 色婷婷五月天视频网站| 色婷婷网大全在线| 久久99热免费最新版| www九九| 欧美精品999| 日韩在线五月天婷婷| 99人人干人人操| 五月婷婷丁香五月| 天天干天天操天天爽| 久久丁香五月综合六月激情红杏视频 | 欧美中文五月天| AV在线免费播放| 亚洲日韩一页精品发布| 99ri精品在线| 五月久久丁香| 另类色网| 久碰久操| 2015WWW永久免费观看播放| 99无码| 久久色五月天| 五月婷婷丁香色播网| 天堂网色色| 7EzOBIhNq85TO| 思思re视频在线| 久久久精品视频79| 日韩三级高清无码| 日韩免费视频| 五月激情影视| 五月丁香香蕉| http://www.sd-xiangsu.com/| 丁香婷婷六月婷婷六月婷婷六月婷婷| 操碰久| 九九无毛| 九九综合影音先锋| 99热免费观看| 五月天激情国产综合婷婷婷| www一区二区三区| 26uuu.| 色婷婷XXXXX| 99热线观看9| 午夜在线成人网站免费观看| 五月婷婷六月丁香在线| 丁香五月婷婷手机| 狠狠操狠狠做| 中文字幕色色色| 丁香桃色综合网| 人人干99| 亚洲成人无码免费| 五月婷天堂视频| 婷婷情色五月| 97碰碰叉| 五月婷婷婷色| 九九九九无码| 丁香五月手机视频| 亚洲AV无码成人精品电影| 久久大国产香蕉| 久久婷婷青青草| 国产精品久久久久9999小说| 99热久| 99精彩视频| 超碰免费在线| 97精品人人A片免费看| 国产精品第一国产精品| 婷婷五月天电影网| 97人人射| 色色婷婷五月天| 五月天综合网| 日本不卡一区二区三区| www.婷婷com| 婷婷综合久久综合| 激情五月丁香六月综合AVXXXX| 丁香五月婷婷国产av| 亚洲操女| 日本久久九| 色噜婷婷| 五月天综合激情网| 深爱婷婷基地| 五月丁香色五月| 99re这里只有精品首页| 五月天婷婷婷| 天天久久狠狠色综合| 九月丁香| 青青草免费公开视频| 综合福利网| 婷婷五月六月| 天堂网啪啪| 伊人五月婷婷| 五月婷婷丁香五月亚洲色| 国产日韩欧美性生活| 99在线国| 日本在线视频手机播放五月婷| 久久婷婷六月综合资源| 精品久久久人妻| 久久99视频| 日韩少妇内射免费播放| 婷婷久久婷婷| 天天操夜夜啊| 色五月丁香伊人| 色婷婷a v| 丁香五月天激情视频| 激情内射人妻1区2区3区| 婷婷五月天天激情| 婷婷丁香色五月亚洲| 五月丁香人人婷婷在线观看| 天天爱天天秀天天做| 狠狠干狠狠干| 性99网站| 99热这里全都是精品| 99网址在线观看| 99热www| 99色视| 狠狠干综合网| 婷婷爱五月| 超碰人人摸AV| 五月激情丁香五月| www天天色天天射| 无码操B| 六月丁香色色| 五月婷婷香蕉| 超碰二区| 激情五月第四色| 色五月综合资源推荐| 荡乳尤物3HP1V5| 成人网在线视频| 思思re视频在线| 五月色网| 日韩成人网址| 久久九九一區| 99在线观看视频免费| 九九热亚洲中文在线观看免费| 日本VA视频| 国产成人精品一区二区三区视频 | 狠狠久久婷| 99热在线99| 狠狠摸狠狠摸| 热热色色五月天婷婷| 国产成人网| www.色婷婷| 婷婷五月天成人网站| 欧美精品999| 久操福利| 久久香蕉丁香| 激情综合色婷婷啪啪五月天| 在线,国产,色,热视频| 九九精品综合| 97luluse| 99热在线99| 99A片| 成人av观看| 丁香五月aV| 91操操| 五月激情婷婷综合| 98永久精品| 极品九九九九九九| 热这里| 色哟哟www| 婷婷五月色花丁香社区| 色情免费视频播放| 99国产精品白浆在线观看免费 | 五月天另类图片区99| 99热99re6国产在线播放| 人妻AV在线观看| 五月丁香啪啪网| 色狠狠色综合久久久绯色aⅴ影视| 18久久| 六月丁香五月天| 国产婷婷色综合AV蜜臀AV| 97操碰人人| 天天在线XXX| 国产操肏网站| 欧美五月婷婷| 色色色色区| 操逼巨乳91| 婷婷五月天第四色| AA片在线观看视频在线播放| 99re这里只有精品国产99| 99碰碰| 亚洲色域网| 国产又爽又猛又粗的视频A片| 亚洲色情一区二区三区四区| 91大屁股精品| www.无码com| 色五月五月婷婷| 毛片九九九九九九| 色爱99| 婷婷综合色网| 99性视频| 亚洲欧洲色色| 亚洲久热| 五月丁香婷庭在线| 亚洲啪啪精品| 欧美熟女99| 久久99久久99久久99人受| 丁香五月天堂| 开心五月婷| 色九综合| 日日懆天天懆| 99五月婷| 婷婷丁香人妻天天爽| 婷婷综合一二三| 天天干天天干天天干天天干天| 99视频久久免费视频| chaopeng在线人人| 伊人五月婷婷| 日韩精品超碰在线观看| 天天做天天爱天天高潮| 人人人人人人人人人草| 丁香六月色婷婷| 丁香九月综合| 天天干天天干天天操| 丁香婷婷射| 久re热视频| 五月天婷婷成人网| 色琪琪一综合久久激情五月视频| 婷婷色色五月天| 成人色五婷婷| 日韩肏屄网| 婷婷91| 五月天婷婷丁香社区| 五月色情精品| 五月激情影院| 色噜综| 五月婷婷www| 亚洲成人AV在线观看| 另类丁香五月天区图| 超碰人人99| 最近中文字幕2019视频1| 色色色色色色网站| 涩涩涩,com| 热久久999| 色综合激情| 婷婷综合色五月天| 在线观看亚洲视频影院| 影音先锋男人女人| 久99热| 人妻性操逼中文字幕 国产| 久久久久久久久18久久| 五月婷婷欧美| 丁香六月av| 97色女人在线| 亚洲成人在线综合| 五月丁香色婷| 激情图片久久| 色婷婷成人做爰A片免费看网站| 夜夜久久综合网| 狠狠草综合网| 色五月综合激情| 中文字幕91,综合| 美女五月狠狠| 99这里精品| 色偷偷人人| 99热91| 66成人网| 777色婷婷爱五月| 色婷婷久久综| 亚洲综合成人网站| 日本性视频| 少妇性按摩无码中文A片| 综合一本道| 六月亭亭久久综合激情| 亚洲日韩人妻操逼| 丁香 婷婷 激情 综合 五月| 99精品一二三四视频| 69凹凸成人综合网| 国产精品a无线| 五月丁香六月玩女人| 九九视频在线免费视频| 婷婷激情蜜桃玖玖丁香| 思思99精品视频在线观看| 爱射综合| 久久女婷| 婷婷午夜| 久久99人人| 黄色三级毛片中字| 激情视频综合| 色五月大| 日本美女五月天| 久久久久久久97| 九九热99视频在线| 婷婷五月天黄色网址| 婷婷久久网| 这里只有精品2| 激情六月婷婷| 婷婷色天香| 人人操人人操919999| 色情五月天。| 久久xxxx| 久久综合五月天| 直接看的AV| 夜夜操夜夜姧| 五月婷在线视频免费播放| 香蕉99网| 亚洲色啪| 这里精品| 饮料下药迷倒漂亮女同事强干| oumeisesewang| 很操日本7| 激情九九综合网| 亚洲性图一区二区| 狠狠五月综合在线| 啪啪五月天啪啪| 亚洲五月天狠狠| 婷婷91| 亚洲综合五月天婷婷丁香| 婷婷五月成人| 国产9色在线/日韩| 超碰资源在线| 亚洲五月天,激情视频| 超碰超碰在线| 五月丁香婷婷在线综合蜜桃| 色婷婷免费观看| 日本精品干| 欧美婷婷| 99久久丝| 亚洲色综合性| 狼友超碰| 亚洲人妻av伦理| 中文字幕操比影片| 日韩成人电影在线播放| www.25五月婷婷| 久久五月激情网| 五月婷婷丁香瑟瑟视频| 婷婷天堂综合| 小香蕉av| 色色综合网www| 色九月国产| 五月丁欧美| 97涩涩丁香五月天| 五月丁香激情综合网| 人人看人人要| 成人丁香婷婷| 五月天婷婷婷| 久久婷婷五月| 亚洲在线网站| 激情六| 色丁香五月天射婷婷爱婷婷| 日韩另类| 99色爱| 丁香五月大香蕉| 五月婷婷碰碰| 欧美色图45678| 色情婷婷| 影音先锋 91工厂| 91人妻视频| 色婷婷综合五月| 五月丁香婷婷深深爱| 婷婷亚洲综合| 欧美日韩国产一区二区| oumeisesewang| 婷婷丁香五月亚洲综合网在线视频观看| 99碰碰视频| 精品综合网在线| 狠狠色九月| 97婷婷色| 亚洲综合五月| 七七婷婷综合| 婷婷在线播放av| 色五月婷婷视频| 日本狠狠网| 色综合九九| 99热在线观看免费精品| 伊人激情综合| 婷婷美女精品视频| 99视频网| 风流少妇A片一区二区蜜桃| 综合久久综合久久| 亚洲六月色| 99热18| 色综色网| 可以看的AV| 天天色综网| 狠爱婷色| 五月天电影网| 97精品人人A片免费看| 久久9久| 五月天综合| 婷婷五月天综合亚洲| 日韩av在线播放综合网| 情五月亚洲婷婷| 99啪啪视频| 婷婷综合一二三| 情婷婷五月天| 大香伊人久色| 丁香桃色综合网| 99热都是精品| 色色激情五月天| 亚洲日本韩国| 亚洲精久久| 91精品久久久久久| 在线91日韩| 色婷婷社区| 双性美人被调教到喷水A片| 色99色| 日逼免费视频| 五月婷婷激情久久| Va另类视频| 欧美搡BBBBB摔BBBBB| 久久99精品久久久久久噜噜| 婷婷五月激情天| 国产69久久久欧美黑人A片| 人人爱干人人爱草| 七七九色| 色呦呦美女| 激情五月黄色小说| 这里只有精品免费视频| 玖热精品综合视频| 丁香五月天啪啪| 久久五月视频| 久久久91| 97操操| 五月色网| AV九九| 99热这里只有精品55| 婷婷五月天中文字幕.| www九九热| 免费99情趣网视频| 成人国产欧美大片一区| 婷婷综合在线观看视频| 婷婷五月激情四射手| 色丁香综合影院| 日本色色影片| 久久综合天天综合| 六月婷婷操逼| 婷婷五月天在线观看第二页| 综合久久综合综合| 亚洲人人操| 97操碰视频| 天天插天天插天天插天天插| 99开心五月五月丁香激情| 99热99色| 襙逼网| 色婷婷丁香AV综合| 婷婷久久亚洲| 久久久久99精品成人网站| 婷婷午夜激情| 五月丁香操婷逼| 色五月五月婷婷| 国产寻花在线| WWW.HENHENL.| 五月丁香啪啪网| www.色欲丁香婷婷| 亚洲无码色| 人人操AV| 中文字幕成人| 五月开心激情网| ou洲色吧| 一区视频网站| 成人在线日韩| 欧美性生交A片免费看| 五月丁香基地| 九九av在线| 五月亭亭六月天| 五月丁香直播| 黄色AAAAAAA| 伊人婷婷综合| 婷婷六月丁香在线| 日本久久激情| 色色色图| 国产成人网站在线观看| 五月综合激情网| 五月丁香婷婷伊人| 午夜福利成人AV91| 婷婷综合五月天| 色婷婷成人影片| 高清 码 免费看片短视频| 97色97干| 黄涩毛片| 亚洲成人另类| 婷婷综合网| 激情五月色播五月| 婷五月丁香俺| 五月天啪啪网| 色五月婷婷丁香五月| 丁香五月六月激情| 日韩另类在线观看| 最近中文字幕2019视频1| 日韩十国产极品久久| 91美女被操| 665566 无码| 情色五月天网站| 五月丁香色婷| av久热| 91精品激情9| www.五月婷婷久久.com| 色狠狠色狠狠| 色碰干| 亚洲狠狠爱婷婷| 九九99免费视频| www.日日夜夜| 狠狠色噜噜狠狠狠狠综合| 婷婷丁香成人色综合| 欧美大香蕉视频| www.色五月天.com| 综合色播| 人人摸人人干| 丁香五月激情五月| 婷婷五月天国产| 玖玖资源部在线播放| 欧美激情中文字幕| 日本久久激情| 热九九精品| 99热免费精品| 激情5月婷婷狠狠干| 色九九七七| 久久9热好| 九九九九这里只有精品| 色婷婷丁香五月综合| 激情五月黄色小说| 日韩av在线免费观看| 99精品国产乱码久久久人妻| 五月天激情综合| 26uuu国产精品| 五月丁香啪啪啪| 国产黄色大片| 欧美搡BBBBB摔BBBBB| 欧洲亚洲免费视频9| 久久人妻在线| 激情五月综合视频| 97色色婷婷五月天| 日韩黄在免| 97色色色| 婷婷内射视频在线| 五月婷婷六月奇米网丁香| 99这里是99在线视频| 久碰婷婷视频| 日本久久九| 国精产品一区一区三区免费视频| 日韩欧洲亚洲| 深情五月天| 玖玖精品资源| 深爱女色婷婷丁香五月亚洲图区| 非洲一级AV| 久超免费视频| 国产精产国品一二三在观看| www.久热| 我去色色网五雨天| 欧州色色| 秋霞影音91人妻久久| 思思热闹这里只有精品| 六月丁香婷婷综合狠狠爱夜夜爱| 色播色丁香五月| 国产又黄又爽又色的免费| 五月婷婷之综合激情| 91视频精品99| 天天插天天日| 五月天色婷婷基地| 丁香婷婷六月天| 伊人青草成人| 超碰99久久| 3p久久| 激情综合婷婷久久| 日韩av变天就操逼不卡区| 丁香五月偷拍| 日韩aaaaa| 操操啪| 婷婷娌伦网| 青青草成人网| 丁香六月婷婷综合欧美| 欧爱综合视频| 五月婷婷综合色啪| 人妻射精AV| 婷婷亚洲日本| 丁香五月激情棕合| 五月婷激情影院| 91日韩美女被插视频| 狠狠爱丁香婷| 成人AV片播放| 熟女色色一区二区| www.婷婷| 丁香五月婷婷在线| 伊人五月天在线| 亚洲天堂热| 色婷婷88| 色五月五月婷婷| 久久九九@| 色爱综合网| 五月婷婷免费在线视频| 天天做天天爱天天要| 国产亚洲精久久久久| 九九热手机在线视频| 欧美97p| 九九热这里只有精品一| 91碰碰碰| 玖玖在线视频福利| 五月丁香六月色婷婷综合五月天| 欧美噜噜噜草| 黄色AV日韩| 热九九精品| 五月丁香美女视频| 最新日本A片| 五月天婷婷激情网| 日本色噜| 色婷婷欧美在线| 777久久综合视频| 色。 日日日| 五月激情婷婷播播网| 操一操插一插| 9999色色色色| 狠狠操狠狠干综合| 夜夜夜夜夜操| 色五月婷婷五月天| 亚洲成人AV电影网| 日本99久久| 风流少妇A片一区二区蜜桃| 国精产品一区一区三区免费视频| 亚洲字幕AV一区二区三区四区| 婷婷五月天基地| 少妇人妻偷人精品无码视频新浪| 在线中文AV| 色色五月婷婷狠狠| 国产高清视频91九九九久久久| 中文在线视频久9| 超级碰碰碰91| 激情无码网| 在线中文字幕视频| 天天插天天插天天日| 久婷婷久草| 久久性爱网站| 五月激情网络| 开心五月天激情网站| 吉澤明步Av一區二區| 精品人妻一区二区三区四区不卡在| 操逼巨乳91| 丁香五月影院| 国产日韩欧美| 国产成人AV| 五月婷婷久久爱| 97热九九| 九九Av| 九月丁香婷婷综合激情| 玖操97| 天天日夜夜曹|