欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

基于ClickHouse與Kafka的分布式鏈路日志回溯系統(tǒng)實(shí)踐

基于ClickHouse與Kafka的分布式鏈路日志回溯系統(tǒng)實(shí)踐 1. 項(xiàng)目靈感與整體設(shè)計(jì)思路1.1 “hindsight”這個(gè)名字背后的含義hindsight 直譯過來是“后見之明”我第一眼看到這個(gè)標(biāo)題腦子里想到的是另外一個(gè)詞fore sight事前遠(yuǎn)見。這兩個(gè)詞放在一起正好構(gòu)成了一個(gè)完整的閉環(huán)——事前預(yù)判事后復(fù)盤。作為一個(gè)搞后端和穩(wěn)定性相關(guān)工作的人我經(jīng)常遇到一種很尷尬的處境系統(tǒng)半夜報(bào)警了服務(wù)重啟了等我睜開眼打開監(jiān)控面板一切指標(biāo)都恢復(fù)了看起來“什么都沒發(fā)生”。但用戶確實(shí)受到了影響故障確實(shí)存在問題只是沒有被看見。這就是 hindsight 的價(jià)值我們無(wú)法永遠(yuǎn)事先預(yù)知所有問題但我們可以保證在事情發(fā)生之后能像看回放一樣把當(dāng)時(shí)發(fā)生的每一個(gè)事件、每一次調(diào)用、每一行關(guān)鍵日志重新拉出來找到那個(gè)真正的原因。我決定把它做成一個(gè)真實(shí)的系統(tǒng)實(shí)踐項(xiàng)目目標(biāo)很明確搭建一套具備“事后全鏈路追溯”能力的分析體系讓任何一次線上事故都能被快速還原、定位、復(fù)盤。我當(dāng)時(shí)給自己定的方向不是做一個(gè)炫酷的監(jiān)控大屏而是做一套以日志和鏈路數(shù)據(jù)為核心的回溯系統(tǒng)。它能解決三個(gè)核心問題數(shù)據(jù)要全、關(guān)聯(lián)要準(zhǔn)、回溯要快。第二個(gè)和第三個(gè)問題往往被忽略很多人覺得有日志就夠了可真到了排查的時(shí)候日志格式亂七八糟trace id 斷在服務(wù)邊界時(shí)間戳對(duì)不上完全沒法串起來。所以這整套設(shè)計(jì)必須從數(shù)據(jù)源頭開始抓。1.2 系統(tǒng)設(shè)計(jì)目標(biāo)與方案選型項(xiàng)目立項(xiàng)的時(shí)候我先把目標(biāo)拆成了四個(gè)硬性要求采集范圍覆蓋所有核心服務(wù)的日志、調(diào)用鏈和關(guān)鍵事件不能有黑洞數(shù)據(jù)之間必須能按 trace_id、時(shí)間戳、服務(wù)維度快速關(guān)聯(lián)不靠人工拼從發(fā)現(xiàn)異常到定位根因整個(gè)回溯過程可以交互式完成不是寫一堆腳本慢慢擼復(fù)盤結(jié)果要能自動(dòng)導(dǎo)出成報(bào)告省去每次手動(dòng)整理的時(shí)間。帶著這四個(gè)要求我對(duì)技術(shù)選型做了好幾輪對(duì)比。存儲(chǔ)層我最終選了 ClickHouse而不是繼續(xù)用 Elasticsearch。不是說 ES 不好而是這套系統(tǒng)的核心查詢場(chǎng)景和 ES 的主場(chǎng)不一樣。我的查詢模式非常固定按 trace_id 查全部 span按時(shí)間范圍和服務(wù)名做多維聚合算 P99 耗時(shí)、錯(cuò)誤率。這種高基數(shù)、大規(guī)模、偏分析型的查詢ClickHouse 的列式存儲(chǔ)和向量化執(zhí)行優(yōu)勢(shì)非常明顯。我實(shí)測(cè)下來同樣數(shù)據(jù)量下一個(gè)帶條件的 trace 查詢?cè)?ClickHouse 里比 ES 快上一個(gè)數(shù)量級(jí)。采集和傳輸層用了 Kafka。原因很簡(jiǎn)單削峰填谷。線上流量不可能平穩(wěn)白天高峰時(shí)日志產(chǎn)生的速度可能是低峰的十倍如果讓采集服務(wù)直接寫入 ClickHouse連接池和寫入并發(fā)很容易被打爆。Kafka 放在中間做緩沖生產(chǎn)端只管往里扔消費(fèi)端按照自己的節(jié)奏批量寫入穩(wěn)定得很。鏈路追蹤的嵌入用的是 OpenTelemetry 的標(biāo)準(zhǔn)協(xié)議好處是語(yǔ)言無(wú)關(guān)不管是 Java 服務(wù)還是 Go、Python 服務(wù)都能用同一套規(guī)范把 trace 數(shù)據(jù)打出來。整個(gè)架構(gòu)是這么串起來的應(yīng)用服務(wù)通過 SDK 采集日志和 span發(fā)送到 KafkaClickHouse 消費(fèi) Kafka 數(shù)據(jù)并及時(shí)落庫(kù)查詢層通過 HTTP 接口對(duì) ClickHouse 做檢索最后用自定義 Web 面板和 Grafana 做可視化展示。聽起來不復(fù)雜但里面值得摳的細(xì)節(jié)非常多后面我一個(gè)個(gè)講。2. 核心模塊拆解與實(shí)現(xiàn)要點(diǎn)2.1 數(shù)據(jù)采集層讓“后見之明”有據(jù)可依我在這個(gè)項(xiàng)目里最深的體會(huì)是沒有干凈的數(shù)據(jù)后面所有分析都是空中樓閣。采集層是整個(gè)系統(tǒng)的地基這里偷懶后面排查問題的時(shí)候會(huì)加倍還債。采集層要解決的第一件事是統(tǒng)一格式。原來很多服務(wù)的日志是自由輸出的有人在日志里打[INFO] xxx有人用log_format %(message)s還有人直接把異常堆棧和管理員備注混在一起。統(tǒng)一格式后所有的日志行必須是 JSON至少包含以下幾個(gè)字段service、timestamp、level、trace_id、span_id、message、duration_ms、host、env。這樣做的好處是到了 ClickHouse 里可以直接按字段檢索不需要在查詢時(shí)做字符串解析。我在某個(gè)服務(wù)的改造里光是讓所有開發(fā)統(tǒng)一字段名就花了兩個(gè)迭代但效果立竿見影——后續(xù)查詢沒有任何一個(gè)地方需要靠正則去刨日志。統(tǒng)一時(shí)間戳是第二個(gè)關(guān)鍵點(diǎn)。日志要記錄的時(shí)間是事件發(fā)生的時(shí)間不是采集器收到的時(shí)間。如果時(shí)間戳混用鏈路回放的時(shí)候整個(gè)時(shí)間線就會(huì)錯(cuò)亂。我要求所有服務(wù)統(tǒng)一用 UTC 時(shí)間精確到毫秒并且把時(shí)區(qū)信息干脆徹底拿掉只存 UTC。為什么非要這樣因?yàn)榭绶?wù)調(diào)用時(shí)A 服務(wù)在北京B 服務(wù)在美西如果不轉(zhuǎn)成 UTC同一個(gè) trace 里的時(shí)間戳一會(huì)兒東八區(qū)一會(huì)兒西七區(qū)回放時(shí)間線會(huì)差出十幾個(gè)小時(shí)。第三件事是鏈路上下文穿透。采集層必須把 trace_id 和 span_id 從入口一路傳遞到下游在 HTTP 場(chǎng)景里就是通過 header 透?jìng)髟谙㈥?duì)列場(chǎng)景里就是塞進(jìn)消息頭。沒有這個(gè)穿透日志之間就是孤立的根本沒法做關(guān)聯(lián)回放。下面是一段我用 Python 實(shí)現(xiàn)的采集器示例核心邏輯是承接 OpenTelemetry 的 span 上下文把 trace_id 注入到日志字段中然后批量發(fā)送到 Kafka。這段代碼看起來簡(jiǎn)單但它是整個(gè)體系能跑起來的基礎(chǔ)。import json import logging import time from opentelemetry import trace from kafka import KafkaProducer logger logging.getLogger(hindsight-collector) producer KafkaProducer( bootstrap_serverskafka:9092, value_serializerlambda v: json.dumps(v).encode(utf-8), ) def emit_event(event_type: str, message: str, duration_ms: float 0): span trace.get_current_span() trace_id format(span.get_span_context().trace_id, 032x) if span else span_id format(span.get_span_context().span_id, 016x) if span else record { service: order-service, timestamp: int(time.time() * 1000), level: INFO, trace_id: trace_id, span_id: span_id, event_type: event_type, message: message, duration_ms: duration_ms, host: host-01, env: prod, } producer.send(app-logs, valuerecord) logger.debug(enqueue record with trace_id%s, trace_id) # 使用示例 def create_order(user_id: str): start time.time() try: # 業(yè)務(wù)邏輯... pass finally: emit_event(create_order, fuser_id{user_id}, (time.time() - start) * 1000)注意這段代碼里的trace.get_current_span()它是從當(dāng)前線程的 OpenTelemetry Context 中拿上下文所以調(diào)用鏈里的 span 必須被正確設(shè)定。如果業(yè)務(wù)代碼里手動(dòng)開了新線程但沒有做 context 傳遞這里拿到的 trace_id 就是空字符串整個(gè)鏈路就斷了。我當(dāng)時(shí)在線程池場(chǎng)景里踩過這個(gè)坑回頭在排查模塊里細(xì)說。2.2 事件關(guān)聯(lián)與鏈路回放采集上來的數(shù)據(jù)就像一張張小卡片混沌地散落在地板上。Rediscovery 的含義就是把這些卡片按線索串回電影膠片。鏈路回放是這個(gè)系統(tǒng)最核心的能力串起這段膠片的就是 trace_id 和 span_id。我特別喜歡用“電影膠片”來類比這套機(jī)制。一個(gè)完整的請(qǐng)求鏈路就是一部電影電影里每一個(gè)畫面就是一幀在這一幀里記錄了某個(gè)服務(wù)處理某段邏輯的信息。trace_id是這部片子的唯一編號(hào)說明這些畫面出自同一個(gè)故事span_id是每一幀的序列號(hào)標(biāo)定它在時(shí)間上的位置parent_span_id則像是剪輯時(shí)的前后續(xù)接關(guān)系說明這一幀是從哪一個(gè)畫面上延續(xù)下來的。把這些幀按時(shí)間順序排列起來把前后的邏輯引用關(guān)系用樹形結(jié)構(gòu)畫出來我們就得到了一個(gè)瀑布圖——也就是一條請(qǐng)求從入口到各個(gè)依賴服務(wù)之間完整的調(diào)用軌跡。要保證這種關(guān)聯(lián)成立必須在調(diào)用下游服務(wù)時(shí)把上下文信息傳過去。HTTP 一般用 header自定義的 RPC 協(xié)議則通過協(xié)議字段攜帶。我給大家一個(gè)標(biāo)準(zhǔn)的 header 傳播表做參考Header 字段說明示例值traceparentW3C 標(biāo)準(zhǔn) trace 上下文格式為版本號(hào)-traceid-spanid-標(biāo)記00-863b464a71a4418ba1c712f10f7f9c21-0f3f2d8e9a1c4b56-01tracestate供應(yīng)商擴(kuò)展字段攜帶額外的業(yè)務(wù)標(biāo)簽vendorhigh_risk_orderx-request-id用于接入層網(wǎng)關(guān)記錄入口 ID與 traceparent 映射req-1087-afde92當(dāng)時(shí)我們有個(gè)支付回調(diào)服務(wù)對(duì)接的是第三方渠道第三方只認(rèn)自己生成的 request_id。我就在接入層做了一個(gè)映射表渠道的 request_id 對(duì)應(yīng)內(nèi)部生成的 trace_id。排查渠道回調(diào)問題時(shí)拿著渠道給我們的單號(hào)就能反查出內(nèi)部完整調(diào)用鏈這個(gè)映射設(shè)計(jì)對(duì)事后的第三方問題溯源幫助極大。鏈路回放的實(shí)現(xiàn)本質(zhì)上是按照 trace_id 把所有相關(guān) span 和日志拉出來然后按時(shí)間排列、按層級(jí)縮進(jìn)展示。這里有一個(gè)關(guān)鍵設(shè)計(jì)日志內(nèi)容必須依附于某個(gè) span而不是單獨(dú)游離在 trace 之外。否則日志就算有 trace_id也很難準(zhǔn)確地放到瀑布圖中某個(gè)節(jié)點(diǎn)旁邊。我的做法是日志記錄時(shí)引用當(dāng)前 span_id落庫(kù)后通過(trace_id, span_id)把日志關(guān)聯(lián)到具體節(jié)點(diǎn)。2.3 查詢與分析層從追查到還原數(shù)據(jù)進(jìn)來之后查詢層負(fù)責(zé)把“追查”變成“還原”。這層直接決定了系統(tǒng)好不好用。我見過很多數(shù)據(jù)平臺(tái)數(shù)據(jù)可能全有但查詢接口難用得一塌糊涂每次想撈一條鏈路得像寫畢業(yè)論文一樣拼 SQL這肯定不行。ClickHouse 表結(jié)構(gòu)設(shè)計(jì)我反復(fù)調(diào)了幾版。最終的核心表 schema 如下CREATE TABLE app_trace_events ( service String, timestamp DateTime64(3, UTC), trace_id String, span_id String, parent_span_id String, operation String, duration_ms UInt64, status_code UInt16, error_msg String, host String, env String, tags Map(String, String), INDEX idx_trace_id trace_id TYPE bloom_filter GRANULARITY 1 ) ENGINE MergeTree PARTITION BY toYYYYMMDD(timestamp) ORDER BY (timestamp, trace_id, span_id) TTL timestamp INTERVAL 90 DAY;PARTITION BY toYYYYMMDD(timestamp)讓每一天的數(shù)據(jù)落在一個(gè)分區(qū)查詢時(shí)如果帶上時(shí)間范圍條件可以快速跳過不是目標(biāo)日期的分區(qū)。ORDER BY (timestamp, trace_id, span_id)是整個(gè)查詢效率的關(guān)鍵——按 trace_id 查詢時(shí)ClickHouse 可以在稀疏索引中定位到對(duì)應(yīng)數(shù)據(jù)塊而不是全表掃描。我還對(duì) trace_id 建了 bloom filter 索引遇到高頻 trace 檢索時(shí)效率還能再上一個(gè)臺(tái)階。建表時(shí)我特意加了TTL timestamp INTERVAL 90 DAY線上日志保存三個(gè)月超過之后自動(dòng)清理。這個(gè)設(shè)計(jì)很有價(jià)值有次和另一個(gè)團(tuán)隊(duì)協(xié)作他們說要“長(zhǎng)期保存”我提醒他們即使 ClickHouse 壓縮比很高但 90 天的數(shù)據(jù)量也足夠讓 TTL 機(jī)制發(fā)揮價(jià)值否則磁盤滿了以后所有人的查詢都會(huì)變慢。查詢層我封裝了三個(gè)核心接口。第一個(gè)是按 trace_id 拉全鏈路這是排障的入口。拿到一個(gè) trace_id通過下面的 SQL 把整條鏈路的所有 span 都取出來按時(shí)間排序再根據(jù) parent_span_id 構(gòu)造樹形結(jié)構(gòu)返回給前端SELECT service, timestamp, span_id, parent_span_id, operation, duration_ms, status_code, error_msg FROM app_trace_events WHERE trace_id {trace_id:String} ORDER BY timestamp ASC;第二個(gè)是服務(wù)維度聚合用來快速看某個(gè)服務(wù)在某個(gè)時(shí)間窗的負(fù)載和錯(cuò)誤率配合 Grafana 做熱力圖和趨勢(shì)線。第三個(gè)是慢調(diào)用分析通過duration_ms分位數(shù)函數(shù)算 P50、P95、P99判斷哪些接口需要優(yōu)化。我實(shí)際排查過一個(gè)訂單超時(shí)問題通過慢調(diào)用分析發(fā)現(xiàn) P99 集中在某個(gè)下游服務(wù)一查是該服務(wù)連接池配置太小鏈路圖把整個(gè)過程暴露得清清楚楚。3. 實(shí)操落地從零搭建一套hindsight分析流程3.1 環(huán)境搭建與關(guān)鍵配置這一節(jié)說說從零開始怎么把整套系統(tǒng)跑起來。我在本地開發(fā)時(shí)用的是 Docker Compose把 ClickHouse、Kafka、Kafka UI、Grafana 全部編排起來。下面是我用的服務(wù)編排文件關(guān)鍵內(nèi)容version: 3.8 services: clickhouse: image: clickhouse/clickhouse-server:23.8 container_name: hindsight-clickhouse ports: - 8123:8123 - 9000:9000 volumes: - ./clickhouse/data:/var/lib/clickhouse - ./clickhouse/init.sql:/docker-entrypoint-initdb.d/init.sql:ro ulimits: nofile: soft: 262144 hard: 262144 kafka: image: bitnami/kafka:3.6 container_name: hindsight-kafka ports: - 9092:9092 environment: KAFKA_CFG_NODE_ID: 0 KAFKA_CFG_PROCESS_ROLES: controller,broker KAFKA_CFG_CONTROLLER_QUORUM_VOTERS: 0kafka:9093 KAFKA_CFG_LISTENERS: PLAINTEXT://:9092,CONTROLLER://:9093 KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE: true啟動(dòng)之后第一步不是立刻寫采集器而是先建表。我把上一節(jié)那一段建表 SQL 放到初始化目錄里ClickHouse 在第一次啟動(dòng)時(shí)就會(huì)自動(dòng)執(zhí)行省得手工敲。接著手動(dòng)創(chuàng)建 Kafka 的 topic。我用的命令是docker exec hindsight-kafka kafka-topics.sh \ --create \ --topic app-logs \ --partitions 6 \ --replication-factor 1 \ --bootstrap-server localhost:9092分片數(shù)設(shè)置了 6這個(gè)數(shù)字不是隨手定的。我的線上環(huán)境有三臺(tái)消費(fèi)節(jié)點(diǎn)每個(gè)節(jié)點(diǎn)開兩個(gè)線程消費(fèi)6 個(gè)分區(qū)剛好能讓每個(gè)線程處理一個(gè)分區(qū)的消息既不浪費(fèi)也不爭(zhēng)搶。有個(gè)項(xiàng)目把分區(qū)數(shù)設(shè)成 12但消費(fèi)端只有兩個(gè)實(shí)例導(dǎo)致大部分消費(fèi)者線程空閑浪費(fèi)了 Kafka 的順序讀能力。Grafana 我是在最后才接入的。先單獨(dú)驗(yàn)證 ClickHouse 里的數(shù)據(jù)是否正確再配置數(shù)據(jù)源最后畫面板這樣可以避免“系統(tǒng)跑起來了但數(shù)據(jù)是臟的”這種問題。3.2 核心采集與回放代碼示例整套系統(tǒng)落地中的核心代碼包含采集器、寫入 ClickHouse 的消費(fèi)腳本以及回放查詢的 API。采集器端大家可以直接沿用 2.1 節(jié)那段 Python 代碼。需要注意生產(chǎn)環(huán)境采集器通常不會(huì)和業(yè)務(wù)代碼耦合在同一個(gè)進(jìn)程里而是通過 filebeat / otel collector 這種獨(dú)立進(jìn)程做無(wú)侵入采集。我推薦先用 otel-collector 來做統(tǒng)一接入因?yàn)樗?kafka exporter 和 debug exporter 可以很方便地幫你看數(shù)據(jù)到底有沒有發(fā)出去。我在啟動(dòng) collector 之后經(jīng)常會(huì)跑一條測(cè)試請(qǐng)求然后立刻去 Kafka UI 里確認(rèn) topic 消息數(shù)有沒有增加。如果沒增加先排查 collector 的 exporter 配置再排查業(yè)務(wù) SDK 的 endpoint。這一步花費(fèi)時(shí)間最少卻是很多新手最頭疼的環(huán)節(jié)。消費(fèi)端我寫了一個(gè) Go 程序從 Kafka 拉取消息批量寫入 ClickHouse。核心邏輯是并發(fā)消費(fèi) 每 2000 條或每 5 秒批量 flush 一次避免小批量寫入造成 ClickHouse 大量 merge:package main import ( context database/sql fmt time github.com/ClickHouse/clickhouse-go/v2 github.com/segmentio/kafka-go ) func main() { clickhouseDSN : clickhouse://user:passclickhouse:9000/observability db, _ : sql.Open(clickhouse, clickhouseDSN) reader : kafka.NewReader(kafka.ReaderConfig{ Brokers: []string{kafka:9092}, Topic: app-logs, GroupID: clickhouse-writer, MinBytes: 1e6, MaxBytes: 10e6, MaxWait: 500 * time.Millisecond, }) var batch []LogRecord for { msg, err : reader.ReadMessage(context.Background()) if err ! nil { continue } batch append(batch, LogRecordFromJSON(msg.Value)) if len(batch) 2000 { flushToClickHouse(db, batch) batch batch[:0] } } } func flushToClickHouse(db *sql.DB, batch []LogRecord) { tx, _ : db.Begin() stmt, _ : tx.Prepare( INSERT INTO app_trace_events (service, timestamp, trace_id, span_id, parent_span_id, operation, duration_ms, status_code, error_msg, host, env, tags) VALUES (?,?,?,?,?,?,?,?,?,?,?,?) ) for _, r : range batch { _, _ stmt.Exec(r.Service, r.Timestamp, r.TraceID, r.SpanID, r.ParentSpanID, r.Operation, r.DurationMS, r.StatusCode, r.ErrorMsg, r.Host, r.Env, r.Tags) } _ tx.Commit() }這段代碼的巧妙之處在于MinBytes、MaxBytes和MaxWait三個(gè)參數(shù)。MaxWait: 500ms表示即使消息沒攢夠 2000 條最多等 500 毫秒也要 flush 一次。這樣既保證了吞吐又避免消息在緩沖區(qū)里停留太久才入庫(kù)影響故障排查時(shí)的實(shí)時(shí)性。我實(shí)測(cè)下來消費(fèi)端每秒能處理幾萬(wàn)條簡(jiǎn)單日志對(duì)絕大多數(shù)中小規(guī)模業(yè)務(wù)來說綽綽有余。3.3 數(shù)據(jù)可視化與報(bào)告輸出數(shù)據(jù)進(jìn)了 ClickHouse回放查詢也通了之后整套系統(tǒng)的最后一步是可視化與報(bào)告輸出。可視化我用 Grafana 做了幾個(gè)核心面板。第一個(gè)是全局流量大盤每秒請(qǐng)求數(shù)、錯(cuò)誤率、P50/P95/P99 耗時(shí)曲線。這個(gè)面板放在最頂端用于發(fā)現(xiàn)“有沒有問題”。第二個(gè)是服務(wù)依賴拓?fù)渫ㄟ^ span 里的 parent 關(guān)系用 NodeGraph 插件畫出服務(wù)之間的調(diào)用關(guān)系每個(gè)節(jié)點(diǎn)顯示平均耗時(shí)和錯(cuò)誤率。這個(gè)面板非常直觀有一次我一下就看到新上線的推薦服務(wù)把核心訂單服務(wù)的 QPS 拉高了 30%拓?fù)鋱D上那根線條紅得刺眼。第三個(gè)是 Trace 瀑布圖專門用于單個(gè) trace 的回放。我實(shí)現(xiàn)在 Web 面板上輸入 trace_id就能按時(shí)間軸渲染出完整的調(diào)用瀑布每個(gè) span 下面會(huì)附加對(duì)應(yīng)的日志條數(shù)點(diǎn)擊即可下鉆。報(bào)告輸出這一塊是我覺得最實(shí)用也最容易被忽視的功能。每一次線上事故排查完都需要提交一份復(fù)盤文檔。以前是手動(dòng)截圖加拼湊時(shí)間線效率極低。我在項(xiàng)目中預(yù)設(shè)了一套 Markdown 模板查詢層返回以下結(jié)構(gòu)化信息故障時(shí)間范圍、影響服務(wù)列表、根因 trace_id 鏈路、異常日志摘要、關(guān)鍵指標(biāo)前后對(duì)比、改進(jìn)建議。后端接口一次性把這些數(shù)據(jù)返回前端自動(dòng)填充到 Markdown 模板里一鍵導(dǎo)出成文件。最終生成的內(nèi)容可以直接作為復(fù)盤附件省去了大量寫文檔的時(shí)間。4. 常見問題與排查技巧實(shí)錄4.1 日志量太大存儲(chǔ)扛不住這是一個(gè)必然會(huì)出現(xiàn)的問題。系統(tǒng)剛上線的時(shí)候大家熱情高漲什么樣的日志都往里打一天能產(chǎn)生幾個(gè) TB 的數(shù)據(jù)。我一開始也天真地以為 ClickHouse 壓縮比高扛得住結(jié)果一周過去磁盤空間告急。解決思路根據(jù)日志的價(jià)值分了三層。第一層是采樣策略核心服務(wù)訂單、支付、登錄全量采集邊緣服務(wù)推薦、營(yíng)銷按 10% 的比例采樣采樣時(shí)按 trace_id 做到全鏈路一致否則會(huì)出現(xiàn)一半鏈路有日志一半沒有的尷尬。第二層是數(shù)據(jù)分層熱數(shù)據(jù)在 ClickHouse 保留 7 天用于日常排查冷數(shù)據(jù)通過 TTL 移動(dòng)到對(duì)象存儲(chǔ)需要時(shí)按 trace_id 回?fù)?。第三層是字段裁剪業(yè)務(wù)日志里的冗余大字段如 request body 全文、響應(yīng)報(bào)文在采集端就做截?cái)喑^ 512 字節(jié)的部分只保留長(zhǎng)度和 hash 值。這個(gè) hash 很有用對(duì)比兩次請(qǐng)求的參數(shù)是否一致時(shí)不需要完整報(bào)文對(duì)比 hash 就行。4.2 時(shí)間戳不同步導(dǎo)致鏈路錯(cuò)亂鏈路回放最怕時(shí)間戳錯(cuò)位??鐓^(qū)域部署時(shí)如果各機(jī)房的機(jī)器沒有做統(tǒng)一時(shí)鐘同步A 服務(wù)記錄的事件時(shí)間早于 B 服務(wù)瀑布圖就會(huì)變成一團(tuán)亂麻。我在一個(gè)跨境電商項(xiàng)目上就吃過這個(gè)虧。機(jī)房在美國(guó)和新加坡兩邊服務(wù)器的系統(tǒng)時(shí)間差了幾百毫秒一個(gè) trace 的 span 排序錯(cuò)亂看起來像先響應(yīng)后請(qǐng)求。排查手段是先批量檢查日志中的時(shí)間戳單調(diào)性如果發(fā)現(xiàn)同一 trace 里 span 的時(shí)間出現(xiàn)回退就找到具體兩個(gè)服務(wù)所在的機(jī)器用下面的命令檢查時(shí)鐘偏移chronyc tracking | grep -E System time|Clock offset ntpdate -q time.google.com解決方式分兩步第一步所有機(jī)器配置 NTP 自動(dòng)同步這是基礎(chǔ)第二步也是最關(guān)鍵的采集端在發(fā)送日志時(shí)把“本地時(shí)間戳”和“采集端接收時(shí)間戳”并列記錄。這樣哪怕系統(tǒng)時(shí)鐘被業(yè)務(wù)進(jìn)程誤改我們依然可以通過接收時(shí)間戳反推真實(shí)事件順序。僅這一步就解決了 90% 的鏈路亂序問題。4.3 定位到問題但找不到根因有一種非常折磨人的排查場(chǎng)景鏈路很快定位到了某個(gè)服務(wù)但這個(gè)服務(wù)內(nèi)部的日志太稀無(wú)法進(jìn)一步定位到具體邏輯。比如一次請(qǐng)求的鏈路圖顯示評(píng)論服務(wù)耗時(shí) 5 秒但打開評(píng)論服務(wù)的日志只看到“開始處理”和“結(jié)束處理”兩條中間干了什么完全不知道。這時(shí)候就需要“回放式埋點(diǎn)”也就是在關(guān)鍵邏輯路徑上插入更有信息量的事件。我的經(jīng)驗(yàn)是凡是涉及外部調(diào)用的地方必須記錄 target、method、請(qǐng)求摘要、返回狀態(tài)和耗時(shí)凡是涉及數(shù)據(jù)庫(kù)讀寫的地方必須記錄表名、主鍵和影響行數(shù)凡是出現(xiàn) catch 分支必須把原始異常類型和消息完整打出來。還有一個(gè)很容易被忽略的坑線程池中的上下文丟失。業(yè)務(wù)里經(jīng)常用ExecutorService提交異步任務(wù)如果線程池沒有使用 OpenTelemetry 的上下文傳播包裝那么任務(wù)內(nèi)部拿到的 trace_id 就會(huì)為空日志“游離”了。我寫了一個(gè)簡(jiǎn)單的包裝類提交任務(wù)時(shí)顯式把當(dāng)前 TraceContext 快照傳到子線程里這個(gè)操作成本很低卻是異步場(chǎng)景鏈路完整的救命藥。4.4 從hindsight場(chǎng)景延伸到日常復(fù)盤做到這里hindsight 已經(jīng)不是一個(gè)單純的日志系統(tǒng)它變成了一種思維方式。我在迭代過程中慢慢體會(huì)到回溯能力不只在故障排查時(shí)有用。每次發(fā)布新版本之后我都會(huì)調(diào)出對(duì)應(yīng)版本的流量曲線和錯(cuò)誤率曲線對(duì)照回放當(dāng)時(shí)的發(fā)布窗口日志看看有沒有潛在的異常被隱藏。每個(gè)季度做性能優(yōu)化時(shí)我也會(huì)直接拉出 P99 耗時(shí)最高的幾個(gè)鏈路逐個(gè)展開瀑布圖找到真正拖慢系統(tǒng)的瓶頸——這些優(yōu)化工作以前靠估現(xiàn)在靠數(shù)據(jù)。有一次團(tuán)隊(duì)開復(fù)盤會(huì)聊一個(gè)功能上線后用戶投訴增多的問題本來是業(yè)務(wù)邏輯的爭(zhēng)議結(jié)果我順手拉了該功能上線前后的 trace 對(duì)比發(fā)現(xiàn)有一個(gè)新的下游服務(wù)調(diào)用在特定參數(shù)下會(huì)返回大量超時(shí)錯(cuò)誤是調(diào)用方?jīng)]有做好重試和降級(jí)導(dǎo)致的。如果沒有“回放”能力這一輪爭(zhēng)論可能又要僵持很久??傊甴indsight 就是給這個(gè)流程配了一臺(tái)“事件回放儀”讓所有決策都建立在對(duì)真實(shí)發(fā)生的每一幀數(shù)據(jù)的理解之上。結(jié)尾一些落地后的真實(shí)體會(huì)如果讓我用一個(gè)詞總結(jié)這套系統(tǒng)對(duì)我團(tuán)隊(duì)的影響我會(huì)選“確定性”。以前排查線上問題很多時(shí)候靠猜、靠回憶、靠某個(gè)老員工拍胸脯現(xiàn)在不用了——任何一次事故只要能拿到一個(gè) trace_id就能在幾分鐘內(nèi)把現(xiàn)場(chǎng)完整還原出來根因分析從玄學(xué)變成了流水線作業(yè)。最后分享兩個(gè)我踩過的最深的坑。第一個(gè)是不要過早優(yōu)化采樣策略。項(xiàng)目剛上線時(shí)我為了省存儲(chǔ)設(shè)置了一套復(fù)雜的動(dòng)態(tài)采樣規(guī)則結(jié)果后來排查問題時(shí)發(fā)現(xiàn)該采的日志沒采到。后來我把規(guī)則簡(jiǎn)化為無(wú)腦全量運(yùn)行一周后看數(shù)據(jù)量再調(diào)整反而更穩(wěn)。第二點(diǎn)是要重視數(shù)據(jù)質(zhì)量測(cè)試。每次采集 SDK 升級(jí)或者新增日志格式我都會(huì)往測(cè)試環(huán)境跑一批模擬流量專門驗(yàn)證 trace_id 是否連貫、時(shí)間戳格式是否符合預(yù)期、字段映射是否正確。這套校驗(yàn)機(jī)制看著不起眼實(shí)打?qū)嵄苊膺^好幾次線上數(shù)據(jù)的靜默損壞。hindsight 這個(gè)名字我一直很喜歡人很難做到事事預(yù)見但至少可以在事情過后誠(chéng)實(shí)、完整、高效地把它重新看清楚。希望這篇文章能給正在建設(shè)可觀測(cè)性體系的你一些思路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九热久| 女人露出p毛视频www网站| 国产精品涩涩涩视频网站| 9久精品视频| 五月婷婷免费在线| 色色色婷| 亚洲另类毛片| 激情综合九| 婷婷五月av| 色综合久久中文| 五月丁香六月婷婷在线播放| 天天综合干| 中文无码婷婷| 97干在线播放| www一起操在线观看| 青青草视频免费观看| 五月丁香婷婷综合网| 亚洲99热| 激情五月丁香五月| 国产精品日日躁夜夜躁| se99热久久一本| JlZZJlZZ8JlZZ亚洲熟女| 97五月天| 九九热免费视频| 久久久香| 91seav| 色综合激情| 噜噜噜噜在线| 激情综合网,婷婷五月天| 五月婷五月婷伊人伊人五月婷| 天天综合五月天| 九九成年视频| 五月天婷婷Av| 五月天婷婷青青草| 五月丁香综合精品欧美| AⅤ网站在线看| 丁香九月激情| 九九aV| 六月丁香啪啪| 色婷婷成人| 啪啪 综合网| 狠狠五月天| 五月天久久综合婷婷丁香| 精品国产人人爱人人| 色婷婷操逼| 中文字幕丰满人妻无码专区| 97碰人人操| AV在线二十六页| 老师高潮流白浆喷水的A片| 被强行糟蹋的女人A片| 色五月天婷婷| 五月天激情国产综合婷婷婷| 五月丁香六月激情在线| 99热在线观看精品免费| 五月六月激情| av五月天婷婷丁香| 亚洲婷婷免费| 激情五月婷婷综合| 99视频激情四射| 色爱亚洲| 五月天激情网站| 婷婷九月丁香| 第四色大香蕉| 亚洲午夜电影| 久久五月天视频| 激情五月综合| 五月天色五月| 久久婷婷五月丁香网| 啪色综合| 激情久久综合| 思思热在线精品视频| 99热自拍| 久久精品人妻| 亚洲人妻av伦理| 婷婷丁香五月综合| 免费观看全黄做爰的视频| 99国产精品久久久久久久久久久| 蜜乳av一级av| 五月婷婷黄网站大全| 五六月婷婷久久| 五月综合激情网| 五月婷狠狠| 五月天啪啪网| 婷婷久久图片| 激情婷婷久久| 51精品国内探花| 五月婷av| 98永久精品| 日本女人久久| 婷婷色中文字幕| 6月丁香婷婷| 色五月成人婷婷| 五月丁香五月丁香| 开心五月丁香婷婷| www、色色色| 99精品小视频| 亚洲情色一区| 狠狠五月天| 大香蕉久久| 国产偷人爽久久久久久老妇APP | 91热99| 九色视频91| www.久久爱| 五月婷婷六月丁香综合在线| 欧美经典片免费观看大全| 亚洲精品久久久无码| av中文网| 五月天婷婷涩涩| 天天综合久久| 久久er视频6| 成人视频九九| 青草激情在线| 丁香婷婷激情六月五月开心| 九九热99热| 99久久婷婷| 欧洲电影在线观看免费版英语版 | 久久天堂女人| 另类伊人婷婷| 深爱五月婷婷开心中文字幕| 五月天激情开心网| 婷婷亚洲丁香五月| 99无吗| 日本天天操| 五月丁香婷婷色色色| 天天狠天天叉| 中文字幕视频色婷婷| 久色大香蕉| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 国产精品国产成人国产三级| 久久婷鲁| 91尤物九色在线| 亚洲综合网区| 婷婷五月天男人影院色色网| 991精品在线视频| 99这里只有精品视频| 极品少妇XXXX精品少妇偷拍| 五月婷九九草| 九九九热精品| 天天操夜夜玩!| 色播激情五月天| 婷婷五月综合久久中文字幕| 欧洲色| 99热最新国内| 国产在线黄色| 久久久婷丁香五月| 丁香激情五月| 嫩BBB槡BBBB搡BBBB| 丁香五月天影院| 五月婷婷深深爱| www.色色com| 久久婷婷五月综合伊人| 九九草热在线观看| 能看的AV| 丁香成人五月天| 99热人人艹| 91日视频| 丁香亚洲婷婷五月| 丁香五月天.com| 亚洲中文字幕网| 亚洲综合色激情色五月| 亚洲天堂热| 最新精品视频99| 天天干天天干天天干天天干天天干| 97久久久| 99热8在线| 影视av久久久噜噜噜噜噜三级| 婷婷五月天色丁香| 狠狠做婷婷| 五月婷婷综合激情| 九色综合五月天婷五月| 亚洲欧美成人在线| 丁香五月婷婷手机| 97热这里只有精品| 婷婷六月丁综合| 色六月婷婷| 丁香五月98| 婷婷欧美| 四川BBB搡BBB爽爽视频| 婷丁香五月天| 婷婷五月天va| 久久精品系列| pom538精品视频| 亚洲爆乳无码精品AAA片蜜桃| 操b视频在线观看一区二区| 在线中文字幕视频| 欧美狠狠地| 色婷婷网| YW无码| 久久三级视频| 五月婷婷激情久久| 亚洲色色色| 高清 码 免费看片短视频| 五月婷婷激情四季| 99只有精品| 国产毛片精品一区二区色欲黄A片| 丁香五月婷婷综合91| 成人五月天综合网| 日本色五月婷婷| 狠狠色婷婷7777久| 97日在线视频| 狠狠久综合| 另类视频一区| 九九精品少妇| 亚洲综合干| 丁香五月综合激情性爱| 99色爱| 五月色婷婷中文字幕| 99精品7| 亚洲综合色色| 国产亚洲99久久精品熟女| 激情六月丁香综合| 91.com男女操| 亚洲区在线| 中文字幕视频在线播放| 天天插天天插天天插天天插| 欧美性色A片免费免费观看的| WWW,五月| 操人妻视频91| 激情五月婷婷| 色色五月婷婷狠狠| a色色色色色| 人人干人人操人人摸| 黑人糟蹋人妻HD中文字幕| 91人人澡人人爽人人看| 欧美VA在线观看| 日日夜夜天天| 男人天堂99| 五月天婷婷丁香六月| 99精在线| 91视频五月丁香| 五月天激情图| 五月天激情网站| 中文字幕激情综合| 99热这里只有免费精品| 国产AV一区二区三区最新精品| 久碰久操| 播五月丁香三月婷婷| 91 影音先锋| 亚洲激情综合| 9月色婷婷| 中文超碰视在线| 婷婷激情五月天天天开心| 五月天丁香久久| 亚洲欧美成人在线观看| 婷婷激情五月天激情在线| 欧美日本国产欧美日本韩国99| 婷婷五月天久草在线| 婷丁香久综合| 国产成人网| 九九99男女视频在线观看| 婷婷爱婷婷| www婷婷| 天天搞天天色综合| 777色色色| 熟女少妇内射日韩亚洲| 草操网| 色婷婷久久久| 大香蕉久久婷婷精品综合| 五月婷婷色情| 无码少妇高潮喷水A片免费| 中文字幕在线免费观看视频| 日韩黄色电影| 五月婷婷黄色毛片| 女人天堂 AV| 人妻熟女一区二区AV| 99色色爰| 色婷婷香蕉| 99人妻碰碰碰久久久久| 狠狠五月激情丁香六月| 亚州男人天堂婷婷五月| 激情五月婷婷综合视频| 97碰碰碰免费公开在线视频| 色五月无码| 色色色色色色色色五月先| 五月天久久激情| 99综合免费视频| 疯狂做受XXXX高潮A片动画| 午夜婷婷| 色色激情| 任你爽视频| 97人妻碰碰碰久久香蕉| 99亚洲精美视频在线观看| 色综合色综合网| 久久AAAA片一区二区| 欧美激情五月综合| 婷婷另类小说| 另类小说五月天| 综合久久高清| 色色色在线| 天天做夜夜爽| 综合超碰熟| 久久丁香久久| 综合激情九月婷婷,激情综合婷婷中文字| Va另类视频| 国产SUV精品一区二区6| 六月香五月婷| 亚洲精品一区中文字幕乱码| 激情五月婷婷伊人| 成人.在线日韩| 精品视频99看在线视频| 天天干,夜夜爽| 亚洲艹网| 天天插天天插| 热久久77777| 国产67194| 久热久色| 色一情一乱一乱一区91Av| 免费国产VA国产免费| 综合网激情| 99久久免费性爱视频`| 五月综合久久| 亚洲精品网站色视频| 丁香五月香蕉| 婷婷色五月婷婷姐妹| 丁香五月Av| 无码se| 欧美日韩一区二区三区四区| 激情综合青草| 六月婷婷综合| 婷婷五月免费在线| 色和综合网| 九九九九九九九热| 白度黄视频| 婷婷婷婷婷婷婷五月丁香| www.久操| 婷婷中文字幕| 日韩操逼大片| 天天天干夜夜夜操| 99在线观看这里都是精品| 五月激情综合网| 天天插天天很| 丁香六月婷婷操逼网| 亚洲第一色区| 丁香六月激情毛片| 激情AV在线| 51XX午夜影福利| 日本三级日本三级99| 丁香五月电影| 99爱精品| 色小说五月婷婷| 精品九九九久| 国产欧洲欧洲精品久久| 99热1| 伊人久久婷婷| 秋霞学生妹一二级| 欧美A级成人婬片免费看理论| 六月丁香好婷婷| 九九99视频精品| 26uuu日韩| 99爱99操| 五月天开心网| 天天色天天噜| Www.se.久久| 99精品在线观看视频| 91超级碰在线视频| 网站免费一站二站| 天天综合天天玩夜夜玩天天玩夜夜玩| 五月丁香久久激情综合| 激情九九六月激情免费视频| 婷婷伊人中文字幕| 丁香六月天| 激情婷婷另类| 男人天堂 久久| 淫视馆AV在线| 熟女乱论网| 丁香久久在线| 五月天婷婷在线视频| 任你爽精品免费视频6| 老司机日日夜夜青草| 亚洲五月天天| 婷婷五月天天激情| 激情久久久久久| 欧洲激情网站| 操B无码视频国语| 激情五月婷婷五月| 丁香五月婷婷狠狠色| 青柠影视免费高清电视剧| 六月丁香激情婷婷| 99九九视频精彩在线| 99热这里只有精品66| 色五月在线| 99热人人操人人操| 大香蕉五月丁香| 婷婷亚洲五| 97在线观视频免费观看 | 五月亭久久无码视频| 五月伊人网| 亚州精品色情在线观看| 综合五月激情| 亚洲精品成人| 操操操操操电影网| 91九色 婷婷| 婷婷五月激情中文字幕| 丁香五月婷在线观看| 伊人9在线| 五月激情综合网| 严洲天天插| 五月天激情网址| 色婷婷五月天| 天天色色天天| 色香蕉影院| 男人先锋久久| 日韩人妻无码精品| 激情五月天之五月婷婷| 丁香六月婷婷社区| 天天色粽合合合合合合合| 中文不卡一二区| 久久久久8888| 国产毛片精品一区二区色欲黄A片| 开心网五月色婷婷| 在线国产精品色| 亚洲天堂色| 久久激情五月天| 六月伊人婷婷| 91久久综合亚洲噜噜成人在线| 九九热这里| 九久9精品| 四川女人毛多水多A片| 天天综合精品| 成人婷婷五月天| 中文字幕不卡视频| 久久久久9999| 五月天久久婷婷| 丁香五月天在线视频| www网站在线观看| 久99热| 天天操天爱综合| 久久婷婷五月综合色奶水99啪| 激情内射人妻1区2区3区| 五月激情综合网| 婷婷丁香高潮了| 色婷婷丁香社综合| 亚洲日韩一页精品发布| 五月丁香激情综合啪啪| 天天射综合网天天插| 午夜成人综合| 亚洲AV成人精品日韩在线播放| 五月丁香狠狠爱婷婷综合| 五月亭亭欧美女人| 精品国产乱码久久久久久免费| 日日日日日| 开心五月丁香综合久久| 婷婷涩涩五月天| 国产黄色在线观看| 五月婷av| 色五月综合在线| 久久黄色免费视频| 婷婷九月亚洲| 日日夜夜九九| 99热免费观看| 婷婷成人五月天成人文学| 婷婷五月天xxx| 综合www色| 成人精品视频99在线观看免费 | 99热| 丁香五月成人| 另类综合国产| 五月丁香六月婷婷综合在线| 伊人色综合久久久| 99热8在线| 五月色影院| 丁香久久| 五月社区婷婷激情| 啪啪综合网| 五月婷中文娱乐综合| 天天做天天爱天天爽| 婷婷色片| www.99热. com这里只有精品| 激情五月天在线观看婷婷| 午夜色丁香| 日日躁夜夜躁狠狠久久AV| 成人AV免费观看| 亚洲综合激情五月| 五月丁香六月婷婷色| 久草大| 99啪视频在线观看| 日本女色人人| 91Chinese在线| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 99热99| 国产黄色在线观看| 亚洲色色色| 香蕉人在线香蕉人在线 | 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 激情网五夜婷婷| 九九99香蕉在线视频播放| 新激情五月天| 极品少妇高潮啪啪AV无码| 99在线免费视频| 草逼大片| 丁香涩涩五月天| 婷婷亚洲五| 久久五月天视频| 中文字幕欧美精品久久| 成人午夜天| 日日操日日撸| 五月婷婷影院| 九九在线精点品| 五月天激情久色| 激情丁香久久| 影音先锋一区二区三区| www.99精品视频| 综合另类激情| yazhoujiqingav| 丁香婷婷久久 | AV九九| 免费黄色片子| 久久久9久| w婷婷五月婷婷w| 婷婷玉月丁香五月在线视频| 337p大胆噜噜噜噜噜91Av| 亚洲免费观看高清完整版AV线| 五月婷婷香蕉视频| 国产精品激情AV久久久青桔| 1024日韩| 天天影院色| 婷婷久久五月丁香| 婷婷久久精品| 五月天成人在线视频网站| 午夜丁香五月天综合| 天天舔天天| 欧美天天爽| 九色婷婷| 六月婷婷av| 91精产一区三区免费观看| 超碰人人妻| 韩国中文字幕91| 久久久久人妻| 久久五月丁香| 丁香五月影院| 五月婷婷六月丁香在线| 97操碰| 亚洲午夜av| 猫咪伊人久久| AV成人在线播放| 天天在线XXX| 激情文学五月丁香六月婷婷| 婷婷五月亚洲一本在线丁香| 色五月天本日| 色色 亚洲| 激情五月丁香六月婷婷| 狠色狠色综合久久| 五月天婷婷影院| 九九99视频精品| 久久精品五月天| 丁香五月婷婷老师网站| 欧美性生交A片免费看| 91碰碰| 狠狠色丁香| 久久亚洲婷婷| 丁香五月婷婷基地| 天天干夜夜谢| 99色色视频| 色五月激情网| 91免费看片| 国产免费一区二区三区三州老师F1F1.CC| 五月婷婷五月| 99re热在线观看| 国产激情在线| 91精品婷婷国产综合久久| 国产成人av在线播放| 91人人操人人爱| 九色PORNY自拍成人精彩视频| 91操在线视频| 色综合久| 天天弄天天操| 国产精品人成A片一区二区| 青青青在线视频国产| 北京熟妇搡BBBB搡BBBB| 日本黄色一级| 伊人大香蕉爱聚| 九九久久玖玖爱| 高清无码入口| 五月丁香狠狠爱| 激情五月天综合网| 国产黄色在线观看| avh片在线观看| 黄色短视频在线观看| 五月丁香偷拍| 六月婷婷色色色| 伊人网大香| 99热18| 五月丁香久人妻中文| 丁香婷婷五月激情综合| 夜夜爽日日躁| 96五月丁香熟女| 丁香午夜天| 五月天丁香婷婷社区| 1024国产| 激情五月丁香婷婷| 久久精品99国产精品日本| 超碰免费成人网站| www.婷婷五月天,com| 丁香六月激情综合网| 久久久99免费视频| 丁香婷婷人妻| 国产六月婷婷| 久久A V无码视频| 色五月欧美| 91热在线| 五月婷婷综合在线| 99热热热天天人人人超超碰| 色婷婷文字幕| 婷婷五月天影院| 美女va| xxx综合在线| 色五月第四色| 色色色在线观看| 日本五月婷| 99国产精品白浆在线观看免费 | 996热re视频在线观看视频| 99热线观看9| 狠狠综合网| 天天搽天天射| 色婷婷五月综合网| 成功精品影院| 亚洲综合99| 一本色道久久88加勒比| 激情骚五月| 伊人久久婷| 五月天激情小说婷婷| 国产探花AV在线| 怡红院一二三| 色综合婷婷| 开心五月婷婷| 潮汕成人AV片在线| 99热最新精品| 成人久久天天x资源站| 丁香婷婷六月在线资源观看| 五月婷激情影院| 色噜噜狠狠一区二区三区| 国产精产国品一二三在观看| 一级黄色操B| 丁香五月区| 深情六月婷婷综合久久| 中文字幕色色| 91久久综合亚洲鲁鲁五月天| 婷婷五月天福利| 奇米色大香蕉| 亚洲精品国产setv| 五月丁香六月婷婷综合网| 色 色 色综合com| 久久综合中文| 在线看的免费网站| 影音先锋男人资源站一区二区| 操碰97| www狠狠| 成人婷婷| 少妇AB又爽又紧无码网站| 最新久久99视频网站| 色五月激情网| 婷激情五月| 91丨九色丨白浆秘| 久久综合久色欧美综合狠狠| g00d人体西西| 全网最新网黄大秀直播高清,主播国产录屏在线| 成人精品99| 97碰碰视频在线观看| 99在线精品免费视频| 日本久草福利| 婷婷丁香久久五月综合| 五月丁香综合激情| 丁香五月天啪啪| 综合久久六月| 密黄站| 天天做天天爱天天要| 泰州成人视频| 香蕉五月婷婷| 色六月天天激情综合网| 五月天网站亭亭| 色五月五月婷婷| 香蕉色色网| 婷婷六月激情小说网| 婷婷丁香五月综合激情视频| 亚洲日日操| 伊人激情综合| 色狠狠狠干| 婷婷五月激情视频在线| 天天干一干| 97伦色婷婷| www.丁香五月| 九九色综合视频| 另类激情中文| 综合亚洲AV| 五月婷婷久久开心网| 色播五月| 色婷婷成人做爰A片免费看网站| 久草a片| 五月婷婷中文网| 情色五月天网站| 超碰操日| 99热国品免费| 99爱在线视频| 91精品国产综合久久久不卡电影| 久99视频在线观看| 日韩欧美一级大黄网站| 婷婷91| 亚洲午夜一区二区| α久久| 天天摸天天肏| 婷婷五月丁香99| 久久无码激情视频| 婷婷八月丁香激情综合| 2025超碰| 在线观看熟女少妇| 99热| www.99精品日操伊人乱碰在线| 天天性视频| 婷婷久久色| 亚洲最大成人综合网720P| 91超碰在线观看| 精品久久66| 国产FREESEXVIDEOS性中国| 婷婷五月色综合| 天天色综合网吨吧| 婷婷综合| 五月婷婷99热| 色婷婷狠狠| 一本色道久久88加勒比| 亚洲va欧美| 开心激情网五月天| 亚洲AV在线免费看| 99热大全在线观看| 99久久婷婷五月综合| 久久丁香综合精品综合| 九九爱这里只有精品| 青青草tp| 人人操人人看97干| 五月婷久久在线| 99热| 99热国内精品| 人人干人人操人人摸| 9精品久久999| 91精品电影18T| 婷婷精品在线| 91N 一起草| 欧美成人网婷婷综合在线| 天天干夜夜谢| 亚州操操| 另类激情首页| 日韩在线观看网址| 综合激情五月丁香9999久久精| 亚洲情色一区| 97伊人综合婷婷| 97色色色视频| 欧美电影在线观看| 99这里是99在线视频| 九九 激情 网| 日本色色影院| 99综合一区| 亚洲亚洲人成综合网络| 超碰三级秋霞| 久色网| www99久久| 婷婷五月亚洲一本在线丁香| 新激情婷婷| 婷婷五六日| 婷婷久热| 婷婷五月丁香基地在线视频官网| AV在线免费播放| 婷婷娌伦网| 五月丁香天堂网| 亚洲mm免费| 婷婷五月激情欧美大胆视频| 狠狠干综合| 久久视屏这里只有久久| 97自拍视频在线| 九九精品综合| 久久人人九| 77777亚洲午夜久久| 亚洲AV色婷婷人禽五月天| 东京热五月婷婷| 狠狠色狠狠鲁| 午夜少妇在线观看视频| 婷婷五月天伊人在线| 人人爽天天爽| 色五月激情网| 91色婷婷综合久久中文字幕二区| 日韩人妻无码精品| 另类 在线| 五月婷婷六月丁香玖玖玫瑰91| 九九99精品视频在线观看| 懂色av粉嫩AV蜜臀AV| 在线A色| 国产做A爰片毛片A片美国| 99r这里只有精品哦| 99精彩视频| 精品五月视频婷婷在线观看| 综合久久婷婷| 久热欧美| 婷婷伊人久久| 超碰人人操在线| 玖玖在线| 精品牛仔裤超碰| 强伦轩人妻一区二区电影| 国产精品国产| 丁香五月激情网| 激情五月,激情综合网| 色婷婷日本| 色九月婷婷丁香| 色婷久| 久久婷网| 草一草avb| 亚洲综合网 665566| 丁香六月久久| 9色在线| 99热综合网| 成久综合视频| 久久女婷| 色亚洲中文| 欧美丰满熟妇BBB久久久| 91视屏在线观看com.wwwvv| 9精品久久999| 天堂草在线观| 97爱艹婷婷开心丁香激情综合| www.热99热| 久久性都花花世界成人免费视频| 久久久精品色色色| 性色综合网| 99爱视频免费| 亚洲色激情| 五月婷婷丁香六月| 国产.亚洲.欧洲视频在线| 97碰| 大香蕉九九| 色五月激情五月开心五月| 成人视频九九| 免费看成人AA片无码视频吃奶| 天天操天天日天天爽| 性按摩玩人妻HD中文字幕| 色五月五月天| 91a片爽| 亚洲第一精品网站| 99热欧美精品| yellow视频在线观看91| 色色五月丁香| 五月香婷婷| 激情五月天之五月婷婷| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 丁香五月六月| 五月婷婷啪啪啪| 久久这里只有精品8| 99毛片| 久久多色| 久热这里只有精品6官网亚洲| 噼里啪啦在线观看免费完整版视频| 丁香五月婷婷成人色区| 国产免费性爱| 久久精品亚洲一级牲爱综合| 99热只有精品在线| 婷婷色丁香五月| 久热视频A.| 成人国产欧美大片一区| 婷婷五月丁香久久| 超碰色天堂| 97久久草草超级碰碰碰| 91综合在线| 亚洲视频一区| 色色亚卅| 丁香色五月AV在线| 丁香婷婷六月天| 婷婷99狠狠躁天天躁| 精品夜夜澡人妻无码AV| 亚洲色亚洲精品| 五月开心久久| 97人人草| 男人综合网| 久久婷婷大香蕉| 欧美日比视频| 久久久精品99亚洲综合| 午夜天天精品视频| 色综合色综合色综合色综合| 任我肏| 无码色| 日日舔夜夜操| 国产综合婷婷| 大香蕉综合在线| 欧美日本一区二区三区| 九九色天堂| 色色婷婷丁香| 桔色成人官方网站| 人人操人人添人人摸97| 婷婷五月天影院| 就爱啪啪婷婷| 国产日韩欧美| 欧美人妻一区二区| 97碰碰视频在线观看| 第四色在线观看| 婷婷播5月| 97福利视频| 五月美女婷婷风骚| 91九色中文字幕女在线观看| 这里只精品| 99热黄| 99这里只有精品99| 久久久99婷婷久久久久久| 丁香六月综合激情| 丁香六月色婷婷| 日韩久久视频| 国产午夜精品AV一区二区麻豆 | 2017人人操| 婷婷色在线| 婷婷五月花丁香| 婷婷伊人久久| 日韩黄色影院| 欧洲亚洲午夜| www。狠狠干。com| 丁香婷婷老司机久操| 丁香婷婷大香蕉| 日日射天天射| 日韩另类在线观看| 免费视频WWW在线观看网站| 激情五月天婷婷丁香| 女性自慰系列第五页| W色综合| 久久婷婷久久| 99r这里只有精品哦| 美女爆乳18禁www久久久久久| 国产激情综合| 性色99| 久婷| 色综合99无码| 日本综合久久| 亚洲bt丁香五月天婷婷激情小说| 青青草原亚洲天堂| www.色色色com| 综合色色婷婷| 天天天天爽爽天干| 色婷婷丁香网| 丁香婷婷久久综合在线| 天天肏夜夜肏| 五月六月婷| 九九热九九热精品| 996精品热视频| 日本欧美成人片AAAA| 婷婷午夜综合| 天天久久综合| 亚洲精品国产setv| 丁香av网| 99这里有精品| 久热这里只有| 五月色导航| 婷婷久久五月天丁香| 亚洲婷婷性爱| 97人妻碰碰中文无码久热丝袜| 亚艹艹| 日韩色色小视频| 婷婷性爱视频在线| 丰满老熟妇BBBBB搡BBB| 婷婷在线播放| 丁香五月激情澎湃一区| 99啪啪视频| 91日综合欧美| 免费无码毛片一区二区A片| 免费黄色AV| www.激情五月天| 婷婷丁香五月天婷婷| 亚洲四色五月| 超pen个人视频97| 久久综合干| 99性视频| 26uuu.| 久草视频一,二三四| 久热99狠| 大香蕉久| 超碰色综合| 欧美成人精品老美女噜噜噜| 婷婷 久综合| 亚洲碰碰碰| 玖玖婷婷免费| 1024日韩| www.色9| 激情五月婷婷丁香综合网| 综合激情五月综合激情五月激情1| 激情av在线| 九九综合网| 九九热精品视频在线观看| 综合AV在线| 人人摸人人摸| 99热精品一区| 天天舔天天插天天爱| 亚洲综合一区二区| AV在线免费观看不卡| 欧美人与性动交CCOO| 伊人激情啪啪| 日日杆天天| 亚洲婷婷五月天激情综合| 久久综合丁香五月| 精品99在线| 色色六月| 碰97 久| 99热这里只有精品3| 婷婷五月激情图片| 色婷婷色人人射| 五月天婷婷基地丁香| 久久精品夜色噜噜亚洲a∨| 丁香花狠狠婷婷亚洲中文字幕| 这里只有精品久久| 婷婷五月丁香五月| 亚洲天堂啪啪| 亚洲情欲| 97韩国久久电影院| 日本精品。999| 婷婷五月天色色| 日韩黄色网络| 丁香婷婷久久综合在线| 综合久久五| 内射爽无广熟女亚洲| 99热18| 在线网黄| 天天天干夜夜夜操| 热99只有里视频| www.思思99热| 欧洲精品欧洲情| 一区色色色色网| 婷婷久久99| 七月激情六月婷婷综合在线播放| 国产激情一区| 韩国中文字幕91| 丁香六月婷婷综合| 99热亚洲| 99热最新网址| 999精品乱码77777| 五月天天久久香| 日韩AV大全| 日韩欧美骚货| 人人干AV| 亚洲熟妇AV综合网五月丁香伊人| 婷婷丁香视频在线观看免费| 中文字幕成人| 96精品久久久久久久久| 色五月婷婷自拍| 婷婷色五月天色| 九热av| 日韩精品呦呦va| 九色在线五月婷婷网址| 免费看欧美成人A片无码| 99这里都是精品| 婷婷成人视频| 亚洲国产99| 色五月综合在线| 婷婷天堂站| 亚洲另类婷婷综合| 99热碰碰热| 久久五月婷婷丁香| 激情五月天综合网| 亚洲国产精品VA在线看黑人| 国产日韩亚洲欧美在线观看| 久99热| 热99只有里视频| 91人妻视频| anquye五月| 激情五月,深深爱五月| 五月丁花色综合网| 丰满人妻一区三区三区| 亚洲精品操一操、噜一噜、摸一摸、爽 | 中文激情网| 大香蕉久艹| 亚洲精品视频在线播放| 99热天堂| 26uuu精品一区二区| 人人综合久| 丁香五月天.com| www,色婷婷| 五月丁香琪琪| 成人欧美日韩| 色碰碰视频| 超碰碰碰碰| 久热9| 26uuu| 五月丁香色色网| 91啪啪视频| 国产乱妇无乱码大黄AA片| 蜜桃五月天| 久久小说| 中文字幕在线日亚洲9| 久久性视频| 久久9久久| 色综合久久44| 欧美婷婷| 婷婷五月丁香六月伊人网| 亚洲精级| 日本少妇裸体做爰高潮片| 男女啪啪做爰高潮无遮挡| 91人久| 久久曰9| 欧美婷婷色五月网| 热婷婷在线视频| 婷丁香五月天| 一起草Av| 91啪啪| 欧美99热| 五月婷婷六月激情网| 久久久久久综合五月婷婷| 97丁香五月| 久久人人妻| 日韩aaaaa| 亚洲综合在线播放| 色99在线| 夜夜操狠狠操| 亚洲视频在线观看| 91色综合久久| 九九热青青草| 性热视频99精品| 五月婷婷欧美| 日本老女人黄页在线播放| 婷婷久久五月| 久久性爱网站| 综合激情深爱| 开心激情婷婷| 日韩婷婷| 婷婷在线视频| 白人荫道BBWBBB大荫道| 日本三级99人妇网站| 丁香五月婷婷婷桃花影院| 操日本三片99| 免费黄色视频网址| 婷婷爱综合| 思思w99| 五月天成人小说| 黄色五月婷婷| 九九99久久| 亚洲精品白浆高清久久久久久 | 97五月综合网| 久月婷婷| 国产韩日亚洲美州欧亚综合在线| 丁香婷婷丁香五月欧美人| 亚洲综合色五月| 色五月欧美| 超碰免费成人| 九九人人操| 新激情婷婷| 色99www.| 99ri精品视频在线观看| 婷婷爱综合| 婷婷五月色亚洲| 玖玖五月丁香| 久久婷婷视频| 亚洲最大成人综合网720P| a毛片二逼wwwwwwwwww| 五月天婷婷操逼视频| 美女va| 婷婷六月天激情影院| 激情五月丁香婷婷| 丁香色五月天| 国产精品色情AAAAA片软件| 轮奸综合网| 五月色在线| 亚洲五月婷天天操| 色爱亚洲| 超碰在线国产| 强壮的公次次弄得我高潮A片日本 | 久久九网| 亚洲五月激情| 婷婷欧美激情综合| 婷婷六月视频| 8区视频在线| 成人做爰A片免费看视频| 日韩人人操| 亚洲精品国产setv| 色婷婷五月天天天天天天天天天| 思思热精品在线观看| 久操无码| 亚洲精品字幕| 九月激情综合婷婷| 丁香无月在线观看| 26uuu亚洲欧美| 五月天婷综合| 97久久久| 国产亚洲99久久精品熟女| 色婷婷久久综合| 色狠狠图片| 99热都是精品| 狠狠综合网| 婷婷久久欧美| 大香蕉五月天婷婷| 五月丁香六月婷婷综合伊人| 天天操天天插| 99色视频| 亚洲啪啪精品| 五月天激情综合在线| 天天摸天天日天天舔| 91凹凸在线| 成 人片 黄 色 大 片| 超碰在线网站| 丁香综合伊人| 久久黄色片| 思思热这里只有精品| 色五月天 丁香| 97综合在线| 99久久综合精品五月天| 97碰碰视频在线观看免费| 国外亚洲成AV人片在线观看| 九九色区| 婷婷伊人激情婷婷| 婷婷中文字幕网| 青青草免费公开视频| 在线99精品| 十月丁香婷婷| 五月天激情婷婷| 国产亚洲成AV人片在线观黄桃| 丁香久久九九99| 99热香港| 另类小说色婷婷| 无码AV免费精品一区二区三区 | 欧美韩国日本| 99热碰碰| 丁香六月激情综合网| 大香蕉久久婷婷| 国产午夜精品AV一区二区麻豆 | 成人超碰网| 任我肏| 99视频精品全部免费观看| 丁香九月婷| 伊大人久久| 婷婷五月亚洲综合| 武汉美女啪啪视频免费一级片| 97人人操人人干| 久热精品9999| 九九这里只有精品在线视频| 色爱亚洲| 色色99| 久久精品99久久| 久久婷婷欧美| 国产一级片| 婷婷五月天性爱视频| 久久黄色免费视频| 国产精品色色| 久久精品A片777777| 婷婷六月激情| 五月天婷婷在线播放免费| 色五月天综合网| 五月婷综合激情| 天天综合天天做天天综合| 噜噜噜狠狠色综| 在线超碰免费| 涩涩五月天综合| 欧美日韩成人高清在线| 曰韩五月丁香色婷婷无码| 成人短视频在线| 99久久综合| 亚洲精品无码一区二区| 日本美女上人| 人人人va亚洲视频在线| 丁香五月天激情综合| 夜色综合网| 综合网五月天123| 国产亚洲99久久精品| 亚洲精品无码A片一区二区| 天天日天天做天天舔| 色五月婷婷在线观看| 99欧美| 五月天婷婷香蕉狠狠超碰综合| 丁香五月中文字幕久色| 九九综合久久| 综激情网| 婷婷婷婷婷婷婷五月丁香| 欧美经典片免费观看大全| 色玖玖综合网| 婷婷伊人网| 激情都市另类| 噜噜色天天开心| 激情九色| 夜色.cnm| 成人狠狠成人狠狠成人狠狠成人狠狠| 激情五月五月婷婷|