欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

RouteScope:網(wǎng)絡(luò)路徑探測(cè)與可視化實(shí)戰(zhàn)

RouteScope:網(wǎng)絡(luò)路徑探測(cè)與可視化實(shí)戰(zhàn) RouteScope 這個(gè)名字最初只是我電腦里一個(gè)不起眼的工具腳本名意思是“把路由路徑放進(jìn)觀測(cè)視野里”。后來它慢慢變成了我處理網(wǎng)絡(luò)故障時(shí)最先打開的東西一條命令把從本機(jī)到目標(biāo) IP 之間每一跳的設(shè)備、延遲、丟包和 AS 歸屬全部拉出來再按時(shí)間軸回放對(duì)比。這篇文章就圍繞 RouteScope 這個(gè)項(xiàng)目聊聊我為什么做它、路徑探測(cè)的原理是什么、怎么用 Python 搭一個(gè)能用的原型以及落地過程中踩過的那些坑。如果你想排查“ping 通但業(yè)務(wù)卡”“延遲忽高忽低”“路徑莫名繞路”這類問題或者想給自己的監(jiān)控體系補(bǔ)上“路徑可視化”這塊拼圖這篇內(nèi)容應(yīng)該能幫你省不少時(shí)間。1. 做 RouteScope 之前先想清楚它要解決什么問題1.1 ping 通不等于鏈路健康很多朋友排查網(wǎng)絡(luò)問題有個(gè)習(xí)慣先 ping。ping 通就覺得鏈路沒問題然后開始查服務(wù)器負(fù)載、查數(shù)據(jù)庫(kù)慢查詢、查應(yīng)用日志折騰半天沒結(jié)論最后才發(fā)現(xiàn)問題出在中間鏈路上。我遇到過最典型的一個(gè)案例某地到云上業(yè)務(wù)的 TCP 連接頻繁超時(shí)業(yè)務(wù)方堅(jiān)持說網(wǎng)絡(luò)沒問題因?yàn)樗麄冊(cè)搭^ ping 目標(biāo)機(jī)房的 IP 一直是通的延遲在 10ms 以內(nèi)。但實(shí)際抓包發(fā)現(xiàn) TCP 握手的 SYN 包發(fā)出去之后ACK 回得非常慢而且丟包集中在特定時(shí)段。這種情況 ping 根本看不出來因?yàn)?ping 用的是 ICMP走的轉(zhuǎn)發(fā)優(yōu)先級(jí)和實(shí)際業(yè)務(wù)流量不一定一樣而且 ping 只告訴你“目標(biāo)通不通”根本不告訴你“路徑上到底哪一段出了問題”。1.2 RouteScope 的核心定位把 trace 從“命令”變成“視圖”傳統(tǒng)的 traceroute 能列出每一跳 IP但輸出是純文本信息太碎。你要自己盯著一堆 IP 判斷哪一跳異常還要手動(dòng)跑好幾次才能確認(rèn)路徑是否漂移。如果目標(biāo)路徑跨多個(gè)運(yùn)營(yíng)商、多個(gè)地域一次 trace 的輸出根本不足以支撐判斷。RouteScope 的定位就是把這些原始輸出變成結(jié)構(gòu)化的、可對(duì)比的、可告警的視圖。它做三件事把每一跳的 IP、RTT、丟包率、AS 歸屬整理成統(tǒng)一的結(jié)構(gòu)化數(shù)據(jù)多次探測(cè)結(jié)果按時(shí)間存儲(chǔ)能回放“路徑是否變了”“延遲是否在惡化”當(dāng)路徑變化、丟包率超過閾值時(shí)產(chǎn)生告警而不是等你肉眼去發(fā)現(xiàn)。簡(jiǎn)單說它解決的是“從 A 到 B 的網(wǎng)絡(luò)路徑到底走得好不好”這個(gè)問題的可觀測(cè)性。1.3 現(xiàn)有工具和我想要的差異市面上不是沒有類似能力比如 mtr、Grafana 的 Blackbox Exporter、各種商業(yè)網(wǎng)絡(luò)監(jiān)控產(chǎn)品。但我實(shí)際用下來都差點(diǎn)意思列個(gè)對(duì)比表更直觀工具/方案能看路徑能歷史回放能路徑變化告警部署成本我的痛點(diǎn)traceroute是否否極低純文本難對(duì)比mtr是否實(shí)時(shí)持續(xù)否極低數(shù)據(jù)沒落地?zé)o法回看Blackbox Exporter部分是配合 Prometheus是中默認(rèn)按探針拿 RTT路徑細(xì)節(jié)不足商業(yè)監(jiān)控產(chǎn)品是是是高貴且閉環(huán)難定制RouteScope 走的是“輕量、自助、能落庫(kù)”的路線核心探測(cè)邏輯很簡(jiǎn)單存儲(chǔ)用 SQLite 或 InfluxDB 都行告警直接對(duì)接現(xiàn)有的 Alertmanager 或者釘釘/郵件。它不追求替代商業(yè)產(chǎn)品而是補(bǔ)上“我自己可掌控的路徑觀測(cè)能力”這塊短板。1.4 為什么這個(gè)名字要帶 Scope名字里帶 Scope 有兩個(gè)原因。一是本意我要把路徑的“范圍”看清楚二是在 IPv6 的世界里 scope 本身就是一個(gè)技術(shù)術(shù)語鏈路本地地址fe80::/10是有 scope 的處理多網(wǎng)卡主機(jī)時(shí)要區(qū)分報(bào)文從哪個(gè)接口進(jìn)來。這個(gè)細(xì)節(jié)后文會(huì)專門講算是一個(gè)隱藏雙關(guān)。2. 路徑探測(cè)的原理讀懂每一跳的應(yīng)答2.1 TTL 耗盡機(jī)制路徑探測(cè)最底層的原理還是 TTLTime To Live。IP 報(bào)文每經(jīng)過一個(gè)路由器TTL 減 1減到 0 時(shí)路由器丟棄報(bào)文同時(shí)給源地址回一個(gè) ICMP Time Exceeded 報(bào)文。我們只要從 TTL1 開始逐跳發(fā)包就能讓路徑上每一臺(tái)路由器都“被迫”向我們報(bào)一次到。這里有個(gè)生活化的類比TTL 就像游戲里的體力值每過一個(gè)關(guān)卡扣一格血血扣完了關(guān)卡守衛(wèi)會(huì)喊一句“你出局了”并且告訴你“我是誰”。我們從第一關(guān)開始每一關(guān)都派人去送死就能把整條路線上的守衛(wèi)全部問出來。要注意這個(gè)機(jī)制依賴中間設(shè)備“配合”回 ICMP。如果設(shè)備禁用了 ICMP Time Exceeded 的發(fā)送那這一跳就會(huì)顯示為*但不代表設(shè)備不存在。后面我會(huì)講怎么區(qū)分“設(shè)備不回”和“設(shè)備真的掛了”。2.2 ICMP、UDP、TCP 三種探測(cè)方式實(shí)際寫探測(cè)邏輯時(shí)不可能只發(fā) ICMP Echo Request那樣目標(biāo)往往直接回 Echo Reply中間跳的 TTL 超時(shí)信息也能拿到但很多網(wǎng)絡(luò)設(shè)備對(duì) ICMP 的限速最狠丟包率看起來很高容易誤判。所以一般有三種探測(cè)方式方式發(fā)送的包期待的回包優(yōu)點(diǎn)缺點(diǎn)ICMP EchoICMP Echo RequestTime Exceeded / Echo Reply目標(biāo)容易識(shí)別中間設(shè)備限速嚴(yán)重容易誤報(bào)丟包UDPUDP 到高位端口Time Exceeded / Port Unreachable傳統(tǒng) traceroute 方式較“友好”某些防火墻直接靜默丟棄 UDPTCP SYNTCP SYN 到指定端口Time Exceeded / SYN-ACK能探測(cè)特定服務(wù)的可達(dá)性需要 root 權(quán)限構(gòu)造 TCP 包我實(shí)際用得最多的是 UDP因?yàn)樗罱咏鼈鹘y(tǒng) traceroute 的行為而且不容易被中間設(shè)備針對(duì)。但如果目標(biāo)主機(jī)的防火墻把高位 UDP 端口全封了最后一跳會(huì)一直顯示*這時(shí)就得切到 TCP SYN 去確認(rèn)目標(biāo)本身是否可達(dá)。2.3 路徑漂移與多路徑還有一個(gè)容易忽略的問題同一時(shí)刻、同一對(duì)源和目標(biāo)路徑不一定是唯一的。很多骨干網(wǎng)會(huì)用 ECMP等價(jià)多路徑做負(fù)載均衡同一個(gè) TTL 的多個(gè)探測(cè)包可能走到不同的下一跳。如果只發(fā)一個(gè)包你看到的只是“某一條路徑”下次再發(fā)可能就是另一條。這會(huì)導(dǎo)致一個(gè)非常誤導(dǎo)人的現(xiàn)象兩次 trace 的結(jié)果不一樣中間多了或少了一跳看起來像“路由繞路了”其實(shí)只是負(fù)載均衡把流量分?jǐn)偟搅瞬煌溌飞?。RouteScope 的應(yīng)對(duì)策略是同一個(gè) TTL 連續(xù)發(fā)多個(gè)探測(cè)包統(tǒng)計(jì)這一跳返回的所有不同源 IP。如果多個(gè)結(jié)果不一致就把這個(gè) TTL 標(biāo)記為“多路徑節(jié)點(diǎn)”而不是簡(jiǎn)單地覆蓋上一次的結(jié)果。這個(gè)設(shè)計(jì)非常重要也是我早期踩坑踩得最狠的地方。2.4 AS 歸屬與地理位置把每一跳的 IP 打上 AS 編號(hào)是 RouteScope 比普通 traceroute 好用很多的地方。AS 全稱 Autonomous System自治系統(tǒng)你可以把它理解成一個(gè)“網(wǎng)絡(luò)機(jī)構(gòu)的世界語編號(hào)”??吹铰窂綇腁S13335跳到AS4134你能立刻知道流量從一個(gè)運(yùn)營(yíng)商網(wǎng)絡(luò)切到了另一個(gè)或另一個(gè)機(jī)構(gòu)網(wǎng)絡(luò)路徑是否在跨網(wǎng)繞路一目了然。地理位置信息反而要看場(chǎng)景。IP 地理定位庫(kù)的準(zhǔn)確度參差不齊我一般只把 AS 和幾個(gè)粗粒度標(biāo)簽比如“骨干網(wǎng)內(nèi)”“國(guó)際出口”“云廠商接入點(diǎn)”作為參考不拿它當(dāng)精確判斷依據(jù)。3. 用 Python Scapy 寫一個(gè)最小可用的 RouteScope 原型3.1 為什么先選 Python 和 Scapy做原型階段我選了 Python Scapy原因很實(shí)際Scapy 構(gòu)造和解析網(wǎng)絡(luò)包非常方便不用手動(dòng)拼 IP 頭和 ICMP 頭十幾行代碼就能實(shí)現(xiàn)一次探測(cè)適合快速驗(yàn)證思路。等邏輯穩(wěn)定了我再考慮用 Go 重寫一遍核心探測(cè)器因?yàn)?Scapy 在并發(fā)大流量下的解析性能和 GIL 限制確實(shí)是瓶頸但那是后話。先安裝依賴pip install scapy然后在 Linux 機(jī)器上跑因?yàn)槲倚枰?root 權(quán)限來構(gòu)造原始套接字。Windows 上也能跑但需要裝 Npcap而且某些防火墻行為會(huì)導(dǎo)致結(jié)果不如 Linux 直觀。macOS 需要給 Python 進(jìn)程額外授權(quán)稍微麻煩一點(diǎn)。3.2 單條路徑探測(cè)代碼實(shí)現(xiàn)我直接貼一個(gè)最簡(jiǎn)版只做一件事從 TTL1 到 TTL30每個(gè) TTL 發(fā) 3 個(gè) UDP 探測(cè)包把每一跳的 IP 和 RTT 收集起來。#!/usr/bin/env python3 import time from scapy.all import IP, ICMP, UDP, sr1 TARGET 1.1.1.1 MAX_TTL 30 PROBES 3 TIMEOUT 2.0 def single_probe(target, ttl, probe_id): # 傳統(tǒng) traceroute 會(huì)從 33434 開始遞增目標(biāo)端口避免探測(cè)包之間相互復(fù)用 dport 33434 probe_id pkt IP(dsttarget, ttlttl) / UDP(dportdport) start time.time() reply sr1(pkt, timeoutTIMEOUT, verboseFalse) rtt (time.time() - start) * 1000 if reply is None: return {ip: None, rtt: None, type: timeout} if reply.haslayer(ICMP): # ICMP type 11 是 Time Exceededtype 3 是 Port Unreachable return {ip: reply.src, rtt: rtt, type: reply[ICMP].type} return {ip: reply.src, rtt: rtt, type: reply} def trace(target): for ttl in range(1, MAX_TTL 1): hops [] for probe_id in range(PROBES): result single_probe(target, ttl, probe_id) hops.append(result) ips list({h[ip] for h in hops if h[ip] is not None}) status multi if len(ips) 1 else single print(fTTL {ttl:2d} | {status:6s} | {[h[ip] for h in hops]} | RTT {[round(h[rtt], 1) if h[rtt] else None for h in hops]}) if reply in [h[type] for h in hops]: print(Reached target, stopping.) break if __name__ __main__: trace(TARGET)這段代碼有幾個(gè)關(guān)鍵點(diǎn)值得展開目標(biāo)端口為什么要遞增如果每次都發(fā)同一個(gè) UDP 端口某些目標(biāo)主機(jī)會(huì)對(duì)同一個(gè)目的端口的行為進(jìn)行緩存后續(xù)包可能被直接丟棄或做特殊處理按 probe_id 遞增可以在一定程度上規(guī)避。sr1的 timeout 設(shè) 2 秒合理嗎對(duì)國(guó)內(nèi)跨網(wǎng)路徑2 秒基本夠用如果路徑非常擁堵或目標(biāo)很遠(yuǎn)可以提高到 3 秒。但 timeout 越久整個(gè) trace 時(shí)間越長(zhǎng)30 跳 × 3 次 × 2 秒最壞情況要 3 分鐘。實(shí)際工程里我會(huì)用并發(fā)發(fā)送的方式壓縮時(shí)間。判斷“到達(dá)目標(biāo)”不能只看 ICMP Port Unreachable因?yàn)榭赡苣繕?biāo)根本不開對(duì)應(yīng) UDP 端口要結(jié)合 type 3 和 type 11 一起看必要時(shí)用 TCP SYN 確認(rèn)。3.3 多路徑發(fā)現(xiàn)與數(shù)據(jù)聚合單跳探測(cè)只是基礎(chǔ)真正有價(jià)值的是把多次探測(cè)結(jié)果匯總。我在原型里加了一個(gè)聚合層對(duì)同一個(gè) TTL把多包返回的 IP 集合、RTT 最小值/平均值/最大值、丟包數(shù)都記錄下來。def aggregate_hops(results): aggregate [] for ttl_block in results: rtts [h[rtt] for h in ttl_block if h[rtt] is not None] ips list({h[ip] for h in ttl_block if h[ip] is not None}) loss sum(1 for h in ttl_block if h[ip] is None) aggregate.append({ ttl: ttl_block[0][ttl], ips: ips, rtt_min: min(rtts) if rtts else None, rtt_avg: sum(rtts) / len(rtts) if rtts else None, rtt_max: max(rtts) if rtts else None, loss: loss, multi: len(ips) 1 }) return aggregate這里要注意loss 不能簡(jiǎn)單等于“丟包數(shù)除以發(fā)包數(shù)”因?yàn)橹虚g設(shè)備可能只是限速 ICMP而不是真的丟業(yè)務(wù)包。所以我在界面上會(huì)把“探測(cè)包丟包率”和“業(yè)務(wù)實(shí)際丟包”分開展示避免誤導(dǎo)。3.4 結(jié)果輸出與簡(jiǎn)單可視化聚合后的數(shù)據(jù)我習(xí)慣轉(zhuǎn)成 JSON 落盤這樣后面不管接 Grafana 還是自己畫頁面都方便。{ target: 1.1.1.1, time: 2025-01-15T10:30:00Z, path: [ {ttl: 1, ips: [192.168.1.1], rtt_avg: 1.2, loss: 0}, {ttl: 2, ips: [203.0.113.1], rtt_avg: 8.9, loss: 0} ] }可視化我用的是 ECharts 的關(guān)系圖把每一跳當(dāng)成一個(gè)節(jié)點(diǎn)相鄰 TTL 的節(jié)點(diǎn)之間連一條線。如果某個(gè) TTL 存在多個(gè) IP就畫出多分支一眼就能看出路徑是否在負(fù)載均衡。節(jié)點(diǎn)大小按平均 RTT 映射顏色按丟包率漸變這樣“哪一跳在抖”非常直觀。4. 從原型到可落地工具的四個(gè)細(xì)節(jié)4.1 探測(cè)頻率與并發(fā)控制原型跑起來之后不能直接每秒鐘跑一次。對(duì)公網(wǎng)目標(biāo)高頻發(fā)包輕則被目標(biāo)安全策略封禁重則影響正常業(yè)務(wù)這一點(diǎn)必須克制。我的建議是默認(rèn)每 60 秒一輪完整路徑探測(cè)一條路徑一輪最多 30 跳 × 5 個(gè)探測(cè)包每包間隔 200ms 以上如果要縮短一輪時(shí)間用并發(fā)發(fā)送而非縮短間隔。并發(fā)發(fā)送可以用 Scapy 的sr()一次發(fā)多個(gè)包但要注意回調(diào)解析。實(shí)際跑下來30 跳并發(fā)一輪大約 5 到 8 秒能完成相比串行的 2 到 3 分鐘快太多了。不過并發(fā)時(shí)系統(tǒng)會(huì)瞬時(shí)產(chǎn)生一批原始套接字報(bào)文對(duì)本地網(wǎng)卡和 CPU 有一點(diǎn)壓力單機(jī)同時(shí)跑幾十個(gè)路徑?jīng)]問題不要貪多。4.2 IPv6、鏈路本地地址和 Scope 處理做 IPv6 探測(cè)時(shí)最容易被忽略的就是鏈路本地地址。如果用fe80::開頭的地址作為探測(cè)源或目標(biāo)Linux 內(nèi)核要求你同時(shí)指定scope也就是出接口比如fe80::1%eth0。Scapy 里構(gòu)造 IPv6 包時(shí)如果目標(biāo)字段帶%后綴需要先把接口名解析出來。from scapy.all import IPv6, UDP, sr1 import socket def build_ipv6_target(addr_with_scope): if % in addr_with_scope: addr, iface addr_with_scope.split(%) # 構(gòu)造報(bào)文時(shí)通過 iface 參數(shù)指定出接口 return addr, iface return addr_with_scope, None這個(gè)細(xì)節(jié)和 RouteScope 的名字意外契合scope 在 IPv6 世界里就是一個(gè)真實(shí)存在的概念。如果處理多網(wǎng)卡主機(jī)不處理 scope探測(cè)包可能從錯(cuò)誤的接口發(fā)出去導(dǎo)致路徑完全不對(duì)。我在一臺(tái)雙網(wǎng)卡服務(wù)器上踩過這個(gè)坑排查了半天才發(fā)現(xiàn)是源地址選擇問題。4.3 數(shù)據(jù)存儲(chǔ)與趨勢(shì)告警原型階段數(shù)據(jù)存在 SQLite 就夠表結(jié)構(gòu)很簡(jiǎn)單核心字段就是target、timestamp、ttl、ips、rtt_min、rtt_avg、rtt_max、loss。如果要長(zhǎng)期存儲(chǔ)多個(gè)監(jiān)測(cè)點(diǎn)再遷移到 InfluxDB我自己的經(jīng)驗(yàn)是按target timestamp ttl作為 tag 和 field 的組合查詢性能最好。告警邏輯我拆成兩個(gè)規(guī)則路徑變化告警當(dāng)任意一跳的 IP 集合與上一個(gè)時(shí)間窗口完全不同且不是由于多路徑正常輪換時(shí)說明路徑發(fā)生了切換質(zhì)量劣化告警連續(xù) 3 輪探測(cè)中同一跳丟包率超過 10% 或平均 RTT 超過歷史基線的 1.5 倍。第一個(gè)規(guī)則特別有用。很多時(shí)候業(yè)務(wù)卡頓不是因?yàn)閹挷粔蚨锹窂奖磺械搅艘粭l繞遠(yuǎn)的鏈路上RTT 從 20ms 變成 80ms。路徑變化告警能第一時(shí)間告訴你“網(wǎng)絡(luò)路由可能變了”這時(shí)候再去看 BGP 或運(yùn)營(yíng)商側(cè)的信息方向就對(duì)了。4.4 安全邊界只讀探測(cè)也有合規(guī)紅線這點(diǎn)必須單獨(dú)說。路徑探測(cè)是只讀操作但它不是無副作用的過多的探測(cè)流量會(huì)對(duì)中間設(shè)備和目標(biāo)產(chǎn)生負(fù)載。我不建議對(duì)非授權(quán)目標(biāo)做高頻長(zhǎng)時(shí)間探測(cè)尤其不要用 RouteScope 去“巡檢”別人的公網(wǎng)服務(wù)器。如果要在公司內(nèi)部部署先確認(rèn)探測(cè)目標(biāo)屬于自己或合作方在合理范圍內(nèi)使用。另外構(gòu)造原始 IP 包需要較高的系統(tǒng)權(quán)限這本身就是一把雙刃劍。工具本身是網(wǎng)絡(luò)診斷用途但一定要控制部署面別讓腳本落到不相關(guān)的人手里。我自己的原則是生產(chǎn)環(huán)境的探測(cè) Agent 只跑在公司監(jiān)控網(wǎng)段目標(biāo)列表白名單化不做任意 IP 探測(cè)。5. 實(shí)操過程里踩過的坑和排查速查表5.1 常見異常現(xiàn)象速查表工具做到后面真正值錢的是“遇到問題知道怎么排查”。我把踩過的坑整理成了一張表每次新環(huán)境出問題先對(duì)著它查現(xiàn)象可能原因處理辦法從某跳開始全是*中間設(shè)備限速 ICMP或不回 Time Exceeded增大 timeout換成 TCP SYN 探測(cè)對(duì)比多輪結(jié)果兩次 trace 路徑差一跳ECMP 負(fù)載均衡導(dǎo)致路徑漂移增加同 TTL 探測(cè)包數(shù)量標(biāo)記為 multi不要當(dāng)故障目標(biāo)可達(dá)但 traceroute 不完結(jié)目標(biāo)防火墻丟棄 UDP 高位端口用 TCP SYN 到 80/443 端口確認(rèn)腳本報(bào) PermissionError原始套接字需要 root 權(quán)限sudo運(yùn)行或給進(jìn)程加CAP_NET_RAW探測(cè)延遲很高但業(yè)務(wù)正常ICMP 被 QoS 降級(jí)不代表業(yè)務(wù)路徑差用業(yè)務(wù)端口做 TCP SYN 探測(cè)交叉驗(yàn)證IPv6 路徑探測(cè)不通鏈路本地地址缺 scope 或源地址選擇錯(cuò)誤顯式指定出接口檢查路由表虛擬機(jī)上探測(cè)結(jié)果異常虛擬交換機(jī)/安全組過濾 ICMP換物理機(jī)或調(diào)整安全組規(guī)則5.2 一次“第二跳丟包 80%”的排障實(shí)錄舉一個(gè)實(shí)際例子。有段時(shí)間監(jiān)測(cè)數(shù)據(jù)顯示從辦公網(wǎng)到某個(gè)云廠商接入點(diǎn)的路徑上第二跳丟包率高達(dá) 80%但是第三跳以后丟包率卻接近 0。第一反應(yīng)是第二跳設(shè)備出了嚴(yán)重問題但是結(jié)合業(yè)務(wù)實(shí)際訪問又似乎沒有明顯故障。后來我同時(shí)跑了三條探測(cè)一條 ICMP、一條 UDP、一條 TCP SYN結(jié)果 ICMP 路徑顯示第二跳丟包嚴(yán)重UDP 路徑相對(duì)正常TCP SYN 路徑幾乎不丟。這就說明第二跳設(shè)備大概率只是對(duì) ICMP 限速比較狠而不是轉(zhuǎn)發(fā)有問題。再配合設(shè)備側(cè) SNMP 接口計(jì)數(shù)確認(rèn)物理鏈路沒有 CRC 錯(cuò)誤最終判定這是“假丟包”。這個(gè)案例給我的教訓(xùn)是任何單協(xié)議的單次探測(cè)結(jié)果都不能直接當(dāng)結(jié)論。RouteScope 的聯(lián)動(dòng)多協(xié)議探測(cè)能力就是我對(duì)比之后專門加進(jìn)去的。現(xiàn)在遇到異常我會(huì)先看“是不是所有探測(cè)方式都丟包”如果只有一種協(xié)議丟基本可以判定是設(shè)備策略導(dǎo)致的探測(cè)噪音。5.3 探測(cè)時(shí)間窗和基線問題另一個(gè)容易忽略的問題是“用什么時(shí)候的數(shù)據(jù)做基線”。很多告警系統(tǒng)第一次接入時(shí)會(huì)立刻建立基線但如果路徑一開始就是劣化的基線本身就不健康后續(xù)永遠(yuǎn)不告警。我在初始化 RouteScope 時(shí)會(huì)先跑 24 小時(shí)“觀察期”把這段時(shí)間的數(shù)據(jù)作為基線之后如果某跳 RTT 超過觀察期的 P95 一定比例才觸發(fā)告警。還有時(shí)間窗口粒度的問題。按 60 秒一輪的頻率單輪數(shù)據(jù)本身噪聲不小我計(jì)算告警用的是 5 分鐘滑動(dòng)窗口窗口內(nèi)有 5 輪數(shù)據(jù)去除最大值和最小值后再取平均這樣能過濾掉瞬時(shí)抖動(dòng)帶來的誤報(bào)。5.4 存儲(chǔ)膨脹控制路徑探測(cè)數(shù)據(jù)增長(zhǎng)很快如果一分鐘一輪、一輪 30 跳一臺(tái)機(jī)器監(jiān)測(cè) 20 條路徑一天就是 86 萬條記錄。雖然 SQLite 也能扛但查詢速度會(huì)變慢。我在實(shí)際使用中做兩級(jí)壓縮原始逐輪數(shù)據(jù)只保留 24 小時(shí)超過 24 小時(shí)后聚合為 5 分鐘一條的摘要超過 30 天后只保留每日的極值、均值路徑指紋。路徑指紋是我自己定義的一個(gè)字符串比如192.168.1.1|203.0.113.1|...|1.1.1.1專門用來快速判斷路徑是否發(fā)生變化。這樣歷史回放時(shí)不用查每一跳明細(xì)直接對(duì)比指紋就能知道哪天路徑改變了。6. 一點(diǎn)后續(xù)可以繼續(xù)擴(kuò)展的空間工具做到現(xiàn)在這個(gè)程度對(duì)我日常工作已經(jīng)夠用了但還有幾個(gè)方向可以繼續(xù)做深。一個(gè)是把多個(gè)監(jiān)測(cè)點(diǎn)數(shù)據(jù)放一起做橫向?qū)Ρ缺热鐝牟煌鞘蟹謩e探測(cè)同一個(gè)目標(biāo)能更準(zhǔn)確定位“問題出在哪個(gè)區(qū)域、哪段鏈路上”。另一個(gè)是接入 BGP 數(shù)據(jù)當(dāng)路徑變化告警觸發(fā)時(shí)自動(dòng)拉取路由表看看有沒有異常的前綴通告把“網(wǎng)絡(luò)路徑變化”和“路由源頭變化”關(guān)聯(lián)起來。這些進(jìn)階內(nèi)容我還在逐步完善等跑一段時(shí)間再整理出來分享。在你自己實(shí)際用的時(shí)候建議先小范圍跑一條核心業(yè)務(wù)路徑跑通再擴(kuò)不要一上來就全公司鋪開。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久狠婷婷| 色色亚洲五月天| 婷婷国产日本欧美| 丁香五月婷婷激情蜜桃| 另类激情五月| 亚洲熟妇AV乱码在线观看| 五月精品99综合| 男人的天堂av俄罗斯热| 婷婷五月综合在线| 婷婷六月天激情影院| 欧美日韩AAA| 五月天网站免费欧美| 97干网站| 成人丁香婷婷| 粉嫩av蜜桃av蜜臀av| 精品无码av丁香五月激情| 天天cha成人综合网| 久久开心五月天激情| 久久人妻视频| 国产精品色情AAAAA片软件| 北条麻妃伊人| 丁香六月婷婷激情综合| 精品人妻久久久久| 丁香五月成人| 午夜色丁香| 天天操无码| 九九这里有精品视频| 欧美激情综合色综合色| 色五月婷婷、老熟女| 秋霞午夜理论| 九九精品亚洲| 1024在线一区| 精品久久99码| 亚洲天堂aaa| 色综合九九| 四川女人毛多水多A片| 开心五月婷婷综合在线精品素人| 综合色天天| 免费五月婷婷网| 亚洲综合成人网| 成人做爰高潮A片免费视频| 日韩无码亚欧无码| 五月丁香六月欧美综合| 激情久久肏屄视频| 热婷婷av| 丁香久久五月天视频在线观看| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 国产激情视频在线观看| 69人妻人人澡人人爽久久| 91精品久久久久久77777| 天天成人综合视频| 久久思思热| 一级黄色操B| 熟女色专区| 婷婷五月天在线观看免费| 婷婷激情社区| 成人视频在线免费播放| 99久久大片| 99秘 在线| 99热成人精品网站| 99热色综合| 国产伊人五月天| 久久99网| 久久免费少妇高潮99精品| 51成人| 婷婷色成人| 伊人婷婷五月天| 激情婷婷综合网| 日本在线免费中文com.| 天天干电影| 国产a视频| 俺五月| 久久东京热婷婷五月| 五月婷无码| 国产伊人五月天| 久久 天天| 51精品国自产在线| 激情五月天在线| 大香蕉综合| 毛片九九九九九九| 激情婷婷五月天日本系列| 能看的av网站| 无码激情| 亚洲99热| 婷婷激情小说网| 免费视频99| 久热婷婷综合| 人人干天天操五月丁香| 99热这里都是精品| 99区视频| 久久婷婷五月天| 亚洲不卡| 丁香花色色网| www色五月| 538在线精品| 韩国中文字幕91| 久久精彩综合视频| 97精品欧美91久久久久久久| 国产97色在线| jiujiu热在线视频| 日日干日日| 丁香五月婷婷啪啪啪| 丁香五月天成人网站| 97丨九色丨国产丨PORNY| 激情网站五月| 婷婷色播婷婷| xx色综合| 91久久久久久久久久18| av在线色五月丁香婷区久| 激情婷婷五月天| 色狠狠五月天| www.久久| 99成人精品| 天天爽天天爽| 啪啪啪五月天| 日韩AC在线免费观看| 激情婷婷另类| 激情精品久久| 婷婷五月天狠狠色| 色五月色五天色情网| 天堂在线9| 超碰色婷婷| 欧美日韩成人一区二区| 久久五月视频| 五月丁香啪啪啪| 五月丁香六月婷婷啪啪综合| 日日做A爰片久久毛片A片英语| 99热6这里之有精品| 99久久婷婷国产综合| 99久久精彩视频。| 超级碰碰97在线| 夜夜操狠狠操天天操| 香蕉97碰碰碰欧美| 开心激情网在线| 婷婷五月欧美| 六月丁香中文字幕| 大香网伊人久久综合| 久久新地址| 丁香五月天啪啪| 9+1视频网址| 快乐婷婷五月天| 久久婷婷五月天| 婷婷 亚洲图片 丁香| 色色99| 欧美色骚婷婷五月天| 欧美成人精品A片免费一区99| 天天粽合合合合| 中文字幕日产A片在线看| 九九热这里只有精品9| 大香蕉在线99热| 丁香婷婷色| 国内久久亭亭| 婷婷丁香人妻天天爽| 国产激情综合五月| 东北熟女高潮99综合99| 激情婷婷久久| 色五月涩涩婷婷蜜桃| 日本操B视频在线观看| 桔色成人在线| 97精品欧美91久久久久久久| 成人做爰高潮A片免费视频| 99aese| 嫩草视频。| 人人草人人爱| 激情五月第四色| 爱久久小说下载网| 2017狠狠干| 五月天激情综合在线| 国产古装妇女野外A片| 婷婷激情五月色综合| 91色吧网| 久久在线视频免费观看| 99精品网| 2015好吊操| 色噜噜狠狠色综无码久久合欧美| 99亚州综合精品成人网| 开心婷婷五月激情网小说| 91.www综合| 天天日夜夜曹| 久久6这里只有精品| 婷婷五月综合社区在线| 五月天狠狠| 婷婷夜夜夜夜| 日韩久久视频| 啪啪五月婷婷| 无码99| 淫荡工a| 色婷婷88| 五月天操逼激情| 欧美日比视频| 色欲五月婷婷| 丁香五月天导航| 五月伊人91| 超级碰碰碰97免费| 丁香五月天综合网| 天天人人综合| 日韩在线观看亚洲| 婷婷综合九色伊人| 色综合婷婷| 人草人人| 婷婷深爱五月亚洲综合| 久/久精品99看9| 超碰免费人人肏| 亚洲中文字幕网| 亭亭五月基地在线| 日本乱子人伦在线视频| 色婷婷亚洲| 亚洲色a| 五月丁香激情四射| 日韩成人电泉AV| 久久狠狠干| 婷婷丁香五月综合网上| 五月丁香婷婷久久| 久久精彩免费视频精彩免费视频| 大香蕉人人网| 97超级碰| 性色做爰片在线观看WW| 99热这里只有精品2| www,婷婷| 在线A色| 久久婷婷色| 亚洲情欲久久| 亚洲中文字幕在线观看| 日本九九九九| 综合激情五月丁香| 伊人色综合久久久| 婷婷香五月天| 天天日天天做天天操| 激情五月天婷婷图| 情色五月天网站| 4399在线观看免费高清毛片| 国产一区二区av免费| 五月停亭六月,六月停亭的英语 | 91精品国产99久久久久久天美| 婷婷色情 | 天干夜夜操| 丁香婷婷激情五月天无毒不卡蜜桃| 日本www五月婷婷| 久久精品婷婷| 久久免费操| 91久久九九| 无码激情AAAAA片-区区| 99热18| 色情综合| 91操熟女| 99啪啪视频| 婷婷五月天小说| 狠狠插日日干撸| 久久五月丁香六月婷| 色婷婷XXXXX| 偷拍91九色| 中文字幕欧美精品久久| 久久九九99.www| AV中文网| 亚洲狠狠丁香婷婷香蕉| 日本在线播放97| 亚洲蜜桃精久久久久久久久久久久| 婷婷五月丁香香蕉| 亚洲激情综合| 1024日韩| 五月丁香在线| 少妇性BBB搡BBB爽爽爽视頻 | 91夫妻视频| 婷婷午夜| 极品少妇XXXX精品少妇偷拍| 欧美成人AAA片一区国产精品 | 99爱视频在线观看这里只有精品| 国产综合网在线| 亚洲激情网站| 青青草激情网| 九九成人视频| 五月天激情久久| 婷婷五月天色播| 日本五月视频| 激情五月天小说| 五月激情婷婷女| 亚洲、热| 久草五月天| 婷婷综合精品视频97| 五月天激情视频网站| 99人人操人人摸| 五六月丁香激情视频| 青青五月天婷婷| 五月婷无码| 九九九九九无码| 婷婷丁香五| 五月天成人伊人| www91色网站| 天堂在线伊久| www,色综合| 91热网址| 五月天婷婷久久| 一区色色色色网| a色色片| 六月婷婷五月丁香首页| 精品九九在线观看| 99热这里只有精品最新| 精品无吗va视频免费观看| 色色色色网| www.五月丁香| 丁香五月婷婷在线| 乱乱av| 日日操夜夜操不卡| www.婷婷,com| 99re99热| 婷婷综合网站| 99激情| 91超碰人人操| 成 人片 黄 色 大 片| 亚洲天堂色| 免费看片在线观看| 高清不卡一区| 狠狠干在线视频| 影音先锋91资源站| 久久色情| 五月婷婷免费| 综合色色婷婷| 天天拍天天操| 丁香五月成人自拍| 亚洲操操| 婷婷激情啪啪| AV操逼网| 人与禽A片啪啪| 久久亭亭电影| 色噜噜狠狠色综合成人99| 成人噜噜网| 天天色伊人| 久久少妇视频| 亚洲综合五月| 天天色凹凸| www.婷婷.com| 天天日日天天| 99热这里只有精| 伊人啪啪网| 91丁香综合| 婷婷99丁香| 九九热av| 五月天狠狠干| 日本99久久| 99色综合| 九热久| 好吊操这里只有精品| 五月婷婷丁香在线视频| 大香蕉九九| 丁香五月婷婷欧美性爱| 久9热视频| 激情小说五月天社区丁香| 丁香五月天欧美在线| 天天射影院| 99精品网| 色婷婷五月综合在线| 99在线看视频| 九九人人操| 我要射综合| 亚洲网视屏| 日韩国产在线精品| 久久精品视频99| 国产高清RV综合aVa| 夜色综合网| 成人免费120分钟啪啪| 婷婷玖玖五月天| 日日天天操| 天天日天天操心| 无码少妇高潮喷水A片免费| 婷婷狠狠97| 色五月天成人在线| 欧洲亚洲精品| 性色av大香综合| 五月综合亚洲| 丁香五月手机在线| www.色9| 操你av| 色婷婷五月天在线观看| 九九综舍久久| 婷婷五月天香蕉| 天天干天天做| 青青草轻轻操| 深爱激情五月婷婷| 黄色三级毛片中字| 色婷婷久久综合久色| 伊人玖玖婷婷| 99九九免费精品| 婷婷六月丁香1| 色播婷婷大香蕉| 日本婷婷色| 成人必爱视| 91日视频| 欧美婷婷综合网| 99热日本| 日日夜夜干| 丁香五月婷婷色情综合| 久久久婷婷婷| 91人碰| 中文字幕丰满乱孑伦无码专区 | 婷婷丁香成人色综合| 天天色月| 狼人久草| 8区视频在线| 亚洲综合激情五月| 色婷婷av综合网| 婷婷五月天深爱| 六月丁香啪啪啪| 九九热99免费视频| 激情久久久久久久久久| 九月久久婷婷| 中文AV网站| 婷婷伊人欧美| 色婷婷色情| 香蕉AV福利精品导航| 99精品在线| 国产白丝在线一区| 五月丁香六月婷婷综合| www.成人婷婷综合| 欧美色激情四射| 狠狠人妻久久久久久综合丁香| 99热综合| 成人五月天在线观看| 日韩另类| 99精品在线| 99色干| 五月丁香综合成人社区| 射久久丁香五月| 久久宗合影| 俺去也五月天| 91精产一区三区免费观看| 亚洲婷婷免费| 玖色色综合| 激情五月婷婷丁香综合网| 色噜噜狠狠一区二区三区| 久久桃花网色婷婷| 夜丁香五月婷婷| 国内熟女黄色系列| 激情五月天小说| 天花AV无码| 欧美xx激情视频在线观看| 91女人18毛片水多国产| 99性视频| 狠狠搞亚洲| 韩日另类| 天天日,天天射,天天舔| 色色色色网| 深爱激情综合网| 欧美激情五月天| 亚洲亚洲人成综合网络| 日本色色影院| 婷婷天堂综合| 色婷婷色五月色丁香| 九色色| 五月婷婷综合潮喷| 啪啪99| 色色操| 欧美槡BBBB槡BBB少妇| 国产精品成人AV在线观看春天| 婷婷激情五月呦呦| 欧美天堂久久| 婷婷六月插屄激情| 国产精品色| 色播五月| 久久久五月天婷婷| 亚洲愉拍99热成人精品| 色久五月| 丁香五月综合激情啪啪| 69精品人人人人| 91seAV| 久9视频| 婷婷深爱五月天在线| 激情国产综合| 思思久久网| 丁香五月冃欧美| 少妇性按摩无码中文A片| 另类图片五月天| 婷婷五月天久草在线| 黑人熟妇一区二区三区| 天天综合亚洲综合网天天αⅴ| 涩五月丁香| 操逼六区| 婷婷丁香日韩五月| 97久久超碰| 激情综合亚洲色婷婷五月| 新激情五月天天在线网| 亚洲妇女熟BBW| 婷婷五月丁香色播| 婷婷六月中文字幕| 色婷婷电影| 操97在线观看| 人人干天天舔| 婷婷娌伦网| 99热精品在线观看| 久久大香蕉同僚| 五月婷婷色播网| 天堂中文国产| 婷婷9月天| 色婷婷99| 色婷婷丁香五月| 青青草国产亚洲精品久久| 婷婷欧美激情| 国产在线另类五月婷婷| 青青草成人网| 色婷婷五月天成人网| 玖操97| 久久综合丁香激情五月| www.99热这里精品| 开心五月综合| 色综合五月天| 国产免费一区二区在线A片视频| 日日操天天| 色色激情| 99ri精品| 97色啪| 黄色录像网点| WWW丁香五月| 99在线视频精品| 亚洲人操亚洲人| 成人精品一区二区三区四区五区| www色五月| 大香蕉在九| 色五月婷婷狠狠撸| 久久五月婷| 91丨九色丨国产在线| 99久久成人| 婷婷五月天福利| 操九色| 人人爱国产| 国产AV一区二区三区最新精品| 丁香六月色婷婷| 99成人在线观看| 91a片爽| 久久综合伊人综合在线| 少妇人妻人伦A片| 婷婷综合网站| 成人 在线 日韩| 伊人婷婷91| 亚洲丁香五月| 操91综合网| 婷婷五月丁香在线观看| 五月天成人综合| 热99这里只是精品| AV九九| 色域五月婷婷丁香| 亚洲午夜视频| 五月丁香好婷婷A片网| 丁香婷婷基地| www,超碰| 五月婷婷色播| 99色热视频| 五月婷婷六月丁香五月| 9月色婷婷| 天天噜| 九伊人网| 超碰9| 影音先锋一区| 丁香六月综合激情| 99热这里在线精品| 色爱亚洲| 婷婷激情中文综合| 九九色热| 九九视频精品在线免费| 99干免费视频| 丁香婷婷色五月激情综合| 亚洲秘 无码一区二区三区妃光/1| 婷婷五月丁香在线视频| 日韩在线观看亚洲| 九九色色| 五五月丁香花激情综合网| 超碰狠狠操| 五月天婷婷色播综合在线| 国产真人做爰视频免费| 色99综合视频| 91九色成人原创视频| 2025年最新亚洲在线欧美| 丁香五月婷婷天激情| 开心五月深爱五月丁香五月激情五月| 大香蕉丁香| 六月婷婷五月丁香| 99啪啪| 丁香五月天激情| 欧美黑人巨大猛烈cuckold| 日本黄色三级片内射| 婷婷色网站| 97在线干| 日日干天天爽| 啪啪啪五月天| 激情久久综合网| A片一曲| 天天插天天插天天操| 五月天综合色| 五月涩涩网| 91xxxx九色| 亚洲精品电影| 丁香激情六月天婷婷| 色综合9| 婷婷激情视频| 思思99精品视频在线观看| 桃色五月婷婷| 婷婷九月综合| 国产六月婷婷| 少妇婷婷五月天| 中文AV网| 久久九九在线视频| 久久久WWW| 四LLL少妇BBBB槡BBBB| 五月激情六月宗合| 色色五月婷婷| 91婷婷丁香五月亚洲| 午夜丁香综合婷婷| 亚洲婷婷月丁香五月| 激情综合色婷婷啪啪五月天| 欧美色宗和激情| 久久久久综合激动五月天| 91seAV| 91精品综合久久久久久五月丁香| 色婷婷色五月综合| 97碰碰视频在线观看| 免费无码毛片一区二区A片| 狠狠狠色激情综合适合| 777久久综合视频| 九九精品系列| 操碰97| 婷婷婷婷婷婷婷婷| 五月天婷婷在看| 99色五月| 99se丁香| 99热国产免费| 五月婷视频| 五月六月激情婷婷| 伊人久久中文网| 五月天婷婷综合网| 爆乳熟妇一区二区三区爆乳照片| 五月色婷婷激情| 99操视频| 五月婷婷精品| 国产精品第一国产精品| 五月婷婷激情综合| 五月婷婷免费看| 密黄站| 综合激情肏逼网| 色吧婷婷五月亚洲| 婷婷成人视频| 色五月大| 婷婷五点亚洲| 天天在线久久综合 | 99精品久久久久久久婷婷| 色性日本| 亚洲第一色网站| 九洲一级A片| 九九99偷拍视频| 国产精品99久久久久久久女警| 五月丁香久久久久| jizzdr| 5月婷婷六月丁香| 热九九精品| 亚洲欧洲午夜成人精品av| 91无码一起草| 老师的粉嫩小又紧水又多A片视频| 久久婷婷啪啪视频| 亚洲美女网Va| 99爱最新免费视频在线观看| 色5月婷婷| 超碰在线中文字幕| 色停停影院五月天| 播丁香五月婷婷欧美| 中文字幕在线日亚洲9| 婷婷五月天奸女| 色色色综合色| 五月花综合视频| 久久人妻系列| 思思久久96热在精品国产,| 久思思热视频在线观看| 99久在线精品99re8| 啪色综合| 丁香五月婷婷亚洲另类| 色五月婷婷7777| 国产精品国产成人国产三级| 久色| 91丨九色丨国产打屁股| 99色色网| 五月天成人免费视频| 99久久99久久综合| 91久久久久久久久久久| 精品久久9| 激情婷婷久久| 婷婷97碰碰| 噜噜噜久久| 天天做天天爱天天爽| 丁香婷婷婷五月| www,av好吊操| 五月丁香啪啪综合| 午夜婷婷六月天| 色天天综合成人网| 婷婷丁香五月天中文字幕| 青青福利网| 热的无码综合视频| 日韩视频女神99| 激情五月天第四色| 色综合久久综合| 秋霞丝袜啪啪啪| 中文字幕激情综合| 亚洲综合婷婷五月| 怡红院 久久| 这里只有精品日韩| 久久亚洲色导航| 婷婷丁香六月影视| 精品九九视频| 久久精品视频在这里有| 精品人妻伦一二三区久久| 日日干夜夜干| 精品久久99码| 91chinese在线| 强辱丰满人妻HD中文字幕| 青草视频在线播放| 伊人婷婷99热精品| 日韩成人电影Av| av激情在线| 黄网在线播放| 综合99在线| 日逼免费视频| 色五月色五天免费视频| 人人草人人舔| 5月丁香啪啪啪| 中文字幕日产A片在线看| 亚洲午夜成人av电影网| 狠狠 久久| 人人干女人| 激情五月小说婷婷| 欧美性色A片免费免费观看的| 伊人九热| 久久婷网| 男人天堂亚洲综合| 五月婷六月婷婷| 久久综合影院 | 殴美日韩成人| 亚洲人人操| 亚洲六月色| 青青草原伊人网| 婷婷色在线| 涩涩五| 中文av网站| 天天操天天曰| 香蕉影院色| 久Se视频在线观看| 激情丁香婷婷五月天| 五月天六月婷婷电影| 日本天堂爱爱| 无码AV免费精品一区二区三区 | 综合久久影院| 久久精品国产AV一区二区三区 | 久久精品五月天| 怎么样可以看免费的一级av| 久久超级碰碰| 亚洲六月婷| 五月天啪啪| 99热99在线精品| 久久久99精品免费观看| 97狠狠色| 婷婷六月丁香欧美视频在线| 欧美天天干五月丁香| 激情综合网五月| 国产AV网页| 日本人妻伦在线中文字幕| 超碰99久久| 99热亚洲精品| 日韩成人网站精品久久大全| 综合色网站| 久草 tingting| 欧美性生交XXXXX无码小说| 爽极品色| 色五月婷婷九月| 激情婷婷五月基地| 五月婷婷色播网| 天天五月丁香五月| 久久婷婷国产| 五月天之色情综合网| 99热有精品在线观看| 亚洲综合激情五月久久| 中文久久婷婷| 九九视频在线观看| 99热在线观看精品| 少妇人妻综合色6699| 插插网爽妇五月丁香| 99视频超级精品| 99视频久久| 国产精品成人AV在线| 亚洲AV电影美洲AV电影| 丁香婷婷六月| 日韩一级淫乱片一区二区三区| 欧美性猛交XXXX乱大交极品| 伊人久久婷婷| 激情综合婷婷| 99精品无码| 久久久久人妻网址| AV人人操| 亚洲精品婷婷| 六月婷婷激情| 五月综合久久| 日韩免费视频| 五月丁香综合网| 亚洲综合五月天| 五月天色区| 99自拍视频在线观看| 欧美丁香婷婷五月| 97色色网| 99热精品在线观看| 亚洲精品V天堂中文字幕| 超碰人妻在线| 亚洲乱码日产精品BD在线观看 | 五月婷婷激情综合网 | 91色久| 日本人妻A片成人免费看片| 色色色色综合网| 无码人妻激情| 91狠狠色| 安息电影在线观看完整版| 午夜美女人啪最红院| 性爱电影科技贸易有限公司| 狠狠狠五月婷婷六月丁香| 日日操天天| 五月婷婷中文字幕AV| 婷婷五月色色| 91综合在线| www.久久| 超碰人人摸AV| 玖玖婷婷五月天毛片| 九九超碰人人| 五月激情啪啪啪| 人人玩人人橾| 99人人操人人摸| 亚洲免费婷婷| 99热综合| 亚洲V国产V欧美V久久久久久| 色99综合色88| 另类视屏| 丁香五月天激情婷婷丁香六月 | 啪啪综合| 亚洲无码色| 久久99激情五月天| 91视频精品99| 十月丁香婷婷| 婷婷五月天成人小说| 五月丁香天堂网| 丁香九月婷婷综合| 无码少妇高潮喷水A片免费 | 99热这里只有精品66| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 亚洲婷婷综合视频| 操久久网| 五月天伊人手机在线播放AV| 91视频五月丁香| 色综合色色| 亚洲视频在线网| 六月婷婷香蕉| 狠狠va| 亚洲精品永久久久久久| 婷婷中文字幕| 日韩成人影片在线观看| 玖玖色综合| 婷婷五月天香蕉| 丁香五月色情| www.久久久久久久久久.com| 色婷婷电影网| 无码色色| 久色网址| 丁香五月伊人| 淫荡家庭AV| 五月天婷婷视频| 9久久精品| 亚洲婷婷丁香五月| 26uuu四色| 五月激情影院| 无码少妇高潮喷水A片免费| 午夜日韩久久久网站| 亚洲性爱干干| 91无码高清| 无码免费人妻A片AAA毛片西瓜| 国产九九一区二区三区| 婷婷五月天,影院| 婷婷色五月激情强奸四射| 日本欧美成人片AAAA| 久久九九九九| tingtingzonghewang| 97久久人人操| 五月婷婷,六月婷婷| 丁香五月婷婷成人色区| 91丨九色丨高潮丰满日本| 婷婷色五月大香蕉在线| 激情婷婷在线中文字幕| 99久久成人| 99久久极情精品一区| 性爱网六月丁香| 2020夜夜操天天爽| 色吧五月婷婷| 色婷婷综合影院| 色五月婷婷啪啪五月| 五月综合色| 97影院一级片| 婷婷六月五月| 91919191919久久成人视频| 天天日天天做天天舔| 狠狠操狠狠操| 婷婷欠久少妇| 在线VA视频| 婷婷五月激情五月激情| 欧美日比视频| 亚洲综合五月天婷婷| 91色综合网站在线| 婷婷5月色| 色欲天天综合| 六月婷色| 极品人妻VideOssS人妻| 九九热内射| 狠狠干五月丁香| 亚洲午夜av| 中文字幕 码精品视频网站| 亚洲综合五月天婷婷丁香| 香蕉综合网| 六月丁香婷婷拍拍| 亚洲六月色| 天天摸天天肏| 日本精品99| 色你久久| 五月丁香婷草| 91久久五月天| 五月丁香婷婷婷激情爱爱| 日韩成人影片在线观看| 99精品视频在线| 成人中文网| 夜夜夜夜操| 搡BBBB搡BBB搡五十| 丁香六月婷月91婷月| 性爱综合网| 激情五月天久久丁香| 欧美婷婷五月丁香| 超碰成人在线观看| 日韩操人| 色优久久| www.久久久久| 久色成人| 免费黄网不卡AV| 日本熟女一区二区| 97操碰免费视频| 综合久久五月天| 色色影院黄大片| 成人丁香婷婷| 小色小蛇伊人婷婷色香五月| 99视频在线播放大全| 五月丁香激情综合六月涩涩爱| 偷拍91九色| 五月丁香啪啪啪啪| 色婷婷久久综合中文久久一本| 欧美色图45678| 99无码视频| 做爱夜夜干天天操| 亚洲乱码日产精品BD在线观看| xx综合网| 五月天婷婷丁香成人网| 俺去也在线视频| 色五月开心久久网| 秋霞AV淫| 只有精品视频在线观看| 国产精品人成A片一区二区| 五月开心啪啪| 久久久精品99| caop在线视频| 免费精品66| www。久久久久一b。Cc| 五月婷婷六月丁香在线视频| 九色porny在线观看激情四射| 久久玖玖综合| 天天插天天狠| 久久se 综合网| 色天五月天在线观看视频| 中文字幕AV在线播放| 欧美日韩91| 一夜福利不卡| 久久密臀婷婷| 99这里有精品视频| 婷五月丁香| 久久香视频| 97人人干人人操| 九九国产视频| 色五月激情五月| 婷婷婷婷色| 99爱爱| 亚洲字幕AV一区二区三区四区| 99热在线成人网站| 97人人操在线| 影音先锋91在线资源站| 五月天丁香婷婷社区| 美女天天久久| 97ai婷婷| 五月婷婷综合视频| 战争与艾拉电影免费观看| 超碰色碰碰| 97碰碰人人| 天天舔天天插天天干| 五月婷婷丁香大陆免费| 在线中文AV| 午夜成人网站在线观看| \\五月天婷婷激情| 99日精品视频| 欧美搡BBBBB摔BBBBB| 99性色| 成人在线日韩| 成熟妇人A片免费看网站| 色www久视频| 97日本在线播放| 五月丁香亭亭A片| 亚洲成人中文字幕| 成人在线日韩欧美| 久热伊人9| 五月丁香成年黄色| 久草五月婷| 美女激情综合| 天天久久人人| 欧洲激情五月天婷婷| 开心五月深爱五月婷| 99久久九九| 这里只有精品9| 久久婷婷色五月| 99A片| 久久久性爱视频| 六月婷婷五月天| 精品夜夜澡人妻无码AV| 亚韩精品视频1区| 激情五月天99色| 激情另类综合| 天天色综合色色色色色。| 精品视频99看在线视频| 五月天激情在线视频| 亚洲mm色| 色婷婷视频在线| 999婷婷综合| 九九色精品| 乱精品一区字幕二区| 五月丁香花激情啪啪网| 色婷婷88| 国产色色网址网站| 999热成人在线综合网| 免费观看欧美成人AA片爱我多深| 欧美成人精品A片免费一区99| av在线资源| 青草视频在线观看视频| 在线综合91| 91丨九色丨国产打屁股| 26uuuavcom| 五月天伊人综合| 激情五月天视频| 色婷婷丁香五月高清在线| 岛国AV网| 婷婷婷婷色| 国产真实乱对白精彩| 久久久A级视频| 五月开心婷婷网| 色综合播放| 六月婷婷开心| 久久久18| 色啦啦视频| 啪啪激情综合| 五月天久久www| 欧美 日韩 成人| 久99热| 五月婷婷丁香日韩在线| 在线观看av网站| 日韩成人五月天| 激情综合激情综合| 91精品丝袜久久久久久| 变态另类色图| 天天综合网、天天综合色 | 亚洲六月综合激情久久下卡| 久久色五月| 五月丁香WWW| 五月天婷婷成人网| 丰满女老板BD高清A片| 97碰碰电影| 激情网 五月天| 婷婷久久综合久色| 激情五月天小说网| 熟女国产在线一区二区三区四区| 狠狠综合| 婷婷五月天成人小说| 九九热精品在线| 久久青青日本视频| 婷婷久久视频| 亚洲天堂大香蕉| 九九9久九9国产视频| 五月激情婷婷综合| 久久视频九九视频| 超碰人人色| 色约约视频一区二区三区四区五区| 9.1综合网| 甈你aaaaa| 丁香五月天色婷婷| 超碰在线观看成人视| 99热欧美在线观看| 人妻少妇色综合| 无码一区精品一区视频| 六月丁香色色| 久久婷婷五月综合伊人| 亚洲综合激情五月久久| 一区二区免费看| 天天干天天爽天天操| 久久婷色| 大香蕉99热| 色色色色av色色色色| 色婷婷亚洲婷婷| 色五月婷婷青娱乐| 五月开心激情网| 色色色热| 婷婷五月天影院| 激情网婷婷五月天| 潘金莲AAAAAAAAAA| 亚洲avjiujiur91| 99婷婷国产最新视频| 墨西哥毛片内射精| 夜夜操少妇| www激情| 99九色视频在线观看| 日韩啊啊啊| 91热视频| 欧美黑人巨大猛烈cuckold| 欧美这里只有精品| 日韩一级A片黄色| 99爱精品| 人妻六月天| 五月婷婷婷婷婷| 天天射网站| 激情文学天天| 色婷久久| 大香蕉AV在线| 1024操逼视频| 丁香五月婷婷99| 精品久久久久久久人妻| 色狠狠色噜噜AV天堂五区| 天天爱天天做天天日| 日本WWW九九九| 九九久久高清| 五月丁香综合在线| 九月停停| 97好吊操| 久久九九激情五月天 | 激情综合五月| 91操屁股| 婷婷丁香五月色| 亚洲av无码影院| 天天操屄网| 超碰免费观看| 色婷婷色人人射| 五婷婷综合网| 激情激情激情网| 美女婷婷激情亚洲| 丁香网五月网| 一点色成人网| 五月丁香婷婷综合在线| 日本丁香五月| 综合97五月| 99这里有精品| 丁香五月婷婷性爱| 色婷婷久久| 亚洲AV免费在线| 色综合色色| 亚洲一个色| 亚洲第一综合| 伊人成人宗合网| www.五月天| 综合色天天| 欧美大片免费观看| 五月天婷婷乱| 大香蕉久久伊人网| 色99网站| 久久精品夜色噜噜亚洲a∨| 一区二区乱码视频| 大香蕉九九操| 丁香五月色五月| 五月丁香久久综合| 色五月 五月婷婷| 日本婷婷丁香五月| 丁香五月天成人| 人人干Av| 激情五月天福利| 这里只有精品在线观看视频| 亭亭玉月丁香| 五月婷中文字幕| 成人av播放| 中文字幕在线日亚洲9| 午夜爱爱爱成人| 91热在线观看视频| 亚洲色色色| 婷婷色五月激情| 天天色天天操天天射| 香蕉综合网| 欧美日韩精品人妻狠狠躁免费视频| 色五月激情基地| 丁香六月av| 九九re精品视频在线观看| 在线观看av网站| 男人視頻站| 激情综合网五月婷婷| 丁香五月婷婷婷婷欧美综合| 色婷婷色综合久久精品V| 99免费在线| 婷婷在线精品| 国产国产乱老熟女视频网站97| 亚洲五月天婷婷综合| 色欲久久久久久综合网综合网| 久久这里只有精品8| 色婷婷丁香AV综合| 婷婷五月综合色中文字幕| 思思热视频| 婷婷丁香色五月久久88| 日韩另类在线观看| 五月天婷婷综合网| 天天色综合图片| 99色在线视频观看| 99热这里只有精品9| 日日射天天射| 丁香久久综合| 国产成人精品亚洲线观看| 色婷婷的五月天| 99这里有精品久久97| 色婷婷精品视频在线播放| 热久久91| 狠狠五月天激情| 91人人操人人爱| 超碰只有精品在线| 91热视频色网站| 99精品在| 日本在线99| 精品亚洲国产成AV人片传媒| 色婷婷综合网| oumeisesewang| 色婷婷五月成人网| 国产精品国产成人国产三级| XX色综合| 日本va网站| 天天综合久久| 岛国在线观看91| 99久在线精品| 九九爱激情| 色性综合| 日韩一级网站| 九九热青草| 操操天堂| 精品皮股午夜AV| 六月丁香婷婷视频综合在线观看| 秋霞网在线免费基地五月婷婷丁香| 丁香六月 婷婷六月| 中文av在线观看| 色99视频| 女同激情久久av久久| 天天肏天天爽夜夜爽| 99热最新地址在线| 婷婷色基地在线看 | 日碰日| 色色综合网站| 激情五月婷婷开心网| 丁香五月天殴美激情| 97人人操| 日韩精品呦呦va| 亚洲无AV在线中文字幕| 日韩无码成人电影| 99热这里只有免费精品| 99热只有精品在线播放| 色五月婷婷综合在线| 免费观看日韩成人av| 国产高潮A片羞羞视频涩涩| 成人精品在线观看| 97色色色|