欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

連接跟蹤與流量統(tǒng)計(jì):從conntrack到iptables的運(yùn)維實(shí)戰(zhàn)

連接跟蹤與流量統(tǒng)計(jì):從conntrack到iptables的運(yùn)維實(shí)戰(zhàn) 連接跟蹤流量統(tǒng)計(jì)這是Linux網(wǎng)絡(luò)運(yùn)維里一個(gè)特別容易被忽視但關(guān)鍵時(shí)刻能救命的角落。很多人搞iptables、搞防火墻規(guī)則精通得很一說(shuō)到“你線上每秒多少新建連接連接表占用多少到底哪個(gè)IP在持續(xù)往外發(fā)包”就啞火了。原因很簡(jiǎn)單連接跟蹤conntrack和流量統(tǒng)計(jì)這兩件事平時(shí)不會(huì)主動(dòng)出現(xiàn)在監(jiān)控面板上等出了事故你才想起去查往往已經(jīng)晚了。這篇東西我把它定位成一篇實(shí)操經(jīng)驗(yàn)匯總。我不打算從頭講netfilter的論文級(jí)原理更多是站在一個(gè)長(zhǎng)期跟連接表、計(jì)數(shù)器、NAT規(guī)則打交道的老運(yùn)維視角把連接跟蹤是怎么回事、流量統(tǒng)計(jì)到底有哪幾條路可以走、每一步怎么落地、踩過(guò)哪些坑一次說(shuō)清楚。適合剛接手公司網(wǎng)關(guān)、負(fù)載均衡或者K8s節(jié)點(diǎn)的同行也適合那些被“conntrack表滿了”折磨過(guò)的新手??赐昴阒辽倌茏约捍钜惶缀?jiǎn)單但可靠的流量統(tǒng)計(jì)腳本也能在連接表異常時(shí)快速定位方向。1. 連接跟蹤到底在干什么為什么流量統(tǒng)計(jì)繞不開它1.1 連接跟蹤的本質(zhì)內(nèi)核里的“狀態(tài)記賬本”連接跟蹤全稱connection tracking是Linux內(nèi)核netfilter框架提供的一項(xiàng)基礎(chǔ)能力。它的核心工作是把經(jīng)過(guò)主機(jī)的數(shù)據(jù)流抽象成一條“連接”記錄這條連接的五元組信息協(xié)議、源IP、源端口、目的IP、目的端口連同當(dāng)前所處的狀態(tài)NEW新建、ESTABLISHED已建立、RELATED關(guān)聯(lián)連接比如FTP的數(shù)據(jù)通道、INVALID無(wú)效。打個(gè)比方你就懂了。連接跟蹤表就像餐廳前臺(tái)的服務(wù)員每一桌客人進(jìn)來(lái)他會(huì)記一下桌號(hào)、人數(shù)、點(diǎn)沒點(diǎn)菜、吃到哪個(gè)階段。后面上菜、加單、結(jié)賬全靠這本賬。沒有這個(gè)賬本防火墻的state規(guī)則沒法做——你憑什么判斷這個(gè)包是回應(yīng)之前的請(qǐng)求還是外部主動(dòng)打進(jìn)來(lái)的新攻擊NAT也一樣源地址轉(zhuǎn)換后回程的包要能逆轉(zhuǎn)翻譯回去必須查連接跟蹤表里存的映射關(guān)系。所以只要你的機(jī)器做了NAT、開了防火墻并且用了state/ct狀態(tài)匹配、或者跑了Docker、Kubernetes這種重度依賴網(wǎng)絡(luò)策略的容器平臺(tái)連接跟蹤就一定是開啟的。1.2 連接跟蹤表和流量統(tǒng)計(jì)的關(guān)系連接跟蹤表本身不統(tǒng)計(jì)字節(jié)數(shù)。它只管“誰(shuí)跟誰(shuí)在通信現(xiàn)在什么狀態(tài)”。但正因?yàn)樗拇嬖趦?nèi)核可以在連接創(chuàng)建、更新、銷毀的各個(gè)生命周期節(jié)點(diǎn)上天然掛鉤各種計(jì)數(shù)邏輯。這就是為什么我們?cè)趇ptables規(guī)則里能看到-c計(jì)數(shù)器在nftables里能定義counter在conntrack工具里能查到bytes和packets字段。換句話說(shuō)連接跟蹤給了你兩個(gè)維度的數(shù)據(jù)一個(gè)是連接數(shù)橫向規(guī)模一個(gè)是流量字節(jié)縱向體量。這兩個(gè)維度合在一起才能回答運(yùn)維里最常問(wèn)的“誰(shuí)在消耗帶寬”“誰(shuí)在瘋狂發(fā)起連接”“NAT網(wǎng)關(guān)的負(fù)載是否到了瓶頸”。1.3 什么時(shí)候你會(huì)真正需要做流量統(tǒng)計(jì)我遇到過(guò)好幾種典型場(chǎng)景逼著你必須認(rèn)真做連接跟蹤流量統(tǒng)計(jì)第一種公司出口NAT設(shè)備領(lǐng)導(dǎo)想搞清楚每個(gè)部門、每個(gè)應(yīng)用占了多大帶寬。這時(shí)候你得按源IP聚合流量光看交換機(jī)的端口流量沒有任何意義。第二種后端服務(wù)突然被大量異常請(qǐng)求打滿但前端所有QPS指標(biāo)都是正常的。查了半天發(fā)現(xiàn)是某個(gè)內(nèi)網(wǎng)服務(wù)在跟外網(wǎng)建立大量短連接連接表被打爆了。這時(shí)候你得看清楚到底哪個(gè)進(jìn)程、哪個(gè)目的IP在制造連接風(fēng)暴。第三種做安全審計(jì)。要回溯某段時(shí)間某個(gè)IP的往來(lái)流量連接跟蹤日志是最好的“黑匣子”。這些場(chǎng)景沒有一套順手可用的連接跟蹤流量統(tǒng)計(jì)手段基本就是抓瞎。2. 流量統(tǒng)計(jì)的常見實(shí)現(xiàn)路徑——三選一看你有什么牌2.1 路徑一內(nèi)核計(jì)數(shù)器的被動(dòng)統(tǒng)計(jì)iptables/nftables自帶這是最樸素也最可靠的辦法。iptables的每條規(guī)則自帶兩個(gè)計(jì)數(shù)器packets和bytes。你只需要把統(tǒng)計(jì)用的規(guī)則放在合適位置內(nèi)核會(huì)默默幫你累加數(shù)據(jù)。它的優(yōu)勢(shì)在于不需要額外開服務(wù)不占額外CPU數(shù)據(jù)是內(nèi)核精確計(jì)數(shù)的不丟包不采樣。非常適合做“總量統(tǒng)計(jì)”和“按固定維度聚合統(tǒng)計(jì)”比如按源IP段、目的端口、協(xié)議來(lái)查流量。但它的短板也很明顯聚合維度不夠靈活。你寫了十條規(guī)則按十個(gè)IP統(tǒng)計(jì)那以后想按“IP和端口組合”查就得加規(guī)則計(jì)數(shù)器是累計(jì)值想要速率必須拉差值后自己算另外iptables計(jì)數(shù)器在規(guī)則被刷新或者機(jī)器重啟后會(huì)清零需要配套的持久化采集方案。2.2 路徑二連接跟蹤日志的被動(dòng)采集基于日志的大數(shù)據(jù)統(tǒng)計(jì)內(nèi)核提供了一個(gè)開關(guān)net.netfilter.nf_conntrack_acct開啟后連接跟蹤會(huì)對(duì)每條連接記錄packets和bytes數(shù)據(jù)。你可以通過(guò)conntrack -L命令隨時(shí)查看某條連接已經(jīng)傳了多少字節(jié)、多少個(gè)包。更進(jìn)一步可以用ctnetlink機(jī)制把連接事件新建、更新、銷毀推送到用戶態(tài)通過(guò)ulogd2這類工具落日志或者自己寫一段C/Python用netlink庫(kù)接收消息。每條連接的字節(jié)數(shù)、包數(shù)都能被記錄到。好處是統(tǒng)計(jì)維度非常自由——你可以存下來(lái)做離線分析、按任意字段group by也可以回溯歷史某條連接的流量。代價(jià)是量大的機(jī)器上日志會(huì)產(chǎn)生海量事件磁盤和CPU都有壓力實(shí)時(shí)性弱于計(jì)數(shù)器方案而且如果連接長(zhǎng)時(shí)間不斷開字節(jié)數(shù)只累計(jì)不輸出需要按超時(shí)兜底。2.3 路徑三流量采樣與鏡像分析NetFlow/sFlow/pcap旁路這條路嚴(yán)格來(lái)說(shuō)已經(jīng)不算連接跟蹤流量統(tǒng)計(jì)了但實(shí)際運(yùn)維里經(jīng)常拿來(lái)補(bǔ)充。思路是把流量旁路出來(lái)用采樣協(xié)議sFlow/NetFlow或者全量抓包pcap的方式交給外部分析器比如ELK、SQL數(shù)據(jù)庫(kù)做聚合。優(yōu)勢(shì)是靈活、不碰生產(chǎn)路徑、能拿到L7應(yīng)用層信息劣勢(shì)是需要額外部署硬件交換機(jī)支持sFlow還好純服務(wù)器環(huán)境下還得做分光器或者端口鏡像成本高采樣有概率丟數(shù)據(jù)不適合對(duì)準(zhǔn)確性極其敏感的對(duì)賬場(chǎng)景。2.4 三條路徑的選型對(duì)照維度內(nèi)核計(jì)數(shù)器連接跟蹤日志采樣/鏡像精確度精確精確抽樣有誤差實(shí)時(shí)性秒級(jí)主動(dòng)拉取事件級(jí)推送秒級(jí)系統(tǒng)開銷極低連接量大的主機(jī)有壓力網(wǎng)絡(luò)和存儲(chǔ)壓力高持久化需自己采集天然寫入日志分析端存儲(chǔ)聚合靈活度受限于規(guī)則配置任意維度SQL查詢最靈活含L7適合場(chǎng)景網(wǎng)關(guān)/NAT計(jì)數(shù)器安全審計(jì)、連接級(jí)明細(xì)全鏈路監(jiān)控、協(xié)議分析我個(gè)人的建議是日常監(jiān)控、容量預(yù)警這種以路徑一為主簡(jiǎn)單直接需要做安全審計(jì)或查歷史連接時(shí)路徑二配合conntrack工具臨時(shí)看甚至靠journalctl慢慢撈規(guī)模大且有專業(yè)流量分析平臺(tái)的再加路徑三作為補(bǔ)充。3. 實(shí)操環(huán)節(jié)五種最常用的連接跟蹤流量統(tǒng)計(jì)手段3.1 看一臺(tái)機(jī)器當(dāng)前活躍連接數(shù)摸清壓力先別急著寫統(tǒng)計(jì)腳本第一步應(yīng)該是能快速回答“這臺(tái)機(jī)器當(dāng)前同時(shí)在跑多少條連接”。用一行命令# 查看當(dāng)前連接跟蹤總數(shù) cat /proc/sys/net/netfilter/nf_conntrack_count # 查看系統(tǒng)允許的最大連接跟蹤數(shù) cat /proc/sys/net/netfilter/nf_conntrack_max當(dāng)nf_conntrack_count接近nf_conntrack_max的時(shí)候事情就危險(xiǎn)了——新連接會(huì)被內(nèi)核直接丟棄表現(xiàn)為服務(wù)端口telnet不上但ping通業(yè)務(wù)日志里出現(xiàn)“connection reset”且有周期性。這個(gè)數(shù)字應(yīng)該進(jìn)你的監(jiān)控系統(tǒng)告警閾值我一般設(shè)在最大值的80%左右。3.2 iptables計(jì)數(shù)器直接查流量最簡(jiǎn)單粗暴假設(shè)你想統(tǒng)計(jì)“訪問(wèn)本機(jī)8080端口的流量總量”直接加一條規(guī)則iptables -I INPUT 1 -p tcp --dport 8080注意我沒給-j ACCEPT只是把規(guī)則掛在那里純計(jì)數(shù)。因?yàn)镮NPUT鏈默認(rèn)處理完所有規(guī)則會(huì)回到鏈策略只要不顯式跳轉(zhuǎn)計(jì)數(shù)規(guī)則不影響包的去向。這樣加規(guī)則多少有點(diǎn)“臟”更干凈的做法是建一條獨(dú)立的統(tǒng)計(jì)鏈iptables -N TRAFFIC_STAT iptables -A INPUT -j TRAFFIC_STAT iptables -A TRAFFIC_STAT -p tcp --dport 8080隨后想讀取某條規(guī)則累計(jì)的包數(shù)和字節(jié)數(shù)iptables -L TRAFFIC_STAT -v -x-x參數(shù)很關(guān)鍵作用是讓計(jì)數(shù)器輸出精確數(shù)字而不是縮寫成12K、34M這種帶單位的格式方便腳本解析。這個(gè)參數(shù)至少在需要把數(shù)據(jù)丟給監(jiān)控系統(tǒng)的場(chǎng)景里是必須的。3.3 按IP聚合統(tǒng)計(jì)流量拿腳本說(shuō)話計(jì)數(shù)器方案最實(shí)用的形態(tài)是寫一個(gè)腳本定時(shí)拉取計(jì)數(shù)器計(jì)算差值得到速率。我常用的邏輯如下# 清空指定鏈的計(jì)數(shù)器或重建規(guī)則全部歸零 iptables -Z TRAFFIC_STAT # 確認(rèn)規(guī)則存在后每分鐘執(zhí)行一次 # 先保存上一次的計(jì)數(shù)器讀取當(dāng)前值相減再除以間隔時(shí)間即得字節(jié)速率 prev_bytes$(cat /tmp/traffic_last.txt) curr_bytes$(iptables -L TRAFFIC_STAT -v -x -n | awk -v port8080 $3tcp $4dport {print $2}) echo $curr_bytes /tmp/traffic_last.txt rate_bytes$(( (curr_bytes - prev_bytes) / 60 ))實(shí)際生產(chǎn)環(huán)境里我會(huì)把這個(gè)邏輯編程成一段守護(hù)腳本輸出成timestamp ip bytes bytes_per_sec的格式丟給Prometheus文本文件采集器或者寫進(jìn)InfluxDB。核心思路就是不要指望iptables給你速率它只給累計(jì)增量速率永遠(yuǎn)是自己的時(shí)序系統(tǒng)算出來(lái)的。3.4 用conntrack命令查看連接級(jí)明細(xì)深挖單條連接如果你的問(wèn)題不是“總量多大”而是“哪條連接在跑大流量”那就要進(jìn)連接跟蹤表細(xì)看。工具是conntrack安裝包一般叫conntrack-tools。# 查看當(dāng)前所有連接過(guò)濾出字節(jié)數(shù)排序前10 conntrack -L -o extended | awk {print $NF} | sort -rn | head -10conntrack -L輸出長(zhǎng)格式時(shí)每條連接末尾會(huì)有bytes... packets...字段。-o extended這個(gè)參數(shù)很關(guān)鍵它額外輸出標(biāo)記、secmark等擴(kuò)展信息也確保字節(jié)數(shù)字段出現(xiàn)在解析里。如果要做每IP聚合conntrack -L -o extended | awk /udp|tcp/ { for(i1;iNF;i) { if($i ~ /^src/) {split($i,a,); srca[2]} if($i ~ /^bytes/) {split($i,b,); bytesb[2]} } total[src]bytes } END {for(ip in total) print total[ip], ip} | sort -rn | head -20這里的坑在于conntrack -L在高連接數(shù)的機(jī)器上本身就是重操作它會(huì)讀全部連接表可能占用CPU幾十毫秒甚至更多。生產(chǎn)環(huán)境大表比如超過(guò)十萬(wàn)條連接我是絕對(duì)不用它做高頻輪詢的——只用于事故現(xiàn)場(chǎng)手動(dòng)排查。3.5 nftables下的統(tǒng)計(jì)實(shí)現(xiàn)——現(xiàn)代服務(wù)器更推薦如果你用的發(fā)行版已經(jīng)全面轉(zhuǎn)向nftables比如新裝的Debian 12、Ubuntu 22.04而且沒有老iptables套件那么統(tǒng)計(jì)寫作nftables規(guī)則要干凈得多。nftables原生支持counter關(guān)鍵字能直接嵌在規(guī)則里nft add table inet traffic_stat nft add chain inet traffic_stat count_in { type filter hook input priority 0; } nft add rule inet traffic_stat count_in tcp dport 8080 counter讀取時(shí)也更方便nft list table inet traffic_stat輸出里直接能看到packets 12345 bytes 6789012。nftables的counter天生支持動(dòng)態(tài)map你可以定義一張“IP地址-計(jì)數(shù)器”的映射表然后一行規(guī)則對(duì)每個(gè)新源IP自動(dòng)建計(jì)數(shù)器nft add table inet traffic_stat nft add set inet traffic_stat per_ip { type ipv4_addr; flags dynamic; } nft add rule inet traffic_stat count_in ip saddr per_ip counter之后每來(lái)一個(gè)不同的源IP集合里會(huì)自動(dòng)增加一條記錄并配一個(gè)獨(dú)立的計(jì)數(shù)器。這功能比iptables的“限制規(guī)則條數(shù)”思路靈活太多也是我近兩年主推的方案。4. 深度解析連接跟蹤表為什么會(huì)滿以及它怎么拖垮流量統(tǒng)計(jì)4.1 表滿的連鎖反應(yīng)比想象中嚴(yán)重連接跟蹤表設(shè)計(jì)成固定容量的哈希表默認(rèn)值因發(fā)行版而異常見是65536、131072或者262144。當(dāng)表滿時(shí)內(nèi)核無(wú)法為新建連接分配跟蹤條目于是靜默丟包丟棄的位置在netfilter框架的nf_conntrack_in階段后面你再有防火墻、NAT都沒機(jī)會(huì)執(zhí)行。結(jié)果是外部新請(qǐng)求進(jìn)不來(lái)但Server端已經(jīng)在跑的ESTABLISHED連接不受影響。這種故障最有迷惑性的特征是“半通”——用戶訪問(wèn)部分失敗部分成功老連接正常重啟服務(wù)后短暫恢復(fù)又惡化。如果你對(duì)這種場(chǎng)景沒經(jīng)驗(yàn)很容易誤判成應(yīng)用層問(wèn)題反復(fù)重啟服務(wù)浪費(fèi)時(shí)間。4.2 哪些流量會(huì)大量消耗連接表?xiàng)l目UDP和TCP短連接是大頭。TCP短連接三次握手建一條四次揮手后條目不會(huì)立刻消失默認(rèn)TCP連接的超時(shí)時(shí)間是432000秒5天——你沒看錯(cuò)一條已經(jīng)關(guān)閉的TCP連接conntrack條目最長(zhǎng)可以賴在表里5天才被回收。UDP默認(rèn)超時(shí)30秒反而短得多。所以一條TCP連接只要存活超過(guò)超時(shí)時(shí)間或者關(guān)閉后沒被立即回收就會(huì)長(zhǎng)期占據(jù)一個(gè)表項(xiàng)。高并發(fā)短連接的服務(wù)比如Web API、RPC調(diào)用非常容易把表堆滿。業(yè)界普遍的調(diào)優(yōu)手法是修正超時(shí)參數(shù)# 縮短TCP連接超時(shí)從5天改為1小時(shí) sysctl -w net.netfilter.nf_conntrack_tcp_timeout_established3600 # 短連接場(chǎng)景可以進(jìn)一步改小但要評(píng)估業(yè)務(wù)是否有長(zhǎng)連接另外還有兩個(gè)隱藏消耗一是NAT情況下同一個(gè)內(nèi)網(wǎng)IP的大量連接源端口很快耗盡但如果五元組不同conntrack照樣需要獨(dú)立條目二是有很多“半開連接”的場(chǎng)景SYN Flood攻擊會(huì)讓表里充滿SYN_SENT狀態(tài)的殘留條目。4.3 表滿之后的流量統(tǒng)計(jì)直接就廢了這里有個(gè)惡性循環(huán)值得單獨(dú)拉出來(lái)說(shuō)。連接跟蹤表滿后新連接無(wú)法被跟蹤意味著你通過(guò)conntrack日志做流量統(tǒng)計(jì)的那些路徑天然漏掉了被丟棄的連接流量。表現(xiàn)在你的統(tǒng)計(jì)系統(tǒng)上就是流量數(shù)字突然掉下去了但實(shí)際帶寬占用可能還很高。只看統(tǒng)計(jì)結(jié)果的話你會(huì)誤以為攻擊停了其實(shí)只是連接跟蹤已經(jīng)被打癱了。所以做流量統(tǒng)計(jì)必須聯(lián)動(dòng)監(jiān)控連接跟蹤表的使用率。表的使用率本身才是這臺(tái)機(jī)器網(wǎng)絡(luò)健康度的“體溫計(jì)”。一旦超過(guò)80%統(tǒng)計(jì)數(shù)字的可信度就要打折扣得先處理表滿問(wèn)題再來(lái)談流量分析。5. 實(shí)戰(zhàn)案例復(fù)盤一次連接表告警背后的流量統(tǒng)計(jì)排查5.1 現(xiàn)象與初步定位去年我接手一個(gè)內(nèi)網(wǎng)網(wǎng)關(guān)的維護(hù)某天凌晨告警網(wǎng)關(guān)的nf_conntrack_count超過(guò)閾值且連續(xù)三次采樣都在攀升。開始時(shí)我沒有著急調(diào)大nf_conntrack_max因?yàn)闄C(jī)器的內(nèi)存并不緊張盲調(diào)大只會(huì)掩蓋問(wèn)題——如果真是攻擊流量你調(diào)再大也會(huì)被打滿。我的排查順序先看系統(tǒng)連接跟蹤狀態(tài)里的TCP狀態(tài)分布cat /proc/net/nf_conntrack | awk -F {print $4} | sort | uniq -c | sort -rn輸出的狀態(tài)里大量集中在SYN_SENT和TIME_WAIT。SYN_SENT偏多說(shuō)明可能有對(duì)外異常連接在積壓TIME_WAIT大是正常的但配合連接數(shù)持續(xù)上漲就不是正常的了。5.2 順著連接表挖出元兇接著我用conntrack -L過(guò)濾出SYN_SENT狀態(tài)的連接按目的IP聚一下conntrack -L -o extended | grep SYN_SENT | awk -F dst {print $2} | awk {print $1} | sort | uniq -c | sort -rn | head結(jié)果一目了然有一個(gè)外網(wǎng)IP被大量去連而且都是SYN_SENT——對(duì)方根本不回包。netstat -antp確認(rèn)是某個(gè)Java服務(wù)在瘋狂重試外部接口調(diào)用對(duì)方接口有問(wèn)題重試機(jī)制沒做熔斷很快把連接表堆滿。這個(gè)案例最有價(jià)值的經(jīng)驗(yàn)是先看連接跟蹤的狀態(tài)分布再看異常的遠(yuǎn)端IP最后回到應(yīng)用層的重試邏輯。流量統(tǒng)計(jì)的表象是“連接數(shù)暴漲”但真實(shí)兇手是應(yīng)用層沒有保護(hù)。我當(dāng)時(shí)把服務(wù)的超時(shí)時(shí)間從3秒改成1秒并且加了熔斷連接跟蹤表立刻回到正常水位。5.3 事后補(bǔ)上的流量統(tǒng)計(jì)方案處理完事故后我給網(wǎng)關(guān)加了完整的流量統(tǒng)計(jì)與告警體系/proc/sys/net/netfilter/nf_conntrack_count每30秒采集一次超過(guò)nf_conntrack_max的75%發(fā)P2告警90%發(fā)P1。按源IP聚類統(tǒng)計(jì)TCP SYN連接速率每5分鐘計(jì)算一次超過(guò)基線十倍以上觸發(fā)告警。iptables統(tǒng)計(jì)鏈按月保留每天早上把前一天的累計(jì)字節(jié)和包數(shù)推到表格存儲(chǔ)供業(yè)務(wù)方按IP查月度用量。這套體系上線之后同樣的問(wèn)題再次出現(xiàn)時(shí)監(jiān)控能在我還沒被用戶投訴之前就發(fā)出告警。6. 常見問(wèn)題速查與避坑經(jīng)驗(yàn)6.1 為什么計(jì)數(shù)器統(tǒng)計(jì)的流量和實(shí)際帶寬對(duì)不上這件事最容易引起業(yè)務(wù)方質(zhì)疑。首先要搞清楚iptables計(jì)數(shù)器統(tǒng)計(jì)的是“經(jīng)過(guò)這臺(tái)主機(jī)網(wǎng)絡(luò)棧處理的IP層流量”不含以太網(wǎng)幀頭、不含交換機(jī)層面的廣播流量也不含被DPDK這種用戶態(tài)驅(qū)動(dòng)繞過(guò)的數(shù)據(jù)包。如果你的機(jī)器上有部分流量走XDP/DPDK旁路了那計(jì)數(shù)器天生就統(tǒng)計(jì)不到。另外本機(jī)回環(huán)流量lo口算不算你的業(yè)務(wù)流量取決于你規(guī)則鏈掛的位置。我做統(tǒng)計(jì)時(shí)通常會(huì)把lo接口排除在外避免重復(fù)計(jì)數(shù)。6.2 conntrack日志丟失統(tǒng)計(jì)出現(xiàn)空洞用conntrack日志方案時(shí)事件通過(guò)netlink socket傳遞給用戶態(tài)如果用戶態(tài)程序處理不過(guò)來(lái)內(nèi)核socket緩沖區(qū)滿了就會(huì)丟棄消息。這種丟棄是靜默的日志里看不出異常只會(huì)表現(xiàn)為某段時(shí)間的連接事件缺失。解決思路一是加大接收緩沖區(qū)net.core.rmem_default二是做降級(jí)——如果事件吞吐量過(guò)大就不追求逐條記錄改為周期性全量快照的增量式統(tǒng)計(jì)犧牲實(shí)時(shí)性換完整性三是把連接表Dump快照定期落盤比如每5分鐘把/proc/net/nf_conntrack導(dǎo)出壓縮存一份事故后直接翻歷史快照就行。6.3 計(jì)數(shù)器反向增長(zhǎng)數(shù)據(jù)出現(xiàn)氣泡我踩過(guò)一次很典型的坑。寫統(tǒng)計(jì)腳本時(shí)拿iptables計(jì)數(shù)器差值計(jì)算速率結(jié)果符號(hào)寫反了還是其次問(wèn)題是計(jì)數(shù)器在某個(gè)時(shí)間點(diǎn)突然跳變到超大值。查原因發(fā)現(xiàn)是有人手動(dòng)清空了規(guī)則重新加載后計(jì)數(shù)器歸零然后腳本認(rèn)為是“反向回繞”算出來(lái)的速率變成了天量數(shù)字。這個(gè)問(wèn)題的魯棒解法是腳本里判定如果當(dāng)前計(jì)數(shù)比上次小就丟棄這一輪差值一律輸出0而不是輸出負(fù)數(shù)。同時(shí)規(guī)則文件的變更操作要規(guī)范走自動(dòng)化發(fā)布避免人工干預(yù)計(jì)數(shù)器。6.4 如何應(yīng)對(duì)Kubernetes節(jié)點(diǎn)上的連接跟蹤統(tǒng)計(jì)盲區(qū)Kubernetes節(jié)點(diǎn)上Kube-proxy的iptables或IPVS模式大量依賴連接跟蹤。特別是IPVS模式它本身有更多連接條目因?yàn)槊總€(gè)Service的每個(gè)后端組合都會(huì)占據(jù)獨(dú)立的連接跟蹤項(xiàng)。流量統(tǒng)計(jì)的難點(diǎn)在于Service的ClusterIP只是虛擬IP你按源IP分類能聚合按目標(biāo)Service歸類就有難度了。我的建議是K8s場(chǎng)景下連接跟蹤統(tǒng)計(jì)盡量按Pod所在節(jié)點(diǎn)和網(wǎng)段聚合配合Service Mesh的sidecar流量指標(biāo)綜合判斷。純靠conntrack做細(xì)粒度業(yè)務(wù)流量拆解不僅效率低而且容易誤判。7. 終點(diǎn)之前留幾句實(shí)用閑話最后說(shuō)點(diǎn)不寫在教科書里的感受。連接跟蹤流量統(tǒng)計(jì)這個(gè)技術(shù)點(diǎn)不像高并發(fā)框架那樣能帶來(lái)炫酷的架構(gòu)升級(jí)也出不了什么精彩的PPT但在真實(shí)的生產(chǎn)環(huán)境里它就是我這種人賴以為生的“底層能力”。說(shuō)實(shí)話我自己最初踩的坑很多都不是技術(shù)難題而是沒把“連接跟蹤表也是要監(jiān)控的”這件事當(dāng)回事。給主機(jī)加內(nèi)存、加CPU、加帶寬都不如提前把nf_conntrack_count盯牢來(lái)得實(shí)在。還有一個(gè)心得是統(tǒng)計(jì)不是為了做日?qǐng)?bào)而是為了發(fā)現(xiàn)“異?!?。一個(gè)穩(wěn)定運(yùn)行的系統(tǒng)連接數(shù)、字節(jié)數(shù)、包數(shù)在時(shí)間軸上應(yīng)該是平滑的。任何突兀的抖動(dòng)都值得你去連接跟蹤表里翻一翻。與其研究更花哨的流量分析平臺(tái)不如先把自己的計(jì)數(shù)器腳本和告警閾值搞好。如果你現(xiàn)在手頭正好管著幾臺(tái)NAT網(wǎng)關(guān)或K8s節(jié)點(diǎn)建議今天就跑一遍cat /proc/net/nf_conntrack | wc -l cat /proc/sys/net/netfilter/nf_conntrack_max先把這兩個(gè)數(shù)記下來(lái)再順手看一眼你的監(jiān)控系統(tǒng)里有沒有這兩個(gè)指標(biāo)。沒有的話補(bǔ)上它們比任何花架子優(yōu)化都實(shí)在。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
337p午夜影院| 影音先锋色婷婷| 五月综合人妻| 337p大胆噜噜噜噜噜91Av| 婷婷五月天亚洲天堂| 变态另类色图 | 天天插天天很| 成人在线网址| 婷婷干| 久久Xx| 五丁香激情综合| cao久久| 丁香九月激情| 先锋影音av色五月天资源站| 91丨九色丨白浆秘| 狠狠高潮精品亚洲1| 另类视频综合| WWW99视频| 偷偷与邻居做爰完整视频| 日本熟女内射| www.久久五月天.com| 午夜成人网站在线观看| 久碰婷婷视频| 免费亚洲婷婷五月| 婷婷六月五月| 午夜激情五月| 丁香五月综合图片在线观看| www.精品99| 六月丁香激情| 黄色99热| 在线看av| 99人人干人人操| 六月丁香五月婷婷| 色五月激情综合网| 丁香五月色| 深爱激情网噜噜色| 国产一级婬片毛片| 五月婷婷黄色视频| 激情综合网婷婷久久| 色爱99| 亚洲精品V天堂中文字幕| 婷婷综合色图| 五月婷婷丁香| 成人在线精品| 婷婷操超碰| 五月综合激情网| 极品人妻VIDEOSSS人妻| www.yw尤物| 色亚洲激情| 99re这里只有精品免费| 五月丁香怕啪啪| 99热这里都是精品| 玖玖色综合网| 人妻av在线| 五月婷婷深深爱| 久久网站观看免费欧洲国产| 久久激情五月天| 久久九九99视频| 丁香婷婷精品视频| 婷婷五月天奸女| 这里只有精品免费| 人人澡玖玖一| 9色在线| 99视频网| 狠狠色五月| 激情98色婷婷五| 久久综合五月婷婷| 97操男人的天堂| 狠狠操狠狠操| 日本不卡高字幕在线2019| 九九Av| 色玖玖爱| 91狠狠综合久久| 91一起操| 天天碰夜夜操| 1024欧美看片| 91精品婷婷国产综合| 五月天综合久久丁香91| 丁香五月婷婷狠狠色| 亚洲av免费在线| 99爱99操| 激情网狠狠干| 五月天色婷婷激情| 97色色婷婷| 可以看的AV| 思思热在线观看| 国产成人精品亚洲线观看| www.婷婷| 五月刺激丁香月综合| 碰久久精品w| 超色欲天天| 啪啪夜久久| 色婷婷AAA| 久久久这里都是精品| 五月婷婷综合热| 色综合色欲综合天天免费| 欧美综合婷婷网| 亚洲人人操BD| 五月丁香激| 五月婷婷激情久久| 五月丁香亚洲五月| 天天综合五月天| 996er热| 婷色五月| 97香蕉人人在线观看| 人人综合久| 67194国产| 五月丁香成人版| 99综合视频| www.99热视频| 婷婷丁香六月| 99热免费观看| 婷香五月网在线| 五月丁香色| 97碰碰九九视频| 中文av网站| 九月丁香| 日本成人噜噜噜| 日日爽夜夜爽| 久久9热| 日本欧美在线| 日本熟女三区| 五月丁香婷婷综合视频| 99热精品观看| 狠狠狠狠狠操| 丁香五月激情六月综合| www.夜夜夜| 色五月天电影| 九九热123| 97婷婷狠狠久久综合9色| 人妻操逼视频。| 亚洲小说欧美激情| 久久xxxx| AV在线收看| 六月激情久久婷婷| 成人国产综合| 五月花激情网| 九九精品视频在线6| 97干欧美| 99碰碰中文| 五月6香色婷婷视频| 丁香五月激情综合啪啪| 国产精品久久久久久久久久久久 | 色色日韩网| 日日夜夜狠狠干| 亚洲九九视频| 丁香六月婷婷综合| 99丁香五月婷| 秋霞丝袜啪啪啪| 激情婷婷五月天伊人在线观看| 亚洲五月天激情| 久久久人妻人伦| 天天色,天天日,天天做| 色噜噜狠狠色综无码久久合欧美| 99久久99九九九99九他书对| 婷婷狠狠18禁久久| 一区二区传媒视频| 五月丁香六月婷婷的女人| 色色色色热| 六月激情网| 九九成人精品| AAA级久久久精品| 欧美va视频| 丁香五月激情图片| 五月丁香成人版| 99热亚洲| 97婷婷丁香| 秋霞九九无码| 色婷婷www| 激情五月丁香五月| 任你草| 色99网| 亚洲六月综合激情久久下卡| 五月丁香婷婷伊人| 五月精品99综合| 性爱在线播放av| 婷色五月| Av性爱网站| 97自拍视频在线| 超碰日日操| 久99久99精品免| 色五月婷婷影视| 婷婷综合色五月天| 怡红院成人AV| 97色啪| 日本99视频精品免费播放| 婷婷丁香五月亚洲| 色吊丝永久访问网址| 色欲一区二区三区精品A片| 色婷婷激情Av久久久| 米奇激情婷婷| 人妻熟女一区二区AV| 热久久思思热思思| 午夜伊人大香蕉| 思思久久96热在精品国产,| 色五月五月婷婷| 久久这里只精品66| 黄色国久久| 手机激情网| 中文字幕有多少字| 婷婷五月天高清无码| 日韩AV在线免费| 婷婷色五月天在线观看| 久久天堂网| 久婷婷婷| 深爱激情九九五月天 | 美女婷婷六月色| 蜜桃五月天| 激情五月亚洲综合网| 色欲AVV| 激情五月天无人视频在线| 婷婷色导航| 伊人婷婷激情| 国产免费av在线| 五月婷啪啪| 午夜免费试看| 国产日产亚系列精品版优势 | 综合激情婷婷| 99热国产在线| 色色色99| 国产干逼片| 五月婷婷啪啪| 热99精品视频| 第四色网婷婷| 丁香五月自拍| 99精品在这里| 欧美噜噜噜草| 丁香五月天社区婷婷| 婷婷激情图片| 激情综合五月激情XXXX| 97碰 在线视频观看| 激情久久丁香| 久草久青福利| 99热99精品| 97精品综合久久| 久久在线人妻| 97中文在线| 国产美女无遮挡裸体毛片A片| 久久久久久丁香五月| 日本3级片一区2区| 一本色道久久88加勒比| 色六月婷婷| 人人舔人人色人人高潮| 97亚洲婷婷| 九九久久99| 夜夜骑日日夜夜| 色香久久| 日本性视频| 操操天堂| 九九精品视频在线观看| 99久久99热| 亚洲婷婷丁香五月| 在线18av | 超碰色综合| 蒲京久久无码视频| 婷婷五月花| 99性爱| 亚洲视频伍月婷婷| www..com色爱| 99视频在线看| 2025年最新亚洲在线欧美| 欧洲色区| 天天狠天天狠| 伊人综合色干| 97人人妻人人艹| 五月丁香狠狠爱| 五月婷婷免费看| 激情婷婷五月亚洲| 粉嫩av懂色av蜜臀av熟妇| 九九成人电影婷婷| 97色视频网| 99人碰碰碰| 婷婷五月天干干| 色五月婷婷婷婷婷婷婷婷婷婷| 色护士综合| 五月丁香色综合| 久久婷婷五月激情网站| 婷婷五月天 偷拍| 婷婷丁香五月天影院 | 强伦轩人妻一区二区电影| 婷婷五月天色综合| 色色色色av777| 丁香五月婷婷六月婷婷| 色婷网| 九月婷婷人人操人人舔人人爱| 久久激情网| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 综合激情深爱| 丁香五月激情澎湃一区| 深爱激情网婷婷| 色碰碰视频| 亚洲九九婷婷| 影音先锋91资源站| 成人网在线视频| 亚洲国产色婷婷| 97中文在线| 日韩啪啪网| 99热久久这里只有精品2010| 五月丁香久久综合91| 最新婷婷五月丁香| 丁香伍月婷电影全集| 大香蕉手机视频| 五月花婷婷最新| 色综合播放| 囯产精品久久欠久久久久久九大| 99免费视频| 五月丁香六月婷婷综合免| caop在线| 婷婷五月丁香人妻无码高清| 九月婷婷在线观看| 五月婷婷六月丁香首页| 99re最新地址| 色婷婷丁香| 天天日天天干天天插天天射| 啪啪亚洲综合| 日本色色网站| 大香蕉五月丁香| 伊人久久婷婷| 欧美大片免费播放器| 丁香五月激情五月| 丁香五月天久久| 亚洲成人在线观看av| 亚洲视频在线网站| 久久思思99| 五月丁香啪啪网| 天天干,天天日| 五月丁香色婷婷综合| 99久re热| 日日色五月天| 色五月婷婷伊人| 91亚洲视频| 久久性都花花世界成人免费视频| 手机在线视频观看9| 亚洲午夜一区二区| 久久婷婷激情五月天一区二区| 人妻性爱av网站| 热久久国产视频| 久久性爱视频| 99热日韩| 看黄的网站18禁| 婷婷中文字幕版| 国产成人综合在线| 亚洲成人另类| 操97在线观看| 五月天婷婷基地综合网| 五月丁香亚洲校园欧美| 人人操人av| 天天色天天| 色人久久| 九九婷| 色五月婷婷在线观看第一页舔| 午夜激情久久| 99精品在线| 2025天天爽天天摸| 丁香色五月 97干| 色婷婷色五月另类综合| 九九re精品视频在线观看| 丁香五月婷婷啪| 久久一二三视频| 久色资源| 成人免费120分钟啪啪| 精品亚洲国产成AV人片传媒| 五月天婷婷爱| 久久aaaa片一区二区| 五月激情综合网| 婷婷中文字幕| 亚洲久久日| 激情深爱综合| xx久久| 亚洲色婷婷| 操b视频在线观看一区二区| 99在线视频播放| 人妻系列久久久久久久久久久| 激情五月天开心总和网| 亚洲激情综合| 婷婷天堂综合| 婷婷丁香五月天激情| 久久狠狠干| 久久久久五月丁香| 亚洲mm色| 丁香五月伊人| 色久影院| 色噜噜狠狠一区二区三区| 五月天色色色| 五月天开心色情网| 欧美五月丁香| 偷拍九九热| 亚洲天堂久久| 综合性爱网| 欧美成人猛片AAAAAAA| 色婷精品91| 天天爽日日爽夜夜爽| 狠狠狠狠狠狠色| 99@久久@99精品视频| 欧美日韩一a.无| 99视频| 精品一二三区久久AAA片| 99在线观看视频| 日日日天天干| 狠狠爱成人综合网| 婷色成人| 中文字幕在线免费看线人| 日韩操逼大片| 精品人妻在线| 婷婷久久内射| 97色啪| 丁香婷婷五月激情四射网| 新99思思视频| 97五月天| 色很很96| 婷婷亚洲综合| 五月丁香久久综合| 欧美色婷婷| 久久婷婷综合国产| 色五月婷婷影院| 人操91在线| 五月丁香六月婷婷综合免| 欧美va视频| 888久久久| 99热99这里只有精品| 久久精品A片777777| anquye伊人| 91色久| 亚洲AV网址| 国产精品美女| 激情综合五| 色99色| 国产探花一片区| 久久网思思| 国产精品涩涩涩视频网站| 久久五月天婷婷视频| 国产精品电影| 2050人人操免费工开爱| 色色国产| 西瓜美女a片| 最近中文字幕2019视频1| 欧洲亚洲免费视频9| 99视频九九热| 九九亚洲无码| 激情亭亭五月| 丁香色婷婷| 欧美这里只有精品| 欧美激情综合| 亚洲成av人影院| 99亚洲欧洲| 欧美美女视频| 免费视频这里只有精品| 射琪琪| 99热免费观看| 五月激情综合网| 天天日夜夜爽| 九九热精品视频九九| 丁香五月天堂婷婷| 亚美欧色影院| 91成人视频| 色色五月婷婷久久| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 五月激情六月| 97人人妻人人艹| 婷婷丁香18| 色琪琪一综合久久激情五月视频| 久久五月婷| 天天干夜夜b| 99精品丰满| 久热网站| 亚洲激情亚洲激情| 偷拍九九热| 丁香五月色| 色偷偷色婷婷| 欧美人与性动交CCOO| 色噜噜狠狠狠综合曰曰曰| 青青草Avb在线| 成人av免费观看| 婷婷五月天Av| 91九色超碰正在播放| 超碰成人在线观看| 狠狠色狠狠色综合日日91| 国产精品成人网站| 激情五月综合| 99视频这里有精品| 丁香五月亭亭六月综合激情网| 久久激情中文| 婷婷五月天综合网| 五月婷婷激情综合拍| 99热国内精品| 婷婷亚洲在线| 久久九九热视频| 激情网婷婷婷| 五月天五月色婷婷综合| 久久综合五月| 色网五月婷婷| 婷色五月| 播五月,色五月,开心五月播放器| 色五月天天| 另类 在线| 国产美女无遮挡裸体毛片A片 | 婷婷五月天无码| 丁香九月婷| A片试看120分钟做受图片| 婷婷五月天综合AV| 久久人妻高清中文| 天天色情站| 欧美男女婷婷| www.色五月| 天天摸天天舔天天天天爽| 中文字幕综合| 99ri视频在线观看| 开心婷婷五月| 97在线精品视频| 先锋av性爱成人电影| 99人妻碰碰碰久久久久禁片| 人人操9| 99热这里是精品| 色亚洲激情| 思思热久久阴99| 97色啪| 九色视频九色九色91jiuseshipin| 九九这里都是精品| 激情六月天| 99热只有这里才是精品| 天天做天天爰天天爽天天无遮挡| 丝袜大香蕉| 九伊人网| 久碰久| 成人国产欧美大片一区| 五月天色综合| 乱码操操| 色色色地址| 婷婷开心五月| 天天操夜夜橾| 欧美爆乳一区二区三区| 蜜乳.comcom| 日本99久久| 14色综合婷婷| 黄色一级影片| 日本色色网站| 玖玖精品婷婷| 99丝袜精品视频网站| 亚洲人操亚洲人| 伊人99热| 国产成人精品一区二区三区视频| 激情五月天网| 婷婷色播婷婷| 免费亚洲婷婷| 天天天天操| 26uuu亚洲| 婷婷五月激情视频| 伍月婷婷六月丁香| 丁香五月激情视频| 欧美婷| 5月婷婷性视频| 欧美婷婷五月无砖| renre人人操国产超碰在线| 性小说五月天| 天天草狠狠擦| www激情网| 欧洲高清免费久久| 婷婷五月天免费视频| 无码人妻一区| 久久婷婷综合国产| 婷婷五月色色| 五月天停婷基地| 丁香五月天婷婷激情| 色婷婷激情| 涩综合网| 99久久久久| 丁香五月婷婷在线| 另类视频在线| 丁香婷婷成年| 婷婷丁香五月天操逼| 婷婷丁香五月天大香蕉| 开心五月婷婷伊人| 久草五月天| AAA久久久| 成人在线网| 美女天天久久| 97久久香草精品视频| 26UUU精品一区二区c〇m| 亚洲AV成人无码久久精品老人法拉利| 成人精品99| 综合久久五月| 任你搞网站| 色色综合网站| 大陆极品少妇内射AAAAAA| 婷婷五月,综合伊人| 丁香五月玖玖| 热99视频精品在线| 97五月天婷婷综合激情网| caop在线视频| 26uuu欧美亚洲日韩| 婷婷综合网站| 五月丁香激情综合| 久久久中文| 色五月美女| 亚洲网站999| 久久精品爱爱| 视频色色色色色色| 伊人久久婷婷| 被强行糟蹋的女人A片| 天天激情站| 青青久久大香蕉| 久久久思思热| 六月综合婷婷开心伊人| 色一情一乱一乱一区91Av| 婷婷六月香| 开心五月婷婷婷美女| 色六月天天激情综合网| 五月婷婷手机在线| 夜夜撸天天操| 91n网站cad入口在线观看| 天天操天天曰天天射| 噜噜色五月| 色婷视频| 在线观看的av| 大鸡巴伊人网| 婷婷激情五月| 操操操Av| 亚洲精品无人区| 操人久久| 婷婷五月色亚洲| 成人五月丁香社区| 伦乱人妻| 亚洲激情网| 天天色综网| 九九激情综合| 久久中国毛毛片爱久久| 婷婷六月网| 变态另类9| 97操在线| 亚洲另类婷婷五月丁香在线播放| 婷婷五月天香蕉| 99综合| 成人免费网站免费看| 亚洲第一色网站| 91成人电影| 三日本无码| 天天日夜夜B久久| 婷婷综合色图| 99九九这里有免费视频| 狠狠va| 成片免费播放| www.五月丁香| 狠狠xx| 97五月天| www。五月天激情| 色视频五月天| 亚洲182在线观看| 婷婷六月丁香久| 日韩999| 九月丁香八月婷婷加勒比| 天天曰夜夜爽| 色五月欧美| 91日综合欧美| www,五月丁,com| 激情综合亚洲| 这里都是精品99| 性欧美日本| 五月婷婷,狠狠操| 伊人激情影院| 天天操天天爱天天玩| 狠狠草综合网| 六月激情婷婷综合| 思思综合热| 色五月婷婷激情五月| 精a品a视a频| 青青草轻轻操| 色色网站毛片| 色色五月天com| 1024国产| 激情 婷婷 插| 欧美人人女女精品综合五月天| 六月丁香VA| 亚洲另类电影| 婷婷久久伊人| 婷婷五月丁香六月| 五月综合视频| 激情五月开心五月在线视频| 草草视频91| 日韩综合网络男女香蕉a片| 99热爱爱干干日| 亚洲综合婷婷五月| 中文字幕在线日亚州9| xxxx久| 狠狠99| 亚洲视频久久| 色婷婷基地| 美腿丝袜AV天堂网| 久久天堂网| 日本久热| 婷婷色在线| 色八月婷婷| 丁香五月社区| 亚洲综合网激情小说| 欧美性猛交99久久久久99按摩| 99热这里只有精品一| 欧美色激情四射| 婷婷亚洲欧美丁香五月| 91九色欧美| 久久五月综合| 久99久热| 大香蕉久久| 99久久精品网| 丁香五月天社区婷婷| 丁香五月天婷婷中文字幕| 曰曰久久| 国产高潮A片羞羞视频涩涩| 电影蜘蛛女| 婷婷五月花| 婷婷五月丁香综合人妻| 婷婷色吧| 精品51XX| 日韩无码成人电影| 婷婷综合五月天| 热久久这里只有精品| 97色热| 五月天激情视频| xxxx五月| 色爱综合五月| 99网| 五月婷色激情五月| 五月丁香激情综合啪啪| 婷婷五月天激情四射| 激情五月婷婷老师| 天天干天天av天天射| 六月丁香中文字幕| 99激情视频热| 日韩情色在线观看| 99久久精品国产色欲| 成人色图情色成人网 www.5b5b5bcom 五月天 | 国产午夜一区二区三区| 婷婷五月色情天| 99久久玖玖| 九九热九九| 日韩AV在线免费| 五月丁六月香| 99热这里只有99| 另类国产欧美视频| 九九色色| 成人超碰Av| 色狠狠五月天| 日韩无码人妻一区二区| 久草热8精品视频在线观看| 天天摸天天舔天天天天爽| 亚洲激情无码久久| 激情久久久久久久久久| 久久婷婷五月天大香蕉| 色婷婷电影网| 色五月天成人| 99久久思思| 婷婷97碰碰| 岛囯综合激情网| 婷婷五月天激情五月天| 1024婷婷综合久久五月天| 午夜天堂一区人妻| 人妻内射视频| 色婷婷AV在线| 99热这里只有精品国产首页| 综合99在线| 在线sebiav精品视频| 亚洲精品婷婷| 狠狠穞A片一區二區三區| 第六色在线| 色五月综合网| 久在线综合69| 婷婷九月色| 看片视频在线免费日产在线看| 很操日本7| 狠狠爱五月婷婷| www。五月,com| av九九| 激情五月天婷婷五月天| 精品99久久久久成人网站免费| 在线天堂9| 国模九区| 日本黄色三级片内射| 久久人妻精品| 五月丁香婷婷色色色| 五月天六月婷婷| 99久久婷婷五月天| 无码人妻一区二区三区四区| 亚洲美女婷婷五月天| 日韩不卡DvD| 91在线操| 国产精品岛国片在线观看免费| 久9热插入| 色999五月色| 精品久久99| 欧美色五月| 天天日日夜夜| 狠狠操性爱av| 久久婷婷激情五月天一区二区| 婷婷情色五月| 国产毛片精品一区二区色欲黄A片| 久热AA| 五月丁香婷婷潮喷中文字幕| 韩国不卡AC视频| 99综合在线| 97在线精品| 人人人舔人人人操人人人摸人人人97 | 26uuu精品一区二区| 久久国产色| 久久久精品AV| 婷婷情色五月天| 啪啪丁香五月| 久大香蕉| 久久综合爱| 日本久碰| 超碰99在线观看| 99久久综合| 深爱五月婷婷| 久久婷婷五月综合啪| 激情五月天啪啪视频| 婷婷五月深深的爱| 亚洲免费电影2| 九九超碰人人| www.色9| 日日噜狠狠| 欧美性二区| 色婷久久| 99热这里只有精品98| 丁香六月婷婷综情欧美| 婷婷婷色五月| 五月天激情美女久久| 久久这里只| 久热播这里只有精品| 精品久久久人妻| 婷婷色在线播放| 色五月激情综合网| 桃色五月天| 啪啪日本欧美| 亚洲超级碰| 丁香六月啪| 婷婷深爱五月天在线| 五月婷婷这里都是精品| 五月成人天| 激情五月婷婷色| 五月婷婷丁香网| 五月婷婷啪啪网| 丁香五月影院| 日韩人妻AV在线| 亚洲视频久久| 丁香五月色五月| 五月丁香在线观看| 五月丁婷婷| www.minyis.com【JT】实力收量可预付QQ2101460746 | 精品久9| 婷婷色色色| 婷婷五月成人社区| 91无码视频| 五月色 亚洲| 懂色AⅤ| www.99婷婷| 久久一级AV| 丁香五月天社区婷婷| 99热这里都是精品| 99色最新在线视频| 婷婷五月无码| 九热精品| 久久婷综| 99操99| 丁香五月激情综合啪啪| 九九色影视| 狠狠操狠狠色| 99超级碰碰| 五月婷婷丁香深深爱| 婷婷婷婷色| 五月天大香蕉| 碰人人97| 五月丁了香蕉综合| 婷婷五月天久久| 国产成人AV在线播放| www.色婷婷.com| 日韩色色一区| 亚洲永久免费| 婷婷丁香五月亚洲| 桃色激情五月天| 五月丁香在线精品| 99在线热| 日日干日日| 国产免费一区二区三州老师F1F1……| 丁香婷婷色五月| 婷婷五月天激情电影小说| 1000部毛片A片免费观看| 久久婷婷夜| 国产熟女日日骚五月丁香爱| 丁香六月婷婷久久综合| 琪琪狠狠干| 琪琪理论片| www.久久爱.com| 韩日另类| 激情五月天噢美| 影音先锋xfplay资源男人网| 丁香九月婷婷色| 日韩在线视频中文字幕| 婷婷五月成人| 超碰狠狠色| 激情综合网五月天天| 色狠狠色噜噜AV天堂五区消防| 狠狠干,狠狠操| 婷婷五月天激情小说| 九九99免费视频| 中文字幕97超级碰| 婷婷99狠狠| 香蕉综合网| 五月婷婷很很色| 成人在线精品| 日本www五月婷婷| 国产免费av网站| 五月丁香好婷婷A片网| wuyuedingxiang99| 欧美婷婷综合| 天天干天天拍| 狠狠搞狠狠操| 狼人狠狠操| 国产精品久久久久久久久久 | av色婷婷| 亚洲婷婷激情888精品久| 久久99激情| seav天堂| 九九99久久| 五月激情久久综合网| 一区=区操屄高清大全av| 天天日,天天插| 激情五月四色| 婷婷四月 成人 狠狠干| 中文字幕高清av| 艹天天射| 亚洲色五月| 九九九AAA热视频| 天天日天天爽| 99精在线| 五月天·www·com| 久久久久久久久久久月丁| 另类少妇人与禽zOZZ0性伦| 激情五月天开心总和网| 国产99精品免费视频| 婷婷五月天久久综合88| 成人视频网| 色色色网站| 六月丁香激情最新更新| 五月天成人综合| 91久女| 五月丁香啪| 草综合14| 激情五月天婷婷视频| 色五月婷婷视频| 综合色、色综合| 国产亚洲99久久精品| 亚洲热视频| 激情五月com| 五月天五月色婷婷综合| 99爱99操| 99碰视频| 黄色aa观看aaguochan| 99精品视频在线观看| www久久久| 久久思思热| 狠狠高潮精品亚洲1| 开心 五月 综合| 五月丁香婷婷综合网| 久久一级片| 任你搞在线观看视频| 五月婷婷影视| 少妇AB又爽又紧无码网站| 五月综合无码| 五月婷婷五月天| www.91在线观看| 色综合99| 国产日日操夜夜操的肉棒视频| 丁香五月激情月| 插插插丁香五月婷婷| 性一交一乱一交A片久久四色| 色情婷| 9色免费网| 碰碰碰碰碰99| 精品成人无码A片观看香草视频| 99热6精品| 99精品热| 色色色综合网| 99热成人| 成人做爰A片免费看视频| 亚洲色综合| 九九综合九九| 九九色综合九九色| 丁香五月影院| 9999久久久久| 五月丁香人妻| 这里只有精品免费视频| 伊人啪啪网| 色在线99| 一级二级色大片| 99热在线看片| 影音先锋一区二区三区| 丁香五月中文字幕| 伊人网碰碰| 五月婷婷色色色| 婷婷色情网| 五月丁香香蕉| www.zbzhongsen.com| 99热婷婷| 丁香五月天堂网| 成人国产欧美大片一区| 五月婷婷激情| 青草视频在线播放| 婷婷五月丁香综合亚洲| 五月丁香综缴情性爱| 9久9久9久女女女九九九一九| 91狼友视频在线观看| 嫩草哈哈操| 99精品视频推荐| 丁香五月婷婷亚洲激情四射| 老妇操B| www.99久久久| 久久婷婷六月天| 天天更新天天亚洲| 操熟女成人网| 亚洲综合五月天婷婷| 伊人在线视频| 五月丁香免费视频| 深爱五月婷婷| 丁香五月婷婷图片综合| 五月天大香蕉AV| 久久婷婷国产| 91精品国产91久久久久青草| 99热只有精品在线播放| 狠狠干在线视频| 99国产视频网| 96精品久久久久久久久| 激情婷婷丁香| 99在线视频操999| 久久五月天激情婷婷| 9久热在线视频精品| 夜色综合网| 国产视频福利| WWW.婷婷五月天.COM| 丁香婷婷精品视频| 狠狠狠狠狠操| 99无码精品| 九九色综合九九色| 九九九九热99超碰| 久久色五月天| 国产99精品免费视频| 亚洲色无码| 综合久久综合| 99在线精品免费视频| 97人人干视频| 久久99久久久久久久噜噜| www,com,五月色色| 激情网站综合五月天| 国产精品色婷婷AV综合色色| 色五月婷婷av| 亚洲精品白浆高清久久久久久| 亚洲精品第一国产综合亚AV | 色五月在线观看| 俺也去五月婷婷丁| 五月天丁香婷婷社区| 激情久久四色| 五月天五月天成人网亭亭成人色网站| 欧美日韩123| 精品国产乱码久久久久久免费| 综合久久六月| 五月婷婷高清| 99色亚洲| 99爱在线视频| 国产亚洲色婷婷久久99精品9j| 99精品激情| 男人的天堂五月丁香| 精品久久久人妻| 来吧亚洲综合网| 欲求不满的人妻| 99自拍网| 夜夜操激情| 热99这就是精品视频| 丁香六月综合| 99久热这里只有精品视频删减版| 亚洲人妻一区二区| 色色吧综合| 99福利视频导航| site:pzdcoin.com| 色播五月综合网| www.五月天| aaa9区免费在线观看| 丁香五月婷婷动漫视频| 在线成人视频免费| 婷婷丁香九色| 超碰狠狠操| 狠狠xx| 国产偷人爽久久久久久老妇APP | 综合久久婷婷五月丁香| 亚洲色婷婷视频| 超碰国产AV| 国产肥白大熟妇BBBB视频| 久99久精品视频| 操逼在线视频| 丁香五月成人| 丁香五月九九| 6080av| 欧美婷婷五月丁香| 玖玖婷婷视频| 欧美va亚洲va| 欧洲一区二区| 1024欧美日韩精品久久久| 丁香亭亭久久| 99欧州偷拍视频| 91综合网| 亚洲日韩26uuu| 丁香五月Av| 久久综合丁香| 亚洲激情五月| 色99综合色88| 思恩热国产视频右线观看| 美欧成人视频| 九月丁香欧美综合| 无码G高清天| 网站免费一站二站| 亚洲成人一区| 五月丁香色综合| 99热很操老逼| 色操b| 免费观看全黄做爰的视频| 91九色首页| 色哟哟www| 丁香久久九九99| 亚洲激情精品| 日韩综合成人| 综合激情五月综合激情五月激情1| 91色久| 激情五月天啪啪| 人人摸人人| 超碰成人在线免费观看| 久久婷婷六月| 五月天天天色| 天天干天天爽| 97伦色婷婷| 香蕉伊人综合| 成人做爰A片免费看网站找不到了| 亚洲综合五月天婷婷| 夜夜爱网站| 99热传媒| 久久午夜理论| 99热这里只有精品9| 18av天堂| 婷婷六月天精品| 亚洲碰碰碰| 五月丁香狠狠爱婷婷综合| 五月丁香激情怕怕| 天天操夜夜爽| 五月丁香色婷婷| 99热12| 色综合色色| 九月婷婷| 亚洲精品午夜国产va久久成人| 伊人狠狠色婷婷综合丁香一区| 色婷婷亚洲婷婷在线观看| 婷婷五月丁香99| 我要色综合五月婷婷| 99热在线观看| 亚洲瑟瑟精品在线| 日韩无码AV电影网站| 婷婷激情五月天亚洲综合| 思思9久久| 日日操,天天操| 97婷婷五月丁香| 欧州色色| 丁香婷婷AV| 色色 9| 中文字幕av久久爽| 色婷婷五月天偷拍| 六月久久婷婷| 天天干天天色综合| 99精品自拍视频| 久久五月天综合| 日本特黄aaaaa| 国产欧美熟妇另类久久久| 黄涩毛片| 99热黄| 色播五月天激情| 久久婷婷国产| 99成人在线观看| 激情精品久久| 91a片爽| 夜夜骑天天操| 97性视频| 丁香五月成人网| 五月花成人网| 丁香五月天91| 五月天婷婷小说| 成人亚洲精品| 六月婷婷狠狠做| 久久激情网| 久久婷婷六月| 日本4399天堂中出| 丁香成人五月天| 天天做天天爱天天搞| 人妻AV中文系列| 人人摸人人干人人做| 九色无码| 天天色天天日| 1010日日无码| 成人免费在线电影| 爱射综合| 狠狠色狠狠鲁| 婷婷久久婷婷色五月| 内射综合网| 激情六月五月婷婷综合网| 九九精品re免费视频| 51XX午夜影福利| 激情综合网,婷婷| 日韩小视频在线99| 国产免费一区二区三区三州老师F1F1.CC | 婷婷丁香红五月91C| 丁香激情五月| 九九亚洲视频| 狠狠CAO日日穞夜夜穞AV | 三男玩一女三A片| 婷婷五月丁香手机在线视频| 五月花激情网| www.色99| 天天在线久久综合| 日韩高清久久| 国产精品电影| 79色色| 开心五月激情| Aα在线免费观看| 96丁香六月婷婷蜜桃综合久久| 都市激情小说婷婷| 乱码操操| 丁香六月成人| 婷婷久久五月天| 久久机热这里只有精品| 99九九热在线观看| 欧美情色一区| 国产免费一区二区在线A片视频| 亚洲99综合| 狠狠狠激情网| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | 五月丁香婷爱在线| 26uuu视频欧美| 精品无码片| 日本一道久久| 五月综合缴情网| 久久性爱视频| 丁香五月九九| 天天日天天色| 伊人玖玖婷婷| 狠狠干思思热| 久久五月天激情美女| 一级内射毛片| 26uuu成人网| 看全色黄大色大片| 狠狠色婷婷在线| 久久大香免费| 久久97久久99久久综合欧美| 久久免费操| 伊人深爱综合| 精品视频99看在线视频| 狠狠爱婷婷爱| 熟女强人妻一区二区三区四区无| 色情五月丁香| 这里只有精品网站| 丁香综合伊人| 日本123区日韩欧美不卡在线看| 粉嫩AV久久一区二区三区| 国产精品成人在线| 国产偷人妻精品一区| 五月丁香啪啪综合网|