欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

設(shè)備偶發(fā)掉線重啟恢復(fù)?系統(tǒng)性排查根因的實(shí)用指南

設(shè)備偶發(fā)掉線重啟恢復(fù)?系統(tǒng)性排查根因的實(shí)用指南 設(shè)備偶發(fā)掉線、重啟后又能撐一段時(shí)間這種問(wèn)題是最折磨人的。你剛準(zhǔn)備深入查它又恢復(fù)了你剛離開現(xiàn)場(chǎng)它又?jǐn)嗔恕H罩痉胩炜床坏矫黠@報(bào)錯(cuò)硬件檢測(cè)一圈也沒(méi)發(fā)現(xiàn)異常最后只能一遍遍重啟治標(biāo)不治本。我自己排查過(guò)不少類似的案子從幾塊錢的USB轉(zhuǎn)串口模塊到帶Linux系統(tǒng)的工業(yè)終端都遇到過(guò)老實(shí)說(shuō)絕大多數(shù)“重啟就好”的故障背后都有規(guī)律只是你還沒(méi)抓到那個(gè)規(guī)律。這篇文章就是來(lái)幫你把“重啟”這個(gè)動(dòng)作從應(yīng)急手段變成取證工具系統(tǒng)性地把根因挖出來(lái)。“重啟后恢復(fù)”本身就是一個(gè)巨大的線索說(shuō)明設(shè)備大概率不是一次性硬件燒毀而是進(jìn)入了某種“不可恢復(fù)的狀態(tài)”。這個(gè)狀態(tài)可能是內(nèi)存泄漏、驅(qū)動(dòng)掛死、網(wǎng)絡(luò)會(huì)話僵死、電源波動(dòng)、看門狗復(fù)位甚至固件邏輯缺陷。我們要做的就是圍繞這個(gè)“不可恢復(fù)的狀態(tài)”設(shè)計(jì)排查路徑把每一次掉線都變成可分析的數(shù)據(jù)。下面直接進(jìn)入正題。1. 先給“掉線”畫像你面對(duì)的到底是哪種故障很多人一開口就說(shuō)“設(shè)備掉線”但這個(gè)描述太模糊了。不同層面的“掉線”對(duì)應(yīng)完全不同的排查方向第一步必須把故障現(xiàn)象精確化。我一般會(huì)讓現(xiàn)場(chǎng)人員回答四個(gè)問(wèn)題是網(wǎng)不通了還是業(yè)務(wù)斷了是設(shè)備整個(gè)沒(méi)反應(yīng)了還是只是某個(gè)服務(wù)掛了掉線時(shí)指示燈什么狀態(tài)有沒(méi)有人能親眼看到現(xiàn)場(chǎng)1.1 用故障表現(xiàn)反推可疑層次我把常見“掉線”分成下面幾類你可以對(duì)照自己的場(chǎng)景現(xiàn)象可能層次典型原因網(wǎng)卡燈滅、交換機(jī)端口燈滅物理層直接斷開物理鏈路/供電網(wǎng)線松動(dòng)、PoE供電不足、網(wǎng)卡芯片進(jìn)入死狀態(tài)網(wǎng)卡燈正常但ping不通IP網(wǎng)關(guān)也不通網(wǎng)絡(luò)層/系統(tǒng)層網(wǎng)卡驅(qū)動(dòng)掛死、IP沖突、ARP表異常、路由丟失IP能通但業(yè)務(wù)端口連不上應(yīng)用無(wú)響應(yīng)應(yīng)用層/系統(tǒng)資源進(jìn)程假死、線程死鎖、內(nèi)存耗盡、句柄泄漏設(shè)備整體無(wú)響應(yīng)串口/HDMI也沒(méi)輸出按鍵盤沒(méi)反應(yīng)系統(tǒng)層/硬件層內(nèi)核panic、硬件狗復(fù)位、CPU過(guò)熱、存儲(chǔ)讀寫卡死重啟后時(shí)間點(diǎn)丟失日志停在某個(gè)時(shí)刻系統(tǒng)層/看門狗硬件狗觸發(fā)、內(nèi)核crash、電源瞬間跌落如果你遇到的是“物理層正常但業(yè)務(wù)連不上”別去換網(wǎng)線如果“網(wǎng)卡燈都不亮了”也別急著查應(yīng)用日志。這個(gè)表格能幫你把注意力一開始就放到正確的位置。1.2 “重啟后恢復(fù)”告訴我們什么一次兩次重啟也許是巧合但“每次重啟都能恢復(fù)”這件事本身非常有信息量。它說(shuō)明故障狀態(tài)是可以被軟件復(fù)位清除的這基本排除了純硬件損壞芯片燒掉不會(huì)因?yàn)橹貑⒕秃?。那常見解釋只有幾種軟件進(jìn)入了錯(cuò)誤狀態(tài)比如某個(gè)驅(qū)動(dòng)在異常輸入下把自己鎖死了但EEPROM和系統(tǒng)文件還是好的。資源被持續(xù)消耗光了內(nèi)存泄漏、文件描述符耗盡、線程數(shù)爆掉重啟把資源全部清零于是滿血復(fù)活。外部條件觸發(fā)但沒(méi)有留下記錄比如某路供電在設(shè)備高負(fù)載時(shí)跌落重啟等于讓負(fù)載重新歸零。某種周期性事件累積到臨界點(diǎn)比如日志分區(qū)寫滿、ARP表被無(wú)效條目塞滿、DHCP租約續(xù)期失敗。一旦你意識(shí)到“重啟是資源的重新初始化”就會(huì)明白排查核心是在故障發(fā)生前記錄資源變化趨勢(shì)而不是等故障發(fā)生后去問(wèn)“它怎么死了”。2. 抓現(xiàn)場(chǎng)別讓下一次掉線白掉既然偶發(fā)故障無(wú)法隨叫隨到就需要建立一套“現(xiàn)場(chǎng)保護(hù)機(jī)制”。目標(biāo)很明確把每一次掉線前后的運(yùn)行狀態(tài)自動(dòng)留下來(lái)讓你事后能像回放監(jiān)控錄像一樣分析。注意這一步必須在故障復(fù)現(xiàn)之前做完否則又會(huì)陷入“等它掉線”的被動(dòng)局面。2.1 日志體系建設(shè)串口和syslog雙管齊下對(duì)于嵌入式Linux或物聯(lián)網(wǎng)設(shè)備串口日志往往是救命稻草。很多系統(tǒng)默認(rèn)的串口console級(jí)別是consolenull或者只輸出kernel panic信息必須在啟動(dòng)參數(shù)里設(shè)置類似consolettyS0,115200n8, preserve同時(shí)在系統(tǒng)里把內(nèi)核printk等級(jí)調(diào)低讓更多信息落到串口或持久化文件echo 8 /proc/sys/kernel/printk_devkmsg如果是類Debian/Ubuntu系統(tǒng)建議配置rsyslog把所有日志轉(zhuǎn)發(fā)到遠(yuǎn)端服務(wù)器而不是只存在本地。原因很現(xiàn)實(shí)設(shè)備死機(jī)后本地日志可能恰好沒(méi)寫進(jìn)去或者存儲(chǔ)已經(jīng)卡死遠(yuǎn)端日志至少能保留到掉線前最后一秒。配置方式不復(fù)雜在/etc/rsyslog.conf里加一行*.* 192.168.1.100:514然后重啟rsyslog服務(wù)。我用過(guò)這個(gè)辦法抓到一個(gè)故障本地日志在設(shè)備hang的時(shí)候根本沒(méi)落盤但遠(yuǎn)端日志清楚記錄了內(nèi)存從85%一路漲到99.7%的過(guò)程最終指向一個(gè)驅(qū)動(dòng)里的DMA緩沖區(qū)泄漏。2.2 關(guān)鍵指標(biāo)采樣腳本低成本高回報(bào)光有日志還不夠很多資源耗盡類故障在日志里只是零散線索。建議寫一個(gè)簡(jiǎn)單的監(jiān)控腳本放到計(jì)劃任務(wù)里每30秒跑一次把關(guān)鍵指標(biāo)追加到CSV文件或遠(yuǎn)端服務(wù)器#!/bin/bash echo $(date %F_%H:%M:%S), $(free -m | awk NR2{print $3}), $(cat /proc/loadavg | cut -d -f1-3), $(ss -s | head -1), $(cat /proc/net/dev | grep eth0 | awk {print $2}) /var/log/health_check.log別小看這幾行當(dāng)故障發(fā)生前如果能看到內(nèi)存、負(fù)載、連接數(shù)一路走高優(yōu)先級(jí)排序就完全不同了。我還見過(guò)一個(gè)更極端的案例某設(shè)備的free內(nèi)存一直是夠的但/proc/net/dev里dropped字段在每小時(shí)增長(zhǎng)幾千個(gè)明顯是網(wǎng)卡驅(qū)動(dòng)丟包后來(lái)?yè)Q驅(qū)動(dòng)版本就好了。如果沒(méi)有趨勢(shì)數(shù)據(jù)這個(gè)現(xiàn)象根本不會(huì)被發(fā)現(xiàn)。2.3 保留現(xiàn)場(chǎng)kernel crash和core dump配置如果你懷疑設(shè)備是內(nèi)核崩潰或某個(gè)進(jìn)程崩了光靠肉眼去看來(lái)不及。Linux里可以提前配好kdump和coredump分配crashkernel內(nèi)存# 在grub內(nèi)核啟動(dòng)參數(shù)加 crashkernel128M開啟應(yīng)用coredumpulimit -c unlimited echo /var/crash/core_%e_%p_%t /proc/sys/kernel/core_patternWindows場(chǎng)景則是開啟“自動(dòng)重新啟動(dòng)”選項(xiàng)旁邊的“將事件寫入系統(tǒng)日志”以及檢查C:\Windows\Minidump目錄下是否有藍(lán)屏dump。很多“掉線后重啟恢復(fù)”的設(shè)備其實(shí)之前藍(lán)屏過(guò)一次只是系統(tǒng)配置成了自動(dòng)重啟你根本來(lái)不及看見藍(lán)屏畫面。3. 分層排查鏈路從墻上的電到應(yīng)用里的線程現(xiàn)場(chǎng)數(shù)據(jù)有了之后就可以按層次逐層排除。我習(xí)慣從最底層開始往上走因?yàn)榈讓庸收贤鶗?huì)被上層表象掩蓋。例如供電不穩(wěn)會(huì)導(dǎo)致網(wǎng)卡芯片瞬間復(fù)位但表現(xiàn)出來(lái)可能是“應(yīng)用連不上服務(wù)器”讓你誤以為是軟件問(wèn)題。3.1 物理層與供電優(yōu)先排除的環(huán)境因素這一層最容易被忽略但實(shí)際占偶發(fā)掉線原因的比例非常高。關(guān)鍵檢查點(diǎn)網(wǎng)線和水晶頭用測(cè)線器或直接換一根質(zhì)量好的成品線測(cè)試。別只看Link燈亮不亮偶發(fā)丟包很多來(lái)自線序不合格、屏蔽層不良。PoE供電余量如果設(shè)備通過(guò)PoE供電功耗接近端口的供電上限設(shè)備高負(fù)載時(shí)可能觸發(fā)欠壓復(fù)位。查看交換機(jī)端口實(shí)際輸出功率留出至少20%余量。電源適配器溫度用手摸一下電源外殼是否燙手。電解電容在高溫下容量下降紋波變大設(shè)備運(yùn)行一段時(shí)間后故障率飆升。接地和浪涌工業(yè)現(xiàn)場(chǎng)接地不好時(shí)變頻器或電機(jī)啟停會(huì)導(dǎo)致地電位漂移網(wǎng)卡偶爾“假死”。有條件的話用示波器抓一下設(shè)備輸入電源的紋波。我遇到過(guò)一臺(tái)設(shè)備每天凌晨3點(diǎn)左右掉線重啟就好。排查到最后發(fā)現(xiàn)是同一回路的冰箱壓縮機(jī)每天晚上3點(diǎn)啟動(dòng)啟動(dòng)瞬間壓降過(guò)大設(shè)備電源管理芯片觸發(fā)了欠壓保護(hù)。這不是軟件能解決的只能換電源或加UPS。3.2 網(wǎng)絡(luò)鏈路不要默認(rèn)交換機(jī)就是好的物理鏈路OK之后檢查二層和三層網(wǎng)絡(luò)。注意幾個(gè)典型坑DHCP租約過(guò)期設(shè)備IP是DHCP獲取的租約到期后沒(méi)有成功續(xù)租設(shè)備會(huì)掉線。關(guān)鍵是很多設(shè)備在續(xù)租失敗后不會(huì)立刻主動(dòng)報(bào)錯(cuò)你重啟設(shè)備時(shí)它重新申請(qǐng)IP看起來(lái)就像“重啟恢復(fù)了”。檢查方法很簡(jiǎn)單讓設(shè)備長(zhǎng)時(shí)間運(yùn)行觀察路由器和設(shè)備日志里DHCP續(xù)約記錄。IP地址沖突另一個(gè)設(shè)備占用了相同IP會(huì)導(dǎo)致間歇性斷網(wǎng)。把設(shè)備設(shè)成靜態(tài)IP后一段時(shí)間內(nèi)故障消失基本就是這個(gè)原因。ARP表異常某些交換機(jī)或AP的ARP學(xué)習(xí)機(jī)制有問(wèn)題設(shè)備休眠喚醒后ARP表項(xiàng)老化業(yè)務(wù)就斷了但設(shè)備本身是健康的。這時(shí)可以看設(shè)備的鄰居表ip neigh show如果網(wǎng)關(guān)MAC不對(duì)或狀態(tài)是STALE就是ARP層面的問(wèn)題。MTU不一致如果設(shè)備需要傳輸大包而鏈路某一跳MTU設(shè)置偏小會(huì)出現(xiàn)“ping -l 1472”失敗但小包正常的現(xiàn)象。這種故障表現(xiàn)為業(yè)務(wù)間歇性中斷不是整機(jī)掉線但很容易被誤判。3.3 驅(qū)動(dòng)與內(nèi)核排查系統(tǒng)層的“假死”當(dāng)網(wǎng)絡(luò)層看起來(lái)正常但設(shè)備頻繁掉線或整機(jī)無(wú)響應(yīng)重點(diǎn)檢查驅(qū)動(dòng)和內(nèi)核。推薦在故障復(fù)現(xiàn)后立即運(yùn)行以下指令# 查看內(nèi)核環(huán)形緩沖找OOM、drivers、watchdog相關(guān) dmesg -T | tail -200 # 查看內(nèi)存水位 cat /proc/zoneinfo | grep -E low|high|min # 查看當(dāng)前阻塞的進(jìn)程 ps -eo pid,stat,wchan:30,cmd | grep D # 查看中斷是否異常 cat /proc/interrupts # 查看網(wǎng)絡(luò)驅(qū)動(dòng)統(tǒng)計(jì) ethtool -S eth0 | grep -i -E error|drop|reset其中ps里D狀態(tài)的進(jìn)程是重點(diǎn)。如果某個(gè)進(jìn)程長(zhǎng)時(shí)間處于不可中斷睡眠通常是等硬件I/O返回說(shuō)明驅(qū)動(dòng)或者硬件卡住了。有一次我排查工業(yè)電腦掉線發(fā)現(xiàn)kworker一直占用CPU 100%再看ftrace才發(fā)現(xiàn)是某個(gè)GPIO驅(qū)動(dòng)在中斷處理函數(shù)里死循環(huán)把整個(gè)系統(tǒng)拖到不可用狀態(tài)。這問(wèn)題你不看內(nèi)核棧根本猜不到。USB設(shè)備也常是這個(gè)重災(zāi)區(qū)。如果設(shè)備是USB網(wǎng)卡、USB轉(zhuǎn)串口、USB集線器供電要特別關(guān)注dmesg里的usb 1-1.2: device descriptor read/64, error -71這類信息這表示USB設(shè)備通信異常設(shè)備可能瞬間斷開又重新枚舉。Windows系統(tǒng)可以檢查事件查看器里的Kernel-PnP事件很多“設(shè)備掉線”其實(shí)是USB設(shè)備被動(dòng)重置。3.4 應(yīng)用與業(yè)務(wù)進(jìn)程假死比進(jìn)程崩潰更常見如果系統(tǒng)活了網(wǎng)也通了但業(yè)務(wù)服務(wù)沒(méi)響應(yīng)重點(diǎn)往應(yīng)用層查。典型的“假死”包括線程死鎖兩個(gè)線程互相等待鎖服務(wù)看起來(lái)沒(méi)掛但所有請(qǐng)求超時(shí)。單線程事件循環(huán)被阻塞比如某個(gè)回調(diào)里做了同步磁盤IO磁盤慢時(shí)整個(gè)服務(wù)“卡住”。連接池/線程池耗盡連接不釋放新請(qǐng)求進(jìn)不來(lái)舊請(qǐng)求也不響應(yīng)。資源泄漏文件描述符、內(nèi)存、臨時(shí)文件越攢越多最終觸發(fā)系統(tǒng)保護(hù)機(jī)制殺掉服務(wù)。排查手段# 查看進(jìn)程狀態(tài)和句柄數(shù) pidof your_service ls /proc/pid/fd | wc -l # 抓Java應(yīng)用??淳€程卡在哪 jstack pid /tmp/thread_dump.txt # 動(dòng)態(tài)追蹤系統(tǒng)調(diào)用 strace -p pid -f -t -o /tmp/syscall_trace.log如果你發(fā)現(xiàn)掉線時(shí)間點(diǎn)和某次異常輸入強(qiáng)相關(guān)比如Modbus報(bào)文異常、XML/JSON解析錯(cuò)誤、某個(gè)傳感器傳回非法值那大概率是業(yè)務(wù)邏輯沒(méi)有做好異常處理一條壞數(shù)據(jù)就能讓整個(gè)服務(wù)退出或卡死。這類問(wèn)題一定要保留觸發(fā)報(bào)文和線程棧不然光看代碼很難定位。4. 最高頻的“幕后黑手”五個(gè)極其相似的隱藏問(wèn)題在足夠多的實(shí)際案例里我注意到偶發(fā)掉線故障背后有幾個(gè)反復(fù)出現(xiàn)的原因它們有個(gè)共同點(diǎn)平時(shí)不顯眼累積到臨界點(diǎn)才爆發(fā)重啟后一切歸零。我單列一節(jié)是因?yàn)檫@些原因值得優(yōu)先懷疑。4.1 內(nèi)存泄漏和句柄泄漏設(shè)備大部分時(shí)間都在“慢性失血”內(nèi)存泄漏是最典型的“重啟后恢復(fù)”故障。系統(tǒng)在剛啟動(dòng)時(shí)干凈清爽但某個(gè)驅(qū)動(dòng)或進(jìn)程每小時(shí)泄漏幾十MB一兩天后內(nèi)存耗盡進(jìn)程被OOM Killer殺掉或系統(tǒng)整體無(wú)法分配內(nèi)存應(yīng)用假死。重啟把內(nèi)存清空于是你看到“又好了”。判定方法不復(fù)雜持續(xù)監(jiān)控free -m、MemAvailable或用/proc/pid/status里的VmRSS繪制趨勢(shì)圖。只要數(shù)值呈現(xiàn)單調(diào)遞增且無(wú)回落泄漏基本實(shí)錘。有些驅(qū)動(dòng)泄漏到內(nèi)核內(nèi)存了看用戶進(jìn)程沒(méi)用要通過(guò)slabtop看內(nèi)核分配。遇到這種問(wèn)題優(yōu)先檢查是否有舊版本驅(qū)動(dòng)、第三方閉源模塊、以及啟用了大量調(diào)試功能的開發(fā)版本。4.2 看門狗和自動(dòng)復(fù)位機(jī)制設(shè)備其實(shí)比你想象的“脆”很多工業(yè)設(shè)備、嵌入式主板默認(rèn)啟用了硬件看門狗或軟件看門狗。只要某個(gè)服務(wù)超過(guò)N秒沒(méi)喂狗系統(tǒng)就會(huì)強(qiáng)制重啟。這個(gè)機(jī)制本身是保護(hù)但有時(shí)候反而成為“掉線”的原因。比如某服務(wù)卡住3秒看門狗就復(fù)位系統(tǒng)表面現(xiàn)象就是設(shè)備掉線并自動(dòng)重啟。查這種問(wèn)題要特別注意設(shè)備有沒(méi)有“自動(dòng)重啟”功能重啟時(shí)間是否有規(guī)律。如果掉線后大約幾十秒內(nèi)自動(dòng)恢復(fù)而不是等你手動(dòng)重啟強(qiáng)烈懷疑看門狗。查看內(nèi)核日志中的watchdog: watchdog0: watchdog did not stop!或reboot: Restarting system記錄。應(yīng)用層則檢查喂狗線程是否和某個(gè)容易阻塞的IO路徑發(fā)生了競(jìng)爭(zhēng)。4.3 電源管理策略為了省電而“自斷生路”Linux和Windows都有豐富的電源管理策略對(duì)設(shè)備來(lái)說(shuō)往往好心辦壞事。Linux里網(wǎng)卡可能進(jìn)入節(jié)能模式ethtool eth0能看到Wake-on-LAN、Energy-Efficient Ethernet是否開啟。EEE在長(zhǎng)網(wǎng)線下可能引發(fā)偶發(fā)丟包直接關(guān)掉測(cè)試ethtool -s eth0 eee off。USB設(shè)備有自動(dòng)掛起機(jī)制/sys/bus/usb/devices/*/power/control設(shè)為auto時(shí)長(zhǎng)時(shí)間空閑后USB設(shè)備可能進(jìn)入掛起等喚醒時(shí)驅(qū)動(dòng)反應(yīng)不過(guò)來(lái)設(shè)備就假死。強(qiáng)制改成on試試。Windows設(shè)備管理器里網(wǎng)卡“允許計(jì)算機(jī)關(guān)閉此設(shè)備以節(jié)約電源”和“節(jié)能以太網(wǎng)”選項(xiàng)都建議在排查期間關(guān)閉。Windows 11長(zhǎng)時(shí)間使用網(wǎng)卡斷網(wǎng)、重啟又好的問(wèn)題很多就和節(jié)能選項(xiàng)強(qiáng)相關(guān)。這類問(wèn)題最坑的地方在于掉線前通常有較長(zhǎng)的空閑期你手動(dòng)連續(xù)使用設(shè)備時(shí)反而不掉線。統(tǒng)計(jì)一下故障發(fā)生的空閑時(shí)長(zhǎng)能幫助你快速定位。4.4 日志輪轉(zhuǎn)和磁盤寫滿系統(tǒng)盤滿了什么怪毛病都可能來(lái)系統(tǒng)日志不是無(wú)限增長(zhǎng)的但很多嵌入式設(shè)備默認(rèn)沒(méi)配置logrotate或者應(yīng)用不停打印調(diào)試日志最終/分區(qū)或/var/log分區(qū)被寫滿。磁盤滿之后應(yīng)用嘗試寫日志被阻塞后續(xù)邏輯卡死數(shù)據(jù)庫(kù)或緩存組件寫入失敗直接退出臨時(shí)文件無(wú)法創(chuàng)建服務(wù)握手失敗后表面看起來(lái)像“掉線”。排查時(shí)先看df -h如果某個(gè)分區(qū)使用率超過(guò)95%優(yōu)先處理。再把應(yīng)用日志級(jí)別調(diào)低、配置文件輪轉(zhuǎn)周期調(diào)短。這個(gè)問(wèn)題我在量產(chǎn)設(shè)備上見過(guò)無(wú)數(shù)次小廠商的固件默認(rèn)就開著debug日志跑幾天后存儲(chǔ)就滿了。4.5 網(wǎng)絡(luò)會(huì)話與狀態(tài)的老化連接沒(méi)有被正常銷毀長(zhǎng)連接類協(xié)議TCP、WebSocket、Modbus TCP長(zhǎng)連接最容易出現(xiàn)“會(huì)話僵尸化”。服務(wù)器端keep-alive設(shè)置太長(zhǎng)設(shè)備端防火墻或NAT會(huì)話超時(shí)設(shè)置太短兩邊一沖突連接被中間設(shè)備靜默丟棄設(shè)備自己卻毫不知情。這種掉線特點(diǎn)設(shè)備IP能ping通服務(wù)端口卻連不上因?yàn)門CP連接狀態(tài)已經(jīng)被中間設(shè)備清掉了但設(shè)備認(rèn)為連接還在。排查方法抓包比較兩端TCP狀態(tài)查看設(shè)備側(cè)連接表ss -tnp | grep remote_ip確認(rèn)是否存在會(huì)話超時(shí)機(jī)制主動(dòng)發(fā)送心跳保活。我曾經(jīng)遇到過(guò)一款設(shè)備每天凌晨4點(diǎn)30分左右和服務(wù)器斷開重啟設(shè)備又能連上。抓包后發(fā)現(xiàn)TCP連接被NAT設(shè)備在凌晨4點(diǎn)30分清除了全局會(huì)話老化時(shí)間設(shè)置但設(shè)備沒(méi)有重連機(jī)制一直傻等。最后在應(yīng)用層加了心跳和自動(dòng)重連邏輯問(wèn)題徹底解決。5. 讓掉線“被迫現(xiàn)形”復(fù)現(xiàn)手段和長(zhǎng)期觀測(cè)設(shè)計(jì)如果前面所有手段都沒(méi)抓到說(shuō)明故障復(fù)現(xiàn)周期太長(zhǎng)或條件太苛刻。此時(shí)不能干等要主動(dòng)制造壓力逼故障現(xiàn)身。這里提供一套循序漸進(jìn)的復(fù)現(xiàn)思路。5.1 負(fù)載與壓力測(cè)試從“正常跑”到“極限跑”最常見是通過(guò)施加高負(fù)載來(lái)提高故障概率。比如內(nèi)存壓力測(cè)試用stress-ng --vm 4 --vm-bytes 512M試著占滿內(nèi)存網(wǎng)絡(luò)壓力測(cè)試用iperf3 -c 服務(wù)器 -P 16 -t 3600連續(xù)打流量連接數(shù)壓力寫腳本快速創(chuàng)建成千上萬(wàn)個(gè)TCP連接再斷開測(cè)連接表處理能力CPU滿載stress-ng --cpu 8看系統(tǒng)在高溫下的穩(wěn)定性。壓力測(cè)試的思路是如果設(shè)備在滿載或頻繁并發(fā)下掉線率顯著上升說(shuō)明是資源或機(jī)制上的脆弱如果怎么壓都不出問(wèn)題那更可能是偶發(fā)外部因素需要繼續(xù)盯環(huán)境。5.2 環(huán)境因素復(fù)現(xiàn)溫度、振動(dòng)和EMC有些設(shè)備“夏天才掉線”“現(xiàn)場(chǎng)才掉線拿到辦公室就沒(méi)事”這時(shí)候要懷疑環(huán)境因素。高溫復(fù)現(xiàn)把設(shè)備放進(jìn)恒溫箱從40℃逐步升到60℃甚至更高觀察掉線臨界點(diǎn)。芯片過(guò)熱會(huì)導(dǎo)致時(shí)序紊亂最常見的現(xiàn)象就是網(wǎng)卡或USB隨機(jī)斷開。振動(dòng)復(fù)現(xiàn)工業(yè)現(xiàn)場(chǎng)的振動(dòng)可能讓接觸不良的接口間歇性斷開??梢杂眯⌒驼駝?dòng)臺(tái)或者直接用手適度敲擊設(shè)備外殼觀察是否觸發(fā)掉線。電磁干擾復(fù)現(xiàn)雖然普通人很難搭建標(biāo)準(zhǔn)EMC測(cè)試環(huán)境但你可以試試把大功率電器、變頻器靠近設(shè)備看是否觸發(fā)故障。有次我們排查一個(gè)掉線問(wèn)題最后發(fā)現(xiàn)是旁邊的高速伺服驅(qū)動(dòng)器輻射干擾導(dǎo)致網(wǎng)卡芯片鎖死距離拉開30厘米就再?zèng)]出現(xiàn)過(guò)。5.3 自動(dòng)化“老化測(cè)試腳本”替代人工盯守如果故障兩天才出現(xiàn)一次沒(méi)人能一直盯著。寫一個(gè)自動(dòng)化腳本把“掉線檢測(cè)-重啟-記錄時(shí)間”做成閉環(huán)定時(shí)ping遠(yuǎn)端網(wǎng)關(guān)和服務(wù)器連續(xù)失敗N次判定為掉線觸發(fā)時(shí)抓取當(dāng)前進(jìn)程狀態(tài)、日志、網(wǎng)絡(luò)統(tǒng)計(jì)再執(zhí)行重啟記錄重啟時(shí)間和原因把多輪數(shù)據(jù)匯總成表格定期跑一周以上輸出報(bào)告。腳本可以非常簡(jiǎn)單while true; do if ! ping -c 3 -W 5 192.168.1.1 /dev/null 21; then echo $(date) DEVICE DOWN /tmp/link_events.log # 抓現(xiàn)場(chǎng)快照 dmesg -T /tmp/down_dmesg_$(date %s).log ss -tn /tmp/down_ss_$(date %s).log reboot fi sleep 30 done真實(shí)項(xiàng)目中我沒(méi)少用這類腳本雖然粗暴但對(duì)偶發(fā)故障極有效。關(guān)鍵是讓每一次異常都留下時(shí)間和狀態(tài)標(biāo)記這樣丟給研發(fā)團(tuán)隊(duì)時(shí)還有現(xiàn)場(chǎng)數(shù)據(jù)而不是一句“反正又掉線了”。6. 常規(guī)排查工具的“高級(jí)用法”別只會(huì)看報(bào)錯(cuò)很多工具大家天天在跑但要么只看是否報(bào)錯(cuò)要么不知道怎么解讀正常輸出。在偶發(fā)掉線場(chǎng)景里這些工具的“高級(jí)用法”價(jià)值往往更高。6.1 dmesg時(shí)間戳和分級(jí)過(guò)濾dmesg人人會(huì)用但偶發(fā)問(wèn)題要求精確到分鐘級(jí)時(shí)間線。默認(rèn)很多系統(tǒng)的dmesg時(shí)間戳是相對(duì)啟動(dòng)時(shí)間的用dmesg -T轉(zhuǎn)成可讀時(shí)間查看某級(jí)別以上信息可以用dmesg -l err,warn如果要看從某個(gè)時(shí)間點(diǎn)之后的所有信息可以dmesg -T | awk $1 2026-01-01 12:30:00 {print}err級(jí)別不是全部很多關(guān)鍵信息在warn和notice級(jí)別里比如網(wǎng)卡重啟、USB復(fù)位、溫度警告。6.2 ethtool --- 不止看link狀態(tài)和速率除了ethtool eth0檢查速度/雙工在偶發(fā)問(wèn)題里更要看ethtool -S eth0每個(gè)計(jì)數(shù)器的含義都值得關(guān)注rx_crc_errors、tx_timeout、rx_missed直接和掉線關(guān)聯(lián)。ethtool -d eth0導(dǎo)出網(wǎng)卡寄存器狀態(tài)驅(qū)動(dòng)內(nèi)部狀態(tài)很容易暴露問(wèn)題。ethtool --phy-statistics eth0查看物理層統(tǒng)計(jì)能發(fā)現(xiàn)CRC錯(cuò)誤、信號(hào)質(zhì)量下降。這些數(shù)據(jù)在正常時(shí)可能都是0或緩慢增長(zhǎng)一旦某些計(jì)數(shù)在掉線瞬間暴漲基本可以直接定位到驅(qū)動(dòng)或物理鏈路。6.3 syslog、事件查看器和Wireshark的組合Windows設(shè)備優(yōu)先看事件查看器里的“系統(tǒng)”日志中Kernel-Power、Kernel-PnP、Tcpip、NDIS事件“應(yīng)用程序”日志中服務(wù)崩潰的Event 1000、.NET Runtime錯(cuò)誤如果啟用了藍(lán)屏dump查看C:\Windows\Minidump下最近文件。如果是網(wǎng)絡(luò)通信類問(wèn)題抓包永遠(yuǎn)是好選擇。在設(shè)備端跑tcpdump -i eth0 -w /tmp/capture_%Y%m%d_%H%M%S.pcap -G 3600 -W 24保留一整天的抓包文件掉線后回頭分析那段時(shí)間的報(bào)文。重點(diǎn)看有沒(méi)有大量TCP重傳、亂序、RST、或者中間鏈路靜默丟包。抓包文件大沒(méi)關(guān)系保留至少一周等故障出現(xiàn)再刪。7. 一套可直接落地的排查執(zhí)行順序把以上內(nèi)容收攏成一套可以“照著做”的順序盡量減少重復(fù)勞動(dòng)。我在實(shí)際項(xiàng)目里基本都按這個(gè)順序走效果不錯(cuò)先?,F(xiàn)場(chǎng)給設(shè)備配置串口/遠(yuǎn)端日志、內(nèi)存/網(wǎng)絡(luò)趨勢(shì)監(jiān)控、核心轉(zhuǎn)儲(chǔ)選項(xiàng)確保下一故障發(fā)生時(shí)能留下數(shù)據(jù)??磿r(shí)間規(guī)律整理故障發(fā)生時(shí)間、持續(xù)時(shí)長(zhǎng)、恢復(fù)方式。若時(shí)間有強(qiáng)規(guī)律每天固定、間隔固定優(yōu)先懷疑定時(shí)任務(wù)、環(huán)境周期事件或DHCP租約??焖龠^(guò)物理層排查供電余量、網(wǎng)線、端口協(xié)商、溫度。這一步成本低但經(jīng)常直接找到問(wèn)題。過(guò)系統(tǒng)層檢查dmesg里掉線前后是否有驅(qū)動(dòng)錯(cuò)誤、USB reset、OOM、watchdog查看系統(tǒng)資源趨勢(shì)。過(guò)應(yīng)用層查業(yè)務(wù)服務(wù)日志、線程棧、文件描述符、連接池。主動(dòng)復(fù)現(xiàn)沒(méi)有結(jié)論就跑壓力測(cè)試、溫度循環(huán)、自動(dòng)化掉線檢測(cè)人工擴(kuò)大故障率。收斂根因把證據(jù)鏈歸檔能定位到具體模塊后再談修復(fù)方案。這個(gè)順序不是硬性的物理層和服務(wù)層有時(shí)需要并行查。但有一點(diǎn)是原則不要在沒(méi)留日志的情況下反復(fù)嘗試“復(fù)現(xiàn)”那樣每一次掉線都白白浪費(fèi)了。我見過(guò)太多人連續(xù)幾天蹲在現(xiàn)場(chǎng)最后故障原因還是一個(gè)重復(fù)觸發(fā)幾百次的問(wèn)題只因?yàn)楫?dāng)時(shí)沒(méi)有記錄后來(lái)只能靠回憶猜測(cè)。我自己處理這類問(wèn)題最大的體會(huì)是偶發(fā)掉線幾乎從來(lái)不是“無(wú)緣無(wú)故”它只是像一個(gè)不常露面的病人病因就在那里缺少的是一套能抓住它發(fā)病瞬間的監(jiān)測(cè)體系。你先別急著換硬件、改代碼把“每次故障都留下完整現(xiàn)場(chǎng)”這個(gè)基礎(chǔ)打好再按層次排查大部分問(wèn)題最終都會(huì)浮出水面。希望這套方法能讓你少走彎路也歡迎在評(píng)論區(qū)聊聊你遇到的掉線案例有些奇怪現(xiàn)象我一個(gè)人可猜不透。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
操B视频在线播放| 小色小蛇伊人婷婷色香五月| 日本WWW九九九| 大香蕉久久| 国产AV一区二区三区最新精品| 99er6热在线观看精品6| 色五月婷婷五月丁香五月激情五月视频| 专区无日本视频高清8| 天天日,天天插| 五月丁香综合啪啪| 丁香六月青青草| 色五月大香蕉| 久久激情综合| 深爱激情网综合| 丁香五月天啪啪| 日本久久激情| www.激情| 五月丁香激情婷婷| 色色a| 六月色日韩| 九九99九九精品免费| 91成人电影| 99高级会所久久| 精品人妻在线| 99热精品10| 大战熟女丰满人妻AV| 丁香婷婷激情六月五月开心| 丁香五月天在线| 天搞天天天天天| 婷五月天| 9 1大香蕉| 久久伊人五月天| 99久久这里只有精品| 能看的av片| 婷婷无码视频| 性欧美日本| 99丁香婷婷综合网| 极骚大香蕉伊人| 天堂综合久久| 激情亚洲婷婷| 欧美大香蕉视频| 婷婷六月久久综合导航| 这里只有精品9| 日韩 欧美 国产 一区 二区| 色播丁香| 五月婷伊人| 五月天激情综合在线| 伊人超碰在线| 97人妻碰碰碰久久| 五月丁香花视频| 九月丁香婷婷网| 91九色熟女| 操97在线观看| 特黄三级又爽又粗又大| 色婷婷精| av婷婷丁香| 中文字幕日本最新乱码视频| 青青草伊人婷婷| 男妓跪趴把舌头伸进我的嘴巴| 五月天婷婷激情小说电影| 五月婷在线观看| 人人摸人人干人人做| 一本道综合网| 中文字幕簧片| 五月天婷婷丁香六月| 婷婷永久在线| 婷婷色情小说| 免费亚洲婷婷五月| 久久亚洲婷婷| 国产精品久久久久久妇女6080| 狠狠色综合网| 久久91久久精品久久| 婷婷中合| 五月丁了香蕉综合| 丁香五月激情综合久久| 色五月婷婷五月天激情综合| 色婷婷综合久久久久| 丁香婷婷五月综合影院| 在线播放中文字幕| 99国产er热视频| 免费视频舔| 丁香六月婷婷一区| 天天干com| 成人五月天视频播放| 好吊丝aV| 亚洲色99| 开心激情综合| 六六久久黄色| 久久婷婷五月综合精品蜜芽| 精品久久人妻热| 五月丁香操婷逼| 五月丁香啪啪网| 日韩色色小视频| 婷婷精品在线| 天天狠狠色| 成人丁香婷婷| 婷婷狠狠干| www.久久久久| 婷婷丁香五月天操逼| www.91AV.com| 亚洲综合字幕色色| 激情五月四色| 亚洲综合五月天| 久色网| 99色在线观看| 五月婷婷九九热| 玖玖资源在线视频| 大鸡巴伊人网| 婷婷六月丁香开心深深爱| 激情播丁香| 五月婷婷网五月在线| 色五月婷婷五月| 玖玖色综合网| 色播激情| www.99热最新视频8| 国产精品香蕉| 丁香五月AV| 亚洲AV成人在线观看| 性爱五月丁香| 五月婷婷网五月在线| 色婷婷精品视频| 婷婷色婷婷| 青青草原爱爱网| 网色99| 久色五月婷婷综合| 丁香五月成人社区| 94干大香蕉| 久久色在线视频| 91人人爽久久涩噜噜噜| 国产毛片精品一区二区色欲黄A片| 色亭亭丁香五月天| 婷婷五月丁香成人| 色五月激情五月开心五月| 北条麻妃伊人 | 九九精品综合| 九九久久玖玖爱| 91丨九色丨高潮丰满日本| 色五月 激情婷婷 综合五月天| 久草热视频在线观看| 婷婷丁香五月天激情| 激情6月| 狠狠综合网| 久久婷婷五月天激情唯美| 成人电影AV在线观看| 日韩少妇内射免费播放| 五月丁香色婷婷伊人| 99亚洲日韩| 色色色色色色色色综合网| 婷五月天影院| 亚洲九九九九| 熟妇内谢69XXXXXA片| AV无码免费| 能看的AV网站| 极品人妻VIDEOSSS人妻| 天天五月香欧美| 99精品在线观看视频| 99精品视频在线观看| 色五月婷婷影院| 99精品视频在线| 99九无网码| 色爱综合视频| 九色视频91| 99爽视频| 欧美99热| 婷婷午夜精品久久久| 国产五月天欧美色| 亚洲视频另类| 综合五月婷婷| 亚洲AVDVD| 色狠狠色狠狠| 丁香六月婷婷| 情欲综合网| 色优久久| 成人日韩欧美| 色情五月丁香| 九月婷婷综合八月丁香在线观看| 影音先锋女人AA鲁色资源| 婷婷激情综合网| 99视频在线精品| 丁香六月丁香婷婷激情| 亚洲亚洲亚洲AAAAAA| 日产精品久久久久久久蜜臀| 五月天自拍网| 91午夜婷婷狠狠久久综合9色| 99热这里只有精品亚洲| 99热在线观看| 开心五月深爱激情| Caop在线| 操91| 五月天婷婷爱丁香中文字幕| 五月丁香六月激情| 亚洲成人人人操| 精品自拍99| 五月草影视| 久久婷婷七月丁香| 激情五月婷婷丁香综合网| 免费黄网不卡AV| 久久奄也去色色网站| 亚洲精品字幕在线观看| 丁香六月av| 成人无码精品1区2区3区免费看| 五月花婷婷在线精品视频| 综合婷婷| 色人五月婷婷| 艹色18p| 色五月首页| 永久热91| 久久婷婷伊人| 少妇口诉沐足视频播放器网址| 国产精品久久久久久妇女6080| 噜色精品| 欧美色碰| 大香蕉久久婷婷精品综合| 玖玖爱伊人| 欧美色激情四射| 国产日韩亚洲欧美在线观看| 永久免费视频| 第四色在线观看| 亚洲精品性色| 日本视频99| 五月婷婷成人| 九一99| 久久婷婷丁香视频网| 成人婷婷| 五月天婷婷在线观看精品男人| 青草视频在线播放| 欧美乱码国产一级A片| 日韩成人中文字幕| 99网址在线观看| 五月丁香五月婷婷| 亚洲综合激| 粉嫩AV久久一区二区三区| 亚洲精品性色| 99久久9| 精品亚洲国产成AV人片传媒| 五月天激情久久| 久久久久9| 99综合视频| 婷婷丁香激情五月天色色| 伊人色五月| 婷婷综合五月| 97se视频在线| 综合激情啪啪| 狠狠 久久| 超碰人人色| 99re在线观看视频| 九九精品热播| 亚洲综合五月天婷婷| 五月天激情亚洲| 婷婷激情综合网| 亚洲无码影音| 99精品热| 日本色五月婷婷| 久久国产性爱A V| 色yeye欧美| 成人片在线播放| 日韩欧美骚货| 十月丁香婷婷| 色停停香蕉视频| 真实的国产乱XXXX在线91| 91一起艹| 五月天天天天天天天天天天天婷婷婷| 国产精品久久久60086| 99色天堂| 亚洲不卡| 69色婷婷| 色五月婷婷成人| 五月丁香大香蕉| 色综合天天天天做夜夜| 丁香五月激情综合在线观看| 99操视频| 婷婷综合网性| 激情婷婷丁香色五月| 97人人超| 永久精品| 伊人久久婷婷| 色五月天丁香| 色五月天丁香婷婷| 日本九九视频| 天天综合色| 97婷婷丁香五月| 九九AV| 9久热在线精品| 日韩黄色中文字幕| 99在线精品免费视频| 另类激情综合| 久久久.COM| 激情5月天天天| 天天干,天天舔| 久操干| 大大香蕉综合在线| 五月天小说激情| 亚洲亚洲人成综合网络| 欧美激情五月天| 超碰碰碰碰| 五月婷婷,狠狠操| 日韩九九| 色色色色色色色色网站| 真实亲子乱子伦高清在线观看| 激情的五月| 丁香九月综合| 人人爽天天莫| WWW色五月天| 六月丁香婷婷五月天| 伊人9在线| 婷婷色一二三区波多野结衣| AⅤ在线播放网| 91人妻人人操| 四色AVwww| 欧美综合激情五月| 激情网综合| 婷婷五月天另类网站| 五月婷婷m| 婷婷五月天六月综合| 亚洲日韩人妻操逼| 婷婷激情五月综合丁| caopeng97日韩| 激情网站综合五月天| 五月激激网w'w'w| 欧美综合婷婷网| www.伊人天堂偷偷婷婷| 夜夜做夜夜愛| 国产精品国产| 第五色婷婷| 婷婷久久综合| 亚洲12p| 69热91天堂| 色九月丁香婷婷蜜桃在线观看| 99热最新国内| 亚洲熟女乱色综合亚洲网站| 欧美一级色| 亚洲综合婷婷五月| 婷色人人狠| 婷婷五月天少妇| 毛片新网地| 国产精品色一哟哟| 99热在这里只有精品| 激情五月天影院| 亚洲无码色| 五月婷啪啪| 五月丁香大香蕉| 欧洲色色| 激情久久网 | 五月丁香五月丁香| 开心五月婷婷在线| 色99在线| 99热免费| 五月婷婷黄色毛片| 丁香五月天网站| 五月花成人网| 丁香五月婷婷五月天| 婷婷综合五月天| 东京热免费视频| 久综合4| 墨西哥毛片内射精| 色八月婷婷| 99九九精品视频| 极品另类| 国产黄色在线观看| 亚洲乱码在线观看| 操逼在线视频| 久草视频一,二三四| 无码少妇高潮喷水A片免费| 丁香五月开心七月| 免费黄色片子| 五月婷婷六月少妇激情| 久久久免费精彩视频| 九九无码AV| 99久久人人| 大香蕉五月天| 79色色| 久久久中文| 热99玖玖99玖玖99九九| AV色五月婷婷| 久久久久人妻| 亚洲182在线观看| 91色五月| 色久天| 色5月婷婷| 欧美精品A片一区在线观看| ss五月天激情| 婷婷六月啪啪| www.婷婷com| 99日韩| 亚洲麻豆乱码国产2028| 91色婷婷综合久久中文字幕二区| 青青草网武则天| 九九精品这里只有| 色爱亚洲| 国产熟女大叫受不了| 这里只有国产精品在线| 五月天成人综合| 五月婷婷综合色啪首页| 77799热| 亚洲九九视频| 色婷插| 99久久99久久综合| 婷婷五月色激情欧美激情| 激情第四色| 色九九七七| 激情影院免费视频婷婷五月天| 五月天堂色| 超爽内射| 午夜色丁香| 国产美女无遮挡裸体毛片A片| 久久久99婷婷久久久久久| 丁香五月欧美色综合| 狠狠干在线| 人碰91| 。久久久久久久久久久久久久人妻| 久久九九免费视频| 色婷婷五月在线| 亚洲第二AV| 另类综合国产| 丁香五月欧美婷婷综合| 亚洲色色在线| 九月色婷婷| 久久婷婷五月天| 色噜噜狠狠色综合网| 91色色色视频| 六月久久狠狠| 色色97丁香婷婷五月天| 丁香五月天在线观看| 日99网站| 婷婷亚洲色| 九月丁香网婷婷| 五月丁香人人婷婷在线观看| 欧美精品中文字幕亚洲专区| 婷婷在线操| 五月婷婷激情| 韩国婷婷丁香五月| 五月婷婷av在线| 五月婷丁香久久久| www.91av.com| 视频色色色色色色| 激情五月婷黄版| 五月天婷婷丁香基地在线观看| 风流少妇A片一区二区蜜桃| 激情综合网五月天天| 婷婷五月天视频| 久热只有这里有精品| 婷婷91| 亚洲婷婷在线播放十月| XX色综合| 91啪级电影| 26UUU精品一区二区| 亚洲啪啪视频| 久久激情网| 日本狠狠爽| 专区无日本视频高清8| 精品无码人妻一区| 欧美五月婷婷| 欧美在线看| 五月激情视频| 色五月婷婷在线视频| 日韩成人无码| 天天天天天日| 182TV亚洲| 日韩操人| 综合五月草| 99久久九九视频| 日韩操逼小电影| 91天堂网综合| 丁香六月婷| 丁香伊人激情| 婷婷五月综合啪| 久草五月婷婷| 国产寻花在线| 98热精品| 大香蕉五月婷婷| 日韩色五月| 五月天婷婷影院| 婷婷五月欧美综合| 色青五月天| 99热这| 五月色天五月色| 五月婷婷伊| 亚洲色热| 婷婷五月天国产手机在线视频观看| 婷婷伊人綜合中文字幕| 婷婷五月天激情基地| 欧美日韩国产伦精品日韩人妻一| 五月婷婷六月色| 色婷婷丁香五月丁香| 密视AV综合在线| 婷婷香五月天| 婷婷丁香五月高清| 丁香五月天导航| 九九操屄| 五月综合无码| 99性感视频| 中文精品在| 91男同视频| 免费国产视频| 丁香五月深爱五月婷婷| 亚洲av日韩无码| 成人国产欧美大片一区| 色情丁香五月婷婷精品| 色五月aV| 91男同| 成人久碰| 婷婷天天色| 五月婷婷丁香狠狠撸久久| 粉嫩av蜜桃av蜜臀av| 人妻丰满精品一区二区A片| 五月丁香综合中文| 狠狠999| 密视AV综合在线| 伊人激情AV一区二区三区| 婷婷成人AV| www.思思99热| 色99自拍| 日本人妻久久| 美女久久婷婷| 极品少妇高潮啪啪AV无码| 九九大香蕉黄色影院| www色婷婷久久综合久色 | 蜜桃人妻无码AV天堂三区| 狠狠色丁香久久婷婷综合五月| 91偷拍视频| 色婷婷色综合久久精品V| 激情综合网五月激情| 色婷婷五月天激情久久| 婷婷六月色情| 五月激情综合婷婷| 天天草女人| 久久久人妻| 超碰99久久| 五月综合无码| www天天爽| 国产精品美女久久久久AV超清| 91九色欧美| 久久偷拍综合五月天| 1995年关宝慧版蜘蛛女| 99久久思思| 人人人操Av| 欧美色图天堂网| 99热精品99| 东北黄色一级| 日韩免费99| 9l视频自拍九色9l黑人| 搡BBBB搡BBB搡18 | 国产肥白大熟妇BBBB视频| 国产成人+综合亚洲+天堂| 97在线刺激| 99re这里只有精品视频了| 婷婷综合网在线| 久久久人妻不卡| 黄网网站在线播放| 日韩色色色色色| 婷婷五月丁香综合| 手机在线日韩视频中文字幕| 婷婷五月天丁香久久| 九九色婷婷五月天| 超碰无码老师| WWW久| 婷婷五月娱乐在线| a色婷婷| 99色日本| 婷婷亚洲综合| ri电影在线| 久久五月人人摸| 欧美色播综合在线观看| 五月丁香婷中文字幕 | 99热久久这里只有精品| 99久久99视频只有精品| AV 3P| 五月色天五月色| 欧洲第一久色| 五月丁香综合中文| 九九久久99| 99亚洲天堂| 无码人妻AV久久久一区二区三区 | 九九视频在线| 色色婷婷五月天| 综合色图区| 狠狠色综合网| 国产亚洲AV人片在线| 狠狠色婷婷丁香五月| 伊人婷婷五月天av| 天天操夜夜啊| 凹凸操Av| 色五月偷偷| 很很干天天干| 极骚大香蕉伊人| 99er热精品视频| 婷婷五月激情欧美| 色五月无码| 五月天激情婷婷丁香| 天天婷婷综合亚洲亚洲| 婷婷五月色播放| 五月丁香婷婷色| 五月综合人妻| 国产免费一区二区三区三州老师F1F1.CC | 熟女激情网| 色婷婷色五月另类综合| 色婷婷五月天在线| 91超级碰在线视频| 怡红院AV亚洲一区二区三区H| 亚洲在线成人| 婷婷成人综合免费视频| 五月天天天天天天天天天天天婷婷婷| 图片区 小说区 区 亚洲五月| 亚洲啪啪精品| 激情图片婷婷| 久久婷丁香五月| AA片在线观看视频在线播放| 色婷婷另类| 婷婷激情肏屄网| 中文国产五月天| 色偷偷五月天| 婷婷五月花| 色天堂A| 久久这里有精品99| 亚洲另类在线观看| 97久久精品视频| 丁香五月婷婷啪啪| 激情综合网五月激情网| 成人视频网| 婷婷五月天精品| 96性爱视频| 丁香婷婷九月| 日本三级日本黄色| 婷婷欧美激情综合| h在线看免费版在线看| 五月天色综合| 日本激情91| 天天爽夜夜爽天天爽夜夜爽| 婷婷午夜精品久久久| 97超级碰| 婷婷AV丁香| 久久九九@| 狠狠色婷婷综合开心影视| 婷婷天堂综合| 五月丁香综合激情| 国产AV成人精品| 丁香五月天导航| 天天在线XXX| 色色色香蕉五月婷| 日日操夜夜操狠狠操| 丝袜激情网| 久草五月丁香婷婷综合| 久久狠狠色| 无码任你操| 欧美色色日韩| www.夜夜騎夜夜狠| 97日本在线播放| 色婷婷色五月色丁香| 亚洲色另类| 啪啪一区| 免费亚洲婷婷| 五月网激情| 亚洲综合99| 成人日韩欧美| 人人播| 精品99这里有| 色噜噜狠狠色综合日日| 99色色网站| 色五月婷婷久久| 色久婷婷五月| 丁香五月婷婷基地| 秋霞网在线观看理论91| 国产69精品久久久久999小说| 亚洲视频色色| 操人妻AV| 五月丁香六月香综合激情| 香蕉影院色| 五月香六月婷| 色色综合热| 丁香六月婷婷色XXXXX| 狠狠 久久| 亚洲人人操| 色五月婷婷五月天激情综合| 婷婷少妇激情| 99成人网一区| 四LLL少妇BBBB槡BBBB| 五月丁香拍拍激情综合| 丰满少妇乱A片无码| 操日本人妻视频| 日木WWW视频| 99精品免费欧美小视频| 99色免费| 丁香六月婷婷综合| 六月丁香五月激情亚洲AV| 国产精品99久久久久久久女警| 成人天天爽| 无码色| 天天干天天色天天干| 久爱综合| 九色啦蜜臀| 色婷婷久久综| 久久亚洲婷婷| 久久婷婷一级片| 久久九九亚洲| www99精品| 青青操avbb| 国产视频色色色色色色色| 久久九九蜜| 小泽玛利亚视频一区二区| 婷婷五月天Av| 婷婷五月天视| 182.t午在线观看| 欧洲色色| 丁香亭亭久久| WWW久久99久久99久久| 久re热视频| 五月婷婷激情综合在线| 操B视频在线播放| 综合图区激情| 久久婷婷五月综合激情国产| 婷婷五月激情小说| 色五月综合激情| www一起操| 亚洲成人免费在线| 婷婷五月天狠狠| 久操福利| 极品人妻VIDEOSSS人妻| 五月天亚洲综合网| 99在线er热| 91人妻九色大屁股| 亚洲av网站| 天天综合网91| 九色 在线| 狠狠狠狠狠狠| 婷婷婷婷婷开心无码播放| 丁香五月激情婷婷| www久久久久久久久久久久久久久久久| 亚洲性视频| 五月丁香拍拍激情综合| 综合色影| 综合狠久久| 九九久久精品| 亚洲欧美一区二区三区四区爱爱动图| 九九五月天| 婷婷久久色五月婷婷久久久| 日韩1区2区| 天天色综合网1| 亚洲va欧美| 亚洲视频在线网| 97综合在线| 婷婷激情图片| 99色色爰| 五月丁香色综合| 无码AV免费精品一区二区三区| 综合激情五月婷婷| 色婷婷五月天在线| 丁香香五月激情免费视频| 狠狠久久婷婷| 黄色片avv| 99精品热| 综合久久综合久久| 丁香五月婷婷激情中文| 这里只有精品,日韩视频| 亚洲无码yw| AV网在线观看| 最近免费中文字幕大全高清大全1 免费看欧美成人A片无码 | 久久 婷婷 五月天| 六月丁香激情| av操B网站| 国产成人AV| 综合色久| www久久99| 99精品在线观看视频| 欧美狠狠地| 色婷婷在线综合色播网| a色色色色色| 欧美日比视频| 99热日| 激情婷婷22月间| 九九热123| 狠狠精品干练久久久无码中文字幕| 激情综合色| 丁香激情五月| 色婷婷色人人射| 午夜不卡成人一区二区| 亚洲综合视频天天精品| 婷婷八月激情| 婷婷九月色| 99九色视频在线观看| 久草九九| 色色色区| 97超级碰碰碰| 4399在线观看免费毛片| 丁香五月www| 久热伊人在91| 在线日韩av| 九九色黄色| 午夜微拍福利| 中文字幕久久婷九女同| 91九色PORNY大屁股| 色啪久 | www婷婷| 久久亚洲婷婷| 狠狠五月激情丁香六月| 九九操操| 精品成人久久久久久久_一二三四视| 丁香五月AV| 成人久碰| 9热久久| 婷婷婷五月香蕉| 色原狠狠综合| 九热视频免费观看| 亚洲秘 无码一区二区三区妃光/1| 国产性爱大片久久| 亚洲成Av人片乱码色第1集| 精品无码片| 亚洲视频无| 97干在线看| 五月丁香婷婷色色| 一级片sese片.COM| 思思久久精品视频| 亚洲五月婷婷在线| 久热A| 婷婷五月色惰| 久久婷婷五月天懂色| www.yw尤物| 亚洲成人影视在线| 五月天婷婷色色首页| www.综合久久.com| 人妻久久做| 色九月激情综合网| 五月激情久久| 丁香激情五月| 五月婷婷综合网| 亚洲五月六月婷婷| 99视频久久久| 婷婷丁香五月亚洲欧美| yazhouzonghesese| 六月丁香VA| 久久九九网| 精品无码久久久久久久久| 亚洲岛国电影| 激情久久久久久久久久久| 激情综合青草| 天天日天天做天天操| 婷婷 丁香 精品| 久久综合婷婷| 亚洲99精品九九在线| 99热很操老逼| 色五月天.con| 天天爽综合网| 国产精品久久..4399| 激情又色又爽又黄的A片| 色色综合热| 午夜婷婷| 这里只有精彩视| 色婷操逼| 亚洲精品国产A久久久久久| 99视频在线观看视频| 91操操| 99re这里只有精品视频了| 99自拍视频网站| 91 欧美| 五月丁香久久呀| 99热欧| 五月婷婷六月丁香在线视频| 久久538| 国产第99页| 开心五月六月婷婷| 天天日天天干天天爽| 久久97| 99在线综合视频| 五月激情五月丁香| 九九热最新| 极品少妇XXXX精品少妇偷拍| 97干综合网| 99色热视频| 久9热| 亚洲欧洲另类图片| 狠狠色丁香久久久婷| 五月天久久91| 精品国产乱码久久久久久免费| 亚洲色色五月天| w婷婷五月婷婷w| 婷婷天天日婷婷| 操b视频在线观看一区二区| 99小精品| 丁香五月区| 99精品久久久久久久久| 综合五月草| 99热这里只有精品1025| tingtingseav| 成人网丁香五月| 激情五月六月婷婷| 高清国产AV| 激情五月婷婷综合色播小说| 青青草成人网| 九热免费视频| 综合激情五月天六月婷免费视频| 夜精品无码A片一区二区蜜桃| 婷婷五月综合色拍| 激情综合网五月天| 九九热123| 婷婷色色综合激情| 99热这里只有精品55| 99啪99| 激情www| 亚洲国产精品成人午夜| 欧美又粗又大一区二区在线观看| 亚洲性视频| 婷婷综合九月| www.六月丁香看AV| 琪琪色综合网站| 九九av| 色五月综合网| 大香蕉婷婷五月天| 激情爱爱网站超大免费| 综合九九中文字幕| 婷婷五月婷| 五月天婷婷激情四射综合| 日日噜狠狠色综合久久| 丰满少妇猛烈A片免费看观看| 婷婷五月天六点丁香五月| 亚洲中文乱字字幕在线永久| 激情电影五月婷婷| 婷婷五月天论坛| 五月天婷婷婷| 亚洲AAA| 热91久| 一根材五月婷成人| 色色色热| 婷婷六月中文字幕| 少妇AB又爽又紧无码网站| 激情五月天在线| 99综合视频| 丁香五月婷婷无码AV| 99视频在线| 色优久久| 91热99| 激情五月婷黄版| 天天做天天爱天天高潮| 夜夜人妻五月天| 国产一区二区三区影院| www.狠狠狠狠| 婷婷久综合| 日韩狠狠色婷婷| 无码人妻AV久久久一区二区三区 | 色播丁香五月婷婷操:屄| 九九碰九九爱97| 深爱激情AV| 99热在线观看| 成人综合伍月天| 精品爆操| 综合久久久| AV伊人青草丁香六月| 中文字幕成人| 久久精品66| 97热超碰| 91综合国免费久入| 日本高清久久| 五月天色色激情综合| 欧美韩国日本| 五月丁香六月婷婷亚洲| 无码九九九九| 超碰猛烈的性猛交| 性爱先锋AV| 夜夜嗨一区二区三区直播内容 | 热久国产| se99高清无码| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 久久99热这里只有精品| 五月天久久网站| 婷婷伊人网| 天天摸天天舔天天爽| 婷婷五月综合基地| AA久久| 九九人妻福利| 五月婷婷久久网| 色在线99| 管管補管管紱| 99偷拍视频在线日本| 丁香五月婷婷啪啪啪| 可以直接看的av网站| 五月天成人在线精品| 五月成人网站| 操日本色| 精品婷婷| 综合色色色色色色| 五月丁香啪啪啪综合网| 人妻丰满精品一区二区A片| 99热免费看| 99综合视频在线| 波多野结衣不卡AV| 青青草轻轻操| 天天操夜夜玩!| 九伊人网| 情欲禁地| 国产免费一区二区三区三州老师F1F1.CC | 久久久五月天| 久久五月热| 婷婷久久五月天| 婷婷开心激情五月激情网| 丁香5月激情网| 午夜丁香久久久久久| 91超级碰碰碰| 五月婷婷六月婷| 7月婷婷六月丁香| 日韩性爱无码| 婷婷丁香在线| 激情丁香六月| 丁香五月久久综合| 9久精品视频| 伦乱人妻| 丁香婷婷色五月| 99成人| 天天干-天天日| 激情综合色网| 五月丁香激情啪啪网| 五月色丁香| 久综合色| 色婷婷亚洲在线| 国产精品久久久99视频| 欧美色色色色色色| Blackedraw视频一区二区| 99亚洲视频| 99热这里只有精品50| 五月丁香亚洲校园欧美| 亚洲在线视频321| 成人免费120分钟啪啪| 色婷婷丁香五月天| 色欲午夜无码久久久久久张津瑜 | 色原狠狠综合| 99超碰欧美| 五月天婷婷社区| 色狠狠999综合| 丁香婷婷综合激情五月色| 丁香五月花婷婷开心| 色综合天堂| 国产亚洲AV人片在线| 99在线精品免费视频| 人人播| 五月婷婷综合久久| 久久人妻人人| 激情婷婷五月天在线观看| 激情五月综合六月丁香婷婷狠狠干| 超碰成人电影| 大天天伊人| 久久精品噜噜噜成人A∨色欲| 色婷婷伊人激情在线观看| 婷婷狠狠操| 色婷五月天| 九九热精品| ji'qi'luan'ren'lun| 激情综合网亚洲色图| 五月婷婷色播视频| 九九九这里只有精品| 日本色色网站| 九九精品re免费视频| 婷婷丁香五月视频| 蜜乳av一级av| 激情人妻蜜夜系列区| 天天射影院| 婷婷啪啪| 亚洲V国产V欧美V久久久久久| 午夜天堂啪啪| 99热国产这里只有精品| 亚洲成人在线播放| 97在线视频人妻九色| 伊人五月婷婷| 久久停停超碰| w婷婷五月婷婷w| 91九色|疯狂|高潮|对白|| 乱码操操| 激情综合在线观看| 综合网色| 激情影院丁香五月| 色婷另类| 第四色激情网| 啊V视频在线观看| 久久久久9| 五月丁香福利| 色色色99| 国产做爰视频免费播放| 成人做爰A片免费看视频| 欧美交换配乱吟粗大25P| 99视频这里有精品| 婷婷丁香六月天| www.久久色.com| 激情淫乱男女| 操人精品| 中文字幕在线免费观看视频| 丁香五月天激情网址| 欧日美女Va| 五月综合亚洲婷婷| 色A网| 婷婷丁香五月天狠狠| 色婷婷www| 九九热最新| 人妻人人操| 五月天色综合| 国产一区二区av免费| 色婷婷无吗| 久9热视频在线观看| 欧美99热| 操逼福利视频| 色色色色色色网| 丁香激情五月| 亚洲色网络| 国产亚洲精品久久久久苍井松 | 婷婷久久99| 丁香六月激情四射| 亚洲综合五月| 久久综合九色综合97婷婷| 色综合99色| 婷婷四色五月| www.伊人天堂偷偷婷婷| 久久思思精品| 亚洲AV网站| 色135综合网| 中文字幕综合色| 超碰成人免费| 丁香婷婷色五月合集| 婷婷情爱五月天6| 九九在线精品| 热婷婷av| 九九色99| 99这里只有精品在线| 女人天堂AV| 丁香五月天社区| 97碰 在线视频观看| 五月婷色色| 六月伊人婷婷| 97色色综合| 三人荫蒂添的好舒服A片| 99热99思午夜精品| 中文字幕婷婷五月天| 五月丁香激情婷婷| 99自拍视频在线观看| 婷婷丁香五月天激情四射| 超碰激情网| 五月色情婷婷开心五月色情| 久久怕怕视频| 亚洲爆乳无码精品AAA片蜜桃| 六月婷婷AV| 美女va| 天天日综合| 丰满老熟妇BBBBB搡BBB| 婷五月天| 久久黄色网扯| 91视频五月丁香| 99re6在线视频精品免费| 色情婷婷。| 五月婷婷婷自由综合| 婷婷五月香蕉| 九九色黄色| 色色影院aaaav| 人妻少妇色综合| 97在线99| 婷婷丁香五月天婷婷| 五月天天天色| 欧美色综合天天久久综合精品| 第四色五月婷婷| 色吧五月| 曰曰久久| AV人人操| 婷婷五月天VI| 丁香五月婷婷深爱综合激情| 人人操AV| 啪啪五月婷婷| 在线,国产,色,热视频| 久久激情五月婷婷| 99色.com| 午夜激情五月| 中文字幕人妻熟女在线| 久久99操| 激情开心五月天| 婷婷丁香色五月天| 99热99热在线观看| 99热综合| 久久九九九九| 五月婷导航| 国产SUV精品一区二区883| 色婷婷丁香五月天| 99资源在线视频| 日韩激情网站| 人人干人人操人人摸人人做| 99热精品中文字幕| 婷婷丁香花五月天| 免费观看大片视频 丁香婷婷 六月欧美| 国产成人精品一区二三区熟女在线| 婷婷丁香五月天综合AV| www.婷婷五月天| 99啪啪骑| 婷婷干五月综合在线播放| 亚洲婷婷性爱| 丁香婷婷六月天| 婷婷在线播放| 6月丁香婷婷| 大香蕉久操| 九九色大香蕉| 久久综合影院| 五月丁香黄色| 色久影院| 久久婷婷东京热| 丁香五月婷婷香| 色婷婷aV四虎| 色综合网综合| 色五月丁香A欧美com| 久久这里有精品在线观看| 色五月婷婷在线观看第一页舔| 天天天天天天天干| 操碰91| 精品婷婷五月视| 99爱爱| 色婷婷最爱五月| 最近中文字幕在线中文视频| 99久久久99久久91熟女| 色婷婷在线视频综合| 日本色色影片| 91丨九色丨东北熟女| 久热无码| 丁香婷婷精品视频| 亚洲激情在线| 中文人妻主播久久| 超碰9799| 丁香五月婷婷色播艳门照| 天堂久久久久天堂网| 999热成人在线综合网| 亚洲色频| 激情综合五月天| wWW九九在线播放| 91精品久久久久久| 五月丁香六月色婷婷综合五月天| 欧美色五月| 99亚洲综合| 婷婷欠久少妇| 五月婷婷激情综合网| 亚洲Av成人在线观看| WWW.99视频| 婷婷五月天AV| 午夜不卡久久精品无码免费 | 久久九九一區| 五月丁香啪啪啪| 丁香色五月 97干| 大香蕉久操| 色五月丁香一区在线| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 能看的av| 综合五月婷婷| 九九99精品视频| 九九热只有这里精品| 丰满少妇猛烈A片免费看观看| 午夜色丁香| 成人在线日韩欧美| 可以看的av网站| 五月婷婷综合色啪首页| 色色五月丁香婷婷综合| 五月天婷婷綜合院| 狠狠色狠狠干| 久操乱| 99狠狠操一| 国产韩日亚洲美州欧亚综合在线| 99开心五月五月丁香激情| 天天舔天天爽| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 婷婷丁香成人色综合| 99热精品在这里| 欧美婷婷| 六六久久黄色| 亚洲婷婷91丁香| 九九热这里都是精品6| 色综啪啪啪啪啪啪| 婷婷大香蕉| 五月丁香六月激情啪| 婷婷久久丁香五月| 激情内射人妻1区2区3区|