欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

核心網(wǎng)絡(luò)協(xié)議梳理與排障實戰(zhàn):HTTP、TCP/IP、DNS、SSH、FTP

核心網(wǎng)絡(luò)協(xié)議梳理與排障實戰(zhàn):HTTP、TCP/IP、DNS、SSH、FTP 網(wǎng)絡(luò)協(xié)議這東西平時不接觸的人覺得它高高在上接觸了又覺得知識點碎得跟散沙一樣。但其實不管你是做開發(fā)的、搞運維的還是偶爾需要自己折騰一下服務器、翻翻路由器配置的“興趣型工程師”只要能把HTTP、IP、SSH、FTP、DNS、TCP這幾個核心協(xié)議徹底弄明白整個網(wǎng)絡(luò)的骨架也就搭起來了。我最早開始系統(tǒng)梳理這些協(xié)議是因為被一個線上的詭異問題折磨了一整晚頁面間歇性打不開看服務器日志一切正常程序也沒報錯。最后抓包才發(fā)現(xiàn)是TCP握手的重傳機制在特定網(wǎng)絡(luò)環(huán)境下瘋狂觸發(fā)和HTTP層的請求邏輯完全無關(guān)。那次之后我意識到不把協(xié)議棧吃透出了問題就只能瞎猜。這篇文章就是基于我個人踩坑和日常排查經(jīng)驗做的一次系統(tǒng)梳理。我不打算按教科書式的“逐層背誦”來寫而是把每個協(xié)議放到真實場景里講清楚它解決什么問題、有哪些關(guān)鍵機制、實際使用中容易踩哪些坑。無論是剛?cè)腴T的新手還是想補全盲區(qū)的老手都能在里邊找到有用的東西。1. 把這些協(xié)議放回“網(wǎng)絡(luò)分層”里看才不會迷路剛開始看協(xié)議的時候最容易犯的錯就是“單點學習”——今天看TCP明天看HTTP感覺每個都認識但它們之間怎么協(xié)作、誰在誰的下層、誰為誰服務腦子里完全沒有概念。所以第一步必須先把網(wǎng)絡(luò)分層這個基礎(chǔ)框架搭起來否則后面聊的所有細節(jié)都是空中樓閣。1.1 四層模型和七層模型看哪個更實用教科書上最常見的兩個模型一個是OSI七層模型一個是TCP/IP四層模型。很多人糾結(jié)到底學哪個我的看法是OSI七層拿來理解“每一層是干嘛的”非常合適因為它分得細概念清楚但實際工作中所有排障思路和數(shù)據(jù)流轉(zhuǎn)邏輯幾乎都是按TCP/IP四層模型來走的也就是應用層、傳輸層、網(wǎng)絡(luò)層、網(wǎng)絡(luò)接口層這四層。舉個例子你在瀏覽器里輸入一個網(wǎng)址按下回車的那一刻實際上經(jīng)歷了一個完整的“打包”過程應用層的HTTP協(xié)議先把你想要的資源請求格式化成一段文本然后傳輸層的TCP協(xié)議給這段數(shù)據(jù)加上端口信息并且為了保證可靠性還會做分段和編號接著網(wǎng)絡(luò)層的IP協(xié)議給它加上源地址和目的地址決定怎么在網(wǎng)絡(luò)里找路最后網(wǎng)絡(luò)接口層再把它封裝成能在網(wǎng)線上傳輸?shù)碾娦盘柣蚬庑盘枴_@就是一次完整的數(shù)據(jù)“裝箱”過程。反過來接收端收到數(shù)據(jù)后每一層再負責“拆箱”層層剝開直到應用層拿到原始的HTTP請求文本。理解了這個加減包裝的過程后面每一個協(xié)議你都能找到它準確的位置。1.2 各協(xié)議之間的“依賴關(guān)系”到底是什么樣這幾類常用協(xié)議的關(guān)系我用一個最直白的比喻來概括IP是快遞公司的運輸網(wǎng)絡(luò)負責把包裹從城市A運到城市BTCP是快遞公司內(nèi)部的“簽收確認機制”每一個包裹都要確認收件人簽收沒簽收就重發(fā)HTTP則是包裹里裝的貨本身它是一段有特定格式的業(yè)務內(nèi)容DNS是快遞公司查地址的電話本你要寄件的時候先得通過它查到收件人的詳細地址IPSSH和FTP則是兩種不同規(guī)格的封裝服務一個負責遠程安全操作一個負責傳文件。這個比喻并不完美但足夠幫你在腦子里建立一個坐標系。實際使用中你會發(fā)現(xiàn)一個問題往往要跨多層去排查頁面打不開既可能是應用層HTTP配置錯了也可能是傳輸層TCP握手超時還可能是網(wǎng)絡(luò)層路由不可達。這就是為什么我強烈建議先把分層模型刻在腦子里——它是你排障時的第一張地圖。2. HTTP協(xié)議你每天都在用卻可能從來沒看透過HTTP大概是普通人最熟悉的協(xié)議了畢竟每次打開網(wǎng)頁、刷手機App背后都是它在工作。但熟悉不代表理解到位。很多人知道狀態(tài)碼200是成功、404是找不到但再往深一點問HTTP報文到底長什么樣、長連接和短連接有什么區(qū)別、Keep-Alive到底在做什么就說不清楚了。2.1 HTTP報文結(jié)構(gòu)拆解請求行、請求頭、請求體一個標準的HTTP請求報文分成三大部分請求行、請求頭、請求體。請求行在最前面包含請求方法GET、POST、PUT這些、請求的資源路徑以及協(xié)議版本號。比如GET /index.html HTTP/1.1就是最典型的一行。請求頭則是用鍵值對的方式攜帶一堆元信息比如Host訪問哪個域名、User-Agent你的瀏覽器/客戶端是什么、Content-Type你要發(fā)什么類型的數(shù)據(jù)、Cookie身份憑證等等。請求體一般只有POST類的請求才會有GET請求通常是沒有請求體的。響應報文的格式也類似只不過請求行換成了狀態(tài)行包含協(xié)議版本、狀態(tài)碼和狀態(tài)描述。響應頭里常見的像Content-Type返回內(nèi)容的類型、Content-Length返回體字節(jié)長度、Set-Cookie服務器要你存的Cookie。實際排查的時候看響應頭比看狀態(tài)碼有意義得多。我以前遇到過一個問題接口時不時返回200但頁面內(nèi)容卻少了一截。抓包一看Content-Length和實際返回的響應體字節(jié)數(shù)對不上最后定位到是某個網(wǎng)關(guān)在做內(nèi)容改寫時長度算錯了。如果我不懂響應頭里這些字段的含義這個問題根本無從下手。2.2 HTTP/1.1、HTTP/2、HTTP/3差異到底在哪HTTP/1.1是目前兼容性最廣的版本特點是每個請求-響應默認使用單獨的TCP連接也就是“短連接時代”的救星——Keep-Alive機制被引入了可以讓多個請求復用同一個TCP連接減少頻繁握手的開銷。但它的硬傷是隊頭阻塞Head-of-Line Blocking同一個連接里前一個請求沒返回后面的請求就只能排隊等。HTTP/2引入了多路復用可以在一個TCP連接里并行發(fā)送多個請求和響應從機制上解決了應用層的隊頭阻塞。同時它還做了頭部壓縮和二進制分幀傳輸效率比HTTP/1.1高不少。但現(xiàn)在HTTP/2完美的落地場景在弱網(wǎng)環(huán)境下也暴露了新的問題——因為TCP本身丟包重傳的機制一個包的丟失會影響所有復用的請求這被稱為TCP層隊頭阻塞。HTTP/3直接換掉了底層傳輸協(xié)議改用基于UDP的QUIC協(xié)議。QUIC天然支持多路復用并且把加密握手和傳輸建立的過程合并了建連延遲大幅降低?,F(xiàn)在很多大流量場景已經(jīng)逐步切到HTTP/3。從我實測的情況看弱網(wǎng)環(huán)境下HTTP/3的重連和恢復速度確實比HTTP/2好很多尤其是跳網(wǎng)絡(luò)、切換Wi-Fi的場景。但HTTP/3的調(diào)試工具還不夠豐富平時抓包分析還是以HTTP/1.1和HTTP/2為主。2.3 HTTPS就是在HTTP外面套了一層TLS這個“套”很關(guān)鍵HTTPS本質(zhì)上就是“HTTP TLS”TLS負責加密、身份驗證和完整性保護。從協(xié)議分層的角度看TLS位于HTTP和TCP之間。它的握手流程我已經(jīng)寫過很多次這里只說三個最容易被忽視的細節(jié)第一證書鏈校驗??蛻舳嗽谀玫椒掌髯C書后不是直接信任而是一直向上追溯找到內(nèi)置在系統(tǒng)根證書庫里的根證書才能確認這個證書是可信的。實際運維中常見的報錯“unable to get local issuer certificate”就是證書鏈不完整導致的服務器只發(fā)了自己的證書沒有把中間證書拼上去。第二會話復用。TLS握手費用是很高的所以握手時雙方會協(xié)商一個“會話票據(jù)”下次連接直接復用會話密鑰省掉一次全握手。我在Nginx里調(diào)過ssl_session_cache在會話復用開啟的情況下短連接請求的握手開銷能降低三分之一左右對高并發(fā)的接口服務來說非常明顯。第三TLS握手超時和 TCP握手超時要區(qū)分對待。我踩過一個坑服務端負載高了以后TLS握手超時的報錯遠遠多于TCP握手的報錯。當時一度認為是網(wǎng)絡(luò)抖動后來才發(fā)現(xiàn)是服務器的證書驗證環(huán)節(jié)在做CPU密集運算時性能下降直接拖慢了握手速度。3. TCP和IP整個互聯(lián)網(wǎng)的“地基”長什么樣如果說HTTP是快遞包裹上的面單那TCP和IP就是底下跑運輸?shù)奈锪骶W(wǎng)絡(luò)。沒有它們面單寫得再漂亮也沒用。絕大多數(shù)網(wǎng)絡(luò)疑難雜癥最終都出在這兩層。3.1 TCP三次握手和四次揮手背后是兩種不同的思路TCP三次握手大家都背過SYN、SYNACK、ACK。但為什么要三次而不是兩次核心原因在于——TCP要保證“雙方都具備收發(fā)能力且彼此確認對方的收發(fā)能力沒問題”。第一次握手客戶端告訴服務器“我發(fā)消息的能力正?!钡诙挝帐址掌骰貞拔沂盏搅宋业氖蘸桶l(fā)都正?!钡谌挝帐挚蛻舳嗽倩貞拔掖_認你收到了我的發(fā)和收都正?!?。這樣雙方就對齊了一條雙向都可靠的通道。四次揮手更簡單因為TCP連接是雙向的所以每一方向的關(guān)閉都要單獨確認。A告訴B“我不再發(fā)數(shù)據(jù)了”FINB回復“知道了”ACK然后B處理完剩余數(shù)據(jù)后也告訴A“我也不發(fā)了”FINA再回復“知道了”ACK。這樣每個方向獨立關(guān)閉是四次而不是三次的根本原因。排障時你會發(fā)現(xiàn)一個規(guī)律如果握手只成功了一半多半是服務器端有網(wǎng)絡(luò)層的ACL攔截或者防火墻把SYN包丟棄了如果握手完成但馬上斷開則往往是應用層服務主動拒絕了連接。這個經(jīng)驗能幫你快速定位方向而不是在系統(tǒng)里亂找一通。3.2 滑動窗口、擁塞控制這兩個機制才是TCP的靈魂很多人學TCP只知道握手和揮手但TCP真正寶貴的是它如何以“不可靠的IP”為基礎(chǔ)實現(xiàn)“可靠且盡量高效”的傳輸。核心里就是兩個機制流量控制用的是滑動窗口擁塞控制用的是慢啟動、擁塞避免和快重傳/快恢復。滑動窗口的意思是接收方會通過ACK報文通告自己還剩多少緩沖空間窗口大小發(fā)送方根據(jù)這個窗口來控制自己能發(fā)多少數(shù)據(jù)不能一次性把數(shù)據(jù)全倒出去否則接收方來不及處理就會丟包。擁塞控制則是站在整個網(wǎng)絡(luò)的角度發(fā)送方不能一股腦灌數(shù)據(jù)而是通過“慢啟動”逐步增加發(fā)送量探測網(wǎng)絡(luò)能承受的極限碰到丟包再快速收縮重新探測。有一回線上服務偶發(fā)性延遲升高抓包發(fā)現(xiàn)一個規(guī)律某個IP的TCP窗口反復出現(xiàn)劇烈收縮與此同時上游交換機有輕微的廣播風暴。我們花了很久調(diào)應用參數(shù)都沒用最后定位到是網(wǎng)卡驅(qū)動在低隊列深度下頻繁觸發(fā)擁塞窗口收縮。這就是典型的“窗口機制問題”和業(yè)務代碼沒有任何關(guān)系。3.3 IP協(xié)議尋址、子網(wǎng)掩碼和路由三個詞吃透它IP協(xié)議的核心能力就一句話給每一臺設(shè)備一個唯一的邏輯地址并且提供跨網(wǎng)絡(luò)尋路的能力。IPv4地址是32位的寫成點分十進制就是大家熟悉的192.168.1.1。IPv6是128位的寫成冒號分隔的十六進制。子網(wǎng)掩碼解決的是“地址里的網(wǎng)絡(luò)部分和主機部分怎么切分”的問題。比如192.168.1.0/24這個/24就表示前24位是網(wǎng)絡(luò)部分后8位是主機部分。路由則是IP包從一個網(wǎng)絡(luò)跳到另一個網(wǎng)絡(luò)的尋路過程。你用traceroute可以清楚地看到包經(jīng)過的一個個網(wǎng)關(guān)。實際運維時子網(wǎng)劃分是最容易出低級錯誤的地方。比如A、B兩臺服務器地址分別是10.0.8.5和10.0.9.5掩碼都是255.255.255.0那它們分屬兩個網(wǎng)段需要跨網(wǎng)關(guān)通信。如果把掩碼錯配成255.255.255.0去訪問10.0.9.0這個網(wǎng)段包就會被送到網(wǎng)關(guān)而不是直接走二層交換就會出現(xiàn)“ping得通網(wǎng)關(guān)、但業(yè)務連不上”這種詭異現(xiàn)象。4. 查域名要靠DNS但這個環(huán)節(jié)的坑遠比你想象的多我見過很多開發(fā)者在本地調(diào)試HTTP接口時用IP訪問一切正常換成域名訪問就超時最后排查半天發(fā)現(xiàn)是DNS解析不穩(wěn)定。DNS看著簡單里面卻藏著一堆容易被忽略的細節(jié)。4.1 DNS解析的完整路徑遞歸查詢和迭代查詢當你在瀏覽器里輸入一個域名完整的解析過程大概是這樣的瀏覽器會先查本地DNS緩存沒有就去問操作系統(tǒng)配置的Local DNS服務器也就是說你填的114.114.114.114或者8.8.8.8Local DNS服務器如果沒有緩存就會一級一級向上查詢。這個向上查詢的過程分兩種遞歸查詢和迭代查詢。通常來說客戶端對Local DNS發(fā)起的查詢是遞歸的你必須給我一個最終結(jié)果而Local DNS對根域名服務器、頂級域名服務器、權(quán)威域名服務器發(fā)起的查詢是迭代的我一次一次地問你們一次一次地指路。根服務器不會直接告訴你某個具體域名的IP它會告訴你“這個域名的頂級域歸誰管”指引你一層層往下走直到找到權(quán)威服務器拿到真正的解析結(jié)果。4.2 影響性能的TTL和令人頭疼的緩存污染TTLTime To Live是DNS記錄里的“存活時間”。它決定了這條解析結(jié)果能被子設(shè)備緩存多久。如果TTL設(shè)置太短訪問量大的話Local DNS的壓力會劇增設(shè)置太長又會導致你切換服務器IP之后老解析結(jié)果遲遲不失效用戶一直訪問舊地址。我有一回切換服務器提前改好了DNS記錄但業(yè)務方還是反映舊地址能通、新地址訪問不了持續(xù)了將近兩個小時。去查才發(fā)現(xiàn)那條A記錄的TTL原來被設(shè)成了7200秒也就是說最長要2小時才會全網(wǎng)生效。后來我養(yǎng)成了習慣做大的IP切換前提前幾天把TTL調(diào)低到300秒等切換完成后再調(diào)回來這個操作能幫你大幅縮短“切換陣痛期”。4.3 DNS服務選型和防污染經(jīng)驗個人項目或小型業(yè)務用系統(tǒng)自帶的systemd-resolved或直接指公共DNS一般就夠用了。到了正式生產(chǎn)環(huán)境我還是建議自建內(nèi)網(wǎng)DNS常見的方案是CoreDNS搭配緩存層。內(nèi)網(wǎng)域名解析走內(nèi)網(wǎng)DNS外網(wǎng)域名解析再轉(zhuǎn)發(fā)到公共DNS這樣既快又可控還可以加一些自定義的解析規(guī)則比如內(nèi)部服務直接解析到內(nèi)網(wǎng)IP。真正麻煩的是緩存污染問題。公共DNS在極端情況下可能返回不正確的解析結(jié)果導致域名被指向錯誤IP。我在本地開發(fā)機上遇到過一次某個SaaS平臺的域名解析到了一個陌生的IP瀏覽器直接攔截報警。排查方式很簡單用dig 8.8.8.8 example.com和dig 內(nèi)網(wǎng)DNS example.com對比解析結(jié)果如果差異明顯基本就能鎖定是誰的解析出了問題。這里也建議生產(chǎn)環(huán)境的服務器不要混用不同運營商的公共DNS解析行為不一致會浪費大量排障時間。5. SSH遠程管理的“安全通道”但別只在Login時才想起它SSHSecure Shell大概是運維工具箱里使用率最高的協(xié)議了基本所有服務器管理都依賴它。但它絕不只是“輸入密碼然后敲命令”這么簡單。5.1 對稱加密、非對稱加密和會話密鑰SSH的連接建立過程完美演繹了三類密碼學應用的配合用非對稱加密通常是RSA或ECDSA實現(xiàn)身份認證和對密鑰協(xié)商過程進行簽名保護保證“和我通信的確實是那臺服務器”。用Diffie-Hellman密鑰交換算法在不安全的網(wǎng)絡(luò)上協(xié)商出一個雙方共享的“會話密鑰”。后續(xù)所有數(shù)據(jù)都用這個會話密鑰進行對稱加密傳輸因為對稱加密速度快適合大數(shù)據(jù)量通信。密鑰交換的算法細節(jié)很多人覺得枯燥但理解它能幫你解釋不少安全告警。比如你第一次連某臺服務器時會看到The authenticity of host ... cant be established的警告就是因為你還沒有保存它的主機公鑰。如果后期再彈出提示說IP地址對應的主機密鑰變了那就要立刻警惕是否有中間人劫持了你的連接千萬別習慣性地點“yes”跳過。5.2 密鑰登錄配置步驟和密碼登錄的風險點生產(chǎn)環(huán)境強烈建議關(guān)閉密碼登錄、改用密鑰對。我的配置鏈路是這樣的在本地生成密鑰對ssh-keygen -t ed25519 -C your_comment -f ~/.ssh/id_ed25519現(xiàn)在我都用ed25519替代RSA因為它的密鑰短、生成快、安全性夠用。RSA密鑰如果要用建議至少4096位。把公鑰安裝到服務器目標用戶的~/.ssh/authorized_keys文件里ssh-copy-id -i ~/.ssh/id_ed25519.pub userserver_ip修改服務端配置/etc/ssh/sshd_configPasswordAuthentication no PermitRootLogin no重啟SSH服務sudo systemctl restart sshd這里有個致命細節(jié)很多人改完配置直接斷開當前連接結(jié)果密鑰認證沒生效密碼又被禁了人直接“失聯(lián)”。我自己的習慣是先用一個終端保留現(xiàn)有登錄會話另外一個終端用新配置重新連接確認新會話正常成功后再關(guān)掉舊連接。5.3 SSH隧道端口轉(zhuǎn)發(fā)的高級用法SSH隧道是很多人的“隱藏技能”它可以把一個不安全的網(wǎng)絡(luò)流量封裝進SSH加密通道里。本地轉(zhuǎn)發(fā): 把遠程服務器的某個端口映射到本機。ssh -L 8080:internal-service:80 userjump-server這樣我訪問本地的8080端口數(shù)據(jù)會經(jīng)過跳板機再轉(zhuǎn)發(fā)到內(nèi)網(wǎng)目標的80端口。遠程轉(zhuǎn)發(fā): 把本機的某個端口暴露到遠端。這個場景適合你把本地的開發(fā)服務臨時暴露給遠程同事訪問。實際使用中用跳板機管理多臺內(nèi)網(wǎng)服務器時SSH隧道幾乎是標配。但我必須提醒跳躍轉(zhuǎn)發(fā)配置不好容易搞混端口方向建議把常用的隧道配置寫進~/.ssh/config文件里用別名調(diào)用比每次敲一長串命令穩(wěn)妥得多。6. FTP文件的“老牌”傳輸協(xié)議它為什么還沒死FTP文件傳輸協(xié)議誕生得非常早在HTTP還沒普及的年代它就是互聯(lián)網(wǎng)上分享文件的主要方式。哪怕到了今天很多老舊系統(tǒng)、打印機、嵌入式設(shè)備里仍然只認FTP。但它的缺點也很致命所有數(shù)據(jù)和控制指令默認不加密。6.1 主動模式vs被動模式連接方向的反直覺之處FTP比HTTP復雜的地方在于它有兩條連接一條是控制連接走21端口一條是數(shù)據(jù)連接根據(jù)模式走不同端口。初次接觸的人十有八九會被主動模式和被動模式繞暈。主動模式Active客戶端告訴服務器“我在聽某個端口你連過來”。所以數(shù)據(jù)連接由服務器主動發(fā)起方向是服務器連客戶端的隨緣端口。這在大多數(shù)客戶端處于NAT或防火墻后面的場景下會失敗。被動模式Passive服務器告訴客戶端“我在聽某個端口你連過來”。數(shù)據(jù)連接由客戶端發(fā)起方向?qū)ΜF(xiàn)代網(wǎng)絡(luò)環(huán)境友好得多所以現(xiàn)在主流FTP客戶端默認都是被動模式。這個知識點是排查FTP“能登錄但列不出目錄”的關(guān)鍵。很多FTP排障的第一反應就是檢查21端口通不通但目錄列表失敗往往發(fā)生在數(shù)據(jù)連接上。如果服務器防火墻沒放行被動模式端口段客戶端能登錄成功卻卡在LIST目錄超時上。6.2 FTP vs SFTP別把它們搞混了很多人以為SFTP是“FTP的安全版”這個說法不嚴謹。準確地說SFTP是“SSH文件傳輸協(xié)議”SSH File Transfer Protocol它完全運行在SSH協(xié)議之上不是傳統(tǒng)FTP加了一個加密層。這意味著SFTP不需要單獨的21端口和被動模式端口段只占用22端口配置和防火墻策略都簡單得多。所以我在新項目里幾乎不會主動推薦使用FTP除非是為了兼容那批老設(shè)備。如果只是普通服務器之間的文件傳輸SFTP是更穩(wěn)的選擇如果要傳大量數(shù)據(jù)且要求斷點續(xù)傳、并發(fā)分片那更合適的是專門的文件傳輸工具或?qū)ο蟠鎯Ψ桨?。FTP的價值在于它足夠簡單、足夠通用并且很多老牌自動化腳本里還有它的位置。6.3 搭建一個安全的FTP/SFTP服務的幾個注意點如果是自建FTP我建議至少做到這幾點使用被動模式并把服務器防火墻和數(shù)據(jù)連接的端口段統(tǒng)一放行。為FTP用戶設(shè)置目錄禁錮chroot避免登錄用戶可以跑到系統(tǒng)其他目錄里。配置文件傳輸日志至少保留上傳、下載、刪除的審計記錄。如果可以優(yōu)先選擇SFTP替代FTP。我?guī)湍硞€客戶搭過一套文件交換服務對方因為歷史原因必須用FTP我就把VSFTPD配成被動模式限制端口段在50000-50100然后防火墻只開放21端口和這個端口段。上線后很穩(wěn)唯一要注意的就是端口段別和別的服務沖突以及每一個被動連接都會占用一個端口端口段大小要按并發(fā)連接數(shù)來規(guī)劃。7. 協(xié)議排障抓包工具實戰(zhàn)與問題定位思路最后這部分我想把前面說的所有協(xié)議知識串起來落到一個最實際的話題——網(wǎng)絡(luò)出了問題怎么一步步定位這個過程里最有用的工具就是抓包和分析工具。7.1 幾種常用抓包工具對比以及什么時候用誰tcpdump: 命令行抓包工具輕量、適合在服務器上直接用。我最常的用法tcpdump -i eth0 -nn port 443 -w https.pcap抓完用-r參數(shù)讀回再用Wireshark打開分析。Wireshark: 圖形化分析工具適合看TCP流、TLS握手、HTTP詳情。過濾器語法http.request.method POST或者tcp.analysis.flags能快速定位問題包。瀏覽器的DevTools: 只適合看應用層HTTP請求不涉及傳輸層細節(jié)。排查前后端接口問題時最方便但不適合深挖鏈路層。ping和traceroute: 不屬于抓包工具但每次排障我開場都要用。它們能快速判定“通不通”以及“走了哪條路”。7.2 經(jīng)典故障實錄從HTTP超時到TCP重傳的定位過程這里分享一個我之前真實處理過的模擬項目X某跨平臺系統(tǒng)排障實錄?,F(xiàn)象是某個接口在高峰期從平均200ms飆升到3秒偶爾直接超時。我按順序做了這么幾步第一步看是不是后端應用慢。在服務器上直接curl接口返回很快排除應用層瓶頸。第二步懷疑是網(wǎng)絡(luò)問題。在客戶端機器延遲到服務器發(fā)現(xiàn)延遲并不高但抓包的時候看到大量TCP重復ACK和Dup ACK說明傳輸過程中發(fā)生了丟包。第三步用traceroute追蹤路徑發(fā)現(xiàn)某個中間網(wǎng)關(guān)節(jié)點延遲飆升偶發(fā)丟包。聯(lián)系那個節(jié)點對應的網(wǎng)絡(luò)方處理同時調(diào)整了TCP擁塞控制算法從默認的cubic換成了bbr問題得到明顯緩解。這個案例最值得記的是排查順序從上層往下層一層層剝應用層沒問題就往傳輸層查傳輸層可疑就往網(wǎng)絡(luò)層查不要一上來就“懷疑代碼”。7.3 常用協(xié)議問題速查表我整理了一張速查表遇到問題時可以直接對照定位方向現(xiàn)象可能涉及的協(xié)議層首要排查方向域名解析失敗DNS確認DNS服務器、緩存、域名是否有A記錄頁面能打開但接口超時HTTP/TCP看接口耗時、TCP重傳率、后端處理時長連不上服務器SSH/TCP/IP確認端口放行、IP可達、防火墻策略FTP能登錄但列舉目錄失敗FTP被動模式檢查數(shù)據(jù)連接端口段是否放行瀏覽器報證書錯誤TLS檢查證書鏈是否完整、證書是否過期訪問很慢但CPU和內(nèi)存都不高TCP擁塞控制/IP路由檢查丟包率traceroute定位中間鏈路域名解析正常但業(yè)務異常DNS緩存對比多個DNS解析結(jié)果、清理本地緩存這張表不是萬能答案但能幫你把“毫無頭緒”收斂成“先查某個方向”尤其是新手對著表格一步步來大概率能避免一上來就亂抓瞎。7.4 零散但好用的協(xié)議配置細節(jié)最后分享幾個零散但很實用的配置細節(jié)都是我實際工作中攢下來的第一HTTP的Keep-Alive不是沒有代價的。長連接會占用連接文件描述符如果服務端并發(fā)連接數(shù)配置太小小心出現(xiàn)“大量TIME_WAIT連接不釋放”的問題。用ss -s看看當前連接狀態(tài)分布如果TIME_WAIT積壓嚴重可以調(diào)整內(nèi)核參數(shù)net.ipv4.tcp_tw_reuse復制策略。第二TCP的Nagle算法和延遲ACK機制在某些小包場景下會互相“打架”。如果你遇到“發(fā)一個包要等200ms才能收到響應”這種詭異延遲并且確認代碼里沒有問題可以考慮在服務端關(guān)閉Nagle算法也就是設(shè)置TCP_NODELAY。在Nginx配置里對應的是tcp_nodelay on;。第三MTU問題雖然老但從沒消失過。如果發(fā)現(xiàn)“大數(shù)據(jù)包不通、小數(shù)據(jù)包正?!眱?yōu)先懷疑MTU不匹配。常見的鏈路MTU是1500但如果走了某個隧道或者特殊網(wǎng)絡(luò)環(huán)境MTU可能會變小導致分片問題。用ping -M do -s 1400這類參數(shù)可以快速測出實際可用的包大小邊界。第四IPv6在現(xiàn)在的網(wǎng)絡(luò)環(huán)境里已經(jīng)非常普遍了但很多服務配置時根本不注意它。如果你的服務器配置了IPv6地址但防火墻策略只放行了IPv4你會發(fā)現(xiàn)“4通的域名6完全不通”或者反過來。排障時記得把兩個協(xié)議棧分開驗證不要籠統(tǒng)地認為“通了就行”。寫在最后的小體會協(xié)議這東西只靠背概念是留不住的。我自己的經(jīng)驗是每學一個協(xié)議就親手用抓包工具看一眼它的真實報文。比如你親眼看過TCP三次握手的三條包長什么樣、親眼看過一次TLS握手交互了哪些證書信息這些知識就變成你自己的了。尤其是做應用開發(fā)的遇到網(wǎng)絡(luò)層面的問題不要急著懷疑“是不是運維那邊搞的鬼”也別一上來就改代碼。先靜下心按“應用層→傳輸層→網(wǎng)絡(luò)層”的順序逐層確認絕大多數(shù)問題都能有一個清晰結(jié)論。希望這篇梳理能幫你建立起自己的排障地圖下次再遇到網(wǎng)絡(luò)問題腦子里就有畫面感了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香五月自拍| 99热这里有精品| 国产精品色色| 丁香亭亭久久| 色五月亚洲| 欧美婷婷六月丁香综合色| 日本色图综合| 激情五月天色| 密着浓厚中出乚交尾GvG935| 亚洲激情综合免费| 色色色1网址| 亚洲综合婷婷六月丁香五月| 久久婷婷青青| 国产精品爽爽久久久久久| 婷婷色色丁香| 激情av在线| 五月丁香久久呀| 97丁香五月| 美女精品一级不卡视频| 99在线免费观看| 五月天婷婷色紫薇阁| 99无码视频| 五月婷婷久久综合| 91九色无码内射| 开心婷婷丁香五月| 天天爽在线视频| 九九Av| 99久久久免费| 在线观看免费人成视频无码| 久噜久噜| 97爱综合| 婷婷大香蕉| 婷婷五月丁香激情色情| 欧美激情中文字幕| 免费无码毛片一区二区A片| 在线观看熟女少妇| 91综合视频在线| 欧美色99| 99色播| 狠狠爱婷婷五月天| 永久精品| 五月丁六月香| 色噜噜狠狠色综| 丁香九月激情| 99精品无码| 五月婷婷开心亚洲无| 国产日韩精品SUV| www色中色综合| 婷婷综合干| 色日本综合| 婷婷在线播放av| 国产真实乱了老女人视频| 噜噜噜噜噜色| 91操片| 丁香五月成人| 六月婷婷综合| 青青草六月丁香| 色色五月丁香婷婷综合| 无码少妇高潮喷水A片免费 | 99无码精品| 夜夜撸日日骑| 天天操夜夜啊| 久久久五月婷婷| 日韩黄黄| 婷婷丁香成人五月天| 人人97碰| 91九色PORNY大屁股| 九九热免费视频| 婷婷五月丁香影院| 综合久久综合久久| 人妻中文av| 色99网站| 中文字幕精品在线观看| 99热久久这里只有精品2010| 婷婷五月 丁香六月| 色婷婷五月综合激情中文字幕| 大香蕉欧美在线| 天天天操天天天爰| 人人草碰| 夜精品无码A片一区二区蜜桃| 婷婷五月天网| 99er久久| 五月丁香婷婷啪啪综合网| 人人妻人人澡| 97色啪| 国产毛片精品一区二区色欲黄A片| 在线中文亚洲| 成人在线视频一区| 成人在线精品| 婷婷五月六| 91丨九色丨国产打屁股| 亚洲色情网站| 岛国av电影网站| AV伊人青草丁香六月| 91九色丨国产丨爆乳| 六月丁香五月激情网| 天天做夜夜爽| 丁香综合婷婷开心激情网| XX久久| 韩国97天堂| 99婷婷五月天| 综合久久99| 狠狠色丁香五月婷巨| 噜啊噜在线| 日韩AAAAAAAAAAA片| 五月天啪啪| 五月婷精品| www婷婷| 97se在线视频| 女高怪谈在线观看| 色婷婷玖玖影院| 新精品99| 色五月婷婷青娱乐| 婷婷丁香九月| 五月丁香激情综合六月涩涩爱| 欧美成人性爱网| 91传媒无码人妻精| 丁香五月六月| 色色五月天丁香| 五月婷婷激情| 九九热99视频| 亚洲这里只有精品| 天天色爽| 天天拍天天操| 久色网五月| 青草视频在线观看视频| 五月婷婷六月婷| 久久久久久久人妻| 久久婷出差欧美色两性综合网| 丁香五月播播| 婷婷久久五月| 99性爱视频| 激情开心五月婷婷| 丁香六月婷婷操逼网| 2w在线视频| 偷拍丁香九月激情| 丁香五月天激情视频| 中文字幕五月久久婷婷| 婷婷人人操| 97碰碰视频在线观看| 97人人操| 性小说五月天| cao视频,现在观看| 99玖玖免费视频| 成人五月丁香社区| 国产精品99久久久久久久女警| 婷婷丁香五月天哟啪| 色婷久久| 激情五月色综合| www色综合亚洲92| 97热在线精品| 激情深爱婷婷网| 日本熟妇乱妇熟色A片蜜桃| 呦呦v线| 99热热热99精品婷婷| 777精品成人a v久久| 丁香五月亚洲综合丝袜| www.婷婷五月天| 99色色热| 影音先锋男人av资源站| 婷婷五月亚洲一本在线丁香| 婷婷丁香五月色偷偷| 操人无码| 国产精品色一哟哟| 96精品久久久久久久久| 婷婷综合五月| 99性视频| 久久永久网址| 激情五月天.色网| 91久久精品无码一区二区三区| 久久这里只精品66| 91久草五月天婷婷| 六月丁香网| 天天操夜夜肏| 中文字幕综合| 婷婷色色综合| 婷婷天堂综合| 婷婷视频在线| 五月婷婷黄色| 91精品综合久久久五月天| 日本色婷婷| 六月丁香婷婷五月天| 大香蕉久久青青| 色爱亚洲| 色宗合,宗合网| 91综合在线观看| 丁香六月啪啪| 国产偷人妻精品一区| 久久五月天婷婷| 天天久综合网永久入口18| 四月婷婷五月丁香| 色婷婷五月网| 丁香五月天无码AV| 9热久久| 亚洲综合激情五月久久| 欧美五月丁香| 99热这里只有精品96| 亚洲婷婷婷| 色色操| 五月天激情社区| www.91操| 五月丁香婷婷99| 五月丁香色综合| 婷婷五月视屏| 天天上天天爽| 99热国产精品| 色色色色色综合| 桃色五月天| www.色五月| 99 频99热国里只有精品| 中文字幕天天干| 99这里有精品| 2017狠狠干| 第四色婷婷色五月| 99色视| 在线日韩av| 色色亚洲| 人妻熟妇国产精品| 天天狠狠干| 婷婷久久综合| 色狠狠综合网| 97婷婷丁香五月天激情图片| 国产精品人成A片一区二区| 色婷婷日本| 欧美天天性| 成人av免费观看| 9在线9在线婷婷在线国产| 北京熟妇搡BBBB搡BBBB| 色色色99| 五月丁香好婷婷A片网| 久久九九99亚洲国产久精综合| 9色在线| 五月情涩综合婷婷| 久久99网站| 色呦呦美女| 伊人五月丁香| 五月天免费色| 美女va| 日本系列_4页_777FP| 韩日另类| 亚洲A片成人无码久久精品青桔| 色碰碰视频| 99亚洲精品视频| 五月天婷五月天综合网在线观| 最新久久网址| 婷婷五月综合网| 超碰av在| 97在线观视频免费观看| 欧美成人精品A片免费一区99| 九九伊人网| 日本va欧美va欧美精品88| 夜夜骑操AV| 五月丁香婷婷久久| 东京热伊人| 五月丁香趴趴| 婷婷五月天丁香久久| 五月Huangsewang| 强壮公让我夜夜高潮A片视频| 91日韩在线| 婷婷五月天堂| 在线播放中文字幕| 婷婷久久五月| 婷婷五月天久久久| 26uuu精品一区二区| 碰碰91| 狠狠干,狠狠操| 亚洲第79页| 5月丁香六月婷婷| 九九在线免费观看| 日韩欧美骚货| 5月丁香婷婷激情网| 日本成人噜噜| 九九热这里只有国产精品| 亚洲五月婷天天操| 99只有这里是精品| 五月丁香另类网| 久久人妻系列| 色婷婷狠狠18| 久青操| 丁香五月综合激情啪啪| 99久在线精品99re8热| 五月婷婷六月天| 97干97色| 99婷婷| 拍真实国产伦偷精品| 五月丁香色综合| 欧美叉叉叉BBB网站| 日本操B视频| h在线看免费版在线看| 一起草AV| 免费看欧美成人A片无码| 国产人妻777人伦精品HD| 99久热| 婷婷五月成人| 国产干逼片| 92久久久| 日本美女上人| 亚洲视频在线观看99| 色婷婷丁香五月天在线视频| 色丁香五月综合网| 五月亭亭开心网| 丁香五月网址| 丁香五月香蕉| 狠狠狠狠狠干| 激情综合网婷婷五夜| 七月婷婷色香综合网| 婷婷99狠| 一起草aV| 欧美va精品va老师va| 丁香六月视频| 色99视频| 色色亚洲| 亚洲123区高清入口| 98色花堂98t.R| 日本婷久久| 九九久久五月天| 亚洲精品无码久久| 婷婷久久国产视频| 久久免费视频62| 久久人妻视频| www99热| 99riAV成人在线视频| 黄色91在线观看| 色色丁香婷婷| 欧洲综合色| 激情网五月婷婷| 五月丁香婷婷婷激情爱爱| 99热精品中文字幕| 99九九精品视频推荐| 性色综合网| 97干97色| 亚洲综合色棒| 激情综合五月婷婷| 九热视频在线伦| 日本精品干| 思思热久在线观看视频| 六月综合婷婷开心伊人| www.五月天| 超级碰碰视频无码| 再次出发二| 天天爽天天做| 99视频精品| 久草婷婷网 | 激情丁香久久| 国产va视频| 五月天色社区| 怡红院成人AV| 夜夜www| 久久久无码精品成人A片小说 | 欧洲亚洲欧洲99久久| 99热思思| 中文毛片无遮挡高潮免费| 欧美超碰亚洲| 五月丁香综合久久| 婷婷五月电影院| 丁香激情综合| 六月丁香婷婷拍拍| 色色综合激情| 色欲AVV| 午夜色婷婷| 天堂AV在线看| 久久九九综合| 91丨九色丨丰满人妖| 嫩BBB槡BBBB搡BBBB视频| 日韩 中文 欧美| 字幕网AV中文字幕| 99色在线视频观看| 91日日日| 九九色黄色| 深爱五月婷婷开心中文字幕| 26uuu精品一区二区| 狠狠色色色| 婷婷五月激情网站| 色你久久| 91在线资源| 久久最新色色色| 激情图片五月天| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 九月婷婷久久久| 97色色在线视频| 玖玖婷婷五月天| 91人人澡人人爽人人看| 婷婷综合精品视频97| 欧美丰满熟妇BBB久久久| 琪琪色五月天| 五月丁香色综合| 草榴成人影片| 色青五月天| 久久婷婷六月综合综合| 97热视频| 五月玖玖| 激情五月丁香色色去久久| 激情婷婷五月色| 思思热精品在线视频| 激情五月婷婷视频一区二区三区| 欧美色色色色色色色| 中文字幕欧美日韩VA免费视频| 99久.| 五月丁香亭亭| 大香蕉狠狠爱主页| 激情五月天激情五月天| 婷婷丁香久久网| 五月婷婷亚洲综合网| 久热这里只有精品6| 五月天激情四射网站| 婷婷五月另类网站| 69人人操人人爽| 亚洲久久婷婷| 丁香五月亚洲综合丝袜| 深爱激情久久| 操逼五月婷婷| 丁香六月视频免费观看| 丰滿爆乳一区二区三区| 99热九九在线| 色综合综合综合| 视色网在线播放| 五月婷在线| 天天干,天天舔| 久久一热| 大香蕉520| 操久久网| 五月丁香狠狠爱| 色啪网| WWW久久久| 97婷婷狠狠| 五月天激情网址| 天天做天天爱| 99a级片| 九九re精品视频在线观看| 色玖玖综合| 激情六月天婷婷| 婷婷六月天天| 九月色婷婷| 天堂中文国产| 久久免片| 婷婷五六日| 51精品国自产在线| 人人人va亚洲视频在线| 日韩AV中文字幕在线| 99爱视频免费| 亚洲99综合| 丁香五月自拍| 五月中旬婷婷丁香六| 4399精品一区二区| 狠狠色大香蕉| 天天久久66xxx| 丁香婷婷久久| 成人毛片在线免费观看| 婷婷色情网| 久久精品婷婷| 97精品人人A片免费看| 天天日夜夜草进麻麻的子宫| 99精品偷自拍| 五月天婷婷激情春色小说| 婷婷五月综合社区在线| 五月天久久综合婷婷| 伊人www22综合色| 婷婷香五月天| 日韩精品色| 久久婷婷五月综合色天| 91九色在线视频| AV在线资源| 成人片在线播放| 欧洲激情五月天| 色综合99色| 欧美人人草| 久久精品91视频| 色婷婷小说| 五月天六月天| 激情五月婷婷她| 99色在线观看视频| 婷婷五月天另类视频| 91九九九九九九| 婷婷丁香花五月天| 亚洲看av的网站| 久久九九re热| wwwss在线观看| 激情www| 成人五月天综合网| 性爱激情久久| 天天色色天天| 久色欧美| 国产伊人五月天| 久久久久视剧HD| 91精品久久久久久| 五月香六月婷| 久久99这里只有精品| 色呦呦在线| 激情久久综合| 欧美VA在线观看| 色色五月婷| av五月天婷婷丁香| 婷婷五月天av| 国产精品国产| 欧美色色色| 欧美三日本三级少妇三99| 国产欧美精品AAAAAA片| 99热老司机| 可以直接看的AV网站| 91操片| 五月综合激情啪啪啪啪啪| 婷婷五月香蕉| WWW,五月| 色视五月天婷婷| 五月天操逼网| 久热精彩视频98| 免费观看的av| 色婷婷先锋| 9这里只有精品| 99操视频| 久久免费丁香| 无码AV大香线蕉伊人| 婷婷六月激情| 九九 激情 网| 婷婷五月天激情诱惑| 中文久久久人妻| 97视频.干com| 啪啪五月综合| 综合久久十三| 亚洲精品V天堂中文字幕| 成人一级片| 丁香五月六月婷婷殴美综合| 99热久久最新地址| 精品思思久久| 亚洲性爱电影| 婷婷丁香五月天大香蕉| 狠狠爱深色婷婷综合| 狠狠干夜夜干| 日本久热| 色播五月综合网| 丁香六月亚洲综合| VA国产在线综合网站| 综合另类视频| 六月婷色| 五月婷婷九九久久| 色网站9| 精品一区二区三区免费毛片爱| 日本美女上人| 六月色婷婷| 丁香五月婷婷色偷偷| 激情五月天之五月婷婷| 狠狠夜夜五月丁香| 99久久免费性爱视频`| 久久大香蕉同僚| 免费看片在线观看| 婷婷综合天堂| 色天使色综合| 91九九九色在| 狠狠爱成人综合网| 成人五月丁香花| 无码人妻少妇色欲AV一区二区| 婷婷五月六月丁香| 天天噜噜| 99网| 另类激情综合| 丁香五月天视频| 丁香五月电影| 伊人久久艹| 婷婷五月大香蕉| 五月天激情综合网| 五月丁香六月| 亚洲天堂啪啪| 亚洲在线操| 婷婷久久综| www.99热精品| 啪啪 综合网| 久色激情| 欧美人人操| WWW久久久| 特黄三级片| av久热| 久久久久9| 日韩AV片| 激情久久久| 日本99视频| 国产免费一区二区在线A片视频| 亚洲第一黄网| 六月婷婷开心| 九九在线精品| 九九无码AV| 激婷网| 色99久草在线| 日日噜噜久久婷婷五月天| 欧美一线视频| 国产97色在线| 婷婷丁香五月天哟啪| 丁香六月色婷婷欧美| 热无码A∨| 五月永久激情| 五月深爱网| 99亚州综合精品成人网| 激情丁香九九五月综合网| 色色激情网| 色婷婷www| 婷婷五月天激情四射| 夫妇交换刺激做爰| 丁香五月激情五月| 久人操| 久久综合丁香| 侠女刀之记忆电影在线看免费| 五月天激情网址| 五月天堂在线| 九九无码| www.五月天婷婷| 日本不卡高字幕在线2019| 婷婷五月天天| 久久婷婷夜| 亚洲综合99| 丁香六月中文| 天天综合中文| 久久综合九九| 欧美三9久九观看| 五月丁香综合久久夜夜| 丁香九九九九| 天天插天天很| 五月激情影视| 久久六月天| www.超碰97| 亚洲欧洲一二| 伊人春天av| 日韩精品色| 99在线免费视频| 色婷婷五月综合| 九九操屄| 日韩人妻在线观看| 五月丁香成人| 五月天婷婷小说| 99在线精品免费视频| 大战熟女丰满人妻AV| 久草婷婷视频| a色色色色色| 久久人妻高清中文| 日本精品99| 老妇六区| 亚洲AV日韩无码| 婷婷六月综合在线| 五月天天久久香| 啪啪啪综合网| 五月丁香激情啪啪网| 人人草公开操| 国产婷婷五月色情综合| 超碰人人色| 国内在线99视频| 婷婷色激情网| 五月开心色| 天天做天天爽| 丁香婷婷五月人体| 亚洲精品操一操、噜一噜、摸一摸、爽| 五月天综合婷婷| 操骚货在线| 国产女人十八水真多1| 91狠狠色丁香婷婷综合久久| 99精品大片| 激情丁香五月婷婷| 亚洲色五月婷婷| 99er免费在线观看| 亚洲AV网址| 久久丁香综合香蕉| 五月激情丁香五月| 五月天激情视频| 香蕉人妻AV久久久久天天| 激情六月天婷婷| 夜夜爽日日躁| 亚洲另类在线观看| 九月av在线| www.婷婷五月天啪啪| 综合激情在线| 伊人大香蕉毛片| 激情综合婷婷五月| 婷婷色五月开心五月| 丁香五月大香蕉在线99| 99re99热| 26.uuu丁香五月婷婷| 久久综合26p| 色五月天.con| 97碰碰在线观看视频| 最新无毒无码AV| 大香蕉九九| 五月天桃色深爱网| 玖玖婷婷色欲| 有码人妻久久| 丁香五月色情| 99狠狠| 亚艹艹| 青青久在线视频免费观看| 九九99免费视频| 亚洲五月停停| 情色五月天 网站| 五月婷婷和六月| 五月激情视频| 色九亚洲| 欧美色性色好| 九九亚洲综合| 综合久久8| 色噜噜在线| 精品一区二区三区四区五区六区| 91狠狠综合久久| 九九在线视频| 色99无码| 色婷五月天激情| 7EzOBIhNq85TO| 色爱99| 亚洲操操操| 97人人操人人| 九月婷婷色色| 91视频久久久| 狠狠干夜夜干| se婷97| 可以免费看AV网站| 色色色com| 伊人综合网4| www.99视频| 岛国在线观看91| 伊人色综合久久久| 1024欧美看片| 色综合久久久久久久久五月| 欧美成人猛片AAAAAAA| 色色网站在线免费观看视频| 日日爽夜夜爽| 91人妻色色网| 99热这里只有精品首页| 99久久99久久综合| 综合色五月| 九九综合精品| 婷婷五月六月| 五月婷婷丁香啪啪| 五月丁香婷婷综合网| 97色色色色| 欧美性爱五月天| 狠狠色丁香久久久婷| 五月天激情亚洲| 91久久久久久| 天天干天天做| 亚洲日韩人妻操逼| 中文字幕丰满孑伦无码专区| 婷婷久久六月天| 91九色最新视频| 99re思思精品在线观看| www.婷婷久久五月天| 亚艹艹| 91窝窝| 九九热精品在线| 日熟女| AV在线资源| 成人短视频在线观看| 九九热这里只有精品6| 五月天婷婷久久日| 午夜天堂一区人妻| 婷婷丁香人妻久久在线观看| 一区操| 99热精品在线| 五月香婷婷| 五月婷丁香| 天天拍夜夜爽| 另类图片五月激情| 婷婷五月天在线看| www.五月天| 婷婷四色五月| 久久人视频| 激情综合在线观看| 五月婷婷干干干| 少妇2做爰HD韩国电影| 99er6热在线观看精品6| CAoub青青超碰| 99热e| 夜夜人妻五月天| 久久激丁香| 涩涩涩五月天| 婷婷天堂综合| 国产国产乱老熟女视频网站97| 5月丁香六月婷婷| 天堂五月婷婷| 日本丁香五月| 天天肏天天爽夜夜爽| 视频久久9| 深爱综合网| 色婷婷狠狠色| 久久久久婷| 久热只有精品| 五月情涩综合婷婷| 色噜噜97视频在线观看| 精品色色| 亚洲精品大片| 亚洲综合在线伊人婷| 日本精品人妻无码77777| 婷婷五月激情五月激情| 色五月婷婷中文字幕| 99视频| 五月综合色| 色婷丁香五月| 99综合成人视频在线观看| 啪啪啪大香蕉| 操逼棍操逼| 大香蕉99热| 欧美性猛交99久久久久99按摩| 激情五月丁香亭亭| 蜜臀A∨在线水帘洞| 五月丁香天堂| 99色热| 亚洲五月色| 丁香五月天啪啪| 国产AV成人精品| 精品婷婷| 精品九九视频| 婷婷激情九月| 婷婷丁香中文字幕| 亚洲av网站| 六月丁香好婷婷| 久久人操| 大大香蕉综合在线| av人人干| 久久99网| 婷婷五月丁香高清无码| 色五月激情综合| 男女啪啪做爰高潮无遮挡| 开心五月激情网| 五月丁香啪啪激情| 99精品久久久久久久| 婷婷色情 | 粉嫩av懂色av蜜臀av熟妇| 色五月婷婷久久大| 色一情一乱一乱一区91Av| 99热99日天天干| 亚洲人人操| 五月丁香偷拍| 色综合久久88色综合中文字幕| 伊人久久大香线蕉av最新| 97碰碰九九视频| 伊人在线视频| 亚洲丁香五月天视频| 夜夜做天天爽| 国产成人+综合亚洲+天堂| 亚洲123区高清入口| 久久久久久欧美精品se一二三四| 五月丁香激情综合| 丁香五月亚洲婷婷| aaaaa黄色| 怡红院91a√| 精品一二三区久久AAA片| 婷婷五月色情天| 色婷五月天激情| 色播播之激情五月婷婷| 99久久久免费| 亚洲免费av观看| 亚洲深喉aV| 五月成人网站| 五月婷婷色播| 99国产视频网| 毛片新网地| 亚洲激情免费久久| 级情九色| 97操碰在线视频| 草榴视频黄色网| A片试看50分钟做受视频| 久碰视频| 欧美精品啪啪| 婷五月天| 欧美激情凹凸丁香网| 亚洲性图一区二区三区| 婷婷五月天成人| 1024操逼视频| 久久99免费视屏| 熟女色色一区二区| WWW.桔色成人.COM| 激情五月天网站| 狠狠综合久久| 久久精品99久久久久久| 激情五月天影院| 涩涩涩.com| 激情综合网亚洲色图| 第二色AⅤ| 丁香五月综合高清在线| 五月丁香啪啪啪综合网| www.99日本| 婷婷的色色五月天| 99色.com| 日本人妻操| 综久久久| 丁香五月天社区婷婷| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 色五月婷婷很很操| jiqingliuyuetian| 丁香五月婷在线观看| 日本激情五月| 严洲天天插| 综合久久五月| 插插五月天| xfplayav在线| www.夜夜騎夜夜狠| 精品三区影院| 天天操天天爱天天玩| 婷婷激情5月| 丁香五月六月欧美| 99热色在线精品| 五月丁香六月婷综合成人综合| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 香蕉视频91| 91狠狠色色丁香婷婷综合久久| 天天日天天舔| 99热免费| 久操大| 久热9| 精品乱码久久久久| 色999五月色| 嫩草AV久久伊人妇女超级A| JAPANRCEP老熟妇乱子伦视频 | 97丁香视频| 大香蕉伊在| 视频一二区| 婷婷99中文字幕| 激情小说五月天| 亭亭丁香aV| 南京搡BBBB搡BBBB| 丁香欧美| 亚洲第一第二网站| 色五月大| 日韩啪啪视频| 伊人久久艹| 97精品人人A片免费看| 丁香五月婷婷激情四射深爱激情| BlACKEDRAW视频一区二区| se婷97| 超碰在线超碰| 激情AV| 婷婷五月天777| 人人干Av| 欧美五月婷婷| 日韩无码专区| 99免费视频| 九九99精品视品| 久久99久久久久久久噜噜| 色综合中文| 丁香5月激情网| 婷婷五月天综合蜜桃| 丁香美女主播视频在线观看| 婷婷激情六月| 亚洲天堂99| 99精品偷自拍| 亚洲 成人 电影av在线观看| 色天堂A| 五月天天天综合| 日韩综合大黄| 欧美影院| 欧美激情综合色综合啪啪五月| 国产99久久久国产精品免费看| 亚洲国产黄色电影| www.婷婷五月天| 日本丁香五月婷婷| 激情色视频| 婷婷五月丁香啪啪| 中文字幕人妻熟女在线| 婷婷94s| 97干网站| 青草视频在线蜜臀| 思思热精品在线| 丁香五月成人| 91色性感五月婷婷丁香| 99热在线资源| 久久激情综合| 丁香五月香蕉| 五月丁香影视| 香蕉99网| 91精品综合久久久久久五月丁香| 国产99视频永久免费| 五月婷婷在线视频观看| 99精品网| 五月色婷丁香| 狠狠大香婷婷爱| 美女美女美女三级色天天天天天| 爽极品色| 日韩av变天就操逼不卡区| 午夜丁香综合婷婷| 五月激情精品视频| 婷婷五月激情六月| 97在线精品| 欧美色色日韩| 五月天第四色开心色播| 思思热视频在线观看| 人人草人人爱| 日韩成人电影Av| eeuus五月婷| 亚洲色频| 国产欧美日韩综合精品一区二区| 久99久99精品免| 最新激情五月天| 九九色图| 超碰免费成人网站| 九九九日本熟女| 天天操,夜夜骑| 97色碰| yw.av| 人妻性爱| 9九色首页| 青草青草视频2免费观看| 99久久精品国产色欲| 久久五月婷婷开心网| 九九综合| 五月丁香婷婷色播无码| 九九视频精品这里只有| 99精品国产在热久久婷婷| 中字幕视频在线永久在线观看免费| 五月天激情网址| 五月丁花色综合网| av九九| 91九色无码内射| 综合激情五月丁香| 免费黄色片子| 婷婷性爱综合| 丁香六月婷婷综合网| www九九| 综合精品啪啪| 俺五月| 六月丁香激情网| 色色综合院| 综合热无码| 国产成人网| 色婷在线视频| 丁香激激情网| 日日操天天操| 黄网网站在线播放| 天天天干夜夜夜操| 五月婷婷丁香91| 丁香五月综合久久八| 天天色丁香| HD久久精品视频| 79色色免费| 97天堂| 色丁香久久| 欧美影院| 色九九一二| 五月丁香五月天现场视频| 婷婷久热| 日韩无码专区| 五月花婷婷| 97丁香视频| 米奇影视五月天| 中文成人在线| 99热最新精品| 99热日本| 91丨九色丨白浆秘| 开心婷婷五月| 91久久九| 国色天香伊人狠狠色| 国产精品久久久久9999小说| 九九人妻福利| 色色激情| 91丨九色丨高潮丰满日本| 色色国产| 综合 蜜月 婷婷| 天天爽综合网| 思思干精品| 亚洲、热| 人妻熟女一区二区AV| 五月丁香五月丁香| 26UUU精品一区二区| 伊人碰碰碰| 婷婷丁香九月| 成人av在线网址| 久久色9| 人人操 色| 天天久| 色色网91| 婷婷性色| 婷婷五月乱交换| 激情五月综合网最新 | 日韩久热| 91色五月| 大香蕉啪啪| 色色色国产| 婷综合| 亚洲色久| 99精品久久| 99精品热| 丁香五月天欧美成人| 五月天久久婷婷| 丁香六月婷婷综情欧美| 99综合视频| 六月亚洲婷婷6月中文字幕| 五月天开心网| 99在线免费视| 精品影院| 最新亚洲色色网| 五月婷婷很很色| 人妻自慰高清合集| 九九精品碰| 99热免费观看| 超碰人人91| 婷婷五月天久久久| 久久综合丁香五月| 天天做天天爽| 国产热精品| 婷婷五月精品| 丁香五月Av| 99热综合色图| 婷婷在线精品| 日本女天天爽| 欧美槡BBBB槡BBB少妇| 天天开心AV色综合婷婷五月天| 在线综合亚洲欧美65| 99久久玖玖| 九九亚洲无码| www.久久爱| 国内婷婷丁香社区在线播放| 性欧美大战久久久久久久83| 日日操天天爽| av第一二区| www.超碰在线| VA日本视频| 成人免费黄色短视频| 亚洲色色香蕉| 国产激情在线| 婷婷激情小说| 五月天色婷婷小说| www.久久色.com| 婷婷欧美激情综合| 玖玖国产视频一区| 色噜噜狠狠色综无码久久合欧美| 成人性爱精品视频| 欧美精品A片一区在线观看| 亚洲永久免费| 日韩激情婷婷五月天| 欧美日韩色色| 影音先锋91| 婷五月丁香俺| 色婷婷网大全在线| 99热97| 日本久久网| 91se精品国产| 五月综合色| 丁香午月AV中文字幕| 婷婷99视频全集高清| 五月激情天| 丁香六月婷婷综合色| 久久综合五月天激情小说网站 | 久久五月天黄色五月天色网址| 1024在线视频| 成人电影一区| 亚洲精品小视频| 免费看成人747474九号视频在线观看| 色五月婷婷综合| 亚洲色vA| 9久久婷婷国产综合精品性色| AA丁香综合激情| 婷婷射丁香| 久久丁香五月综合六月激情红杏视频| 日韩久久成人| 99热精品观看| 五月婷婷和六月| 丁香花操逼| 99爱精品| 久久久久久久久人妻| AV九九| 亚洲中文字幕翔田千里| 九九九热精品| 亚洲久久婷婷| 秋霞成人毛片一级A片| 9色91视频| 99九九综合久久九九| 五月丁香在线国产| 日本久久人| 亚洲无AV在线中文字幕| www.狠狠操| 激情五月丁香色婷婷| 午夜丁香综合婷婷| 亚洲国产精品二二三三区| 五月丁香六月婷| 色情五月天se| 五月丁香亭亭操逼| 九月丁香八月婷婷加勒比| 99ri精品| 这里只有精品网站| 五月婷婷激情综合在线| 色综合久久无码| 激情六月天| 五月婷婷综合丁香视频| 色婷婷五月天激情在线播放| 91chinese 在线| 四季8848精品成人免费网站| 成人五月丁香社区| 久久深爱激情网| 婷婷五月丁香综合亚洲| 久久婷婷色综合老司机| 色噜噜狠狠色综无码久久合欧美| 丁香五月中文字幕色播| 婷婷在线午夜| 秋霞性爱AV| 婷婷色五月天色色| 久久视频在线视频| 综合大香蕉| 综合五月丁香六月婷婷| 国内婷婷丁香社区在线播放| 99丁香五月婷| 五月天婷婷激情六月久久| 色情综合| 久久hd| 丁香五月开心婷婷| 亚洲色色在线| 另类激情五月| 99天堂网最新| 国产av一区二区三区| 久机视频这只有精品| 网站免费一站二站| 激情婷婷丁香色五月| 婷婷激情丁香五月天综合| 噜噜操操| 超级碰碰99| 国产日产亚洲系列最新| 思思久久99| 97人人搞| 人妻久久久久久久| 日韩小视频在线99| 亚洲欧洲色色| 97色色婷婷| 欧美性猛交99久久久99| 人人综合色| 久久精品国产精品| 婷婷五月色天| 超碰在线视屏| 婷婷丁香六月天| 狠狠色婷婷777| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 五月天播播中文字幕| 婷婷五月天日本无码| 婷婷丁香六月影视| 五月色综合网欧美网| 久久99久久99精品免观看粉嫩| 岛国午夜视频| 婷婷福利影院| 丁香,开心成人,久久| 国产成人一区二区三区在线观看| 色中色综合| 超碰免费成人| 五月狠狠| 精品久久人妻| 五月丁香在线综合| 天天日天天日天天搞| sewuyue第四色| 六月综和久久| 五月激情四射婷婷丁香| 99久热在线精品| 五月丁香精品| 中文资源在线a| 中文字幕激情综合| 性爱激情小说AV五月丁香花| 东北熟女高潮99综合99| 9|人妻人人操| 五月婷婷av在线| 久久久久久久久久久-久五月天婷婷| 欧美色五月| 五月激情小说| 五月丁香影视| 五月丁香综合网| 五月综合视频| 色婷婷影视| 婷婷六月色| 天天日天天插| 欧美人与性动交CCOO| 欧美成人精品三区综合A片| 狠狠色丁香| 九九热精品| 九九在线视频| 国产看真人毛片爱做A片| 四川BBB搡BBB搡多人乱亂| 激情丁香婷婷| 亚洲成人高清在线| av在线免费播放|