欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

TCP組包與粘包拆包:從MSS、Nagle算法到抓包實(shí)戰(zhàn)

TCP組包與粘包拆包:從MSS、Nagle算法到抓包實(shí)戰(zhàn) 1. 從一個(gè)抓包現(xiàn)場(chǎng)說起為什么你的數(shù)據(jù)包看起來“不完整”很多人第一次用抓包工具看TCP流量的時(shí)候都會(huì)有一種困惑明明應(yīng)用層發(fā)出去的是完整的一條消息怎么到了網(wǎng)絡(luò)層就變成了一堆零零散散的片段更讓人抓狂的是有些片段看起來只有幾十個(gè)字節(jié)有些卻接近一千五百字節(jié)毫無規(guī)律可言。如果你正好在做協(xié)議解析、流量還原或者自定義通信中間件這個(gè)問題不搞清楚后面的活兒基本沒法干。我自己最早接觸這個(gè)概念是在做一個(gè)設(shè)備數(shù)據(jù)采集網(wǎng)關(guān)的時(shí)候。設(shè)備端通過TCP往上送數(shù)據(jù)服務(wù)端收到的卻總是“半截”消息有時(shí)候兩條消息粘在一起有時(shí)候一條消息被切成三段。當(dāng)時(shí)第一反應(yīng)是代碼寫錯(cuò)了查了半天緩沖區(qū)讀寫邏輯最后才發(fā)現(xiàn)根子不在應(yīng)用層而在TCP本身的傳輸機(jī)制上。TCP組包這件事說白了就是搞清楚TCP在發(fā)送數(shù)據(jù)時(shí)是怎么把應(yīng)用層交下來的字節(jié)流切成一段一段發(fā)出去的以及接收端又該怎么把這些段重新拼回一條完整的消息。這篇文章適合三類人看第一類是正在做網(wǎng)絡(luò)編程、協(xié)議解析的開發(fā)者你遲早會(huì)碰到粘包和拆包的問題第二類是做流量分析、安全審計(jì)方向的朋友不理解組包邏輯抓到的包你根本還原不出原始語義第三類是對(duì)底層網(wǎng)絡(luò)感興趣、想弄明白“數(shù)據(jù)從A到B到底經(jīng)歷了什么”的技術(shù)愛好者。我會(huì)從為什么需要組包講起把MSS、MTU、滑動(dòng)窗口、Nagle算法這些繞不開的概念串起來再落到實(shí)際代碼里怎么處理最后分享幾個(gè)我踩過的坑和排查技巧。整篇內(nèi)容基于常見的TCP協(xié)議實(shí)現(xiàn)和工程實(shí)踐來寫具體參數(shù)以你實(shí)際環(huán)境為準(zhǔn)。2. 組包這件事到底在解決什么問題2.1 先搞清楚TCP是字節(jié)流不是消息流這是理解組包的第一道門檻也是最容易被忽略的一點(diǎn)。TCP協(xié)議在設(shè)計(jì)上只保證一件事你發(fā)出去的字節(jié)序列對(duì)方能按同樣的順序收到。注意它保證的是字節(jié)序列不是消息邊界。也就是說應(yīng)用層調(diào)用兩次send每次發(fā)100字節(jié)接收端可能一次recv就收到200字節(jié)也可能分四次每次收50字節(jié)。TCP根本不關(guān)心你應(yīng)用層是怎么劃分消息的它只負(fù)責(zé)把字節(jié)按順序搬過去。這個(gè)特性帶來的直接后果就是接收端必須自己想辦法判斷“一條完整消息到哪里結(jié)束”。而這個(gè)判斷的前提是你得先理解發(fā)送端是怎么把字節(jié)流切成一個(gè)個(gè)TCP段的。切的方式不同接收端看到的片段分布就不同處理策略也得跟著調(diào)整。用一個(gè)生活化的類比TCP就像一條傳送帶你把一堆零件放上去傳送帶只保證零件按順序到達(dá)對(duì)面但它不會(huì)告訴你“這一批是訂單A的零件下一批是訂單B的”。對(duì)面的人收到的是一堆混在一起的零件得自己根據(jù)零件上的標(biāo)記來分組。組包就是研究傳送帶是怎么把零件分批送出去的以及對(duì)面該怎么分組。2.2 不組包行不行IP層的硬性限制有人可能會(huì)想既然切來切去這么麻煩那我不切了應(yīng)用層給多少我就一次發(fā)多少不行嗎理論上可以但物理網(wǎng)絡(luò)不允許。TCP段最終要交給IP層封裝成IP數(shù)據(jù)報(bào)發(fā)出去而IP數(shù)據(jù)報(bào)有一個(gè)硬性上限MTUMaximum Transmission Unit最大傳輸單元。以太網(wǎng)環(huán)境下這個(gè)值通常是1500字節(jié)。超過這個(gè)大小的數(shù)據(jù)報(bào)要么被分片要么根本發(fā)不出去。IP分片這件事本身是有代價(jià)的。一個(gè)IP數(shù)據(jù)報(bào)被分片后只要其中任何一片丟失整個(gè)數(shù)據(jù)報(bào)都得重傳效率極低。而且很多中間設(shè)備對(duì)分片的處理策略不一致有的直接丟棄有的重組超時(shí)。所以TCP寧愿自己在傳輸層就把數(shù)據(jù)切好讓每個(gè)TCP段封裝成IP數(shù)據(jù)報(bào)后不超過MTU從源頭上避免IP分片。這就是組包最原始的驅(qū)動(dòng)力在傳輸層主動(dòng)切分規(guī)避網(wǎng)絡(luò)層的分片風(fēng)險(xiǎn)。2.3 MSSTCP段大小的天花板TCP切分?jǐn)?shù)據(jù)時(shí)依據(jù)的核心參數(shù)叫MSSMaximum Segment Size最大報(bào)文段長(zhǎng)度。它指的是一個(gè)TCP段中數(shù)據(jù)部分的最大字節(jié)數(shù)注意不包括TCP頭部和IP頭部。MSS的取值不是隨便定的它和MTU有直接關(guān)系MSS MTU - IP頭部長(zhǎng)度 - TCP頭部長(zhǎng)度以標(biāo)準(zhǔn)以太網(wǎng)為例MTU是1500字節(jié)IP頭部最小20字節(jié)不含選項(xiàng)TCP頭部最小20字節(jié)不含選項(xiàng)那么MSS就是1500 - 20 - 20 1460字節(jié)。這就是為什么你抓包時(shí)經(jīng)??吹絋CP段的數(shù)據(jù)部分最大就是1460字節(jié)這個(gè)數(shù)字不是拍腦袋來的是算出來的。MSS在TCP三次握手階段通過SYN報(bào)文協(xié)商。雙方各自在SYN里帶上自己能接受的最大MSS值最終取兩者中的較小值作為實(shí)際使用的MSS。這個(gè)協(xié)商過程很重要因?yàn)橥ㄐ艃啥丝赡芴幵诓煌W(wǎng)絡(luò)環(huán)境里MTU不一樣。比如一端是以太網(wǎng)1500另一端是某種隧道環(huán)境可能只有1400協(xié)商后就會(huì)用較小的那個(gè)值避免發(fā)出去的數(shù)據(jù)包在中間被丟棄。2.4 組包和粘包一對(duì)孿生問題理解了發(fā)送端的切分邏輯接收端的問題就清晰了。接收端面對(duì)的是一個(gè)連續(xù)的字節(jié)流它需要回答一個(gè)問題從哪個(gè)字節(jié)到哪個(gè)字節(jié)算一條完整消息如果判斷錯(cuò)了就會(huì)出現(xiàn)兩種典型錯(cuò)誤粘包兩條或多條消息被當(dāng)成一條處理了。比如發(fā)送端連續(xù)發(fā)了消息A和消息B接收端一次recv把A和B的數(shù)據(jù)都讀出來了如果程序沒做邊界判斷就會(huì)把AB當(dāng)成一條消息解析直接解析失敗或者產(chǎn)生錯(cuò)誤結(jié)果。拆包一條消息被拆成多次recv才讀完。比如消息有5000字節(jié)但MSS是1460發(fā)送端至少切成4個(gè)段發(fā)出去接收端第一次recv可能只讀到1460字節(jié)如果程序認(rèn)為這就是全部就會(huì)丟掉后面的數(shù)據(jù)。這兩個(gè)問題的根源都在于TCP不保留消息邊界。解決思路無非兩種要么在應(yīng)用層協(xié)議里自己定義邊界比如長(zhǎng)度字段、分隔符要么用固定長(zhǎng)度的消息。具體選哪種取決于你的業(yè)務(wù)場(chǎng)景和性能要求。3. 發(fā)送端是怎么決定“怎么切”的3.1 發(fā)送緩沖區(qū)的角色應(yīng)用層調(diào)用send的時(shí)候數(shù)據(jù)并不是直接飛到網(wǎng)卡上的而是先進(jìn)入發(fā)送緩沖區(qū)send buffer。這個(gè)緩沖區(qū)是內(nèi)核維護(hù)的大小可以通過SO_SNDBUF選項(xiàng)調(diào)整。TCP發(fā)送數(shù)據(jù)時(shí)是從這個(gè)緩沖區(qū)里取數(shù)據(jù)來組包的。理解這一點(diǎn)很關(guān)鍵因?yàn)樗馕吨鴳?yīng)用層的一次send和底層的一個(gè)TCP段之間沒有一一對(duì)應(yīng)關(guān)系。舉個(gè)例子應(yīng)用層連續(xù)調(diào)了三次send每次發(fā)100字節(jié)總共300字節(jié)進(jìn)入發(fā)送緩沖區(qū)。如果當(dāng)前MSS是1460且沒有其他限制TCP完全可能把這300字節(jié)合并成一個(gè)TCP段發(fā)出去。反過來應(yīng)用層一次send了5000字節(jié)緩沖區(qū)里有了5000字節(jié)TCP會(huì)根據(jù)MSS、擁塞窗口、接收窗口等因素決定一次發(fā)多少可能切成4個(gè)段分批發(fā)。所以組包的第一層邏輯是TCP從發(fā)送緩沖區(qū)取數(shù)據(jù)取多少由多個(gè)因素共同決定。這些因素包括MSS、擁塞窗口cwnd、接收端通告的接收窗口rwnd、以及Nagle算法等。3.2 擁塞窗口和接收窗口的雙重約束發(fā)送端一次能發(fā)多少數(shù)據(jù)不是它自己說了算的要同時(shí)滿足兩個(gè)窗口的限制接收窗口rwnd接收端在ACK里通告自己還有多少緩沖區(qū)空間能收數(shù)據(jù)。如果接收端處理慢緩沖區(qū)滿了rwnd就會(huì)變小甚至變成0發(fā)送端就得停下來等。擁塞窗口cwnd發(fā)送端根據(jù)網(wǎng)絡(luò)狀況自己維護(hù)的一個(gè)值用來避免把網(wǎng)絡(luò)壓垮。剛開始慢啟動(dòng)階段cwnd很小每收到一個(gè)ACK就翻倍增長(zhǎng)遇到丟包就減半。實(shí)際能發(fā)送的數(shù)據(jù)量取兩者的較小值。這意味著即使MSS是1460如果當(dāng)前cwnd只有3000那一次最多也就發(fā)3000字節(jié)左右可能切成3個(gè)段。抓包時(shí)看到段的大小參差不齊很多時(shí)候就是窗口在動(dòng)態(tài)變化導(dǎo)致的。3.3 Nagle算法小包合并的功與過Nagle算法的核心思想很簡(jiǎn)單如果發(fā)送端還有未被ACK確認(rèn)的小數(shù)據(jù)就先攢著等收到ACK或者攢夠一個(gè)MSS再發(fā)。目的是減少網(wǎng)絡(luò)上的小包數(shù)量提高帶寬利用率。這個(gè)算法在早期網(wǎng)絡(luò)帶寬緊張的時(shí)候很有價(jià)值但在很多現(xiàn)代場(chǎng)景下反而成了麻煩。我做過一個(gè)實(shí)時(shí)控制類的項(xiàng)目指令包都很小幾十字節(jié)。開了Nagle算法之后指令發(fā)出去要等前一個(gè)的ACK回來才發(fā)下一個(gè)延遲明顯增加。后來通過設(shè)置TCP_NODELAY選項(xiàng)關(guān)掉了Nagle算法延遲立刻降下來了。所以Nagle算法不是好不好的問題是適不適合的問題場(chǎng)景類型是否建議開啟Nagle原因大批量文件傳輸建議開啟合并小包減少頭部開銷提升吞吐實(shí)時(shí)交互/控制指令建議關(guān)閉小包需要立即發(fā)送延遲優(yōu)先請(qǐng)求-響應(yīng)模式視情況如果請(qǐng)求包很小且頻繁關(guān)閉更好游戲/音視頻信令建議關(guān)閉延遲敏感小包合并會(huì)引入額外等待關(guān)閉Nagle算法的方法很簡(jiǎn)單在socket上設(shè)置int flag 1; setsockopt(sockfd, IPPROTO_TCP, TCP_NODELAY, (char *)flag, sizeof(int));注意關(guān)閉Nagle算法后小包會(huì)立即發(fā)送網(wǎng)絡(luò)上的包數(shù)量會(huì)增加。如果你的場(chǎng)景既需要低延遲又擔(dān)心包太多可以考慮應(yīng)用層自己做批量合并而不是依賴Nagle。3.4 一個(gè)組包過程的完整推演假設(shè)應(yīng)用層要發(fā)送一條2000字節(jié)的消息當(dāng)前MSS為1460cwnd足夠大rwnd也足夠Nagle關(guān)閉。發(fā)送端的處理過程大致如下應(yīng)用層調(diào)用send2000字節(jié)進(jìn)入發(fā)送緩沖區(qū)。TCP從緩沖區(qū)取數(shù)據(jù)第一個(gè)段取1460字節(jié)受MSS限制加上TCP頭部和IP頭部封裝成IP數(shù)據(jù)報(bào)發(fā)出。緩沖區(qū)還剩540字節(jié)TCP繼續(xù)取這540字節(jié)封裝成第二個(gè)段發(fā)出。接收端收到兩個(gè)段分別ACK確認(rèn)。如果發(fā)送端在等ACK期間又有新數(shù)據(jù)進(jìn)入緩沖區(qū)會(huì)繼續(xù)組包發(fā)送。這個(gè)例子里一條2000字節(jié)的消息被切成了1460540兩個(gè)段。接收端如果第一次recv只讀了1460字節(jié)就必須繼續(xù)讀第二次才能拿到完整的2000字節(jié)。這就是拆包的典型場(chǎng)景。4. 接收端怎么把碎片拼回完整消息4.1 接收緩沖區(qū)的合并行為接收端的情況和發(fā)送端對(duì)稱。TCP收到段之后先把數(shù)據(jù)放進(jìn)接收緩沖區(qū)receive buffer然后應(yīng)用層調(diào)用recv從緩沖區(qū)里讀數(shù)據(jù)。關(guān)鍵點(diǎn)在于TCP協(xié)議棧在把數(shù)據(jù)放入接收緩沖區(qū)時(shí)會(huì)按序列號(hào)排序并合并連續(xù)的數(shù)據(jù)。也就是說如果先收到序列號(hào)1000-2459的段再收到2460-2999的段緩沖區(qū)里就是連續(xù)的1000-2999應(yīng)用層一次recv可能把這兩段的數(shù)據(jù)都讀出來。這個(gè)合并行為是粘包問題的直接來源。發(fā)送端明明分兩次發(fā)的接收端一次就讀出來了如果應(yīng)用層沒有邊界判斷邏輯就會(huì)把兩條消息當(dāng)成一條。4.2 應(yīng)用層定義邊界的三種主流方案既然TCP不提供邊界應(yīng)用層就得自己定義。常見的方案有三種各有適用場(chǎng)景方案一固定長(zhǎng)度消息。每條消息長(zhǎng)度固定比如都是128字節(jié)。接收端每次讀128字節(jié)就是一條消息。優(yōu)點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單解析快缺點(diǎn)是靈活性差消息長(zhǎng)度不一時(shí)會(huì)浪費(fèi)帶寬。適合定長(zhǎng)指令、定長(zhǎng)狀態(tài)上報(bào)這類場(chǎng)景。方案二分隔符。用特殊字符或字符串作為消息結(jié)束標(biāo)記比如換行符、特定字節(jié)序列。接收端不斷讀取直到遇到分隔符就算一條完整消息。HTTP的頭部、很多文本協(xié)議都用這種方式。缺點(diǎn)是分隔符本身不能出現(xiàn)在消息內(nèi)容里否則需要轉(zhuǎn)義處理起來麻煩。方案三長(zhǎng)度字段。在消息頭部放一個(gè)固定長(zhǎng)度的字段標(biāo)明消息體有多少字節(jié)。接收端先讀固定長(zhǎng)度的頭部解析出長(zhǎng)度再讀對(duì)應(yīng)長(zhǎng)度的消息體。這是最通用、最可靠的方案二進(jìn)制協(xié)議基本都用這種。缺點(diǎn)是解析邏輯稍復(fù)雜需要處理頭部和體分開讀的情況。方案優(yōu)點(diǎn)缺點(diǎn)適用場(chǎng)景固定長(zhǎng)度實(shí)現(xiàn)最簡(jiǎn)單解析快不靈活浪費(fèi)帶寬定長(zhǎng)指令、心跳包分隔符可讀性好文本友好需轉(zhuǎn)義解析效率低文本協(xié)議、日志傳輸長(zhǎng)度字段通用性強(qiáng)效率高實(shí)現(xiàn)稍復(fù)雜二進(jìn)制協(xié)議、RPC框架4.3 長(zhǎng)度字段方案的完整實(shí)現(xiàn)思路以長(zhǎng)度字段方案為例接收端的處理邏輯需要分兩步先讀頭部再讀體。但這里有個(gè)坑recv不保證一次能讀滿你想要的字節(jié)數(shù)。你可能想讀4字節(jié)的頭部結(jié)果只讀到2字節(jié)。所以必須用一個(gè)循環(huán)來確保讀滿。下面是一個(gè)簡(jiǎn)化的處理框架用偽代碼表示def read_exact(sock, n): 確保從socket讀滿n字節(jié) buf b while len(buf) n: chunk sock.recv(n - len(buf)) if not chunk: raise ConnectionError(連接斷開) buf chunk return buf def read_message(sock): 讀取一條完整消息 # 第一步讀4字節(jié)頭部解析出消息體長(zhǎng)度 header read_exact(sock, 4) body_len int.from_bytes(header, big) # 第二步讀消息體 body read_exact(sock, body_len) return body這個(gè)框架的核心是read_exact函數(shù)它保證了“讀滿指定字節(jié)數(shù)”這個(gè)語義。不管底層TCP怎么切分應(yīng)用層看到的都是完整的頭部和完整的體。這就是解決拆包問題的標(biāo)準(zhǔn)做法。實(shí)操心得read_exact里的循環(huán)條件是len(buf) n不是len(buf) ! n。雖然在這個(gè)場(chǎng)景下兩者等價(jià)但用更符合語義也更安全。另外recv返回空字節(jié)串表示對(duì)端關(guān)閉了連接必須處理否則會(huì)死循環(huán)。4.4 緩沖區(qū)大小對(duì)組包的影響接收緩沖區(qū)的大小會(huì)影響recv一次能讀到的數(shù)據(jù)量。如果緩沖區(qū)設(shè)得很大而發(fā)送端發(fā)得快一次recv可能讀到多條消息的數(shù)據(jù)粘包概率增加。如果緩沖區(qū)設(shè)得很小可能一條消息要分很多次才能讀完拆包次數(shù)增加。我的經(jīng)驗(yàn)是接收緩沖區(qū)不要設(shè)得過大一般設(shè)為MSS的幾倍就夠了。更重要的是應(yīng)用層的讀取邏輯必須能正確處理“一次讀到多條”和“一條分多次讀”這兩種情況。只要read_exact這類函數(shù)寫對(duì)了緩沖區(qū)大小的影響就被屏蔽了。5. 抓包分析實(shí)戰(zhàn)從Wireshark看組包過程5.1 抓包前的準(zhǔn)備工作要觀察TCP組包過程最直接的工具就是抓包軟件。在開始之前有幾個(gè)設(shè)置需要確認(rèn)選擇正確的網(wǎng)卡。如果有多塊網(wǎng)卡要選實(shí)際承載流量的那塊。設(shè)置合適的抓包過濾器。比如只想看某個(gè)端口的流量可以用tcp port 8080避免抓到無關(guān)數(shù)據(jù)干擾分析。關(guān)閉網(wǎng)卡的分載功能如果條件允許。某些網(wǎng)卡的TSO、LRO等分載功能會(huì)讓抓到的包和實(shí)際發(fā)出的包不一致影響判斷。5.2 識(shí)別組包行為的關(guān)鍵字段抓到包之后重點(diǎn)看這幾個(gè)字段Sequence Number序列號(hào)標(biāo)識(shí)這個(gè)段的數(shù)據(jù)在字節(jié)流中的起始位置。通過相鄰段的序列號(hào)差值可以算出每個(gè)段攜帶了多少字節(jié)數(shù)據(jù)。Acknowledgment Number確認(rèn)號(hào)接收端期望收到的下一個(gè)字節(jié)的序列號(hào)。Flags看PSH標(biāo)志。發(fā)送端設(shè)置PSH表示希望接收端盡快把數(shù)據(jù)交給應(yīng)用層但這不是強(qiáng)制的接收端可以忽略。Window Size接收端通告的接收窗口大小反映接收緩沖區(qū)的剩余空間。TCP Segment LenWireshark直接給出的段數(shù)據(jù)長(zhǎng)度最直觀。5.3 一個(gè)真實(shí)的組包分析案例假設(shè)我們抓到了一段流量應(yīng)用層發(fā)送了一條3000字節(jié)的消息MSS為1460。抓包結(jié)果可能長(zhǎng)這樣包序號(hào)序列號(hào)段長(zhǎng)度標(biāo)志說明111460PSH,ACK第一個(gè)段攜帶1460字節(jié)214611460ACK第二個(gè)段攜帶1460字節(jié)3292180PSH,ACK第三個(gè)段攜帶剩余80字節(jié)4-0ACK接收端確認(rèn)收到2921803001字節(jié)從序列號(hào)可以看出第一個(gè)段從1開始長(zhǎng)度1460所以下一個(gè)段從1461開始。第二個(gè)段長(zhǎng)度1460下一個(gè)從2921開始。第三個(gè)段長(zhǎng)度80總共3000字節(jié)和消息長(zhǎng)度吻合。這就是一次典型的組包過程3000字節(jié)被切成了1460146080三個(gè)段。注意第一個(gè)和第三個(gè)段帶了PSH標(biāo)志中間那個(gè)沒有。這是因?yàn)榘l(fā)送端在發(fā)送第一個(gè)段時(shí)緩沖區(qū)里可能只有部分?jǐn)?shù)據(jù)設(shè)置了PSH希望對(duì)方盡快處理發(fā)送第二個(gè)段時(shí)數(shù)據(jù)還在陸續(xù)寫入沒設(shè)PSH第三個(gè)段是最后一部分又設(shè)了PSH。PSH的設(shè)置和發(fā)送端的寫入節(jié)奏有關(guān)不是固定的。5.4 從抓包結(jié)果反推應(yīng)用層行為有經(jīng)驗(yàn)的開發(fā)者能從抓包結(jié)果反推出不少應(yīng)用層的信息。比如如果看到大量小段幾十字節(jié)且間隔規(guī)律可能是應(yīng)用層在頻繁發(fā)送小消息且沒關(guān)Nagle算法。如果看到段大小總是1460的整數(shù)倍附近說明發(fā)送端在盡量填滿MSS可能是批量數(shù)據(jù)傳輸。如果看到接收窗口頻繁變小說明接收端處理速度跟不上發(fā)送速度應(yīng)用層可能有性能瓶頸。如果看到重傳說明有丟包需要檢查網(wǎng)絡(luò)質(zhì)量或擁塞控制參數(shù)。這些推斷不是百分百準(zhǔn)確但能給你排查問題提供方向。我排查過一個(gè)吞吐上不去的問題抓包發(fā)現(xiàn)發(fā)送端一直在等接收端的窗口更新接收窗口長(zhǎng)期只有幾百字節(jié)。后來查出來是接收端應(yīng)用層讀取太慢緩沖區(qū)一直滿著。把接收端的處理邏輯優(yōu)化后窗口恢復(fù)正常吞吐立刻上去了。6. 常見問題與排查技巧實(shí)錄6.1 粘包拆包問題速查表現(xiàn)象可能原因排查方法解決思路收到半截消息拆包一次recv沒讀滿打印每次recv的字節(jié)數(shù)用read_exact確保讀滿多條消息混在一起粘包一次recv讀了多條檢查消息邊界判斷邏輯加長(zhǎng)度字段或分隔符解析偶發(fā)解析失敗粘包拆包交替出現(xiàn)抓包看段分布完善應(yīng)用層緩沖和解析小包特別多Nagle關(guān)閉或消息本身小抓包看段長(zhǎng)度視場(chǎng)景決定是否開Nagle吞吐上不去窗口太小或緩沖區(qū)不足抓包看Window Size調(diào)大緩沖區(qū)或優(yōu)化處理速度延遲忽高忽低擁塞控制或Nagle影響對(duì)比開關(guān)Nagle的延遲延遲敏感場(chǎng)景關(guān)Nagle6.2 幾個(gè)容易踩的坑坑一以為一次send對(duì)應(yīng)一次recv。這是新手最常見的誤解。TCP不保證send和recv的一一對(duì)應(yīng)任何依賴這個(gè)假設(shè)的代碼都是不可靠的。我見過有人寫測(cè)試代碼客戶端send一次服務(wù)端recv一次就認(rèn)為收完了結(jié)果在本地測(cè)試沒問題一上真實(shí)網(wǎng)絡(luò)就出各種詭異bug。本地回環(huán)接口MTU很大通常65535很少觸發(fā)拆包所以問題被掩蓋了。坑二用sleep來等數(shù)據(jù)收完。有人為了等一條消息的所有片段到達(dá)在recv之間加sleep。這種做法極其不可靠網(wǎng)絡(luò)延遲不可預(yù)測(cè)sleep短了不夠長(zhǎng)了浪費(fèi)性能。正確做法是用長(zhǎng)度字段或分隔符來判斷消息邊界而不是靠時(shí)間??尤雎詒ecv返回0的情況。recv返回0表示對(duì)端正常關(guān)閉了連接不是錯(cuò)誤。如果不處理循環(huán)會(huì)一直轉(zhuǎn)CPU跑滿。處理方式很簡(jiǎn)單recv返回0時(shí)跳出循環(huán)關(guān)閉連接。坑四緩沖區(qū)開得過大。有人覺得緩沖區(qū)越大越好直接開到幾MB。實(shí)際上過大的緩沖區(qū)會(huì)占用大量?jī)?nèi)存而且可能讓粘包問題更嚴(yán)重。合理的做法是根據(jù)消息大小和并發(fā)連接數(shù)來估算一般幾十KB到幾百KB就夠了。坑五混淆MSS和MTU。MSS是TCP數(shù)據(jù)部分的最大長(zhǎng)度MTU是整個(gè)IP數(shù)據(jù)報(bào)的最大長(zhǎng)度兩者差了40字節(jié)IP頭TCP頭。設(shè)置參數(shù)時(shí)搞混了會(huì)導(dǎo)致包大小不對(duì)。記住那個(gè)公式MSS MTU - 40無選項(xiàng)時(shí)。6.3 一個(gè)排查粘包問題的完整過程分享一個(gè)我實(shí)際排查過的案例。某服務(wù)端偶爾報(bào)“消息解析失敗”頻率不高但一直存在。排查過程如下第一步在解析失敗的地方加日志打印收到的原始字節(jié)和長(zhǎng)度。發(fā)現(xiàn)失敗時(shí)收到的數(shù)據(jù)長(zhǎng)度比預(yù)期的一條消息長(zhǎng)明顯是兩條消息粘在一起了。第二步檢查應(yīng)用層解析邏輯。發(fā)現(xiàn)代碼是這么寫的recv一次然后直接按一條消息解析。沒有循環(huán)沒有邊界判斷。這就是根因。第三步抓包確認(rèn)。抓包顯示發(fā)送端確實(shí)分兩次發(fā)了消息但接收端一次recv把兩條都讀出來了。因?yàn)閮蓷l消息都很小加起來也沒超過接收緩沖區(qū)TCP合并后一起交給了應(yīng)用層。第四步修復(fù)。引入長(zhǎng)度字段用read_exact先讀頭部再讀體循環(huán)處理直到緩沖區(qū)沒有完整消息為止。修復(fù)后再?zèng)]出現(xiàn)過解析失敗。這個(gè)案例的教訓(xùn)是不要假設(shè)recv的行為要用協(xié)議來定義邊界。只要邊界定義清楚了TCP怎么切、怎么合都不影響應(yīng)用層的正確性。6.4 性能優(yōu)化的小技巧如果你已經(jīng)正確處理了組包拆包但性能還是不滿意可以試試這幾個(gè)方向調(diào)整SO_SNDBUF和SO_RCVBUF適當(dāng)增大緩沖區(qū)可以減少系統(tǒng)調(diào)用次數(shù)提升吞吐。但別太大夠用就行。使用writev/readv如果需要發(fā)送多個(gè)不連續(xù)的內(nèi)存塊用writev可以一次系統(tǒng)調(diào)用發(fā)出去減少開銷。考慮TCP_CORK和Nagle類似但更激進(jìn)可以強(qiáng)制攢夠一定數(shù)據(jù)再發(fā)。適合批量發(fā)送場(chǎng)景但要注意別把延遲敏感的數(shù)據(jù)也攢進(jìn)去了。批量ACK接收端可以延遲發(fā)送ACK攢幾個(gè)段一起確認(rèn)減少ACK包數(shù)量。Linux下有TCP_QUICKACK選項(xiàng)可以控制。這些優(yōu)化都要在正確性有保障的前提下做。如果組包拆包邏輯本身有問題優(yōu)化只會(huì)讓問題更難排查。7. 我個(gè)人在實(shí)際操作中的幾點(diǎn)體會(huì)組包這個(gè)話題看文檔覺得簡(jiǎn)單真到代碼里全是細(xì)節(jié)。我最大的體會(huì)是永遠(yuǎn)不要相信“一次send對(duì)應(yīng)一次recv”這個(gè)假設(shè)。不管你的測(cè)試環(huán)境多穩(wěn)定真實(shí)網(wǎng)絡(luò)里什么情況都可能發(fā)生。把邊界判斷做扎實(shí)比什么都重要。另一個(gè)體會(huì)是抓包工具要會(huì)用但不能全信。網(wǎng)卡分載、抓包點(diǎn)位置、時(shí)間戳精度都會(huì)影響你看到的結(jié)果。最好結(jié)合應(yīng)用層日志一起分析兩邊對(duì)照才能定位準(zhǔn)確。我一般會(huì)在關(guān)鍵路徑上打日志記錄每次recv的字節(jié)數(shù)和解析結(jié)果出問題時(shí)和抓包結(jié)果對(duì)照很快就能找到根因。最后分享一個(gè)小技巧如果你在寫自定義協(xié)議長(zhǎng)度字段建議用固定長(zhǎng)度的大端序整數(shù)比如4字節(jié)。大端序是網(wǎng)絡(luò)字節(jié)序跨平臺(tái)不會(huì)出問題固定長(zhǎng)度讓解析邏輯簡(jiǎn)單4字節(jié)能表示4GB的長(zhǎng)度絕大多數(shù)場(chǎng)景都?jí)蛴?。這個(gè)設(shè)計(jì)看起來不起眼但能省掉后面很多麻煩。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美成人在线观看| 天天天干夜夜夜操| 777久久久| 亚洲成人五月| 97人人超| 97色精品视频| 久久婷婷五月天| 99ri久久| 欧美成人AAA片一区国产精品| www激情网| 狠狠色综合无线观看| 狠狠高潮精品亚洲1| 久9免费视频| 草草操操| 久色国产| 日韩一级A片黄色| 国产露脸150部国语对白| 91九色视频| 天天肏夜夜肏| 99热九九热| 99啪啪网| 国产3p露脸普通话对白| 激情综合网激情五月天| 欧美色色色色色色色色色色影视| 1024在线视频| 色五月六月| 五月情婷婷五月| 亚洲无码影片| 99热都是精品| 日日爽天天| 激情爱爱网站超大免费| 天天揷综合网| 色婷婷六月天| 色五月综合婷婷| 另类图片五月激情| 99免费视频| 99成人免费热视频| Av狠狠色丁香婷| 97色精品视频| 夜夜躁爽日日| 欧洲色色| 久久久五月婷婷| 久久久久亚洲AV成人无码电影| 五月激情小说| 五月天婷婷影院| 久久er免费视频| 超碰九热| 操人无码| 国产avapp 网| 亚艹艹| 99热国产精品| 97丁香视频| 日本狠狠干| 婷婷香五月天| 欧美另类五月激情| 丁香无月在线观看| 91oumei| 99在线免费视频| 五月叮香啪| 婷婷五月成人有| 五月天怕怕| 五月丁香网站| 色婷婷亚洲| 天天成人综合视频| eeuus五月婷| 日本情色一区二区| 最近免费中文字幕大全高清大全1 色狠狠色噜噜AV天堂五区 | 国产精品丝| 亚洲妇女熟BBW| 天天射影院| 丁香婷婷五月综合影院| 亚洲精品操一操、噜一噜、摸一摸、爽 | 五月丁香六月欧美| 狠狠艹狠狠艹| 丝袜人妻| 在线观看亚洲AV| 无码激情AAAAA片-区区| 99视频内射三四| 五月激情影视| 欧美草久久五月天91| 高潮毛片遮挡费高一百度| 狠狠色丁香久久婷婷综合五月| 成人日韩欧美| 久久久这里有精品| 五月婷婷综合激情网| 99热12| 色婷婷五月六月丁香综合视频| 一婬一伦一区二区三区| 91av无码| 久久99大| 免费无码毛片一区二区A片| www.久久久久| 久久精品99久久久久久| 五月欧美丁香在线观看| 天天情色综合网| 99热日韩这里只有精品| 99热91| 91久久电影| 玖玖婷婷色欲| 婷婷综合中文字幕| 激情婷婷丁香五月| 成人做爰A片免费看网站找不到了| 操一区| 欧美精品18| 亚洲狠狠操| 久久色五月| 99re免费精品视频| 色婷婷大香蕉| 91一起艹| 色五月婷婷久久| 色五月激情综合| 青吴乐视频| 国产精品第一国产精品| 99热在线观看| 日欧一片内射VA在线影院| 欧美在线干| www.狠狠| 五月婷婷中文字幕| 激情网五月天| 操逼视频一区| 91色婷婷综合久久中文字幕二区| 色五月婷婷av| 日夜操B| 欧美视频五区| 久操大香蕉| 亚洲最大在线| 国产激情综合| 九九热这里只有精品6| 婷婷五月天黄色| 久久92| 成人在线视频一区| 97在线精品视频| 4438激情网| 五月丁香六月激情综合| 久久婷婷网| 五月丁香在线| 日本久久精品| 色情成人五月天| www.狠狠| 久久婷婷九月国产精品| 婷婷五月天渟渟| 在线播放成人| 91人人澡人人爽人人看| 99热伊人| 亚洲成色综合网站免费观看| 丁香五月激情澎湃一区| 综合久久人妻| 99啪啪网| 九九视频在线| 99爱在线观看视频| 五月婷婷综合丁香视频| 91婷婷色五月| 狠狠狠狠狠狠| 久久A极片| 久久九网| 97超碰在线免费观看| 啪啪 综合网| 中文精品在| 97碰超级人人看| 五月丁香另类图片| 婷婷五月天伦理| 思思热在线视频99| 久久人妻人人| 色五月激情| 人妻av在线| 欧洲色区| 91久久精品视频| 91婷婷在线观看| 99热99极品观看| www.99热视频| 我爱宗和色| 五月丁香六月激情啪| 丁香五月婷婷六月| 成人片在线播放| 99久久网站| 黑人巨粗进入警花疼哭A片| 色色色九九九五月婷婷| 国产日韩av片| 性 色 婷婷| 五月天色在线| 欧美色97| www.夜夜操| 久99久视频| 激情伊人五月天| WWW五月天| 中文字幕,综合,91| 欧美久热| 日韩性爱无码| 播丁香五月婷婷欧美| avh片在线观看| 丁香婷婷五月综合| 99这里有精品免费| 亚洲综合色色色| WWW99热| 丁香五月成人网| 超pen个人视频97| 免费成人中文字幕| 丁香蜜臀黄色婷婷五月天| 激情五月综合免费| 天天干电影| 六月丁香五月天| 色色欧美色色| 九九精品综合| 五月婷婷婷婷婷| 国产性爱一级| 日韩无码AV电影网站| 婷婷色六月| 婷婷丁香五月麻豆| 26uuu亚洲精品国产| 丁香五月首页| 欧美日韩一区二区三区四区| 五月六月婷婷激情网| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 五月激情五月丁香| 天天爽,夜夜爽| 99免费在线| 婷婷在线五月综合| 欧美黑人大吊| 亚洲第一综合| 99久久九九视频| 国产午夜精品一区二区| 久久成人天| 久久女人天堂| 182tv992tv人之初午夜免费观看| 在线播放成人网站| 色婷婷色人人射| 伊人久久大香蕉网| 六月婷婷天堂| wwxx日本| www.久久久.com| 激情婷婷狠狠干综合| 91精产一区三区免费观看| 天堂AV三级| 婷婷色五月色| 国产99久久久国产精品免费看| 99久久.www| 桃色激情婷婷伊人网| 99热这里只有精品55| 亚洲精品V天堂中文字幕| 亚洲午夜一区二区| 丁香五月婷在线| 日本99热| 夜色综合网| 三十路磁力链接| 五月婷婷影院| 大天天伊人| 成人欧美Va| 级情九色| 日韩美女羞羞网站在线观看| 婷婷五月天激情五月天网站| 91色久| 伊人玖玖网| 亚洲看av的网站| 日本色色色| 97人人操com| 亚洲色激婷| 丁香五月激情综合| 婷婷六月久久| 99精品无码网站| 99亚洲视频| av操一操| 久久人妻伦理| 97久久婷婷色| 丁香五月狠狠综合欧美| 日韩成人网址| 啪啪啪大香蕉| 婷婷五月电影院| 超碰京东热av男人的天堂| 天天五月香欧美| 精品99在线| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 激情五月狠狠喔| 婷婷丁香五月天欧美| 久久综合五月天| 狠狠色综合网站久久久久| 色五月激情综合| 日本狠狠色| 五月婷婷偷拍| 天天肏天天肏天天肏| yirenjiqingshiping| 婷婷五月天无码熟女| 丁香九月久久| 激情综合色网| 激情综合无码| 色五月成人| 欧洲色色| 激情av在线| 综合一本道| 99色人| 2020久久婷婷五月| www.夜夜操| 五月丁香久久综合| www.99热这里只有精品| 思思热这里只有精品视频666| 99热免费精品| 97在线刺激| 五月天婷婷激情| 婷婷五月a| 99视频这里有精品免费观看| 日日操无码| 丁香五月婷婷骚视屏| 五月天婷婷色播综合在线| 丁香婷婷免费| 国产婷伊人| 深爱激情四射| 1024操逼| 丁香婷婷色情社区成人小说| 黄页免费一级视频懂色| 99热这里都是精品| 中美月韩免费A片| 欧美色色色色色色色色色色| 色婷婷9| 五月丁香激情婷婷| 九九碰九九爱97| 久久精品99| 天天久久狠狠色综合| 激情亚洲婷婷| 亚洲激情AV| a网站免费观看| 青青热视频| www夜夜操| 色五月激情视频在线综合| 91九色网| 婷婷久久五月天亚洲欧美国产日韩在线观看| 激情综合五月| 五月色导航| 国产精品久久久久久喷浆| 99这里只有精品在线| 久久性爱网| 婷婷丁香五月天狠狠| 色综合99无码 | 丁香婷婷免费| 青柠影视免费高清电视剧| 色欲五月天| 免费黄网不卡AV| 婷婷香五月| 色色六月| 99热精品在线在线| 婷婷五月大| 嫩草AV久久伊人妇女超级A | 婷婷成人网五月天| 爽tv | 丁香五月亚洲婷婷| 免费看成人747474九号视频在线观看| 91久久99久久91熟女精品| 婷婷五月在线免费| 中文字幕免费高清电视剧| 婷婷丁香激情| 色伊人啪| 大香蕉综合网| 亚洲成人噜噜| 九九热10| 欧美成人AAA片一区国产精品| 亚洲性爱99在线| 激情综合丁香六| 97色色综合| 色婷婷9| 久久综合五月天| 逼逼AV| 日韩小视频在线99| 9 1超碰九色| 天堂婷婷五月在线| 成人视频免费观看高清完整版在线观看| 久久性爱视频网站| 国产脫衣舞一区二区三区| 26uuu| 极品人妻videosss人妻| 一本色道久久综合狠狠躁小说| 久9视频| 综合五月亭亭9| 激情婷婷。| 99热综合网| 婷婷丁香五月视频| 碰碰人人漕| 五月激情小说| 色婷婷五月在线| 色色婷| 成人做爰A片免费看网站找不到了| 五月婷婷色情| 激情婷| 日本超碰在线| 五月综合婷婷久久在线| 久久婷婷啪啪视频| 狼人伊人天堂| 久久五月视频| 婷婷五月激情在线视频| 人人草成人视频| 欧美高潮9| 色婷婷综合网| 婷婷五月亚洲一本在线丁香| 99亚洲精品视频| 伊人六月丁香婷婷| 26UUU欧美激情一区二区| 激情深爱五月天| 婷香五月激情视频| 综合xx网| 人人干99| 涩丁香91| www.久久99| 久久99网| wwwxxx五月婷婷小说| 色呦呦美女| 丁香五月五月婷婷欧美大香蕉| 综合网啪| 亚洲久热无码| 亚洲综合视频天天精品| 中文字幕av在线播放| 嫩草AV久久伊人妇女超级A| 激情五月色婷婷| 日韩抽插操逼| 久久女人天堂| 亚洲在线成人| 99热超碰| 久久久久久久久久8888| 丁香涩涩爱| 亚洲激情淫网| 99久在线精品| 成人片在线免费看| 成人在线观看国产| 亚洲色网址| 激情五月婷婷五月| 激情综合网激情五月网| 亚洲色啪| 99热天堂| 丁香花五月天社区| 日本黄色三级片内射| 亚洲精品视频在线播放| 饮料下药迷倒漂亮女同事强干| 清色五月天| 99久久综合| 色播色丁香五月| 亚洲国产精品SUV| 九九99免费理论| 99re思思久久| 天天操夜夜玩!| 五月色在线| 婷婷国产欧美97| 丁香五月大香蕉在线99| 色婷婷色99国产综合精品| 国产.亚洲.欧洲视频在线| 亚洲精色| 思思热在线视频99| 亚洲色欲欧美一区二区三区| 全亚洲最大的婷婷五月天网站COM 丁香五月婷婷狠狠色 | 91色在线/日韩| 五月丁香花激情啪啪网| 99热99艹在线观看| 99成人| 五月丁香成人| 国产婷婷综合| 日日操夜夜爽| 激情五月天激情小说| 亚洲人妻一区二区| 综合激情网| 97人人干| 一区二区免费看| 亲子乱av一区二区三区的| 日本一级淫| 99在线免费观看| 99这里只有| 9999三级片| 99热这里只有精品在线观看| 九九99精品视频在线观看| 亚洲中文乱字字幕线在永久| 丁香五月激情综合网激情五月| 五月丁香六月婷婷,婷| 婷婷九月色| 精品牛仔裤超碰| 99热色婷婷| 性色综合网| 五月停亭久久电影| www.久操| 色很久综合| 九月婷婷综合在线| se婷97| 人人操婷婷| 久久九九激情五月天 | 亚洲情欲久久| 中文在线视频久9| 99ri6在线视频| 亚洲正能量欧美| 在线综合亚洲欧美65| 色九九综合色| 婷婷五月激情四射手| 国产午夜精品一区二区三区四区| 日本强伦片中文字幕免费看| 99热 精品在线| 久久国产一区二区三区| 激情网 久久| 婷婷五月色播天| www久视频com| 香蕉久久五月| 操操熟女| 欧美色图天堂网色| 91人人网| 第四色婷婷日本| 色六月天天激情综合网| 丁香六月色情| 色区域网站视频| 欧美草久久五月天91| 色激情五月| 丁香婷婷影院| 色丁香五月天| 久久九九色| 丁香六月激情综合| 丁香五月天AV在线 | 久久99热只有精品| 五月婷人妻| 五月丁香久久激情网| 天天日夜夜爽。| 亚洲色激情| 色婷婷的五月天| 亚洲综合视频网| 久久婷婷伊人| 99噜噜噜在线播放| 在线综合91| 色婷婷狠狠久久YY| 五月天婷婷综合久久| 久久这里只有精品07| 婷婷五月婷婷五月天| 色丁香六月| 久青草影院| 99色天堂| 国产精品18久久久| 色色热日| 激情五月综合网最新| 99在线精品观看99| 丁香久久五月天视频在线观看 | 98毛片| 六月天丁婷婷| 91成人看片| 色色五月天婷婷| 国产成人精品一区二区三区视频| 国产精品成人网址| www.色色五月天.com| 99这里只有精品视频免费| 色婷婷伦理| 成人精品亚洲性爱| 亚洲综合五月| 亚洲无码性爱| 激情综合五| 久久久er热| 99亚洲色| 丁香婷婷五月综合色情| 一起草AV| 国产在线视频1234| 99热最新精品| 婷婷五月天激情丁香| 久久五月天色婷婷| 午夜天堂一区人妻| 婷婷 丁香 久久| 狠狠色婷婷| 99色热视频| 精品人妻伦一二三区久久| 亚洲综合在线视频| 丁香五月婷婷国产av| 艹天天射| 日日噜噜久久婷婷五月天 | 国产精品久久久久久久久久免费| 国产超碰av| 免费观看亚洲AV片| 秋霞影音91人妻久久| 日本天堂免费99| 中文成人在线| 97碰人人操| 欧美天天综合网站上去吧| 欧美成人色婷婷| 99精品热| 9热在线视频精品| 婷婷五月天中文字幕.| 五月婷在线播放| 天天干天天操天天爽| 日韩av免费版| 26UUU| 天天狠狠干| 国产激情综合五月久久| 狠狠色噜噜狠狠亚洲A∨| 九九久久99| 五月丁香六月激情综合欧美| 色激情五月| 91欧美日韩| 色婷婷婷av | 丁香五月色| 九月停停| 婷婷在线五月天观看| 碰97久久| 午夜丁香久久久久久| 婷婷六月色| 丁香五月在线| 亚洲乱码日产精品BD| 婷婷激情性爱| 狠狠xx| 婷婷色婷婷| 婷婷五月天AV在线| 永久地址 色| 思思热在线| 99精品97| 九九精品视频在线6| 五月花婷婷| 亚洲AV第二区国产精品| 婷婷六月视频| 99热在线观看| 9久久精品| 欧美成人色婷婷| 午夜不卡久久精品无码免费| 99久.| 岛国AV网| 五月天婷婷丁香成人网| 99精品这里只有免费视频| 久久婷婷丁香| 婷婷久久在线| 四月婷婷丁香| 成人中文网| 99ri在线视频| 人人干99| 在线看av| 男人的天堂五月丁香| 免费视频WWW在线观看网站| 五月丁香婷婷基地| 久久99精品久久久久久三级| 色开心五月婷婷丁香HD| 密桃激情五月天综合网| 伊人久久五月天综合| 亚洲va综合va国产va中文| 第五婷婷伊人丁香色| 五月天激情小说欧美激情| 精品成人在线| 狠狠擼综合| 精品色色| jiujiu热在线视频| 六月丁香网| 久热精彩视频98| 婷婷丁香五另类网站| 玖玖综合色| 激情四射婷婷色色色| 婷婷六月久久综合导航| 久久44| 久久久久综合激动五月天| 99精品热视频| 色女人久久| 99热这里只有精品2| 无码激情AAAAA片-区区| 久婷婷五月丁香在线观看| 伦乱天堂| 9久热免费视频99| 操骚货在线| 99碰碰碰| 99视频这里只有精品10| 大香蕉在线观看9| 99综合免费视频| 亚洲av另类在线观看| 日韩AV色色色| WWW.国产| 91/九色黑人| 91操在线| 久久综合播放| 五月天激情网页| 国产毛片精品一区二区色欲黄A片| 五月天伊人av| 免费看欧美成人A片无码 | 99这里| 99啪啪骑| 天天色粽合合合合合合合| 五月丁香久久综合色| 国产精品久久久海的味道| 免费看片在线观看| 五月天婷婷乱论小说| 丁香婷婷婷五月综合色情| 天天操婷婷| 久久九精品| 91久久九久久九久久九久久九久久 | 操97| 五月婷丁香| 伊人五月婷婷| 99色爱| 婷婷色香六月综合激情| 免费看欧美成人A片无码| 五月天激情Av| 伊人大综合| 综合激情网激情五月。| 丁香五月综合无码趴趴| 黄色成人网站在线播放| 欧美日韩成人在线| 日本猛少妇色XXXXX猛叫| 五月丁香六月婷婷综合网| 激情五月黄色| 五月天社区婷婷丁香社区| 日本啪啪网| 少妇激情基地| 国产古装妇女野外A片| 99热这里有精品2| 婷婷久久色| 久99久精品视频| 少妇高潮一区二区三区99欧美| 婷婷丁香六月| 激情五月婷婷伊人| 96色婷婷| 日本综合色色| 丁香久久AV| 久久婷婷艹| 综合XX网| 五月丁香手机在线| 激情综合色五月丁香| 开心激情五月天网| 日本色婷婷| www.五月天| 婷婷五月丁香伊人| 99碰碰视频| 日日夜夜狠狠| 色五月亚洲开心网| 婷婷五月丁香花综合| 亚洲综合五月天| 丁香欧美| WWW.久久久久久久| 少妇被躁爽到高潮无码文 | 欧美色久| 激情五月综亚网| 丁香五月天激情四射网络不好| 色玖玖爱| 很操日本7| 色色色色色色五月婷婷| 婷婷免费视频| 色人妻五月| 久久久久久97| 亚洲人妻av伦理| 人人摸人人搞| 五月丁香六月色婷婷综合五月天| 九色综合网| 大香蕉久久婷婷精品综合| 丁香六月AV| 激情婷婷。| av人人干| 激情综合色婷婷六月天| 99精品国产在热久久| 中文字幕日产A片在线看| 亚洲第79页| 91综合在线| #NAME?| 婷婷五月天久久| 色婷婷六月开心中文字| 丁香九九九九| 天天久综合网永久入口18| 久久精品五月天| 久久996re热这里只有精品无码| 婷婷丁香婷婷97| 能看的AV| 激情五月五月婷婷| 97丁香花五月天激情小说| 操b视频在线观看一区二区| 色情综合网| 996日日爱| 婷婷丁香五月天婷婷| 日噜噜色| 国外亚洲成AV人片在线观看| 日本天堂免费99| 26uuu亚洲色| 久久天堂网| 九色视频九色九色91jiuseshipin| 天天射综合网站| 亚洲成人va| 丁香五月在线伊人| 丁香五月综合激情性爱| 欧美综合五月天婷婷tin| 中文资源在线a| 丁香五月冃欧美| 婷婷开心深爱五月天| 男人天堂AV在线一区二区| 中文字幕无码人妻少妇免费视频| 玖玖99免费视频| 天天成人丁香美女AV| 午夜丁香丁香婷婷| 日本99视频精品免费播放| 超喷97免费在线视频| 久久色情| 97色色色| 色婷婷六月综合| 日本3级片偷拍网站| 超碰69天堂| 激情五月影院| 日本狠狠色| 五月丁香六月停停| 色很很96| 色色色天堂网| 97在线观视频免费观看| 天天插天天爽| 五月丁香五月综合欧美| 熟女五月天久久综合| 国产67194| 成人在线视频一区| 国产精品天天狠天天看| 99视频久久| 狠狠干综合网| 五月丁香五月激情综合色综合| 99人人干| 大香蕉人人网| 丁香九月色| www.色五月| 另类激情综合| 翔田千里 50岁 无码| 深爱激情丁香| 五月亭亭综合五码| 亚洲成人电影aaaa| 99热www.| 狠狠色丁香综合| 五月婷婷影院| 成人AV中文字幕| 五月婷丁香久久综合| 久久婷婷伊人| 五月综合视频| 五月天啪啪| 嫩草视频在线观看| 婷婷涩涩五月天| 九九热只有精品| 17.c黄色| 丁香婷婷六月在线资源观看| 人人色AV| 欧美色六月婷婷| 久久综合激情五月天| 久久九九热视频| 狠狠色丁香婷婷久久综合| 久久99热在线观看| 99精品在这里| 人人人人人人人草| 99久久综合精品五月天| 久久一二三视频| 夜夜夜夜操| 狠狠色性| 日韩无码人妻一区二区三区综合 | 91刘玥视频在线观看| 男同色五月开心五月激情五月| 美女婷婷激情亚洲| 在线看九一V图片| 久久综合久色欧美综合狠狠| 天堂无码人妻精品AV一区| 欧亚成人A片一区二区| 超碰在线99| 五月天婷婷久久| 99亚洲精品| 嫩草AV久久伊人妇女超级A| 亚洲精品又粗又大又爽A片 | 激情五月天色色| 六月丁香婷| 激情五月天影院| 五月天婷婷久久| 色吧综合网| 五月天综合在线| 99精品偷自拍| 9国产在线视频| 丁香六月婷婷缴情欧美| 99热在线极品极品| 丁香97综合| 久久亚洲无码| 97色97干| 欧美123区免| 操人精品| 超碰三级片| 婷婷永久在线| 在线视频色五月| 久久视频婷婷视频| 亚洲麻豆乱码国产2028| 色综合色综合色综合| 婷婷五月天视频亚洲| 99在线热视频| 亚洲av日韩无码| 天天综合在线网| 91精品91久久久中77777| 日本强伦片中文字幕免费看| 婷婷丁香五月天之开心少妇| 玖玖热99| 黄色精品五月婷婷| 丁香 婷婷 激情 综合 五月| 久久激情综合| 操一操| 开心婷婷丁香五月| 色五月天堂| 亚洲色色色| 屁股翘好撅高迎合跪趴| wuyuedingxiang| 五月丁香综合成人社区| 超碰91在线| 99er国产| 五月婷婷激情中心| 日本色色视频| 伊人五月婷婷| 狠狠干,狠狠操| 五月久久综合| 香蕉狠狠爱视频| 色啪影院| 欧美丰满熟妇BBB久久久| 91久女| 国产精品人妻在线网址| 五月天激情综合在线| 五月丁花色综合网| 激情五月婷婷开心网| 男女99免费视频| www.婷婷| 五月婷九月| 婷婷综合亚洲| 少妇日麻屄| 99色免费视频| 欧美日比视频| AA丁香综合激情| 99艹精品在线观看| 激情丁香六月| 五月婷婷和六月| 久久小片| 久久久婷婷婷| 蜜桃婷婷丁香综合久久开心亚洲| 四季AV综合网| 五月激情丁香久久综合网| 5月婷婷六月丁香| 天天做天天爱天天玩| 激情五月天小说网| 9l久久久视频| 欧美日韩成人在线| 婷婷五月天综合色| 婷婷久月| 熟惀91九色在线| 日韩欧美一道四区中文字幕| 这里只有精9| 综合网五月| wwwss在线观看| 黄桃AV无码免费一区二区三区| 91大神在线免费看视频全集男男一起操| 久久婷婷热| 狠狠狠狠狠草| 啊V视频在线观看| 色五月激情五月| 91|九色|动漫| 99热国产在| www.色婷婷| 九九99精品| 久久丁香综合香蕉| 97人妻碰碰碰久久香蕉| 开心久久xxx色| 五月激情网站| 色婷婷五月在线| 丁香五月欧美婷婷| 久久99精品视频| 国产婷婷五月天| 色五月天在线观看| 99热很操老逼| 性婷婷| 丁香激情四射| 丰滿爆乳一区二区三区| 五月丁香影院| 激情丁香五月天图片| 99热91| 亚洲色综久久五月| 免费观看的AV| 激情五月天电影| 色婷婷综合丁香五月天| 激情的五月| 丁香色色色| AV大片在线观看| 亚洲成av人影院| 超碰无码318604| 久久99热精品a片在线观看| 狠狠干狠狠色| 密视AV综合在线| 色吧五月婷婷六月丁香| 色久女| 久久久噜噜噜操操操| 无码网| 啪啪 综合网| 丁香狠狠色婷婷久久无码视频| 色丁香五月天射婷婷爱婷婷| 婷五月天| 99色在线观看视频者| 激情六月丁香综合| 九九热视频99| 综合99在线| 狠狠色五月| 丁香五月婷婷五月| 九色激情网| 婷婷五月丁综合| 欧美大肥婆大肥BBBBB| 爱操人妻| 色婷婷综合网| 婷婷5月久久综合网站| 另类色视频| 99精品久久久| 久久九九九九| 99色看| 操碰97| 五月婷婷无码| 天天干天天拍| 丁香五月亚洲综合| 天天日夜夜夜操操操操| 99色| 97人人射| 丁香五月情| 精品九九网| 人人做人人看人人摸| 图片区 小说区 区 亚洲五月 | 六月色丁香婷婷| 天天摸天天爽| 色婷婷综合网| 人妻精品在线| 久9热视频| caopeng97人人| 色色色色色爱| 婷婷丁香社区| 久久免费9| www.yw色| 婷婷六月丁综合| 热久久成人| 99re这里| 中美日韩成人在线| 丁香五月婷婷基地| 大地9中文在线观看免费高清| 日韩欧美颜射| 日韩 中文 欧美| 久久精品五月| 五月天精品综合| 色五月丁香A欧美com | 五月丁香亭亭| 久久一品区| 青草激情综合| 狠狠色综合久久久久| 天天干天天射综合网| 五月天婷a在线| 五月婷色丁香| 国产黄大片在线观看画质优化 | 色六月婷婷| 综合色影| 人人妻人人澡| 五月丁香婷婷综合久久| 九九热自拍| 久99视频在线观看| 亚洲愉拍99热成人精品| 丁香五月首页| 99久在线精品99re8热| 亚洲在线操| 亚洲av网站| 亚洲成人一区| 任你艹| 欧美日韩一a.无| 日日干天天| 另类色视频| 综合色五月| www久久99com| 亚洲综合五月天婷婷丁香| 亚洲综合网激情小说| 69精品人人人人人人人人人| 岛国av网| 婷婷5月久久综合网站| 五月花丁香婷婷| 国产欧美大香蕉一区| 天天天天天天操| 婷婷丁香五月色偷偷| 另类激情五月| 思思热天天看| 六月丁香婷| 丁香五月日本| 色婷插| 亚洲综合色色色| 久久91久久91色欲精品| 色噜噜狠狠色综合网| 激情综合五| 中文av网| www.精品99| 国产婷伊人| 九九九九这里只有精品| 光棍影院日韩精品| 碰超99| 色色无码日韩| 精品国产一区二区三区四区阿崩| 成人性爱精品视频| 激情啪啪五月天| 91色涩| 免费AV在线网址| 丁香五月香蕉| 婷婷基地成人五月天| 婷婷伊人五月天| 国产精品视频久久99| 综合九九久久| 国产欧美第五十五页| 激情五月深爱五月| 丁香五月激动深爱欧美| 曰日爽日日操| 丁香五月婷婷天堂大香蕉| 婷婷久久五月| 久久黄色网扯| 久久久久久久久月丁| 97热这里只有精品| 伊人激情啪啪| 日本va欧美va国产激情| 人人干人人操人人摸人人做| 婷婷亚州综合| 久久久久久久97| 五月亚洲激情| 99热97美女| 丁香六月激情| 九九这里只这里只有精品| 天天色凹凸| 五月婷婷啪啪网| 婷婷婷色五月| 996热re视频在线观看视频| 婷婷五月大香蕉| 天天拍夜夜撸| www91色网站| 人人摸人人操人人爽| 久久6这里只有精品| 精品操逼一区二区| 大香蕉人妻| 我要色综合五月婷婷| 天天色五月婷婷91久久久久久久| 五月丁香啪啪| 色狠狠五月天| 久久婷婷五月天大香蕉| www.99热| 亚洲五月天综合色| 色狠狠综合| 久热中文字幕在线线观看 | 色激情综合狠狠婷婷| 26uuu成人网| 免费国产视频| 琪琪理论片| AV中文字幕夜夜操b天天摸bb | 五月婷六月| 九九色精品| 色五月婷婷天天操夜夜操| 97香蕉人人在线观看| 午夜大香蕉| 亚洲精品五月| 欧美日韩国产一区| 久久五月综合| 婷婷在线激情| 丁香 婷婷五月| 亭亭五月基地在线| 免费看欧美成人A片无码| 色婷婷日本| 天天粽合合合合| 色综合久久综合| 99国产精品久久久久久久久久久| 婷婷中文字暮| 丁香九月综合| 亚洲色图日韩网址| 99国产精品白浆在线观看免费| 五月婷婷影院| 99热在线中文字幕| 丁香婷婷五月六月久久| 伊人婷婷福利网| 91欧美| 婷婷五月丁香手机在线视频| 色婷婷五月综合| 五月丁香综合网| 婷婷导航| 五月天婷婷丁香| 五月婷人妻| 久久久大香蕉| 免费一区二区三区| 天天日天天色| 五月婷婷丁香五月天| 婷婷五月天少妇| 色色色国产| 超碰在线资源| 亚洲综合五月天婷婷丁香| 五月天久久网站| 六月婷伊人| 日韩久久视频| 色停停影院五月天| 成人精品视频99在线观看免费| 2017狠狠干| 伊人五月成人| 丁香五月天人体| 玖玖爱伊人| 色色色天堂网| 久九男女天堂| 婷婷五月激情小说| 99热这里只有精品8| 婷婷五月天a| 丁香色情五月天| 亚洲第一成人无码A片| 超爽内射| 成人做爰高潮A片免费视频| 国产 亚洲 在线| 人妻久久久久久久| 深爱五月亚洲| 九九精品片一| 超碰在线视屏| 五月天丁香欧美激情| 五月天激情综合网| 丁香五月天激情| 久婷五月| 亚洲天天综合| 五月丁香成人| 天天日日夜夜爽| 丁香五月情| 热99热久| 五月婷丁香| 九九九九这里只有精品| 夜夜躁婷婷AV| 五月婷婷六月色| 九九免费精品| 思思久热| 开心色播色五月婷婷| 久久黄色免费视频| 久久久网站| 久久婷婷五月天蜜桃| 91在线视频综合| 丁香深五月婷婷| 久久艹 五月天| 9热网站| 五月丁香综合| 极品人妻VideOssS人妻| 亚洲不卡| 五月天堂婷婷| AV网站免费在线| 色了色综合| 夜夜夜夜操| 五月婷婷六月丁香综合视频在线| 色丁香久久| 99在线视频播放| 午夜丁香综合婷婷| 无码九九九九| 激情性爱五月天网页| 免费看欧美成人A片无码| 99色在线视频| 天天爱天天爽| 五月色丁香| 精品乱码久久久久| 久久色区| 狠狠爱综合网| 亚州操操| 久久婷婷丁香视频网| 97操男人的天堂| 超碰色热| 无码日本精品XXXXXXXXX| 任你草| 97久久视频| 大香蕉AV在线| 日本婷婷| 久久婷婷五月综合伊人| 99riAv1国产在线观看| 色欲影香| 亚洲情色一区| 欧美在线操| 丁香五月婷婷超碰在线| 亚洲精品电影| 91久热| 五月婷婷色五月| 91操人| 综合伊人久久| 五月天伊人久久久久| 五月天播播| 色五月婷婷一二| 婷婷丁香色五月| 99热在线观看精品免费| WWW,婷婷,COM| 五月天五月天成人网亭亭成人色网站| xxx综合在线| 六月丁香婷啪射| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 久久99热这里只有精品| 99综合久久| 99热在线只有精品| 粉嫩AV久久一区二区三区 | 超碰人人操人人干| 激情五月天视频| 免看黄大片AA | 在线超碰免费| 99热全是精品| 五月婷婷黄色| 丁香六月婷婷缴情欧美|