欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

多協(xié)議網(wǎng)絡(luò)庫設(shè)計(jì)實(shí)戰(zhàn):連接狀態(tài)機(jī)、背壓機(jī)制與粘包拆包

多協(xié)議網(wǎng)絡(luò)庫設(shè)計(jì)實(shí)戰(zhàn):連接狀態(tài)機(jī)、背壓機(jī)制與粘包拆包 說到“多協(xié)議網(wǎng)絡(luò)庫設(shè)計(jì)”這五個(gè)字很多同學(xué)第一反應(yīng)是又有人要造輪子了。但真當(dāng)你在生產(chǎn)環(huán)境摸過一把之后才會(huì)理解為什么要把多種協(xié)議揉進(jìn)一個(gè)庫而不是每接一種新客戶端就新起一個(gè)項(xiàng)目。我之前在某物聯(lián)網(wǎng)平臺(tái)做過一版統(tǒng)一接入網(wǎng)關(guān)業(yè)務(wù)側(cè)要同時(shí)接私有二進(jìn)制協(xié)議、MQTT、WebSocket和標(biāo)準(zhǔn)HTTP前前后后折騰了大半年最后沉淀下來的核心不是這些協(xié)議各自怎么實(shí)現(xiàn)而是怎么讓它們共用一個(gè)連接模型、一套事件循環(huán)和一套背壓機(jī)制。這篇文章就把我踩過的坑和最終落地的設(shè)計(jì)思路完整捋一遍。適合正在做網(wǎng)絡(luò)中間件、網(wǎng)關(guān)SDK、即時(shí)通訊服務(wù)端的同學(xué)參考也包括那些業(yè)務(wù)里被迫要接多種協(xié)議、被半包粘包和連接風(fēng)暴折磨過的人。我會(huì)直接從需求拆解講到架構(gòu)分層再落到狀態(tài)機(jī)、緩沖區(qū)、定時(shí)器這些關(guān)鍵細(xì)節(jié)最后附上真實(shí)環(huán)境里最容易踩的幾個(gè)坑和排查手法。1. 項(xiàng)目概述與需求解析1.1 標(biāo)題背后的三個(gè)關(guān)鍵拆解先把“多協(xié)議網(wǎng)絡(luò)庫設(shè)計(jì)”這七個(gè)字拆開看?!岸鄥f(xié)議”說的是一個(gè)庫要承載多種協(xié)議棧。常見的情況有三類一類是網(wǎng)關(guān)場景外部客戶端用的協(xié)議五花八門服務(wù)端要做協(xié)議轉(zhuǎn)換另一類是SDK場景客戶端庫要支持多種負(fù)載均衡策略、多種網(wǎng)絡(luò)環(huán)境自動(dòng)切換還有一類是中間件場景消息隊(duì)列或RPC框架要同時(shí)支持TCP私有協(xié)議和HTTP訪問。不管哪類本質(zhì)都是希望上層業(yè)務(wù)代碼能復(fù)用連接管理、數(shù)據(jù)收發(fā)、超時(shí)等公共能力而把協(xié)議的差異收斂到編解碼層?!熬W(wǎng)絡(luò)庫”意味著它不是一套業(yè)務(wù)系統(tǒng)而是一個(gè)基礎(chǔ)設(shè)施級別的組件?;A(chǔ)設(shè)施的第一原則是穩(wěn)定第二原則是可控。你不可能在每個(gè)請求路徑上都做高代價(jià)的加鎖或拷貝所以設(shè)計(jì)上會(huì)大量涉及無鎖隊(duì)列、內(nèi)存復(fù)用、IO多路復(fù)用這類手段?!霸O(shè)計(jì)”這詞很關(guān)鍵。它強(qiáng)調(diào)的不是把某個(gè)協(xié)議實(shí)現(xiàn)一遍而是把多種協(xié)議接入方式編排進(jìn)一套統(tǒng)一的模型里。這個(gè)模型是否清晰直接決定后續(xù)加協(xié)議的成本是兩天還是兩周。1.2 核心需求與邊界劃分我在規(guī)劃初期列過一張需求清單其實(shí)核心就是四點(diǎn)第一連接生命周期統(tǒng)一管理。不管是TCP長連接還是WebSocket底層都有建立、傳輸、關(guān)閉、異常這幾個(gè)狀態(tài)必須統(tǒng)一。第二協(xié)議擴(kuò)展成本要低。新增一個(gè)協(xié)議時(shí)不能動(dòng)公共的連接層和事件循環(huán)。第三讀寫模型要高效。要支持大量長連接內(nèi)存開銷不能隨連接數(shù)線性爆炸。第四可觀測性要好。連接斷開、解碼失敗、緩沖區(qū)積壓都要有跡可循。邊界也要?jiǎng)澢宄>W(wǎng)絡(luò)庫不負(fù)責(zé)業(yè)務(wù)冪等不負(fù)責(zé)數(shù)據(jù)持久化不負(fù)責(zé)服務(wù)發(fā)現(xiàn)和負(fù)載均衡。這些東西如果全塞進(jìn)網(wǎng)絡(luò)庫里最后一定變成一個(gè)誰都不敢動(dòng)的“大泥球”。我的經(jīng)驗(yàn)是網(wǎng)絡(luò)庫里只留連接、協(xié)議、事件三件事其他都通過回調(diào)或插件透傳出去。2. 整體架構(gòu)設(shè)計(jì)與核心抽象2.1 四層架構(gòu)傳輸、事件、協(xié)議、應(yīng)用接口我把這個(gè)庫分成了四個(gè)層次每一層只依賴下一層不允許跨層調(diào)用。傳輸層直接面對socket fd負(fù)責(zé)注冊到事件循環(huán)、執(zhí)行讀寫、關(guān)閉連接完成TCP、UDP等原始傳輸能力。事件層對傳輸層抽象成Channel和Handler兩種實(shí)體。Channel負(fù)責(zé)維護(hù)連接上下文Handler處理讀就緒、寫完成、連接建立、連接關(guān)閉等事件。協(xié)議編排層包含編解碼器Codec、協(xié)議對象Protocol、編解碼鏈CodecChain。每一種協(xié)議在這里獨(dú)立實(shí)現(xiàn)。應(yīng)用接口層對外暴露connect/listen/send/close等API同時(shí)提供業(yè)務(wù)回調(diào)的注冊入口。傳輸層和事件層的分離很多人會(huì)忽略。直接在傳輸層里摻雜事件分發(fā)邏輯初期沒問題等到協(xié)議多起來你會(huì)發(fā)現(xiàn)每個(gè)協(xié)議都在里面if一下代碼會(huì)變得一團(tuán)糟。分層之后每種協(xié)議只需要在協(xié)議編排層啟動(dòng)時(shí)注冊自己的編解碼器連接層完全不感知協(xié)議存在。2.2 協(xié)議抽象層統(tǒng)一數(shù)據(jù)入口與出口協(xié)議抽象層的設(shè)計(jì)是這個(gè)庫的靈魂。我的做法是定義兩種統(tǒng)一結(jié)構(gòu)。一種是網(wǎng)絡(luò)事件NetworkEvent分為連接事件、數(shù)據(jù)事件、關(guān)閉事件三類。不管是TCP收到字節(jié)流還是WebSocket收到一幀消息最終都轉(zhuǎn)換成一個(gè)統(tǒng)一的數(shù)據(jù)事件。另一種是協(xié)議編解碼接口要求每個(gè)協(xié)議實(shí)現(xiàn)decode和encode兩個(gè)方法。偽碼大概是下面這個(gè)樣子public interface Codec { // 將原始字節(jié)流解析為業(yè)務(wù)消息列表返回消費(fèi)了多少字節(jié) ListMessage decode(ByteBuffer input); // 將業(yè)務(wù)消息編碼為字節(jié)流 ByteBuffer encode(Message message); }decode接口的返回值設(shè)計(jì)成“消息列表”而不是單條消息這是一個(gè)很小的細(xì)節(jié)但很實(shí)用。TCP是流協(xié)議一次read可能同時(shí)包含多條業(yè)務(wù)消息只返回一條會(huì)導(dǎo)致剩余數(shù)據(jù)滯留在緩沖區(qū)里被迫再走一遍事件循環(huán)白白增加一次拷貝。UDP和TCP在這一層開始分叉。UDP是無邊界的每個(gè)包天然對應(yīng)一個(gè)數(shù)據(jù)事件所以它的Codec通常不需要處理粘包但需要處理亂序和丟包這部分要放在協(xié)議上層的會(huì)話模塊里處理。TCP則必須在decode里做拆包。2.3 事件循環(huán)與線程模型選型網(wǎng)絡(luò)庫的線程模型直接決定性能上限也是最容易在后期推倒重來的部分。我的選型經(jīng)驗(yàn)是第一版先做單線程事件循環(huán)兼容和調(diào)優(yōu)成本最低后面再升級到多Reactor。單線程事件循環(huán)是指一個(gè)線程跑epoll/kqueue負(fù)責(zé)所有連接的IO事件分發(fā)。這個(gè)模型在連接數(shù)幾千、QPS幾萬以下完全夠用而且所有狀態(tài)變更都在一個(gè)線程內(nèi)完成天然不需要加鎖。業(yè)務(wù)側(cè)通常有計(jì)算密集或阻塞操作不能直接塞在IO線程里所以要配合一個(gè)業(yè)務(wù)線程池。IO線程收到完整消息后封裝成任務(wù)提交到線程池業(yè)務(wù)線程處理完后再把結(jié)果投遞回IO線程發(fā)送。這里的關(guān)鍵是投遞回IO線程的隊(duì)列必須是無鎖或有界隊(duì)列否則會(huì)出現(xiàn)生產(chǎn)速度遠(yuǎn)大于消費(fèi)速度導(dǎo)致內(nèi)存暴漲的問題。多Reactor模型更適合百萬連接級的場景主Reactor只負(fù)責(zé)accept然后按負(fù)載均衡策略把連接分發(fā)給從Reactor線程處理。從Reactor各自跑一個(gè)epoll實(shí)例彼此之間不共享連接也就不存在跨線程操作連接的問題。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)3.1 連接狀態(tài)機(jī)的精細(xì)設(shè)計(jì)連接狀態(tài)機(jī)是網(wǎng)絡(luò)庫里最容易寫亂的地方也是問題最多的地方。很多同學(xué)以為狀態(tài)機(jī)就是拿一個(gè)枚舉標(biāo)記一下當(dāng)前的連接階段但實(shí)際上一套完善的TCP連接狀態(tài)應(yīng)該拆成四個(gè)視圖應(yīng)用層狀態(tài)、socket狀態(tài)、讀端狀態(tài)、寫端狀態(tài)。我建議至少維護(hù)以下幾類狀態(tài)CONNECTINGTCP握手進(jìn)行中此時(shí)禁止發(fā)送業(yè)務(wù)數(shù)據(jù)。ESTABLISHED正常讀寫狀態(tài)。LOCAL_CLOSING本地發(fā)起關(guān)閉等待對端響應(yīng)或超時(shí)。REMOTE_CLOSING對端關(guān)閉了寫端本地還在處理殘余數(shù)據(jù)。CLOSED連接已完全釋放。區(qū)分LOCAL_CLOSING和REMOTE_CLOSING是有講究的。TCP是雙通道一端調(diào)用了close之后另一端還能繼續(xù)收到數(shù)據(jù)直到收到FIN為止。如果狀態(tài)機(jī)里沒有半關(guān)閉的概念很容易發(fā)生數(shù)據(jù)發(fā)送到一半被截?cái)嗟膯栴}。實(shí)踐上可以把讀端關(guān)閉和寫端關(guān)閉分開處理讀端關(guān)閉意味著不再接收新數(shù)據(jù)寫端關(guān)閉意味著不再發(fā)送數(shù)據(jù)兩個(gè)都關(guān)閉才算連接真正結(jié)束。常見的坑是連接異常斷開時(shí)只走了一個(gè)錯(cuò)誤回調(diào)沒有把狀態(tài)機(jī)推進(jìn)到CLOSED導(dǎo)致連接對象殘留內(nèi)核緩沖區(qū)中fd泄漏。這個(gè)在壓測時(shí)最明顯連接數(shù)持續(xù)上漲但不回落基本就是狀態(tài)機(jī)沒走全。3.2 讀寫緩沖區(qū)的設(shè)計(jì)與內(nèi)存復(fù)用緩沖區(qū)設(shè)計(jì)直接決定網(wǎng)絡(luò)庫的吞吐和內(nèi)存水位。很多初版實(shí)現(xiàn)會(huì)在每次收到數(shù)據(jù)時(shí)new一個(gè)byte[]發(fā)送時(shí)又new一個(gè)這在低并發(fā)時(shí)沒感覺連接數(shù)一漲GC壓力立馬上來。我的做法是每個(gè)連接里維護(hù)兩個(gè)可動(dòng)態(tài)擴(kuò)容的循環(huán)緩沖區(qū)讀緩沖區(qū)和寫緩沖區(qū)。循環(huán)緩沖區(qū)的核心是維護(hù)讀指針和寫指針typedef struct { uint8_t* data; uint32_t capacity; uint32_t read_pos; uint32_t write_pos; } ring_buffer;寫數(shù)據(jù)前檢查剩余空間不夠就兩倍擴(kuò)容并搬運(yùn)數(shù)據(jù)。這里有一個(gè)優(yōu)化點(diǎn)如果緩沖區(qū)只在單線程中被訪問擴(kuò)容和讀寫完全不需要加鎖但在多Reactor模型的邊界比如業(yè)務(wù)線程把消息投遞給IO線程時(shí)就必須用無鎖隊(duì)列或加鎖保護(hù)否則會(huì)出現(xiàn)數(shù)據(jù)錯(cuò)亂。還有一類優(yōu)化叫分散讀Gather Read。用readv一次把數(shù)據(jù)分散讀到多個(gè)緩沖區(qū)避免先讀進(jìn)臨時(shí)buf再copy到目標(biāo)buf的兩段拷貝。這個(gè)優(yōu)化能省一次內(nèi)存復(fù)制性能提升大概在10%到20%之間在高頻小包場景非常明顯。發(fā)送側(cè)還有個(gè)容易忽略的點(diǎn)不要每次發(fā)送都調(diào)用send要利用內(nèi)核寫緩沖區(qū)和用戶態(tài)寫緩沖區(qū)做合并。先嘗試直接寫socket fd如果返回EAGAIN再把剩余數(shù)據(jù)追加到用戶態(tài)寫緩沖區(qū)等待可寫事件再flush。這樣做可以把多個(gè)小包合并成一次發(fā)送顯著減少系統(tǒng)調(diào)用次數(shù)和TCP分片。3.3 背壓機(jī)制用讀暫停代替盲目丟棄背壓是網(wǎng)絡(luò)庫中最容易被新手忽略的設(shè)計(jì)。當(dāng)業(yè)務(wù)處理速度跟不上上游發(fā)送速度時(shí)連接的內(nèi)核接收緩沖區(qū)和用戶態(tài)讀緩沖區(qū)都會(huì)被填滿此時(shí)如果繼續(xù)讀只會(huì)導(dǎo)致內(nèi)存無限制增長最終OOM。TCP自帶一套流控對端發(fā)的數(shù)據(jù)填滿我方接收緩沖區(qū)后內(nèi)核會(huì)通知對端窗口歸零對端自然停止發(fā)送。網(wǎng)絡(luò)庫要做的就是配合這套流控在用戶態(tài)緩沖區(qū)積壓超過閾值時(shí)暫停讀取。具體實(shí)現(xiàn)里我在讀緩沖區(qū)里設(shè)定高水位線和低水位線。當(dāng)寫入讀緩沖區(qū)的數(shù)據(jù)超過高水位線就從事件循環(huán)中摘除讀事件讓內(nèi)核的接收緩沖區(qū)填滿觸發(fā)TCP背壓。當(dāng)業(yè)務(wù)線程消費(fèi)完緩沖區(qū)的數(shù)據(jù)水位降到低水位線以下再重新注冊讀事件。這里有個(gè)經(jīng)驗(yàn)之談高低水位之間一定要留足緩沖空間否則會(huì)出現(xiàn)頻繁的注冊/摘除抖動(dòng)白白浪費(fèi)兩次epoll_ctl系統(tǒng)調(diào)用。我一般設(shè)置高水位為64KB低水位為16KB合并在一條數(shù)據(jù)事件中判斷實(shí)測下來沒有出現(xiàn)過抖動(dòng)。WebSocket和HTTP這類應(yīng)用層協(xié)議也有自己的背壓考慮比如WebSocket的流量控制可以通過調(diào)整幀長度來協(xié)商但底層的讀取暫停機(jī)制是一樣的。3.4 定時(shí)器與超時(shí)管理的取舍長連接網(wǎng)絡(luò)庫必須要處理三類超時(shí)空閑超時(shí)、連接建立超時(shí)、業(yè)務(wù)超時(shí)。最樸素的實(shí)現(xiàn)是每個(gè)連接掛一個(gè)系統(tǒng)計(jì)時(shí)器到了時(shí)間就回調(diào)關(guān)閉。但如果連接數(shù)有幾十萬直接依賴系統(tǒng)定時(shí)器完全是災(zāi)難。更可靠的方式是使用時(shí)間輪或?qū)蛹墪r(shí)間輪。層級時(shí)間輪把時(shí)間按輪次分級插入和刪除都是O(1)復(fù)雜度特別適合海量連接的心跳管理。我在庫里實(shí)現(xiàn)了兩層時(shí)間輪第一層精度為1秒一圈60格第二層是某公司自己實(shí)現(xiàn)的簡化版本所以你也可以直接用現(xiàn)成的hash wheel timer做改造但核心思想是一樣的——把超時(shí)事件按槽位組織每秒只檢查當(dāng)前槽位上的事件集合而不是遍歷所有連接。上代碼思路class TimingWheel { int current_slot; std::vectorstd::listTimeoutTask* slots; // 每經(jīng)過一個(gè)tick就把當(dāng)前槽位所有任務(wù)取出來檢查 void tick(); };超時(shí)的單位設(shè)置也有講究??臻e檢測的粒度設(shè)1秒足夠了沒必要追求毫秒級但連接建立超時(shí)一般是幾百毫秒量級因?yàn)閮?nèi)網(wǎng)TCP握手通常很快超過1秒基本可以斷定對端不健康。不要把這兩種超時(shí)混用同一個(gè)定時(shí)器實(shí)例否則會(huì)出現(xiàn)大量的早期喚醒。4. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)4.1 連接生命周期管理實(shí)戰(zhàn)連接對象的生命周期管理建議用兩級引用方式。第一級是事件循環(huán)中的Channel引用它負(fù)責(zé)IO事件分發(fā)第二級是協(xié)議會(huì)話層中的Session引用它承載業(yè)務(wù)狀態(tài)。當(dāng)連接進(jìn)入CLOSED狀態(tài)時(shí)先解除Channel的注冊再通知Session銷毀。銷毀動(dòng)作要特別注意順序。我之前在某個(gè)版本里先銷毀了Session再移除Channel結(jié)果在并發(fā)場景下事件循環(huán)仍然可能拿到Session的懸垂引用直接導(dǎo)致偶發(fā)崩潰。正確順序是先在事件循環(huán)中摘除Channel并停止事件分發(fā)再進(jìn)入業(yè)務(wù)線程池做Session的資源清理最后才是釋放內(nèi)存和fd。連接建立時(shí)還有一個(gè)細(xì)節(jié)。accept返回的fd默認(rèn)沒有設(shè)置非阻塞和TCP_NODELAY如果忘記設(shè)置第一個(gè)業(yè)務(wù)請求就會(huì)出現(xiàn)明顯延遲。其中TCP_NODELAY是專門為了處理小數(shù)據(jù)包場景下的Nagle算法延遲問題這個(gè)開關(guān)在即時(shí)消息類業(yè)務(wù)里必須打開。4.2 解決半包與粘包的正確姿勢半包與粘包是多協(xié)議網(wǎng)絡(luò)庫設(shè)計(jì)中繞不開的話題。很多人遇到這類問題第一個(gè)反應(yīng)是“加大接收緩沖區(qū)”這治標(biāo)不治本。比如業(yè)務(wù)消息長度是10萬個(gè)字節(jié)你的緩沖區(qū)設(shè)得再大也不可能無限大所以必須從協(xié)議解碼上去解決。三種常見的拆包方案定長協(xié)議每個(gè)包長度固定讀取到指定字節(jié)數(shù)就解析。這種最簡單適用控制指令類場景但欠缺靈活性。分隔符協(xié)議以特定字符作為包邊界適合文本協(xié)議比如HTTP的頭部以\r\n\r\n結(jié)束。隱患是消息內(nèi)容里如果包含分隔符必須做轉(zhuǎn)義。長度字段協(xié)議包頭里固定位置存一個(gè)長度字段先讀包頭拿到長度后再讀包體。這是適用范圍最廣的通用方案。實(shí)際生產(chǎn)中用得最多的是第三種而且頭部的長度字段往往和頭部的各種標(biāo)記位在一個(gè)復(fù)合結(jié)構(gòu)里。我當(dāng)時(shí)在協(xié)議編排層實(shí)現(xiàn)了統(tǒng)一的拆包器支持“頭長度已知包體長度未知”的增量解析模式。流程如下先只消費(fèi)固定字節(jié)的包頭解析出包體長度如果讀緩沖區(qū)中剩余字節(jié)小于包體長度就返回等待如果夠了就完整讀取并組裝成一條消息。拆包器的關(guān)鍵實(shí)現(xiàn)點(diǎn)在于解析失敗時(shí)不能盲目地跳過數(shù)據(jù)。我加了解碼失敗計(jì)數(shù)連續(xù)失敗達(dá)到一定閾值就主動(dòng)斷開連接。這個(gè)防守策略曾經(jīng)幫我們擋住了好幾次惡意客戶端的畸形報(bào)文攻擊。4.3 協(xié)議注冊與路由的實(shí)現(xiàn)當(dāng)庫里有多種協(xié)議時(shí)怎么讓一條連接知道自己該用哪個(gè)Codec我的做法是在監(jiān)聽端口上做區(qū)分不同協(xié)議綁定不同的端口或路徑每個(gè)監(jiān)聽器在建立連接時(shí)就把對應(yīng)的Codec掛到連接上下文里后續(xù)的數(shù)據(jù)解析全程使用這個(gè)Codec不需要?jiǎng)討B(tài)探測協(xié)議類型。這種做法成本最低、最容易排查。雖然有一種做法叫協(xié)議嗅探根據(jù)連接的前幾個(gè)字節(jié)猜測協(xié)議類型但它消耗CPU且誤判率不可控生產(chǎn)環(huán)境我基本不建議使用。具體到代碼層我定義了一個(gè)協(xié)議注冊表protocols: dict[str, Codec] { mqtt: MqttCodec(), websocket: WebSocketCodec(), binary: BinaryCodec() } # 連接建立時(shí)根據(jù)監(jiān)聽器配置分配 codec路由到業(yè)務(wù)層時(shí)我采用“消息類型回調(diào)函數(shù)”的訂閱模式。每種協(xié)議的業(yè)務(wù)消息都帶一個(gè)消息類型ID協(xié)議編排層解碼后把它轉(zhuǎn)換成內(nèi)部統(tǒng)一的消息對象業(yè)務(wù)層根據(jù)類型ID分發(fā)到對應(yīng)的處理器。因?yàn)榻y(tǒng)一了消息對象網(wǎng)關(guān)后面接的多個(gè)業(yè)務(wù)服務(wù)就可以用同一條分發(fā)鏈路不必針對每種協(xié)議各寫一套路由邏輯。4.4 壓測埋點(diǎn)與基準(zhǔn)數(shù)據(jù)觀察不要等全部功能上線才開始做性能驗(yàn)證。我在開發(fā)過程中維護(hù)了一套基準(zhǔn)實(shí)驗(yàn)每完成一個(gè)階段就壓測一次重點(diǎn)觀察幾個(gè)指標(biāo)每秒新建連接數(shù)CPS、每秒請求數(shù)QPS、內(nèi)存增長率、以及讀寫緩沖區(qū)的高水位。壓測工具有很多現(xiàn)成的但有一點(diǎn)需要特別留意壓測客戶端必須和服務(wù)端跑在不同的機(jī)器上否則網(wǎng)卡中斷會(huì)相互影響數(shù)據(jù)完全失真。還有一個(gè)容易踩的坑是壓測時(shí)打開了太多TIME_WAIT連接導(dǎo)致客戶端新連接失敗。壓測前把客戶端的端口范圍和復(fù)用參數(shù)調(diào)好是基本功。5. 常見問題與排查技巧實(shí)錄5.1 連接卡“死”卻不報(bào)錯(cuò)都是水位線在作怪出現(xiàn)過幾次詭異問題連接看起來是好的可數(shù)據(jù)就是發(fā)不進(jìn)去。排查到最后全是對端背壓導(dǎo)致我方寫緩沖區(qū)積壓而事件循環(huán)里沒有把可寫事件重新掛上。具體一點(diǎn)說當(dāng)調(diào)用send遇到EAGAIN后數(shù)據(jù)就轉(zhuǎn)存到了用戶態(tài)寫緩沖區(qū)同時(shí)向事件循環(huán)注冊寫事件。如果此時(shí)邏輯上又對同一連接調(diào)用了send且消息太小內(nèi)核對socket可寫的判斷依然成立那么寫事件回調(diào)可能被高頻觸發(fā)但每次只能寫出一小部分?jǐn)?shù)據(jù)。如果處理不當(dāng)會(huì)讓CPU空轉(zhuǎn)看起來就是“連接死了”。解法就是引入寫隊(duì)列的合并機(jī)制限制單次事件回調(diào)中寫操作的上限把剩余數(shù)據(jù)留到下個(gè)事件周期再寫。5.2 從“偶發(fā)崩潰”到“懸垂引用”的排查有個(gè)版本的庫在長時(shí)間運(yùn)行后會(huì)出現(xiàn)偶發(fā)coredump最詭異的是觸發(fā)頻率非常低一天也就兩三次。用調(diào)試工具跟蹤堆棧后發(fā)現(xiàn)是指向已釋放Session的懸垂指針。追蹤原因是主動(dòng)關(guān)閉連接的線程和在事件循環(huán)中執(zhí)行回調(diào)的線程并發(fā)操作了同一個(gè)連接對象。排查關(guān)鍵在于復(fù)現(xiàn)我壓測時(shí)專門構(gòu)造了“頻繁心跳超時(shí)大量并發(fā)連接”的測試場景連續(xù)跑兩小時(shí)必現(xiàn)問題。修復(fù)方式也比較簡單——所有連接狀態(tài)變更的操作統(tǒng)一收斂到IO線程中完成禁止業(yè)務(wù)線程直接調(diào)用close。業(yè)務(wù)層如果想關(guān)閉連接只能投遞一個(gè)關(guān)閉任務(wù)到IO線程由IO線程在下一個(gè)事件循環(huán)中執(zhí)行。5.3 緩沖區(qū)膨脹導(dǎo)致的“假內(nèi)存泄漏”網(wǎng)絡(luò)庫長時(shí)間運(yùn)行后內(nèi)存只漲不降第一反應(yīng)肯定是內(nèi)存泄漏。但真正查了以后發(fā)現(xiàn)內(nèi)存池空閑列表太長碎片化嚴(yán)重導(dǎo)致內(nèi)存始終無法歸還給操作系統(tǒng)。尤其是每次擴(kuò)容都按兩倍增長時(shí)之前分配的大塊緩沖區(qū)會(huì)被“永久”掛在空閑鏈表中。這個(gè)問題有兩個(gè)維度的解法。一是給緩沖區(qū)池設(shè)置空閑上限超過閾值就把多余緩沖區(qū)釋放回系統(tǒng)二是把大緩沖區(qū)分成不同的規(guī)格比如4KB、16KB、64KB各維護(hù)一個(gè)池子按需從對應(yīng)規(guī)格池取用減少碎片化。5.4 線程池中業(yè)務(wù)阻塞拖垮IO線程多協(xié)議網(wǎng)絡(luò)庫中IO線程和業(yè)務(wù)線程是分離的但有些同事圖省事直接在IO回調(diào)里做耗時(shí)計(jì)算比如發(fā)起同步數(shù)據(jù)庫查詢。一次兩次看不出來并發(fā)一上來IO線程全部卡在業(yè)務(wù)邏輯上事件分發(fā)瞬間停擺整個(gè)服務(wù)的TCP連接開始批量超時(shí)。這就是架構(gòu)容忍度的紅線。我在項(xiàng)目規(guī)范里明確寫了IO線程中只允許做不阻塞的操作所有同步阻塞調(diào)用必須丟到業(yè)務(wù)線程池。如果協(xié)議本身要求立即響應(yīng)且耗時(shí)不可控就啟用獨(dú)立的連接處理線程把它從公共事件循環(huán)中剝離出去。5.5 排查速查表現(xiàn)象常見原因排查步驟解決方案連接數(shù)上漲后回落慢連接狀態(tài)機(jī)未走完打印連接關(guān)閉日志觀察CLOSED狀態(tài)補(bǔ)齊關(guān)閉事件回調(diào)小包吞吐上不去Nagle算法未禁用檢查TCP_NODELAY連接accept后立即設(shè)置內(nèi)存只漲不降緩沖池碎片化觀察池內(nèi)空閑塊數(shù)量設(shè)置空閑池上限數(shù)據(jù)偶發(fā)截?cái)喟腙P(guān)閉狀態(tài)未處理抓包看FIN位置區(qū)分讀關(guān)閉和寫關(guān)閉對端頻繁斷連心跳超時(shí)太短查看超時(shí)日志調(diào)大空閑超時(shí)或時(shí)間輪精度寫在最后的一個(gè)體會(huì)這個(gè)項(xiàng)目做下來我個(gè)人最大的體會(huì)是設(shè)計(jì)多協(xié)議網(wǎng)絡(luò)庫時(shí)最難的部分不是對某個(gè)協(xié)議的細(xì)節(jié)了解得多深而是能不能抽象出一套足夠穩(wěn)定的連接模型。連接狀態(tài)機(jī)畫得越精細(xì)背壓機(jī)制做得越穩(wěn)妥緩沖區(qū)和定時(shí)器這些底層設(shè)施越扎實(shí)上層協(xié)議接入就越輕松。如果你現(xiàn)在剛準(zhǔn)備動(dòng)手做類似的東西我建議不要一上來就追求多協(xié)議。先寫一個(gè)TCP私有協(xié)議跑通全鏈路再把WebSocket接進(jìn)來有了兩個(gè)對比后自然就會(huì)發(fā)現(xiàn)公共的抽象點(diǎn)在哪里。到第三個(gè)協(xié)議時(shí)你基本不需要?jiǎng)舆B接層的代碼了。等到架構(gòu)穩(wěn)定再回頭補(bǔ)性能分散讀、無鎖隊(duì)列、內(nèi)存池每一步優(yōu)化都有明確的目標(biāo)和老舊的瓶頸做參照。這個(gè)輪子造完以后業(yè)務(wù)側(cè)接入新協(xié)議的時(shí)間從按周算壓縮到了按天算這是我們當(dāng)時(shí)最大的收益。當(dāng)然它不能替代消息中間件和RPC框架但在需要自己定制協(xié)議和連接策略的場景里一套結(jié)構(gòu)清晰的多協(xié)議網(wǎng)絡(luò)庫還是很能打的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产色丁香| 超碰色热| www.99情趣网| mmm1717.6dbm人人爱人人操| 五月丁香人妻| 7777国产盗摄农村女人| 狠狠色婷婷777| 五月婷婷久久网| www久久久久久| 久久99网站| 99在线观看精彩视频| 草草影院爱爱| 超碰激情网| 激情五月丁香亭亭| 五月婷婷丁香大陆免费| 婷婷中文在线| 伊人五月综合网| 狠狠干婷婷| ji'qi'luan'ren'lun| 日韩AV片| 韩日AV片| 亚洲午夜在线视频| 五月婷婷色播| 99碰碰| 狠狠狠狠狠狠草| 94干大香蕉| 色婷五月| 色五月婷婷久久爱| 丁香六月综合| 成人做爰黄A片免费看直播室男男| 婷婷激情五月天小说校园| 免费国产视频| 影音先锋 萱萱| 99视频精品全部免费观看| 六月丁香停| 亚洲亚洲人成综合网络| 婷婷丁香成人| 久久怕怕视频| 丁香六月激情综合| 九月婷婷久久久| 天天插天天操| 色五月天本日| 欧美激情综合色丁香婷婷五月天| 五月伊人视频在线看| 人伦30P| tingtingseav| 九九热内射| 欧美在线干| 色婷婷久久综合中文久久一本| 99热啪啪| 日韩婷婷五月| 婷婷色婷婷亚洲成人| 热婷婷在线视频| 亚洲激情五月| 性无码专区无码| 中文无码婷婷| 激情综合亚洲| 这里只有精品视频免费在线观看| 丁香九月婷婷| 99这里只有精品| 五月综合丁香婷婷| 色五月综合在线| 123草逼网| 婷婷五月婷| 深爱五月亚洲| 六月合五月婷| 色欲久久久久久综合网综合网| www.丁香五月| 久久曰9| 激情五月婷婷视频一区二区三区| 天天插天天射| 亚洲AV成人在线| 96精品久久久久久久久| 99热成人| 日本WwW色偷偷丁香花久久久京东热| 婷婷五月天色播| 人妻AV在线观看| 色九月婷婷丁香| 久久五月天色婷婷| 五月婷婷五月天| 久久久WWW| 99免费在线| 九九99精品视频在线观看| 日韩无码专区| 色爱综合网| 99热网站| 国产中文字幕在线视频免费观看| 啪啪综合| 99热这里精| 五月婷婷六月开心| 91性高潮久久久久久久久| 丁香色婷婷| 三年高清大片免费观看国语| 9 9热这里有精品| 丁香六月激情毛片| 99色看这里只有精品| 九九热这里精品| 亚洲五月丁| 人人人人人人人草| 久热欧美| 婷婷五月天丁香综合网| 久久综合九九| 黄色激情五月天| 久久只这里有精品| 欧美成人性爱网| 美女xx不卡| 婷婷综合偷拍| 激情五月伊人婷婷| 丁香五月天天高清在线| 伊人婷婷综合| 亚洲免费成人电影AV| 色婷婷综合丁香五月天| 色VA| 天天干天天拍| 午夜不卡久久精品无码免费| 日本丁香久在线| 五月婷婷丁香啪啪| 久久这里只有精品99| 99热99在线| 久久精品99国产精品日本| 婷婷五月欧美AA片免费| 欧美日韩大黄| 成人av播放| 激情丁香五月婷婷| 九九九九毛片| 丁香五月天啪啪a日本| 大香蕉婷婷五月| 疯狂做受XXXX高潮A片动画| 1024在线视频| 奸逼视频| 26uuu国产| 热99视频精品在线| 五月婷婷大香蕉| 日本在线视频www色| 色偷偷五月天| 五月婷婷色影院| 婷婷综合激情五月综合| 色婷婷99| 99丁香五月婷| 97色色网| 亚洲精品成人片在线播| 免费视频这里只有精品| 极品精品一区二区三区在线| 激情五月第四色| 99热国产免费| 日韩av网站在线观看| 日日婷婷不卡| 国产精品久久久爽爽爽麻豆色哟哟| 猫咪伊人久久| 亚洲啪视频| 婷婷丁香综合色AV| 色色射| 五月天成人网婷婷| 五月天婷婷基地| WWW,五月| 欧美啪啪9| 天堂网亚洲色图| 婷婷四色五月| W色综合| 综合五月天亚洲婷婷| 天天天在线观看| 99精品丰满| 99这里只有精品视频免费| 久久深爱激情网| 99热亚洲精品| 亚州欧美国产久精国产99综合视频| 玖玖爱综合网| 欧美性二区| 五月丁香婷婷色| 另类伊人婷婷| 丁香五月影院| 日韩精品色| 色噜噜狠狠色综无码久久合欧美| 激情五月天www| 五月丁香在线| 五月丁香龟婷婷| 婷婷五月天综合亚洲| 精品99爱免费视频在线观看| 丁香婷婷老司机久操| 久久性爱视频久久性爱视频| 大香蕉伊在| 激情五月天综合婷婷网| 大香蕉久| 国产偷人爽久久久久久老妇APP| 涩涩五月天综合| 人人摸人人干| 久久久久久丁香五月| 97人人干| 深情五月天| 日本一级大片| 婷婷色五月激情| 亚洲无码成人性爰网| 日日操夜夜擼| 久久婷婷五月天激情| 9久久AV| 97夫妻超碰| 久久永久网址| 99久久99综合| 五月婷婷婷婷| 色综合色五月| 婷婷成人网五月天| 国产99久久久国产精品免费看 | 激情五月婷婷色播网| 无码激情AAAAA片-区区| 日韩人妻操逼视频| 色五月婷婷久久| 99欧美| 久热在线中文字幕色999舞| 亚洲国产成人裸舞| 亚洲最大在线| 青柠影视免费高清电视剧| 欧美激情五月| 六月色婷婷色| 激情五月天婷婷色色色色色色色色色色色 | 人妻无码视频网| 五月婷婷基地| www.99热最新视频8| 丁香五月亚洲综合| 99色色网| 色婷婷69| 久久九九蜜| 亚洲综合视频网| 人妻熟女一区二区AV| 色色日本| 玖久精品视频9| 97碰碰在线观看视频| 三级三久久线久久99久目本WW| WWW.开心五月天.COM| 99热综合在线| 奇米色大香蕉| 成人草榴视频| 中文字幕在线免费| 五月天婷婷综合| 丁香婷婷丁香五月欧美人| 婷五月天六| 亚洲国产精品SUV| 五月天啪啪啪| 精品亚洲国产成人A片在线鸭王 | 成人天天爽| 97碰精品| 丁香六月婷婷久久综合| 激情五月天婷婷丁香| 亚洲第一精品成人999久久精品| 久热伊人| 99久在线| 国产激情在线| 婷婷五月天AV在线| A级毛片高清免费不卡播放谢谢谢谢| 婷婷成人五月天成人文学| 人人操五月天| 欧美婷婷综合| 99热精品中文字幕| 99精色| 日韩av干| 五月婷婷丁香av| 婷婷五月花免费视频在线| 国产操B视频| 色天堂操| 丁香五月婷婷偷拍| √天堂资源在线人妻熟女| 婷婷五月另类网站| 激情丁香久久久久久| 狠狠爱青青草| 99免费超碰在线| 在线观看中文字幕| 色啪网| 99色色网| 亚洲婷婷久久综合| 成人欧美日韩| 亚洲AV免费在线| 色色热日| www.婷婷五月天,com| 五月婷婷视频| 婷婷亚州综合| 六月久久婷婷| 五月天色婷婷激情综合| w婷婷五月婷婷w| 天天拍久久| 色噜噜,噜噜色| 婷婷激情丁香五月天综合| 大香蕉精品视频| 激情九月婷婷九月| 丁香六月综合激情| 最新色色五月天| 婷婷六月久久综合导航| 久久婷婷五月综合色丁香| 日本在线视频手机播放五月婷| 五月丁香好婷婷A片网| 国模九区| 97碰 在线视频观看| 无码AV久久久久久久久| 久热这里只有精品6| 色五月六月| a级毛片一区二区免费视频| 国产人妻人伦精品一区二区| 国产真人做爰视频免费| 卡视频1区2区| 天天操夜夜夜夜爽| 99re这里| 色欲一区二区三区精品A片| 日日干夜夜干| 亚洲有码在线视频| 久久人妻久久久久| 5月丁香六月婷婷| 欧美国产一区二区三区| 淫视馆aV二区一区| 男人的天堂婷婷色五月| 五月天久久综合| 99开心五月五月丁香激情| 天天摸天天舔在线视频| 99热这里只有精品最新网址| 大香蕉五月天婷婷丁香91| 亚洲综合五月天婷婷丁香| 亚洲一个色| 伍月婷丁香婷| 久热这里只有精品6| 久久五月网| 欧美三级巜人妻互换| 色天使色综合| 色视频2025| 五月丁香亚洲五月| 99啪啪视频| 丁香狠狠干| 久九九热| wwwC0maV五月花| 五月开心网| 久久激情五月| 91碰| 婷婷久久色| 婷婷五月色| 91人无码久久久久久| 婷婷99中文字幕| 欧美色色色| 日本婷久久| 亚洲经典三级| 国产婷婷色五月| 午夜色丁香| 九九热在线视频| 九九热99在线视频| site:publishdd.com| 夜夜骑夜夜撸| 丁香五月婷婷色综合| av久热| 婷婷六月色情| 日本欧美成人片AAAA| 99玖玖在线视频| 中文字幕婷婷五月天| 狠狠做婷婷| 免费视频WWW在线观看网站| 六月婷婷久久| 天天噜| 久久国产AV| 久久久九九九 99| 激情综合九月| 久久人妻系列| 91人妻PORNY九色大屁股| 另类激情五月| 色婷婷视频综合| 激情五月丁香亭亭| 国产精品99久久久久久久女警| 九月性爱网| 超碰成人AV| 玖玖国产视频一区| 99热精品中文字幕| 人人操人人妻| www.色五月.com| 99性爱| 99在热线免费视频| 91色久| 91精品激情9| 九九大香蕉黄色影院| 丁香六月AV| 五月开心深深爱激情综合 | 激情五月天婷婷五月天| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 色人久夂| 日撸夜撸日操| 蜜桃人妻无码AV天堂三区| 自拍视频99| 中文字幕在线日亚州9| 3www激情| 北京熟妇搡BBBB搡BBBB| 97视频久久| 这里只有精彩视| 五月亭亭六月天| 婷婷无码视频| 婷婷五月激情欧美大胆视频| 色五月丁香五月婷婷五月成人网 | 久久九九99| 伊人五月婷婷| 色情婷婷| 开心五月深爱婷婷| 激情五月深爱婷婷| 免费操超碰| 99热99热在线| 国产精典视频在线观看| 大香蕉520| 婷婷激情五月天在线视频| 五月大香蕉| 天色综合网站| 色婷婷综合网| 91碰| 久久色五月天| 大香蕉啪啪啪啪啪啪| www.五月婷婷久久.com| 少妇做爰免费视看片| 日本熟妇精品99| 美女天天爽| 婷婷狠狠综合网入口| 五月六月婷婷激情网| 亚洲第一综合| 天天射色五月天| 色综合色综合色综合| 激情五月婷婷综合网| 精品爱欲五| 五月天开心婷婷激情网站| 91操熟女| 思思热99er| 天天干天天拍| 91狠狠色丁香婷婷综合久久精品| 性按摩玩人妻HD中文字幕| 思思久热6| 中文字幕,综合,91| A短视频免费在线观看| www.丁香五月| 亚洲午夜av| 青草视频在线播放| 熟女激情网| 狠狠色丁婷婷日日,伊人激情综合网| 91九色偷拍| www.婷婷六月天| 亚洲婷婷开心五月| 国产精品久久..4399| 国产成人AV| 97碰碰视频| 五月色婷婷综合色| 九九久久综合| 欧美激情五月天| 另类五月婷婷| 国产99久久久国产精品免费看| 亚洲激情免费久久| 99性爱| 五月天五月色婷婷综合| 全部老头和老太XXXXX| 婷婷丁香五月天综合网| 碰超亚洲| 婷婷性爱五月天| www.激情五月天.com| 涩涩涩五月天| 91干视频| 午夜婷婷| 五月天婷婷青青草| 久人操| 99热这里| 欧美激情五月综合| 国产精品日本一区二区在线播放 | 色丁香久综合在线久综合在线观看| 97丨九色丨国产丨PORNY| 久草xx性爱视频| 久久青草国| 五月色综合| 中文字幕在线免费观看视频| 五月婷婷丁香| 激情綜合W W W,激情五月天| 五月丁香六月激情综合| 久久久网站| 色情一区二区播放| 欧美日韩国产伦精品日韩人妻一| 99爱在线视频| 色就是色婷婷五月亚洲激情| 超碰中文字幕在线| 五月丁香婷色| 久热精品免费视频4| 狠狠色丁香| 午夜五月天| 五月综合色| 玖玖伊人网| 国产在线aaa片一区二区99| 依人大香蕉| 67194成I人在线观看线路1| 狠狠穞A片一區二區三區| 五月丁香在线婷婷美女| 噜噜精品| www.射伊蕉婷婷| 成人丁香| 婷婷五月天六月| 人人超碰99| 婷婷伊人网| www.激情五月天| 久久久激情视频| 亚洲精品国产A久久久久久| 天天干天干| 永久的网站AAAA| 色婷婷亚洲综合天堂| 网色99| 丁香五月天BBw| 综合久久9| 久色网| 可以直接看的av| 丁香五月婷婷久久久| 久久涩视频| 97人人干| 五月天偷拍| 国产婷婷五月中文字幕高清| 亚洲熟女色| 4399无码视频二区| 99热这里都是精品| 91久久精品无码一区二区三区| 五月天婷婷爱丁香中文字幕| 人妻综合网| 99视频| 97久久草草超级碰碰碰| 婷婷丁香色情五月天| 婷婷五月天堂网| 超级碰碰99| 伊人激情| 综合激情在线| 噜噜狠狠色综无码久久合欧美| 五月婷俺去也| 大香蕉天堂| 欧美成综合在线观看| 成人精品视频99在线观看免费 | AA片在线观看视频在线播放| 九九九九九无码| 婷婷五月天xxx| 婷婷久久五月天亚洲欧美国产日韩在线观看| 五月天激情中文字幕| 五月激情综合网| 激情伊人五月天| 五月天婷婷色播综合在线| se.久久视频在线观看| 888久久久| 激情五月黄色小说| 激情五月四色| 婷婷爱五月| a毛片二逼wwwwwwwwww| 九月激情网| 色小说五月婷婷| 亚洲va成人va成人va在线观看| 午夜成人在线免费视频| 99欧美精品99日本精品| 性日本精品| 九九视频热| 五月丁香天天| 激情五月丁香色婷婷| 99re熱| 久久99网站| 91色五月| 无码网| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 激情综合网五月天| 操逼三区| 婷婷丁香五月激情| 久久XX| 亚洲激情综合| 老美AA片| 久久婷婷五月综合色和| 丁香五月色色婷| 五月精品99综合| 丁香五月婷婷社区| 人人97操| 狠狠爱婷婷爱| 婷婷丁香亚洲色综合91| 久热大香蕉| 丁香五月天AV在线| 欧美交换配乱吟粗大25P| 五月天婷婷在线播放| 五月婷婷啪啪啪| 超碰在线精品| www.婷婷| 99精品视频免费观看近期发布| 日韩一区二区A片免费观看| 婷婷开心五月| 亚洲妇女熟BBW| 色情综合| 九九久久网| 五月天伊人综合| 婷婷五月天美女21p| 伊人天堂婷婷| 激情亚洲网| 97色综合| www.henhengan| 五六月婷婷久久| 青娱乐美女福利视频美臀| 少妇综合网| 大香蕉五月婷婷| 婷婷色在线视频| 日本色超碰| 天天撸天天干天天插| 一二线视频 另类| 五月婷婷中文网| 欧美三级巜人妻互换| 丁香五月婷婷丫| 天天干天天爽| 日日夜夜天天爽| 99ri6在线视频| 成人丁香婷婷| 五月婷婷|欧美| 国产成人高清| 丁香五月天激情| 丁香桃色网| 日本99在线| 婷婷久久五月丁香| 久久九九视频网站| AA片在线观看视频在线播放 | 五月婷婷丁香六月| 插插插色综合网| 国产AV一区二区三区日韩| 天天摸天天高潮天天爽| 伊人久久大香线蕉AV最新午夜| 婷婷五月天亚洲综合| 狠狠五月天婷婷激情网。| 91操黄| 天天草天天日| 色女人久久| 日日干夜夜干| 色五月综合激情| 操97免费超级视频| 九九99久久| 亚洲国产精品综合色区| 五月婷婷偷拍| 国产精产国品一二三在观看| 色情激情五月| 99热网址| 第四色在线观看| 99色免费观看全部| 秋霞黄色一级久久| 丁香花狠狠婷婷亚洲中文字幕| 天天肏天天肏天天肏| 久久精品性爱视频,| 九九热青草| 五月玖玖| 99热这里只有精品一区| 久久五月天色婷婷| 久热丁香| 97综合视频在线| 五月天综合色| 91婷婷搞| 第四色五月天| 米奇激情婷婷| 熟女色专区| 婷婷国产欧美97| 亚洲乱码日产精品BD| 色呦呦美女| 99国产这里只有精品| 激情综合播播| 手机在线日韩视频中文字幕| 九九热99在线视频| 综合久久五| 久热这里| 九九热精品视频| 五月婷婷综合视频| 激情五月,激情综合网| 五月天激情在线视频| 中文字幕AV在线播放| 欧美碰碰碰| 色哟呦av| 天天射影院| 久热这里只有精品6| 婷婷色五天| 久久精品亚洲热| 这里只有国产精品在线| 亚洲五月婷婷在线| 激情宗合哪里能看| 婷婷香蕉| 亚洲小视频免费播放| 五月丁香自拍| 免费看成人747474九号视频在线观看| 婷婷久久亚洲| 天天爽天天摸人妻综合网| 五月丁香好婷婷姑娘综合网| 婷婷五月天av网| WWW,五月天| 五月丁香手机在线| 色五月xxx| 99热这里只有精品268| 爱操人妻| 色婷婷XXXXX| 五月天激情小说| 99色色爰| 亚洲中文无码成人| 亚洲五月天伊人| 五月婷婷成人网首页| 色婷婷五月天激情久久| 亚洲AAAA网| 人人舔天天| 夜丁香五月婷婷| 亚洲成人在线五月天| 婷婷五月天电影网| 九九色欲网| 五月婷婷丁香在线| 九九色热| 丁香五月综合狠狠| 第1影院之五月婷婷| 婷婷va| 99久在线视频| 国产裸舞福利资源在线视频| 激情九九综合网| 思思热高清在线观看| 色婷婷综合影院| 超碰AV在线| AV大香蕉| 午夜福利成人AV91| 日韩成人中文字幕| 亚洲婷婷开心五月| 五月天婷婷在线AN| 色综合久久久久| 强壮公让我夜夜高潮A片视频| 婷婷激情五月呦呦| 丁香五月网| 色婷婷啪啪| 五月婷婷草| 婷婷丁香久久五月综合| 中文字幕五月久久婷婷| 天天爽天天| 天天做天天爱天天综合网| 大香蕉五月天| 色婷婷精| 久久婷婷激情五月天一区二区| 嫩草极品| 999热在线视频| 五月丁香六月欧美| 国产一级片| 狠狠婷婷综合| 99精在线| 亚洲色婷婷五月天| 五月社区婷婷激情| 丁香花五月天激情| 色色色丁香| 91色色色| 午夜成人综合| 五月天四色房丁香| 91精品丝袜久久久久久| 亚洲无码猫咪| 大地9中文在线观看免费高清| 婷婷六月色| 五月丁香成人版| 欧美色色色色色| 97婷婷久久丁香| 色色色综合| 激情综合九月| 天天操人人干| 久久久18| 久久99久久久久久| 五月丁香婷色| 99丁香婷婷综合网| 婷婷五月激情五月激情| 无码99| 五月丁香啪啪综合网| 色 免费网站视频| 加勒比日本一区二区三区| 青青草青青草五月天| 天天拍天天操| 九九热黄色| 第五色婷婷| 伊人久久五月天| 777久久综合视频| 人妻综合网| 日本色色网站| 色婷婷亚洲综合av| 狠狠色性| 91人操人人人操人| WWW.久久久久久久久久久久久| 九色视频这里只有精品| 久久99热这里只有精品| 五月色婷婷中文字幕| 91午夜激情| 免费色婷婷| 涩涩婷婷五月| AV片一区在线观看| 99热在线99| 激情婷婷丁香| 五月丁香成人网| 激情九月综合| 色99在线观看| 超碰女人天堂| 97人人操人人| 婷婷的久久网站| 亚洲免费99| 久久久大香蕉| 97操碰视频| 色碰碰| 九九99免费理论| 99这里只有精品|v| 成人综合AV| 99热久草| 九九黄色网| 深爱开心激情| 狠狠干婷婷| 无码人妻少妇色欲AV一区二区| 91狠狠色丁香婷婷综合久久精品| 性爱久久| 激情五月天网站| 人妻丰满精品一区二区A片| 99无码| 无码成人AAAAA毛片AI换脸| 亚洲乱码日产精品BD| 欧美A级成人婬片免费看理论| 久久人妻少妇嫩草AV| 91丁香色| 日本少妇AA一级特黄大片| 九九偷拍网| 人妻久久婷婷| 天天色综合天天| caopeng超碰| www.伊人天堂偷偷婷婷| SS丁香五月婷婷| 婷婷五月色播放| 激情五月天婷婷| 丁香九月激情| 欧美在线| 淫视馆av三区| 97日在线视频| 五月天亚洲图片婷婷| 同性gv国产精品一区二区| 五月丁香六月婷婷综合伊人| 色狠久| AV在线免费播放| 无码色| 九九婷婷五月天| 亚洲视频无| 五月婷婷色情| 久久6这里只有精品| 99热精品6| 九月婷婷色色| 色色国产| 久久99免费视屏| 婷婷六月色开| 五月婷婷六月激情网| 丁香五月婷婷日本| 青青草成人网| 99re资源在线视频导航| 超碰在线观看9| 99热久只有| 色婷婷婷婷五月天| 人妻中文在线| 五月四色激情| 九色91视频| 天天综合五月| 99精品视频在线观看| 五月激情在线| 开心激情婷婷| 色五月婷婷影院| 中文久久久人妻| 五月丁香婷婷啪啪综合| 成人国产欧美大片一区| 激情久久丁香| www,五月天激情| 91中文在线| 婷婷激情综合色五月久久91| 激情五月天综合网| 婷婷色导航| 婷婷五日b| 婷婷久久综| 另类国产欧美视频| 色五月av| 色停停香蕉视频| 欧美激情综合色综合| 国产xxxxx在线观看| 99视频在线观看网址| 天天色综网| 亚洲男女激情| 偷拍91九色| 九一99| 天天插天天很| 五月天激情综合在线| 日本97久久久精品| 97操在线| 日本色色影片| 久久怡红院| 五月丁香久久| 五月丁香激情四射| 激情综合激情综合| 亚州性爱99| 99秘 在线| 99视频地址| 日韩啪啪视频| 亚洲五月激情| 操人精品| 99玖玖精品| www.婷婷五月.com| 5月丁香美女影院| 激情五月天综合网| 性爱视频久久| 99热在线播放| 99A片| 久久只有18视频| www.99久| 97人人操在线| 久久99操| 久久婷婷五月| 色五月婷婷久久| 久9久9久9久9久9久9| 五月丁香色综合| www.日本91| 蜜桃人妻无码AV天堂三区| 国产精品VA在线| 久久机热/这里只有精品| 激情五月丁香综合网站| 激情色视频| 深爱激情六月| 丁香五月香蕉| 欧美性爱一区| 在线看片av| 丁香五月久久| 婷婷91| 亚洲精品久久久久AV无码| 欧洲色区| 亚洲狠狠色丁香婷婷综合久久| 成人.在线日韩| 婷婷最新地址| 第1影院之五月婷婷| 天天综合网~91| 婷婷射图| 五月伊人综合| 四虎婷婷五月天| 99久久婷婷| 99色热视频| 亚洲av综合网| 亚洲av免费在线| 五月婷婷久久综合| 热九九精品| 天天在线久久综合 | 翔田千里无码| 天天色天天爱天天爱天天爱y| 噜噜狠狠色综无码久久合欧美| 99热| 99综合视频| 激情性爱五月天网页| 狠狠色噜噜色狠狠狠综合色| 99久久久久久久| 成人短视频在线观看| 亚色网站小视频| 国产日日操夜夜操的肉棒视频| 99re鈥哸鈥唙| 色~性~乱~伦~噜| 极品人妻VIDEOSSS人妻| 六六久久黄色| 日韩久久色| 天天拍天天做视频| 天天舔天天操| av狠狠操| 亚洲传媒在线观看| 超碰激情网| 九九热在线视频,| 涩婷婷五月天在线精品视频 | 成人亚洲精品久久久久| 久久99久久久| 久久亚洲网| 色色色图| 97人人射| 亚洲AV无码成人精品区电影网| 思思久久99热| 亚洲色色香蕉| 久久五月丁香| 五月丁香六月激情综合在线| 色综合另类| 激情五月丁香五月| 久久婷婷草| 亚洲 日韩色色| 亚洲六月婷婷| 国产午夜成人AV在线播放| 丁香六月婷婷社区| 99re思思在线视频| 五月开心网| 三十熟女| 中文字幕永久免费| 人人摸人人搞| 风流少妇A片一区二区蜜桃| av成人在线播放| 五月丁香AV、伊人业余、性色熟妇| 五月天综合网| 日本激情综合| 无码网| 久99热在线观看| 九九热视频精品999| 五月天婷婷色在线视频免费观看 | 香蕉久久五月| 色婷婷综合久色AV五色最新| www.婷婷,com| 91VIP在线观看| 丁香婷婷六月激情| 激情五月天电影| 五月丁香色综合| 这里只有精品免费视频在线观看| 丁香五月在线播放| 久操激情| www.狠狠艹| 色五月丁香com| 婷婷五月蜜桃成人桃色丁香| 大香蕉伊人99| 97婷婷狠狠久久综合9色| 婷婷五月色亚洲| 国产做A爰片毛片A片美国| 丁香五月天婷婷在线视频| 色婷婷色99国产综合精品| 操逼综合激情网| 日日操日日射| 五月激情在线| 97色色-99久久| 99久久99九九九99九他书对| 婷婷中文字幕网| 久久久久人妻网址| 日韩无码亚欧无码| www夜夜操comwww| 色色色com| 99热99这里有免费的精品| 欧美性生交XXXXX无码小说| 99色色热| 日本色色色| 好吊操这里只有精品| 丁香五月综合| 激情综合综合综合| 色五月网址| 97丁香花五月天激情小说| 五月丁香综合啪啪| 人人草成人视频| 五月婷婷综合在线| 五月丁香激情综合啪| 欧美日韩99| 99这里只有精品视频在线| 丁香婷婷大香蕉| 国产色色网站网址| 国产69久久久欧美黑人A片| 激情播丁香| www,999日本色| 开心五月色婷婷综合开心网| 久久性都花花世界成人免费视频 | www.色婷婷.com| 狠狠色丁香99| 狠狠干最新地址| 26uuu欧美激情另类| 婷婷WWW久久| 五月天色五月| 九九九色综合| 啪啪一区| 精品人妻久久久| 99久久婷婷综合| 天天爱天天秀天天做| 丁香五月中文字幕| 日本 欧美在线| 色999;丁香五月| 亚洲精品五十一区| 热99玖玖99玖玖99九九| 婷婷深爱五月| 五月丁香激情综合网| 亚洲成av人影院| 这里只有精品免费视频在线观看| 丁香五月 无码| 亚洲性爱电影| 狠狠88综合久久久久噜噜噜| 91人妻人人操| 开心激情站| 全亚洲最大的婷婷五月天网站COM| 色九月| 色J香五月天| 99热综合在线| 能看的AV| 亚洲欧洲中文日韩久久AV乱码| 久9热在线视频| 中文字幕日产A片在线看| 色 色 色综合com| 久久五月天激情美女| 色香蕉婷婷| 七七九色| 九九精品片一| 色yeye色综合| 99视频在线精品| 99视频热| 六月激情婷婷| 伊人九热| 色综合久| 狠狠操狠狠干综合| 丁香六月啪| 欧美日韩成人综合9| 久久性操| 五月丁香六月欧美| 亚洲综合成人网| 第四色色色色色丁香五月天| 91日韩在线| 岛国AV网站| wwW天天干| 五月婷婷综合性爱噜噜| 99热91| 激情久久久久久久久久| 丁香六月婷婷色XXXX| 久久婷婷网站| 亚洲色图五月丁香五月婷婷| 久久五月天综合| 99热8| tingtingzonghewang| 久久久精品AV| 天堂网亚洲色图| 97精品综合| 99热这里只有精品1025| 久久亚洲婷婷| 六月丁香五月激情亚洲AV| 天天网曰日曰夜夜综合永久免费| 国产99久久久国产精品免费看| 婷婷婷久久久| 国产精品热搜丁香五月婷婷| 免费精品66| 人妻综合网| 五月丁香在线观看99| 婷婷五月色综合香五月| 天天干天天干天天干| 99在线视频精品| 天天日本夜夜谢| 99热的无码| 激情婷婷丁香五月| 亚洲艹网| 97干97色| 99日逼视频| 婷婷影院欧美| 人妻有码乱操| av在线播放网站| 亚洲激情综合| 国产成人亚洲综合A∨婷婷| 激情AV在线| 丁香六月婷| 婷婷色成人| 亚洲丁香网| 另类小说五月天激情| 五月婷婷开心爱| 超碰三级秋霞| www.超碰在线| 亚洲黄色精品| 日本久久人| 五月婷婷六月丁香首页| 影音先锋综合网| Av免费网站在线| 九月色婷婷婷| 五月色婷丁香| 五月婷婷9| 日本久久9| 综合亚洲AV| 在线伦子99热| 久久婷婷五月综合啪| 夜夜爱影院| 日本欧美国产| 丁香五月综合婷婷| 超碰人人操人人干| 亚洲成人网站在线观看| 激情综合网丁香| 激情美女五月天| 99热在线里有精品| 亚州视频九九99| 五月激情婷婷开心| 久久偷拍综合五月天| 第五色色色婷婷| 伊人五月综合网| 99色中文| 成功精品影院| 少妇性按摩无码中文A片| 免费视频在线观看的网站| 久久五月婷天天干| 人操91在线| 婷婷成人AV| 久综合网| 66久久视频在线| 99热这里只有的精品视| 欧美综合激情丁香五月六月婷| 亚洲成人网站在线播放| 婷婷在线视频| 亚洲亚洲人成综合网络| 99久操视频| 九月色婷婷综合| 91丨九色丨国产打屁股| 激情五月婷婷五月| 97精品人人A片免费看| 亚洲操B视频| 91在线操逼视频| 中文字幕不卡视频| 久草A片| 国产裸舞福利资源在线视频| 五月天影院婷婷在线观看| 中文字幕婷婷五月天在线观看| 99九九视频精彩在线| 中文av网站| 丁香,开心成人,久久| 人人搡人人| 亚洲激情亚洲激情| 婷激情五月| 超碰操网| 国产精产国品一二三在观看| 欧洲区自拍| 狠狠做五月| 色婷婷五月综合网| 久久与婷婷| 99久久国产宗和精品1上映| 岛国资源站| 伊人丁香六月婷婷| www.色五月.com| 亚洲六月色| 97人人操人人拍| 丁香六月综合激情| av中文网站| www.五月.com| 在线色婷婷| 99热 这里只有精品 国产 日韩| 婷婷丁香亚洲五月天| 亚洲成人AV在线观看| 影音先锋自拍网| 2017狠狠干| 97好吊操| 激情五月天影院| 久久国产AV| 激情五月丁香色婷婷| 五月婷婷中文字幕| 丁香五月之久操视频| 99综合免费视频| 夜夜爽天天干| 亚洲精品白浆高清久久久久久| 久久婷婷五月天激情| 欧美婷婷五月天综合| 中文字幕成人| 婷婷之玖玖| 五月天婷婷开心| 99精品热| 久久综合五月| 99热日| 色情婷婷五月天| 99热碰碰| 无月播播激情在线观看视频| 欧洲色| 亚洲激情四射| 67194中文字幕| 9|在线观看视频| 丁香五月天婷婷久久综合| 久久九九综合| 国产超碰人人| 深爱婷婷丁香五月激情| 国产全是老熟女太爽了| 我爱大香蕉| 婷婷色在线视频| 色婷婷影音| 五月天激情婷婷小说| 九九在线精品| 五月丁婷香| 九九色99| 丁香五月天狠狠操| 亚洲va在线∨a天堂va欧美va| 男同91 | 亚洲欧洲中文日韩久久AV乱码| 五月婷婷久久综合| 97人妻碰碰碰久久香蕉| 人人操人人添人人摸97| 丁香5月婷婷| 96精品成人无码A片观看金桔 | 99热首页在线30| 99久久婷婷国产综合精品草原| 激情黄色小说色五月| 日本在线99| 色婷婷AⅤ| 久久免片| 丁香婷婷婷婷十二月在线观看视频| 五月涩涩网| 9视频在线成人网站| 日日操日日射| 婷婷丁香激情五月天色色色| 五月激情偷拍婷婷| 成人国产欧美大片一区| 日本ww亚洲| 综合色色五月| 四色AVwww| 五月亭亭色|