欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux套接字編程基礎(chǔ):IP端口、字節(jié)序與TCP/UDP

Linux套接字編程基礎(chǔ):IP端口、字節(jié)序與TCP/UDP 寫 Linux 網(wǎng)絡(luò)編程的代碼最先卡住人的往往不是多路復(fù)用也不是高性能模型而是 bind 返回失敗、連接超時(shí)、對端收到的數(shù)據(jù)是一串亂碼這三件小事。這三個(gè)現(xiàn)象背后分別對應(yīng)著端口、地址和字節(jié)序——也就是Linux 網(wǎng)絡(luò)編程里**套接字socket**這套機(jī)制最基礎(chǔ)的那層預(yù)備知識(shí)。很多人一上手就抄一個(gè) TCP 回顯服務(wù)器的模板代碼跑通了就以為會(huì)了等真正要改端口、要跨機(jī)器、要自己定協(xié)議的時(shí)候立刻原形畢露。這篇內(nèi)容想做的事很明確把套接字這層抽象下面壓著的基本概念一個(gè)個(gè)翻出來講清楚包括 IP 與端口怎么組合成一個(gè)可尋址的通信端點(diǎn)、字節(jié)序?yàn)槭裁幢仨氜D(zhuǎn)換、TCP 和 UDP 的取舍到底在取舍什么、sockaddr這一族結(jié)構(gòu)體為什么要繞這么一圈。它適合剛接觸 Linux 系統(tǒng)編程的同學(xué)也適合寫了幾年業(yè)務(wù)代碼、但一直沒系統(tǒng)梳理過網(wǎng)絡(luò)基礎(chǔ)的人。文中會(huì)給出可直接編譯運(yùn)行的示例、參數(shù)計(jì)算過程和我在實(shí)際調(diào)試中踩過的坑你可以當(dāng)成一份動(dòng)手前的檢查清單來用。1. 先把地圖畫清楚套接字在整個(gè)網(wǎng)絡(luò)通信里站在哪一層1.1 從一次文件傳輸說起網(wǎng)絡(luò)編程到底在折騰什么假設(shè)你在本機(jī)寫了一個(gè)程序要把一個(gè)文件的內(nèi)容發(fā)給另一臺(tái)機(jī)器上的程序。最樸素的想法是我打開網(wǎng)卡、把字節(jié)一個(gè)個(gè)推出去。但這件事在用戶態(tài)根本做不了網(wǎng)卡是硬件訪問它要走驅(qū)動(dòng)而驅(qū)動(dòng)屬于內(nèi)核。所以真實(shí)的路徑是你的進(jìn)程調(diào)用一組系統(tǒng)調(diào)用把我要發(fā)這些字節(jié)給某個(gè)目標(biāo)這個(gè)意圖告訴內(nèi)核內(nèi)核里的協(xié)議棧負(fù)責(zé)封裝、校驗(yàn)、重傳、路由最后交給網(wǎng)卡。這組系統(tǒng)調(diào)用對外暴露的接口就是套接字。理解這一點(diǎn)非常重要因?yàn)樗鼪Q定了套接字 API 的性格它不是一個(gè)函數(shù)調(diào)用就完成通信而是你去內(nèi)核里登記一個(gè)通信端點(diǎn)然后對這個(gè)端點(diǎn)做讀寫。所以你會(huì)看到socket()創(chuàng)建一個(gè)東西、bind()給它掛地址、listen()讓它能接客、accept()從它身上取新連接這一串動(dòng)作本質(zhì)是在內(nèi)核里維護(hù)一份數(shù)據(jù)結(jié)構(gòu)而不是在用戶態(tài)算什么東西。判斷一個(gè)概念屬不屬于預(yù)備知識(shí)我的標(biāo)準(zhǔn)很簡單如果不搞清楚它你寫出來的代碼能跑但一改環(huán)境就崩。IP、端口、字節(jié)序、協(xié)議類型、地址結(jié)構(gòu)體全部符合這個(gè)標(biāo)準(zhǔn)。1.2 套接字的本質(zhì)一層被操作系統(tǒng)抽象出來的文件在 Linux 上socket()的返回值是一個(gè)int和open()返回的東西是同一類——文件描述符。這不是巧合而是有意為之的設(shè)計(jì)把網(wǎng)絡(luò)通信抽象成文件讀寫用戶態(tài)就能復(fù)用同一套 I/O 模型阻塞、非阻塞、select/poll/epoll、O_NONBLOCK等。于是你可以在 socket fd 上做read()/write()也可以用send()/recv()還能把它塞進(jìn)epoll的監(jiān)聽集合里。但這層像文件的抽象并不完全幾個(gè)地方會(huì)露餡。文件有偏移量可以lseek到任意位置讀socket 不行它是流讀過就沒了文件有明確長度stat一下就知道多大socket 不知道對端還會(huì)發(fā)多少只能一直讀到對端關(guān)閉或按協(xié)議自己定邊界文件關(guān)閉通常沒有副作用socket 的close()會(huì)觸發(fā)四次揮手關(guān)閉時(shí)機(jī)不對會(huì)留下TIME_WAIT。這幾個(gè)差異點(diǎn)恰恰是后面所有坑的源頭。我個(gè)人的建議是初學(xué)時(shí)把 socket 當(dāng)文件用完全沒問題能快速跑通但一旦開始調(diào)性能或者排查異常就必須切換到這是一個(gè)有狀態(tài)的雙向字節(jié)通道的心智模型。1.3 預(yù)備知識(shí)清單為什么這些概念繞不開把要講的東西列個(gè)清單后面的章節(jié)就按這個(gè)骨架展開通信端點(diǎn)怎么唯一標(biāo)識(shí)IP 端口、數(shù)據(jù)在內(nèi)存里怎么排字節(jié)序、通道提供什么保證TCP / UDP、內(nèi)核用什么結(jié)構(gòu)描述端點(diǎn)sockaddr家族、以及這些 API 之間靠什么約定串起來返回值、錯(cuò)誤碼、阻塞語義。這份清單不是憑空列的。你回頭看那三個(gè)典型故障bind失敗八成是端口被占或者地址填錯(cuò)落在清單第一項(xiàng)連接超時(shí)可能是 IP 不可達(dá)、防火墻攔了、也可能是監(jiān)聽端bind在127.0.0.1上只收了本機(jī)連接還是落在第一項(xiàng)數(shù)據(jù)亂碼幾乎必然是字節(jié)序或者結(jié)構(gòu)體對齊落在第二項(xiàng)。換句話說套接字編程里絕大多數(shù)看起來詭異的問題都能在這份清單里找到歸屬。把清單吃透調(diào)試就從猜變成查。2. IP 與端口給通信雙方一個(gè)能寄到的地址2.1 IP 地址定位到哪臺(tái)機(jī)器IP 地址解決的是哪臺(tái)主機(jī)的問題。IPv4 是 32 位寫成點(diǎn)分十進(jìn)制是為了人看比如192.168.1.10本質(zhì)上就是四個(gè)字節(jié)。理解這一點(diǎn)很關(guān)鍵因?yàn)榇a里sin_addr.s_addr存的就是這 32 位整數(shù)不是字符串。你要么用inet_pton()把字符串轉(zhuǎn)成整數(shù)要么用htonl()把主機(jī)序的整數(shù)轉(zhuǎn)成網(wǎng)絡(luò)序絕不能直接把字符串memcpy進(jìn)去。幾個(gè)必須分清的特殊地址0.0.0.0INADDR_ANY作為bind的參數(shù)時(shí)表示綁定本機(jī)所有網(wǎng)卡的所有 IP。服務(wù)端幾乎都用它因?yàn)橐慌_(tái)機(jī)器可能有回環(huán)、有線、無線多個(gè)地址寫死某一個(gè)會(huì)導(dǎo)致?lián)Q網(wǎng)就收不到連接。127.0.0.1回環(huán)地址只在本機(jī)內(nèi)部有效數(shù)據(jù)不出網(wǎng)卡。作為bind參數(shù)時(shí)只有本機(jī)進(jìn)程能連上作為connect目標(biāo)時(shí)只能連本機(jī)的服務(wù)。255.255.255.255受限廣播地址只有開啟SO_BROADCAST才能發(fā)。私有地址段10/8、172.16/12、192.168/16內(nèi)網(wǎng)使用跨網(wǎng)段需要轉(zhuǎn)換。這里有個(gè)經(jīng)典誤解很多人以為bind到0.0.0.0就等于對外開放。實(shí)際上它只決定監(jiān)聽哪個(gè)地址能不能被外部連上還取決于路由和鏈路上的訪問控制。反過來如果你在開發(fā)機(jī)上把服務(wù)bind到127.0.0.1然后用另一臺(tái)機(jī)器去連會(huì)一直超時(shí)——這不是代碼 bug是本就沒打算讓你連。2.2 端口號定位到哪個(gè)進(jìn)程IP 只到機(jī)器機(jī)器上跑著幾十上百個(gè)進(jìn)程數(shù)據(jù)到了該交給誰靠端口。端口是 16 位無符號整數(shù)范圍 0 到 65535和 IP 組合成IP:Port這個(gè)二元組才能唯一標(biāo)識(shí)一個(gè)通信端點(diǎn)。不過嚴(yán)格來說標(biāo)識(shí)一個(gè) TCP 連接的完整四元組是源IP : 源端口 : 目的IP : 目的端口。這也是為什么同一臺(tái)服務(wù)器可以同時(shí)接受成千上萬個(gè)連接目的 IP 和目的端口相同但客戶端的源 IP 和源端口不同四元組依然唯一。理解這個(gè)四元組你就明白了為什么服務(wù)端只監(jiān)聽一個(gè)端口卻能服務(wù)大量客戶端這件事在邏輯上是成立的也就不容易被一個(gè)端口只能一個(gè)連接這種錯(cuò)誤直覺誤導(dǎo)。端口在 Linux 上分三段用途和權(quán)限完全不同范圍名稱典型用途權(quán)限要求0 - 1023知名端口HTTP(80)、SSH(22)、DNS(53)傳統(tǒng)上需要特權(quán)Linux 可通過net.ipv4.ip_unprivileged_port_start放寬1024 - 49151注冊端口各類中間件、數(shù)據(jù)庫默認(rèn)端口普通用戶可用49152 - 65535動(dòng)態(tài)/臨時(shí)端口客戶端connect時(shí)內(nèi)核自動(dòng)分配普通用戶可用寫代碼時(shí)有一個(gè)細(xì)節(jié)容易被忽略bind的端口傳 0表示讓內(nèi)核幫我挑一個(gè)空閑端口內(nèi)核挑完后可以用getsockname()讀出來。這個(gè)技巧在寫測試用例、寫需要?jiǎng)討B(tài)端口的服務(wù)時(shí)特別有用能徹底避免端口沖突導(dǎo)致測試隨機(jī)失敗這種情況。2.3 IP 與端口的組合方式以及結(jié)構(gòu)體里為什么要留一個(gè)sin_zero在代碼層面IPv4 的地址信息裝在struct sockaddr_in里核心三個(gè)成員sin_family地址族填A(yù)F_INET、sin_port16 位端口網(wǎng)絡(luò)字節(jié)序、sin_addr32 位 IP網(wǎng)絡(luò)字節(jié)序。這三個(gè)字段的填法幾乎決定了bind和connect能不能成功。struct sockaddr_in里還有個(gè)sin_zero[8]很多人不知道它是干嘛的。原因是歷史上的struct sockaddr總長 16 字節(jié)而sockaddr_in的實(shí)質(zhì)內(nèi)容只占 8 字節(jié)剩 8 字節(jié)用它填充對齊保證兩者大小一致這樣bind(sockfd, (struct sockaddr *)addr, sizeof(addr))這種強(qiáng)制轉(zhuǎn)換才安全。這個(gè)字段必須清零標(biāo)準(zhǔn)做法是定義后立刻memset(addr, 0, sizeof(addr))否則殘留的棧上垃圾數(shù)據(jù)在某些實(shí)現(xiàn)上會(huì)引起地址比較異常。我見過有人省略 memset 之后在bind時(shí)偶發(fā)EINVAL排查了很久最后就是這 8 個(gè)字節(jié)沒清干凈。2.4 端口相關(guān)的三個(gè)高頻坑端口被占用EADDRINUSE。最常見的原因是上一個(gè)進(jìn)程沒退干凈或者進(jìn)程重啟太快、舊連接還處于TIME_WAIT。TIME_WAIT是主動(dòng)關(guān)閉方才會(huì)進(jìn)入的狀態(tài)持續(xù) 2MSLLinux 上約 60 秒目的是保證最后一個(gè) ACK 能被對端收到、并讓舊連接的殘留報(bào)文在網(wǎng)絡(luò)中消散。服務(wù)端頻繁重啟時(shí)幾乎必然撞上解決辦法是給監(jiān)聽 socket 設(shè)置SO_REUSEADDRint on 1; setsockopt(listen_fd, SOL_SOCKET, SO_REUSEADDR, on, sizeof(on));注意SO_REUSEADDR解決的是地址處于 TIME_WAIT 時(shí)仍可綁定不是兩個(gè)進(jìn)程同時(shí)綁同一個(gè)端口。后者在 Linux 上需要SO_REUSEPORT語義完全不同不要混用。綁定地址寫死。開發(fā)時(shí)圖省事寫inet_addr(127.0.0.1)上線后容器內(nèi)其他服務(wù)連不上。這類問題在容器化環(huán)境里尤其常見因?yàn)槿萜鞯幕丨h(huán)和其他容器的網(wǎng)絡(luò)命名空間是隔離的。用inet_addr()判斷錯(cuò)誤。這個(gè)函數(shù)轉(zhuǎn)換失敗時(shí)返回INADDR_NONE而INADDR_NONE的值恰好是255.255.255.255也就是說你無法區(qū)分輸入非法和輸入就是廣播地址。新代碼一律用inet_pton()它的返回值語義清晰1 成功、0 格式不對、-1 地址族不支持。3. 字節(jié)序跨機(jī)器傳數(shù)據(jù)繞不過去的第一個(gè)坑3.1 大端與小端到底差在哪一個(gè) 32 位整數(shù)0x01020304在內(nèi)存里占四個(gè)字節(jié)。如果低地址存01、高地址存04叫大端Big-Endian如果低地址存04、高地址存01叫小端Little-Endian。x86 和大部分 ARM 是小端部分嵌入式平臺(tái)和網(wǎng)絡(luò)協(xié)議規(guī)定的是大端。這件事在單機(jī)程序里毫無存在感因?yàn)樽x取和寫入用的是同一套規(guī)則自己跟自己永遠(yuǎn)對得上。但一旦跨機(jī)器發(fā)送方按小端把0x01020304鋪到內(nèi)存里發(fā)出去接收方按大端解讀得到的就是0x04030201——數(shù)字完全變了。這也是收到的數(shù)據(jù)是亂碼最常見的成因之一而且它很陰險(xiǎn)數(shù)據(jù)長度對得上、校驗(yàn)也能過只是數(shù)值錯(cuò)了排查時(shí)容易往業(yè)務(wù)邏輯上想??梢赃@樣驗(yàn)證自己機(jī)器的字節(jié)序#include stdio.h #include stdint.h #include arpa/inet.h int main(void) { uint32_t host 0x01020304; uint32_t net htonl(host); unsigned char *p; p (unsigned char *)host; printf(host: %02x %02x %02x %02x\n, p[0], p[1], p[2], p[3]); p (unsigned char *)net; printf(net : %02x %02x %02x %02x\n, p[0], p[1], p[2], p[3]); return 0; }在小端機(jī)上輸出是host: 04 03 02 01和net: 01 02 03 04兩個(gè)結(jié)果不一樣說明轉(zhuǎn)換確實(shí)發(fā)生了在大端機(jī)上兩者相同。這段代碼我建議每個(gè)初學(xué)網(wǎng)絡(luò)編程的人都親手跑一遍比看十遍文字描述管用。3.2 為什么網(wǎng)絡(luò)字節(jié)序規(guī)定為大端協(xié)議在設(shè)計(jì)時(shí)需要一個(gè)統(tǒng)一約定否則每個(gè)實(shí)現(xiàn)都要在運(yùn)行時(shí)協(xié)商成本太高。選大端有歷史和工程上的原因早期參與制定規(guī)范的主流機(jī)器多為大端架構(gòu)而且大端在抓包和人工閱讀十六進(jìn)制時(shí)更符合直覺——高位在前和書寫順序一致。這個(gè)選擇一旦定下來就成了硬約定后來無論本機(jī)是什么字節(jié)序網(wǎng)絡(luò)上傳輸?shù)臄?shù)值一律按大端解釋。落實(shí)到代碼就是四個(gè)函數(shù)htonshost to network short16 位、htonl32 位、ntohs、ntohl。規(guī)律很好記端口是 16 位用sIP 和大多數(shù)整型字段是 32 位用l。這些函數(shù)在同類字節(jié)序的機(jī)器上會(huì)被編譯成空操作所以不用擔(dān)心性能。3.3 轉(zhuǎn)換邊界在哪里只轉(zhuǎn)數(shù)值不轉(zhuǎn)字節(jié)流這是最容易被搞混的一點(diǎn)。字節(jié)序轉(zhuǎn)換只對多字節(jié)數(shù)值類型有意義對字節(jié)數(shù)組沒有意義。你發(fā)一個(gè)字符串hello它就是五個(gè)字節(jié)逐字節(jié)發(fā)送接收方逐字節(jié)接收順序天然一致不需要任何轉(zhuǎn)換。你發(fā)一個(gè)uint32_t長度字段就必須轉(zhuǎn)換。由此推出一條實(shí)操原則自定義協(xié)議時(shí)把所有多字節(jié)字段明確用固定寬度類型uint16_t、uint32_t、uint64_t聲明并在序列化時(shí)逐個(gè)轉(zhuǎn)換。不要圖省事把整個(gè)結(jié)構(gòu)體memcpy進(jìn)緩沖區(qū)發(fā)出去原因有兩個(gè)一是結(jié)構(gòu)體里可能有字節(jié)序不同的字段二是編譯器會(huì)在成員之間插入對齊填充填充內(nèi)容是不確定的接收方按同樣的結(jié)構(gòu)體解析可能對得上換編譯器、換優(yōu)化等級、換平臺(tái)就可能錯(cuò)位。htons/htonl只覆蓋 16 位和 32 位64 位沒有標(biāo)準(zhǔn)函數(shù)??缙脚_(tái)項(xiàng)目里常見的做法是自己寫一對#include stdint.h static uint64_t hton64(uint64_t v) { #if __BYTE_ORDER__ __ORDER_LITTLE_ENDIAN__ return ((uint64_t)htonl((uint32_t)(v 0xFFFFFFFF)) 32) | htonl((uint32_t)(v 32)); #else return v; #endif }或者干脆在協(xié)議設(shè)計(jì)階段避開 64 位字段用兩個(gè) 32 位拼省掉這一層。我在實(shí)際項(xiàng)目里更傾向后者協(xié)議越簡單跨語言實(shí)現(xiàn)時(shí)出錯(cuò)概率越低。3.4 浮點(diǎn)數(shù)和長時(shí)間戳的額外注意點(diǎn)浮點(diǎn)數(shù)不要直接發(fā)二進(jìn)制。IEEE 754 的位模式雖然也是定長的但不同平臺(tái)的實(shí)現(xiàn)細(xì)節(jié)、NaN 表示、擴(kuò)展精度都可能不同直接傳字節(jié)在不同編譯器之間不一定可靠。穩(wěn)妥做法是轉(zhuǎn)成定點(diǎn)整數(shù)比如金額用分為單位存int64_t或者轉(zhuǎn)成十進(jìn)制字符串發(fā)送犧牲一點(diǎn)帶寬換確定性。時(shí)間戳同理。推薦統(tǒng)一用自紀(jì)元起的秒數(shù)或毫秒數(shù)作為int64_t轉(zhuǎn)換后傳輸避免傳struct timeval、struct timespec這類結(jié)構(gòu)體——它們的成員寬度和布局在各平臺(tái)上并不一致。這一點(diǎn)在寫跨平臺(tái)通信協(xié)議時(shí)值得單獨(dú)列一條規(guī)范比事后調(diào)試省事得多。4. 協(xié)議的選擇TCP 和 UDP 的取舍不是在選技術(shù)是在選責(zé)任4.1 TCP面向連接、可靠、字節(jié)流SOCK_STREAM對應(yīng)的就是 TCP。它提供的保證可以概括成四條連接是有狀態(tài)的三次握手建立、四次揮手關(guān)閉、數(shù)據(jù)不丟不重不亂序、有流量控制和擁塞控制、傳輸?shù)氖亲止?jié)流而非消息。字節(jié)流這三個(gè)字是理解 TCP 的關(guān)鍵也是后面所有粘包討論的根源。TCP 只保證你寫進(jìn)去的字節(jié)會(huì)按順序到達(dá)不保證邊界。你在發(fā)送端write了兩次每次 100 字節(jié)接收端可能一次read到 200 字節(jié)也可能分三次讀到 60、60、80。這不是 bug是設(shè)計(jì)如此——TCP 把自己定位成一根可靠的水管水管不負(fù)責(zé)告訴你這一杯水到哪里結(jié)束。所以任何基于 TCP 的應(yīng)用層協(xié)議都必須自己定義邊界常見三種做法方案做法適用場景缺點(diǎn)固定長度每條消息定長消息長度恒定的場景不靈活浪費(fèi)帶寬長度前綴先發(fā) 4 字節(jié)長度再發(fā)內(nèi)容通用二進(jìn)制協(xié)議需要處理長度字段本身的字節(jié)序分隔符用\r\n或\0結(jié)束文本協(xié)議、命令行內(nèi)容里出現(xiàn)分隔符需要轉(zhuǎn)義長度前綴是我最常用的方案簡單、高效、無歧義。實(shí)現(xiàn)上有兩個(gè)細(xì)節(jié)長度字段必須用htonl轉(zhuǎn)換讀取時(shí)必須循環(huán)讀滿因?yàn)閞ead可能只返回部分?jǐn)?shù)據(jù)。static int read_full(int fd, void *buf, size_t n) { size_t got 0; while (got n) { ssize_t r read(fd, (char *)buf got, n - got); if (r 0) return 0; /* 對端關(guān)閉 */ if (r 0) { if (errno EINTR) continue; /* 被信號打斷重試 */ return -1; } got (size_t)r; } return 1; }這段代碼短但包含了三個(gè)新手經(jīng)常漏掉的點(diǎn)處理短讀、處理EINTR、區(qū)分讀滿和對端關(guān)閉兩種情況。漏掉任何一個(gè)在高負(fù)載或者有信號的環(huán)境下就會(huì)出現(xiàn)隨機(jī)失敗而且極難復(fù)現(xiàn)。4.2 UDP無連接、不可靠、數(shù)據(jù)報(bào)SOCK_DGRAM對應(yīng) UDP。它沒有連接、不保證送達(dá)、不保證順序、可能重復(fù)但保留了消息邊界你發(fā)一個(gè)數(shù)據(jù)報(bào)接收方要么收到完整的一個(gè)要么收不到不會(huì)出現(xiàn)半截。這一點(diǎn)和 TCP 正好相反。UDP 的優(yōu)勢在于開銷小、延遲低、沒有隊(duì)頭阻塞。一個(gè)數(shù)據(jù)報(bào)丟了只影響它自己不會(huì)卡住后面的數(shù)據(jù)TCP 則因?yàn)橐WC順序前面一個(gè)包丟了后面全得等重傳。所以在實(shí)時(shí)性優(yōu)先、能容忍少量丟包的場景里UDP 是更合理的選擇。另外 UDP 天然支持一對多廣播、組播TCP 做不到。需要注意的是UDP 的簡單只體現(xiàn)在協(xié)議層應(yīng)用層的復(fù)雜度一點(diǎn)沒少要自己做超時(shí)重傳、自己做序號去重、自己做擁塞控制否則一旦網(wǎng)絡(luò)擁塞就是災(zāi)難。很多人在 UDP 上重新實(shí)現(xiàn)了一遍 TCP 的可靠性機(jī)制結(jié)果比直接用 TCP 還差。這不是說不能做而是要有清醒判斷——如果你的需求是可靠傳輸先問問自己為什么不用 TCP。4.3 選型不是選技術(shù)是選你要承擔(dān)哪部分責(zé)任我判斷的方式是問三個(gè)問題丟一個(gè)包會(huì)怎樣如果業(yè)務(wù)上完全不能接受比如轉(zhuǎn)賬指令用 TCP讓協(xié)議棧幫你扛。延遲敏感嗎如果晚到不如不到比如實(shí)時(shí)語音、游戲位置同步UDP 更合適應(yīng)用層做有限的補(bǔ)償。是不是一對多廣播、組播只能用 UDP。其余情況默認(rèn)選 TCP把精力放在業(yè)務(wù)上。選 UDP 通常是經(jīng)過權(quán)衡后的主動(dòng)決策而不是因?yàn)樗臁?.4 粘包這個(gè)詞其實(shí)起錯(cuò)了名字社區(qū)里常說TCP 粘包嚴(yán)格講這個(gè)說法不準(zhǔn)確TCP 沒有粘它本來就是流從未承諾過邊界。真正的問題是應(yīng)用層沒有定義消息邊界。所以解決粘包的正確姿勢不是去調(diào)什么 socket 參數(shù)而是在協(xié)議設(shè)計(jì)階段就把邊界規(guī)則寫清楚然后在接收端按規(guī)則切分。理解了這一點(diǎn)你就不會(huì)再去找關(guān)閉粘包的選項(xiàng)——那東西不存在。4.5 一個(gè)常被忽略的細(xì)節(jié)send返回值和發(fā)完了不是一回事send()返回的是成功拷貝進(jìn)內(nèi)核發(fā)送緩沖區(qū)的字節(jié)數(shù)不等于對端已經(jīng)收到。緩沖區(qū)滿了它會(huì)阻塞阻塞模式下或者返回EAGAIN非阻塞模式下。所以正確寫法同樣是循環(huán)直到全部寫完static int write_full(int fd, const void *buf, size_t n) { size_t sent 0; while (sent n) { ssize_t w send(fd, (const char *)buf sent, n - sent, 0); if (w 0) { if (errno EINTR) continue; if (errno EAGAIN || errno EWOULDBLOCK) { /* 非阻塞模式下應(yīng)交給事件循環(huán)處理此處僅示意 */ continue; } return -1; } sent (size_t)w; } return 0; }在非阻塞模式下EAGAIN的處理不能靠死循環(huán)必須回到事件循環(huán)里等可寫事件。這段邏輯在寫高性能服務(wù)時(shí)是繞不開的但在預(yù)備知識(shí)階段先建立send 不代表送達(dá)這個(gè)認(rèn)知就夠了。5. 地址結(jié)構(gòu)體與 socket API 的整體輪廓5.1sockaddr家族的三個(gè)成員很多人第一次看 socket 代碼最困惑的就是為什么要在一堆結(jié)構(gòu)體之間來回強(qiáng)轉(zhuǎn)struct sockaddr_in addr; bind(fd, (struct sockaddr *)addr, sizeof(addr));原因是設(shè)計(jì)上做了一層通用殼。struct sockaddr是抽象的地址表示只有一個(gè) 16 位的地址族字段和一段通用的地址數(shù)據(jù)struct sockaddr_in是 IPv4 的具體表示struct sockaddr_in6是 IPv6 的struct sockaddr_un是本地 Unix 域的。所有 API 的參數(shù)統(tǒng)一收struct sockaddr *這樣一套接口能同時(shí)支持多種地址族代價(jià)是調(diào)用方必須自己強(qiáng)轉(zhuǎn)并把真實(shí)大小通過第三個(gè)參數(shù)傳進(jìn)去。這個(gè)設(shè)計(jì)的用意是擴(kuò)展性代價(jià)是類型安全為零——強(qiáng)轉(zhuǎn)錯(cuò)了編譯器不會(huì)報(bào)錯(cuò)運(yùn)行時(shí)bind直接返回EINVAL。所以我寫這類代碼時(shí)有個(gè)習(xí)慣結(jié)構(gòu)體變量名統(tǒng)一加后綴addr4、addr6強(qiáng)轉(zhuǎn)的地方一眼能看出對應(yīng)關(guān)系減少誤用。三層結(jié)構(gòu)之間還有一個(gè)細(xì)節(jié)sin_addr的類型是struct in_addr里面只有一個(gè)s_addr成員。多套一層純粹是歷史原因?qū)嶋H用時(shí)直接操作sin_addr.s_addr就行。IPv6 那邊sin6_addr是 16 字節(jié)的聯(lián)合體轉(zhuǎn)換要用inet_pton(AF_INET6, ...)inet_ntop也需要傳AF_INET6用錯(cuò)了會(huì)靜默失敗。5.2 一份能跑起來的最小骨架把前面所有概念串起來一個(gè)最小的服務(wù)器骨架長這樣#include stdio.h #include string.h #include unistd.h #include errno.h #include arpa/inet.h #include netinet/in.h #include sys/socket.h int main(void) { int lfd socket(AF_INET, SOCK_STREAM, 0); if (lfd 0) { perror(socket); return 1; } int on 1; setsockopt(lfd, SOL_SOCKET, SO_REUSEADDR, on, sizeof(on)); struct sockaddr_in addr; memset(addr, 0, sizeof(addr)); addr.sin_family AF_INET; addr.sin_port htons(8080); addr.sin_addr.s_addr htonl(INADDR_ANY); if (bind(lfd, (struct sockaddr *)addr, sizeof(addr)) 0) { perror(bind); return 1; } if (listen(lfd, 128) 0) { perror(listen); return 1; } for (;;) { struct sockaddr_in peer; socklen_t len sizeof(peer); int cfd accept(lfd, (struct sockaddr *)peer, len); if (cfd 0) { if (errno EINTR) continue; perror(accept); break; } char ip[INET_ADDRSTRLEN]; inet_ntop(AF_INET, peer.sin_addr, ip, sizeof(ip)); printf(client %s:%u\n, ip, ntohs(peer.sin_port)); char buf[1024]; ssize_t n read(cfd, buf, sizeof(buf)); if (n 0) write(cfd, buf, (size_t)n); close(cfd); } close(lfd); return 0; }三十來行但每一行都能對應(yīng)上前面的概念socket的第一個(gè)參數(shù)是地址族第二個(gè)是套接字類型決定 TCP 還是 UDPSO_REUSEADDR解決TIME_WAITmemset清sin_zerohtons/htonl處理字節(jié)序INADDR_ANY監(jiān)聽所有地址listen的第二個(gè)參數(shù)是等待隊(duì)列長度accept返回的是新的fd和監(jiān)聽 fd 是兩個(gè)東西peer里的地址是網(wǎng)絡(luò)字節(jié)序打印前必須ntohs。編譯命令記一下gcc -Wall -Wextra -o srv srv.c然后另開一個(gè)終端用nc 127.0.0.1 8080連上去試試。這段代碼只處理一個(gè)連接就關(guān)閉不是完整的服務(wù)器但足夠用來驗(yàn)證環(huán)境、驗(yàn)證端口、驗(yàn)證字節(jié)序轉(zhuǎn)換是否正確。5.3listen的 backlog 到底影響什么listen(fd, 128)里的 128 不是最大連接數(shù)而是未完成連接隊(duì)列 已完成連接隊(duì)列的上限參考值。未完成隊(duì)列放的是收到 SYN、還沒完成三次握手的連接已完成隊(duì)列放的是握手完成、等待accept取走的連接。如果服務(wù)端accept太慢已完成隊(duì)列滿了后續(xù)新連接的行為取決于tcp_abort_on_overflow的配置默認(rèn)是靜默丟棄客戶端表現(xiàn)為連接超時(shí)或重試。實(shí)際取值不用太糾結(jié)Linux 上還會(huì)被net.core.somaxconn限制最終生效的是兩者較小值。我一般寫 128 或 512配合及時(shí)accept就夠了。真正的瓶頸幾乎從來不是這個(gè)數(shù)字而是accept之后每個(gè)連接的處理邏輯是不是阻塞的。5.4read/write與send/recvclose與shutdownsocketfd 可以用read/write也可以用send/recv。前者是通用文件接口后者多了個(gè)flags參數(shù)能指定MSG_NOSIGNAL避免對端關(guān)閉時(shí)觸發(fā) SIGPIPE 直接殺掉進(jìn)程、MSG_PEEK窺探不取走、MSG_WAITALL盡量讀滿。生產(chǎn)代碼里我強(qiáng)烈建議用send并帶上MSG_NOSIGNAL或者干脆在啟動(dòng)時(shí)signal(SIGPIPE, SIG_IGN)否則對端異常斷開就可能導(dǎo)致整個(gè)服務(wù)進(jìn)程退出這類事故非常典型。close和shutdown的區(qū)別也值得單獨(dú)說。close減少引用計(jì)數(shù)減到 0 才真正關(guān)閉而且它是全雙工的——讀寫一起斷。shutdown(fd, SHUT_WR)只關(guān)閉寫方向?qū)Χ藭?huì)收到 EOF但仍然可以繼續(xù)發(fā)數(shù)據(jù)過來這在我發(fā)完了等你回復(fù)的場景里是必需的。用close替代shutdown會(huì)導(dǎo)致你再也讀不到對端的回復(fù)很多人調(diào)試時(shí)遇到發(fā)完就收不到響應(yīng)原因就在這里。5.5 阻塞與非阻塞預(yù)備階段至少要建立的直覺默認(rèn)創(chuàng)建的 socket 是阻塞的accept沒連接就卡住、read沒數(shù)據(jù)就卡住、write緩沖區(qū)滿就卡住。單連接場景沒問題一旦要同時(shí)處理多個(gè)連接就必須改。兩條路一是每連接一個(gè)線程簡單但線程開銷大、連接數(shù)上千就撐不住二是非阻塞 事件循環(huán)epoll一個(gè)線程管成千上萬個(gè)連接。預(yù)備知識(shí)階段不需要把epoll吃透但必須理解阻塞語義是怎么來的以及EAGAIN意味著什么。因?yàn)椴还苣愫竺嬗媚姆N模型這兩個(gè)概念都會(huì)反復(fù)出現(xiàn)。我的建議是先寫一個(gè)阻塞版本跑通邏輯再改成非阻塞觀察錯(cuò)誤碼的變化這個(gè)對比過程比直接抄epoll模板有收獲得多。6. 常見問題與排查技巧實(shí)錄6.1 一份能直接對著查的速查表現(xiàn)象最可能原因排查動(dòng)作bind返回EADDRINUSE端口被占或處于TIME_WAITss -lntp看占用加SO_REUSEADDRbind返回EINVAL結(jié)構(gòu)體沒清零 / 地址族填錯(cuò) / 長度傳錯(cuò)檢查memset、sin_family、第三個(gè)參數(shù)connect一直超時(shí)目標(biāo)不可達(dá)、被防火墻攔、服務(wù)bind在回環(huán)ping、telnet ip port、檢查bind地址connect返回ECONNREFUSED目標(biāo)端口沒有監(jiān)聽確認(rèn)服務(wù)是否啟動(dòng)、端口是否寫錯(cuò)收到的數(shù)值不對字節(jié)序沒轉(zhuǎn)檢查htonl/htons/ntohl/ntohs收到的結(jié)構(gòu)體錯(cuò)位直接memcpy結(jié)構(gòu)體含對齊填充改為逐字段序列化大流量下偶發(fā)讀不完整沒處理短讀包一層read_full循環(huán)進(jìn)程莫名退出對端關(guān)閉觸發(fā)SIGPIPE用MSG_NOSIGNAL或忽略SIGPIPE端口傳 0 后不知道實(shí)際端口沒調(diào)getsockname綁定后用getsockname讀回重啟服務(wù)立刻報(bào)端口占用TIME_WAITSO_REUSEADDR或等待 2MSL這張表覆蓋了我實(shí)際調(diào)試中八成以上的情況遇到問題先對一遍能省掉大量瞎猜的時(shí)間。6.2 幾個(gè)只有踩過才知道的細(xì)節(jié)用ss而不是netstat。ss -lntp看監(jiān)聽、ss -antp看所有 TCP 連接、ss -s看匯總統(tǒng)計(jì)比netstat快得多字段也更清楚。排查連接狀態(tài)分布時(shí)ss輸出的State列能直接告訴你有多少連接卡在SYN-SENT、多少在TIME_WAIT。strace是定位 socket 調(diào)用的利器。strace -f -e tracenetwork ./srv能把所有網(wǎng)絡(luò)相關(guān)的系統(tǒng)調(diào)用和返回值打出來bind到底傳了什么地址、accept返回了哪個(gè) fd、read返回了幾個(gè)字節(jié)一目了然。我第一次搞不清為什么bind失敗就是靠它看到sin_port傳的是主機(jī)序直接定位。地址打印一定要在轉(zhuǎn)換之后。printf(%s, inet_ntoa(addr.sin_addr))這種寫法在單線程里能用但inet_ntoa返回的是靜態(tài)緩沖區(qū)多線程下會(huì)互相覆蓋。老老實(shí)實(shí)用inet_ntop加自己的char buf[INET_ADDRSTRLEN]雖然多寫一行但省掉的是那種日志里 IP 隨機(jī)變化的詭異問題。測試用固定端口遲早出事。CI 環(huán)境里并發(fā)跑多個(gè)測試用例固定端口必然沖突。全部改成綁定端口 0 再getsockname拿實(shí)際端口這個(gè)改動(dòng)很小收益很大。超時(shí)一定要設(shè)。connect默認(rèn)超時(shí)可能長達(dá)一分鐘以上recv默認(rèn)永不超時(shí)。生產(chǎn)代碼里SO_RCVTIMEO、SO_SNDTIMEO或者非阻塞 事件循環(huán)的超時(shí)機(jī)制至少要有一種。我見過因?yàn)槿背瑫r(shí)導(dǎo)致工作線程被一個(gè)僵死連接永久占住最后整個(gè)服務(wù)雪崩的案例代價(jià)非常大。跨機(jī)器自測要趁早。別總在127.0.0.1上測。兩個(gè)終端在本機(jī)互通會(huì)掩蓋掉地址綁定、防火墻、路由、MTU 等一系列問題。哪怕只是拿另一臺(tái)同網(wǎng)段的機(jī)器連一下也能提前暴露不少東西。6.3 我個(gè)人建議的學(xué)習(xí)路徑我的體會(huì)是套接字這層?xùn)|西不適合先學(xué)完理論再動(dòng)手也不適合抄完模板就完事比較舒服的節(jié)奏是三輪。第一輪跑通寫一個(gè)阻塞的 TCP 回顯服務(wù)用nc連通確認(rèn)端口、地址、收發(fā)都正常。第二輪加約束自己定義一個(gè)帶長度前綴的協(xié)議收發(fā)結(jié)構(gòu)體強(qiáng)制做字節(jié)序轉(zhuǎn)換用tcpdump或者strace驗(yàn)證字節(jié)層面的樣子。第三輪改模型把阻塞改成非阻塞觀察EAGAIN然后引入epoll理解事件驅(qū)動(dòng)下的收發(fā)循環(huán)。這三輪走下來再去看那些高性能框架的代碼會(huì)發(fā)現(xiàn)它們做的事情無非是把這三輪的細(xì)節(jié)做到極致緩沖區(qū)管理、零拷貝、批量收發(fā)、連接復(fù)用?;A(chǔ)概念打牢了上層的東西就只是工程取舍不再是黑魔法。最后分享一個(gè)我常用的自查習(xí)慣寫完任何一段 socket 代碼我都會(huì)問自己四個(gè)問題——這個(gè)數(shù)值轉(zhuǎn)字節(jié)序了嗎這個(gè)read會(huì)不會(huì)短讀這個(gè)send失敗我能處理嗎對端關(guān)閉時(shí)我會(huì)不會(huì)崩四個(gè)問題全過代碼基本就能在真實(shí)環(huán)境里扛住了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
999婷婷综合| 亚洲成人网在线观看| 26uuu欧美| 婷婷射丁香| 亚洲色久| 色婷婷五月综合网| 日韩精品一品二区三区的使用体验| 91人人操人人爱| 人人妻人人澡| 97 天堂| 六月丁香色婷婷| 婷婷天堂视频| 亚洲妇女熟BBW| 日韩精品99久久| 国产激情在线| 男人天堂亚洲综合| 五月丁香婷婷婷激情爱爱| 天天狠天天叉| 人妻VideOssS人妻高清| 亚洲激情综合网| 精品人妻伦一二三区久久| 五月天伊人日日噜影片AV| www.99.色| 亚洲综合五月| 思思色播| 久久日曰| 国产这里只有精品| 亚洲av骚货| 91seav| 日本欧美成人片AAAA| 丁香婷婷五月天成人| 狠狠插.com| 99热在这里只有免费精品| 天天做天天爱天天爽在| OYIWbGcPu8H| 丁香五月天在线观看视频| 丁香五月天亚洲视频| 中国操逼99| 婷婷丁香色无五月| 狠狠色丁香综合| 狠狠色噜噜色狠狠狠综合色| 婷婷久久综合| 国产激情在线| 婷婷激情丁香五月天综合| 超碰成人黄色网| 中文久久婷婷| 五月天另类小说久久小说网| 91综合在线| 狠狠干五月| 操操自拍| 色婷婷AV五月天| 久七香蕉| 99色综合久久| 99激情视频| 色五婷婷| 五月婷婷色播网| 任你干嘛免费视频播放| 九九热在线精品视频| 亚洲人妻五月丁香婷婷| 国产永久一二一起草| 成人龟情网丁香五月| 色婷婷综合亚洲| 婷婷五月天伦理| 丁香五月天社区婷婷| 热99在线| 在线观看亚洲视频影院| 六月丁香婷婷色69| 久久99热这里只有精品首| 婷婷五月丁香激情图片| 国产真实乱了老女人视频| 成人精品人妻| 五月激情网综合| 97福利视频| 操逼视频网址| 激情五月激情综合网| 色五月婷婷影院| 熟女乱论网| 国产亚洲99久久精品熟女| 九九色精品| 九色啦蜜臀| 丁香六月天AV| 国在线激情网| 九九aV| 亚洲成人在线观看网址| 丁香五月婷婷综合啪啪| 少妇人妻人伦A片| 极品另类| 99久热这里只有精品| 激情99。| 99热这里只有精品26| 99热99| 色青青电影色五月| 久久er99热精品一区二区| 色婷婷五月色| 五月丁香五月综合欧美| 色欲久久久久| 六月丁香社区| 婷婷五月精品在线| 色五月开心五月激情五月| 色热久| 九九激情视频| 青青草五月天| 开心久久网婷婷| 五月婷婷爽爽爽| 婷婷五月天堂| 九九热在线99| 色综合天天综合成人网| 综合色99| 久久新地此| 91无码一区人妻A片蜜| 97色婷婷| 99热国产免费| 六月婷婷激情| 超碰91在线| 国産精品| www久久99| 丁香五月婷婷网| www.狠狠狠狠| 激情五月丁香色婷婷| 99热精品在线观看| 大香蕉啪啪| 色蜜婷婷| 91激情五月开心| 五月丁香六月婷婷的女人| 婷婷大香焦| 欧美性生交XXXXX无码小说| 久99热| 美欧日韩国产成人在战| 色播婷婷大香蕉| 97碰人人操| 99热思思| 日韩成人电影在线播放| 黄色三级日本| 99这里有精品| 99精品视频在线观看| 夜夜骑夜夜操| 大学生高潮无套内谢视频| 99精品在这里| 天天爽天天透天天爱| 色五月xxx| 99在线视频色版| 六月丁香综合| www.激情五月天。com| 99热网站| 成人五月天在线视频在线观看 | 情欲禁地| 五月天色软件| 国模九区| 七月激情六月婷婷综合在线播放| 五月丁香色婷婷色| 亚洲色综合| 99日韩| 另类图片色五月| 狠狠爱综合| 丁香婷婷久久| 就爱操www com| 五月综亚洲| 婷婷涩五月天综合| AV性爱在线| 欧美色性色好| 久久99网站| 色情成人五月天| 色色操| 激情丁香五月婷婷| 欧美 日韩 人妻 高清 中文| 99ri精品在线观看| 日韩在线成人电影| WWW.99热| 丁香五月天婷婷中文| 六月婷婷激情小说网| 婷婷丁香人妻天天久久| 欧美久久网| 综合色播| ..真实国产乱子伦毛片| 九九九九九九毛片| 天天插天天狠| 色噜噜狠狠狠综合曰曰曰| 99九九精品视频| 26uuu在线观看| 久久草中文日韩欧美| 婷婷五月天小说网| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | site:pnnrt.com| 97在线刺激| 色色色色色色色色五月先| 五月天婷婷久久| 99热热热99精品婷婷| av首页在线| 射久久丁香五月| 91久操| 亚州激情在线视频| 亚洲激情五月| 99精品视频网| 啪啪九九色| 六月婷婷久久| 久久伊人日日夜夜| 综合性爱网| 色综合五月天| 婷婷伊人综合| 日本色频| 亚洲第79页| 五月天激情啪啪| 激情五月婷婷| 97超碰欧美中文字幕| 久久激情五月| 人人爱人人添| 婷婷五月天色色| 五月天久久色| 熟女激情网| 情情五月天色| www999日韩精品| 午夜成人片400| 亚洲在线成人| 婷婷丁香五月天哟啪| 亚洲综合色五月| 九九这里是免费的视频5| 大香蕉五月天婷婷| 综合色色综合| 五月丁香 啪啪啪| 2020日日干| 九九AV| 在线播放 精品| 日本超碰在线| 色视频五月天| 欧美内射AAAAAAXXXXX| 九9九9无码| 婷婷五月天成人娱乐| 开心五月婷| 色伊人婷婷| 五月开心播播网| 91疯狂操操操操| 天天婷婷天天| 91chinese在线| 婷婷丁香色五月天| 久久这里只有精彩| 99热只有| 黄色av网站在线免费播放| 91人人网| 五月天婷婷在线播放| 丁香婷婷色五月| 无码A片一区二区免费| 99re这里只有精品99| 婷婷.com| 人妻丰满精品一区二区A片| 超碰93在线观看| 另类图片激情五月天| 99热色精品| 97在线观看| 五月天天堂久久| 五月天激情综合10p| 亚洲精品午夜国产va久久成人| 丁香五月婷婷总啪啪| 国产欧美日韩性爱| 婷婷丁香九月| 91综合视频在线| 天天搞夜夜六| 另类图片天天影视在线观看| 《久久综合九色综合97婷婷| 99re最新地址| 怡红院AV亚洲一区二区三区H| 七七九色| 日本婷色| 丁香六月在线综合| 狠狠擼综合| 久操大香蕉| 丁香97综合| www.婷婷网| 久久性操| 91色干| 亚洲另类婷婷五月综合| 26UUU精品一区二区| 欧美网站视频4399| 激情小说 五月天| 欧美久热| 亚洲欧洲另类| 黄网免费观看| 色久一| 美女激情婷婷| 成人片黄网站色大片免费毛片| 日本色99| 99这里有精品| 日本毛片内射| 中文av网| 五月天婷婷激情四射综合| 欧美va视频不用播放器的va视频网| 99re热在线视频观看| 五月丁香六月激情网站| 另类小说五月天综合网| 欧美性生交A片免费看| 久久这里只有精彩| 久久人人妻| www.jiujiujiu| 综合网啪| 成人婷婷| 97资源碰碰| 婷婷激情人妻| 丁香五月婷婷偷拍| 日韩色久| 久久人人九九| 激情骚五月| 丁香5月婷婷| 青青草伊人婷婷| 在线综合婷婷| 色噜噜丁香| 五月婷丁香久久久| 8090在线影视少妇| 涩涩婷婷五月| 99色嘟嘟精品网站| 五月丁香六月花| 热热色色五月天婷婷| 26uu| 伊人香大香蕉视频| 天天做天天摸| www.激情com| 99精品大片| 五月天另类小说久久小说网| 五月天涩涩| 超极99精品| 丁香五月欧美色综合| av在线婷婷| 高清无码中文字幕aVDV| 99久久婷婷综合| 久久加勒比| 丁香六月婷婷五月婷婷| 91.com男女操| 99在线小视频| 色综合xx| 激情五月天。| 免费在线观看欧美激情xx小视频| 天堂网啪啪| 91人操人人人操人| 久久五月婷| 免费观看的av| xxx综合在线| 丁香五月之久操视频| 99精品爱| 男人視頻站| 夜夜操天天干| 国产99久久久| 欧美性生交XXXXX无码小说| 婷婷玉月丁香五月在线视频| 综合久久十| 中文字幕欧美久久| 久久久久久久久久8888| 79精品在线视频| 精品亚洲国产成AV人片传媒| 51avj视频大全| 婷婷色色欧美| 人妻精品一区二区三区| 激情婷婷另类| 色婷婷影视99| 久久东京热婷婷五月| 色欲色天天香综合| 九九av| 五月婷婷干| 久婷婷久草| 美女美女美女三级色天天天天天| 五月激情射| 欧美婷婷五月丁香| 五月丁香网站在线播放| 超碰精品国产首页| 五月天婷婷社区| 天天久久综合| 五月天激情啪啪| 26uuu最新地址| 婷婷综合五月天激情| 欧美一级a | 五月丁香久人妻中文| 欧洲综合视频| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 天天爱天天操| 亚洲VA在线| 大香蕉人在线65| 婷婷俺去也| 天天激情视频| 婷婷九月丁香天堂丁香天堂| 91精品丝袜久久久久久| 色视频五月天| 亚洲va日| 色99免费视频中文| 五月丁香综合啪啪| 九九亚洲小视频| 五月婷色丁香| 婷婷激情综合网| 日日干夜夜撸夜夜骑| 久久五月天影院| 综合久久影院| 五月丁香好婷婷A片网| 亚洲AV成人无码电影| 色99网| 日熟女| 99精品视频在线观看| 五月婷婷欧美激情| 六月婷婷av| co超碰在线观看| 色综合色| 久久五月天精品视频| 五月婷婷在线丁香| 亚洲一区二区无遮挡A片| 久久精品凹凸分类| 色色AV色色色东莞| 丁香五月激情澎湃一区| 久久99精品视频| 97在线观视频免费观看 | 五月婷丁香在线视频在线| 久久婷婷影院| 丁香五月狠狠综合欧美| 九九热视频精品| 亚州欧美国产久精国产99综合视频| 色婷婷婷av| www.99热这里只有精品| 99热亚洲精品| 婷婷瑟五月天久久综合| 人人97碰| 中文超碰视在线| 五月天婷婷久久视频| 精品人妻久久久久久久| 色吧五月| 黄色一极大片| 成人看片网站| 五月丁香亭亭操逼| 天天色综网| 安息电影在线观看完整版| 伊人久久大香天蕉亚洲特级| 丁香六月天婷婷色| 欧美婷婷| 色五月激情网| 99在线观看精品视频| www.超碰| 91亚洲天堂| 日韩黄色中文字幕| 可以看的av| 色色99| 五月天激情图| 久久人妻爱爱| AV中文在线| 操逼综合网| 成人午夜天| 婷婷视频网| 婷婷国产成人| 丁香婷在线| 色色色综合视频| 99欧州偷拍视频| 99色在线观看视频者| 五月婷婷综合在线| 婷婷五月六月| 色综合综合色| 亚洲国产精品VA在线看黑人| 色五开心五月五月深深爱| 99热这里在线精品| 九九99精品| 色色色色色五月| 性爱111111| 久久综合九九| 久久激情网| 亚洲综合无码| XX色综合| 婷婷五月天开心激情网| 精品成人无码A片观看香草视频| 综合色色网| 日本九九视频| 国产亚洲99久久| 婷婷免费视频| 丁香五月 性爱| 99超超碰| 强辱丰满人妻HD中文字幕 | 成人色情五月天婷婷丁香| 五月婷婷在线短视频| 五月色婷婷中文字幕| 亚洲综合色成丁香五月色| 风流少妇A片一区二区蜜桃 | 亚州性爱99| 五月天小说激情| sS丁香五月婷婷| 久久综合婷婷| 丁香五月婷婷激情小说| 久久98| 國語久久婷| 91肏| 成人精品人妻| 五月婷婷久久综合| 99精品在线观看| 久久WW| 97婷婷五月丁香| 激情婷婷激情在线不卡| 麻豆忘忧草午夜| 九九久久9 9在线观看| av免费在线看不卡无毒| 婷婷五月丁香基| 久草婷婷在线| 日韩AV在线免费| 波多野结衣成人作品在线| 99久久婷婷国产综合亚洲| 精品热九九| chaopengdaxiangjiao| 激情婷婷丁香五月| 色操综合| 狠狠久久婷婷| a九九热www| 激情综合网五月丁香| 性生活视频98791| 9l视频自拍九色9l视频自拍九色9l社区| 久久大香蕉视频| 99人人操人人爱久久久| 免费观看亚洲AV片| 六月婷婷啪啪| 99热综合| 亚洲天堂AV免费片| 一级A片天天操夜夜操| 日本成人噜噜| 91婷婷五月天嫩女| 日本高清久| 激情五月天婷婷五月天| 久久与婷婷| 涩五月婷婷| www99热| 亚洲第一成人无码A片| 91午夜婷婷狠狠久久综合9色| 丁香婷婷久久五月天| 久久久天堂国产精品女人| 深夜婷婷 丁香| 伦乱人妻| 日韩人妻在线观看| 色婷婷五月天中文字幕| 六月丁香婷婷开心综合基地| 五月丁香免费看| 五月婷婷在线观看黄| 99在线视频精品| 91精品综合久久久久久五月丁香| 欧美日本日韩| 依人大香蕉在钱1| 99久热精品在线| 在线看片av| 色色色色色级无码| 97好吊操| 亚洲成人av在线播放| 激情亚洲网| 国产看真人毛片爱做A片| 亚洲av另类在线观看| 丁香五月婷婷99| 激情综合五月天| 五月激情精品视频| 开心婷婷五月激情网小说 | 狠狠狠狠狠狠| 99视频内射三四| 婷婷丁香综合网| 精品99在线观看| 色婷婷综合网| 插插插色综合网| 99热这里只| 9热视频在线观看| 色色com| 51精品国自产在线| 青柠影视免费高清电视剧| A片试看50分钟做受视频| 久碰久| 亚洲综合久| 天天操夜夜夜拍拍拍| 五月天婷婷在线观看| 色婷婷小说| 国产成人精品一区二三区熟女在线| 久9热插入| 六月婷婷综合| 久久这里有| 色婷婷网| tingtingseav| 成人AV在线电影| 99热这里只有精品33| 久久久久激情网| 天天日天天插| jiuse91在线| 丁香婷婷五月天校园春色| 色色网五月激情| 五月天婷婷色综合| 天堂在线婷婷| 79亚洲精品少妇| 婷婷六月天激情| 五月天开心激情综合网| 精品九九婷婷| 五月婷婷丁香伦理网| 超碰国产在线观看| 日韩AV中文在线观看| 五月丁香久人妻中文| 激情狠狠丁香月| 色欲午夜无码久久久久久张津瑜 | 4438激情网| 国产午夜精品一区二区三区四区| 97人人搞| 婷婷久久亚洲| 亚洲乱码日产精品BD| 3p久久| www.五月天。com| 色五月网址| 淫视馆av三区| 日韩草草草草草草草草草草草草| 97碰碰视频| 亚洲V国产V欧美V久久久久久| 国产脫衣舞一区二区三区| 色色亚洲无码| 综合色色婷婷| 色色色色色五月| 日韩av大全| 超碰人人操在线| 婷婷六月偷拍| 777丁香六月青青草婷婷综合久月| 操一操干一干| 日本91在线播放| 久99| 精品人妻伦一二三区久久| 欧美丰满熟妇BBB久久久| 久久人操| 天天做天天爱天天玩| 人人人操 超碰| 久久永久网址| 伊人婷婷大香蕉| 香蕉色色网| 五月天影院婷婷在线观看| 九九Av| 久久99免费视频网站| 综合xx网| 国产在线黄色| www色综合亚洲92| 丁香五月天BBw| 婷婷操逼| 久久综合丁香五月| 99精品视频在线观看| 一级黄色片看看| 五月 丁香 欧美| 狠狠综合网| 久久停停超碰| 99在线视频资源| 色色婷婷婷丁香五月天| 五月婷网站| 婷婷九月色| 综合网色| 成人片在线播放| 91干在线| 九九精品亚洲| 97五月婷婷| 噜噜视频| 色婷婷五月天无码视频| 色五月第四色| 99婷婷综合| 激情婷婷丁香色五月| 国产精品99久久久久久久女警 | 亚洲中文字幕av| 婷婷伊人综合中文字幕| 婷婷五月综合色拍| 日本99在线| 超级碰碰视频无码| 色色哒五月婷婷六月丁香| 婷婷五月花.97| 色高清无码视频| 国产看真人毛片爱做A片| 立川无码av| 中文久久婷婷| www.五月婷婷.com| 综合久久9| 久婷婷婷| 婷婷伊人綜合中文字幕| 色情五月丁香| 99在线观看精品视频| 91超级碰| 天天综合网在线| 亚洲精品网站色视频| 日日干天天| 久久婷婷在线| 九九精品在线观看视频6| 搡BBBB搡BBB搡五十| 五月六月丁香婷婷在线观看| 国产毛片精品一区二区色欲黄A片| 激情婷婷色小说| 狠狠操狠狠爱| 九九热在线视频,| 中文字幕人妻熟女在线| 欧美天天综合网站上去吧| 五月天精品| 欧美va精品va老师va| 婷婷综合激情| 五月天无码视屏播放| 99re热视频这里只精品| 亚洲 无码 中文字幕 中出| 99视频这里有精品| 亭亭五月天成人| 91九色成人原创视频| 99在线免费观看| 99在线视频精品| 色五月激情| 玖玖婷婷五月天| 天天拍天天操| 综合在线丁香五月| 大香蕉视频婷婷| 一级黄色尤物综合视频手机在线观看| 日韩人人操| 97色色视频| 亚洲啪啪视频| 久久精品99| 青青草六月丁香| 久久九九亚洲| 天天色色天天| 婷婷操逼网| 激情五月天福利| 欧美婷婷日本| 成人羞羞啪啪 全 视频| 五月综合激情图片| 婷婷丁香色情| 精品网站99| 91人人人人人人人| 九九色色网| 五月花婷婷在线精品视频| 午夜不卡久久精品无码免费| 夜夜夜夜夜骑撸| 三级黄网站| 97在线观视频免费观看| 狠狠xx| 99在线视频精品| 狠狠操狠狠插| 五月亭亭六月天| 婷婷五月丁香综合| 激情AV网| 色女人久久| 99久久国产成人精品| 狠狠色综合久久久久| 色综合久久44| 狠狠色无码| WWW.HENHENL.| 99操碰| 丁香五月天五码婷婷| 亚洲色图日韩网址| 色五月婷婷中文字幕| 97丁香五月| 五月丁香香蕉| 人妻视频一区而且二区| 久久久久亚洲AV无码网影音先锋| 怡红院院在线导航网| 色级婷婷| 五月丁香网站| 天天谢天天操| 91日韩在线| 香蕉97碰碰碰欧美| 五月婷婷人人人操| 六月婷婷影院| 久久久五月五丁香| 五月天丁香色色| 激情婷婷五月| 五月天久久www| 一级二级色大片| 思思久久99热只有频精品66| 激情五月天综合网| 亚洲色欲欧美一区二区三区| 97黑人精品区| 精品久久久中文字幕大豆网推荐理由 | 婷婷六月视频| 另类小说五月天| 97碰 在线视频观看| 青青草成人网| 色五月大| 五月丁香激情婷婷综合| 五月开心婷婷网| 丁香五月婷婷亚洲激情四射| 日日夜夜天天综合| 五月成人网站| 狠狠狠人妻| 久99| 国产激情在线观看| 清纯唯美 激情四射| 日本一级黄色电影| 丁香五月成人av| www.五月天婷婷姐姐| 超碰人人操在线| 99在线免费视频播放| 99精品在线观看| 最新久久网址| 99热在这里只有精品| 五月激情网五月综合网| 色婷婷综合久久久久| 亚洲激情六月| 免费无码毛片一区二区A片| 欧洲亚洲免费视频9 | 噜噜久| 欧美激情Va| 色综合久久天天综合网| 91人人妻人人操| 538在线精品| 五月天天天色| 色欲影香| 丁香婷婷色| 日本特黄aaaaa| 日韩成人免费电影| 九月婷婷激情| 99热大| WWW.亚洲无码| 夜精品无码A片一区二区蜜桃| 97干97色| 激情五月天婷婷在线网址发给我| 婷婷五月情色| 日韩欧美一区二区三区四区| 精品久久久999| 五月婷婷狠狠久久| 婷婷五月天久草在线| 婷婷色综合| 色婷婷亚洲精品天天综| 色婷天天| 99a级片| 色综合伊人网| 天天日日夜夜爽。| Www.婷婷五月| 丁香激情合作五月| 五月色情婷婷开心五月天| 91色综合| 色~性~乱~伦~噜| AV动漫不卡无码免费| 丁香久月| 日韩无码乱轮| 九月大香蕉| 日本在线观看91| 色情婷婷久久五月天| 亚洲无码影音| 五月综合激情久久| 九九成人电影婷婷| 久久精品A片777777| 99亚洲视频| 伊人五月天在线| 婷婷色操| 996热re视频精品视频| 天天肏天天肏天天肏| 久久婷婷色五月| 九九热视频免费的| 人人看人人草人人摸| 色青青视频| 五月天第四色开心色播| 涩综合在线 | 99精品热视频| 亚洲综合婷婷五月| 九九色综合网| 久草五月婷婷| 秋霞AV美国| 超碰不卡在线| 91狠狠色色丁香婷婷综合久久| www.久久爱.c n| 五月婷婷黄| 99精品超在线播放| 婷婷色五月激情强奸四射| 91日日日| 亚洲六月色婷婷| 久久婷婷网| 99色视频| 婷婷基地成人五月天| 精品一区二区三区四区五区六区介绍| 九九视频这里只有精品在线播放| 久久之人妻| caopeng超碰| 五月 丁香 欧美| A网在线欧洲| 六月合五月婷| 激情六月天婷婷| 国产操碰| 97色婷婷| 激情性爱五月天网页| 日韩在线看AV| 久久久潮喷-久久久九九-成人AV| 91人人人人人人人| 国产免费av在线| 婷婷五月激情图片| 都市激情蜜桃婷婷五月天| 五月天堂婷婷| 色狠狠色综合| 丁香五月婷婷基地| 日本色图综合| 色色色热| 桃色成人网| 操逼电影免费看| 综合亚洲AV| 成人五月天丁香| 激情婷婷内射| 天天摸天天高潮天天爽| 亚洲亚洲永久无码777777| 麻豆雪千夏| www色色色com| 亚洲亚洲人成综合网络| 黄色录像网点| 91窝窝| 精品成人在线观看| 操操操www.com| 另类激情五月| 激情五月影院| 丁香五月色情| 成人精品视频99在线观看免费| 精品成人在线| 五月婷婷黄| 人妻av在线| 思思热再线视频| 亭亭玉月丁香| 婷婷免费视频| 伊人久久大香线蕉精品| 国产在线自| 99热这里是精品| 五月综合777| 婷婷播5月| 婷婷伊人网| 日本熟妇乱妇熟色A片蜜桃| 亚洲综合色婷婷文学| 97视频久久| 人人干天天操五月丁香| 99视频精品全部观看10| 色爱亚洲| 色综合女人99| 婷香五月| 婷婷综合网站| 婷婷色九月| 久久婷婷五月综合色欧美| www.com色播五月天| 五月丁香美女| 婷婷六月久久综合导航| 婷婷五月丁香六月| 国内精品免费一区二区2009| 五月丁香啪啪网| 中文字幕 久久9999| 五月婷婷六月天| 无码AV免费精品一区二区三区| 亚洲AV永久无码影院黑人| 色婷婷五月天中文字幕| 99热99这里只有精品| 色九网| 9久热精品在线视频| 九九十99视频| 婷婷天天插天天爱| 人妻久热| 97超碰免费超级在线观看| 一区视频网站| 色播五月丁香婷婷| 激情 婷婷| 精品夜夜澡人妻无码AV| 97日在线视频| 五月天婷婷色播在线网| 96精品久久久久久久久| 久久黄色片| 九色视频91疯狂| 久草xx性爱视频| 色色色9| 人操91在线| 婷婷色女| 色婷婷亚洲婷婷在线观看| 99精品热| 日熟女| 欧美综合激情五月| 五月天色色色| 久久资源综合| 五月丁香五月丁香| 婷婷五月天基地| 男女啪啪做爰高潮无遮挡| 久久99网址| 涩涩婷婷五月| 亚洲免费婷婷| 丁香久久九九99| 开心五月激情站| 色婷婷综合久久久久| 无码字幕中文| 丁香婷婷精品视频| 日日夜夜天天| 欧美日韩成卜| 丁香五月激情婷婷视频| 可以免费观看的AV| 婷婷综合仓库中文| 在线,国产,色,热视频| 在线观看免费狠狠色丁香香综合| www.ywav| 成人色站,在线视频,看片-SS1AV| 五月丁香久久| 热久综合| 99激| 婷婷丁香激情综合色情| AV中文字幕夜夜操b天天摸bb| 久久综合热17c| 97色97干| 五月婷久草| site:publishdd.com| 久久久97| 99久久99九九99九九九| 天天插天天爽| 99亚洲精品综合在线| 亚洲激情网站无码| 五月婷婷色播| 超碰九热| 色播播之激情五月婷婷| 久久综合九九| 嫩草视频观看| 99r这里| 亚洲电影在线观看| 99热偷拍| 丁香五月综合激情性爱| 激情国产五月| 天天干天天干天天干天天干天天干天天| 超碰人人在线| 亚洲免费99| 免费视频99| 亚洲在线成人| 99热99re6国产在线播放| 日产精品一线二线三线芒果| 99re在线视频精品,这里只有精品18,| 26UUU欧美激情一区二区| 日韩乱轮AV| 久色姿源| 天天色情站| 日本激情ⅩXX免费视频| 操一操干一干| 婷婷伊人网| 99热都是精品| 女操碰| 久久总和99| 婷婷五月,偷窥偷拍网| 日韩啊啊啊| 日本三级第一页| 99热这里只有精品69| 婷婷五月天成人网| 开心婷婷五月激情网小说| 久久免片| 日本99视频| 欧美激情综合| 亚洲精品成人| 丁香九九九九| 情色婷婷五月天| 色五月色图| 五月天激情啪啪| 日韩欧美老妇性视频91久久久| 99综合网| 六月婷色| www.henhenl| 久久九九玖玖| 另类图片天天影视在线观看| 六月婷婷激情图片| 中文字幕成人| 欧美群妇大交乱婬网| 亚洲激情五月| 99人这里只有精品| 亚洲乱码日产精品BD| 色五月激情五月丁香五月婷婷啪啪综合| 99色在线观看| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 开心激情婷婷| 777.色色| 午夜天堂一区人妻| 丁香五月激情站| 激情婷婷狠狠干综合| 婷婷五月天亚洲综合网| 久久五月婷天天干| 深爱激情九九五月天 | 五月丁香婷婷五月色| 国产乱子轮XXX农村| 伊人丁香花综合影院| 99色嘟嘟精品网站| 26uuu最新地址| 丁香社92视频| 天天色天天| 超碰人人操在线| 开心激情网五月天| 深爱激情九九五月天| 色哟呦av| 亚洲日日日| 丁香色影院| 久99久在线观看| 中文字幕综合网| 九九在线精点品| hd五月婷婷在线| 91色性感五月婷婷丁香| 激情色色色| 亚州操逼网| 婷婷伊人| 婷婷丁香五| 丁香婷婷老熟女综合网| 九九色热| 亚洲另类婷婷综合| 亚洲爆乳无码精品AAA片蜜桃| 六月丁香五月激情婷婷| 六月色 亚洲| 丁香五月91| 天天搞夜夜叫| 99亚洲精品综合在线| 色色色色网| 色五月婷婷久久| 色婷婷电影网| 俺去也在线视频| 色情婷| 天天色亚洲| 九九热视频免费观看| 欧美黑人巨大性生话| 五月丁香婷婷成人综合网| 国产操逼网站| 久久丁香五月婷婷| 五月天婷婷激情干干| 中文字幕av久久爽| 91狠狠综合久久| 538久久| 丁香色情五月综合激情| 99热99精品| 五月丁香激情五月天| 亚洲国产黄色电影| 婷婷五月天综合网| 婷婷丁香水多多视频| www.91AV.com| 一区二区三区视频| 色青青五月| 欧在线一区| 丁香婷婷色| 国产婷婷五月中文字幕高清| 亲子乱AV-区二区三区| 人妻激情在线| 亚洲美女婷婷五月天| 黄色激情网站在线观看| 婷婷射丁香| 成人色情五月天婷婷丁香| 丁香六月激情国产| 久久激情视频| 丁香五月乱中文字幕| 日韩欧美一级大黄网站| 成人做爰A片免费看视频| www.99热在线| 九九综合视频在线观看| 色色999三级片| 色婷婷综合网站| 久久九九99亚洲国产久精综合| 色色激情五月| 伊人无码高清| 偷拍91九色| 色婷婷五月网| 久久与婷婷| 欧美天堂婷婷日韩| 色色色婷婷五月天| 思思re视频在线| 色五月综合激情| 久久久婷丁香五月| 26uuu最新地址| 97色色综合| 操操操www.com| 九月激情综合婷婷| 亚洲精品视频在线| 色五月婷婷丁香五月| 久久婷婷丁香五月一二三| 国产综合丁香五月天| 国产欧美日韩综合精品一区二区| 99精品免费视频| 密臀久久| 91超碰在线播放| 天天爱天天天射AV| 天天影院色| 久久五月天婷婷| www.夜夜夜| 91在线日| 色噜婷婷| 超碰国产在线| 丁香五月婷婷视频| 五月天婷婷爱丁香中文字幕| 天天搡日日搡aaaaⅩ| 亚洲av电影网站| 夜夜爽天天爽| 五月天丁香| www.热99热| 丁香五月天在线观看视频| 色天堂操| 激情网 久久| 婷婷五月天电影网| 日本丁香五月| 婷婷四色五月| 五月婷婷av| 亚洲黄3级片网站欧美| 国产肥白大熟妇BBBB视频| 婷婷色播婷婷| 久久综合五月天| 9999热这里只有精品| 99er这里只有精品| 久久大香蕉伊人| 91色色五月天| 97操碰| 丁香九月久久| 日本社区五月天激情| http://www.lingjunshare.com/ | 99热热这里只精品996小说| a毛片二逼wwwwwwwwww| 成人做爰A片免费看网站找不到了| 九九人人操| 九九热re99re6在线精品| 激情五月婷婷老师| 婷婷五月天色网久| 婷婷激情五月天激情在线| 99在线视频精品| 欧美网站视频4399| 91趴趴| 色婷婷五月天av在线| www.五月天| 色色性爱视频| 色综合久久中文| 五月婷婷啪啪| 亚洲综合视频天天精品| 色综合色五月| 99草视频在线观看| 操97在线观看| 欧美丰满熟妇BBB久久久| 天天爽天天干| 99热播放| 九九热精品| 婷婷激情小说| 久热A| 思思久久思思| 激情综合播播| 日本色色图| 久久婷婷国产| 五月丁香婷婷综合视频| 午夜福利8055| 日本熟女啪啪| 人妻丰满精品一区二区A片| 色五月大香蕉| 亚洲男女激情| 亚洲色啪| 婷婷综合色| 99久在线精品| www.久久99热地址发布| 色婷另类| 六月婷久久| 天天舔天天操| 色J香五月天| 天天做天天爱天天要| 丁香婷婷啪啪啪| 色欲日日躁| 九九热这里只有精品12| 精a品a视a频| 亚洲区,视频区,视频区免费| 五月婷丁香| 综合婷婷| 99久久久99久久91熟女| 日日骑夜夜撸| 激情五月天久久丁香| 婷婷午夜| 婷婷四月 成人 狠狠干| 五月天另类小说亚洲| wWwCom夜操wwW| 天天日综合网射| 七七九九色色| 韩国情人在线电视剧免费观看高清版全集| 激情五月第四色| 五月丁香婷婷综合在线| 婷婷伊人无码| 操逼福利视频| 色五月婷婷丁香婷婷| 啪啪激情网站| 五月深爱网| 久久九九视频| jiqingliuyuetian| 人妻内射视频| 另类小说色婷婷| 五月丁香色| 丁香五月婷婷色| 色播五月天激情| 强辱丰满人妻HD中文字幕| 99热在线观看| 六月五月天婷婷涩播在线| 色天使色综合| 九九精品少妇| 丁香五月婷婷大香蕉| 夜夜 操无码| 婷婷五月黄色激情在线| sS丁香五月婷婷| 婷婷五月免费在线| 日本色色色| 婷婷五月天综合AV| 婷婷色影院| 免费无码毛片一区二区A片|