欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

UDP工程化避坑:從首部字段到丟包、MTU與IO模型

UDP工程化避坑:從首部字段到丟包、MTU與IO模型 很多團(tuán)隊(duì)第一次把服務(wù)從 TCP 切到 UDP都是奔著快和省事去的覺得無連接、不用握手、不用維護(hù)狀態(tài)怎么算都劃算。結(jié)果第一版上線監(jiān)控面板上接收側(cè)丟包率穩(wěn)定在 3%~8%第一反應(yīng)是機(jī)房網(wǎng)絡(luò)有問題拉著運(yùn)維查路由、查交換機(jī)、查對(duì)端限速折騰兩天最后發(fā)現(xiàn)發(fā)送端的sendto全部返回成功一個(gè)錯(cuò)誤都沒有包是在本機(jī)內(nèi)核的接收緩沖區(qū)里被默默丟掉的。這個(gè)場景我見過不止一次它幾乎概括了 UDP 協(xié)議最容易被誤解的地方——它把控制權(quán)交給你同時(shí)也把責(zé)任甩給了你。這篇內(nèi)容就把 UDP 從首部字段一路拆到工程落地講清楚它的邊界在哪里、哪些事情必須自己做、哪些坑幾乎人人都會(huì)踩一遍。適合已經(jīng)寫過 socket、但被 UDP 的各種玄學(xué)丟包折磨過的開發(fā)者也適合還在猶豫該不該上 UDP 的技術(shù)選型人看完你應(yīng)該能自己判斷手里這個(gè)業(yè)務(wù)到底該不該用它。1. 實(shí)時(shí)鏈路為什么敢用UDP一次看起來像網(wǎng)絡(luò)故障的排查開場1.1 從5%丟包說起問題并不在網(wǎng)絡(luò)上那次排查的起點(diǎn)非常典型一個(gè)實(shí)時(shí)數(shù)據(jù)上報(bào)的場景客戶端每秒發(fā) 200 個(gè)數(shù)據(jù)報(bào)單個(gè)報(bào)文 800 字節(jié)左右服務(wù)端用單線程recvfrom循環(huán)收。壓測環(huán)境一切正常上了真實(shí)流量之后服務(wù)端統(tǒng)計(jì)到的收包數(shù)比客戶端統(tǒng)計(jì)的發(fā)送數(shù)少了 5% 上下而且這個(gè)比例和流量大小強(qiáng)相關(guān)——流量越大丟得越多。一開始所有人的注意力都在網(wǎng)絡(luò)上因?yàn)閬G包這個(gè)詞天然指向鏈路。但我當(dāng)時(shí)堅(jiān)持先在本機(jī)看了一眼中斷和 socket 隊(duì)列用ss -u -a -n -i觀察接收隊(duì)列發(fā)現(xiàn)Recv-Q在流量高峰時(shí)幾乎一直是滿的。這一步基本就定性了包已經(jīng)到達(dá)內(nèi)核只是應(yīng)用沒來得及取走緩沖區(qū)滿了之后新來的包被內(nèi)核直接丟棄發(fā)送端完全感知不到。改用多進(jìn)程加SO_REUSEPORT、把接收緩沖區(qū)調(diào)大之后丟包率降到 0.02% 以下剩下的部分才是真正的鏈路丟包。這里的關(guān)鍵認(rèn)知是UDP 的丟包至少有四個(gè)完全不同的來源從下往上分別是物理鏈路擁塞或錯(cuò)包、中間設(shè)備限速或策略丟棄、本機(jī)內(nèi)核接收緩沖區(qū)溢出、應(yīng)用層自己處理不及。它們的現(xiàn)象長得一模一樣但處理手段天差地別。不從下往上分層定位就只能靠猜而猜的代價(jià)通常是幾天時(shí)間。1.2 UDP到底放棄了什么又換回了什么把 UDP 和 TCP 擺在一起對(duì)比的文章很多但大多數(shù)只停留在可靠 vs 不可靠這種口號(hào)層面實(shí)際指導(dǎo)意義有限。我更愿意從內(nèi)核幫你做了什么這個(gè)角度看TCP 在內(nèi)核里維護(hù)了一整套狀態(tài)機(jī)包括連接建立與拆除、序號(hào)與確認(rèn)、超時(shí)重傳、滑動(dòng)窗口、擁塞控制、亂序重組、粘包拆包的處理。這些東西你一行代碼都不用寫代價(jià)是內(nèi)核要替你決策而且很多決策的參數(shù)你改不動(dòng)。UDP 把這些幾乎全部去掉了只留下端口尋址和一層可選的校驗(yàn)。換來的是三樣?xùn)|西第一是延遲的可預(yù)測性沒有重傳等待沒有擁塞窗口爬坡一個(gè)包發(fā)出去要么到要么不到不會(huì)出現(xiàn)因?yàn)榍懊嬉粋€(gè)包丟了所以后面全卡住的隊(duì)頭阻塞第二是控制權(quán)的完整性什么時(shí)候重傳、重傳幾次、要不要讓路給別的流全部由應(yīng)用層說了算第三是拓?fù)渖系撵`活性廣播、組播這些一對(duì)多的尋址方式TCP 從設(shè)計(jì)上就不支持。代價(jià)也同樣明確所有可靠性工作下移到了應(yīng)用層而且內(nèi)核不再提供背壓。TCP 發(fā)送緩沖區(qū)滿了會(huì)把send阻塞住逼著生產(chǎn)者降速UDP 的sendto只要把數(shù)據(jù)塞進(jìn)發(fā)送緩沖區(qū)就返回成功緩沖區(qū)滿了才返回EAGAIN接收端更是徹底沒有反饋通道。這意味著 UDP 鏈路上任何一個(gè)環(huán)節(jié)的處理能力不足都會(huì)以丟包的形式體現(xiàn)而不是以延遲上升的形式體現(xiàn)。理解這一點(diǎn)后面所有的工程細(xì)節(jié)才有落腳點(diǎn)。1.3 什么樣的業(yè)務(wù)適合把可靠性交給上層不是所有業(yè)務(wù)都值得為 UDP 付出這些額外成本。我的判斷標(biāo)準(zhǔn)通??慈龡l能不能容忍偶發(fā)丟包、延遲敏感度有多高、有沒有必要做一對(duì)多。能容忍丟包的典型是實(shí)時(shí)音視頻和游戲狀態(tài)同步。一幀視頻丟了解碼器做個(gè)錯(cuò)誤隱藏人眼基本看不出來一個(gè)位置同步包丟了下一個(gè)包 20ms 后就到插值一下就補(bǔ)上了。這類場景里重傳一個(gè)已經(jīng)過時(shí)的包不僅沒用反而會(huì)占用帶寬、加劇擁塞所以 TCP 的重傳機(jī)制在這里是負(fù)資產(chǎn)。延遲敏感度高的典型是實(shí)時(shí)交互類業(yè)務(wù)比如遠(yuǎn)程操作的指令下發(fā)。這類場景對(duì)丟包的容忍度其實(shí)不高但對(duì)確定性延遲的要求極高寧可快速失敗讓上層做降級(jí)也不能出現(xiàn)幾百毫秒的不可預(yù)測停頓。至于一對(duì)多組播和廣播是 UDP 獨(dú)占的能力做局域網(wǎng)設(shè)備發(fā)現(xiàn)、行情推送、流媒體分發(fā)時(shí)幾乎繞不開。反過來說凡是每條消息都必須到達(dá)、順序不能亂、數(shù)據(jù)量還不小的場景老老實(shí)實(shí)用 TCP 或者基于 UDP 的成熟可靠傳輸方案自己從零寫一套可靠層大概率會(huì)在某個(gè)邊界條件上翻車。2. 拆開那8個(gè)字節(jié)UDP首部字段與偽首部校驗(yàn)的完整推演2.1 四個(gè)字段各自的職責(zé)與邊界UDP 首部固定 8 字節(jié)四個(gè) 16 位字段簡單到可以背下來但每個(gè)字段的邊界條件都值得說清楚。源端口和目的端口各 2 字節(jié)取值范圍 0~65535。源端口在多數(shù)客戶端場景下由內(nèi)核自動(dòng)分配走的是臨時(shí)端口范圍Linux 上默認(rèn)是net.ipv4.ip_local_port_range定義的那一段。這里有個(gè)容易被忽略的限制單個(gè)客戶端 IP 對(duì)同一個(gè)服務(wù)端IP:Port組合理論上最多只能建立 65535 個(gè)不同的源端口會(huì)話做大規(guī)模長連接或高并發(fā) UDP 會(huì)話時(shí)這個(gè)上限會(huì)先于帶寬成為瓶頸。解決辦法是多綁幾個(gè)本地 IP或者用多臺(tái)機(jī)器分?jǐn)?。長度字段 2 字節(jié)指的是首部 數(shù)據(jù)的總長度最小值是 8純首部、無數(shù)據(jù)最大值是 65535。注意它統(tǒng)計(jì)的是 UDP 層的長度不含 IP 首部。IPv4 下 UDP 載荷最大是 65535 - 8 - 20 65507 字節(jié)IPv6 下因?yàn)?UDP 長度字段可以為 0走 Jumbogram 擴(kuò)展理論上能更大但實(shí)際工程中幾乎沒人這么用。校驗(yàn)和字段 2 字節(jié)覆蓋范圍包括偽首部、UDP 首部和數(shù)據(jù)。在 IPv4 里它是可選的填 0 表示發(fā)送端不計(jì)算校驗(yàn)和接收端也不校驗(yàn)在 IPv6 里它是強(qiáng)制的填 0 是非法值。實(shí)踐中我不建議關(guān)掉它因?yàn)殛P(guān)掉之后錯(cuò)包只能靠上層協(xié)議自己發(fā)現(xiàn)而很多上層協(xié)議并沒有做這件事。提示判斷一個(gè) UDP 包是否真的到了應(yīng)用層看的是應(yīng)用有沒有recvfrom到它而不是發(fā)送端有沒有返回成功。sendto返回的字節(jié)數(shù)只代表數(shù)據(jù)進(jìn)入了本機(jī) socket 發(fā)送緩沖區(qū)和對(duì)面是否收到?jīng)]有任何關(guān)系。2.2 校驗(yàn)和為什么要把偽首部算進(jìn)去偽首部這個(gè)概念初次接觸時(shí)很反直覺——它并不在網(wǎng)絡(luò)上真實(shí)傳輸只是參與校驗(yàn)和計(jì)算時(shí)臨時(shí)拼出來的 12 字節(jié)IPv4或 40 字節(jié)IPv6結(jié)構(gòu)。IPv4 的偽首部包含源 IP、目的 IP、一個(gè)保留字節(jié)、協(xié)議號(hào)UDP 是 17和 UDP 長度IPv6 的偽首部包含 16 字節(jié)源地址、16 字節(jié)目的地址、4 字節(jié)上層報(bào)文長度、3 字節(jié)零和 1 字節(jié)下一首部值。為什么要多此一舉因?yàn)槿绻恍r?yàn) UDP 首部和數(shù)據(jù)那么一個(gè)被錯(cuò)誤路由到本機(jī)的包只要它內(nèi)部數(shù)據(jù)自洽校驗(yàn)就能通過應(yīng)用會(huì)收到一個(gè)看起來合法但不屬于自己的報(bào)文。把 IP 地址納入校驗(yàn)范圍之后地址在傳輸過程中被篡改或出錯(cuò)的情況就能被檢出。這是一個(gè)很樸素但有效的設(shè)計(jì)用上層校驗(yàn)覆蓋下層關(guān)鍵字段。計(jì)算過程本身是標(biāo)準(zhǔn)的 16 位反碼求和把偽首部、UDP 首部校驗(yàn)和字段先置 0和數(shù)據(jù)按 16 位一組切開逐組相加進(jìn)位回卷加到低位最后取反碼。有一個(gè)細(xì)節(jié)值得記住如果計(jì)算結(jié)果恰好是 0x0000發(fā)送時(shí)要寫成 0xFFFF因?yàn)槿?0 在校驗(yàn)和字段里有未計(jì)算的特殊含義兩者在反碼運(yùn)算里是等價(jià)的但語義不能混。# 手工計(jì)算 UDP 校驗(yàn)和的最小示例用于理解過程 def udp_checksum(src_ip, dst_ip, payload: bytes, src_port, dst_port): udp_len 8 len(payload) pseudo src_ip dst_ip bytes([0, 17]) udp_len.to_bytes(2, big) udp_hdr src_port.to_bytes(2, big) dst_port.to_bytes(2, big) \ udp_len.to_bytes(2, big) b\x00\x00 data pseudo udp_hdr payload if len(data) % 2: data b\x00 total 0 for i in range(0, len(data), 2): total (data[i] 8) data[i 1] total (total 0xFFFF) (total 16) total ~total 0xFFFF return total if total ! 0 else 0xFFFF實(shí)際抓包時(shí)你會(huì)看到校驗(yàn)和錯(cuò)誤的包在大部分網(wǎng)卡上會(huì)被硬件直接丟掉只有開了混雜模式或者網(wǎng)卡關(guān)閉了校驗(yàn)和卸載checksum offload才能抓到。這也是為什么用tcpdump在本機(jī)抓包看到包明明在但應(yīng)用收不到——很可能就是校驗(yàn)和有問題被丟了。排查這類問題時(shí)先看一眼/proc/net/snmp里的InCsumErrors計(jì)數(shù)比盲猜快得多。2.3 抓包對(duì)照一個(gè)1472字節(jié)的包長什么樣理解協(xié)議最快的方式還是看真實(shí)報(bào)文。以太網(wǎng) MTU 是 1500 字節(jié)扣掉 20 字節(jié) IPv4 首部和 8 字節(jié) UDP 首部UDP 載荷上限就是 1472 字節(jié)。這個(gè)數(shù)字在工程中出現(xiàn)頻率極高很多采集類系統(tǒng)就是按 1472 來切包目的就是讓每個(gè) UDP 報(bào)文塞進(jìn)一個(gè)以太網(wǎng)幀避免 IP 分片。下面是一個(gè)典型的 1472 字節(jié)載荷的 UDP 報(bào)文在tcpdump里的樣子十六進(jìn)制部分略去數(shù)據(jù)區(qū)IP 10.0.0.12.54321 10.0.0.34.9000: UDP, length 1472 0x0000: 4500 05dc 1a2b 4000 4011 8f3c 0a00 000c 0x0010: 0a00 0022 d431 2328 05dc 1a2e逐段讀4500是 IPv4 版本 4 加首部長度 55×420 字節(jié)05dc是總長度 15001a2b是標(biāo)識(shí)4000里高 3 位是標(biāo)志DF 位置 1表示不分片4011里40是 TTL 6411是協(xié)議號(hào) 17 也就是 UDP后面是首部校驗(yàn)和與源目 IP。再往后d431是源端口 543212328是目的端口 900005dc是 UDP 長度 15001a2e是校驗(yàn)和。從這個(gè)報(bào)文能讀出兩件事第一UDP 長度字段填的是 1500包含了 8 字節(jié)首部所以載荷是 1492不對(duì)這里我做個(gè)小修正——如果 UDP 長度是 1500那 IP 總長度應(yīng)該是 1520但以太網(wǎng) MTU 只有 1500所以這個(gè)包必然分片。真正不分片的情況下UDP 長度字段應(yīng)該是 14801472 載荷 8 首部IP 總長度 1500。第二DF標(biāo)志位一旦置 1任何加上了首部之后超過 MTU 的包都會(huì)被中間設(shè)備丟棄并回一個(gè) ICMP 需要分片的消息這反而是件好事——它讓問題暴露出來而不是被悄悄分片。3. 無連接不等于無責(zé)任把可靠性補(bǔ)在上層還是在中間件3.1 可靠UDP的四種典型補(bǔ)全路線既然 UDP 不保證送達(dá)那保證送達(dá)這件事就得有人做。業(yè)界大致有四條路線選哪條取決于你的業(yè)務(wù)邊界和對(duì)可控性的要求。第一條是自己寫最小可靠層。核心就三件事給每個(gè)報(bào)文加序號(hào)、接收端回確認(rèn)、發(fā)送端維護(hù)重傳隊(duì)列。聽起來簡單但一旦要考慮亂序、去重、窗口、超時(shí)估算代碼量就會(huì)迅速膨脹到幾千行而且?guī)缀醣厝粫?huì)漏掉某個(gè)邊界條件。我只建議在報(bào)文語義非常簡單、丟包容忍度較高的場景下自己寫比如局域網(wǎng)內(nèi)的控制指令通道。第二條是在 UDP 之上套一層成熟的可靠傳輸協(xié)議。QUIC 是最典型的代表它在 UDP 之上重建了可靠流、擁塞控制、多路復(fù)用還順帶把 TLS 1.3 集成進(jìn)來解決了隊(duì)頭阻塞問題。如果你的場景是需要一個(gè)比 TCP 更快的可靠傳輸QUIC 基本是首選不用自己造。KCP 是另一個(gè)選擇它用犧牲部分帶寬換取更低延遲的策略在同等的丟包率下延遲表現(xiàn)通常優(yōu)于 TCP代價(jià)是流量放大約 10%~20%。第三條是用 RTP/RTCP 這類面向媒體的協(xié)議棧。它們不強(qiáng)求每個(gè)包都到而是通過序列號(hào)、時(shí)間戳和接收端報(bào)告來做丟包隱藏、抖動(dòng)緩沖和碼率自適應(yīng)。做音視頻的話這條路是標(biāo)準(zhǔn)答案。第四條是在應(yīng)用層做冪等加補(bǔ)償。傳輸層索性不保證業(yè)務(wù)層通過消息 ID 去重、定時(shí)對(duì)賬、定期全量同步來兜底。這條路線對(duì)基礎(chǔ)設(shè)施改動(dòng)最小適合內(nèi)部系統(tǒng)之間的數(shù)據(jù)上報(bào)。路線典型方案適用場景主要代價(jià)自研最小可靠層序號(hào) ACK 重傳隊(duì)列語義簡單的控制通道邊界條件多維護(hù)成本高成熟可靠傳輸協(xié)議QUIC、KCP需要可靠且低延遲的數(shù)據(jù)流需要引入額外依賴或改造接入層媒體協(xié)議棧RTP/RTCP、SRTP音視頻、實(shí)時(shí)流需要配套的抖動(dòng)緩沖與擁塞控制應(yīng)用層冪等補(bǔ)償消息 ID 去重 對(duì)賬內(nèi)部數(shù)據(jù)上報(bào)、日志采集有延遲需要業(yè)務(wù)側(cè)配合3.2 重傳、序號(hào)與擁塞控制的最小實(shí)現(xiàn)骨架如果你確實(shí)要自己寫一層那么有幾個(gè)設(shè)計(jì)決策必須先定下來它們是后續(xù)所有問題的根源。序號(hào)怎么編。單調(diào)遞增的 32 位或 64 位整數(shù)是最常見的做法回繞問題一定要提前想清楚比較大小的時(shí)候用差值而不是直接比大小。另一種是包序號(hào)加時(shí)間戳的組合好處是能同時(shí)支撐亂序重組和 RTT 估算。ACK 怎么回。逐包 ACK 在包量大時(shí)會(huì)把上行帶寬吃光通常用累積 ACK 加選擇性 ACK 的組合告訴對(duì)端我連續(xù)收到了到 N 為止的所有包另外還額外收到了這幾個(gè)。ACK 本身也要做聚合比如每收到 2 個(gè)包或者每 10ms 回一次。重傳超時(shí)怎么定。固定超時(shí)是最簡單也最容易出問題的做法。稍微認(rèn)真一點(diǎn)的做法是維護(hù) RTT 的平滑值和方差超時(shí)時(shí)間取平滑 RTT 加上若干倍方差同時(shí)設(shè)一個(gè)下限比如 50ms避免在低延遲鏈路上因?yàn)槎秳?dòng)觸發(fā)大量無謂重傳。擁塞控制要不要做。這一條最容易被省略也是自研可靠層在生產(chǎn)環(huán)境翻車的主要原因。沒有擁塞控制一旦鏈路出現(xiàn)丟包發(fā)送端還在全速發(fā)只會(huì)讓丟包率進(jìn)一步上升最終整條鏈路退化到幾乎不可用。哪怕只做一個(gè)最簡單的版本——丟包時(shí)把發(fā)送速率減半一段時(shí)間無丟包再線性增長——也比完全沒有強(qiáng)得多。# 極簡的 RTT 估算與重傳超時(shí)計(jì)算只演示思路 class RttEstimator: def __init__(self): self.srtt None # 平滑 RTT self.rttvar None # RTT 方差 self.min_rto 0.05 # 50ms 下限 def update(self, sample): if self.srtt is None: self.srtt sample self.rttvar sample / 2 else: self.rttvar 0.75 * self.rttvar 0.25 * abs(self.srtt - sample) self.srtt 0.875 * self.srtt 0.125 * sample def rto(self): if self.srtt is None: return 0.2 return max(self.min_rto, self.srtt 4 * self.rttvar)3.3 別自己造輪子什么情況下該直接上成熟方案有個(gè)很實(shí)用的判斷原則如果你的可靠層需要處理連接遷移多路復(fù)用加密握手路徑 MTU 發(fā)現(xiàn)中的任意兩項(xiàng)以上就別自己寫了。這四件事每一項(xiàng)單獨(dú)做都不算難但組合起來的復(fù)雜度是指數(shù)級(jí)上升的而且出問題的時(shí)候極難復(fù)現(xiàn)。QUIC 已經(jīng)把這些都做完了而且有成熟的開源實(shí)現(xiàn)可以直接嵌入語言覆蓋也夠全。真正適合自研的場景通常是協(xié)議語義極簡比如只有固定 32 字節(jié)的狀態(tài)包、運(yùn)行環(huán)境受限嵌入式設(shè)備內(nèi)存只有幾十 KB、或者需要和已有協(xié)議做深度耦合比如自定義的私有協(xié)議棧已經(jīng)有大量存量設(shè)備。還有一種情況值得單獨(dú)提只是想在局域網(wǎng)內(nèi)做高可靠傳輸。局域網(wǎng)丟包率極低鏈路 RTT 通常小于 1ms這種情況下可靠的實(shí)現(xiàn)難度會(huì)大幅下降簡單的序號(hào)加超時(shí)重傳就夠用不需要復(fù)雜的擁塞控制。但要注意一旦這套東西要跨公網(wǎng)前面的假設(shè)就全部失效了。4. 緩沖區(qū)、MTU與IO模型UDP工程化的三個(gè)硬約束4.1 接收緩沖區(qū)溢出UDP丟包最常見的一號(hào)元兇回到開頭那個(gè) 5% 丟包的故事根因就是接收緩沖區(qū)。這里把機(jī)制講透。每個(gè) UDP socket 在內(nèi)核里有一塊接收緩沖區(qū)大小由net.core.rmem_default決定可以用SO_RCVBUF調(diào)整。數(shù)據(jù)到達(dá)網(wǎng)卡之后經(jīng)過驅(qū)動(dòng)、協(xié)議棧最終掛到這個(gè) socket 的接收隊(duì)列上。應(yīng)用調(diào)用recvfrom時(shí)從隊(duì)列里取走一個(gè)數(shù)據(jù)報(bào)。如果隊(duì)列滿了新到的包直接被丟棄不通知發(fā)送端也不通知接收端最多在/proc/net/snmp的RcvbufErrors計(jì)數(shù)上加一。這意味著兩件事。第一UDP 的丟包在緩沖區(qū)這一層是靜默的只能靠計(jì)數(shù)器事后發(fā)現(xiàn)。第二能不能扛住突發(fā)流量取決于緩沖區(qū)能裝下多少個(gè)包。舉個(gè)具體的數(shù)假設(shè)單個(gè)報(bào)文 1200 字節(jié)緩沖區(qū)設(shè)為 2MB那么大約能緩存的報(bào)文數(shù)是 2097152 / 1200 ≈ 1747 個(gè)扣除內(nèi)核的結(jié)構(gòu)體開銷實(shí)際更少。如果應(yīng)用處理能力是每秒 5 萬包那么 2MB 緩沖區(qū)只能吸收約 35ms 的處理停頓。一旦發(fā)生一次 100ms 的 GC 或者磁盤抖動(dòng)溢出就是必然的。所以調(diào)緩沖區(qū)之前先算清楚兩個(gè)數(shù)峰值收包速率和最長處理停頓時(shí)間兩者相乘就是最低需要的緩沖字節(jié)數(shù)再乘個(gè) 1.5 的安全系數(shù)。# 查看當(dāng)前系統(tǒng)的 UDP 相關(guān)統(tǒng)計(jì)重點(diǎn)看 RcvbufErrors netstat -su | grep -A 10 ^Udp: # 或者直接讀 proc cat /proc/net/snmp | grep ^Udp: # 查看內(nèi)核緩沖區(qū)上限 sysctl net.core.rmem_default net.core.rmem_max sysctl net.core.netdev_max_backlog # tcpdump 之外用 ss 看接收隊(duì)列積壓情況 ss -u -a -n -i調(diào)優(yōu)的時(shí)候有幾個(gè)容易踩的坑。第一個(gè)是SO_RCVBUF設(shè)置的值會(huì)被內(nèi)核翻倍用于內(nèi)部簿記開銷所以設(shè)置 4MB 實(shí)際得到 8MB反過來說如果你讀回來是 8MB 不要驚訝。第二個(gè)是設(shè)置值受net.core.rmem_max限制超過部分會(huì)被靜默截?cái)嗨员仨毾劝?sysctl 調(diào)大。第三個(gè)是netdev_max_backlog這個(gè)參數(shù)管的是網(wǎng)卡到協(xié)議棧之間的隊(duì)列很多人在收包瓶頸時(shí)只調(diào)了 socket 緩沖區(qū)忘了這一層也會(huì)丟包現(xiàn)象是RcvbufErrors不漲但包就是少了。注意一味把緩沖區(qū)調(diào)大并不是好事。緩沖區(qū)越大應(yīng)用處理不過來時(shí)積壓的包越多而這些包往往已經(jīng)過時(shí)處理它們只是浪費(fèi) CPU還會(huì)掩蓋真實(shí)的問題。合理的做法是調(diào)到能吸收正常的抖動(dòng)就夠了然后通過監(jiān)控RcvbufErrors來持續(xù)觀察。4.2 MTU與IP分片1472這個(gè)數(shù)字的來歷和它的陷阱前面提到 1500 減去 20 減 8 得到 1472這是 IPv4 下的經(jīng)典值。IPv6 的首部是 40 字節(jié)所以對(duì)應(yīng)的值是 1500 - 40 - 8 1452。除此之外還有幾層封裝會(huì)繼續(xù)吃掉空間PPPoE 要扣 8 字節(jié)VXLAN 要扣 50 字節(jié)GRE 要扣 24 字節(jié)IPsec 隧道也要扣掉幾十字節(jié)。這就是為什么在云上或者跨專線的環(huán)境里按 1472 發(fā)包很可能直接被丟。分片的機(jī)制是這樣的如果 IP 層的包超過了出接口 MTU且沒有設(shè)置 DF 標(biāo)志IP 層會(huì)把它切成多個(gè)分片分別發(fā)送接收端根據(jù) IP 首部的標(biāo)識(shí)、偏移和 MF 標(biāo)志重組。問題在于只要任何一個(gè)分片丟失整個(gè)原始數(shù)據(jù)報(bào)就作廢接收端無法交付半個(gè) UDP 報(bào)文。而且重組需要占用接收端的內(nèi)存緩沖區(qū)還有超時(shí)限制。在丟包率 1% 的鏈路上發(fā)一個(gè) 8000 字節(jié)的包需要切成 6 個(gè)分片只要其中一個(gè)丟了整包重傳實(shí)際有效丟包率會(huì)放大到接近 6%。所以工程上的原則很明確盡量不讓 UDP 報(bào)文觸發(fā) IP 分片。具體做法有幾個(gè)層次一是把應(yīng)用層的報(bào)文大小控制在 1200 字節(jié)左右。這個(gè)數(shù)字不是隨便定的QUIC 選它是因?yàn)?IPv6 的最小 MTU 要求是 1280減去 40 字節(jié) IPv6 首部和 8 字節(jié) UDP 首部正好剩 1232再留一點(diǎn)余量給隧道封裝。按 1200 來切包走絕大多數(shù)網(wǎng)絡(luò)都不會(huì)分片。二是開啟路徑 MTU 發(fā)現(xiàn)PMTUD也就是設(shè)置IP_MTU_DISCOVER為IP_PMTUDISC_DO讓內(nèi)核在包超過 MTU 時(shí)返回EMSGSIZE而不是默默分片。這樣問題會(huì)在發(fā)送端立刻暴露而不是變成對(duì)端的神秘丟包。但 PMTUD 依賴 ICMP 反饋而很多網(wǎng)絡(luò)會(huì)屏蔽 ICMP所以實(shí)踐中通常還會(huì)配一個(gè)保守的兜底值。三是如果真的需要傳大塊數(shù)據(jù)在應(yīng)用層做分片和重組自己維護(hù)分片序號(hào)和超時(shí)丟棄而不是依賴 IP 層。import socket sock socket.socket(socket.AF_INET, socket.SOCK_DGRAM) # 禁止 IP 層分片超過 MTU 直接報(bào) EMSGSIZE sock.setsockopt(socket.IPPROTO_IP, socket.IP_MTU_DISCOVER, socket.IP_PMTUDISC_DO) # 設(shè)置發(fā)送與接收緩沖區(qū) sock.setsockopt(socket.SOL_SOCKET, socket.SO_RCVBUF, 4 * 1024 * 1024) sock.setsockopt(socket.SOL_SOCKET, socket.SO_SNDBUF, 1 * 1024 * 1024) try: sock.sendto(bx * 2000, (10.0.0.34, 9000)) except OSError as e: # 在開啟了 PMTUD 的情況下超長報(bào)文會(huì)拋 EMSGSIZE print(send failed:, e)4.3 單socket還是多socket并發(fā)收包的幾種組織方式UDP 是無連接的一個(gè) socket 天然就能處理來自任意客戶端的報(bào)文所以最直觀的寫法是單線程recvfrom加業(yè)務(wù)分發(fā)。這種寫法在低流量下完全夠用但流量一大就會(huì)遇到兩個(gè)問題單核打滿以及前面提到的緩沖區(qū)溢出。往下走有幾條路各有利弊。多線程共享同一個(gè) socket。多個(gè)線程同時(shí)recvfrom內(nèi)核會(huì)加鎖串行化實(shí)際吞吐提升有限而且在高并發(fā)下鎖競爭反而會(huì)拖慢。這條路我不太推薦除非線程數(shù)很少。多進(jìn)程綁同一個(gè)端口加SO_REUSEPORT。內(nèi)核會(huì)按四元組哈希把報(bào)文分發(fā)到不同的 socket每個(gè)進(jìn)程各自處理互不干擾。這是目前 Linux 上最實(shí)用的方案擴(kuò)展性好進(jìn)程掛掉一個(gè)也只影響一部分流量。缺點(diǎn)是哈希固定某個(gè)熱點(diǎn)客戶端可能一直落在同一個(gè)進(jìn)程上需要靠增加分片數(shù)來攤平。另外要注意SO_REUSEPORT的負(fù)載均衡是按流做的對(duì)于 UDP 來說流就是四元組所以同一對(duì) IP 端口之間的所有報(bào)文會(huì)固定落到同一個(gè) socket。單線程加epoll加批量收取。recvmmsg一次系統(tǒng)調(diào)用可以收多個(gè)數(shù)據(jù)報(bào)能顯著降低系統(tǒng)調(diào)用開銷。在 10 萬 pps 這個(gè)量級(jí)批量收取帶來的提升是肉眼可見的。配合sendmmsg批量發(fā)送單核處理能力可以再上一個(gè)臺(tái)階。內(nèi)核旁路方案。當(dāng)單機(jī)需要處理百萬級(jí) pps 時(shí)常規(guī)協(xié)議棧的開銷就成了瓶頸這時(shí)候會(huì)考慮 DPDK、AF_XDP 這類方案把網(wǎng)卡數(shù)據(jù)直接搬到用戶態(tài)。代價(jià)是復(fù)雜度陡增需要獨(dú)占網(wǎng)卡、自己做協(xié)議棧運(yùn)維和調(diào)試成本都很高。除非確實(shí)撞到了性能墻否則我不建議走這條路。方案適用規(guī)模優(yōu)點(diǎn)主要限制單線程 recvfrom萬 pps 以下實(shí)現(xiàn)最簡單單核上限無冗余多線程共享 socket萬級(jí) pps改動(dòng)小鎖競爭擴(kuò)展性差多進(jìn)程 SO_REUSEPORT十萬級(jí) pps水平擴(kuò)展容錯(cuò)好哈希傾斜需調(diào)分片數(shù)recvmmsg 批量收發(fā)十萬級(jí) pps系統(tǒng)調(diào)用開銷低需要處理批量語義AF_XDP / DPDK百萬級(jí) pps極致性能復(fù)雜度高運(yùn)維成本大5. 廣播、組播與穿透邊界UDP的拓?fù)淠芰εc限制5.1 單播之外的三種尋址方式TCP 只能一對(duì)一這是它的設(shè)計(jì)前提。UDP 支持三種額外的尋址方式這是它在某些場景下不可替代的根本原因。廣播發(fā)往本地網(wǎng)段內(nèi)的所有主機(jī)。IPv4 里有受限廣播地址 255.255.255.255 和子網(wǎng)廣播地址比如 192.168.1.255。使用前必須在 socket 上設(shè)置SO_BROADCAST選項(xiàng)否則會(huì)返回權(quán)限錯(cuò)誤。廣播的局限很明顯不跨路由器只在本地網(wǎng)段有效而且所有主機(jī)都要消耗資源處理這個(gè)包網(wǎng)段里設(shè)備一多就會(huì)造成明顯的廣播風(fēng)暴。組播是更精細(xì)的方案發(fā)送方把包發(fā)到一個(gè)組播地址只有加入了該組的主機(jī)才會(huì)收到。IPv4 的組播地址范圍是 224.0.0.0/4其中 224.0.0.0/24 是本地鏈路保留段像 mDNS 用的 224.0.0.251、SSDP 用的 239.255.255.250 都屬于約定俗成的固定地址。使用組播需要加入組IP_ADD_MEMBERSHIP并關(guān)注 TTL 設(shè)置——組播包的 TTL 決定了它能跨多少個(gè)路由器默認(rèn)值 1 意味著只在本地網(wǎng)段生效。任播在 UDP 層面沒有專門的支持它是靠路由層面把同一個(gè)地址宣告到多個(gè)位置來實(shí)現(xiàn)的客戶端看起來是在單播實(shí)際被路由到了最近的一個(gè)節(jié)點(diǎn)。很多公共 DNS 服務(wù)用的就是這套機(jī)制。import socket, struct # 加入組播組并接收 sock socket.socket(socket.AF_INET, socket.SOCK_DGRAM, socket.IPPROTO_UDP) sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) sock.bind((, 5353)) mreq struct.pack(4s4s, socket.inet_aton(224.0.0.251), socket.inet_aton(0.0.0.0)) sock.setsockopt(socket.IPPROTO_IP, socket.IP_ADD_MEMBERSHIP, mreq) while True: data, addr sock.recvfrom(2048) print(addr, len(data))實(shí)踐中組播最大的坑在于中間網(wǎng)絡(luò)設(shè)備對(duì)組播的支持程度參差不齊。交換機(jī)需要開啟 IGMP snooping 才能避免把組播泛洪成廣播路由器需要配置 PIM 才能跨網(wǎng)段轉(zhuǎn)發(fā)云環(huán)境里組播往往直接被禁用。所以組播方案在落地前一定要先在目標(biāo)網(wǎng)絡(luò)環(huán)境里做連通性驗(yàn)證不能想當(dāng)然。5.2 NAT與連接跟蹤UDP會(huì)話為什么放著放著就斷了UDP 本身沒有連接概念但中間設(shè)備為了做地址轉(zhuǎn)換和狀態(tài)過濾會(huì)給它維護(hù)一份會(huì)話表。這份表的條目是有超時(shí)時(shí)間的一旦超時(shí)表項(xiàng)被刪除后續(xù)的包就會(huì)被丟棄或者拒絕。不同設(shè)備的默認(rèn)超時(shí)差異很大。常見的家用路由器和運(yùn)營商級(jí) NAT 上UDP 會(huì)話的空閑超時(shí)可能在 30 秒到 5 分鐘之間。這意味著如果一個(gè) UDP 會(huì)話超過這個(gè)時(shí)間沒有任何報(bào)文往來通道就會(huì)被回收。表現(xiàn)出來就是客戶端和服務(wù)端都覺得自己還活著但包發(fā)不過去了。解決辦法很直接——?;?。定期發(fā)一個(gè)小的探測包讓中間設(shè)備的狀態(tài)表保持活躍。間隔要比最短的超時(shí)時(shí)間更短實(shí)踐中常用 15 到 25 秒。但?;畋旧硪灿写鷥r(jià)移動(dòng)端上頻繁喚醒無線網(wǎng)卡會(huì)顯著增加耗電所以在移動(dòng)場景里需要配合應(yīng)用層的前后臺(tái)狀態(tài)來動(dòng)態(tài)調(diào)整。還有一種更隱蔽的情況NAT 設(shè)備重啟或者表項(xiàng)被提前回收但客戶端仍然按原來的映射發(fā)數(shù)據(jù)這時(shí)候包會(huì)被丟棄而服務(wù)端完全不知道。所以客戶端必須有一個(gè)長時(shí)間收不到響應(yīng)就重建會(huì)話的機(jī)制不能假設(shè)通道一直有效。提示Linux 上的nf_conntrack_udp_timeout和nf_conntrack_udp_timeout_stream兩個(gè)參數(shù)控制 UDP 連接跟蹤的超時(shí)前者用于沒有回包的會(huì)話默認(rèn) 30 秒后者用于雙向都有流量的會(huì)話默認(rèn) 120 秒。做網(wǎng)關(guān)或代理類服務(wù)時(shí)這兩個(gè)值往往要調(diào)大。5.3 反射放大風(fēng)險(xiǎn)與必須做的收口UDP 有一個(gè)天然的安全弱點(diǎn)源地址可以偽造。因?yàn)椴恍枰帐止粽呖梢詡卧焓芎φ叩?IP 向服務(wù)發(fā)送請(qǐng)求服務(wù)把響應(yīng)發(fā)給了受害者。如果請(qǐng)求很小而響應(yīng)很大就形成了放大效應(yīng)。DNS、NTP、SSDP 這些基于 UDP 的服務(wù)歷史上都因?yàn)檫@個(gè)問題被濫用過。作為服務(wù)提供方該做的事情很明確而且都是常規(guī)工程手段對(duì)無認(rèn)證的請(qǐng)求做響應(yīng)大小限制。如果協(xié)議允許把響應(yīng)控制在請(qǐng)求大小的一定倍數(shù)以內(nèi)最理想的是不超過請(qǐng)求本身的大小。對(duì)來源做速率限制和異常檢測。同一來源在短時(shí)間內(nèi)發(fā)送大量請(qǐng)求時(shí)降低響應(yīng)優(yōu)先級(jí)或者直接丟棄。注意這里要小心誤傷NAT 后面的合法用戶共享一個(gè)出口 IP限速閾值要留足余量。能加認(rèn)證就加認(rèn)證。哪怕是最簡單的 cookie 機(jī)制也能讓偽造源地址的攻擊者收不到有效響應(yīng)因?yàn)榈诙€(gè)包需要帶上第一個(gè)包里的隨機(jī)值。別暴露不必要的服務(wù)。開放的調(diào)試接口、狀態(tài)查詢接口如果響應(yīng)很大又不需要認(rèn)證就是最理想的放大工具。這類接口應(yīng)該只監(jiān)聽內(nèi)網(wǎng)地址或者干脆默認(rèn)關(guān)閉。做入口流量清洗。對(duì)于規(guī)模較大的服務(wù)上游的流量清洗是兜底手段但這是最后一道防線不能替代前面的收口。6. 選型決策與壓測把UDP用在正確的地方6.1 一張對(duì)照表什么時(shí)候選UDP什么時(shí)候老實(shí)回TCP做了這么多年前后端我發(fā)現(xiàn)選型失誤的根源往往不是技術(shù)能力不夠而是問題定義不清楚。下面這張表是我自己常用的判斷依據(jù)按場景歸類。場景特征推薦選擇理由音視頻通話、直播推流UDPRTP/WebRTC丟包可隱藏重傳無意義實(shí)時(shí)游戲狀態(tài)同步UDP狀態(tài)有時(shí)效性舊包無用高頻行情推送UDP 組播優(yōu)先一對(duì)多延遲敏感局域網(wǎng)設(shè)備發(fā)現(xiàn)UDP 廣播/組播TCP 不支持一對(duì)多大文件傳輸TCP 或 QUIC需要可靠且有序支付、訂單類業(yè)務(wù)TCP不允許丟消息語義強(qiáng)依賴順序內(nèi)部服務(wù)間 RPCTCP 或 QUIC生態(tài)成熟調(diào)試工具全指標(biāo)采集、日志上報(bào)UDP 加應(yīng)用層補(bǔ)償量大允許少量丟失跨公網(wǎng)的穩(wěn)定長連接QUIC基于 UDP兼顧低延遲與可靠性有個(gè)判斷技巧值得分享問自己如果這條消息丟了業(yè)務(wù)能不能自己發(fā)現(xiàn)并補(bǔ)救。如果能UDP 是可以考慮的如果不能而且補(bǔ)救成本很高那還是老實(shí)上可靠傳輸。很多團(tuán)隊(duì)選 UDP 是覺得性能好但實(shí)際瓶頸根本不在傳輸層換過去之后性能沒提升多少可靠性問題倒是接二連三。6.2 壓測怎么做才有意義指標(biāo)、工具與觀測點(diǎn)UDP 的壓測和 TCP 差別很大因?yàn)榘l(fā)送端收不到任何反饋很容易測出發(fā)送 100 萬包全部成功這種毫無意義的結(jié)論。有效的壓測必須同時(shí)在發(fā)送端和接收端埋點(diǎn)然后對(duì)賬。發(fā)送端要記錄的是應(yīng)用層調(diào)用sendto的次數(shù)、成功次數(shù)、失敗次數(shù)區(qū)分EAGAIN、EMSGSIZE、ENOBUFS等錯(cuò)誤碼、實(shí)際發(fā)出的字節(jié)數(shù)。接收端要記錄的是recvfrom收到的包數(shù)、字節(jié)數(shù)、丟包數(shù)發(fā)送數(shù)減接收數(shù)、亂序數(shù)、重復(fù)數(shù)、端到端延遲分布。工具方面iperf3的 UDP 模式可以做基礎(chǔ)帶寬測試但它只能告訴你吞吐和丟包率測不出應(yīng)用層的處理能力。真正壓業(yè)務(wù)邏輯還得自己寫客戶端或者用現(xiàn)成的壓測框架。我通常會(huì)用一個(gè)小腳本做發(fā)包接收端跑真實(shí)服務(wù)并暴露 Prometheus 指標(biāo)這樣能得到最貼近生產(chǎn)的結(jié)論。觀測點(diǎn)上除了應(yīng)用層指標(biāo)一定要看這幾個(gè)內(nèi)核計(jì)數(shù)器# UDP 層統(tǒng)計(jì)重點(diǎn)是 InErrors / RcvbufErrors / SndbufErrors / InCsumErrors cat /proc/net/snmp | grep ^Udp: # 網(wǎng)卡層丟棄看 drop 和 fifo 兩列 ip -s link show eth0 # socket 隊(duì)列積壓 ss -u -a -n -i | head -20 # 中斷分布如果集中在單個(gè)核上說明需要開 RSS 或者調(diào)整親和性 cat /proc/interrupts | grep eth0壓測的節(jié)奏也要注意。不要一上來就打滿應(yīng)該從小到大分幾檔每一檔穩(wěn)定跑夠時(shí)間至少 60 秒讓緩沖區(qū)進(jìn)入穩(wěn)態(tài)觀察各項(xiàng)指標(biāo)隨流量增長的變化曲線。如果丟包率在某個(gè)流量點(diǎn)突然從 0 跳到明顯的百分比那個(gè)點(diǎn)就是系統(tǒng)的實(shí)際容量上限比理論計(jì)算值靠譜得多。6.3 上線前的檢查清單按我自己的習(xí)慣UDP 服務(wù)上線前會(huì)過一遍下面這些項(xiàng)每一條都對(duì)應(yīng)過真實(shí)的故障。報(bào)文大小是否控制在 1200 字節(jié)以內(nèi)有沒有針對(duì)隧道封裝的余量。曾經(jīng)有個(gè)服務(wù)在測試環(huán)境跑得好好的上了生產(chǎn)走了 VXLAN 隧道1500 的包全部被丟因?yàn)樗淼婪庋b后又多了 50 字節(jié)。緩沖區(qū)是否按峰值速率和最長停頓算過rmem_max和netdev_max_backlog是否同步調(diào)過。這兩個(gè)不一起調(diào)光調(diào)前者沒用。?;顧C(jī)制是否存在間隔是否短于目標(biāo)網(wǎng)絡(luò)的最短 NAT 超時(shí)??邕\(yùn)營商、跨云廠商的鏈路超時(shí)值差異會(huì)很大。錯(cuò)誤處理是否覆蓋了EAGAIN、EMSGSIZE、ECONNREFUSED。特別是ECONNREFUSED在對(duì)端沒監(jiān)聽的時(shí)候如果 socket 調(diào)過connectrecvfrom會(huì)收到這個(gè)錯(cuò)誤很多人沒處理導(dǎo)致進(jìn)程直接崩掉。監(jiān)控是否覆蓋了接收側(cè)丟包、緩沖區(qū)溢出、校驗(yàn)和錯(cuò)誤、亂序和重復(fù)。只在發(fā)送端埋點(diǎn)是不夠的發(fā)送端的成功什么都不能說明。限速與收口是否做了特別是響應(yīng)大小和來源速率。這一條經(jīng)常被當(dāng)成以后再說然后就沒有以后了。容量驗(yàn)證是否在真實(shí)網(wǎng)絡(luò)拓?fù)渖献鲞^而不是只在同機(jī)房的低延遲環(huán)境里跑。同機(jī)房 RTT 小于 0.5ms跨公網(wǎng)可能 30ms 以上緩沖區(qū)需求差了幾十倍。回退方案是否準(zhǔn)備好。UDP 服務(wù)出問題時(shí)能不能快速切回 TCP 或者降級(jí)到低頻上報(bào)這個(gè)開關(guān)要提前做好。最后分享一個(gè)我自己踩過的坑。有次排查一個(gè)偶發(fā)的丟包問題各種計(jì)數(shù)器都正常緩沖區(qū)沒溢出網(wǎng)卡沒丟包鏈路也沒問題最后發(fā)現(xiàn)是應(yīng)用層的線程池隊(duì)列滿了任務(wù)被靜默丟棄但日志里只記了處理成功——因?yàn)閬G棄發(fā)生在一個(gè)try/except的寬泛捕獲里。這件事之后我改了一個(gè)習(xí)慣凡是可能靜默丟棄數(shù)據(jù)的地方無論在哪一層都必須有一個(gè)計(jì)數(shù)器哪怕只是一個(gè)內(nèi)存里的累加值定期打到日志里。UDP 這套架構(gòu)最大的特點(diǎn)就是沒有反饋你必須自己造出反饋來否則排查問題的時(shí)候只能靠猜而猜出來的結(jié)論往往離真相很遠(yuǎn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91人人爽久久涩噜噜噜| 国产精品国产| 欧美综合在线五月天色婷婷| 婷婷五月天伊人在线| 懂色av蜜臀av粉嫩av永陈冠希| 成人国产欧美大片一区| 婷婷精品视频| 丁香五月日韩| 激情五月天婷婷| www色中色综合| 色五月天天在线观看资源站| 婷婷五月激情网| 丁香六月av| 99性爱视频| 色综合com| 丁香六月天婷婷开心综合| 婷丁香久综合| 看婷婷五月天网| 亚洲AV无码成人精品区电影网| 不卡在线中文字幕无| www99热| 综合网五月| 精品人妻久久久久久久| 六月丁丁香| 性爱久久| 99在线视频观看| 色综合色色| 久久只有18视频| 色色色热| 五月丁香久久| 九九操操| 老司机伊人| 26uuuavcom| 热婷婷久| 丁香花社区av| 婷婷91| 久久久久97| 9999热在线免费观看| 伊人久久大香线蕉av一区| 成人久久天天x资源站| 99热中文字幕久久| 五月婷婷色综图片| 色五月色五天色情网| 久热这里只精品| 九九色婷| 丁香五月停停av| 精品香蕉99久久久久网站| 人妻精品一区二区三区| 在线观看中文字幕| 婷婷激情五月综合| 婷婷久久五月| 天天射天天干天插色综合| 欧美日韩五月婷婷| 激情五月天的婷婷| 激情五月天的婷婷| 91色综合网| 久久九九99桃花视频| 色99超碰| 丁香色影院| Av中文在线| 超碰九热| 葵花AV在线| 人妻在线观看视频| 免费观看日韩成人av| www.五月天| 五月天丁香| 99亚洲精品视频| 久热综合| 色色色色色色网站| 伊人五月综合网| 一起草性爱不卡视频| 亚洲九区| 俺去也综合| 99re思思久久| 五月大香蕉| 91狠狠综合久久久久久| 国产乱妇无乱码大黄AA片| 香蕉久久av一区二区三区| 天天日天天爽| 久久精品99国产精品日本| 丁香五月天激情视频| 欧美综合激情丁香五月六月婷| 91成人性爱视频| 九九热99热| 天天色亚洲| 日本婷色| 思思99久久| 日本高清久| 色五月琪琪| 任你爽视频| 思思热精品在线视频| 五月婷婷之综合激情| 精品人妻伦一二三区久| 欧美私人家庭影院| 99视频这里有精品免费观看| 91狠狠综合网| 久久香蕉网| 99久久久国产大片| 中文不卡一二三区| 另类激情网| 五月丁香中文字幕| 色吧婷婷| 91色色色| 国产99久久久国产精品免费看| 无码少妇高潮喷水A片免费| 热思思九九| 国产免费一区二区三州老师F1……| 日韩aⅴ视频| 无码一级片| 日本人人草草| 五月丁香综合啪啪| 吊色AV男人的天堂| 激情综合网五月在线播放| 五月天伊人av| 激情五月天开心网丁香无码| 亚洲成人va| 激情六月综合| 色色婷婷丁香五月天| 久久多色| 性做久久久久久久免费看| 黄色中文字目| 91疯狂操操操操| 色色激情网| 丁香五月婷婷五月天在线| 天天色一道本综合婷婷| 五月激情久久综合网| 九色啦蜜臀| 丁香六月啪啪啪| 婷婷五月天精品| 成人精品视频99在线观看免费| www九九免费视频| 日本偷拍九九九| 4399高清无码视频| 99色综合网| 欧美成人网婷婷综合在线| 婷婷亚洲色| www.婷婷| 免费黄色片子| 大香蕉在九| 热婷婷在线视频| 97视频91| 激情九九六月激情免费视频| 97丁香婷婷| 99色啊| www.亭亭五月天| WWW.桔色成人.COM| 天天干天天爽| 蜜桃婷婷狠狠久久综合| 99er这里只有精品| 亚洲色色香蕉| 色婷婷狠狠| 久久久天堂国产精品女人| 超碰成人黄色网| 久久精品天| 狠狠干狠狠色| 久久久久久五月天| 99色在线视频| 操精品9| 啪啪婷婷五月天激情| 国产激情综合五月| 欧美黄色AA片哗啦啦啦| 婷婷五月天AV| 国模狼狼| 五月丁香激情综合网| 五月婷婷网久久| 综合网亚洲| 亚洲午夜av| 亚洲熟妇AV乱码在线观看| 综合婷| 4399成人黄A片| 99秘 在线| 色综合久久88色综合天天99| 天天日天天舔| 五月天婷婷Av| 婷婷五月大| 五月婷婷视频ab| 2017狠狠干| 8090在线影视少妇| 久久精彩视频| 森林影视大全,最好看的2019年视频 | 色丁香久久| 伊人春天av| 日本va视频| 99色天堂| 丁香五月婷婷高清| 欧美性爱五月天| 在线五月婷婷小电影| 国产色丁香| www.婷婷五月天,com| 欧洲亚洲欧洲99久久| 婷婷成人五月天成人文学| 六月丁香网| 国内久久婷婷| 六月丁香成人| 五月天综合色| 五月天久久色| 日本久久网| 丁香五月a| 99热97| 丰满人妻妇伦又伦精品国产| Av九九| 天天xxxxxx天天日| 六月婷婷激情| 色婷婷久久综| 久久性爰视频这里只有精品| 中美日韩成人在线| 人人操婷婷| 欧洲99视频在线| AV五月婷婷露脸| 婷婷五月天基地| 色婷婷色五月综合| 激情五月天在线| 97碰碰视频| 九九热青草| 99福利导航| 丁香婷婷五月综合影院| 99热这里全是精品| 激情五月天99色| 日韩一区二区三区无码| 东京热免费视频| 五月色激情综合网| 丁香五月狠狠综合欧美| 丁香五月婷婷影院| 日本久久人| 五月天四色房丁香| 亚洲激情五月天| 99色.com| 天天射夜夜骑| 开心五月婷婷| www久| 丁香婷婷色五月合集| 五月天色婷好好| 亚洲99一级无嗎特制在线| 狠狠香蕉| 逼里香不卡| 婷婷六月香| 香蕉97碰碰碰超视精品| 成 久久| 久久怕怕视频| 国产三级片91| 亚亚州久久高潮| 97精品人人A片免费看| 五月天丁香网站| 亚洲精品激情| 伊人爱爱日本| 一个色的综合| 九九热精品| 香蕉大综综综合久久| 五月成人网天天| 久久99视频| 99免费热视频在线| 婷婷五月天视频免费在线观看| 国产精品视频| 婷婷五月天亚洲激情戏精品| 成人深爱丁香五月| 黄色精品五月婷婷| 丁香五月激情啪啪啪| 五月婷婷六月丁香| 成人版视频在线观看| 婷婷五月花西瓜| 亚洲精品久久久无码| 九九 激情 网| 深爱激情五月网| 九月丁香八月婷婷加勒比| 色色网站在线免费观看视频| 51国精产品自偷自偷综合| 色五月天丁香婷婷| 丁香五月婷婷基地| 影音先锋91男人资源在线播放| 26UUU在线观看| 欧美一级色| 99色婷婷视频| 国产操碰| 99爽视频| 日本久久婷婷| 丁香六月婷婷社区| 九九久热| 97色碰碰公开视频| 国产熟女日日骚五月丁香爱| 亚洲第一成人无码A片| 天天拍夜夜撸| 91蜜桃婷婷狠狠久久综合9色| 大香蕉五月天婷婷| 在线视频另类| 欧日韩成人| 丁香五月婷婷五月| 青青草99热久久精品国| 天天干 夜夜爽| 性爱激情综合网| 5月婷婷六月丁香| 五月丁香啪啪啪| 九九视频网| 婷婷五月天伊人网| 久操福利| 激情久久久久| 亚洲综合视频在线| 色色色色综合网| 激情四射五月天偷偷看婷婷| 天干天天干天天天天天| 天天摸天天舔天天爽| 丁香五月综合久久八| 五月婷婷久| 丁香六月婷婷综合| 9久视频| 国产欧美第五十五页| 丁香五月色五月| 99热资源在线| 激情综合在线观看| 色偷偷色婷婷| 97人人看| 婷婷亚洲色| 久久久性爱网| 五月天丁香网站| 五月婷婷六月丁香玖玖玫瑰91| 人人草开心五月天| 五月天激情网址| 五月丁香综合中文| 五月丁香自拍| 黄色片区子| 婷婷五月丁香六月| 99久久婷婷国产综合精品草原| 天天射综合网站| 操操碰| 婷婷五月天六点丁香五月| 色射影院| 精品视频这里只有精品| 欧洲色色| 六月婷婷狠狠做| 777精品久无码人妻蜜桃| 激情五月丁香色婷婷| 白人荫道BBWBBB大荫道| 狠狠狠五月婷婷六月丁香| 国产av网| 九九在线精点品| 久久婷婷综合拍| 婷婷综合五月| 激情99热| 99这里只有| 性爱动图国产麻豆一区二区三区| 影音先锋女人AA鲁色资源| 天天粽合合合合| 国产麻豆视频| 五月天婷婷爱| 在线资源av-超碰中文在线-成人AV| www.夜夜操| 五月丁香啪啪婷婷| 婷婷五月成人| 九九免费在线视频| 1024成人免费看| 99色性爰网络| 一本久道综合99| 婷婷亚洲天堂| 99精品视频在线免费观看| 国产成人精品一区二三区熟女在线| 热99re| 男人的天堂在线婷婷| 丁香五月婷婷视频| 色射影院| 精品夜夜澡人妻无码AV| 人人做天天爱| 激情五月丁香六月综合AVXXXX| 99热久草| 99爱这里只有精品| 日本色啪| av在线免费网站 | 亚洲欧洲国产精品| 久久99综合| 色五月婷婷丁香婷婷| 波多婷婷久久| 少妇搡BBBB搡BBB搡毛茸茸 | 九九热亚洲中文在线观看免费| 中文字幕丰满孑伦无码专区| 99热日韩| 丁香五月婷婷AV| 五月婷婷丁香| ss视频xx91| 天天综合网~91| 综合色播| 五月天久久成人| 墨西哥毛片内射精| 久久精典| 先锋男人99资源| 色都都狠狠色都都色综合色| 超碰免费成人| 爱草视频在线观看| 五月婷丁香久久综合| 99欧州偷拍视频| 日本女天天爽| 伊人大香蕉毛片| 五月 成人 婷婷| 五月丁香六月色婷| 国产干逼片| 久热超碰91| 丁香六月婷婷缴情欧美| 丁香花狠狠婷婷亚洲中文字幕| xxxx五月| 亚洲岛国电影| 99热日韩| 日日干日日s| 九九Y精品热播| 久操无码| 天天射影视综合网| 久久久jd| www.五月天| 五月亭亭直播| 亚洲五月天综合色| 人人97操| www.激情| 思思热精品在线视频| 色婷婷99| 人人综合色| 91热久久| 天天拍久久| 国产成人AV在线播放| 婷婷五月天成人| 丁香五月婷婷在线观看| 婷婷四月 成人 狠狠干| 天花AV无码| 99热在这里只有精品| 亚洲 无码 中文字幕 中出| 99久操| 开心激情站| 丁香激情综合| 国产亚洲99| 久草婷| 91美女被操| 亚洲看av的网站| 五月丁香婷婷成人版| 久久久久久久人妻| 五月婷婷综合在线| 日日射天天射| 久久综合五月天| 内射爽无广熟女亚洲| 99看片| 久这里只有精品99| 久热婷婷在线视频| 成人做爰A片免费看视频| 99热这里只有精品8| 99精品视频在线6| 青青日韩| 久色精品| 婷婷五月综合在线| 亚洲激情免费视频观看| 色综久久久| 大伊香蕉玖玖爱| 在线观看免费视频| 五月婷婷色情| 九九热欧美| 丁香婷婷影院| 激情五月综合| 99九无网码| 五月婷婷激情中心| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 操逼巨乳91| 26UUU欧美激情一区二区| 色天使色婷婷| 五月婷无码| 天天操天天插| 操日视频| 五月丁香无码视频| 丁香五月AV在线| 1区2区视频| 亚洲偷| 丁香婷婷久久| 日韩爱操视频| 色综合久久88色综合天天人守婷| 久9久9热久热| 五月开心啪啪| 久热在线中文字幕色999舞| 伊人网碰碰| 激情九九这里只有精品| 99久热在线精品| 39视频第二区| 色色色香蕉五月婷| 九九久久综合| 4399在线日本A片| 色五月婷婷色五月| 婷婷玉月丁香五月在线视频| 玖玖国产视频一区| 国产精品视频网| 欧美色片中文字幕久久久久| 99re久久| www.色五月.com| 一起草性爱不卡视频| 久久久er热| 婷婷精品在线| 色婷婷色综合激情91| 人妻丰满精品一区二区A片| 九九久久99| 激情开心五月天| 五月伊人视频在线看| 欧美天天草人人草| 啪啪 综合网| 久久密臀婷婷| 日韩少妇内射免费播放| 九九热在线视频| 丁香五月婷婷五月| 五月天五月天激情网| 色综合久久伊伊婷婷五月| 日本不卡中文字幕| 啪啪六月婷婷| 天综合日日夜综合7799| 国产精产国品一二三在观看| 婷婷五月六月丁香| 乱码操操| 97热在线精品| 色播五月| 涩婷婷五月天| 五月丁香六月合| 狠狠干天天内射| 97碰在线视频| 神马欧美精| 婷婷干五月综合在线播放| 亚洲射激情| 日韩好吊操| 日本色婷婷| 99在线资源| 丁香九月激情久久| 日韩精品无码AV| 久久曰9| 亚洲视频在线观看| 五月天婷婷综合网| 五月婷婷婷| 色婷婷六月天| 中文字幕精品在线观看| 国产密乳av一区二区三区四区| 日韩成人中文字幕| 啪啪黄页网| 日美三级| 97操碰在线97| 色域五月丁香| 91免费啪视频| 久久婷婷原创视频| 成人国产网站在线免费看| 99网| 另类少妇人与禽zOZZ0性伦| 91人妻PORNY九色大屁股| 国产97色在线| 欧美视频五区| 欧美精品啪啪| 91婷婷色五月| 五月婷婷导航| 夜夜干天天操| 色五月播五月| 天天干,天天日| 欧美精品18| 久久九九色| 天天干天天色综合| 99热97| 婷婷五月天视频亚洲| WWW五月| 狠色狠色综合久久| 婷婷五月天亚洲图片| 婷婷夜夜夜夜| 天天狠狠色综合| 开心激情站婷婷五月天| 婷婷六月激情丁香| www.五月激情红色| 婷婷五月色丁香在线看| 五月婷婷在线观看| 丁香婷婷伊人| m色激情网| 另类视频丁香五月| 夜夜干天天干| 夜夜爽天操| 婷婷五月天激情五月天深爱五月天| 这里只有精品在线看| 这里只有精品免费视频在线观看| 久久丁香久久| 色五月婷婷小说亚洲中文字幕组| 中文字幕成人影视| 欧美日比视频| 亚洲国产成人综合| 中文AV网站| 天天五月天综合网址| 五月色影院| 这里只有精品视频在线| 免费国产视频| 99热在线精品观看| 色狠狠综合| 人人操av| 超pen个人视频97| 深夜婷婷 丁香| 99欧美精品99日本精品| 欧美三级视频| 18久久| 欧美啪啪9| 久久女人天堂| 少妇丁香婷婷 | 337午夜福利| 久久精热| 久久婷婷色色| 91色色色| 精品爱欲五| 97伦色婷婷| 五月丁香综合影院| 色碰碰视频| 五月天激情国产综合婷婷婷就去爱| 婷婷色五月偷拍| 99精品视频在线| 天天爽综合网| 婷婷五月在线观看| 日韩久热| 久久五月丁香| 国产精品久久久爽爽爽麻豆色哟哟| 91碰免费视频| 欧美天天搞| 久久综合中文| 一區四區歐美日韓| 天天干狠狠艹| 色五月婷婷影院| 中文字幕AV在线播放| 狠狠干在线| 五月激情小说网| 91久久婷婷| 日本一级黄色片。| 色原狠狠综合| 色婷网| 欧美激情xxxXX| 狠狠撸激情综合丁香五月天俺来啦| 99热97| 久久女婷| 国外亚洲成AV人片在线观看| 大香蕉久久伊人网| 99热国内精品| 99热第一页| 久久九区| 五月天婷婷久色| 99在线精品视频免费观看20| 麻豆雪千夏| 激情小说五月天| 亚洲欧美综合7777色亭亭| 五月间天堂综合| 婷婷综合久久| 2w在线视频| 九九色色| 五月丁香婷婷色| 久草免费福利视频| 9l视频自拍9l九色9l成人| 狠狠艹狠狠艹| 久久婷婷五月综合伊人| AV在线资源| 国产精品激情AV久久久青桔| 婷婷色偷拍| 亚洲超碰在线| 激情综合网 激情五月天| 色婷婷五月天视频网站| 久久五月天婷婷| 少妇水多A片太爽了| 99在线一区| 婷婷色网站| 亚洲99视频| 五月婷婷激情综合网 | 五月丁香色婷婷| 亚洲黄色影视| 五婷婷综合网| 在线观看亚洲AV| 色婷婷五月天天天天天| 深爱激情婷| 九九热在线99| 五月婷九月| 色色五月天激情| 六月色国内综合| 亚洲午夜视频| 日韩成人影片网站| 庭庭久久内射| 天天日夜夜草进麻麻的子宫| 婷婷五月丁香色综合| 99热在线观看| 超碰在线播放免费观看| 久久五月天精品视频| 天天操夜夜爱| 色五月六月| 九九伦子片| 五月丁香啪| 国语精品探花| 色综合激情| 67久久| 丁香婷婷欧美综合| 大香蕉欧美在线| 婷婷五月天激情在线观看| 婷婷五月激情六月| 欧美 日韩 人妻 高清 中文| 98色花堂98t.R| 丁香五月天五码婷婷| 久久精彩视频| 综合激情五月天| 欧美超碰人人| 热久久66| 九热视频| 中文AV网站| 97成人丁香婷婷| 性爱视频99| 五月婷婷六月色| 婷婷久久在线| 激情五月天之六月婷婷| 國語久久婷| 激情五月黄色| 99色激| 婷婷五月天激情AV影院| 亚洲成人综合在线| 久久蜜臀婷婷| 加勒比色色| 超碰九九热| 亚洲韩国日产综合AV| 五月婷婷与六月丁香图片激情| 很很干天天干| 国产精产国品一二三在观看| 久久九九爽| 久久偷拍综合五月天| 中文字幕无码人妻少妇免费视频| 色噜噜夜夜夜综合网| 亚洲人妻五月丁香婷婷| 色色色色热| 免费在线a| www.伊人天堂偷偷婷婷| 六月丁香激情网| 午夜成人在线免费视频| 怡红院院久久| 99免费| 91岛国片| 五月激情网综合| 五月丁香激情综合网| 激情久久 婷婷| 亭亭五月激情亚洲在线| 激情六月天| 国产一区18| 激情五月婷在线精品| 久色网| 精品久热69| 丁香五月色情| 五月婷婷激情| 激情小说色五月| 深爱激情中文五月天av| 激情婷婷久久| 激情五月天福利| 草AV9999| 欧美性丁香色色五月天干干| 激情五月天啪啪| 婷婷六月激情在线视频| AA片在线观看视频在线播放| 五月天婷婷色在线视频免费观看| 开心五月深爱五月| 天天草女人| 99热精品在线播放观看| 久久婷婷五月综合| 天天综合网~91| 色欲AV导航| 熟女人妻视频| 丁香五月AV综合| 9色在线| 五月丁香黄色| 五月丁香六月婷婷国产视频| 人妻丰满精品一区二区A片| 思思热天天看| 色婷婷亚洲| 26uuu偷拍亚洲欧洲综合| 五月婷婷久| 中国操逼99| 少妇丁香婷婷 | 五月六月激情婷婷| 96丁香六月婷婷蜜桃综合久久| 另类激情五月| 99精彩视频| 人妻免费网站| 五月天五月婷五月激情网| 久操婷婷| 亚洲成人网站在线观看| 亚洲精品视频电影| 九九99在线视频| 五月丁香六月合| 欧美交换配乱吟粗大25P| 五月丁香啪啪网| 97九色视频| 欧美日韩国产一区二区| 狠狠草狠狠草| 中文AV网站| 99热最新网址| 久热99| 国产色色在线| 久久99视频| 情色五月天网站| 成人AV中文字幕| 国产91九色| 五月天婷婷深深爱| 51精品国自产在线| 亚洲热久| www.五月.com| 久久综合9| 五月情综合| 五月综合激情婷婷六月色窝| 这里只有视频精品| 久久这里有精品| 久久久婷| 丁香色婷婷| 亚洲色色色色色色色色色| 激情婷婷久久| 久久久久亚洲AV无码网影音先锋| 99热1| www.久久爱.com| 中文字幕精品在线观看| 97碰免费精采视频| 色色五月天婷婷丁香| 色婷六月| 五月婷婷在线免费观看 | 色97啪啪| 五月婷婷香| 六月丁香天堂| 99九九视频| 欧美日韩五月婷婷| 婷婷综合五月天| 激情视频综合| 涩综合网| 99久在线观看| 亚洲激情网| 丁香综合婷婷开心激情网| 色色五月天婷婷| 97色色色色| 婷婷五月天在线观看| 美女丁香五月天| 北京熟妇搡BBBB搡BBBB| 五月综合在线婷婷图片| 五月天婷婷婷| 五月婷婷色激情| 成人一区在线观看| 五月天丁香| 久久婷网| 亚洲成人免费在线| 九九人妻福利| 26uuu国产| 久久av电影| 久久人妻熟女一区二区| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 天天插天天玩天天干| 97色干| 丁香五月天信号| 五月综合久久| 五月丁香色婷婷伊人| 免费做A爰片77777| 婷婷性爱无码视频| 1024成人免费看| 欧美激情五月天婷婷| 五月天丁香| 精品成人无码A片观看香草视频| 国产精品黑丝| 亚洲九九视频| 天天搡日日搡aaaaⅩ| av人人干| www.天天干.com| 亚洲国产精品VA在线看黑人| www.五月激情红色| 久久激情四射| 人人摸人人干| 久久xxxx| 国产精产国品一二三在观看| 五月丁香六月婷婷手机无线| 婷婷伊人五月丁香天堂网| 人妻视频在线| 《诡秘之主》在线观看| 国产AV一区二区三区最新精品 | 五月天婷久精视频| 黄色五月婷婷| 人人爱操| 婷婷五月丁香色情| 91N 一起草| 欧美日本黄色| 99激情网| www.91av.com| 婷婷色欧美激情| 成人在线网站| 久久婷婷视频| 久久人妻系列| www.久久婷婷| 九热免费视频| eeuus五月婷| 91午夜婷婷狠狠久久综合9色| 俺去也综合| 婷婷色导航| 免费看欧美成人A片无码| 亚洲综合激情五月| 亚洲综合婷婷五月| 99热在线播放| 婷婷久久亚洲| 丁香五月电影院在线观看| 婷婷99| www.伊人天堂偷偷婷婷| 一级无码作爱片| 色欲天天综合网| 婷婷丁香社区网| 超碰人妻公开在线| 婷婷丁香六月天| 欧美精品99久久久| 成人.在线日韩| 五月婷婷五月| 最新热中文字幕| 久9综合| 91人人操人人爱| 激情婷婷五六月天| 五月天大香蕉视频| 天天色播| 这里只有精品在线播放| 超碰国产在线观看| 色色婷婷五月天| 五月天激情网开心网| 99热9999| 国产午夜成人AV在线播放| 26uuu精品一区二区| 九月婷婷人人操人人舔人人爱| 99这里都是精品| Av狠狠色丁香婷| 久热视频97AV在线观看| 91日本在线观看| 五月婷婷综合色啪首页| 色在线99| 人妻丰满精品一区二区A片| 激情五月综合婷婷| 色婷婷狠狠干| 色婷婷五月天无码视频| 婷婷五月天AV| 色色色色色网站| 五月天婷婷色| 丁香亚洲色综合| 99精品国产热久久91色欲| 色婷婷五月综合在线| 9人人操人人看| 国产性爱在线| 五月停停色色丁香| 五月丁香久久久| 日韩黄色网络| 屁股翘好撅高迎合跪趴| 激情五月色婷婷| 亚洲无码成人性爰网| 日韩免费99| 99国产精品久久久久久久久久久 | AA片在线观看视频在线播放| 六月婷婷久久| 五月丁香六月婷婷在线小说视频| 影音先锋91资源站| 能看的AV| 五月婷婷中文字幕AV| 丁香六月亚洲| 久久最新色| 久久无码成人| 色婷五月天| 丁香五月综合在线观看| 99色综合网| 日本在线视频看se99| 五月丁香婷婷综合| 天天爽天天| 色综合色综合网| 九九久久腿| 色婷婷电影网| 99.N在线视频| 婷婷夜夜夜夜| 色五月天激情| 国产综合A片| 丁香五月激情婷婷| 99色视频| 久久婷婷五月激情网站| 99色婷婷| 中文字幕亚洲-区久久99婷婷| 最近韩国日本免费高清观看| 亚洲综合另类| 五月婷婷我| 精热在线综合网| 亚洲成人av在线播放| 五月丁久久| 久久综合激情婷婷激情| 天天夜天天色天天| 亚洲色情网站| 天天舔天天摸视频| 五月婷婷六月奇米网丁香| 丁香六月中文| 激情五月天无码| 天天日日人| 亚洲中文乱字字幕线在永久| www.一起草av| 亚洲国产无线乱码在线观看| 五月天婷婷网站888| 思思热久久久在线| 亚洲第一色色色色| 丁香五月色色| 五月婷婷色白丝| 嫩草极品| 综合色播| 九九干视频| 亚洲成人免费在线| 偷偷操九九| 久久精品国产AV一区二区三区 | 五月婷婷综合激情网| 激情丁香五月天| 五月丁香久久激情网| 2015好吊操| 久xxxx| 中文幕无线码中文字蜜桃| 色五月色图| 99综合色| 婷婷狠狠五月综合| 色天天综合天天综合频道。| 激情五月天综合网| 97人人操com| 亚洲精品又粗又大又爽A片 | 亚洲精品字幕在线观看| 色五月色五天色情网| 亚洲色网络| 久久婷婷一级片| 婷婷五月在线免费| 婷婷久久五月天丁香| 婷婷五月色花丁香社区| 精品无码久久久久久久久| 人人摸人人摸| 久草性爱| 99热在线播放| 人人人va亚洲视频在线| 丁香六月 婷婷六月| 久久HD| 97黑人精品区| 五月天堂色色| 在线五月婷| 成人做爰A片免费看视频| 天天拍天天操| 六月婷婷激情| 婷婷操超碰| 亚洲天堂aaaa| 伊人网色婷婷五月天| 六月色五月天天婷婷| 777久久精品| 金桔一区二区ab地址| 九热免费视频| 成人啪啪色婷婷久| 97干在线免费| www.丁香六月婷婷久久天堂影院.con| 国产亚洲在线| 六月激情网| 欧美婷婷| 亚洲色碰| 婷婷五月,偷窥偷拍网| 五月激情小说网| 巴基斯坦粉嫩无码视频| 日韩av干| 六月婷伊人| 婷婷激情五月天在线视频| site:pzdcoin.com| 天天爽人人综合免费7799| 五月色丁香| 丁香 久久| 欧美丁香五月| 九九激情视频| av超碰在线| 九九久99免费视频| 影音先锋男士资源网一区| 婷婷99视频在线| 狠狠精品干练久久久无码中文字幕 | 丁香五月婷婷色| 激情综合无码| 99在线热| 激情综合五月天| 狠狠久久婷五月| 中文资源在线a| 99热加勒比| 大香蕉久久婷婷精品综合| 色播五月综合网| a色婷婷| 五月婷婷日| 色婷婷影视99| 五月丁香综合久久夜夜| 日本nghangse中文字幕| 9久热视频| 97久久精品视频| 九九久久色| 夜色爱爱亚洲| 综合精品啪啪| 九草性爱| 大香蕉欧美在线| 98永久精品| 香蕉婷婷色五月| www.五月婷婷.com| 亚洲在线操| 日日噜狠狠| 69精品人人人人| 亚洲精品色色| 99这里只有精品国产| 色色自拍视频网站| 伊人五月婷婷| 天天舔天天摸天天射| 五月激情婷婷六月丁香| 亚洲男人的天堂婷婷色五月| 深爱激情av| 亚洲欧美另类在线23p| 99乱视频| 色五月av| 久久免费操| 六月激情婷婷| 天天日天天摸| 这里只有精品视频在线| 久久在线视频免费观看| 日产精品一线二线三线芒果| 综合激情在线视频| 99婷婷国产最新视频| 中文字幕av在线| www婷婷| 丁香五月综合| 无码人妻少妇色欲AV一区二区| 国产视频色色色色色色色| 影音先锋日本三级资源| 在线中文字幕免费视频| 五月丁香六月婷婷激情四射| 99人妻碰碰碰久久久久| 丁香五月人妻| 五月婷婷综合激情网| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 婷婷色基地在线看 | 激情无码五月天| 五月丁香六月婷婷不卡免费无码 | 丁五月激情视频免费| 五月综合丁香婷婷| 日本色色色| www.夜夜| 人人爽网| 91伦| 色婷婷国产精品综合在线观看| 操99| 五月婷婷六月丁香综合视频在线| 天天日夜夜操五月| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 色色色干| 国产免费一区二区在线A片视频| XX色综合| 狠狠精品干练久久久无码中文字幕| 伊人大香蕉毛片| 草草影院爱爱| 超碰免费人人| 秋霞三级影视资源| 狠狠狠狠操| 操一操干一干| 97久久久久| 色综合久| 99在线视频。| 久草丁香婷婷五月天婷| 久色网址| 六月综和久久| 激情色情五月天| 天天噜| 99爱视频在线| 中字幕视频在线永久在线观看免费| 玖玖综合色区在线观看| 97超碰在线免费观看| 国产韩日亚洲美州欧亚综合在线| 99久久综合网| 99亚洲精品视频| 婷婷91| 国产人妻777人伦精品HD| 伊人久热91网| 伊人五月婷婷| 六月婷婷视频| 色五月第四色| 91超碰在线观看| 最近韩国日本免费高清观看| 91热在线观看视频| 久久99久久99精品免观看粉嫩| 18av天堂| 激情丁香五月婷婷啪啪| 婷婷亚洲五| 五月婷婷五月丁香综合| av人人操| 操骚货在线| 色五月婷婷亚洲| 亚洲成人无码专区| 超级碰碰99| www.99热视频| 亚洲丁香五月美女| 99网| 久久久精品人妻| 玖玖婷婷免费| 91丁香五月| 99热这只有| 亚州操人在线视频| 色婷婷电影网| 九月婷婷在线视频| 欧美日韩成人在线观看| 亚洲 日韩色色| 狠狠草狠狠草| 思思热在线播放| 五月激情四射网站| 久久婷狠狠色| 婷婷丁香五月视频| 99亚州综合精品成人网| 激情影院丁香五月| 欧美日韩色色| 五月婷婷久久久| 久久99久久99精品免观看软件 | 五月丁香六月色| 婷色综合| 色5月婷婷| 亚洲丁香网| 婷婷六月激情| 久久97久久99久久综合欧美| 偷偷操99| 丁香五月亭亭六月综合激情网| 五月天激情国产综合婷婷| 丁香婷婷社区| 婷婷五月天性爱视频| 久久精彩免费视频精彩免费视频| 狠狠五月激情丁香六月| 色婷婷色五月色丁香| 激情综合网激情五月天| 色激情五月天| 九九久久高清| 美女亚洲五月丁香| 丁香五月电影| 久草五月| 男人天堂AV在线一区二区| 97在线视频观看| 久久婷婷六月综合| 五月婷婷丁香| 狠狠 久久| 五月天婷婷色五月天| 色欲色香综合网| 久热无码| av第一二区| 深爱激情四射| 丁香色综合| 丁香花社区av| 色色五月天丁香| 亚洲色 视频| 亚洲久久激情| 色婷婷女优有码五月亭| 亚洲成色综合网站免费观看| 激情五月色婷婷| 中国丰满熟女A片免费观| 91日韩美女被插视频| 综合五月亭亭9| 91热在线| 狠狠色婷| 综合玖玖性爱免费视频| 婷婷五月天开心网| 内射爽无广熟女亚洲| 亚欧州精品视频| 丁香六月亚洲综合| 亚洲男女激情| 色婷婷色综合激情91| 激情亚洲五月| 9 1超碰九色| 色综合女人99| 99国产小视频免费观看| 五月婷婷九| 激情久久伊人| 五月婷婷综合激情网| 五月天久久网站| 亚洲操操操| 超碰99久久| 九九99一区| 九九热精品视频| 色婷婷四色| 精品综合五月| 99热思思| 五月天停停日日| 激情婷婷狠狠干| 色婷婷狠狠| 综合网啪| 日日操日日爽| 九九伊人网| 中文字幕日韩成人| 久久人妻www| 亚洲亚洲人成综合网络| 婷婷久热|