欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

XDP與eBPF實(shí)戰(zhàn):高性能網(wǎng)絡(luò)加速的原理、調(diào)優(yōu)與踩坑記錄

XDP與eBPF實(shí)戰(zhàn):高性能網(wǎng)絡(luò)加速的原理、調(diào)優(yōu)與踩坑記錄 作為一個常年跟服務(wù)器性能較勁的人我第一次接觸XDP是在一次深夜壓測。CPU跑滿、軟中斷飆紅網(wǎng)卡卻還在拼了命地往協(xié)議棧里塞包。那會兒我意識到Linux內(nèi)核那套通用處理路徑在真正的海量流量面前確實(shí)有點(diǎn)力不從心。后來聽說XDP能在驅(qū)動層直接處理報文比傳統(tǒng)iptables和iptables的netfilter路徑快一個數(shù)量級我立刻動手試了一圈——這篇文章就是我自己從原理到實(shí)測、從踩坑到調(diào)優(yōu)的完整記錄。1. 內(nèi)容整體設(shè)計與思路拆解1.1 為什么需要XDP這種另類的數(shù)據(jù)路徑傳統(tǒng)的網(wǎng)絡(luò)收包流程基本上是這樣網(wǎng)卡DMA數(shù)據(jù)到內(nèi)核環(huán)形緩沖區(qū)然后觸發(fā)硬中斷緊接著軟中斷ksoftirqd開始處理依次經(jīng)過協(xié)議棧的各層——鏈路層、網(wǎng)絡(luò)層、傳輸層最終把socket掛到用戶態(tài)進(jìn)程的等待隊列里。這套邏輯設(shè)計得相當(dāng)通用也相當(dāng)穩(wěn)定問題在于太穩(wěn)了。每收一個普通TCP小包內(nèi)核要做的事情多達(dá)幾十步從sk_buff分配、路由查找、netfilter鉤子到最終喚醒進(jìn)程每個環(huán)節(jié)都有鎖、有緩存miss、有內(nèi)存分配。如果你只是平時訪問個網(wǎng)頁、傳幾個文件這套機(jī)制綽綽有余??梢坏┝髁康搅税偃fPPS以上事情就開始變質(zhì)。所有CPU核的軟中斷占用居高不下但你實(shí)際業(yè)務(wù)處理的包不到一半——絕大多數(shù)數(shù)據(jù)包要么該丟的沒丟要么根本不需要走到應(yīng)用層。當(dāng)我第一次看到XDP的性能數(shù)據(jù)時確實(shí)被驚到了官方基準(zhǔn)測試中單核處理能力可以輕松超過20M PPS取決于硬件和程序邏輯而在同等硬件上傳統(tǒng)netfilter路徑大概能跑到1M PPS就很吃力了。差距如此懸殊是因?yàn)閄DP把處理點(diǎn)挪到了網(wǎng)卡驅(qū)動剛拿到數(shù)據(jù)、甚至還在DMA緩沖區(qū)里的時候。XDP的主要思路是盡量少做事。它不分配sk_buff不復(fù)用協(xié)議棧的路徑也不維護(hù)完整的連接狀態(tài)。它只給你一個xdp_md結(jié)構(gòu)體里面放著數(shù)據(jù)包的起始偏移、結(jié)束偏移和入接口你的eBPF程序就是在這個極簡的框子上做邏輯判斷。能XDP_DROP掉的就絕不讓它進(jìn)入內(nèi)核更深處能XDP_PASS放行的盡量原封不動交給協(xié)議棧。這個設(shè)計思路總結(jié)成一句話就是讓該消失的包在最便宜的地方消失讓真正有價值的流量走最少的路。1.2 對比傳統(tǒng)內(nèi)核網(wǎng)絡(luò)路徑的效率差距我拿自己測試機(jī)上做過對比用DPDK基準(zhǔn)工具和自寫的eBPF程序看包處理時延和吞吐。傳統(tǒng)收包模式在單隊列、單核情況下跑到400K PPS左右CPU就接近滿負(fù)荷。同樣的硬件加載一個簡單的XDP程序做全量DROP也就是把進(jìn)來的所有包都丟了單核吞吐量能到24M PPS時延抖動幾乎可以忽略。這個對比不是說傳統(tǒng)協(xié)議棧一無是處而是說它們出生在不同的年代面對的流量量級完全不同。讓我用一個生活中的例子解釋一下這個差距社區(qū)保安亭門口有條主干道所有進(jìn)小區(qū)的車都要停下來登記傳統(tǒng)協(xié)議棧。如果某天來做核酸的隊伍特別長你只需要看車牌、分流量、能勸返的勸返、該放行的放行XDP而不是把所有車都引導(dǎo)到登記處。這次疫情管控的實(shí)戰(zhàn)就是XDP最擅長的事情——在入口處做快速分流。這個效率差距不是靠優(yōu)化代碼就能彌平的因?yàn)閭鹘y(tǒng)路徑本身就是為完整性設(shè)計的它必須保證TCP重傳、分片重組、socket buffer分配、防火墻規(guī)則、路由選擇等全都可追溯可管理。而XDP刻意放棄了這些通用性換取的是極致的速度和確定性。你說XDP能不能做TCP狀態(tài)跟蹤可以但內(nèi)核里早就有conntrack在做這個事XDP最大的價值不是替代協(xié)議棧而是在協(xié)議棧之前當(dāng)守門員。1.3 為什么這個方案的護(hù)城河是eBPF而不是XDP本身我見過不少人對XDP有個誤解以為它是什么靈丹妙藥裝上就快了。其實(shí)XDP本身只是個框架真正決定你能做什么的是掛載在XDP鉤子上的eBPF程序。剛接觸eBPF時它的編程體驗(yàn)非常糟糕——你必須用受限于內(nèi)核verifier的指令集來寫代碼不能任意循環(huán)早期版本甚至不允許有循環(huán)不能訪問任意內(nèi)核內(nèi)存棧大小只有512字節(jié)。這些限制逼著你用最精簡的方式表達(dá)邏輯但也正因?yàn)檫@些限制XDP程序才能在內(nèi)核里安全、高性能地運(yùn)行。eBPF之于XDP有點(diǎn)像是電動賽車和賽道的配合XDP提供了一條直達(dá)終點(diǎn)的快車道而eBPF是決定你在這條車道上怎么打方向的駕駛員。如果你不會eBPFXDP對你來說只是一個只能丟掉所有包的開關(guān)而會了eBPF你就能在網(wǎng)卡入口處做流量過濾、負(fù)載均衡、流量統(tǒng)計、DDoS防護(hù)甚至直接修改數(shù)據(jù)包內(nèi)容再轉(zhuǎn)發(fā)出去。所以我把XDPeBPF賦能的高性能網(wǎng)絡(luò)加速這個項(xiàng)目拆成兩半一半是XDP技術(shù)的理解另一半是eBPF編程的落地。只有把兩者結(jié)合起來才能發(fā)揮出真正的威力。這也是后文所有配置、代碼示例和排錯思路的出發(fā)點(diǎn)。2. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)2.1 XDP工作模式與程序掛載方式我們要先把XDP的三種運(yùn)行模式搞明白因?yàn)樗鼈冎苯佑绊懶阅鼙憩F(xiàn)和適用場景。第一種叫native XDP直接掛載在網(wǎng)卡驅(qū)動的NAPI poll循環(huán)里。這種模式不經(jīng)過sk_buff數(shù)據(jù)還在DMA緩沖區(qū)里就能處理速度最快。前提是你的網(wǎng)卡驅(qū)動要支持XDP像Intel的i40e/ice、Mellanox的mlx5、Broadcom的bnxt_en這些都支持得不錯。第二種叫offloaded XDP是直接把eBPF程序編譯成網(wǎng)卡固件能識別的微碼下載到網(wǎng)卡硬件里跑。這種模式的性能理論上最強(qiáng)因?yàn)檫BCPU都不需要經(jīng)過但受限于網(wǎng)卡內(nèi)置的處理能力支持的指令和map操作非常有限我在實(shí)際項(xiàng)目中基本沒遇到過需要offload的場景——大部分人的網(wǎng)卡也不支持。第三種叫g(shù)eneric XDP這是最軟的一種。它把XDP的處理點(diǎn)位模擬到協(xié)議棧的入口處不要求網(wǎng)卡驅(qū)動支持。代碼上能寫一樣的eBPF程序性能上卻和native XDP差了一個數(shù)量級——因?yàn)樗€是會在內(nèi)核里走cache和鎖的路徑只是換了一個hook點(diǎn)接收數(shù)據(jù)。我強(qiáng)烈建議如果你只是想學(xué)習(xí)XDP程序開發(fā)或者做功能驗(yàn)證generic XDP足夠用了但如果你想解決生產(chǎn)環(huán)境的性能問題還是老老實(shí)實(shí)上支持native XDP的網(wǎng)卡。掛載方式推薦用bpftool簡單直接。# 將編譯好的xdp_prog.o掛載到eth0的XDP鉤子上 bpftool net attach xdp pinned /sys/fs/bpf/xdp_prog dev eth0 # 查看當(dāng)前網(wǎng)卡上的XDP程序 bpftool net show dev eth0 # 卸載XDP程序 bpftool net detach xdp dev eth0掛載完成后如果你用ss -tulnp或者ethtool -S eth0觀察會看到一些計數(shù)器變化。比如rx_dropped會激增——這正是XDP把包丟掉后的正?,F(xiàn)象千萬別把它當(dāng)成丟包故障。2.2 eBPF程序結(jié)構(gòu)、verifier約束與編程習(xí)慣寫XDP程序時用的編程語言嚴(yán)格來說不是C而是受限的C。你編譯出來的目標(biāo)文件是ELF格式內(nèi)核加載器會把里面的eBPF指令片段提取出來再由verifier做一堆安全性驗(yàn)證。這個過程令人又愛又恨它保證了任何情況下內(nèi)核都不會被寫壞的eBPF程序搞崩潰但也意味著你的很多正常C語言寫法根本通不過編譯驗(yàn)證。我整理了一份很實(shí)用的避坑清單禁止循環(huán)。如果你的程序里有for(;;)或者while(;;)verifier會直接reject。早期eBPF甚至不允許跳回指令現(xiàn)在內(nèi)核5.3支持bounded loop但循環(huán)次數(shù)必須是編譯期常量且總指令數(shù)限制在100萬以內(nèi)。所以編程時要改成逐步展開的邏輯或者用map存儲狀態(tài)來替代循環(huán)。??臻g只有512字節(jié)。你不能在函數(shù)里聲明一個1KB的局部數(shù)組否則編譯過不了。處理包內(nèi)容時要注意使用bpf_skb_load_bytes或者bpf_xdp_load_bytes這種helper來按需讀取數(shù)據(jù)而不是直接解引用指針。禁止任意指針運(yùn)算。只有數(shù)據(jù)包指針的訪問范圍是verifier認(rèn)可的其他指針必須在map中的value值范圍內(nèi)操作。用C語言寫eBPF要去掉很多野路子習(xí)慣。helper函數(shù)數(shù)量有限。不是所有內(nèi)核函數(shù)都能調(diào)用你只能調(diào)bpf開頭的helper比如bpf_map_lookup_elem、bpf_ktime_get_ns、bpf_xdp_adjust_head等等。XDP特有的一部分helper我用熟了之后覺得基本功就是這幾個。一個最基本的XDP程序長這樣功能是統(tǒng)計TCP和UDP包數(shù)量其中UDP直接DROP#include linux/bpf.h #include linux/if_ether.h #include linux/ip.h #include linux/udp.h #include bpf/bpf_helpers.h struct { __uint(type, BPF_MAP_TYPE_ARRAY); __uint(max_entries, 2); __type(key, __u32); __type(value, __u64); } pkt_cnt_map SEC(.maps); SEC(xdp) int xdp_filter_prog(struct xdp_md *ctx) { void *data_end (void *)(long)ctx-data_end; void *data (void *)(long)ctx-data; struct ethhdr *eth data; if ((void *)eth sizeof(*eth) data_end) return XDP_PASS; if (eth-h_proto ! __constant_htons(ETH_P_IP)) return XDP_PASS; struct iphdr *ip (void *)(eth 1); if ((void *)ip sizeof(*ip) data_end) return XDP_PASS; __u32 key 0; if (ip-protocol IPPROTO_TCP) { key 0; __u64 *cnt bpf_map_lookup_elem(pkt_cnt_map, key); if (cnt) __sync_fetch_and_add(cnt, 1); return XDP_PASS; } else if (ip-protocol IPPROTO_UDP) { key 1; __u64 *cnt bpf_map_lookup_elem(pkt_cnt_map, key); if (cnt) __sync_fetch_and_add(cnt, 1); return XDP_DROP; } return XDP_PASS; } char _license[] SEC(license) GPL;這段代碼的每個判斷都是為了防止越界訪問data_end。這里有一個很關(guān)鍵的編程習(xí)慣所有對數(shù)據(jù)包字段的訪問都必須先做邊界檢查。verifier要求你證明訪問是安全的否則它會認(rèn)為你存在越界讀取的risk直接拒絕加載。我最早寫的程序因?yàn)橥藱z查IP頭邊界被verifier拒了不下十幾次后來才明白這是它的工作方式——寧可錯殺也不放過。2.3 map的作用與高頻路徑設(shè)計map是eBPF世界里有狀態(tài)的關(guān)鍵載體。你可以在一個XDP程序里讀取或者更新map里保存的數(shù)據(jù)讓網(wǎng)絡(luò)處理邏輯擁有記憶能力。最常見的map類型有數(shù)組ARRAY、哈希HASH、LRU哈希LRU_HASH、per-CPU數(shù)組PERCPU_ARRAY等等。對你來說一個很實(shí)用的建議是計數(shù)器用PERCPU_ARRAY規(guī)則表用HASH或LRU_HASH狀態(tài)追蹤用HASH。原因是per-CPU能避免多核并發(fā)寫同一個內(nèi)存位置的鎖競爭把更新操作變成每個CPU各自一份拷貝讀取時再sum起來這在跑滿多隊列網(wǎng)卡時能明顯減少開銷。下面這段代碼演示了如何用per-CPU數(shù)組保存每個CPU收到的包數(shù)struct { __uint(type, BPF_MAP_TYPE_PERCPU_ARRAY); __uint(max_entries, 1); __type(key, __u32); __type(value, __u64); } pkt_percpu_cnt SEC(.maps);在程序里更新的時候就像操作普通數(shù)組一樣__u32 key 0; __u64 *cnt bpf_map_lookup_elem(pkt_percpu_cnt, key); if (cnt) *cnt 1;然后你通過bpf_map_get_info_by_fd或者bpftool map dump觀察會發(fā)現(xiàn)每個CPU一個條目非常便于分析流量分布。如果要在用戶態(tài)匯總?cè)坑嫈?shù)掃描一遍map然后逐項(xiàng)相加即可。2.4 XDP_PASS、XDP_DROP、XDP_TX和XDP_REDIRECT的含義返回值是XDP程序的出口決策初學(xué)者常常搞不清它們的具體行為以及性能影響。我拿實(shí)際場景一個個說清楚XDP_PASS當(dāng)前包交給內(nèi)核協(xié)議棧繼續(xù)處理。相當(dāng)于我看了但不管你們該干嘛干嘛。這個返回值的開銷最高因?yàn)樗€要走完整的棧但在不能誤殺流量時只能這么選。XDP_DROP直接丟棄這個包。這個開銷最低非常適合做DDoS防護(hù)、黑名單IP攔截、無效協(xié)議過濾。注意XDP_DROP不會觸發(fā)netfilter的DROP規(guī)則也不會記錄日志完全由你的eBPF程序控制。XDP_TX從入接口直接把這個包再發(fā)出去。如果你要做透明防火墻的包回射、或者簡單的二層轉(zhuǎn)發(fā)比如把進(jìn)來的廣播包返回這個用起來很方便。它不需要經(jīng)過ARP、路由等邏輯所以轉(zhuǎn)發(fā)時延極低。XDP_REDIRECT把包重定向到其他網(wǎng)卡、其他CPU的ring或者用戶態(tài)的AF_XDP套接字。這是XDP生態(tài)里最強(qiáng)也最復(fù)雜的出口。用bpf_redirect_map helper實(shí)現(xiàn)多網(wǎng)卡之間的負(fù)載均衡時性能和可擴(kuò)展性極其出色。返回值的選擇決定了你的功能邊界也決定了性能天花板。在設(shè)計階段先把數(shù)據(jù)包分類好黑名單流量直接XDP_DROP白名單流量XDP_PASS需要轉(zhuǎn)發(fā)的流量走XDP_REDIRECT。這比把所有邏輯都塞進(jìn)XDP_TX要清晰得多。3. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)3.1 環(huán)境準(zhǔn)備與工具鏈搭建寫XDP的eBPF程序你需要準(zhǔn)備一套完整的編譯環(huán)境。我的建議是基于Ubuntu 22.04 LTS或者Rocky Linux 9內(nèi)核版本最好在5.15以上因?yàn)槲覍?shí)測下來有些老內(nèi)核的verifier對XDP程序的限制太多會卡住很多比較自然的代碼寫法。接著安裝編譯工具鏈# Ubuntu/Debian系 apt-get update apt-get install -y clang llvm libbpf-dev linux-tools-common linux-tools-generic # 如果你用的內(nèi)核自帶bpftool不在包庫里從內(nèi)核源碼編譯 git clone --depth 1 https://github.com/libbpf/bpftool.git cd bpftool/src make make install這里有個容易踩的坑很多系統(tǒng)自帶一個老舊的/usr/sbin/bpftool可能是從iproute2中繼承下來的舊版本功能不全。我建議自己編譯一個最新版并且把庫路徑設(shè)置好export PKG_CONFIG_PATH/usr/lib/x86_64-linux-gnu/pkgconfig然后編譯你的第一個XDP程序clang -O2 -g -Wall -target bpf -c xdp_filter.c -o xdp_filter.o關(guān)鍵參數(shù)解釋一下-target bpf告訴編譯器生成BPF目標(biāo)代碼-O2是必需的優(yōu)化級別因?yàn)閮?yōu)化后的代碼更容易通過verifier。如果加了-g你能在bpftool prog dump xlated里看到帶行號的指令對應(yīng)調(diào)試體驗(yàn)會好很多。3.2 加載程序并綁定到指定網(wǎng)卡編譯出.o文件后第一階段用bpftool加載測試。我習(xí)慣先看程序是否合法再綁定到網(wǎng)卡# 先加載到內(nèi)核但不綁定網(wǎng)卡加載成功說明verifier校驗(yàn)過了 bpftool prog load ./xdp_filter.o /sys/fs/bpf/xdp_filter # 查看加載的程序和ID bpftool prog show bpftool prog dump xlated id 123 # 確認(rèn)沒問題后再attach到網(wǎng)卡 bpftool net attach xdp pinned /sys/fs/bpf/xdp_filter dev eth0加個細(xì)節(jié)如果你在/proc/sys/net/core/bpf_jit_enable里開啟了JIT默認(rèn)應(yīng)該就是開啟的eBPF指令會在內(nèi)核里被編譯成原生指令執(zhí)行效率會高很多。你可以檢查一下cat /proc/sys/net/core/bpf_jit_enable # 輸出1表示JIT已開啟如果輸出是0用sysctl臨時開啟sysctl -w net.core.bpf_jit_enable13.3 用iperf和pktgen驗(yàn)證加速效果測試XDP不能光看理論要用工具量化對比。我常用的組合是前后流量生成器pktgen內(nèi)核自帶在samples/pktgen目錄下和iperf3。先說pktgen它能以極高的速率發(fā)送指定大小的UDP包特別適合壓測純XDP路徑的極限性能。pktgen的使用步驟可以寫成腳本大致邏輯如下modprobe pktgen PG/proc/net/pktgen/kpktgend_0 PGDEV/proc/net/pktgen/eth0 # 清空之前的配置 echo rem_device_all $PG echo add_device eth0 $PG # 配置發(fā)送參數(shù) echo count 10000000 $PGDEV echo pkt_size 64 $PGDEV echo dst 192.168.1.2 $PGDEV echo src_mac 00:11:22:33:44:55 $PGDEV echo dst_mac 00:11:22:33:44:66 $PGDEV # 開始發(fā)送 echo start $PG上面的命令如果寫成一行執(zhí)行記得把文件路徑都替換成你實(shí)際的網(wǎng)卡名和IP。pktgen發(fā)出去的包會擠爆接收端所以你要先在接收端加載好XDP程序并把結(jié)果打出來然后對比不加載時的狀況。如果你更想看到業(yè)務(wù)可從的帶寬效果用iperf3做TCP/UDP吞吐測試也行# 服務(wù)端接收XDP流量的機(jī)器 iperf3 -s # 客戶端發(fā)送方 iperf3 -c 192.168.1.2 -t 30 -i 1 -u -b 1000M跑了測試之后你會發(fā)現(xiàn)一個重要現(xiàn)象凡是XDP_DROP的包netstat里的dropped計數(shù)并不等于實(shí)際丟棄數(shù)因?yàn)閄DP的丟包發(fā)生在驅(qū)動層根本沒有進(jìn)入?yún)f(xié)議棧統(tǒng)計。這時候要看ethtool的rx_dropped和rx_missed或者直接用bpftool map dump查看我們程序里的計數(shù)器。3.4 真實(shí)業(yè)務(wù)場景配置禁IP、限速與統(tǒng)計一個比較有實(shí)際參考價值的場景是利用XDP快速封禁某個攻擊源IP。傳統(tǒng)做法是在iptables里加一條DROP規(guī)則規(guī)則數(shù)量大了之后netfilter遍歷會消耗不少CPU。用XDP來實(shí)現(xiàn)只需要在map里插入一個IPXDP程序在入口處直接查表、命中則DROP干凈的思路。封裝一個哈希mapkey為IP地址32位主機(jī)序value為計數(shù)struct { __uint(type, BPF_MAP_TYPE_LRU_HASH); __uint(max_entries, 100000); __type(key, __u32); __type(value, __u64); } block_ip_map SEC(.maps);然后在XDP程序里加一個查表動作__u32 ip ip-saddr; // 注意這里通常需要ntohl轉(zhuǎn)為主機(jī)序 __u64 *cnt bpf_map_lookup_elem(block_ip_map, ip); if (cnt) { *cnt 1; return XDP_DROP; } return XDP_PASS;用戶態(tài)用bpftool直接操作map添加被封禁IP# 阻塞192.168.100.10的流量 bpftool map update name block_ip_map key hex 0a 64 00 0a value hex 00 00 00 00 00 00 00 00這里要注意key的大小端問題。我一開始總是把IP地址搞反后來干脆用htonl轉(zhuǎn)換之后再寫key免去了換算的困擾。限速也能做只是需要配合時間戳邏輯。一個相對簡單的上限速實(shí)現(xiàn)用LRU_HASH存每個源IP的包數(shù)和起始時間當(dāng)包速率超過閾值時對超出部分返回XDP_DROP。實(shí)現(xiàn)代碼稍微長一些但原理清晰可讀struct rate_limit_info { __u64 start_ns; __u64 pkt_count; }; struct { __uint(type, BPF_MAP_TYPE_LRU_HASH); __uint(max_entries, 100000); __type(key, __u32); __type(value, struct rate_limit_info); } rate_limit_map SEC(.maps); #define MAX_PKT_RATE 10000 #define WINDOW_NS 1000000000ULL // 1秒 SEC(xdp) int xdp_rate_limit(struct xdp_md *ctx) { void *data_end (void *)(long)ctx-data_end; void *data (void *)(long)ctx-data; struct ethhdr *eth data; if ((void *)eth sizeof(*eth) data_end) return XDP_PASS; struct iphdr *ip (void *)(eth 1); if ((void *)ip sizeof(*ip) data_end) return XDP_PASS; __u32 ip ip-saddr; struct rate_limit_info *info bpf_map_lookup_elem(rate_limit_map, ip); __u64 now bpf_ktime_get_ns(); if (!info) { struct rate_limit_info new_info; new_info.start_ns now; new_info.pkt_count 1; bpf_map_update_elem(rate_limit_map, ip, new_info, BPF_ANY); return XDP_PASS; } if (now - info-start_ns WINDOW_NS) { info-start_ns now; info-pkt_count 1; return XDP_PASS; } info-pkt_count; if (info-pkt_count MAX_PKT_RATE) return XDP_DROP; return XDP_PASS; }這種方案能應(yīng)對比較粗粒度的限速需求。當(dāng)然如果你想做得更精確比如按字節(jié)限速、支持burst等那就需要更復(fù)雜的計算和更多的map協(xié)同文末我會提一點(diǎn)思路。3.5 AF_XDP從XDP到用戶態(tài)的高性能通道XDP還有一個重要變化方向是AF_XDP套接字。簡單說它允許你把數(shù)據(jù)包從XDP路徑直接redirect到用戶態(tài)程序的socket接收隊列里完全繞過內(nèi)核協(xié)議棧卻保留了標(biāo)準(zhǔn)socket的編程接口。這對于想做高性能用戶態(tài)網(wǎng)絡(luò)處理比如私有協(xié)議解析、報文捕獲、簡單NAT的人來說是個很好的折中方案不用像DPDK那樣接管整個網(wǎng)卡、寫PMD驅(qū)動而是只在特定隊列上做快速通道其他流量照常走協(xié)議棧。AF_XDP的配置過程不復(fù)雜但涉及幾個組件umem用戶態(tài)內(nèi)存池、fill queue內(nèi)核填充數(shù)據(jù)給用戶態(tài)、rx queue用戶態(tài)接收數(shù)據(jù)包、tx queue發(fā)送和completion queue發(fā)送完成通知。這里的關(guān)鍵教訓(xùn)是確保umem的大小、隊列深度和網(wǎng)卡隊列數(shù)量配置協(xié)調(diào)否則會丟包。我踩過的一個很常見的坑是——把fill queue塞滿后程序一跑發(fā)現(xiàn)rx queue里包越來越多但fill queue空著然后產(chǎn)生丟包。因?yàn)閮?nèi)核沒有可以存放新報文的buffer了。解決辦法是在用戶態(tài)循環(huán)里及時refill。AF_XDP的配置示例代碼比較長我摘取核心部分struct xsk_umem_info { struct xdp_umem *umem; void *buffer; struct xsk_ring_prod fq; struct xsk_ring_cons cq; }; struct xsk_socket_info { struct xsk_ring_cons rx; struct xsk_ring_prod tx; struct xsk_socket *xsk; struct xsk_umem_info *umem; }; // 創(chuàng)建UMEM struct xsk_umem_config umem_cfg { .fill_size 1024, .comp_size 1024, .frame_size 2048, .frame_headroom 0, .flags 0 }; void *buffer mmap(NULL, umem_size, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0); int umem_fd xsk_umem__create(umem, buffer, umem_size, fq, cq, umem_cfg);然后把socket bind到指定網(wǎng)卡隊列在XDP程序里用bpf_redirect_map把包指向AF_XDP的map。整套配置下來你會掉進(jìn)一個新手都會掉進(jìn)的坑網(wǎng)卡的隊列數(shù)必須大于等于你要綁定的隊列索引而且想用AF_XDP的隊列不應(yīng)該再被內(nèi)核協(xié)議棧正常處理否則同一隊列會有兩份流量。3.6 把多個XDP程序裝進(jìn)同一張網(wǎng)卡的現(xiàn)代做法內(nèi)核在較新版本里支持了XDP的多程序掛載multi-buffer和multi-prog其實(shí)不是一回事前者是指處理超過單幀大小的包后者是指同一接口上能掛多個XDP程序。我實(shí)際操作時最常用的是通過bpftool鏈?zhǔn)綊燧d# 先掛載第一個程序 bpftool net attach xdp pinned /sys/fs/bpf/prog1 dev eth0 # 再添加第二個程序此時內(nèi)核會創(chuàng)建prog chain bpftool net attach xdp pinned /sys/fs/bpf/prog2 dev eth0其實(shí)這種方式還不算特別成熟不同內(nèi)核的行為有差異。生產(chǎn)環(huán)境我更推薦用tc的bpf鉤子做第二道處理或者干脆用libbpf的bpf_xdp_attach帶XDP_FLAGS_REPLACE參數(shù)自己管理。如果你只是簡單測試?yán)侠蠈?shí)實(shí)依法加載一個綜合的XDP程序把所有邏輯寫在一起反而可控性更強(qiáng)。畢竟XDP程序之間組合時要考慮調(diào)用棧深度和執(zhí)行順序關(guān)系踩坑成本不比寫一個長程序低。3.7 高層封裝用bpf_xdp_link的方式管理生命周期你可能已經(jīng)發(fā)現(xiàn)bpftool net attach的方式雖然方便但程序是由netlink管理的退出shell或用systemctl停掉之后程序很可能還留在那里容易造成僵尸附著。更可控的方式是使用bpf_link機(jī)制。bpf_link通過一個文件描述符管理程序生命周期fd關(guān)閉程序自動detach。在代碼里用libbpf的bpf_program__attach_xdp或者bpftool的bpftool prog attach這個本質(zhì)上也會創(chuàng)建link取決于你的bpftool版本來管理。舉個例子用C API來attachstruct bpf_program *prog; struct bpf_link *link; // 省略了bpf_object__open_file等前序步驟 link bpf_program__attach_xdp(prog, ifindex); if (libbpf_get_error(link)) { fprintf(stderr, Failed to attach XDP program\n); return -1; } // 程序退出或清理時 bpf_link__destroy(link);這個習(xí)慣一旦養(yǎng)成能讓你避免很多線上“開了關(guān)不掉”的坑——我曾經(jīng)為了清理忘掉的XDP程序不得不重啟網(wǎng)卡結(jié)果業(yè)務(wù)中斷了一小會兒教訓(xùn)深刻。4. 常見問題與排查技巧實(shí)錄4.1 verifier提示invalid access to packet——越界訪問這是新手最常遇到的錯誤。內(nèi)核verifier會詳細(xì)報告哪一行訪問越界。舉個例子invalid access to packet, off34 size2, R4(id0,off34,r0) R4 offset is outside of the packet這種錯誤幾乎都是因?yàn)樵L問字段時沒有先確保data_end足夠大。解決方案是嚴(yán)格按照上面的范式先算出各個協(xié)議頭的結(jié)束位置做一次if比較再訪問。注意verifier認(rèn)為你只能在代碼的安全分支里訪問數(shù)據(jù)所以邊界檢查不能省略。還有一個小技巧如果程序的驗(yàn)證失敗可以用bpftool prog load ./xdp_filter.o /sys/fs/bpf/xdp_filter時有詳細(xì)的verifier log。如果日志不夠長可以用-v參數(shù)調(diào)節(jié)log level。bpftool prog load ./xdp_filter.o /sys/fs/bpf/xdp_filter verbose4.2 編譯成功但attach時報No such device或Operation not permitted這種情況多半是網(wǎng)卡驅(qū)動不支持native XDP或者你沒有CAP_NET_ADMIN權(quán)限。針對前者你可以查內(nèi)核對應(yīng)驅(qū)動的文檔也可以用下面的命令驗(yàn)證驅(qū)動是否支持native:ethtool -l eth0如果網(wǎng)卡不支持native你只能回退到generic模式。bpftool網(wǎng)卡attach默認(rèn)嘗試native不確定時可以先試generic掛載方式測試。generic模式加載時不要求驅(qū)動支持性能雖然差一些但至少能讓你確認(rèn)程序邏輯沒問題。運(yùn)行bpftool net attach xdp_generic pinned /sys/fs/bpf/xdp_filter dev eth04.3 XDP程序加載后所有ping都不通了這種情況幾乎總有固定原因——程序里遇到了你沒考慮到的包類型而且返回了XDP_DROP。比如你只想處理IPv4 TCP/UDP但I(xiàn)CMP包也命中了某個DROP分支。排查方法先把程序改成默認(rèn)XDP_PASS只DROP明確目標(biāo)流量。用bpftool map dump查看計數(shù)器的分布情況對比不同協(xié)議包數(shù)量。如果必須立即恢復(fù)網(wǎng)絡(luò)直接卸載XDP程序bpftool net detach xdp dev eth0另外有個細(xì)節(jié)XDP對loopback接口lo的支持很糟糕。不要試圖把XDP程序掛到lo上做測試你會看到各種奇怪的表現(xiàn)因?yàn)樗举|(zhì)上沒有驅(qū)動層可供原生XDP工作。想自測用veth對或者物理網(wǎng)卡加一臺對端機(jī)器。4.4 性能指標(biāo)達(dá)不到預(yù)期——看看是不是走了generic路徑很多人會發(fā)現(xiàn)我在虛擬機(jī)里跑XDP程序怎么比官方案例差那么多因?yàn)関irtio-net的XDP支持可能走的是generic路徑。同樣地云上的某些彈性網(wǎng)卡也未必支持native。你可以通過/proc/net/xdp或者bpftool net show查看程序掛載類型bpftool net show dev eth0 # 輸出里有xdp(generic)說明走的是generic # 輸出是xdp(native)說明走的是native # 輸出是xdp(offload)說明程序下發(fā)了硬件如果是generic性能自然不如預(yù)期。這時別糾結(jié)換驅(qū)動而是考慮優(yōu)化網(wǎng)卡隊列、使用RSS/flow director讓每個CPU處理屬于自己的隊列或者直接換用支持native的物理機(jī)和網(wǎng)卡。4.5 map操作失敗或權(quán)限不足map的創(chuàng)建和訪問受CAP_BPF或CAP_SYS_ADMIN某些老內(nèi)核限制。如果你在非root下運(yùn)行多半會失敗。建議用sudo如果程序要在容器里運(yùn)行需要賦予相應(yīng)的capability。順帶一提Linux內(nèi)核5.8之后統(tǒng)一稱為CAP_BPF容器配置時需要把cap_add: [BPF]加入白名單。4.6 我的避坑速查表常見問題原因快速解決verifier報invalid access越界訪問包數(shù)據(jù)按data_end邊界逐頭校驗(yàn)attach報Operation not permitted缺少CAP_NET_ADMIN用root/sudo或加capability性能只有幾百K PPSgeneric路徑或驅(qū)動不支持檢查bpftool顯示模式換native支持網(wǎng)卡加載后所有網(wǎng)絡(luò)不通誤DROP其他類型流量默認(rèn)XDP_PASS精確匹配DROP條件map更新時報Argument list too longkey/value大小與定義不符用bpftool map dump查看格式AF_XDP收不到包fill queue沒有及時填充增加循環(huán)填充邏輯保證umem有buffer5. 經(jīng)驗(yàn)總結(jié)與踩坑心得回頭看這段經(jīng)歷我覺得XDP最迷人的地方不是快而是它提供了一種極其干凈的思考方式你可以在數(shù)據(jù)進(jìn)入復(fù)雜系統(tǒng)之前用盡可能少的指令解決這個包值不值得留的問題。做DDoS防護(hù)時它可以把攻擊流量從入口處擋住業(yè)務(wù)后端感受到的壓力幾乎為零做流量分發(fā)時它可以替代一部分LVS的轉(zhuǎn)發(fā)邏輯把時延進(jìn)一步壓低做數(shù)據(jù)采集時它可以略過協(xié)議棧直接把報文送到用戶態(tài)分析器里。但也要潑點(diǎn)冷水XDP并不適合所有場景。如果你的流量本身不大傳統(tǒng)內(nèi)核路徑完全夠用加XDP反而增加復(fù)雜度如果你的邏輯極其復(fù)雜比如需要深度DPI、流量重組和大量狀態(tài)機(jī)XDP的512字節(jié)棧和受限指令集會讓你寫得很痛苦。我的建議是從最粗顆粒度的過濾和統(tǒng)計開始解決當(dāng)前最痛的那個性能瓶頸再逐步擴(kuò)展eBPF程序的功能。不要一上來就憋一個大而全的程序又難驗(yàn)證又難調(diào)優(yōu)。給準(zhǔn)備上手的人一個路線先做好環(huán)境編譯并加載最簡單的XDP_DROP程序用pktgen打滿網(wǎng)卡親眼看看單核能到多少PPS建立真實(shí)的性能感知。然后加上map做IP統(tǒng)計和IP封禁。等這些都會了再去碰XDP_TX和AF_XDP。按這個節(jié)奏你踩坑的次數(shù)會明顯變少收獲也會更扎實(shí)。最后分享一個小技巧調(diào)試XDP時把bpftool的json輸出和map dump結(jié)合起來用能更快定位問題。比如你懷疑某個IP被誤封直接dump block_ip_map里的內(nèi)容瞬間就能看出邏輯是否錯誤。你不需要一把梭地重啟網(wǎng)卡只要改map里的key就行——這是XDP設(shè)計給我們留下的最友好的后門。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷综合激情| 色婷五月天| 波多野结衣AV无码Porn| 青草视频在线播放| sewuyue第四色| 黄色热99| 激情婷婷五月天在线观看| 日本熟女视频一区二区| 丁香激情五月少妇| 久久精品婷婷五月丁香| 91婷婷在线| 亚洲成人在线在线| 狠狠干狠狠干| 国产老熟妇亲子乱对白| 99久久久久久| www一起操在线观看| 66精品成人免费网站在线观看| 国产美女无遮挡裸体毛片A片| 1024成人在线观看| www.婷婷五月.com| 色综合爱综合| 香蕉AV777XXX色综合一区| 久久综合丁香激情五月| 国产一级片| 六月丁香网| 99色天堂| 色婷丁香| AV九九| 亚洲视频五区| 欧美69色| 天天人人天天爽| 色婷婷在线电影| 激情影院69| 九月丁香久久网| 影音先锋一区二区资源站| 亚洲 无码 中文字幕 中出| 99年操人人爽| 五月的色婷婷高潮| 五月天婷婷乱| 久久9热| 1024在线视频| 4399无码视频| 射久久丁香五月| 婷婷亚洲色| 99精品综合| 色五月综合激情网| 无语停婷丁香网| 五月丁香花免费视频| 91偷拍视频| 婷婷丁香亚洲五月天| 国产超碰在线| 久草性爱| 五月社区婷婷激情| 色色色色色色色色综合网| 久久婷婷成人| 婷婷精品免费久久| 国产精品热搜丁香五月婷婷| 九九婷婷热| 99cao婷婷| 婷婷精品免费久久| 色噜噜狠噜噜视频| 五月天激情图片| 人人摸人人操人人爽| 婷婷五月天a| 五月天婷婷乱论小说| 91精品婷婷国产综合| 婷婷丁香18| 噜噜噜噜婷婷五月天| 日韩AV免费看| 成片免费播放| 六月婷婷色综合| www色色com| 丁香五月婷婷社区| 亚洲黄色影视| 高清无码视频网址| 99精品视频在线观看| 色拍九九九| 日本美女五月天| 五月婷婷婷婷网| 玖玖@三月天天丁香婷婷| 丁香五月另类色婷婷麻豆| 蜜桃婷婷丁香五月天狠狠久久综合| 日日操夜夜爽| 婷婷五月色| 亚洲AV电影av| 五月熟妇婷婷久久| 久热九九| 亚洲激情五月| 亚洲色人妻| 色婷婷97| 色5月丁香婷婷| 天天肏天天插| 色墦五月丁香| 伊人五月婷| 97碰超级人人看| 亚洲激情高潮| 99在线观看视频免费| 六月激情网| 婷婷操逼| 欧美日韩大黄| 日韩免费99| 国产精产国品一二三在观看| 成人AV免费观看| www婷婷| 色色色色色九九九九九| 欧洲亚洲免费视频9| 婷婷五月天av网| 99久久99九九九99九他书对| 五月丁香 啪啪| 久久久九九视频精品18| 婷婷在线视频| 日韩视频99| 激情婷婷六月天| 快乐激情五月色婷婷| 无码九九| 99在线播放视频| 亚洲欧洲中文日韩久久AV乱码| 婷婷精品综合| 黑人巨粗进入警花疼哭A片| 99在线观看| 伊人影音无码一区二区三区| 久久精典| 九九热这里只有精品6| 5月丁香综合网| 欧亚洲在线高清视频| 九九www| 五月激情啪啪| 26uuu亚洲| 色婷婷六月开心中文字| 五月丁香六月色婷婷| 另类图片激情五月天| 黄色AAAA韩国guochansanji| 激情视频婷婷五月花| 婷婷丁香五月天熟女丝袜| 五月丁香综合在线| 可以直接看的AV网站| 久9热在线视频| 亚洲精品五月| 婷婷丁香色五月久久88| 日日爱激情| 五月丁香激情在线| 色婷婷基地| 久久婷婷五月综合伊人| 99色精品| 婷婷五月综合社区| 日本在线视频www色| 色色 9| 久久久精品婷婷五月天| 久热这里只有精品在线| 色婷婷九月综合| 日韩在线婷婷五月天综合| 人人草公开操| 爆乳熟女一区二区三区爆乳| 精品婷婷| 色噜噜狠狠色综合日日免费| 天天日天天狠狠操| 欧美色狠婷久| 婷婷五月婷婷五月| 激情综合一| av免费人人| 天天做天天爱综合| 69久久99精品久久久久婷婷| 欧美性爱五月天| 狠狠色综合网| 亚洲99热| 五月丁香色婷基地综合久久| 久久久18| 伊人久热91| 99碰视频| 色爱99| 天天五月情| 色哟哟精品| 影音先锋四区| 91se精品国产| 97操碰碰无码视频| 色色婷婷综合网| 六九色综合婷婷五月天| 激情综合婷婷| 丁香五月综合激情性爱| 热久久思思热思思| 日韩ww| 六月丁香婷婷综合在线| 日本五月天婷婷丁香| 国产成人+综合亚洲+天堂| 夜夜操夜夜爽| 天天免费日日夜夜夜夜| 亚洲va欧美| 国内精品玖玖| 26uuu最新地址| 成人国产欧美大片一区| 九九色逼| 99碰超| 亚洲 25P| 五月丁香激情综合久久| 色色色99| 99九九热视频免费| 五月天 综合 在线| 99网99热| 成人综合视频网址| 亚洲综合视频在线| 人妻精品久久久久久| 色综合久久88色综合天天99| 亚洲成av人影院| 香蕉网婷婷| 久久嘟嘟丁香| 五月丁香亚洲综合网| 婷婷婷婷婷开心无码播放| 美女网黄| 激情五月综亚网| 色五月激情综合网| 超碰人人干| 丁香婷婷成人网| 大香蕉视频99| 亚洲舔观看| 女人天堂 AV| 天天做天天要天天爱| 国产va在线视频| 99热精品综合| 国产色色在线| 婷婷综合| 婷丁香五月天| 亚洲激情高潮| A片试看50分钟做受视频| 久久久网站| 久久98| 欧美色99| 六月色国内综合| 久热9| 97自拍视频网| 五月天婷婷伊人| 色综合久| 久久久性爱视频| 色五月天综合| 97热这里只有精品| 爆乳熟妇一区二区三区爆乳照片| 欧美色色色| 九色1区视频在线| 久久五月丁香激情综合| 高清av在线国产| 色黄啪啪| 99超碰人人| 色狠狠综合网| 五月婷婷综合网| 激情丁香网| 日本91在线播放| 这里只有精品在线免费视频| 欧美大道不卡| 丁香五月婷婷啪啪视频| 性爱网五月天| 5月色亭亭视频| 色色色在线观看| 亚洲mm免费| 麻豆忘忧草午夜| 99热久久这里只有精品| 婷婷五月综合免费在线| 狠狠狠狠狠狠狠狠| 99热这里只有精品1998| 丁香六月激情| 五月天久久久| 日本久久极品| 色综合99色| 91国产精品视频播放| 91色逼| www.五月天。com| 91色五月| 91久久五月天| 亚洲视频99| 超碰99在线观看| 九九99热精品| 天天做天天爱天天玩| 91超级碰在线视频| 狠狠色婷| 亚洲爆乳无码精品AAA片蜜桃| 狠色色狠网| 性韩日色婷婷五月天激情啪啪XXX| 午夜无码熟熟妇丰满人妻| 九九热区一区二区三区| 天天日天天干天天天| 色私五月婷婷| 国产在线中文字幕| 黄色五月婷婷| 淫五月停停| 亚洲成人色五月婷婷综合| www.色五月| 五月丁香久久网| 婷婷五月色情| 开心激情网五月天| 色五月天激情| 婷婷另类小说| 4399在线日本A片| 96精品久久久久久久久| 97狠狠色| 开心五月婷婷激情| 99爱视频在线免费观看| 欧美日本日韩| 婷婷丁香人妻天天久久| 色婷婷超碰| 97干网站| 色婷婷五月基地在线| 国产亚洲精品久久久久久牛牛| 热热久久精品视频| 天天爱天天天射AV| 九九色色| 激情婷婷五月亚洲| 伊人免费视频9| 五月天婷婷色五月天| 色狠狠五月天| sisi热国产| 亚洲综合99| 五月婷婷综合影院| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 91|疯狂丨高潮丨对白| 久色视频| 日本99色| 五月婷啪| 九九熱最新視頻| 色五月首页| 亚洲日韩人妻操逼| 久久AAAA片一区二区| 另类在线| 五月婷婷深深爱| 亚洲色人妻| 丁香婷婷色五月| 亚洲中文字幕av| 荡乳尤物3HP1V5| 亚洲色色色色| 久久九九精彩| 亚洲a色| 99er日韩| 亚洲婷婷综合视频| 婷婷六月色| 亚洲爱爱无码婷婷色五月| 五月丁香婷婷色啪| www99精品| 久久五月婷婷电影| 男女激情久久| 丁香五月婷婷激情尤物| 射久久丁香五月| 爱射综合| 夜夜爱网站| 五月婷婷六月丁香激情深爱| 五月婷三级片| 狠狠干综合网| 六月婷婷六月天天在线免费| 色九九中文字幕| 亚洲AV网站| 久草xx性爱视频| 婷婷五月丁香性爱| www.五月激情.com| 亚洲AV成人精品网站在线播放| 久久99热免费最新版| WWW色色色COM| 婷婷五月色综合| 日本www五月婷婷| 日本99久久| 五月天网站亭亭| 婷婷激情中文综合| 亚洲精品国产A久久久久久| 丁香五月在线播放| 91人妻色色网| 97色五月婷婷在线| 26uuu| 五月丁香色婷婷综合| 97超碰人人操| 五月天综合色| 爱99干99| 99无码| 婷婷五月天欧美| 欧美日韩91| 久久久免费图片视频| 天天操中文字幕| 精品三区影院| 99免费热在线精品| 伊人五月综合网| 五月丁香色色网| 99久久6| 天天色天天爱天天爽| 人人操AV| 久热一区| 五月婷婷99热| 五月丁香六月婷婷久久久综合| 亚洲精品色色| 九九亚洲视频| 99rewww| 天天久综合网永久入口17v| 婷婷五月激情小说| 成人无码精品1区2区3区免费看| 超碰碰碰碰| 精品人妻一区| 色婷久九| 91九色国产在线| 草综合14| 99ri精品| 国产日韩欧美性生活| 日本色婷婷| 中文字幕综合| 在线另类视频| 五月天大香蕉| 亚洲艹网| 五月深爱婷婷| 婷婷五月天激情在线观看| 另类精品视频在线观看| 丁香色色网| 7超碰自拍| 先锋五月婷婷丁香草草| 午夜婷婷丁香| 99热这里只有精品2016| 五月天精品视频| 五月丁香色色| 色婷婷丁香A片区毛片区女人区| 操99| 六月成人网| 人碰人人人玩91| 色狠狠婷婷| 五月天丁香婷婷久久九| 激情啪啪五月天| 丁香五月婷婷AV| 这里只有精品视频国产| 五月丁香激情深爱婷婷| 欧美激情综合五月色丁香| 久久999久久999久久999久久| 色吧综合网| 五月婷婷啪啪啪啪| 日韩天堂久久| 99er精品| 天天综合色| www久| 热婷婷在线视频| 玖玖婷婷综合| 婷婷色丁香六月| 五月天六月色| 97香蕉碰碰人妻国产欧美| 狠狠 久久| 色婷婷综合网| www.henhengan| 久久人妻精品| 婷婷激情性爱| 思思久久精品| 亚洲欧洲另类图片| 久久机热思思热| 夜夜爱网站| 婷婷综合九月| 色欲AV导航| www.婷婷| 99热这里只有精品99| 視频福利乱色| 激情五月天www| 丁香六月综合激情| 久久98| 激情5月婷婷| 国产精品色情AAAAA片软件| 久久人人九九| 激情五月天啪啪| 操婷婷久久| 久热只有这里精品| 日韩少妇内射免费播放| 无码一区二区日韩| 色综合五月| 碰碰91| 婷婷五月天奸女| 激情五月天的婷婷| 婷婷六月综合激情| 奇米网大香蕉| 激情第四色| 国产女人十八水真多1| 嫩BBB槡BBBB搡BBBB视频| 五月婷婷色| 五月丁香婷婷AV天堂| 日本九九九九| 婷婷玉月丁香五月在线视频| 丰满人妻妇伦又伦精品国产| 亚洲综合丁香五月| 激情综合网激情五月俺也去| 色区域网站视频| 激情婷婷内射| 国产成人综合网| 99成人网站| 亚洲在线成人| 国外亚洲成AV人片在线观看| 丁香久久九九99| 久久婷婷综合五月| 美女伊人久久| 天天天添天天操| 67194中文字幕| 91狠狠色丁香婷婷综合久久精品| 91性交在线播放| 婷婷丁香久久| 色五婷婷| 99热亚洲| 五月在在观看| 99人碰碰碰| 欧美一级色| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 99无码视频| 丁香伊人五月色婷婷五十路| 69五月天视频| 婷婷社区五月天| 91人妻人人做人碰人人爽九色| 五月婷婷深深爱| 五月丁香六月婷婷综合| 亚洲精品国产精品乱码视99| 精品国产乱码久久久久夜深人妻| 狠狠色婷婷| 日本一毛片| 色99免费视频中文| 婷婷基地五月色| www.99热| 伊人久久艹| 九月色婷婷综合| 九九一区| 婷婷激情肏屄网| Av大香蕉| 91丨九色丨高潮丰满日本| 婷婷六月五月| 9久久久| 五月丁香性| 婷婷六月天| 天天爽天天操| 99热费观看| 婷婷狠狠18禁久久| 六月婷婷色综合| 亚洲成人在线五月天| 成人国产欧美大片一区| 欧美性爱特黄一级aaaassss| 天天干一干| 丁香五月婷婷av| 曰曰久久| 九热视频精品| 99九无网码| 天天摸天天肏| 五月天婷婷基地| 日韩成人综合网| 99免费在线| 色综合天天网| 欧美韩国日本| 最新亚洲色色网| 久久综合播放| 天天操无码| 丁香六月啪| 色五月激情综合网| 国产av天堂| 中美日韩成人在线| 日日干夜夜干| 婷婷午夜天| 狠狠色丁香久久久婷| 97精品人人A片免费看| 天天色五月| 青青草网武则天| 91色色色| 伊人五月成人| 丁香五月激情六月欧亚激情综合导航| 亚洲日本三级片| AV在线免费播放| 婷婷基地成人五月天| 国产九月婷婷| 丁香五月天之婷婷影院| 日韩在线aaa| 亚洲操逼片| 日韩黄色中文字幕| 成人永久免费视频在线观看| 人妻内射麻豆视频| 天堂久久性| 精品亚洲国产成人A片在线鸭王| 五月天婷婷色播在线网| 人妻中文在线| 99日在线观看视频| 99色热| 色香久久| site:publishdd.com| 九九热在线99| 精品自拍99| 欧美日韩成人在线| 26uuu另类亚洲欧美日本一| 另类小说五月天综合| 在线观看免费狠狠色丁香香综合| 白人荫道BBWBBB大荫道| 99人妻碰碰碰久久久久禁片| 狠狠精品干练久久久无码中文字幕 | 久久精品视频99| 五月丁香久久综合91| 婷婷色综合| 91avse| 可以直接看的AV| 亚洲五月天天| 色天天狠狠干| 五月婷婷就去色| 日韩成人网站精品久久大全| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 婷婷月五天在线在线看| 99福利导航| 亭亭丁香97| 九九99九九精品视频| 大香蕉综合在线| 思思热精品在线视频| 婷婷丁香激情综合色情| 亚洲AV人人操| 韩国天天婷婷| 婷婷深爱五月天| 五月婷婷啪啪| 夜夜撸天天操| 99热这里只有精品8| 亚洲激情综合| z色五月播播久久| 亚洲六月婷婷| 久久在线视频免费观看| 国产肥白大熟妇BBBB视频| 天天操夜夜操| 婷婷国产五月天17c| jizzdr| 日日操日日爽| 99综合| 中文字幕亚洲-区久久99婷婷| 久综合4| 荫道BBWBBB高潮潮喷| 四季8848精品成人免费网站| 久久激情四射| 婷婷爱爱蜜臀天天操| 丁香五月天在线视频| 亚洲热综合网在线观看| 色激情五月| 五月丁香婷中文| 久热大香蕉| 夜夜AVV| 9色操| 91好好热日本在线| 久久五月网| 99成人免费视频| 婷婷香五月综合激情| 中文字幕,综合,91| 天天干,天天日| 丁香五月六月婷婷综合| 国产人妻777人伦精品HD| 综合网网欲色| 热无码A∨| 91精品国产99久久久久久天美| 91久久精品无码一区二区三区| 久久久婷| 大香蕉婷婷色| 婷婷四月 成人 狠狠干| 玖玖精品视频| 99这里都是精品| 99色综合| 亚洲无码www| 五月天影院婷婷在线观看| 亚洲综合五月天婷婷| 亚洲视频在线观看| 蜜乳中文字| 热99在线| 丁香情色五月| 亚洲1区| 天天摸色吧天天摸色吧| 北条麻妃伊人| 在线色五月婷婷| 激情综合九月| www,com,五月色色| 99re热视频这里只精品5| 成人片黄网站色大片免费毛片| 91丁香婷婷综合久久欧美| 99久在线精品99re5热视频| 久久久精久人妻| 五月婷婷之综合激情| 婷婷成人AV| 激情五月天影院| 丁香网五月天| 五月婷在线色视频| 99视频| 丁香五月六月久久综合 | 亚洲av网址| 五月婷婷av| 丁香婷婷狠狠97| 久久99热这里只有精品首| 天天久| 嫩草视频观看| www.色五月| 色综合色色色色色色综合| 婷婷五月骚厕所| 久久ri精品视频| 六月丁香五月天| 婷婷99狠狠躁天天躁| 五月天婷婷av| 天天干天天干天天干| 一级性感黄色内射视频| 操操自拍| 这里有精品99| 99操碰| 久久伊人9| 久99热| 色婷婷成人做爰A片免费看网站| 国产精品噜噜在线视频| 日韩黄在免| 99热在线99| www,99热在线观看| 婷婷国产成人| 欧亚色色| 亚洲午夜国产成人电影VA国产欧…| 婷婷婷婷色| 五月丁香啪啪激情| 色婷五月| 五月婷婷激情69| 久久婷婷五月综合色区| 99热6精品| 婷婷放心五日爱| 欧美色色色| 日韩av干| 黄色五月婷婷| 极品人妻VIDEOSSS人妻| 米奇影视五月天| 久9无码视频| 99热这里只有精| 青草青青草| 久久激情五月婷婷| 丁香五月成人社区| 色婷婷久久综合中文久久一本| 激情婷婷视频在线| 精品一二三区久久AAA片| 色五月丁香婷婷在线观看| 久久青青日本视频| 九九热在线视频| 婷婷五月天色| 99久久a线观| 超碰97色| 精品人妻午夜一区二区三区四区| 色色色色网| 婷婷丁香18| 久久久久亚洲A∨成人乱码电影| 亚洲五月情| 久久婷五月婷| 另类 在线| 国产精品91抖高| 亚洲操操操| 欧美激情VA永久在线播放| xx综合网| 另类五月婷婷| 婷婷五月天Av| 99精品网址| 成人做爰黄A片免费看直播室男男| 五月综合丁香婷婷| 久久久久人妻精品| 色色综合视频| 国产美女最新VA在线免费观看| 五月丁香久人妻中文| 久久久人人操A V| 色色色色色色色五月| 九九色综合| 色丁香五月婷婷| 国产乱妇乱子伦| 青青草日本亚洲| 天天舔天天摸天天透| 丁香五月图片| 色婷婷黄色网络| 国产韩日亚洲美州欧亚综合在线| 91女人18毛片水多国产| 丁香影院五月综合| 八戒青柠影视剧在线观看| 五月天婷婷基地| 五月天丁香网站| 色色色综合网| 亚洲综合激情五月久久| 91久久1118| 久色激情| 99爱视频免费| 色综合激情图区| 国产女人十八水真多1| 久久婷婷五月丁香蜜桃网| 国内9l视频自拍老熟女九色| 国产古装妇女野外A片| 超碰9799| 热99免费在线| 五月丁香婷婷色色| 亚洲丁香五月美女| 久久九区| 色五月视频无码播放| 另类五月激情| 日本一道久久| 五月婷视频| 99热99| 激情五月天在线观看色婷婷| 色色色婷婷五月天| 亚洲色色图片| 99爱视频免费看| 色婷婷成人网| 丁香五月之久操视频| 亚州激情九月| 丁香六月天AV| 激情五月色综合国产精品| 婷婷六月天激情| 亚州色色色| 97超级碰| AV天堂淫乩| 久久这里都是精品| 嫩草AV久久伊人妇女超级A| 日韩精品一区二区三区,四区,五区视频 | 欧美性猛交XXXX乱大交极品| 综合色、色综合| 色欲九区| 色五月五月丁香| 伊人网啪啪| 99日在线视频| 丁香六月啪啪| 婷婷丁香五月91| 五月天色导航| 精品一二三区久久AAA片| 免费在线观看AV网站| 在线观看中文字幕亚洲| 亚洲狠狠狠| 99视频在线精品免费观看2| 色原狠狠综合| 亚洲婷婷六月天| 亚洲中文字幕在线观看| 天天干,天天操,天天射| 色婷婷丁香五月在线观看| 九九Av| 丁香久久综合| 99亚州综合精品成人网| 熟女强人妻一区二区三区四区无| 久久五月天激情婷婷| 2020日日干| 光棍影院日韩精品| 精品无码99| 九九99九九精品免费 | 五月丁香激情婷婷| 激情婷婷护士激情| 伊人色综合影院视频| 日韩另类在线观看| 婷婷五月天综合久久日美女| 五月丁香六月婷婷手机无线| 婷婷丁香六月| 亚洲婷婷月丁香五月| 91狠狠综合久久| 色婷婷久久天天性爱| 五月婷婷自拍| 丁香激情综合| 亚洲五月天综合| 九九综合久久| 草美女在线观看视频在线播放| 丁香五月婷婷亚洲综合精品| 欧美日综合| 97人人超| 综合激情婷婷| 99这里只有精品|v| 亚洲永久四色| 天天干天天拍| 99热欧| 天堂在线伊久| 思思 热 99| 91AV婷婷| www色五月| www,五月天com| 婷婷性爱影院| 精典久久| 亚洲人人操| 区区欧美你爱| 久久婷婷五月综合啪| 97人人超| 五月丁香婷中文| 国产超碰av| 色婷婷激情| 婷婷九月| 国产欧美精品AAAAAA片| www.日日夜夜.com| 女人天堂久久| 综合色色网| 都市激情小说婷婷| 国产日韩av片| 欧美槡BBBB槡BBB少妇| 日韩精品色| 99超碰人人| 人妻丰满精品一区二区A片| 26uuu另类| 久久综合婷婷| 性爱激情久久| A久久| 天天插天天干天天舔| 爱狠射| 99色色视频| 婷婷六月天亚州| 日本99热| 色婷婷亚洲综合天堂| 99碰超| 丁香五月激情婷婷| 色六月丁香婷婷啪啪啪| 韩日AV片| 另类天堂| 99热欧美| 开心五月婷| 激情久久久久久久久久久| 熟女强人妻一区二区三区四区无| 五月天婷婷基地| 五月丁香六月综合激情无码软件亮点| 超碰国产AV| 黄色中文字目| 色五月婷婷在线| 亚州操操| 婷婷激情五月天小说| 午夜丁香| 日韩999| 色天堂在线| 久久日韩婷婷五月| 丁香综合日产精品久久| 欧美成人猛片AAAAAAA| 天天爽夜夜操| 激情五月丁香五月| 99久在线视频| 五月丁香婷婷啪啪| 六月丁香中文字幕| 中文成人在线| 天天婷婷综合亚洲亚洲| A久久| 狠狠干五月丁香综合网| 五月丁香婷中文| 人人干天天操五月丁香| 一本道综合网| 激情五月六月丁香| 亚洲 无码 中文字幕 中出| 99精品视频免费在线播放| 97精品在线| 久久婷婷五月综合啪| www,99色| 超碰不卡在线| 久久码久久无清| 久久五月婷综合网| 五月开心久久| 狠狠色婷婷7777久| 99ri视频在线观看| 超碰人人在线观看| 色婷婷伊人激情在线观看| 日本乱子人伦在线视频| 亚洲日本韩国| 九色综合网| 伊人大香蕉爱聚| www.99久久久久99| 七月激情六月婷婷综合在线播放| 成人 AV播放| 激情四射婷婷| 五月丁香网中文字幕| 五月天夜夜爱夜夜操| 泰州成人视频| 99热精品免费| 婷婷五月综合在线| 超碰免费成人网站| g00d人体西西| 婷婷丁香色五月天久久88| 婷婷激情六月中文| 色婷婷色五月天| 色五月激情五月天| 亚洲成人网址在线观看| 色综合久久综合中文综合网| 欧美色色色色色色色色色色影视| 无套内射极品大美女| 婷婷五月天福利| 操人精品| 九九热这里有精品视频| 天天爱天天狠天天透| 五月天激情婷婷| 日韩AV中文字幕在线| 色噜噜综合网| 久久怕怕视频| 青青草婷婷五月天| 五月天久久久| www.夜夜操.com| 亚洲综合五月天| 久久久五月婷婷| 天天草婷婷五月| 91人人操人人| 婷婷六月激情综合| 五月天婷婷午夜丁香| 天天艹天天色| 9热在线观看| 欧美搡BBBBB摔BBBBB| 亚洲综合色婷| 色色色综合网| 五月天婷婷基地| 逼特逼在线免费播放| 久久久这里都是精品| 九九热在这里只有精品| 婷婷五月天AV| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 色五月综合网| 人妻av在线| 日韩久热| 亚洲啪啪网| 久久婷视频| 丁香五月中文字幕久色| 超pen个人视频97| 日韩抽插操逼| 五月婷婷激情综合| 九九免费精品在线视频| www.99在线| 婷婷五月色| 综合网亚洲| 夜色五月天| 婷婷激情五月综合基地| 欧美99热| 综合激情五月丁香9999久久精| 超碰在线91| 五月丁香婷婷中文| 天天干天天做| 丁香六月啪| 色情综合网| 婷婷色色五月| 色婷婷亚洲婷婷| 丁香五月狠狠综合欧美| 婷婷五月天性色| 热思思| 五月综合丁| www.婷婷五月天| 久久婷婷五月综合| 亚洲日韩一页精品发布| 久月丁香爱婷婷综合| 五月婷婷激情| 色色婷五月天| 在线综合91| 婷婷色在线播放| 超碰在线国产| 久热大香蕉| 99热久只有| 成人中文网| 婷婷五月激情在线| 五月天激情网图片| 色情综合| 男女av免费看| 五月丁香婷婷色色| 亚洲天天免费| 2021日韩无码| 夜夜撸日日操| 天天色色天天| 九九Av| 伊人九九综合| 成人中文网| 亚韩在线视频| 天天舔天天摸视频| 丁香五月网址| 国产精品久久久爽爽爽麻豆色哟哟| 九九性视频| 伍月婷婷免费视频| 婷婷色基地在线看| 色色色网站| 丁香五月首页| 狠狠狠狠狠草| 日本操碰碰| 色色色香蕉五月婷| 国产无套精品一区二区| 久久久久人妻精选| 婷婷伊人激情婷婷| 欧美精品99| 3DAV亚洲香蕉久久 一区二区| 大香蕉啪啪| 色色色成人网| 无码人妻一区二区三区四区| 色吧婷婷| 亚洲av网址| 久久看九九90| 五月天激情婷婷| 97欧美在线| 久热精品视频| 五月婷婷成人网首页| 亚洲热热视频| 久热中文字幕在线线观看| 中文字幕丰满乱孑伦无码专区| 九九99在线视频| 国产FREESEXVIDEOS性中国| 欧美综合123区| 色丁香五月婷婷| 欧州色色| 天天爽,夜夜爽| 五月婷婷开心丁香| 人人舔天天| 亚洲国产精品成人va在线观看| 五月天另类图片区99| 自拍视频在线观看9| 精品无码久久久久久久久| 超碰在线人妻| 国产精产国品一二三在观看| 五月婷婷六月色| 国产做A爰片毛片A片美国| 狼人久草| 丰满少妇猛烈A片免费看观看| 男妓跪趴把舌头伸进我的嘴巴| 99亚州综合精品成人网| 99精品在线观看| 久久激情综合| 激情伊人五月天| 丁香五月婷婷色情综合| 可以直接看的av| 五月丁香六月激情在线| 激情五月丁香六月| 丁香五月激情网| 午夜成人AV在线| 噜噜五月天综合| 亚洲天堂热| 激情婷婷丁香| 色婷婷女优有码五月亭| 高清国产AV| 婷婷丁香五月天影院 | 色噜噜狠狠色综合日日| 开心五月色婷婷综合开心网| 狠狠色婷婷| 久热A片| 日本三级毛片| 热九九在线| 激情五月婷婷六月丁香| 色五月婷婷小说亚洲中文字幕组| 视频一二区| 国产精品第一国产精品| 婷婷六月偷拍| 亚洲综合字幕色色| 九九热区一区二区三区| 很很干天天干| 激情五月丁香五月| 久久男人网婷婷| 思思99热这里只有精品| 色婷婷综合网站| 美女激情综合| 黄色片久久| 色婷婷中文在线| 第六色在线| 色婷婷丁香五月天| 天天日P天天射P| 久久五月天婷婷视频| 丁香六月婷婷综合在线| 激情综合区| 激情内射人妻1区2区3区| 六月丁香狠狠爱| 五月婷婷之六月丁香| 色婷| 久久久久久18| 婷五月丁香俺| 婷婷亚洲综合| 狠狠爱深色婷婷综合| 91色逼| 97色婷婷五月天| 嫩草AV久久伊人妇女超级A| 五月天婷婷爱| 亚洲亚洲永久无码777777| 大香蕉久久| 五月天久久网站| 色区域网站视频| 大香蕉人妻| 欧美色色色色色| 99狠狠操一| 久久99草五月婷婷| 久久婷婷欧美| 久久婷婷视频| 五月综合激情| 五月丁香婷婷色色色| 五月婷婷碰碰| 五月天自拍网| 可以免费观看的av| 人妻中文在线| 99久视频| 国产亚洲在线观看| 色情五月综合婷婷| 人人97操| 九九在线精品| www.久久99精品| 人人爱人人草| 人人干人人操外国| 丁香婷婷影院| 久久玖玖综合| 久草热在线视频| 五月丁香婷婷啪啪综合| 99热这里是精品| 超碰精品手机在线| 午夜色丁香| www.无码com| 91色色色18| 91久久1118| 色婷婷综合网站| 婷婷丁香五月激情图片| 国产精品A成V人在线播放| 蜜桃五月天色| 97碰碰人人视频| 婷婷涩五月| 婷婷激情综合网| 日日操天天操| 热99精品视频| 成人在线日韩欧美| 狠狠干狠狠干| 五月婷婷综合潮喷| 91在线操| 九九热在线视频| 日日操夜夜爽天天天| 色五月婷婷丁香凹凸| 丁香色五月天| 丁香九月婷婷| 久久九九国产精品怡红院| 日韩狠狠色婷婷| 久久免费少妇高潮99精品| 99re鈥哸鈥唙| 久久九九怡红院| 五月综合激情啪啪啪啪啪| 激情五月天天狠狠久久| 丁香六月开心| av网站不卡在线| 日本综合色图| 可以看的AV网站| 26.uuu丁香五月婷婷| 日本欧美成人片AAAA| 亚洲情欲| 欧美韩日AAA网站| 久久五月激情| 日韩精品电影| 欧美丰满熟妇BBB久久久| 99九九综合久久九九| 久久综合激情婷婷激情| 国产 码在线成人网站| 日韩精品无码AV| 色丁香五月婷婷| 久久99综合网| 久久人妻www| www.狠狠色.com| 色一情一乱一乱一区91Av| 五月丁香激情综合啪啪| 国产片天天爽夜夜爽| 五月天婷婷香蕉狠狠超碰综合| 天天干,天天日| 超碰人人操人人干| 欧美草久久五月天91| 六月婷婷狠狠| 丁香五月综合激情性爱| 性爱激情小说AV五月丁香花| 婷婷丁香社区| 99热.com| 色婷婷激情| 五月丁香六月情| 久久99网站| 久久资源网五月婷| 亚洲操操操| 99热在线只有精品| 亚州性爱99| 996日日爱| 色五月天激情| 开心五月丁香婷婷| 国产日韩欧美性生活| www.激情五月天。com| 96丁香六月婷婷蜜桃综合久久| 99碰视频| 婷婷五月天网址| 日韩AV在线免费观看| 99久视频| 99操无码视频观看| 九九色婷婷Av| 九久久九精品视频| 电影91久久久| 久久婷婷六月综合国际| 丁香六月成人| 五月丁香六月停停停| 婷婷丁香五月综合久久| 亚洲综合视频八| 久久久婷婷| AV网站免费在线| 色香蕉精品五夜婷| 国产日比| 五月婷天天搞视频| 日本欧美成人片AAAA| 五月婷婷日本| 天天碰天天插天天操| 狠狠草狠狠草| 天天综合91入口| 五月天激情美女久久| 五月天婷婷基地| 成人综合AV| 婷婷综合网| 婷婷五月花| 久久精品五月天| 六月婷婷久久|