欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

kube-proxy從iptables切換到IPVS:大規(guī)模集群Service轉(zhuǎn)發(fā)性能優(yōu)化實(shí)戰(zhàn)

kube-proxy從iptables切換到IPVS:大規(guī)模集群Service轉(zhuǎn)發(fā)性能優(yōu)化實(shí)戰(zhàn) kube-proxy 從 iptables 模式切到 IPVS 模式這件事在集群規(guī)模小的時(shí)候幾乎感覺不到差別但只要節(jié)點(diǎn)上 Service 數(shù)量過了幾百、Pod 副本數(shù)上千iptables 那條鏈的線性匹配開銷就會(huì)開始咬人。我最早動(dòng)這個(gè)念頭是因?yàn)橐粋€(gè)中等規(guī)模的業(yè)務(wù)集群里 Service 已經(jīng)逼近兩千節(jié)點(diǎn)上iptables-save的輸出動(dòng)輒十幾萬行規(guī)則刷新時(shí) CPU 尖刺明顯新建連接的延遲抖動(dòng)也跟著上來了。IPVS 基于哈希表做轉(zhuǎn)發(fā)決策時(shí)間復(fù)雜度是常數(shù)級(jí)天然適合這種場景。這篇內(nèi)容就是把我自己從選型、改造、驗(yàn)證到踩坑的完整過程攤開講清楚適合已經(jīng)對(duì) Kubernetes 網(wǎng)絡(luò)模型有基本概念、正在被大規(guī)模 Service 轉(zhuǎn)發(fā)性能困擾、或者單純想把集群網(wǎng)絡(luò)底座升級(jí)一檔的運(yùn)維和平臺(tái)開發(fā)同學(xué)參考。哪怕你只是剛接觸 kube-proxy 的調(diào)度模式文中的原理拆解和操作步驟也能讓你照著走一遍。1. 為什么要把調(diào)度方式換成 IPVS1.1 iptables 模式在大規(guī)模集群下的真實(shí)瓶頸要理解這次改造的價(jià)值得先把 iptables 模式的工作機(jī)制說透。kube-proxy 在 iptables 模式下會(huì)為每一個(gè) Service 生成一組規(guī)則ClusterIP 的訪問靠KUBE-SERVICES鏈做匹配再跳到對(duì)應(yīng)的KUBE-SVC-xxx鏈最后分發(fā)到KUBE-SEP-xxx端點(diǎn)鏈。問題在于iptables 的規(guī)則匹配本質(zhì)上是順序遍歷一條鏈上的規(guī)則越多一個(gè)數(shù)據(jù)包要走到目標(biāo)規(guī)則需要經(jīng)過的比對(duì)次數(shù)就越多。打個(gè)生活化的比方iptables 像一本沒有目錄的紙質(zhì)電話簿你要找一個(gè)聯(lián)系人只能從第一頁開始一頁頁翻。Service 有一千個(gè)平均每個(gè)包要翻五百頁才能找到對(duì)應(yīng)規(guī)則。而 IPVS 更像一個(gè)哈希索引的通訊錄你報(bào)出名字它直接算出該翻到哪一頁一步到位。這個(gè)差異在小集群里被緩存和規(guī)則命中率掩蓋了但規(guī)模一上來差距是指數(shù)級(jí)拉開的。具體到實(shí)測數(shù)據(jù)我在一個(gè) 3 節(jié)點(diǎn)、每節(jié)點(diǎn)約 1500 個(gè) Service 的環(huán)境里做過對(duì)比iptables 模式下iptables-restore單次全量同步耗時(shí)接近 4 秒期間 kube-proxy 的 CPU 占用能沖到單核 80% 以上切到 IPVS 后同樣的 Service 規(guī)模規(guī)則同步耗時(shí)降到 300 毫秒以內(nèi)CPU 峰值不到 20%。這個(gè)量級(jí)的差異直接決定了集群在頻繁擴(kuò)縮容時(shí)網(wǎng)絡(luò)平面的穩(wěn)定性。1.2 IPVS 的哈希轉(zhuǎn)發(fā)原理與適用邊界IPVSIP Virtual Server是內(nèi)核里的一套四層負(fù)載均衡實(shí)現(xiàn)它把 Service 的 ClusterIP 和端口注冊成一個(gè)虛擬服務(wù)virtual service把后端 Pod 注冊成真實(shí)服務(wù)器real server轉(zhuǎn)發(fā)時(shí)通過哈希表直接定位。kube-proxy 在 IPVS 模式下不再寫海量 iptables 規(guī)則而是通過 netlink 接口調(diào)用 IPVS 的內(nèi)核模塊來維護(hù)轉(zhuǎn)發(fā)表。這里有個(gè)關(guān)鍵點(diǎn)很多人會(huì)忽略IPVS 模式并不是完全拋棄 iptables。kube-proxy 仍然會(huì)用少量 iptables 規(guī)則處理 SNAT、masquerade、NodePort 的某些邊界情況以及 IPVS 不支持的場景比如某些特殊協(xié)議的端口映射。所以切過去之后你依然能看到 iptables 規(guī)則只是數(shù)量從十幾萬行驟降到幾百行這才是性能提升的來源。IPVS 的適用邊界也要說清楚。它擅長的是四層轉(zhuǎn)發(fā)對(duì)七層特性無感它依賴內(nèi)核模塊ip_vs、ip_vs_rr、ip_vs_wrr、ip_vs_sh、nf_conntrack等內(nèi)核版本太低或者裁剪過的內(nèi)核可能缺模塊。另外 IPVS 的調(diào)度算法rr、wrr、lc、sh 等決定了后端分發(fā)的均衡策略kube-proxy 默認(rèn)用 rr輪詢這個(gè)默認(rèn)值在多數(shù)場景夠用但如果你有長連接業(yè)務(wù)可能需要考慮會(huì)話保持相關(guān)的配置。1.3 改造前必須確認(rèn)的三個(gè)前提動(dòng)手之前有三件事必須先確認(rèn)否則改到一半會(huì)卡住。第一是內(nèi)核模塊可用性。在目標(biāo)節(jié)點(diǎn)上執(zhí)行l(wèi)smod | grep ip_vs看模塊是否已加載沒有的話modprobe ip_vs試加載再確認(rèn)ip_vs_rr、ip_vs_wrr、ip_vs_sh、nf_conntrack這幾個(gè)依賴模塊都在。有些精簡版系統(tǒng)鏡像會(huì)裁掉這些模塊那就得先換內(nèi)核或裝對(duì)應(yīng)模塊包這一步不通過后面全是空談。第二是kube-proxy 的部署形態(tài)。是以 DaemonSet 跑在集群里還是以系統(tǒng)服務(wù)跑在宿主機(jī)上前者改配置相對(duì)簡單改 ConfigMap 重啟 Pod 即可后者要改節(jié)點(diǎn)上的配置文件并重啟服務(wù)回滾成本更高操作要更謹(jǐn)慎。兩種形態(tài)的配置路徑和生效方式完全不同搞混了會(huì)出現(xiàn)改了沒生效的迷惑現(xiàn)象。第三是集群里是否有依賴 iptables 規(guī)則做特殊攔截的組件。有些網(wǎng)絡(luò)插件或者安全組件會(huì)往 iptables 里插自定義鏈IPVS 模式下這些鏈的掛載點(diǎn)可能變化需要提前梳理。我遇到過某監(jiān)控組件依賴KUBE-SERVICES鏈做流量統(tǒng)計(jì)切 IPVS 后統(tǒng)計(jì)歸零后來改成從 IPVS 的統(tǒng)計(jì)接口取數(shù)才恢復(fù)。2. 改造方案設(shè)計(jì)與關(guān)鍵參數(shù)取舍2.1 整體切換思路先灰度后全量我的做法不是一把梭全集群切換而是先單節(jié)點(diǎn)灰度、再分批推進(jìn)。原因很直接kube-proxy 的模式切換會(huì)影響該節(jié)點(diǎn)上所有 Pod 的 Service 訪問一旦出問題影響面是整個(gè)節(jié)點(diǎn)而不是單個(gè)服務(wù)。灰度能把這個(gè)爆炸半徑控制住。具體節(jié)奏是挑一個(gè)非核心業(yè)務(wù)的節(jié)點(diǎn)把它上面的 kube-proxy 切成 IPVS觀察至少 24 小時(shí)重點(diǎn)看 Service 訪問成功率、新建連接延遲、kube-proxy 自身資源占用、以及 IPVS 轉(zhuǎn)發(fā)表的條目數(shù)是否與預(yù)期 Service 數(shù)吻合。確認(rèn)穩(wěn)定后再按批次比如每次 20% 節(jié)點(diǎn)推進(jìn)每批之間留出觀察窗口。這個(gè)節(jié)奏看起來慢但比全量切換后回滾要快得多——回滾一次全集群的代價(jià)遠(yuǎn)比多等幾天大。2.2 調(diào)度算法與轉(zhuǎn)發(fā)模式的參數(shù)選擇kube-proxy 的 IPVS 配置里有幾個(gè)參數(shù)值得掰開說。ipvs.scheduler決定調(diào)度算法默認(rèn)rr輪詢。如果你的后端 Pod 性能不均wrr加權(quán)輪詢配合權(quán)重更合適如果是需要會(huì)話保持的長連接場景sh源地址哈希能讓同一源 IP 的請(qǐng)求固定落到同一后端。但要注意sh在 NAT 環(huán)境下可能因?yàn)樵吹刂繁桓膶懚в弥暗么_認(rèn)網(wǎng)絡(luò)路徑。ipvs.strictARP這個(gè)參數(shù)控制是否開啟嚴(yán)格 ARP 模式默認(rèn)false。當(dāng) ClusterIP 和后端 Pod 在同一網(wǎng)段、且存在 ARP 沖突風(fēng)險(xiǎn)時(shí)建議設(shè)為true避免節(jié)點(diǎn)響應(yīng)不屬于自己的 ARP 請(qǐng)求導(dǎo)致流量錯(cuò)亂。這個(gè)坑我在早期項(xiàng)目里踩過表現(xiàn)為偶發(fā)的 Service 訪問超時(shí)抓包才定位到是 ARP 應(yīng)答搶答。ipvs.excludeCIDRs用來排除某些 CIDR 不走 IPVS 轉(zhuǎn)發(fā)典型場景是節(jié)點(diǎn)本地服務(wù)或者需要直連的網(wǎng)段。這個(gè)參數(shù)不設(shè)的話某些本地回環(huán)訪問可能被錯(cuò)誤地卷進(jìn) IPVS 轉(zhuǎn)發(fā)出現(xiàn)訪問不通的怪現(xiàn)象。參數(shù)默認(rèn)值推薦場景注意事項(xiàng)ipvs.schedulerrr通用場景長連接考慮 sh性能不均考慮 wrripvs.strictARPfalse同網(wǎng)段部署建議 true避免 ARP 搶答導(dǎo)致流量錯(cuò)亂ipvs.excludeCIDRs空有本地直連需求時(shí)配置排除后該網(wǎng)段不走 IPVSipvs.tcpTimeout0沿用內(nèi)核默認(rèn)長連接業(yè)務(wù)可調(diào)大過大會(huì)占用 conntrack 表ipvs.udpTimeout0沿用內(nèi)核默認(rèn)UDP 業(yè)務(wù)按需調(diào)整UDP 無連接狀態(tài)超時(shí)影響回收2.3 回滾預(yù)案的設(shè)計(jì)任何改造都要想好怎么退。IPVS 切回 iptables 的操作本身不復(fù)雜——把模式改回去、重啟 kube-proxy 即可但回滾的時(shí)機(jī)和觸發(fā)條件要提前定好。我給自己定的紅線是灰度節(jié)點(diǎn)上 Service 訪問錯(cuò)誤率超過 0.5% 持續(xù) 5 分鐘或者出現(xiàn)大面積連接超時(shí)立即回滾該節(jié)點(diǎn)。回滾前要保留現(xiàn)場ipvsadm -Ln的輸出、iptables-save的快照、kube-proxy 的日志這些是事后定位問題的關(guān)鍵。我習(xí)慣在切換前先跑一遍ipvsadm -Ln /tmp/ipvs-before.txt和iptables-save /tmp/iptables-before.txt回滾后對(duì)比差異能快速判斷是配置問題還是內(nèi)核問題。3. 實(shí)操過程從配置修改到驗(yàn)證落地3.1 環(huán)境預(yù)檢與內(nèi)核模塊加載正式動(dòng)手前先在目標(biāo)節(jié)點(diǎn)上做一輪預(yù)檢。這一步不能省我見過太多人直接改配置重啟結(jié)果 kube-proxy 起不來日志里報(bào)cant find ip_vs module回頭再補(bǔ)模塊中間服務(wù)已經(jīng)抖了一輪。預(yù)檢命令按順序執(zhí)行# 檢查內(nèi)核版本建議 4.19 以上 uname -r # 檢查 IPVS 相關(guān)模塊是否已加載 lsmod | grep -E ip_vs|nf_conntrack # 若未加載手動(dòng)加載并驗(yàn)證 modprobe ip_vs modprobe ip_vs_rr modprobe ip_vs_wrr modprobe ip_vs_sh modprobe nf_conntrack # 再次確認(rèn)模塊狀態(tài) lsmod | grep ip_vs # 檢查 ipvsadm 工具是否可用用于后續(xù)驗(yàn)證 which ipvsadm || echo ipvsadm not installed如果modprobe報(bào)模塊找不到說明內(nèi)核沒編進(jìn)這些模塊需要裝kernel-modules-extra之類的包或者換內(nèi)核。這一步過了再確認(rèn)ipvsadm工具在后面驗(yàn)證全靠它。注意模塊加載是臨時(shí)的重啟后會(huì)丟失。要持久化得把模塊名寫進(jìn)/etc/modules-load.d/ipvs.conf每行一個(gè)模塊名。別只modprobe完就以為萬事大吉節(jié)點(diǎn)一重啟又回到解放前。3.2 修改 kube-proxy 配置的兩種路徑配置修改分兩種部署形態(tài)路徑完全不同先確認(rèn)你的集群是哪種。DaemonSet 形態(tài)kube-proxy 以 Pod 形式跑在kube-system命名空間。配置在 ConfigMapkube-proxy里改mode字段為ipvs并按需補(bǔ)上ipvs段。改完 ConfigMap 后需要重啟 kube-proxy 的 Pod 讓配置生效——注意是重啟 Pod不是滾動(dòng)更新 Deployment因?yàn)?kube-proxy 是 DaemonSet直接kubectl rollout restart daemonset/kube-proxy -n kube-system即可。apiVersion: v1 kind: ConfigMap metadata: name: kube-proxy namespace: kube-system data: config.conf: |- apiVersion: kubeproxy.config.k8s.io/v1alpha1 kind: KubeProxyConfiguration mode: ipvs ipvs: scheduler: rr strictARP: true excludeCIDRs: [] # 其余字段保持原樣系統(tǒng)服務(wù)形態(tài)kube-proxy 以 systemd 服務(wù)跑在宿主機(jī)配置文件通常在/var/lib/kube-proxy/config.conf或/etc/kubernetes/kube-proxy-config.yaml具體路徑看你的部署方式。改完mode: ipvs后systemctl restart kube-proxy重啟服務(wù)。這種形態(tài)下沒有 ConfigMap 兜底改之前務(wù)必先備份原文件cp config.conf config.conf.bak回滾時(shí)直接覆蓋回去。兩種形態(tài)改完后都要確認(rèn) kube-proxy 日志里出現(xiàn)類似Using ipvs Proxier的字樣這是模式生效的直接證據(jù)。如果日志還是Using iptables Proxier說明配置沒被讀到檢查路徑和字段名是否寫對(duì)。3.3 驗(yàn)證 IPVS 轉(zhuǎn)發(fā)表與 Service 連通性配置生效后驗(yàn)證分三層轉(zhuǎn)發(fā)表、連通性、性能。第一層看轉(zhuǎn)發(fā)表。ipvsadm -Ln會(huì)列出所有 virtual service 和對(duì)應(yīng)的 real server。正常情況下集群里有多少個(gè) Service含 ClusterIP 類型這里就該有多少條 virtual service 記錄每條下面掛著對(duì)應(yīng)的后端 Pod 地址和端口。如果條目數(shù)明顯偏少可能是 kube-proxy 還沒同步完等幾十秒再看如果一直偏少查 kube-proxy 日志有沒有同步報(bào)錯(cuò)。# 查看 IPVS 轉(zhuǎn)發(fā)表 ipvsadm -Ln # 統(tǒng)計(jì) virtual service 數(shù)量與集群 Service 數(shù)對(duì)比 ipvsadm -Ln | grep -c TCP\|UDP # 查看某個(gè)具體 Service 的后端分布 ipvsadm -Ln | grep -A 5 10.96.0.10第二層看連通性。在節(jié)點(diǎn)上直接訪問一個(gè) ClusterIP 的 Service確認(rèn)能通再從 Pod 內(nèi)部訪問確認(rèn)跨節(jié)點(diǎn)也通。我習(xí)慣用curl打一個(gè)已知的 HTTP 服務(wù)配合-w輸出耗時(shí)順便看延遲是否正常。如果訪問不通先ipvsadm -Ln看該 Service 有沒有對(duì)應(yīng)條目再看后端 Pod 是否 Ready逐層排除。第三層看性能。對(duì)比切換前后的新建連接延遲和 kube-proxy 資源占用。我用的方法是ab或wrk對(duì)某個(gè) Service 壓一輪記錄 P99 延遲同時(shí)top看 kube-proxy 進(jìn)程的 CPU。正常情況下 IPVS 模式下 kube-proxy 的 CPU 應(yīng)該明顯低于 iptables 模式延遲抖動(dòng)也更小。3.4 灰度推進(jìn)與全量切換的節(jié)奏控制單節(jié)點(diǎn)驗(yàn)證通過后進(jìn)入灰度推進(jìn)。我的做法是按節(jié)點(diǎn)分批每批之間留觀察窗口。具體操作上如果是 DaemonSet 形態(tài)可以通過給節(jié)點(diǎn)打標(biāo)簽配合 nodeSelector 控制哪些節(jié)點(diǎn)先跑新配置或者直接分批重啟不同節(jié)點(diǎn)上的 kube-proxy Pod用kubectl delete pod指定節(jié)點(diǎn)上的那個(gè) Pod讓它重建時(shí)讀到新 ConfigMap。每批推進(jìn)后重點(diǎn)盯三個(gè)指標(biāo)Service 訪問錯(cuò)誤率、節(jié)點(diǎn)上ipvsadm -Ln的條目數(shù)是否與預(yù)期一致、kube-proxy 日志有無異常。這三個(gè)指標(biāo)穩(wěn)定 24 小時(shí)再推下一批。全量切換完成后別急著收工再觀察一周因?yàn)橛行﹩栴}比如長連接超時(shí)、conntrack 表滿需要時(shí)間才暴露。提示灰度期間如果發(fā)現(xiàn)某節(jié)點(diǎn)異?;貪L只需把該節(jié)點(diǎn)的 kube-proxy 配置改回iptables并重啟不影響其他已切換節(jié)點(diǎn)。這種按節(jié)點(diǎn)獨(dú)立回滾的能力是灰度策略最大的價(jià)值別為了省事跳過灰度。4. 常見問題與排查技巧實(shí)錄4.1 切換后 Service 訪問不通的排查路徑這是最高頻的問題排查要按層走別一上來就瞎改。我的排查順序是先看 IPVS 表有沒有該 Service 的條目再看后端 real server 是否健康最后看網(wǎng)絡(luò)路徑和 conntrack。如果ipvsadm -Ln里壓根沒有目標(biāo) Service 的條目問題在 kube-proxy 同步層——查 kube-proxy 日志有沒有Failed to sync之類的報(bào)錯(cuò)常見原因是 Service 的某些字段 IPVS 不支持比如某些特殊協(xié)議的端口名或者 kube-proxy 權(quán)限不足調(diào)不了 netlink。如果條目在但后端為空說明 Endpoints 沒同步過來查 Service 的 selector 是否匹配到 Pod、Pod 是否 Ready。如果條目和后端都在但訪問不通就要看 conntrack 和網(wǎng)絡(luò)路徑了conntrack -L | grep ClusterIP看有沒有異常狀態(tài)的連接tcpdump抓包看包到底走到了哪。現(xiàn)象可能原因排查命令處理方式IPVS 表無該 Servicekube-proxy 同步失敗查 kube-proxy 日志修復(fù)配置或權(quán)限后重啟有條目但后端為空Endpoints 未同步kubectl get endpoints檢查 selector 和 Pod 狀態(tài)條目后端正常但訪問超時(shí)conntrack 或網(wǎng)絡(luò)路徑問題conntrack -L、tcpdump清理 conntrack 或查路由偶發(fā)訪問失敗ARP 沖突或 strictARP 未開arping、查 strictARP 配置開啟 strictARP長連接頻繁斷開tcpTimeout 過短查 ipvs.tcpTimeout調(diào)大超時(shí)值4.2 conntrack 表滿導(dǎo)致的連接丟棄IPVS 依賴 conntrack 做連接跟蹤表滿時(shí)會(huì)直接丟新連接表現(xiàn)為偶發(fā)訪問失敗或新建連接超時(shí)。這個(gè)問題在 iptables 模式下也存在但 IPVS 模式下因?yàn)檗D(zhuǎn)發(fā)路徑變化暴露得更明顯。排查方法是conntrack -C看當(dāng)前條目數(shù)sysctl net.netfilter.nf_conntrack_max看上限。如果當(dāng)前數(shù)逼近上限就是表滿了。處理分兩步短期調(diào)大nf_conntrack_max長期優(yōu)化nf_conntrack_tcp_timeout_established等超時(shí)參數(shù)讓空閑連接更快回收。# 查看當(dāng)前 conntrack 條目數(shù)和上限 conntrack -C sysctl net.netfilter.nf_conntrack_max # 臨時(shí)調(diào)大上限重啟失效 sysctl -w net.netfilter.nf_conntrack_max1048576 # 持久化寫入 echo net.netfilter.nf_conntrack_max1048576 /etc/sysctl.conf注意調(diào)大 conntrack 上限會(huì)占用更多內(nèi)存按節(jié)點(diǎn)內(nèi)存量力而行。一般每 1 萬條目約占用幾 MB百萬級(jí)條目要預(yù)留幾百 MB 內(nèi)存別在小內(nèi)存節(jié)點(diǎn)上盲目調(diào)大。4.3 內(nèi)核模塊缺失與版本不匹配模塊缺失的表現(xiàn)是 kube-proxy 起不來日志報(bào)cant find ip_vs或failed to load ip_vs。前面預(yù)檢章節(jié)已經(jīng)講了怎么加載這里補(bǔ)充一個(gè)容易忽略的點(diǎn)模塊版本要和內(nèi)核版本匹配。有些節(jié)點(diǎn)升級(jí)過內(nèi)核但沒重啟uname -r顯示的是新內(nèi)核實(shí)際跑的還是舊內(nèi)核modprobe加載的模塊和運(yùn)行內(nèi)核不匹配會(huì)出現(xiàn)加載成功但功能異常的情況。確認(rèn)方法是對(duì)比uname -r和uname -a的輸出以及/lib/modules/$(uname -r)目錄是否存在。如果目錄不存在說明當(dāng)前運(yùn)行內(nèi)核沒有對(duì)應(yīng)模塊需要重啟到新內(nèi)核或者裝匹配的模塊包。這個(gè)坑比較隱蔽因?yàn)閙odprobe可能不報(bào)錯(cuò)但 IPVS 功能就是不對(duì)。4.4 從 IPVS 回退 iptables 的注意事項(xiàng)回退操作本身簡單但有幾個(gè)細(xì)節(jié)要注意。第一回退前先ipvsadm -C清空 IPVS 表避免殘留條目干擾第二回退后 iptables 規(guī)則會(huì)重新全量生成大規(guī)模集群下這個(gè)同步過程可能耗時(shí)幾秒到幾十秒期間 Service 訪問會(huì)有短暫抖動(dòng)要選低峰期操作第三回退后確認(rèn)iptables-save的規(guī)則數(shù)恢復(fù)到切換前的量級(jí)如果明顯偏少說明 kube-proxy 還沒同步完再等等?;赝撕髣e急著刪 IPVS 模塊留著不影響 iptables 模式運(yùn)行萬一還要再切回去省得重新加載。真正要清理的是那些為 IPVS 臨時(shí)加的 sysctl 參數(shù)如果確認(rèn)不再用 IPVS再考慮回滾這些參數(shù)。5. 我踩過的坑與實(shí)操心得5.1 strictARP 沒開導(dǎo)致的偶發(fā)超時(shí)這個(gè)坑值得單獨(dú)說。早期一次切換后Service 訪問出現(xiàn)偶發(fā)超時(shí)概率大概千分之幾抓包發(fā)現(xiàn)是節(jié)點(diǎn)對(duì)不屬于自己的 ClusterIP 做了 ARP 應(yīng)答導(dǎo)致流量被引到錯(cuò)誤節(jié)點(diǎn)。根因是strictARP沒開節(jié)點(diǎn)在 ARP 層面搶答了。開啟strictARP: true后問題消失。這個(gè)參數(shù)的作用是讓節(jié)點(diǎn)只對(duì)屬于自己的 IP 做 ARP 應(yīng)答避免同網(wǎng)段下的 ARP 沖突。如果你的集群節(jié)點(diǎn)和 Pod 在同一網(wǎng)段或者用了某些會(huì)廣播 ARP 的網(wǎng)絡(luò)方案強(qiáng)烈建議開啟。代價(jià)是幾乎沒有收益是消除一類隱蔽的偶發(fā)故障。5.2 調(diào)度算法選錯(cuò)導(dǎo)致的長連接抖動(dòng)默認(rèn)的rr輪詢在短連接場景很均衡但長連接場景下如果后端 Pod 數(shù)量變化擴(kuò)縮容輪詢會(huì)把新連接分到新 Pod而老連接還掛在老 Pod 上導(dǎo)致負(fù)載不均。我遇到過一次擴(kuò)容后新 Pod 幾乎沒流量、老 Pod 被打滿的情況就是rr在長連接下的典型表現(xiàn)。后來對(duì)長連接業(yè)務(wù)單獨(dú)用sh源地址哈希同一源 IP 固定落到同一后端擴(kuò)縮容時(shí)影響面可控。但sh也有代價(jià)——后端 Pod 數(shù)量變化時(shí)哈希映射會(huì)重排部分連接會(huì)重新分布所以擴(kuò)縮容要配合優(yōu)雅下線讓老連接自然結(jié)束。5.3 監(jiān)控指標(biāo)要跟著換切 IPVS 后原來基于 iptables 規(guī)則數(shù)做的監(jiān)控會(huì)失效因?yàn)橐?guī)則數(shù)驟降不代表異常。要補(bǔ)上 IPVS 維度的監(jiān)控ipvsadm -Ln --stats能拿到每個(gè) virtual service 的連接數(shù)、包量、字節(jié)量這些才是判斷轉(zhuǎn)發(fā)是否正常的依據(jù)。我習(xí)慣把ipvsadm -Ln --stats的輸出定期采集對(duì)比 Service 數(shù)量和連接分布異常時(shí)能快速定位是哪個(gè) Service 出了問題。另外 kube-proxy 自身的 metrics 里IPVS 模式下的kubeproxy_sync_proxy_rules_duration_seconds和kubeproxy_sync_proxy_rules_last_timestamp_seconds依然有效可以用來判斷同步是否及時(shí)。這兩個(gè)指標(biāo)在切換后要重點(diǎn)盯同步延遲變大往往意味著 kube-proxy 壓力上來了。5.4 節(jié)點(diǎn)重啟后的模塊持久化前面提過模塊加載是臨時(shí)的這里再強(qiáng)調(diào)一次。節(jié)點(diǎn)重啟后如果模塊沒持久化kube-proxy 起不來整個(gè)節(jié)點(diǎn)的 Service 訪問全掛。持久化方法是在/etc/modules-load.d/下建配置文件把ip_vs、ip_vs_rr、ip_vs_wrr、ip_vs_sh、nf_conntrack都寫進(jìn)去每行一個(gè)。這個(gè)文件在系統(tǒng)啟動(dòng)早期被讀取確保模塊在 kube-proxy 啟動(dòng)前就加載好。我現(xiàn)在的習(xí)慣是任何涉及內(nèi)核模塊的改造第一件事就是把持久化配置寫好再談其他。因?yàn)楣?jié)點(diǎn)重啟是遲早的事臨時(shí)加載的模塊撐不過一次重啟這個(gè)坑踩一次就夠記一輩子。6. 改造后的效果與后續(xù)可擴(kuò)展方向全量切換并穩(wěn)定運(yùn)行一個(gè)月后我復(fù)盤了幾個(gè)關(guān)鍵數(shù)據(jù)kube-proxy 的 CPU 占用從平均單核 40% 降到 8% 左右規(guī)則同步耗時(shí)從秒級(jí)降到百毫秒級(jí)Service 訪問的 P99 延遲抖動(dòng)明顯收斂。這些收益在 Service 規(guī)模繼續(xù)增長時(shí)會(huì)進(jìn)一步放大因?yàn)?IPVS 的轉(zhuǎn)發(fā)開銷不隨 Service 數(shù)量線性增長。后續(xù)可擴(kuò)展的方向一個(gè)是把 IPVS 的調(diào)度算法按業(yè)務(wù)類型做精細(xì)化配置比如在線業(yè)務(wù)用rr、長連接用sh、批處理用wrr通過 kube-proxy 的配置分段或者按命名空間做差異化另一個(gè)是結(jié)合 IPVS 的統(tǒng)計(jì)接口做更細(xì)粒度的流量觀測把每個(gè) Service 的連接數(shù)、包量納入監(jiān)控大盤替代原來基于 iptables 規(guī)則的觀測方式。這兩件事都不難難的是先把模式切換這步走穩(wěn)后面的優(yōu)化才有基礎(chǔ)。我個(gè)人在實(shí)際操作中的體會(huì)是kube-proxy 換 IPVS 這件事技術(shù)難度不高難在節(jié)奏控制和細(xì)節(jié)確認(rèn)。預(yù)檢做扎實(shí)、灰度不跳過、回滾預(yù)案想清楚這三件事做到位切換過程基本不會(huì)出大問題。真正容易翻車的地方往往是那些看起來不起眼的參數(shù)比如 strictARP和持久化配置比如模塊加載它們平時(shí)不顯山露水出問題時(shí)卻能讓整個(gè)節(jié)點(diǎn)網(wǎng)絡(luò)癱瘓。把這些細(xì)節(jié)提前想到、做到比事后救火省心得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香五月六月婷婷殴美综合| 黄网免费观看| 九九亚洲综合| 丁香五月天天哦| 极品人妻VIDEOSSS人妻| 欧美综合五月丁香五月天| 精品AV无码超碰| 玖玖精品视频| 国产精品久久99| AV中文在线| 新激情综合| 狠狠操狠狠操| 激情五月伊人婷婷| 久久码久久无清| WWW99热| 亚洲综人色综网| 最近免费中文字幕大全高清大全1| 台湾佬天天日丁香婷婷五月天| 天色色综合网| 99热在线播放| 色五月丁香婷婷在线观看| 久久最新色| 深爱激情五月天| 五月丁香五月天现场视频| 中文字幕婷婷在线| 综合婷婷| 思思热视频| 99re视频在线播放| 久久久91精品| 一级性爱视频| 超级黄色片| 日本色色色| 色五月色综合| 国产激情AV| 国产偷人爽久久久久久老妇APP| 久久偷拍综合五月天| WWW.99热| 97久久超级| 九九色色| 五月丁香免费看| 久久曰曰| 丁香久久九九99| 色色色色网| 久久66成人网站| 91碰超| 免费视频WWW在线观看网站| 天天日本夜夜谢| 久久停停超碰| 国产伊人大香蕉| 婷婷六月啪啪| 99热资源在线| 少妇人妻综合色6699| 久久婷婷伊人| 狠狠久综合| 欧美日综合| 中文AV网站| 热99国产精品| 丁香五月停停基地| 中文字幕91,综合| 国产乱人偷精品人妻A片| 天天综合精品| 五月天婷婷丁香社区| 五月色在线| 草榴视频黄色网| 激情五月小说婷婷| 丁香五月婷婷激情尤物| 丁香婷婷婷五月| 人人草成人视频| 午夜成人在线免费视频| 性爱网五月婷婷| 五月丁香| 人人综合久| www,五月天激情| 天天想夜夜爽天天爽| 久草嫩草在线观看| 狠狠色 综合色区| 超碰碰碰碰| 五月丁香六月激情综合欧美| 少妇久久诱惑视频| 永久思思热在线| 日韩xx在线| 久久综合99综合| 天天色宗合| 久久五月丁香婷婷| 激情综合国产| 操人精品| 一级性感毛片| 色综啪啪| 丁香花社区av| 1024在线一区| 国产精产国品一二三在观看| 99热色精品| 欧美在线操| 五月天婷婷亚洲| 5月婷婷激情6月| 婷婷久久综合| 色综合色五月| 综合色婷婷| 中文字幕1区2区。| 亚洲愉拍99热成人精品| 五月丁香久久| 色综合色五月| 色色色婷婷五月| 天天干天天干天天操| 亚洲爱爱无码婷婷色五月| 久草婷婷| 色色操| 五月婷六月| 黄色成人AV在线| 少妇人妻偷人精品无码视频新浪| 婷婷五月天丁香| 色情综合网| 97色色色| 98永久精品| 在线1青婷| 九九机热| 女人天堂 AV| 亚洲综合在线丁香五月| 天天操天天谢| 综合网五月天123| 五月丁六月香av| 婷婷九月久久| 亚州成人综合在线| 五六月婷婷久久| 中文字幕丰满孑伦无码专区| 九九九九操逼| 婷婷丁香色五月天| 国成人网| 色五月色情| 97操碰人免费| 色噜婷婷| 久草丁香婷婷五月天婷| 国产五月天婷婷| 色色色在线观看| 超级碰碰视频无码| 人人干人人操外国| 六月婷色| 性一交一乱一交A片久久四色| 玖玖婷婷色| 国产超碰av| 色婷婷狠狠久久综合五月| 五月天久久色| 色色色五月天激情资源| 亚洲AV无码影院| 成人网丁香五月| 玖玖色资源| 99热日本精品| 久久久久网站| 99久久婷婷| 大香蕉九九| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 欧美综合五月天婷婷tin| 日韩免费视频| 国产av第一专区| 久久综合图片| 99色在线观看视频| 日韩人妻无码专区| 99人这里只有精品| 亚洲色综合性| 婷婷 色 丁香 夜| 九九在线精品| 婷婷中文无码| 97自拍视频在线| 搡BBBB搡BBB搡五十| 一起草AV入口| 婷五月天六| 国产色99| 超碰99在线观看| 凹凸7777操操操| 色婷婷婷av| 婷婷五月天777| 五月色欧美| 99视频精品8| 激情小说视频图片网| 直接看的AV| 天堂综合久| 婷婷五月天成人网| 在线视频婷婷| 99久久精品国产色欲| 狠狠综合网| 九九精品在线视频观看| 亚洲麻豆乱码国产2028| 婷五月丁香俺| 久久婷婷欧美| 99综合色| 激情五月天电影| 色综合伊人网| 色约约视频一区二区三区四区五区 | 色婷婷婷婷| 99热免费观看| 蜜乳AV成人| 熟女网站久久| 天天狠狠色噜噜| 99热这里只有精品86| 五月丁香六月婷婷久久肏| 很很干天天干| 97成人在线视频| 丁香婷婷色色| 99热精品一区| 久久伦乱| 久久艹 五月天| 99精品女人天堂| 五月婷婷六月丁香| 99在线精品视频免费观看20| 97超碰人人操| 任你弄在线视频免费| 中文字幕97超级碰| 色五月丁香激情视频| 天天舔天天摸天天透| 九月综合| 五月天久久婷| 99色在线视频| 亚州色婷婷| 夜夜骑操AV| 美女美女美女三级色天天天天天| 五月香婷婷| 婷婷丁香成人色综合| 五月天综合久久丁香91| 五月天激情Av| 99久视频| 国产亚洲AV人片在线| 久草性爱| 五月婷婷久| 91狠狠综合久久| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 色情五月天A片| 五月天大香蕉| 亚洲无码AV片| 色欲丁香久久| caop在线| 久久婷婷的综合色丁香五月| 五月丁香直播| 亚洲免费99| 国产真实乱了老女人视频| 18久久| 五月婷婷丁香成人网| 亚洲天码视频www蛋播视频| 五月婷婷AV| 欧美久久久中文字幕| 久热婷婷| 天天爽天天干| 91在线97视频| 亚洲精品乱码久久久久久综合| 色五月天婷婷| 婷婷丁香熟女| 激情网五夜婷婷| 日日操,夜夜爽| 色色五月天婷婷| 久久香视频| 亚洲一色色色色色色色色| 婷婷丁香五月色| 国产成人精品一区二三区熟女在线| AV成人在线播放| 九九热在线视频,| 五月丁香六月婷综合成人综合| 超碰操日| 天天操天天操天天操| 久婷婷久草| 丁香激情四射| 欧美色偷偷大香| 五月天五月色婷婷综合| 久碰久| 婷婷性爱| 欧美熟妇一区二区三区| 婷婷五月激情片| 久久香蕉影院| 亚洲色图五月丁香| 亚洲热视频在线| 成人无码精品1区2区3区免费看| 操一区| 综合网亚洲| 人人摸人人干| 射琪琪| 五月天激情啪啪| 极品人妻VIDEOSSS人妻| 97五月天婷婷午夜| 丁香五月欧美| 日本熟女视频一区二区| 婷色五月| 丁香五月影视| 丁香婷婷六月天| 热九九九九| 九九热视频免费| 色综合五月天| 久久这有这里精品| 97天堂| 久久久婷| 婷婷免费视频| 天天久久66xxx| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 91碰免费视频| 婷婷香香五月| 91婷婷色 | 26uuu最新地址| 99亚洲天堂| 九九婷婷五月天| 99九九玖玖| 五月丁香成人| 爽tv | 亚洲色区17| 97婷婷五月天| 激情深爱五月婷婷| 91操操| www.色五月| 日本99视频| 日本91在线| 人妻体体内射精一区二区| 北条麻妃九九九国产精品视频| 艹B高清无码| 久久在线视频免费观看| yazhochengrenavwang| 亚洲综合久| 久久99jiu9| 热99re| 国产成人精品一区二三区熟女在线| 久久精品爱爱| 国产精产国品一二三在观看| 激情校园 亚洲| 五月天偷拍| 991精品在线视频| 99热免费在线| 色激情五月| 九九精品在线观看视频6| 任我干视频在线观看| 丁香六月天婷婷开心综合| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 青柠影视免费高清电视剧| 天天 日综合| 九九热精品| 人人爱天天摸摸天天爱| 五月色网| 免费在线a| 成人网址在线观看| 亚洲啪啪视频| 另类图片五月天| 99这里只有免费的精品| 97爱艹婷婷开心丁香激情综合| 欧美婷婷五月| 免费亚洲成人电影AV| 9久国产| 五月婷婷激情久久| 九九热精品视频| 妻久久久久| 色色三级视频| 五月婷婷啪啪啪啪| 久久精品63| 色婷婷亚洲精品天天综| 男人综合网| 久久精品无码一区| 啪色综合| 丁香婷婷激情综合五月激情| 久久久天堂国产精品女人| 99 这里只有精品| 欧美成人在线观看| 天天操夜夜操| 婷婷丁香五月天婷婷| 国产在线aaa片一区二区99| 99re这里只有精品首页| 亚洲视频国产一区| 婷婷丁香久久| 午夜无码精品色综合久久| 国产91在线视频| 天天摸天天舔天天天天爽| 婷婷五月综合久久中文字幕| 夜夜操夜夜操| 99热99热| 六月婷婷激情| 欧美色97| 五月总合激情网| 久久久久久久11111111111| 五月丁香777| 91九色视频| 裸睡玩奶头(高H)| 婷婷五月成人系列| 日本99热| 日韩精品视频中文字幕| 久久免费操| 99久久黄色顶级视频| 久久婷综| 开心激情网在线| 亚洲色五月天是什么| 色婷婷无吗| 亚洲人妻电影| 91九色欧美| 四色永久成人网站| 狠狠干无码| 天天艹天天综合网| 婷婷六月久久| 丁香激情网| 婷婷丁香激情综合色情| 99热18| 亚洲婷婷性爱| 日本综合色色| 天天天操天天天日| 五月天伊人av| 操逼三区| 激情亚洲五月| 9月色婷婷| 色情·com| 超91热| 久久久久亚洲AV成人无码电影| www.狠狠操.com| 六月激情婷婷综合| 天天草女人| 欧美婷婷日本| 亚洲欧美一区二区三区四区爱爱动图| 久久综合中文| 最新久久99视频网站| www色婷婷| 婷婷99狠狠躁天天躁中| 五月天开心色色网| 天天做天天爱天天高潮| 曰日爽日日操| 五月天婷婷色播| 九九re精品视频在线观看| 婷婷情色开心五月天99| 天天狠狠夜夜狠狠2023| 五月丁香色六月激情干大屄| 天天色综合色| 婷婷色婷婷| 激情婷婷网| 风流少妇A片一区二区蜜桃| 伊人久久大香蕉网| 五月婷婷六月丁香综合| 久草五月天电影网| 国产av基地| 亚洲中文字幕翔田千里| 欧美成人精品A片免费一区99| 色99自拍| 99热这里只有精品4| 丁香六月成人网| 操碰91| 激情伊人网| 九九色婷| 久久9视频| 丁香久久五月婷综合| 丁香五月婷婷色播艳门照| 久婷婷五月激情| 97色综合视频| 综合久久五| 久久女婷| 九九青青草成人| 五月久久婷婷成人网| 狠狠色狠狠色综合日日91| 五月婷在线观看| www.99热精品99.com| 无码少妇高潮喷水A片免费| 99黄色性生活| 精品色情一区二区三区四区| 欧美色99| 色七七九九| 国产性爱色| 色婷婷六月| 超碰人人色| 九九热re99re6在线精品| 热99AV网站| 干婷婷五月天| 五月婷婷丁香五月亚洲色| www,色婷婷| 五月花激情网| 五月婷婷亚洲色图| 在线色婷婷| 亚洲激情网| 婷婷香五月天| 国产精品日日躁夜夜躁| 色综合性视频| 五月www| 开心五月激情| 深爱丁香网| 日韩欧美一级大黄网站| 色五月成人| 国产白丝在线一区| 99激情网| 午夜大香蕉| 99色色网| 婷婷导航| 色婷婷婷av | 99re思思久久| 久色欧美| 日婷婷久久开心| 六月天丁婷婷| av中文网站| 婷婷激情五月天在线| 婷婷丁香五月激情图片| 色婷婷狠狠色| 五月激情婷婷开心| 99这里有精品视频视频| 丁香婷婷深情五月亚洲| 五月婷婷色色| 欧美日本VA| 看婷婷五月天网| 淫视馆aV二区一区| 成人视屏在线观看| 五月丁香六月婷婷亚洲天堂网站| 免费的日逼视频| 99极品视频| 狠狠va| 丁香五月综合在线| 激情丰满熟妇五月| 欧美VA在线观看| Www.狠狠| 亚洲激情综| 中文字幕av久久爽一区| 丁香六月婷婷| 嫩草AV久久伊人妇女超级A| 久久五月婷6 9| 久久人人添人人爽添人人片αV| 伊人久久大香线蕉精品| 色五月激情问网站| 开心五月婷婷婷美女| 色婷天天| 深爱五月综合网| 影音先锋 91工厂| 另类视频丁香五月| 国产精品美女| 涩涩涩五月天| 99精品久久| 日韩色色色色| 色播五月丁香综合| 色五月婷婷大香蕉| 草综合网| 五月激情视频网| 成人丁香婷婷五月天| 日本色狠狠| 九九婷婷综合| 六月婷婷五月丁香| 亚洲成人av在线观看| 97热久久五月婷婷| 久久五月天精品视频| a v色婷婷| 丁香婷婷啪啪啪| 亚洲狠狠干| 性爱网五月天| www,天天干| 这里只有精品99视频| 激情五月天色爱| 激情五月天小说网| 99久久网站| 亚洲精品视频在线| 91日本在线免费| 婷婷射丁香| AV天堂淫乩| 色五月婷婷五月天激情综合| 深夜男女福利刺激影院一区完整| 少妇性按摩无码中文A片 | 熟女人妻一区二区三区免费看| 超碰99热精品在线| tingtingseav| 成人片在线免费看| 日本久久人| AA久久| 69久久99精品久久久久婷婷| 日日夜夜天天| 人人操人人妻| 五月婷婷六月丁香综合| 99热这里有精品24| 亚洲视频操| 婷婷久久五月天| 日本网站久久| 丁香午月AV中文字幕| 亚洲欧州色情在线观看| 丁香五月色情| 婷婷五月激情在线| 久久狠狠欧美| 五月婷婷六月丁香色| 天天干狠狠| 日韩熟女啪啪视频| 91porn一起草| 安息电影在线观看完整版| 天天爽,夜夜爽| 婷婷色六月| 婷婷六月天| 五月天天天综合| 激情五月天综合| www.五月.com| 老师把我爽高潮了免费A片| 亚洲激情淫网| 五月婷婷综合在线| 丁香六月在线综合| 狠狠色丁香| 韩国天天婷婷| 噼里啪啦在线观看免费完整版视频| 久久天堂婷婷五月| 天天爱天天做综合| 性爱久久| 久月久在线视频| 婷婷丁香熟妇综合网| 国产色99| 蜜桃人妻无码AV天堂三区| 香蕉色色网| 色七色九九| 五月天综合影院| 日韩视频99| 98热精品| 激情五月色综合国产精品| 免费AV播放| 99久久婷婷综合| 美女va| 久久精品色| 五月天激情小说欧美激情| 色婷婷亚洲婷婷| 丁香婷婷五月色成人网站| 乱轮A片| 久久久婷婷| 中文字幕无码成人电影| 丁香五月天激情综合网| 激情五月婷婷| 91爱操| 激情六月综合| 亚洲精品又粗又大又爽A片| AV在线免费播放| 色导航色婷婷五月天在线观看| 亚洲亚洲人成综合网络| 97自拍视频在线| 思思热视频在线| 亚洲狠狠丁香婷婷香蕉| 99re热| 丁香五月色| 九九热精品99| 五月丁香六月婷婷在线播放| 精品一二三区久久AAA片| 日韩成人av在线| 九九精品热| 亚洲无码影音| 九九热在线观看6| 久久婷网| 亚洲一区二区无遮挡A片| 2025年最新亚洲在线欧美| 天堂无码人妻精品AV一区| 亚洲国产婷婷色五月| 九九这里是免费的视频5| 成人午夜在线视频| 婷婷五月天开心网| AⅤ在线播放网| 五月天婷婷永久免费视频| 欧美激情五月天| 国产亚洲在线观看| 亚洲成人免费电影| 玖玖爱资源站| 激情久久久久久| 91精品久久久久久久久| 天天摸夜夜夜| 人人综合色| 五月丁香婷婷伊人| 久久婷婷六月综合综合| 亚洲性受XXXX五月丁香| 激情五月天婷婷丁香| 天天久| 久久激情五月| 久月丁香爱婷婷综合| 丁香六月婷| 日本一级一级一级一级| 色五月综合网| 久久香蕉网| 噜噜五月天综合| 欧美成人精品三区综合A片| 婷婷基地成人五月天| 天天插天天插| 激情综合网五月天天| 激情综合色| 五月婷婷丁香深深爱| 亚洲高清在线| 俺来也综合网精品一区| 丁香五月av| 婷婷的激情五月| 大香蕉婷婷| 热久久99视频| 激情五月婷婷| 深爱五月日韩| 777久久久| 天天干天天干天天干| 182TV大香蕉| 日韩av在线免费观看| 99热日| 丁香伊人网| 日本99热| 熟女激情网| 亚州视频九九99| 久久91久久精品久久| 五月天俺去也| 激情综合婷婷久久| 丁香五月先锋| 中文字幕在线日亚州9| 丁香五月六月| 五月婷高清视频| 精品欧美性爱超级爽| 色综合色综合网| 97艹| 日韩成人AV在线| 丁香色六月| 桃色五月天| 偷拍视频五月天| 丁香av网| 五月婷婷深深爱| 久久久久久久久久8888| 六月丁香婷| 婷婷激情丁五月| 噜噜五月天综合| 夜夜大香蕉婷婷丁香| 婷婷性爱| 精品香蕉99久久久久网站| 99热无码| 在线婷婷| 成人国产欧美大片一区| 婷婷va| 欧美婷婷丁香五月社区| 国产伦亲子伦亲子视频观看| 亭亭五月基地在线| 91久久久久久久| www..com色爱| 青青草婷婷久久| 91丨九色丨白浆秘| www.激情五月天.com| 激情五月天天| 综合网啪| 久月丁香爱婷婷综合| 国内自拍97在线| 亚洲午夜电影| 亚洲第一色色色色| 婷婷五月天性爱视频| 丁香婷婷五月综合色情| 伊人六月丁香婷婷| 91在线看免费 九九九九| 天天插天天插天天插天天插| 五月天五月婷五月激情网| 超碰在线中文字幕| 99热在线观看| 九九99视频| 操碰91| 综合久久五| 色色色色五月天| 五月天激情婷婷五月天久久| 婷婷五月色图| 人妻丰满精品一区二区A片| 色色色色色综合| 操一区| 99久久超级| 97碰在线| 天天操天天草天天草天天| 九九热视频99| 丁香狠狠干| 99天堂网| 这里精品| 色久在| 色五月婷婷激情基地| 人人播| www色五月| 五月丁香日本片| 国产色香蕉精品五夜婷| 丁香五月社区| 激情五月综合亚洲另类| 开心深爱五月天| 操逼国产91| 成人做爰高潮A片免费视频| 2025年最新亚洲在线欧美| 久久97| 色婷婷色综合| 国外亚洲成AV人片在线观看| XX久久| 狠狠干 狠狠操| 久久久婷| 91viP在线看| 丁香婷婷视频一区二区| 亚洲精品va| 婷婷五月丁香色综合| 婷婷丁香六月| 五月婷婷丁香啪啪| 婷婷五月开心中文字幕色| 人人妻人人澡| 超级碰碰99| 国产亚洲精品久久久久久郑州| 91色逼| 99九九精品视频| 色婷婷久久综合久色| 色色五月婷婷久久| 熟妇国产| 被强行糟蹋的女人A片| 97碰碰在线看视频免费| 蜜乳中文字| 99这里只有免费的小视频在线观看| 9精品视频在线观看| www超碰com| 色五月综合| 色五月天在线观看| 亚洲婷婷丁香五月在线| 另类专区在线观看| 三区激情四射av| 影音先锋一区| 日本三级网址| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 精品久久久91久久影视网| 激情小说五月天| 丁香五月天婷婷激情| 亚洲综合狠狠艹| 五月亚洲激情| 婷婷午夜| 亚洲国产网站| 激情综合视频| 婷婷成人基地| 丁香五月激情婷婷| 色噜噜狠狠色综合日日| 久色五月丁香视频| 色五月女| 婷婷五月噜噜| 色色aⅤ網| 这里只有精品视频国产| 天天久综合网永久入口17v| 1024成人在线观看| 野外99热| 亚洲九N| 激情小说五月天| 超碰91人人操| 深爱五月激情综合| 色情综合| AV在线观看网站| 欧美超级视频97| 国产首页在线| 丁香五月天堂婷婷| 色色欧美。| 国产毛片精品一区二区色欲黄A片| 亚洲高清在线| 丁香激情网| 99久久婷婷国产综合精品草原| 五月色婷婷综合| 婷婷九月色| 99无码超碰| 激情五月天啪啪| 久久久无码精品成人A片小说 | av在线色五月丁香婷区久| 久久xx| 这里都是精品99| 天堂成人A片永久免费网站| www.婷婷,com| 国产av天天插天天操天天爽| 婷婷激情社区| 激情综合色图| 亚洲天天操| 综合网激情五月天| 在线日韩av| 久久99综合网| 婷婷丁香午夜综合影视| 婷婷丁香成人| 激情婷婷五月女| 天天草天天摸| 2050人人操免费工开爱 | 能看的av片| 国产精产国品一二三在观看| 五月色情网| 性av| 超碰九色| 欧美性生交XXXXX无码小说| av高清无码| 国产黄色在线| 97综合视频在线| 99艹精品在线观看| 亚洲综合99| 五月伊人网| 无码色色色色色| 五月丁香婷婷无码中文| 亚洲亚洲激情| 久久这里99| 开心五月深爱婷婷| 色情五月综合婷婷| 久婷婷婷| 亚洲精品大片| 国产精品天天狠天天看| 欧美A A A A A| 久久精品天| 激情亚洲婷婷| 婷婷射丁香| 久热久色| 久热这里精品免费| 思思国产99| 色色色综合网| 丁香久久五月婷综合| 亚洲成人网站在线观看| 日韩成人免费电影| 久久免费精彩视频| 色图亚洲91| 91综合在线观看首页| 丁香婷婷五月综合影院| WWW,激情五月天,COM| 久久香蕉婷婷五月天| 日本激情综合| 五月婷婷黄色| 少妇做爰免费视看片| 热99视频精品在线| 亚洲 欧洲 国产 伦综合| 久99久99精品免| 九九色热| 日韩按摩二区| 欧美Va日本Va| 婷婷色网| 日韩精品AV一区二区三区| 伊人激情综合| 色色色婷婷五月| 色色色综合视频| 99热亚洲精品| 欧美婷婷精品激| 六月丁花香啪啪激情欧美| 久久综合丁香激情五月| 91丁香五月| 第四色婷婷丁香五月| 丁香月五月天婷婷久久| 久久97| 国产综合视频婷婷| 色婷亚洲五月丁香| 666555。COm毛片| 五月丁香在线| 大香蕉五月婷婷| 丁香伊人激情| 日日夜夜婷婷| 国庆精品久久| 大香蕉视频婷婷| 久久这里99| 色婷婷色情| 爆乳熟妇一区二区三区四区| 夜夜天天天天天干天天爽| 色综合天天网| 五月天婷婷成人| 激情婷婷丁香五月天| 噼里啪啦完整版中文在线观看| 97操在线资源| 丁香五月 综合| 日日干天天爽| 久久九色| 99久久亚洲国产| 超碰人妻在线| 夜夜夜叫天天天做| 99热碰碰热| 丁香五月欧美婷婷综合| 97人人做| 成人精品99| 啪啪操超碰| 婷婷九月丁香中文| 亚洲色情激情丁香五月| 亚洲国产成人裸舞| 97色婷婷| 91传媒无码人妻精| 99视频久久| 天天日天天做天天操| 久久综合五月天| 日本色啪| Av狠狠色丁香婷| 日韩aaaaa| 国产看真人毛片爱做A片| 久久婷婷的综合色丁香五月| 26uuu青青| 小视频久久久aaa| 色99视频| 五月天丁香成人社| 99在线国| 久久久网站| 91九色欧美| 丁香五月天激情小说| caop在线| 四射综合网| 五月天成人在线视频丁香| 色婷婷综合亚洲| 丁香六月婷婷操逼网| 综合亚洲六月婷婷在线| 九九色热| 国内一级片| 婷婷久久综合| 99热这里只| 黄色三级毛片中字| 亚洲婷婷在线播放十月| 天天色视频| 蜜桃人妻无码AV天堂三区 | www九九热| 99狠狠| 欧洲免费视频色| 丁香五月自拍| 九洲一级A片| 亚美欧色影院| www免费在线视频| 日韩免费乱轮网站| 色你久久| 久久色午夜在线导航| 成人五月天在线视频在线观看| 四虎成人精品永久免费AV九九| 99久久終合| 天天日夜夜操五月| 啪啪一区| 天天操中文字幕| 91精品综合久久久久久五月丁香 | 99热偷拍| 久久999久久999久久999久久| 欧美五月婷婷综合| 丁香五月激情月| 色无码| 久久女人天堂| 色色色色综合| 五月激情婷婷偷拍| 天天撸夜夜爽| 国产伦亲子伦亲子视频观看 | 色婷婷成人做爰A片免费看网站 | 91久久电影| 五月婷婷亚洲色图| 管管補管管紱| 99热9999| 99在线精品视频| 色婷婷88| 亚洲 欧洲 国产 伦综合| 亚洲五月色| 99热8在线| 俺五月| 五月婷婷色播视频| 丁香五月骚喷水视频| 婷婷五月精品中文字幕| 亚洲视频1区| 亚洲成人噜噜| 五月婷无码| 天天射射夜| 亚洲妇女熟BBW| 天天插天天插天天日| 99色性爰网络| 亚洲综合色婷婷| 婷婷丁香五另类网站| 色哟哟www| 9久久婷婷国产综合精品性色| 97人妻碰碰碰久久| 中文av网| www一起操在线观看| 噜噜在线| 97婷婷在线| 天天综合精品| 99热新网址| 97热精品| 婷婷久久五月天丁香| 噜噜色五月| 国产成人av在线播放| 五月婷婷色影院| 一级性感黄色内射视频| 丁香色综合| 亚洲综合婷婷五月| 亚洲精品无码久久| 丁香五月激情啪| 超碰99久久| 午夜丁香婷婷| 婷婷丁香18| Av狠狠色丁香婷| 五月激情小说| 色欲日日躁| www,婷婷,com| 五月婷婷婷婷婷| 热久久婷婷| 丁香婷婷视频在线| 91久久久久久久久久| 99热这里只有精品免费观看| 婷婷激情四射五月天| 亚洲激情综合| 九九99精品视频| 久热99| 精品无码av丁香五月激情| 九九色色| 高清无码中文字幕aVDV| 激情六月婷婷啪啪| 综合色激情| 啪精品| 婷婷 丁香 精品| 婷婷欧美综合| 五月丁香综合激情| 激情婷婷五月天伊人在线观看| 亚洲无码影音| 久久99热这里只有精品| XX久久| www激情| 管管補管管紱| 亚洲日本三级片| 婷婷深爱五月天| 国产67194| 97人人草| 开心五月激情五月丁香五月婷婷| 久久久久久久久久久久63| 狠狠色丁香婷婷久久综合| 五月激情综合网| 五月亭亭直播| 久久在线人妻| 免费超碰在线| aa久久| 婷婷五月天天| 伊人九热| 婷婷五月天综合AV| 婷婷激情五月天7| 亚洲中文字幕AV在线| www.com五月天| 天堂网啪啪| 69精品人人人人| 婷婷六月丁香色| 免费日本aⅴ中文字幕| 96精品久久久久久久久| 99婷婷五月天| 99re8热精品免费视频| 色色哒五月婷婷六月丁香| 欧美日韩成人免费在线| 婷婷久久综合| 天天夜夜爽| 欧美综合五月丁香六月婷| 国产激情视频在线观看| 开心五月色婷婷综合开心网| 狠狠色婷婷7| 婷婷五月在线视频| 久久机热这里只有精品| 人妻在线观看视频| 欧美综合五月丁香六月婷| 99er6| 99国产99| 在线色色| 婷婷天天综合| 91 原创 在线 九色| 九九热在线视频| 婷婷99狠狠躁| 欧美黑人大吊| 九九爱激情| 生活片五区| 狠狠色丁香婷婷基地| 26uuu偷拍亚洲欧洲综合| 丝袜大香蕉| 婷婷五月丁香香蕉| 五月婷婷丁香成人网| 色九四色| 色色色干| 色五开心五月五月深深爱| 丁香 久久| 成人免费120分钟啪啪| 五月天婷婷丁香六月| 无码人妻电影| 亚洲人操亚洲人| 欧美日综合| 五月宗合激情网| 五月婷婷六月丁香| 色五月天 丁香| 丁香六月婷婷色XXXXX| 欧美爆乳一区二区三区| 色色五月天丁香| 欧美天堂婷婷日韩| 婷婷五月天久久久| 九九综合久久| site:wpjngj.com| 97超级操操| 六月婷婷色综合| 囯产精品久久欠久久久久久九大| 性爱在线播放av| 日本3级片一区2区| 婷婷中文字幕欧美| 久久HD| 久久婷婷五月综合伊人| 色五月激情问网站| 色综合视频| 国产美女无遮挡裸体毛片A片| 99久在线| 五月天婷婷无码视频| 色婷婷五月天天天天天| 最新日韩久热免费视频看看| 成人午夜天| AV色婷婷| 热成人网| 天天插综合在线| 九九色大香蕉| 碰99在线| 丁香九月激情| 久久五月天色婷婷| 五月婷婷我| 五月婷婷新网站| 欧美激情中文字幕| 欧美97超碰| 色婷婷综合网| 国产成人av在线播放| 欧美色爱五月天| 丁香婷婷五月天亚洲| 久久狠狠干| a毛片二逼wwwwwwwwww| 少妇AB又爽又紧无码网站| 色五月天激情| 成年人丁香五月| 五月丁香基地| 久久国产性爱A V| 欧美色久| 亚州综合色| 亚洲午夜国产成人电影VA国产欧…| 精品久久艹| 91seav| 日欧大屏操| 玖玖资源站蜜臀| 一本久久亚洲五月婷婷| 日韩啪啪网| 五月婷婷中文字幕| 丁香五月激情欧美| 九九Av| 丁香婷婷六月| 成人av在线电影| 丁香婷婷色情| 丁香午夜天| 久久aaaa片一区二区| 久久五月丁香综合17C| 高清无码.com| 五月天婷婷色在线视频免费观看 | 天天爽天天操| 99精品视频偷拍| 一本色道久久综合狠狠躁小说| 亭亭五月天黑人2014| 久久婷婷欧美| 日本精品。999| 67194成I人在线观看线路1| 影视av久久久噜噜噜噜噜三级| 婷婷影院欧美| 精品9l九九九九九77777| 人妻日日日| 国产精自产拍久久久久久蜜| 五月天另类激情在线| 婷婷综合五月| 九九视频在线观看| 婷婷狠狠干| 啄木鸟丝袜美女福利视频| 亚洲婷婷开心五月| 激情丁香久久| 国产欧美日韩性爱| 入口五月婷婷六月香| 五月天堂色| 欧美啪啪9| 亚洲成人中心| 天天操五月天| 9999综合99综合人| 五月九九综合| 丁香五月影| 九色在线五月婷婷网址| 日韩国产在线精品| 色色色激情网| 五月丁香花成人社区| 97精品人人A片免费看| 熟妇内谢69XXXXXA片| 中字幕视频在线永久在线观看免费| 激情四射网| 九九久久五月天| 久热亚洲| 亚洲不卡| 成人视频一区| 青草五月天| 五月激情小说| 色五月激情网| av中文在线| 另类少妇人与禽zOZZ0性伦| 成人做爰A片免费看视频| 欧美三9久九观看| 久久九九99视频| www.韩日视频| 婷婷中文综合网| 五月丁香啪啪网| 八戒青柠影视剧在线观看| 欧洲色区| AA片在线观看视频在线播放| 97caop| 99热10在线高清播放| 伊人大香久久| 色五月97| 99黄色在线视频精品熟女| 久久婷婷网| 深夜男女福利刺激影院一区| WWW.夜夜操.com| 五月人人丁香婷婷五月人人丁香| 最新五月天婷婷影| 综合图区激情| 久热A| 五月婷婷丁香| 婷婷五月激情欧美|