欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Kubernetes集群Pod CIDR與Service CIDR在線修改實(shí)戰(zhàn)指南

Kubernetes集群Pod CIDR與Service CIDR在線修改實(shí)戰(zhàn)指南 1. 動(dòng)手前必須想清楚的事:為什么要改Pod CIDR和Service CIDR先說個(gè)現(xiàn)實(shí)情況:Kubernetes集群的網(wǎng)絡(luò)地址段,最佳的調(diào)整時(shí)機(jī)是在集群創(chuàng)建之前。但實(shí)際運(yùn)維中,總有各種原因讓你不得不在集群運(yùn)行起來之后去動(dòng)這兩個(gè)網(wǎng)段。我自己碰到過的場(chǎng)景大概這么幾類:集群創(chuàng)建初期網(wǎng)段規(guī)劃拍腦袋定得太隨意,結(jié)果Pod一多就把網(wǎng)段地址耗盡;或者是公司網(wǎng)絡(luò)策略調(diào)整,原來用的10.x網(wǎng)段和公司內(nèi)部其他系統(tǒng)的網(wǎng)段沖突了;還有的是多集群統(tǒng)一管理需求,每個(gè)集群的網(wǎng)段必須要納入統(tǒng)一規(guī)劃,結(jié)果老集群的網(wǎng)段不合規(guī)。Pod CIDR管的是集群里每一個(gè)Pod的IP從哪里分配,Service CIDR管的是ClusterIP從哪個(gè)網(wǎng)段來。這兩個(gè)網(wǎng)段一旦定下來,幾乎所有網(wǎng)絡(luò)相關(guān)的組件都會(huì)圍繞它們工作,改起來等于整個(gè)集群的網(wǎng)絡(luò)系統(tǒng)要?jiǎng)右淮未笫中g(shù)。但好消息是:如果你的集群是基于kubeadm部署的標(biāo)準(zhǔn)集群,結(jié)構(gòu)清晰、組件干凈,那么這個(gè)操作是完全可以完成的,而且有相對(duì)穩(wěn)定的操作路徑可以走。如果你用的是云廠商托管的Kubernetes服務(wù),大概率沒有這個(gè)權(quán)限去改,這類操作基本只適用于自建的、可控的集群環(huán)境。在決定動(dòng)手之前,先花一天時(shí)間確認(rèn)自己是真的需要改,而不是懶得重建集群。原因很簡單:整個(gè)過程的停機(jī)時(shí)間、排查成本、出問題回滾的復(fù)雜度,大概率比重建一個(gè)集群要高出不少。如果集群規(guī)模小、應(yīng)用都是無狀態(tài)的,重建新集群然后把應(yīng)用遷過去,可能比你想象中更快更穩(wěn)。但如果集群里有大量的持久化存儲(chǔ)、復(fù)雜的網(wǎng)絡(luò)策略、或者很多依賴固定IP的老應(yīng)用,那就只能選擇在線修改這條路。我自己經(jīng)歷過一次生產(chǎn)環(huán)境的修改,當(dāng)時(shí)集群的大小大概是30多個(gè)節(jié)點(diǎn),Pod數(shù)破千,Service也有幾百個(gè)。整個(gè)操作花了大概4個(gè)小時(shí)的維護(hù)窗口,中間踩了不少坑,有一兩個(gè)坑差點(diǎn)把集群搞癱。這篇文章,就是想把整個(gè)過程的思路、步驟、坑,完整地寫出來。2. 需要?jiǎng)拥兜暮诵慕M件與牽連面分析2.1 哪些組件管著這兩個(gè)網(wǎng)段Pod CIDR和Service CIDR在Kubernetes里不是存到一個(gè)魔法配置文件里就完事的,而是散布在多個(gè)組件的啟動(dòng)參數(shù)、資源對(duì)象的字段和聲明里。先列一下核心組件。kube-controller-manager負(fù)責(zé)管理整個(gè)控制面的控制器邏輯,它有兩個(gè)參數(shù)在這件事里非常關(guān)鍵。--cluster-cidr參數(shù)決定了為每個(gè)節(jié)點(diǎn)分配Pod子網(wǎng)時(shí)的總范圍,換句話說,整個(gè)集群的Pod網(wǎng)段是由它用一把大尺子劃出來的。--service-cluster-ip-range參數(shù)則決定了Service的ClusterIP可以從哪些地址中分配。這兩個(gè)參數(shù)分別控制Pod網(wǎng)段和Service網(wǎng)段的總邊界,是全局配置中的頂層設(shè)置。接著是kube-apiserver,它只涉及Service CIDR,通過--service-cluster-ip-range參數(shù)來決定Service資源在創(chuàng)建時(shí)從哪個(gè)范圍給你分配ClusterIP。這個(gè)參數(shù)在apiserver和controller-manager里必須保持一致,不然會(huì)出現(xiàn)Service創(chuàng)建成功但I(xiàn)P分配不遵循預(yù)期的情況。再往下是kubelet,每個(gè)節(jié)點(diǎn)上的kubelet會(huì)從所在節(jié)點(diǎn)的Pod CIDR子網(wǎng)里給Pod分配IP。Node資源對(duì)象上有個(gè)spec.podCIDR字段,在kubeadm部署的集群中,這個(gè)字段默認(rèn)是kube-controller-manager里的節(jié)點(diǎn)IPAM控制器自動(dòng)分配的。調(diào)用節(jié)點(diǎn)宿主機(jī)的網(wǎng)絡(luò)工具時(shí)會(huì)引用這個(gè)字段,所以這個(gè)字段的值如果和實(shí)際不匹配,Pod網(wǎng)絡(luò)就起不來。然后是kube-proxy。它本身不直接配置CIDR,但它的iptables或IPVS規(guī)則里到處都是基于Service CIDR的判斷邏輯和加載規(guī)則。Service的ClusterIP發(fā)生變化時(shí),如果只改了控制面的參數(shù),但kube-proxy還在用舊網(wǎng)段加載規(guī)則,那網(wǎng)絡(luò)轉(zhuǎn)發(fā)就會(huì)出現(xiàn)各種奇怪的問題。最后是網(wǎng)絡(luò)插件層。無論是Calico、Flannel還是Cilium,它們?cè)诩撼跏蓟臅r(shí)候,都會(huì)讀取配置來指定網(wǎng)絡(luò)通告范圍、IP池范圍、路由發(fā)布策略。這些配置和kube-controller-manager的CIDR設(shè)置必須對(duì)齊。這里用個(gè)生活化類比:整個(gè)集群像一個(gè)小城市的規(guī)劃。Pod CIDR是居民住宅區(qū)的總地塊范圍,Service CIDR是商業(yè)區(qū)的總地塊范圍。政府(控制器)負(fù)責(zé)分割土地,警察局(網(wǎng)絡(luò)插件)負(fù)責(zé)維護(hù)治安巡邏路線。你要把整個(gè)城市的地塊重新劃分,就必須同時(shí)讓規(guī)劃局、政府、警察局、以及每個(gè)建筑物里的物業(yè)(節(jié)點(diǎn)上的kubelet)全部同步到位,不然就會(huì)出現(xiàn)有人按舊地圖辦事的情況。2.2 修改后受影響的資源清單不考慮清楚哪些資源和數(shù)據(jù)會(huì)受到影響,貿(mào)然動(dòng)手改,后面必定是要吃苦頭的。我先梳理一下會(huì)被直接影響的東西。第一類,是所有已經(jīng)創(chuàng)建出來的Service。Service的ClusterIP一旦分配就不會(huì)自動(dòng)變。假如你的Service CIDR原來是10.96.0.0/12,現(xiàn)在已經(jīng)有一堆Service拿到了10.96.x.x的IP。你改成10.100.0.0/16后,這些舊IP的Service不會(huì)自動(dòng)遷移,它們還在舊網(wǎng)段里,但apiserver和kube-proxy已經(jīng)不認(rèn)這個(gè)網(wǎng)段了。結(jié)果就是DNS解析出來的ClusterIP是一個(gè)“外面的世界已經(jīng)不認(rèn)”的地址,流量轉(zhuǎn)發(fā)直接斷掉。第二類,是所有已經(jīng)分配了IP的Pod。每個(gè)節(jié)點(diǎn)上的子網(wǎng)是由節(jié)點(diǎn)IPAM分配的,比如原節(jié)點(diǎn)的Pod CIDR子網(wǎng)是10.244.1.0/24,里面已經(jīng)跑了幾個(gè)Pod,分別拿到了10.244.1.5、10.244.1.6這些地址。你修改總網(wǎng)段之后,如果不處理這些存量Pod,它們會(huì)繼續(xù)占著舊地址運(yùn)行,直到被重建。所以在線修改Pod CIDR的過程,本質(zhì)上就是個(gè)節(jié)點(diǎn)分批驅(qū)逐、然后讓節(jié)點(diǎn)重新獲取新子網(wǎng)、再讓Pod在新子網(wǎng)里重建的過程。第三類,是Kubernetes內(nèi)置的DNS服務(wù)。kube-dns或者CoreDNS本身也是以Pod的形式運(yùn)行的,它也有自己的Service。如果你的Service CIDR一改,CoreDNS的Service ClusterIP也會(huì)變,而集群里所有應(yīng)用是通過這個(gè)ClusterIP去訪問DNS的,如果這個(gè)IP沒同步好,整個(gè)集群的域名解析都會(huì)出問題。第四類,是網(wǎng)絡(luò)插件的狀態(tài)。Calico的IP池?cái)?shù)據(jù)、Flannel在etcd里的網(wǎng)絡(luò)配置,這些東西如果不更新,網(wǎng)絡(luò)插件會(huì)和Kubernetes控制面的認(rèn)知互相打架。最典型的表現(xiàn)就是:Pod成功創(chuàng)建了,但一直處于ContainerCreating狀態(tài),因?yàn)榫W(wǎng)絡(luò)插件不知道自己應(yīng)該給新Pod做網(wǎng)絡(luò)配置。所以,改CIDR不是改一批配置文件重啟組件那么簡單。它實(shí)際上是在做一次有風(fēng)險(xiǎn)的網(wǎng)絡(luò)重構(gòu)。3. 完整執(zhí)行步驟:從環(huán)境備份到集群恢復(fù)3.1 執(zhí)行前的檢查、備份與風(fēng)險(xiǎn)預(yù)估強(qiáng)烈建議在執(zhí)行前把所有可能用到的信息先備份下來,這不是可選項(xiàng),是必選項(xiàng)。第一步,備份etcd。Kubernetes集群的幾乎所有狀態(tài)都存在etcd里,包括所有Service的ClusterIP分配、Node的podCIDR字段、網(wǎng)絡(luò)插件的狀態(tài)。etcd備份是最有底氣的一步,有了它,萬一操作到一半發(fā)現(xiàn)走不通,可以快速回滾到操作前的狀態(tài)。etcd的備份方式看你的部署方式,kubeadm自帶的etcd一般是靜態(tài)Pod,可以直接在etcd Pod里用etcdctl snapshot save命令做快照。注意在快照前先設(shè)置好ETCDCTL_API3環(huán)境變量,防止默認(rèn)走v2協(xié)議。第二步,記錄當(dāng)前所有Service的ClusterIP。用kubectl get svc -A -o wide把每個(gè)名字空間下的Service的ClusterIP、類型、選擇器等信息全部導(dǎo)出來。后面如果你需要手動(dòng)重建Service,這些信息就是依據(jù)。第三步,記錄當(dāng)前所有Node的podCIDR字段。用kubectl get nodes -o json | jq .items[] | {name: .metadata.name, podCIDR: .spec.podCIDR}之類的命令把所有信息記錄到文件里。第四步,和團(tuán)隊(duì)確認(rèn)收益。把所有應(yīng)用都列出來,檢查哪些是無狀態(tài)應(yīng)用、可以接受重建,哪些是有狀態(tài)應(yīng)用、依賴持久化存儲(chǔ)或固定IP。有狀態(tài)應(yīng)用的處理策略是單獨(dú)定義的,不要在維護(hù)窗口里現(xiàn)想。還有一些前置條件必須確認(rèn)。集群一定是kubeadm部署的或者類型接近的標(biāo)準(zhǔn)集群,管理組件是靜態(tài)Pod形式或者systemd服務(wù)形式。如果集群是用云平臺(tái)自帶的部署工具做的,大概率不可改。集群中不能有正在執(zhí)行中的資源變更操作,維護(hù)窗口內(nèi)要禁止其他同事在集群里做任何變更。3.2 控制面組件的修改順序與重啟技巧整個(gè)操作的順序有個(gè)總原則:先改控制面,再改數(shù)據(jù)面;先改配置,再動(dòng)節(jié)點(diǎn);先在測(cè)試節(jié)點(diǎn)驗(yàn)證,再逐步擴(kuò)大范圍。控制面的修改,主要落在/etc/kubernetes/manifests/目錄下的三個(gè)靜態(tài)Pod的YAML文件里,分別是kube-apiserver.yaml、kube-controller-manager.yaml、kube-scheduler.yaml。kube-apiserver.yaml里的--service-cluster-ip-range參數(shù)是必須改的。舉例來說,原來配置是--service-cluster-ip-range10.96.0.0/12,要改成--service-cluster-ip-range10.100.0.0/16,保留好SDN之前的參數(shù),不要?jiǎng)悠渌渲谩ube-controller-manager.yaml里要改兩個(gè)參數(shù):--cluster-cidr控制Pod分配的總網(wǎng)段,--service-cluster-ip-range控制Service網(wǎng)段的范圍。這里有個(gè)非常容易踩的坑:controller-manager和apiserver的Service CIDR參數(shù)必須完全一致,否則會(huì)導(dǎo)致kube-controller-manager在分配Service IP時(shí)產(chǎn)生診斷和分配行為的不一致。改完這兩個(gè)文件之后,kubelet會(huì)檢測(cè)到靜態(tài)Pod清單文件發(fā)生變化,自動(dòng)重啟對(duì)應(yīng)組件。這一步是kubeadm的標(biāo)準(zhǔn)機(jī)制,不需要手動(dòng)操作,但要記住一件事:apiserver和controller-manager是分開的靜態(tài)Pod,它們的重啟是逐個(gè)進(jìn)行的。在apiserver重啟期間,所有kubectl操作會(huì)短暫不可用,這是正?,F(xiàn)象。需要特別注意的是kube-apiserver和kube-controller-manager的啟動(dòng)順序。理論上先改哪一個(gè)都行,但實(shí)際操作中我的經(jīng)驗(yàn)是先改controller-manager再改apiserver。因?yàn)閏ontroller-manager重啟失敗的影響小于apiserver重啟失敗的影響,先處理風(fēng)險(xiǎn)小的組件更合理。等apiserver重啟完成后,立刻檢查kubectl get --raw/healthz來確認(rèn)API Server恢復(fù)健康。組件重啟完成后,去etcd里確認(rèn)一下是否已經(jīng)有新的Service IP開始被分配??梢杂胑tcdctl get /registry/services/specs --prefix的方法去查看,也可以直接創(chuàng)建兩個(gè)測(cè)試Service看它們分配到的ClusterIP是不是新網(wǎng)段里的地址。如果新創(chuàng)建的Service拿到的還是舊網(wǎng)段的IP,說明apiserver或controller-manager的修改沒有生效,需要回到配置文件里排查。3.3 處理存量Service的ClusterIP遷移策略控制面組件改完并且確認(rèn)新Service能拿到新網(wǎng)段IP之后,接下來面對(duì)的就是一堆已經(jīng)存在且IP還是舊網(wǎng)段的存量Service。處理思路不復(fù)雜:把Service刪掉,再用新的ClusterIP重新創(chuàng)建。但是這里有個(gè)細(xì)節(jié),直接刪掉Service對(duì)外部服務(wù)的影響是短暫的,因?yàn)镾ervice的Endpoints數(shù)據(jù)可能在刪除的瞬間被清掉,而后端Pod卻還正?;钪?。對(duì)于集群內(nèi)部應(yīng)用,馬上重建一個(gè)新的同名Service,流量會(huì)無縫切換,因?yàn)樗袘?yīng)用是通過Service名加端口訪問的,不再依賴舊的ClusterIP。但我強(qiáng)烈不建議一條條命令去手動(dòng)操作,即使再小的集群,也不值得把時(shí)間花在不停輸入kubectl命令上。我推薦寫一個(gè)簡單的腳本,把上面第1步記錄的所有Service信息讀進(jìn)來,逐個(gè)處理。腳本的核心邏輯:遍歷全部名字空間下所有非默認(rèn)類型的Service,針對(duì)ClusterIP類型的進(jìn)行重建。先執(zhí)行刪除,再把原Service配置導(dǎo)出成YAML后,把spec.clusterIP字段置空,交給apiserver自動(dòng)分配新網(wǎng)段里的IP。注意保留原來所有的labels、selector、ports和annotations。有個(gè)特殊的Service必須提前想好方案:CoreDNS的Service。等所有存量Service都重建完之后,再單獨(dú)處理CoreDNS。原因是CoreDNS一旦被重建,集群內(nèi)所有DNS解析都會(huì)短暫中斷,而不只是某一個(gè)應(yīng)用的流量中斷,所以要放在最后一步來做,把影響面控制在最短時(shí)間內(nèi)。還有一類特殊情況:給定了固定clusterIP的Service。有些應(yīng)用在設(shè)計(jì)時(shí)會(huì)給Service的clusterIP指定一個(gè)固定值,這類Service依賴舊網(wǎng)段的權(quán)限設(shè)定,是必須修改配置里指定的clusterIP的。先把YAML配置里的spec.clusterIP改成新網(wǎng)段里的一個(gè)可用地址,再執(zhí)行重建。否則apiserver會(huì)直接報(bào)錯(cuò),不會(huì)讓你創(chuàng)建成功。3.4 節(jié)點(diǎn)層面Pod CIDR的遷移:節(jié)點(diǎn)驅(qū)逐與重新分配存量Service的問題處理完之后,接著處理最折騰的部分:節(jié)點(diǎn)Pod網(wǎng)段的遷移。每個(gè)節(jié)點(diǎn)只能處理它自己被分配的Pod子網(wǎng),而每個(gè)節(jié)點(diǎn)的子網(wǎng)一旦分配了就不會(huì)自動(dòng)變。kube-controller-manager的節(jié)點(diǎn)IPAM控制器只會(huì)在節(jié)點(diǎn)剛加入集群、spec.podCIDR字段還沒有值的時(shí)候去分配子網(wǎng),如果已經(jīng)分配了,它不會(huì)自動(dòng)重新分。想要讓節(jié)點(diǎn)拿到新網(wǎng)段的子網(wǎng),思路是:把節(jié)點(diǎn)踢出集群,再讓它重新加入。在kubeadm集群里,這個(gè)過程就是kubectl drain加上重新初始化,但實(shí)際的流程會(huì)更加精細(xì)。我的操作順序是這樣的:標(biāo)記節(jié)點(diǎn)為不可調(diào)度:kubectl cordon node-name驅(qū)逐節(jié)點(diǎn)上的Pod:kubectl drain node-name --ignore-daemonsets --delete-emptydir-data在節(jié)點(diǎn)上重置kubeadm:kubeadm reset清除或修改節(jié)點(diǎn)上網(wǎng)絡(luò)插件的狀態(tài)信息(具體取決于網(wǎng)絡(luò)插件)重新執(zhí)行kubeadm join,把節(jié)點(diǎn)加回集群取消節(jié)點(diǎn)不可調(diào)度標(biāo)記:kubectl uncordon node-name等待該節(jié)點(diǎn)上的Pod全部重建完成驗(yàn)證該節(jié)點(diǎn)的spec.podCIDR已經(jīng)是新網(wǎng)段注意驅(qū)逐時(shí)--ignore-daemonsets是必須的,因?yàn)镈aemonSet的Pod不應(yīng)該也不行被驅(qū)逐,比如網(wǎng)絡(luò)插件的DaemonSet。--delete-emptydir-data也是必須的,否則使用emptyDir的應(yīng)用Pod會(huì)因?yàn)閿?shù)據(jù)需要被刪除而一直處于驅(qū)逐失敗狀態(tài)。這里有一個(gè)沒人會(huì)提前告訴你的大坑:節(jié)點(diǎn)的驅(qū)逐順序要考慮網(wǎng)絡(luò)插件本身。Calico或Flannel這類網(wǎng)絡(luò)插件是以DaemonSet形式跑在每個(gè)節(jié)點(diǎn)上的,它們的DaemonSet Pod天然不可被驅(qū)逐,但這不代表網(wǎng)絡(luò)插件沒有狀態(tài)需要清理。拿Calico舉例,如果節(jié)點(diǎn)上的calico-node和calico-kube-controllers正常工作,你在節(jié)點(diǎn)上執(zhí)行了kubeadm reset,節(jié)點(diǎn)會(huì)脫離集群,但是Calico的IP池里可能還殘留著這個(gè)節(jié)點(diǎn)之前分配過的Pod子網(wǎng)狀態(tài)。如果不清理,節(jié)點(diǎn)重新加入時(shí),IPAM控制器會(huì)嘗試給同一個(gè)節(jié)點(diǎn)分配新的子網(wǎng),這時(shí)Calico的數(shù)據(jù)存儲(chǔ)里可能存在沖突,節(jié)點(diǎn)上的新Pod會(huì)一直拿不到IP,一直處于ContainerCreating。所以我推薦的處理方式:在節(jié)點(diǎn)被重置之前,要把Calico對(duì)該節(jié)點(diǎn)的IP池分配信息清掉。Calico通過CRD資源做IP池管理時(shí),通常是直接刪除Node資源中對(duì)應(yīng)的BGP Peer和IP池綁定記錄。一般通過calicoctl node status去查看和清理,或者在節(jié)點(diǎn)重新加入后手動(dòng)設(shè)置跨越現(xiàn)有池和新的池之間的路由。這一部分非常依賴你用的網(wǎng)絡(luò)插件,沒法給出通用命令。但通用思路是:保證網(wǎng)絡(luò)插件認(rèn)為這個(gè)節(jié)點(diǎn)是一個(gè)全新的、沒有歷史包袱的節(jié)點(diǎn)。如果集群規(guī)模不大,還有一種不走kubeadm reset的做法:手動(dòng)改Node的spec.podCIDR字段,然后讓kubelet重新初始化網(wǎng)絡(luò)。這個(gè)方法理論上省事,但實(shí)際操作中踩坑無數(shù),原因是kubelet初始化時(shí)的很多網(wǎng)絡(luò)判斷邏輯是基于節(jié)點(diǎn)已有的子網(wǎng)配置來的,你強(qiáng)行改了字段但不清理舊網(wǎng)絡(luò)接口和路由表,大概率起不來。除非你非常了解你的網(wǎng)絡(luò)插件和kubelet的網(wǎng)絡(luò)初始化邏輯,否則我強(qiáng)烈不推薦手動(dòng)改字段,老老實(shí)實(shí)走驅(qū)逐、重置、重新加入的流程更安全。重新加入節(jié)點(diǎn)之后,立刻用kubectl get node node-name -o jsonpath{.spec.podCIDR}去檢查新子網(wǎng),確認(rèn)是新網(wǎng)段。然后檢查節(jié)點(diǎn)上的Pod是不是都從新子網(wǎng)里拿到的IP,可以用kubectl get pods -A -o wide | grep node-name確認(rèn)。3.5 網(wǎng)絡(luò)插件的同步調(diào)整網(wǎng)絡(luò)插件層的調(diào)整是整個(gè)操作里最容易被忽視、后果卻最嚴(yán)重的部分。先說Flannel的情況。Flannel的配置是存在ConfigMap里的,而且實(shí)際生效的配置在etcd里。如果你用的是kubeadm自帶的Flannel方案,網(wǎng)絡(luò)配置在kube-flannel-cfg這個(gè)ConfigMap里,但真正驅(qū)動(dòng)flanneld的網(wǎng)絡(luò)配置是存在etcd里的一份JSON配置。最穩(wěn)妥的操作是:先把ConfigMap里的Network字段改成新網(wǎng)段,再刪除Flannel的DaemonSet Pod,讓所有節(jié)點(diǎn)的flanneld用新配置重啟一遍。但這還不夠,Flannel會(huì)在每個(gè)節(jié)點(diǎn)上創(chuàng)建cni0網(wǎng)橋和flannel.1隧道接口,這些老接口如果不清理,新配置起來時(shí)可能會(huì)判斷“接口已存在”而跳過重新配置,結(jié)果就是新Pod拿到新網(wǎng)段的IP,但流量完全不通。Calico的情況稍微復(fù)雜一點(diǎn)。Calico用IPPool CRD定義IP池,如果Pod CIDR改了,需要?jiǎng)?chuàng)建對(duì)應(yīng)新網(wǎng)段的IPPool,并且要處理IPAM的地址分配序列。在節(jié)點(diǎn)重新加入集群之前,需要先配置好新網(wǎng)段的IPPool,否則calico-ipam給節(jié)點(diǎn)上的Pod分配IP時(shí)會(huì)發(fā)現(xiàn)沒有對(duì)應(yīng)的池可用。Cilium也比較類似,它不一定用CRD管理網(wǎng)絡(luò)范圍,有些場(chǎng)景直接讀kube-controller-manager的--cluster-cidr來綁定規(guī)則。這種情況下,只要控制面的配置改對(duì)了,kube-proxy也改對(duì)了,網(wǎng)絡(luò)插件會(huì)自動(dòng)基于新CIDR工作。但如果你在Cilium里顯式配置過cluster-pool-ipv4-cidr,就必須同步修改。這里給一個(gè)通用的判斷思路:所有網(wǎng)絡(luò)插件本質(zhì)上都在回答“集群的Pod網(wǎng)段范圍是多少”和“某個(gè)節(jié)點(diǎn)負(fù)責(zé)哪個(gè)子網(wǎng)”這兩個(gè)問題。你的調(diào)優(yōu)目標(biāo)就是讓網(wǎng)絡(luò)插件對(duì)這兩個(gè)問題的回答,和Kubernetes控制面的回答保持一致。不一致的表現(xiàn)通常很簡單直接:Pod一直處于ContainerCreating,報(bào)錯(cuò)信息指向網(wǎng)絡(luò)配置沖突。3.6 kube-proxy與各節(jié)點(diǎn)參數(shù)的同步處理kube-proxy的運(yùn)行模式通常不影響修改后的行為,它的配置是動(dòng)態(tài)監(jiān)聽Service和Endpoint,基于apiserver的數(shù)據(jù)生成轉(zhuǎn)發(fā)規(guī)則。理論上,只要控制面的Service CIDR改了,kube-proxy會(huì)自動(dòng)適配新規(guī)則。但是這里有潛在問題:kube-proxy在啟動(dòng)時(shí)通過--cluster-cidr參數(shù)判斷是否需要開啟--masquerade-all等特性時(shí)用的網(wǎng)段還是舊值。所以我在操作中的做法是:改完控制面之后,順手把每個(gè)節(jié)點(diǎn)的kube-proxy配置文件里的CIDR字段同步改掉。kube-proxy的配置默認(rèn)在kube-system名字空間下的kube-proxy這個(gè)ConfigMap里,里面有個(gè)clusterCIDR字段,把它改成新的Pod CIDR即可。改了ConfigMap后,重啟所有節(jié)點(diǎn)的kube-proxy Pod,讓它們重新加載配置。這一步不做的后果是:節(jié)點(diǎn)上kube-proxy還是用舊網(wǎng)段作為判斷流量是否需要做NAT的基準(zhǔn),新網(wǎng)段的Pod流量可能會(huì)出現(xiàn)源IP被錯(cuò)誤處理的狀況,表現(xiàn)為跨節(jié)點(diǎn)訪問Service正常,但Pod訪問外部網(wǎng)絡(luò)時(shí)源IP不對(duì),導(dǎo)致很多第三方服務(wù)的回調(diào)、日志、狀態(tài)判斷全部出錯(cuò)。3.7 集群內(nèi)應(yīng)用服務(wù)的最終驗(yàn)證組件和節(jié)點(diǎn)都處理完之后,不代表就完事了。驗(yàn)證環(huán)節(jié)是整個(gè)流程里最后一道保險(xiǎn)。我的驗(yàn)證清單大概是這樣:先驗(yàn)證基礎(chǔ)網(wǎng)絡(luò):在兩個(gè)不同的節(jié)點(diǎn)上分別創(chuàng)建兩個(gè)測(cè)試Pod,互相ping對(duì)方的Pod IP,確認(rèn)跨節(jié)點(diǎn)Pod通信正常。再驗(yàn)證Service訪問:部署一個(gè)簡單的測(cè)試應(yīng)用和Service,在集群內(nèi)使用kubectl run創(chuàng)建一個(gè)臨時(shí)的curl Pod,curl測(cè)試Service的ClusterIP加端口,確認(rèn)Service轉(zhuǎn)發(fā)正常,CoreDNS域名解析正常。接著驗(yàn)證外部訪問:如果集群里有Ingress或者LoadBalancer類型的Service,必須逐個(gè)驗(yàn)證。NodePort類型的Service也要測(cè)試,因?yàn)镹odePort的端口范圍仍然需要和Service的ClusterIP通過kube-proxy規(guī)則配合,這里出問題影響面比較大。然后要驗(yàn)證有狀態(tài)應(yīng)用:如果你的集群里有StatefulSet,它有穩(wěn)定的網(wǎng)絡(luò)標(biāo)識(shí)和存儲(chǔ)卷,重建后要確認(rèn)PVC綁定正常、數(shù)據(jù)完整性沒有受到損害。這一步容易出現(xiàn)各種存儲(chǔ)層的問題。最后驗(yàn)證監(jiān)控和日志,這個(gè)很多人會(huì)忘記。監(jiān)控Agent(比如node-exporter的DaemonSet)訪問apiserver的方式、日志采集Agent的端點(diǎn)配置,這些不會(huì)因?yàn)镃IDR變化自動(dòng)更新,如果它們的配置里寫死了舊IP,會(huì)一直報(bào)錯(cuò)。我見過某次操作之后監(jiān)控?cái)?shù)據(jù)完全中斷的情況,原因就是Prometheus的配置文件里寫死了一個(gè)舊網(wǎng)段的Service ClusterIP。4. 實(shí)際操作過程中的免坑指南4.1 執(zhí)行流程的時(shí)間表與回滾方案整個(gè)過程的時(shí)間節(jié)奏,按我做過一次的規(guī)模(30節(jié)點(diǎn)、Pod上千、Service幾百)來算:控制面修改與驗(yàn)證約40分鐘,存量Service重建約30分鐘,節(jié)點(diǎn)逐個(gè)遷移約2.5小時(shí)(每個(gè)節(jié)點(diǎn)約5到8分鐘),網(wǎng)絡(luò)插件與kube-proxy調(diào)整約30分鐘,最終驗(yàn)證約30分鐘??傆?jì)4小時(shí)左右,這已經(jīng)是比較理想的情況。如果中間出現(xiàn)意外,比如節(jié)點(diǎn)驅(qū)逐卡住、網(wǎng)絡(luò)插件狀態(tài)清理不干凈,時(shí)間會(huì)翻倍。所以維護(hù)窗口至少準(zhǔn)備6個(gè)小時(shí),并且要有一個(gè)明確的回滾機(jī)制?;貪L的前提就是etcd快照。什么情況下要回滾?我自己的判斷標(biāo)準(zhǔn)是:apiserver或controller-manager重啟后一直不健康,且15分鐘內(nèi)無法解決;或者前幾個(gè)節(jié)點(diǎn)驅(qū)逐后新子網(wǎng)分配異常,Pod創(chuàng)建不起來,說明網(wǎng)絡(luò)插件控制面和節(jié)點(diǎn)對(duì)齊的過程存在根本性缺陷;或者發(fā)生了數(shù)據(jù)面網(wǎng)絡(luò)大面積中斷,導(dǎo)致核心業(yè)務(wù)長時(shí)間不可用?;貪L操作本身不復(fù)雜:停掉kubelet,恢復(fù)etcd快照,再把控制面組件配置恢復(fù)原樣,所有節(jié)點(diǎn)上的kubelet網(wǎng)絡(luò)接口全部清理后重啟kubelet。但回滾也不便宜,它基本等于一次集群重啟,所以這個(gè)決策要果斷,不要猶豫。改了CIDR最怕的就是“再試著調(diào)調(diào)”,這和在高速公路上邊開車邊修方向盤沒區(qū)別。4.2 我踩過的幾個(gè)經(jīng)典坑第一個(gè)坑是Drain節(jié)點(diǎn)時(shí),有Pod卡在Terminating。原因通常是這個(gè)Pod的終止依賴某個(gè)已刪除的Service或者PVC,驅(qū)逐過程一直握手失敗。解決辦法是檢查這個(gè)Pod的事件,找到依賴關(guān)系,把依賴問題處理完后重新驅(qū)逐。不要一開始就--force,強(qiáng)制刪除Pod可能讓業(yè)務(wù)徹底中斷。第二個(gè)坑是節(jié)點(diǎn)重新加入后,kubelet反復(fù)重啟。原因通常是kubeadm reset之后,節(jié)點(diǎn)上留有舊的CA證書或kubelet配置,導(dǎo)致新的kubeadm join生成的證書和apiserver不匹配。解決辦法是在重置后清理干凈/etc/kubernetes/目錄、/var/lib/kubelet/目錄,必要時(shí)也把/etc/cni/net.d/目錄下的網(wǎng)絡(luò)插件配置一起清掉再重新加入。第三個(gè)坑是網(wǎng)絡(luò)插件的IPv4Pool殘留。我在處理一個(gè)Calico集群時(shí)就遇到這個(gè),新節(jié)點(diǎn)重新加入集群后,節(jié)點(diǎn)上的Pod報(bào)Calico IPAM: no IPs available的錯(cuò)誤。查下來是Calico的block還在被舊節(jié)點(diǎn)信息引用,舊節(jié)點(diǎn)信息沒有清理干凈。解決方法是刪除Calico的IPAM數(shù)據(jù)中對(duì)該節(jié)點(diǎn)的引用,或者用calicoctl把對(duì)應(yīng)的IPPool和block一并刪除再重新放。第四個(gè)坑比較隱蔽:部分應(yīng)用Pod里寫死了舊網(wǎng)段的IP。比如某個(gè)中間件的配置里指定了舊網(wǎng)段的數(shù)據(jù)庫Pod IP,節(jié)點(diǎn)驅(qū)逐重建后,數(shù)據(jù)庫的Pod拿到了新IP,但應(yīng)用的配置還指向舊IP,應(yīng)用自然連不上數(shù)據(jù)庫。這個(gè)只能在遷移前就做排查,把所有應(yīng)用配置里的硬編碼IP找出來,在維護(hù)窗口開始前就發(fā)公告讓相關(guān)應(yīng)用Owner們處理好自動(dòng)重連邏輯。4.3 什么時(shí)候應(yīng)該放棄在線修改最后一定要說清楚一個(gè)現(xiàn)實(shí):如果集群里有下面這幾個(gè)條件,不太建議用在線修改的方案。集群里有大量依賴固定IP訪問的應(yīng)用,并且這些應(yīng)用沒有配置中心化管理的配置;集群里存在比較多的StatefulSet且每個(gè)Pod的PVC沒有做異地備份;網(wǎng)絡(luò)插件版本的定制化程度很高,修改和調(diào)試成本難以預(yù)估;或者集群規(guī)模巨大節(jié)點(diǎn)的數(shù)量超過50個(gè)。在這些情況下,我個(gè)人的傾向是明確告訴團(tuán)隊(duì):重建集群,做應(yīng)用遷移。時(shí)間成本不一定更高,穩(wěn)定性卻高出很多。在線改CIDR真正合適的前提是:應(yīng)用無狀態(tài)化程度高、網(wǎng)絡(luò)配置全部走Service和DNS的抽象層、網(wǎng)絡(luò)插件是常見的標(biāo)準(zhǔn)組件、團(tuán)隊(duì)手里有完整的配置管理能力。這四個(gè)條件缺一個(gè),風(fēng)險(xiǎn)都會(huì)讓操作收益變得非常不值得。5. 操作后的長期影響與收尾工作操作完成且業(yè)務(wù)驗(yàn)證無異常之后,還有幾個(gè)長期項(xiàng)需要做。第一,把所有集群的CIDR規(guī)劃文檔同步更新,避免后續(xù)建設(shè)者不知道新網(wǎng)段規(guī)劃。第二,將所有組件的配置參數(shù)檢查一遍,確保沒有遺漏的舊網(wǎng)段引用。第三,把這次操作的復(fù)盤記錄寫好,把所有踩過的坑和對(duì)應(yīng)解法整理成文檔,方便未來有人遇到同樣的問題時(shí)有據(jù)可查。此外,把etcd的新快照再備份一份,確保當(dāng)前狀態(tài)有一個(gè)安全備份點(diǎn)。這一步很多人做完操作之后會(huì)忽略,結(jié)果下次出問題時(shí)發(fā)現(xiàn)備份的還是改CIDR之前的狀態(tài),恢復(fù)反而一個(gè)大回退。最后再發(fā)一個(gè)有價(jià)值的經(jīng)驗(yàn):不管哪個(gè)組件出了問題,排查的第一命令永遠(yuǎn)是journalctl -u kubelet -f或者查看對(duì)應(yīng)靜態(tài)Pod的日志,而不是到處猜。網(wǎng)絡(luò)問題排查的第一命令永遠(yuǎn)是ip route、ip addr和iptables -t nat -L -n,把實(shí)際路由和規(guī)則先看一遍,再去看配置。大多數(shù)“配置沒問題”的網(wǎng)絡(luò)故障,本質(zhì)上都是實(shí)際生效的東西和配置里寫的東西不一致而已。改CIDR這件事,風(fēng)險(xiǎn)高但路徑清晰。做好每一步的確認(rèn),控制好節(jié)奏,列清楚回滾方案,應(yīng)對(duì)好細(xì)節(jié)問題,是可以在不重建集群的前提下完成的。但作為運(yùn)維,真正重要的不是“能不能改”,而是“值不值得改”,以及“如果真的改掛了,能不能在一小時(shí)以內(nèi)恢復(fù)”。把這兩個(gè)問題想清楚了,再動(dòng)手,你的勝算就大很多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
av高清无码| 婷婷五月丁香六月| 激情婷婷五月丁香啪啪啪| 婷婷丁香五月亚洲欧美| 久9热| 久久久大香蕉| 亚洲激情五月| 97色婷婷成人综合在线观看| 337p大胆噜噜噜噜噜91Av| 色欲av伊人久久大香线蕉影院 | 97色片| 色婷婷成人网| 激情开心五月天| 人妻操逼| 日韩三级视频一区二区| 91久久九久久九久久九久久九久久| 性爱激情小说AV五月丁香花| 99熟女| 激情五月天色色网| 777精品久无码人妻蜜桃| 色欲五月天| 日本www免费九九| 婷婷五月天亚洲激情戏精品| 亚洲国产网站| 99热这里只有精品22| 激情综合五月激情| 操b视频在线观看一区二区| 人妻内射视频| 九九99热| 日本人妻伦在线中文字幕| 丁香婷婷五色月| 九色视频九色九色91jiuseshipin| 色丁香五月天婷婷| 亚洲天堂无码| 色婷婷成人做爰A片免费看网站| 丁香五月天五码婷婷| 黑人巨粗进入警花疼哭A片| 亚洲六月婷| 1级欧美日韩| 亚洲久久激情| 夜夜操少妇| 20253AV| 看片视频在线免费日产在线看| 97婷婷丁香| 色五月激情| 97激情五月天| 色婷婷综合在线| 91久久久久久久久久久| 婷婷成人小说综合| 超碰免费在线| 91久久九九| 丁香婷婷六月| 午夜九九电影| 色99网| 中文字幕 中文字幕明步 | 狠狠色噜噜狠狠狠狠综合| 色婷婷婷综合五月天| 岛国AAAV| 欧美激情综合| 黄色成人网站在线播放| 人人视频色| 99九九99九九九视频精彩| 六月激情婷婷| 91精品久久久久久久久| 亚洲综合网激情五月天| 伊人碰碰碰| 免费看欧美成人A片无码| 五月婷婷丁香色播网| 天堂中文国产| 无码人妻一区二区一牛影视| 欧美色综合天天久久综合精品| 六月激情网| 久久这有这里精品| 五月丁香啪啪啪| 五月丁香六月片| 日本色色色| 久久女婷| 激情久久久久久久久久久| 亚洲欧洲中文日韩久久AV乱码| 99热精品在这里| 97在线刺激| 成人国产欧美大片一区| 伊人婷婷五月天| 九九性视频| 色五月婷婷天天干| 九九五月天| 婷婷天天五月天| 久久综合99| 操九色| 天插天啪天啪天啪| 色色色视频| 久久免费操| 亚洲av电影网站| 午夜丁香综合婷婷| 日韩aaa| 成人操呦av| 91亚洲视频| 亚洲操逼网| 五月天偷拍| 综合色色婷婷| 成人AV在线电影| 99在线精品视频在线观看| 色综合爽| 九九热这里只有精品首页| 99热欧美精品| 久久久人人操A V| 国产精品第一国产精品| 天天射影院| 九九热免费| 激情五月天色婷婷| va亚洲中文在线| 亚洲五月丁| 亚洲精品99| 另类亚洲视频| 91人操人人人操人| 99色综合网| 婷婷五月无码| 丁香五月婷婷色偷偷| 97色五月丁香婷婷| 九九9久九9国产视频| 女人高潮内射99精品| wwwss在线观看| 狼友超碰| 激情五月丁香五月| 另类小说五月天| 热99这就是精品视频| 91九色欧美| 五月婷婷在线视频观看| 超碰人人91| 婷婷五月天天爽| 婷婷五月丁香六月天亚洲综合| 国产成人网站在线观看| 激情五月天久久丁香| 99久.| 色婷婷狠| 久久最新色色色| 亚洲色综合| 久久综合色五月| 伊人激情啪啪| 成人做爰A片免费看视频| 一区二区乱码视频| 天堂久久精品| 99热在线观看| 丁香九月激情| 在线观看国产高清视频免费网站 | 天天射影院| 婷婷色婷婷| 激情综合五月丁香| www.五月天| 大地9中文在线观看免费高清| 99热久久这里只有精品| www,99热在线观看| 狠狠色噜噜狠狠| 99在线视频女女视频| 九九九九九九毛片| 大香蕉手机视频| 丁香婷婷五月天校园春色| 天天色月| 狠狠干五月丁香综合网| 97操碰视频| 九九色热| 亚洲区在线| 99久久偷拍视频| 欧美啪啪网| 操日本三片99| 久久这里在精品视频| 99这里有精品视频3| 9l视频自拍9l九色成人| 五月激情丁香五月宗合| 九九热视频免费观看| 夜夜爽天操| 亚洲色综久久五月| 久久九九@| 色五月综合在线| 一起草AV| 婷婷玖玖丁香| 玖玖99福利| 天天看夜夜看| 另类天堂| 9l视频自拍九色9l黑人| 五月婷婷综合网| 久婷婷久草| 婷婷干五月综合在线播放| 九九热精品视频在线观看| 久久9视频| 超碰在线国产| 丁香婷婷五月综合欧美另类| 婷婷久久18| 久久婷婷丁香| 狠狠狠狠狠操| 色五月首页| 香蕉久久国产AV一区二区| 五月天堂六月丁香亚州中文字幕久久| 九月婷婷色色| 日本激情ⅩXX免费视频| 婷婷五月丁香基地| 婷婷综合网| 欧美怡红院黄站| 色吊丝av中文字幕| 91呦呦呦| 婷婷五月丁香基地在线视频官网| 日本色色视频| 国产看真人毛片爱做A片| 色吧99| 五月丁香婷婷综合| 丁香五月天啪啪| 综合色色网| 99热色综合| 色五月天.con| 五月丁香婷婷综合网| 第四色大香蕉| 婷婷六久久| 99热偷拍| 日日干日日| 亚洲综合久| 欧美日韩成人综合9| 91久久综合| 欧美猛片| 欧洲色| 波多野结衣AV无码Porn| 五月丁香在线精品| 五月天色婷婷综合| 久久狠狠干| 伍月婷婷六月丁香| 草草女人亚洲| 天天爽天天爽天天爽天天爽天天爽| 噜噜精品| 影音先锋日本三级资源| 婷婷丁香成人在线视频| 亭亭色网| 九色综合五月天婷五月| 天天综合色综合| 日狠狠| 99热在线精品观看| 99久免费视频| 色欲色香伊人| 国产乱人偷精品人妻A片| 影音先锋一区| 婷婷激情九月| 久久婷婷网站| 五月婷婷啪啪啪| 99操九九网| 天天综合久久| 五月综合色| 伊人大香蕉在线视频| 少妇久久诱惑视频| 成人亚洲精品久久久久| 亚洲久久视频| 久久激情视频| 97久久草草超级碰碰碰| 婷婷伊人久久| 大香蕉精品视频| www.久热| 干一干xxxx| 婷婷干五月综合在线播放| 无码激情AAAAA片-区区| 日 日干 日日做| 色五月AV| 五月伊人综合| 99色热| 国产婷婷五月天| www.狠狠操| 亲子乱AV-区二区三区| 五月丁香六月婷婷免费| caop视频| 婷婷五月18永久免费视频| 欧美三9久九观看| 亚洲性爱干干| 俺去也五月| 在线观看996精品| 狠狠人人婷婷| 大香蕉五月天婷婷丁香91| www.婷婷五月天.com| 色五月色开心开心五月| 激情五月色播五月| 99在线公开视频| 婷婷丁香亚洲色综合91| 99碰超| 婷婷瑟五月天久久综合| 久久婷婷一级片| 天天干、天天日日| 9热在线视频精品| 欧美丁香五月夫妻天| www,26uuu,c0m,色情| 久热 91| 青青草轻轻操| 色99综合色88| 狠狠色丁香| 99色热视频| 激情五月婷婷五月| 激情五月天婷婷| 99啪在线视频| 色五月天丁香| 色99视| 成人中文网| 久久这里有精品在线观看| 六月色丁香婷婷| 色99欧洲色19| 综激情网| AA片在线观看视频在线播放| 丁香婷婷色五月| 色婷婷丁香社综合| 丁香五月在线播放| 色情五月丁香婷婷网| 五月天婷婷Av| 日韩操人| 国产精品国产| 六月丁AV| 六月婷婷无码观看| 激情综合网五月婷婷| 婷婷成人基地| 色五月婷色彩免播放器| 激情綜合W W W,激情五月天| 深爱激情网五月| 99热| www五月婷婷88导航| 色久五月| 91色在线| 思思久久99热只有频精品66| www.五月天| 久草a片| 色色吧综合| 久久久色婷婷五月天| 熟惀91九色在线| 国产26uuu| 另类视频综合| 婷婷桃色网| 淫视馆AV在线| 婷婷丁香婷婷97| 狠狠做五月婷婷| 亚洲精品又粗又大又爽A片| 凹凸7777操操操| 少妇性按摩无码中文A片| 久久婷婷六月综合| 丁香五月在线伊人| 五月丁香婷色| A久久| 久久精品性爱视频,| 毛片九九九九九九九九18| 91丨九色丨白浆秘| 五月天色站| 国产成人网站在线观看| 九六五月天婷婷| 另类专区在线观看| 国产操逼网站| 色婷婷婷婷| 久久精品66| www.99热在线观看| 日韩人妻在线播放| 99自拍视频在线| 五月丁香免费看| 天天骑日日爽| 成人AV中文字幕| 成人精品视频99在线观看免费| 日韩AAAAAAAAAAA片| 天天狠狠婷婷在线| 丁香五月激情五月| 中文字幕丰满孑伦无码专区| 色五月综合| 亚洲AV成人无码久久精品老人法拉利| 五月总合激情网| 91日综合欧美| 综合色图婷婷| 91精品久久久久久久| 丁香五月在线观看完整版| 婷婷伊人| 五月天丁香花婷婷| 丁香五月婷婷欧美性爱| 婷婷五月丁香五月| 色婷婷狠狠| 色五月婷婷一二| 九九热九九热精品| 亚洲永久四色| 色播播婷婷| 婷婷色五月大香蕉在线| 精品夜夜澡人妻无码AV| 九九99精品视频在线观看| 5月婷婷6月六月丁香| 色的色综合| 另类亚洲2| 五月丁香综合色婷婷| 丁香五月婷婷色| 久久久噜噜噜久久人妻| 逼里香不卡| 天天开心天天色| 色七七九九| 久久小说网| 另类激情综合| 99热这里只有精品5| 97色啪| 五月丁香激情婷婷| 丁香色综合| 激情图片婷婷| 色五月天天| 激情五月天婷婷久久久久久久久久久| 久久精彩综合视频| 丁香五月天啪啪| 手机旧版看人妻1025| 风流少妇A片一区二区蜜桃| 99精彩视频| 婷婷中文在线| 丁香六月婷婷久久综合| 五月天激情网图片| WWW.婷婷| www.狠狠| 婷婷俺去也| 婷婷天堂站| 97AV在线视频| 夜夜撸夜夜骑| 国产精品色| 久久婷婷影院| 五月婷婷婷婷| 91久久久久久| 国产午夜成人免费看片无遮挡| 色色色综合网| 亚洲视频综合网| 色5月婷婷| 久久9视频| 亚州色色色| 黄网在线播放| 色吧综合网| 色色五月婷婷| 亚洲亚洲人成综合网络| 久久女伦| 色婷婷AV在线观看| 色站9/| 成人午夜在线视频| 一本久道综合99| 天天搡日日搡aaaaⅩ| 久草五月婷婷| 国产VA播放| 翔田千里aV中文字幕| 丁香狠狠| 九六五月天婷婷| 天天干天天色天天干| 五月丁香在线偷拍视频| 婷婷五月天精品| 久久99热免费最新版| 婷丁香五月天| 精品人妻伦一二三区久| www.色色色com| 人妻免费网站| 国产婷婷五月| 欧美日韩91| 婷婷97狠狠干| 天天插天天插天天插| 亚洲色爱综合| 婷婷久久久| 久久久激情| 99精品偷自拍| 免费观看日韩成人av| 丁香五月婷婷大香蕉| 婷婷无码视频| 五月丁香婷成人网| 99色丁香婷婷综合网| 狠狠五月综合在线| 99久久综合网| 精品国产AV色一区二区深夜久久| aaaa.黄| 99re热精品在线视频| 国产噜一噜天天噜| 婷婷五月激情五月激情| 在线观看中文字幕| 久草视频大香蕉99| 九九热这里只有精品首页| 五月丁香色狠狠干大屄| 99热这里只有精品热| 天天干夜晚夜操| 婷婷亚洲天堂| 99热在线播放精品| 激情五月天在线观看婷婷| 久久开心五月婷婷| 黄色片区子| 亚洲亚洲人成综合网络| 91丨九色丨白浆| 天天人人天天爽| AV操操操| 少妇性BBB搡BBB爽爽爽视頻| 成人网丁香五月| 五月天婷婷色色| 激情综合五月色丁香婷婷| 26uuu| 婷婷丁香人妻天天爽| 激情98色婷婷五| 六月婷久久| 停停色综合伊人| 欧美性爱五月天| 国产日韩欧美| 国产在线黄色| 婷婷无码视频| 超碰人人在线| 99丁香五月婷| 五月婷婷色情| 99乱视频| 色丁香五月婷婷| 免费看片在线观看| 色黑鬼导航| 激情五月婷婷视频一区二区三区| 婷婷欧美| 久久精品五月天| 五月丁香激情婷婷综合| 丁香六月激情四射| 97在线视频 欧美| 99热无码精品| 日本三级大片| 久久九九中文字幕| 老司机伊人| 日日夜夜天天| 六月婷婷天天操夜夜爽视频| 亚洲人妻电影| www.1024久久| 性爱电影科技贸易有限公司| 色激情五月| 色综合激情图区| 人人澡天天色天天做| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 日本色色图| 91碰操| 轮奸综合网| 久碰婷婷视频| 国产超碰人人| 婷婷五月天久久久| 色色色色色色综合网| 丁香色五月婷婷17C| 丁香五月婷婷基地| 五月天偷拍| 亚洲色图五月丁香| 色噜噜狠狠一区二区三区| 五月天综合在线网| 97色伦另类图片小说视频| 丁香五月天婷婷激情| 五月婷婷色综图片| 91久久精品无码一区二区三区| 国产女人十八水真多1| 五月六月激情婷婷| 97五月天| 久久婷婷五月天| 操比激情五月| 五月丁香婷婷成人网| 91日在线视频| 色婷婷六月开心中文字| 91色色五月天| 丁香五月在线视频黑人| 久久综合五月天激情小说网站 | 久久伊人9| 精品人妻在线| 99在线免费观看| 久久五月天激情婷婷| 日本九九热| 爱久久小说下载网| 九九色99| 久久99草五月婷婷| 日本五月婷| 99五丁香月| 乱色色色| 中文字幕婷婷在线| 饮料下药迷倒漂亮女同事强干| 久久久人人操A V| 婷婷激情小说| 丁香色成人| 五月婷婷熟女| 婷婷五月播| 婷婷丁香五月综合| 91婷婷色五月| 五月丁香六月婷婷啪啪| Av狠狠色丁香婷| 99热免费| 午夜激情五月| 天天射色五月天| 日本久久人| 一区二区aV电影免费看| 日日夜夜狠狠| 超碰成人电影| 99久久成人| av中文网| 成年人看Va免费视频| 久久图色4| 超碰日日操| 亚洲免费看片| 97很鲁在线视频| 综合网激情五月天| 日韩有码一区| 深爱激情五月婷婷| 丁香婷婷91在线观看视频| 激情六月一二| 97超级碰| 99.色| 变态 另类 在线 | 久99| 五月婷婷狠狠干| 高清无码.com| 天天操天天日天天操| 开心婷婷五月天综合| 手机激情网| 五月丁香六月婷婷无码| 婷婷五月天激情AV影院| 婷婷五月天色综合翘| 亚洲欧美婷婷五月色综合| 丁香五月婷婷五月天在线| 久色激情| 思思精品久久艹| 熟女人妻一区二区三区免费看| 色五月婷婷中文字幕在线观看| 五月丁香六月情亚洲| 婷婷五月天免费99| 久久99jiu9| 婷婷性爱网| 超碰免费在线| 色播激情五月天| 婷婷成人AV| 二色av| 好吊丝aV| 婷婷综合一二三| 激情五月天视频| 九月丁香五月婷婷| 日本精品在线噜噜噜| 激情婷婷丁香五月| 丁香五月婷婷五月| 亚洲综合新99视频| www.97干视频| 亚洲视频一区| 成人丁香色| 五月丁香啪啪激情| XX久久| 成人中文网| 日韩啪| 丁香婷婷五月六月天| 91精品国产日韩91久久久久久国模| 天天日天天爽| 久久金品黃色| 色七色九九| 日本久草福利| 精品热青草| 亚洲综合五月天婷婷| 五月丁香婷婷潮喷中文字幕| 99这里只有精品视频免费| 色色色1网址| 另类在线| 日日噜噜夜夜狠狠久久丁香六月| 亚洲色婷婷网站| 性色av大香综合| 五月天偷拍| 男女免费视频999| 五月丁香欧美| 亚洲综合激| 99a级片| 亲子乱AV-区二区三区| 国产毛片精品一区二区色欲黄A片| 99久久免费精品| 丁香五月激情宗合| 激情丁香九九五月综合网| 在线观看日韩12345区| 成人AV在线电影| www天天色天天射| 亚洲综合色丁香婷婷六月| 久婷自拍视频| 亚洲黄网在线| 99国产精品久久久久久久久久久| 婷婷丁香色五月| 五月天另类激情在线| 五月久久亚洲| 婷五月天在线草| 婷色五月| 91日精品| 六月婷婷日| 免费无码毛片一区二区A片| 丁香五月成人社区| 超碰激情网| 亚洲精品婷婷| 超碰熟女拍拍| 一级二级香港秋霞欧美欧美秋霞| av婷婷丁香 六月| 99久在线精品99re8| 日本在线99| 欧美日韩成人综合9| 亚洲国产精品二二三三区| 亚洲综合五月| 99精品热| 九九热在线精品视频| 丁香六月婷婷开心| 久久婷婷五月丁香网| 激情99| 激情婷婷六月天| 婷婷六月久久综合导航| 亚美欧色影院| 激情五月天综合| 色5月婷婷| 日日操,夜夜爽| 伊人丁香花综合影院| 97深爱伊人综合| 婷婷丁香一月| 能看的av片| 亚洲综合婷婷| 色婷婷五月综合网| 婷婷五月天偷拍| 丁香五月婷婷亚洲另类| 激情开心五月亚洲| 狠狠色激情综合| 国产精品色一哟哟| a久久免费视频| 国产精品婷婷午夜在线观看| 五月天婷婷婷| 精品久久久久久久人妻| 五月婷在线视频免费看| 99这里| 偷拍91九色| 丁香六月婷婷综合激情欧美| 99亚洲精品视频| 婷婷久久久| 性av| 五月丁香婷久久| 亚州色综合| 日逼影音先锋AV男人资源站| 岛国资源站| 九九99男女视频在线观看| 激情五月天综合网| 丁香五月婷婷久久综合激情网 | 五月婷婷丁香五月| 最近免费中文字幕大全高清大全1| 五月天成人综合| 日本黄色三级片内射| 青草视频在线观看视频| 91九九九九九九| 91人人妻人人操| 婷婷五月天堂| VA国产在线综合网站| 亚洲色vA| 99热在线只有精品| 丁香婷婷色五月激情综合| 九月色婷婷综合| 超碰在线国产| 人人插操| www.99热这里精品| 久久久18| 狠狠色婷婷在线| 人妻操操色| 天天爱天天操| 另类小说色婷婷| 激情五月黄色| 亚洲成人网站在线| 精品久色| 99热99干| 在线成人网站| 日本欧美成人片AAAA| 操操综合网婷婷| 成人网丁香五月| 久草婷婷| 婷婷五月激情在线视频| 久99久视频| 超碰狠狠干99| 激情婷婷丁香色五月| AA丁香综合激情| 色爱终和网| 丁香五月综合| 狠狠色婷婷7777久| 久久伊人婷| 爱性综合网| 丁香月五月天婷婷久久| 五月天伊人网| 亚洲婷婷五月天| 久久99精品久久久久久青青AR| 超碰无码老师| 大香蕉久艹| 丁香五月婷婷色五月| 亚洲色综合性| 久久六月天| 婷婷五月激情视频网| 五月丁香精品| 日本本土色网第一区| 99热这里只有精品搜| 99久在线精品99re8| 超91在线视频| 婷婷热婷婷色| 99欧州偷拍视频| 久99在线| 婷婷五月激情网站| 婷婷五月天基地| 九九99久久精品| 天天色图| 综合激情视频| 大伊香蕉精品视频在线| 99九色视频在线观看| 成人电影一区| AV性爱网| 熟妇人妻中文字幕无码老熟妇| 99re热99| 狠狠操狠狠做| 色五月激情五月开心五月| 色级婷婷| 丁香五月婷婷姐| 色婷婷五月综合在线| 天天综合网~91| 五月丁香色婷婷婷基地| 99看片| 做爰丰满少妇1313| 久久网日本| 一本久道综合色婷婷五月| 北京熟妇搡BBBB搡BBBB| 综合亚洲AV| 中出内射的人妻视频| 五月婷婷色| 熟女网站久久| 色欲一二三| 色爆五月| 狠狠狠婷婷五月综合| 丁香激情久久| 超碰93在线观看| 丁香六月婷婷综合啪啪| 国产精品电影| 婷婷色激情网| 大香蕉九九| av五月天婷婷丁香| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 射区导航| 色情五月婷婷| 99热传媒| AV操一操| 婷婷五月天中文字幕| 五月情四婷婷| 伊人婷婷综合| 亚洲无码激情| 淑女丝袜bi操逼123| 欧美槡BBBB槡BBB少妇| 色色网站在线免费观看视频| 日韩色五月| 欧美日韩成人高清在线| 99视频久久| 久久婷婷六月综合综合| 综合激情深爱| 激情色五月天| 亚洲丁香网| 亚洲亚洲人成综合网络| 千人斩操逼| 国产成人精品123区免费视频| 色频玖玖五月天| 精品人妻一区| 激情色中文| 91久久久久久久久18| 综合99久久| 在线网黄| 五夜婷婷| 亚洲精品婷婷| 9+1视频网址| 91成人品| 色婷婷A| 伊人网碰碰| 大香蕉久久久久| 综合色图区| 亚洲综合字幕色色| 操99| 亚洲色色爱| 少妇被下春药玩弄A片| RenRenSe在线视频网站| 久777| 伊人9999| 久久ri精品视频| 自拍盗摄 另类| 美欧成人视频| 男女99免费视频| 人人爱操| 九月色婷婷| 久久99热这里只有精品23| 香蕉AV777XXX色综合一区| 色五月婷婷五月丁香五月激情五月视频| 久热只有精品| 色婷婷在线视频久| 婷婷五月丁香图片人人操| 婷婷综合色五月天| 丁香五月婷婷99| 婷婷精品在线| www.激情五月天.com| 亚洲12p| 成人免费va| 五月婷婷草| 91久久久久久久| 婷婷久久图片| 亚洲操逼网| 就爱操www com| 日本成人内射| 日本婷婷在线| 婷婷五月天改成什么了| 日日撸夜夜操| www久久99com| 免费色婷婷| 久久五月天激情| 九色91视频| 激情第四色| 婷婷丁香人妻天天久久| 超碰人人99| 五月天婷婷免费视频| 99九九视频| 丁香五月天堂| 人人草人人视| 91天天操天天干天天射| 欧美久热| 五月色精品| 色九九一二| 99视频内射三四| 亚州日本欧州韩美高青高潮一| www.AV在线| 色五月色五天色情网| 全网最新网黄大秀直播高清,主播国产录屏在线 | WWW.婷婷| 99久久丝| 噜噜五月天综合| 五月婷在线观看| 老师高潮流白浆喷水的A片| 天天做天天爱天天爽| 五月丁香婷婷无码中文| 99热一本| www.99热| 五月天婷婷导航| 色色色婷婷五月| 嫩草AV久久伊人妇女超级A| 五月婷亚洲精品| 丁香五月性| 人五月天婷婷喷水| 久久99久久99精品免视看婷婷| 欧美亚洲操逼| 91精品国产91久久久久青草| 超碰成人公开| 玖玖婷婷综合| 蜜臀嫩草| 这里有精品99| AV在线不卡网站| 夜夜撸日日操| 99精品无码| 激情99热| 五月婷婷天堂| 日美三级| 日日夜夜干| 成人国产综合| 天天干天天操天天上| 九九99免费理论| 99re久热| 国产真人做爰视频免费| 成人综合视频在线| 天天干天天射色综合| www.激情五月天.com| 五月婷免费视频| 韩国中文字幕91| 五月丁香综合| 亚洲综合无码| 婷婷五月天com| 久青青久| 情一色一乱一伦一91A| 熟惀91九色在线| 婷婷欧美| www.99热在线观看| 天天色亚洲| 色综合五月在线| 婷婷香蕉| 三级毛片7979| 久草热8精品视频在线观看| 婷婷色五月天在线观看| 九九99热| 色欲九区| 丁香六月激情国产| 婷婷在线中文字幕| 婷婷五月花| 狠狠色综合网站久久久久| 五月婷婷草| 美女五月天| 天天拍久久| 99热精品10| 青青.com| 香蕉综合在线| 色色综合院| 婷婷激情五月呦呦| www.色五月| 亚洲天堂热| 五月丁香婷婷综合| 五月丁香六月婷婷色情| 精品国产va久久久| 五月婷免费视频久久久| 婷婷午夜| av大香蕉| 色婷婷久久视屏| 久久婷婷大香蕉| 99国产在线精品视频| www久久久| 日本三级日本三级99| 六月丁香婷婷综合在线| 99热a片免| 色五月婷婷久久| 九九色热视频| 无月播播激情在线观看视频| xx色综合| 色插综合网| www.五月婷婷久久.com| www.人人操人人看人人想人人摸 人人人人操,COM| www.25五月婷婷| 五月天合网| 安息电影在线观看完整版| 婷婷五月蜜桃成人桃色丁香| 色婷婷狠狠| 久久精品爱爱| 激情精品久久| 桃色激情婷婷伊人网| 天天搞夜夜爽夜夜爽| 成人av在线电影| 亚洲精品亚洲人成人网| 天天五月丁香五月| 丁香五月六月综合激情| 九九99九九99九九99视频网| 日本超碰在线| 九九熱最新視頻| 九九综合色| 亚洲五月丁香综合网| 久久丁香婷婷五月天| 亚洲五月婷婷在线| 日逼免费视频| 大香蕉院线| 久久婷婷五月综合伊人| 色色亚洲视频| 激情久久久久| 亚洲激情av| 亚洲色综合| 色色五月丁香| 国产五月视频| 亚洲色区17| 日本网站久久| 色yeye色综合| 91亚洲免费片| 99热在线精品观看| 91色久| 草综合网| 激情综合五月丁香| 亚色网站小视频| 五月天婷婷永久免费视频| 五月婷婷 激情五月| 综合五月丁香六月婷婷| 97色色色色色| 日本少妇裸体做爰高潮片| 特黄三级又爽又粗又大| 亚洲AV第二区国产精品| 亚洲综合色色| 大波美女VA网站| 欧美精品熟女一区二区| 色999五月色| 99在线小视频| 婷婷六月激情丁香| 婷婷成人五月天一区| 久久久久久欧美精品se一二三四| 国产在线aaa片一区二区99| 五月婷婷之综合激情| Av狠狠色丁香婷| 亚洲精品va| 日欧大屏操| 99青青草99| www天天干| www久| 色原狠狠综合| 五月停停丁香| 成功精品影院| 国产精品成人在线| 日本一毛片| aaaa久久| 蜜臀A∨在线水帘洞| 五月天婷婷色| 久艹久| 婷婷五月天综合色| 婷婷丁香在线| 五月丁香啪。| 噜噜噜久久亚洲精品国产品91| 亚洲精品白浆高清久久久久久| 永久的网站AAAA| 99ri视频在线播放| 久久色大香蕉| 一二三区视频韩国| 丁香五月激情综合| 五月婷婷狠狠干| 蜜臀99精品| www.AV在线| 开心深爱五月天| 激情五月天 婷婷| 激情丁香婷婷| 激情五月天啪啪| 五月天色色色色色| xxx.色婷婷| 午夜天天精品视频| 91操操操| 少妇被躁爽到高潮无码文| 六月丁香色色| 中文字幕综合| 激情久久久久久久久| 五月成人网站| 毛v一区二区视频| AV操操操| 色婷婷色| 丁香激情网| 丁香婷婷五月综合欧美另类| 五月婷婷基地| 色综合久久无码| 99热这里只有的精品视| 色情婷婷久久五月天| 久久视频在线| 4399精品一区二区| 99久久6| 精品九九网| 欧州色色| 99干在线| 99性爱| 五月天激情图片| 亚洲精品电影| 99精品视频在线观看免费| 在线播放中文字幕| 婷婷五月深情丁香深爱日韩| 色欲av伊人久久大香线蕉影院| 人妻综合网| 任我肏| 婷婷丁香六月五月天| 99热成人| 激情久久四色| 香蕉久久av一区二区三区| 天天操天天日天天爽| 国产av网| 秋霞三及片| 9精品视频在线| 五月婷婷影院| 亚洲国产色婷婷| 无码成人AAAAA毛片AI换脸| 五月综合激情图片| 玖玖99婷婷| 婷婷综合爱| 婷婷五月网图片区| 少妇高潮一区二区三区99欧美| 久久只有这里精品免费| 五月天激情网站| 国产成人VA| 九色在线五月婷婷网址| 成年人99热| 亚洲操B视频| 久久久久婷婷| 五月天 综合 在线| 欧美性生交XXXXX无码小说| 激情五月综合网最新| 99碰| 99亚洲视频| 九九亚洲小视频| 五月丁香婷色| 深夜男女福利刺激影院一区完整| 婷婷五月天天| 天天操天天国产三级片处女学生妹| 久久久27操| 色欲av伊人久久大香线蕉影院| 婷婷色网| 5月婷婷激情网| 青青草色在线视频观看| 久久丁香| 深爱激情久久| 海外网站专业操老外| 亚洲热热视频| 97久久超碰| 99热在线观看| 亚洲五月天另类小说图片| 久久Xx| 日本色婷婷| 五月天,激情四射,婷婷频道| 婷婷色五月天色| 99爱在线免费视频| 丁香色五月婷婷91桃色| 色爱99| 九九热最新| 婷婷五月av| 国产韩日亚洲美州欧亚综合在线| 99久久九九视频| 五月丁香六月激情| A√天堂网在线| 色色热| 激情五月天小说网| 天堂婷婷五月在线| 久久婷婷五月综合色天| 97色婷婷| 色播激情五月天| 五月丁香综合啪啪| 久草婷妨| 色色色色色色色色综合网| 六月丁香激情婷婷| 综合AV在线| 中文成人在线| 97婷婷丁香| 先锋资源 996| 人人操人人操919999| 六月婷婷五月天| 丁香 婷婷 亚洲 熟女| 99热99极品观看| 亚州美女| 狼友超碰| 深爱激情五月天婷婷网| 成人av播放| 美女被操一区二区| 五月天综合婷婷| 激情六月色| 人人舔人人色人人高潮| 中文字幕婷婷在线| 亚洲精品一区中文字幕乱码| 国产激情在线| 99久久思思| 丁香五月伊人| 色色色色网站| 亚洲综合视频天天精品| 日韩大片艹艹| 国产偷人爽久久久久久老妇APP| 97热在线精品| 就爱射中文字幕资源网| 中文网AV| 婷婷丁香五月基地| 99热这里只有精品2| 婷婷激情五月天视频在线| 播五月婷婷开心| 99热在线观看精品| 丁香八月综合激情| 这里只有精品视频在线| 9月色婷婷| 99精品22| 99这里只有精品视频在线| 亚洲无码yw| 久热A片| AAA久久| 色色色综合色| 久久人妻系列| 婷婷五月综合欧美在线播放| 91大神操美女| 六月丁香啪| 天天揷综合网| 99色色视频| 91九色熟女| 色噜噜狠噜噜视频| 天堂草在线观| 色婷婷六月综合| 亚洲色涩视频| 五月天国产| 亚洲热久| 日产精品久久久久久久蜜臀 | 噜噜噜狠狠色综| 国产精女同一区二区三区久| 专区无日本视频高清8| 亚洲AV免费在线| 99热地址| 五月婷婷性| 五月婷婷六月激情网| 99久久久免费| 操逼三区| 99久久色| 中文字幕操比影片| 亚洲欧洲中文日韩久久AV乱码| 五月婷婷色五月| 色五月六月| 五月天婷婷免费| 99热在线观看免费精品| 天天搞天天色综合| caopeng97日韩| 色色色色色色色色五月先| 特级操b片| 午夜免费高清AV片| 婷婷五月精品中文| 九一九九黄色| ztEJj| 婷婷五月天VI| 老师的粉嫩小又紧水又多A片视频| 久久九九热视频| 色噜噜婷婷| 婷婷色综合| 99这里有精品视频| 丁香六月激情|