欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

基于RKE的Rancher管理平臺(tái)遷移:備份恢復(fù)與下游集群重連

基于RKE的Rancher管理平臺(tái)遷移:備份恢復(fù)與下游集群重連 最近我把一套跑在RKE集群上的Rancher管理平臺(tái)從舊機(jī)器整體遷到了新環(huán)境。Rancher本身不復(fù)雜復(fù)雜的是它管理的一堆下游集群——每個(gè)下游集群里的agent都只認(rèn)原來(lái)的server-url和證書。遷移過(guò)程中先后經(jīng)歷了備份、恢復(fù)、agent重連、證書替換最后還要處理一堆歷史配置殘留。這篇文章把我這次基于RKE部署的Rancher管理平臺(tái)遷移的完整過(guò)程、關(guān)鍵命令和后來(lái)復(fù)盤出來(lái)的幾個(gè)坑都寫出來(lái)希望給要做同樣事情的人一個(gè)參考路徑。全文涉及Rancher版本與K8s版本的對(duì)齊、backup operator備份恢復(fù)、下游集群重連驗(yàn)證以及幾個(gè)我在遷移過(guò)程中踩過(guò)的典型問(wèn)題。1. 先想明白R(shí)KE架構(gòu)下Rancher遷移到底在遷什么1.1 RKE與Rancher的分工梳理RKERancher Kubernetes Engine是一個(gè)通過(guò)一條命令拉起Kubernetes集群的工具它用cluster.yml描述節(jié)點(diǎn)信息和集群配置執(zhí)行rke up后生成一套可用的K8s集群。而Rancher是跑在這套集群上的容器化應(yīng)用通過(guò)helm chart安裝到cattle-system命名空間用來(lái)管理它所在的local集群以及其他外部集群。這兩個(gè)層次一定要分清楚RKE負(fù)責(zé)“蓋房子”Rancher負(fù)責(zé)“住進(jìn)去做管理”。遷移的時(shí)候房子要重新蓋但里面的家具、賬本、住戶登記信息都要盡量原樣搬過(guò)去。這里的“賬本”主要就是Rancher在K8s里持久化的各種自定義資源CRD、configmap、secret、RBAC以及底層etcd中的狀態(tài)。1.2 為什么不能直接“打包拷貝”很多人第一次接觸Rancher遷移時(shí)會(huì)想Rancher不是一堆容器嗎把鏡像、數(shù)據(jù)目錄復(fù)制過(guò)去不就行了實(shí)際上Rancher管理平臺(tái)的狀態(tài)高度依賴Kubernetes的API對(duì)象和etcd它內(nèi)部還有多個(gè)controller通過(guò)watch機(jī)制同步信息。直接拷貝鏡像和靜態(tài)文件完全沒(méi)有意義因?yàn)镽ancher生成的密碼、token、私鑰存在secret里單獨(dú)復(fù)制一份出來(lái)并不代表可用對(duì)象之間的引用關(guān)系必須一起帶過(guò)去。下游集群通過(guò)agent和Rancher保持心跳agent里記錄的是server-url和證書信息單純復(fù)制會(huì)導(dǎo)致agent指向錯(cuò)誤的地址。Kubernetes本身是分布式系統(tǒng)它的etcd數(shù)據(jù)包含節(jié)點(diǎn)IP、證書等不能把一套集群的etcd直接丟給另一套集群用。可以把這個(gè)過(guò)程類比成搬家搬家具容易但你得先把戶籍、水電燃?xì)膺@些登記信息同步過(guò)去不然新家里通電通水了原來(lái)的賬單還是寄到舊地址。遷移的本質(zhì)是“數(shù)據(jù)、身份、網(wǎng)絡(luò)信任”三者的整體搬遷。1.3 遷移完成后的目標(biāo)狀態(tài)遷移完成后我們希望達(dá)到如下?tīng)顟B(tài)新集群上的Rancher版本和舊環(huán)境一致或者至少滿足升級(jí)兼容矩陣。登錄賬號(hào)、權(quán)限角色、全局設(shè)置、用戶密碼全部保留。下游集群仍然被Rancher管理agent自動(dòng)重新注冊(cè)。審計(jì)日志、監(jiān)控配置等可選組件按需保留。為此遷移前需要把舊環(huán)境的信息完整記錄下來(lái)建議用表格逐項(xiàng)填寫Rancher版本、Helm chart版本、K8s版本、RKE版本、server-url、證書類型、外部認(rèn)證方式、下游集群數(shù)量、以及是否有自定義的CRD或存儲(chǔ)配置。記錄項(xiàng)示例值用途rancher/rancher鏡像版本v2.7.8新環(huán)境安裝時(shí)需要對(duì)應(yīng)helm chart版本103.1.5避免restore時(shí)版本沖突rke --versionv1.4.10新環(huán)境RKE版本對(duì)齊server-urlhttps://rancher.example.com下游agent連接的關(guān)鍵證書類型受信CA證書 / 自簽證書決定是否要遷移私鑰認(rèn)證方式本地用戶 / LDAP / OIDC決定外部認(rèn)證是否需要二次配置下游集群數(shù)量7個(gè)遷移后驗(yàn)證清單1.4 常見(jiàn)遷移方案對(duì)比方案ARancher backup-restore-operator備份恢復(fù)。在舊集群安裝backup operator創(chuàng)建Backup CR把Rancher關(guān)鍵資源resourceSet備份到S3兼容對(duì)象存儲(chǔ)或本地路徑新環(huán)境反向操作Restore。優(yōu)點(diǎn)是備份粒度精準(zhǔn)、官方維護(hù)、適合遷移場(chǎng)景。缺點(diǎn)是這個(gè)工具只覆蓋Rancher自身狀態(tài)底層K8s的網(wǎng)絡(luò)插件、ingress等需要另建。方案B對(duì)承載Rancher的K8s集群做etcd快照然后在新環(huán)境用相同的RKE配置重建集群再恢復(fù)快照。優(yōu)點(diǎn)是Rancher本身幾乎無(wú)感知。缺點(diǎn)是對(duì)新舊環(huán)境的pod CIDR、service網(wǎng)段、甚至node名稱一致性要求很高靈活性差不太適合換機(jī)器、換機(jī)房的場(chǎng)景。方案C全新部署Rancher再手工配置或通過(guò)API遷移用戶、項(xiàng)目。優(yōu)點(diǎn)是環(huán)境干凈。缺點(diǎn)是工作量大、極易遺漏而且有很多不可復(fù)制的內(nèi)容比如agent注冊(cè)token、審計(jì)日志歷史、部分CRD狀態(tài)。方案優(yōu)點(diǎn)缺點(diǎn)適用場(chǎng)景backup operator遷移官方維護(hù)、粒度精準(zhǔn)、狀態(tài)完整只覆蓋Rancher資源換機(jī)器、換機(jī)房、版本不變或小版本升級(jí)etcd快照恢復(fù)整個(gè)集群狀態(tài)整體搬遷對(duì)網(wǎng)絡(luò)段、節(jié)點(diǎn)名要求高純硬件遷移且網(wǎng)絡(luò)規(guī)劃不變?nèi)虏渴鹗止づ渲脽o(wú)歷史包袱工作量大易遺漏舊環(huán)境已不可用且業(yè)務(wù)允許重建我這次采用的是方案A為主B作為備選兜底。這也是官方推薦路徑下文主要圍繞它展開(kāi)。2. 動(dòng)手前先把家底盤清楚必須帶走的數(shù)據(jù)和狀態(tài)2.1 資源清單不止cattle-system一個(gè)命名空間Rancher在K8s里并不是只往cattle-system里寫數(shù)據(jù)。備份的時(shí)候至少要考慮這些對(duì)象cattle-system命名空間Rancher pod、service、相關(guān)configmap。cattle-pipeline流水線相關(guān)配置。cattle-logging、cattle-monitoring、cattle-alerting日志、監(jiān)控、告警配置如果沒(méi)啟用就沒(méi)有。management.cattle.io組下的CRDCluster、Project、User、GlobalRole、Setting、Token等。secret包括admin密碼hash、服務(wù)賬戶token、agent注冊(cè)token等。RBAC自定義的角色綁定和權(quán)限設(shè)置。使用backup operator時(shí)它默認(rèn)的resourceSet已經(jīng)覆蓋了這些主流對(duì)象。實(shí)際操作中我在Backup CR里顯式使用官方預(yù)置的resourceSetName這樣不容易漏。不建議手工指定一堆命名空間因?yàn)楹苋菀茁┑裟硞€(gè)CRD等恢復(fù)后缺數(shù)據(jù)再排查就很被動(dòng)了。2.2 版本和配置信息盤點(diǎn)遷移前必須記下來(lái)除了數(shù)據(jù)還有幾類配置信息必須提前記錄。否則遷移到一半會(huì)發(fā)現(xiàn)server-url指向舊地址AI大模型都救不了你rancher/rancher鏡像版本以及helm chart版本用helm ls -n cattle-system查看。RKE版本用rke --version查看。K8s版本用kubectl version查看或者看RKE cluster.yml里的kubernetes_version。server-url在Rancher UI的全局設(shè)置里查看這是下游agent連接的關(guān)鍵。認(rèn)證方式如果用的是本地用戶備份里有密碼hash恢復(fù)后原密碼仍可用如果接的是外部LDAP或OIDC遷移后需要在新環(huán)境重新配置認(rèn)證提供方地址或信任關(guān)系。ingress證書類型自簽還是受信CA簽發(fā)。如果在遷移中更換域名或IP證書也要同步更新。強(qiáng)烈建議把上面這些寫到一個(gè)固定文檔里遷移過(guò)程中每一步都對(duì)照著核對(duì)。我的經(jīng)驗(yàn)是文檔里漏掉一個(gè)版本號(hào)后面恢復(fù)時(shí)可能多花兩個(gè)小時(shí)來(lái)排查。2.3 備份實(shí)操安裝backup operator并創(chuàng)建Backup CRbackup operator通過(guò)helm chart安裝命名空間是rancher-backup。安裝完成后創(chuàng)建一個(gè)Backup CR結(jié)構(gòu)類似apiVersion: resources.cattle.io/v1 kind: Backup metadata: name: rancher-backup spec: storageLocation: s3: bucketName: my-rancher-backups region: ap-east-1 endpoint: s3.example.com resourceSetName: rancher-resource-set encryptionConfigSecretName: backup-encryption-secret幾個(gè)字段的意圖說(shuō)下storageLocation備份文件存到S3兼容對(duì)象存儲(chǔ)也可以配置local存到節(jié)點(diǎn)路徑。生產(chǎn)環(huán)境建議S3兼容存儲(chǔ)方便新環(huán)境讀取。encryptionConfigSecretName可選。如果舊環(huán)境有敏感數(shù)據(jù)需要加密就得用同樣的加密配置否則新環(huán)境restore時(shí)解不開(kāi)。resourceSetName官方預(yù)置的資源集默認(rèn)使用rancher-resource-set。創(chuàng)建后觀察狀態(tài)等狀態(tài)變?yōu)镃ompleted表示備份完成。備份文件會(huì)生成一個(gè)tar.gz包里面是包含Rancher資源和CRD定義的一個(gè)清單。備份成功后確認(rèn)一下輸出的文件名后面Restore要用到。提示關(guān)于加密secret如果舊集群里配置了新集群安裝backup operator時(shí)也要把這個(gè)secret一起建出來(lái)并且內(nèi)容一致否則restore會(huì)直接失敗。這是最容易忽略的坑。2.4 備份完成后的驗(yàn)證備份狀態(tài)Completed不代表萬(wàn)事大吉。建議先下載備份文件確認(rèn)tar.gz包大小不是0字節(jié)再用tar解壓看一眼里面的資源列表。我遇到過(guò)備份文件生成成功但因?yàn)镾3接口兼容問(wèn)題文件內(nèi)容是殘缺的到restore階段才暴露。提前解壓驗(yàn)證幾秒的事能省下后面一整天的排查。3. 新環(huán)境搭建RKE拉起集群時(shí)的版本對(duì)齊與資源規(guī)劃3.1 版本對(duì)齊是遷移的第一原則先決定新環(huán)境的K8s版本。原則是新集群的版本與舊集群一致或者至少位于Rancher版本對(duì)應(yīng)的支持矩陣之內(nèi)。版本差太大的話Rancher chart在restore過(guò)程中可能出現(xiàn)CRD版本沖突、API group變更等問(wèn)題導(dǎo)致升級(jí)不動(dòng)、pod起不來(lái)。RKE本身也分版本舊環(huán)境用哪個(gè)版本生成的RKE新環(huán)境最好也用同一個(gè)版本。RKE生成的集群里kube-system下的一些組件版本和配置會(huì)有細(xì)微差異版本不一致會(huì)加大后面排查的難度。另外如果這次遷移同時(shí)想升級(jí)Rancher大版本我的建議是分兩步走先按舊版本遷移穩(wěn)定運(yùn)行后再做升級(jí)。不要邊遷移邊升級(jí)一次只引入一個(gè)變量否則出了問(wèn)題你不知道是遷移導(dǎo)致的還是升級(jí)導(dǎo)致的。3.2 cluster.yml的關(guān)鍵配置保持一致性在RKE集群的cluster.yml里有幾個(gè)參數(shù)會(huì)影響Kubernetes網(wǎng)絡(luò)層和證書層遷移時(shí)盡量跟舊環(huán)境保持一致network.plugin最常用canal或flannel新舊環(huán)境建議一致。services.kube-controller的service_cluster_ip_range與cluster_cidr集群內(nèi)部地址段建議保持與舊集群一致。如果變了Rancher里已存在的服務(wù)路由和網(wǎng)絡(luò)策略可能會(huì)出問(wèn)題。kubernetes_version保持同版本。nodes配置可以用新的主機(jī)名和IP這是允許變化的因?yàn)镵8s節(jié)點(diǎn)身份會(huì)重新生成。老規(guī)矩改節(jié)點(diǎn)IP沒(méi)問(wèn)題但pod CIDR和service網(wǎng)段不能隨意改遷移后很多已創(chuàng)建的服務(wù)地址和網(wǎng)絡(luò)策略都是基于原網(wǎng)段的。3.3 新環(huán)境節(jié)點(diǎn)資源規(guī)劃Rancher管理平臺(tái)自身不重但也不要太寒酸。承載Rancher的K8s集群至少用3個(gè)節(jié)點(diǎn)組成etcdcontrolplane角色生產(chǎn)建議每個(gè)節(jié)點(diǎn)4核8G起步磁盤用SSD并且40G以上。如果還要在下游集群上使用監(jiān)控、告警資源再往上浮。RKE要求節(jié)點(diǎn)能訪問(wèn)公開(kāi)鏡像倉(cāng)庫(kù)或者提前把鏡像推到私有倉(cāng)庫(kù)并在cluster.yml里配置registry認(rèn)證。新環(huán)境的節(jié)點(diǎn)時(shí)間同步也一定要做好K8s證書和agent錨定時(shí)間偏差太大會(huì)直接握手失敗。這些基礎(chǔ)項(xiàng)出了問(wèn)題后面恢復(fù)Rancher時(shí)出現(xiàn)的報(bào)錯(cuò)會(huì)非常奇怪。3.4 初始化后先做基礎(chǔ)驗(yàn)證別急著恢復(fù)執(zhí)行rke up之后先用kubectl get nodes -o wide確認(rèn)所有節(jié)點(diǎn)Ready再用kubectl get pods -A確認(rèn)kube-system和ingress-nginx的pod全部Running。這時(shí)候先不要急著裝Rancher或者做restore先把網(wǎng)絡(luò)層驗(yàn)證一遍。比如隨便跑一個(gè)測(cè)試服務(wù)確認(rèn)集群內(nèi)部DNS正常、pod之間可以通信。等基礎(chǔ)集群穩(wěn)定后再用helm安裝Rancher chart。安裝時(shí)用一個(gè)臨時(shí)的bootstrapPassword即可后續(xù)會(huì)被備份數(shù)據(jù)覆蓋。4. 恢復(fù)數(shù)據(jù)那一刻backup operator restore實(shí)操細(xì)節(jié)4.1 恢復(fù)前置準(zhǔn)備新環(huán)境恢復(fù)之前先把backup operator裝上命名空間同樣是rancher-backup。這一步和舊環(huán)境安裝基本一致需要注意兩點(diǎn)如果備份時(shí)用了encryptionConfigSecretName新環(huán)境要先創(chuàng)建同名secret內(nèi)容保持一致。如果備份文件在S3兼容對(duì)象存儲(chǔ)新環(huán)境要確保網(wǎng)絡(luò)可以訪問(wèn)這個(gè)地址尤其是私有化部署的對(duì)象存儲(chǔ)防火墻規(guī)則要提前配好。4.2 restore CR的編寫restore CR示例apiVersion: resources.cattle.io/v1 kind: Restore metadata: name: rancher-restore spec: backupFilename: rancher-backup-xxx.tar.gz storageLocation: s3: bucketName: my-rancher-backups region: ap-east-1 endpoint: s3.example.com resourceSetName: rancher-resource-set prune: true幾個(gè)字段的意圖backupFilename必須指向備份時(shí)生成的文件名。prune恢復(fù)時(shí)是否刪除目標(biāo)集群中已有的、不在備份里的Rancher資源。強(qiáng)烈建議設(shè)為true否則新環(huán)境安裝Rancher chart時(shí)會(huì)預(yù)創(chuàng)建一些默認(rèn)對(duì)象和備份數(shù)據(jù)混在一起容易沖突。storageLocation和備份時(shí)保持一致。創(chuàng)建restore后backup operator會(huì)在cattle-system里啟動(dòng)Rancher pod并恢復(fù)數(shù)據(jù)期間UI可能短時(shí)不可用需要耐心等。觀察restore狀態(tài)到Completed再刪除restore對(duì)象。4.3 恢復(fù)后的首次登錄和原始憑據(jù)恢復(fù)完成后Rancher會(huì)自動(dòng)重啟。用舊環(huán)境的管理員賬號(hào)密碼登錄如果用臨時(shí)bootstrapPassword是登不進(jìn)去的。如果舊環(huán)境密碼也沒(méi)記錄在恢復(fù)前提前從舊集群的secret里把a(bǔ)dmin密碼hash導(dǎo)出或者干脆在遷移前重置一次管理員密碼并記錄下來(lái)。登錄之后全局設(shè)置里的server-url非常關(guān)鍵。如果新環(huán)境地址變了要立刻改過(guò)來(lái)。改server-url時(shí)Rancher會(huì)嘗試重新生成下游集群的agent注冊(cè)配置。4.4 為什么順序必須是先有Rancher基礎(chǔ)chart再restore有人問(wèn)為什么不能在一臺(tái)空K8s集群上直接安裝backup operator然后restore因?yàn)閞estore本質(zhì)上是把Rancher自身的資源對(duì)象覆蓋進(jìn)去但它沒(méi)有能力重建Rancher chart全部初始化流程所依賴的骨架。比如cattle-system命名空間的基礎(chǔ)對(duì)象、ingress、serviceAccount等。先安裝Rancher chart可以把這些骨架搭好然后再用備份數(shù)據(jù)覆蓋血肉。骨架和血肉來(lái)自同一個(gè)版本時(shí)最穩(wěn)。4.5 恢復(fù)后的第一輪驗(yàn)證登錄Rancher UI后先看全局設(shè)置、用戶列表、角色權(quán)限是否完整。再進(jìn)入local集群看節(jié)點(diǎn)負(fù)載是否正常。此時(shí)下游集群大概率顯示Disconnected不用慌這一步正常下一步處理。5. 遷移后最麻煩的部分下游集群怎么重新接回Rancher5.1 失聯(lián)原因分解下游集群失聯(lián)的直接原因通常是agent注冊(cè)時(shí)保存的server-url還是舊地址DNS切換后連不上。證書不匹配TLS握手失敗。Rancher服務(wù)端生成的新token沒(méi)有分發(fā)下去。防火墻或安全組沒(méi)放行新的管理集群端口??梢赃@么理解下游集群的agent就像一臺(tái)老式電話機(jī)號(hào)碼簿里記的還是舊號(hào)碼。你要讓Rancher這邊的座機(jī)先確認(rèn)自己的新號(hào)碼然后想辦法把新號(hào)碼通知給所有電話機(jī)。5.2 先讓server-url和證書確定下來(lái)遷移后第一件事是把全局設(shè)置里的server-url改為最終對(duì)外地址并確認(rèn)證書有效。如果地址變化導(dǎo)致證書不匹配通常需要更新Rancher ingress的TLS secret換成覆蓋新地址的證書。在Rancher UI的Settings里觸發(fā)配置刷新。之后下游集群的agent如果自動(dòng)重連失敗再手動(dòng)重發(fā)。如果舊環(huán)境用了自簽證書遷移時(shí)要保留私鑰和完整證書鏈不能只帶一個(gè)crt。私鑰不匹配的話agent全部握手失敗報(bào)的都是x509錯(cuò)誤。5.3 自動(dòng)重連與手動(dòng)兜底大部分情況下只要server-url正確、網(wǎng)絡(luò)通暢cattle-cluster-agent和cattle-node-agent會(huì)在幾分鐘內(nèi)恢復(fù)正常。判斷方法在Rancher UI查看下游集群的狀態(tài)從Disconnected慢慢變回Active。在下游集群執(zhí)行kubectl get pods -n cattle-system看cattle-cluster-agent和cattle-node-agent是否Running。如果仍異常查看agent日志常見(jiàn)的是x509證書錯(cuò)誤或request timeout。手動(dòng)兜底路徑在Rancher UI進(jìn)入對(duì)應(yīng)集群的編輯頁(yè)面找到Registration Token重新生成或查看kubeconfig。拿到該集群的agent manifest。在下游集群里刪除舊的agent Deployment/DaemonSet讓它們重新拉取最新配置。更直接的做法在目標(biāo)集群對(duì)應(yīng)頁(yè)面用Edit Cluster重新保存一次Rancher會(huì)重新下發(fā)注冊(cè)命令。5.4 驗(yàn)證每類角色的狀態(tài)可以用一張表輔助驗(yàn)證檢查對(duì)象參考命令預(yù)期結(jié)果Rancher管理集群節(jié)點(diǎn)kubectl get nodes全部ReadyRancher podkubectl get pods -n cattle-systemRunning下游集群cattle-cluster-agentkubectl -n cattle-system get podsRunning或重建后正常下游集群cattle-node-agentkubectl -n cattle-system get daemonset正常調(diào)度Rancher UI集群列表集群管理-集群狀態(tài)為Active5.5 證書和token的實(shí)操經(jīng)驗(yàn)如果要保留原有自簽證書新環(huán)境必須把舊證書的私鑰、證書鏈完整帶入不能只帶一個(gè)crt。如果是遷移后重新簽發(fā)證書那么下游集群必須能通過(guò)新地址驗(yàn)證服務(wù)端身份否則agent全部握手失敗。比較省事的做法是遷移后直接換成受信CA簽發(fā)的域名證書一勞永逸。還有一個(gè)細(xì)節(jié)Rancher的agent注冊(cè)token是有有效期的如果遷移間隔太久token可能已經(jīng)過(guò)期。這種情況下重新生成新token即可。6. 復(fù)盤走過(guò)的彎路典型失敗場(chǎng)景與排查鏈路6.1 場(chǎng)景一恢復(fù)后Rancher UI起來(lái)了但登錄一直報(bào)錯(cuò)我遇到過(guò)restore完成后頁(yè)面反復(fù)提示Unauthorized的情況。排查下來(lái)發(fā)現(xiàn)是臨時(shí)裝的Rancher chart和備份數(shù)據(jù)的版本不一致導(dǎo)致admin用戶相關(guān)CRD沖突。解決方法是把Rancher chart卸載重新裝到與舊環(huán)境一致的chart版本再restore。所以恢復(fù)前核對(duì)chart版本絕對(duì)不要省。這一條異常重要。6.2 場(chǎng)景二下游集群顯示Disconnectedagent日志報(bào)TLS錯(cuò)誤agent日志里的典型錯(cuò)誤是certificate signed by unknown authority或x509: certificate is valid for xxx。這說(shuō)明agent拿到的證書和當(dāng)前server-url不匹配。處理步驟確認(rèn)server-url和實(shí)際訪問(wèn)地址一致。確認(rèn)ingress證書是新地址的有效證書。在下游集群刪除cattle-system下agent相關(guān)pod強(qiáng)制重建。如果還不行直接在Rancher里重新生成registration token并apply。6.3 場(chǎng)景三新集群上的Rancher pod一直ImagePullBackOff新環(huán)境通常還沒(méi)配好鏡像倉(cāng)庫(kù)的登錄信息特別是從私有鏡像倉(cāng)庫(kù)拉Rancher鏡像時(shí)。處理手段是提前在節(jié)點(diǎn)上配置docker login或者在cluster.yml和Rancher chart的values里配置imagePullSecrets。舊環(huán)境用了哪些鏡像建議提前導(dǎo)出鏡像清單避免新環(huán)境臨時(shí)找鏡像。6.4 場(chǎng)景四prune沒(méi)開(kāi)恢復(fù)后Rancher里混著一堆重復(fù)對(duì)象臨時(shí)安裝的Rancher chart會(huì)預(yù)創(chuàng)建默認(rèn)的集群對(duì)象。如果restore時(shí)prune沒(méi)開(kāi)備份里沒(méi)有的默認(rèn)對(duì)象會(huì)留在系統(tǒng)里看起來(lái)像多出來(lái)幾個(gè)服務(wù)或項(xiàng)目。它們的資源類型和正常對(duì)象混在一起排查很費(fèi)勁。所以restore時(shí)prune盡量設(shè)成true。6.5 排查思路的層次總結(jié)幾條排錯(cuò)順序第一層網(wǎng)絡(luò)通不通。從下游集群節(jié)點(diǎn)執(zhí)行curl -k https://新server-url:443。第二層證書對(duì)不對(duì)。檢查證書域名、有效期。第三層server-url對(duì)不對(duì)。在Rancher全局設(shè)置里看。第四層Token和agent配置有沒(méi)有更新??碼gent日志和registration token。第五層版本和CRD有沒(méi)有沖突。看Rancher pod日志和CRD版本。按這個(gè)順序走大部分問(wèn)題的根因都能定位到前四層。如果真的到第五層基本就是版本規(guī)劃的問(wèn)題需要回到備份和chart版本匹配這條線上重新對(duì)齊。6.6 一個(gè)小建議遷移前先完整演練一遍如果你的環(huán)境比較復(fù)雜比如下游集群非常多、有自定義RBAC、有外部認(rèn)證強(qiáng)烈建議先搭一個(gè)臨時(shí)環(huán)境完整演練一遍備份、恢復(fù)、下游重連、驗(yàn)證。演練過(guò)程能暴露大部分問(wèn)題也會(huì)讓你對(duì)restore的耗時(shí)和UI中斷時(shí)間有預(yù)期真遷的時(shí)候心里有底?;氐介_(kāi)頭說(shuō)的那次遷移。整個(gè)過(guò)程讓我印象最深的不是restore那一下而是備份清單和版本記錄是否完整。只要這些基礎(chǔ)信息是齊的遷移就像按照地圖走一遍反過(guò)來(lái)最基礎(chǔ)的版本不匹配就能讓你卡住半天。以后再接到類似的Rancher遷移任務(wù)我會(huì)先花半小時(shí)盤點(diǎn)版本、server-url、證書和備份文件再動(dòng)手。遷移窗口期盡量選在業(yè)務(wù)低峰restore過(guò)程中的UI中斷時(shí)間通常不會(huì)太長(zhǎng)但下游集群重新注冊(cè)的時(shí)間取決于集群數(shù)量和網(wǎng)絡(luò)狀況??傮w來(lái)看基于RKE部署的Rancher遷移只要把握住數(shù)據(jù)、身份、網(wǎng)絡(luò)信任這三件事不會(huì)出大問(wèn)題。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久伦乱| 99热青青草原| 丁香五月激情婷婷| 亚洲精品视频电影| 五月婷婷五月天| 伊综合蕉| 97色欧美| 色综合色婷色基地| 久久性爱网站| 亚洲九N| 丁香五月AV| 99色.com| 五月婷婷色播| av大香蕉| 99激情| www久| 99热只有| 丁香婷婷综合五月天| 丁香六月婷婷色XXXXX| 亚洲天堂大香蕉| 日韩在线婷婷五月天综合| 婷婷九月久久| 性爱久久| 思思99热在线| 色综色网| 综合XX网| 亚洲综合在线网站| 丁香五月情| 99九九综合久久九九| www.色九月| 五月激情综合网| 色情五月综合婷婷| 五月丁香六月激情综合在线| 亚洲成人日韩无码精品| 五月婷婷色播| 久久中文人妻系列| 五月婷婷影视| 五月婷婷9| 五月天色综合| 色婷婷五月天激情| 另类图片五月天婷婷| 国产精品国产| 天天激情综合| 婷婷五月综合色中文字幕| 26uuu亚洲精品国产| 五月婷婷六月激情| 亚洲成人婷婷| 色九月婷婷综合| 九九热在线观看视频| 丁香婷婷丁香五月欧美人| 99年操人人爽| 久久色五月| 五月天另类综合网| 日韩综合网络男女香蕉a片| 色婷婷成人做爰A片免费看网站| 久久开心五月婷婷| 六月丁香婷婷综合色播| 丁香五月婷婷久久久| 久9久成人精品视频| 久久亚洲婷婷综合色五月| 日韩小视频在线99| 狠狠搞狠狠操| 狠狠摸狠狠摸| 亚洲色A| 啪啪色激情五月天| 丁香五月777| 天天日天天干天天操| 婷婷五月天偷拍| 五月综合丁香婷婷| 99久久九九视频| EEUSS鲁片一区二区三区| 91欧美| 久艹伊| 激情综合五月婷婷| 超碰99热| 五月婷婷视频在线观看| 激情亚洲五月| 激情婷婷五月天伊人在线观看| 免费AV在线| 91人人爱| 日韩AC在线免费观看| 五月天成人综合| www.五月丁香| 五月天,激情四射,婷婷频道| 亚洲噜色| 五月综合激情图片| 五月婷婷啪啪啪| 97午夜一区二区| 久久五月丁香| 99精品在这里| 91蜜桃婷婷狠狠久久综合9色| www.色婷婷.com| 五月激情网络| 第四色婷婷五月| 五月天播播综合| 久久精品99久久久久久| 综合久久久婷| 99热费观看| 69久热| 四川BBB搡BBB搡多人乱亂| 五月婷啪啪| 亚洲99精品欧美一区| 99爱无码| 一起草性爱不卡视频| 99这里有精品视频视频| 久久 视频这里只有精总| 狠狠999| 99激情网| 天天爽天天弄| 色丁香久久久| 日日干夜夜干| 99热青青草| 五月婷婷之综合激情| 亚洲色图五月丁香| 婷婷色在线| 婷婷中文字幕| 精品日本视频444| 婷婷五月丁香综合瑟瑟| 日亚二欧美| www.97碰碰com| 久久婷婷综| 五月丁香六月欧美综合| 激情五月天小说| 综合性爱网| 综合另类视频| 国产做爰视频免费播放| 久久aaaaa| 日韩成人中文字幕| 婷婷五月天视频小说| 午夜精品777| 狠狠五月天婷婷激情网。| 天天做天天爱天天综合网| 色啪影院| 久久9热好| www.五月婷| 色热久| 最新午夜理论片| 日韩AAA| 天天色,天天日,天天做| 99色热| 操逼综合网| 91精品综合久久久久久五月丁香| 快色t v在线入口| 日韩综合久久| 好叼操在线观看| 久久机热探花| 九九九九九无码| 丁香五月天啪啪激情综和网| 99操碰| 婷婷色网址| 色五月成人| 亚洲日韩26uuu| 九九热最新| 久久久天堂国产精品女人| av一区二区电影免费在线观看| 都市激情久久| www.色99| 性色综合网| site:wpjngj.com| 丁香婷婷十月| 牛牛澡牛牛爽| 91色久| 精品五月花| 青青草原中文字幕| 伊人玖玖精品| 99啪在线| 日本色五月婷婷| 色哟呦av| 五月天自拍网| 国产精品VIDEOSSEX久久发布| 大香蕉久久草| 色婷婷基地| 98国产精品综合一区二区三区| 久久曰曰| 色婷婷狠狠18禁| 五月丁香婷婷老司机| 亚洲中文无码成人| 大地资源色婷婷视频在线| 久操热线| 狠狠色噜噜狠狠狠狠综合| www天堂99| 丁香五月婷婷动漫| 一本大道熟女人妻中文字幕在线| 免费亚洲婷婷| 久久这里只有精品久久| 久久思思热| 超碰成人免费| 色色99| 中文字幕九九九九| www.久久爱.com| 欧美激情久| 婷婷香五月综合激情| 婷婷五月综合性爱| 亚洲免费av在线| 欲求不满的人妻| 五月婷婷开心综合| 操操操91| 九月激情综合| 九九re精品视频在线观看| 色婷婷香蕉| 激情影院内射| 五月激情综合网| 96丁香婷婷九月蜜桃综合久久| 婷婷综合激情五月中文字幕| 少妇出轨做爰高潮A片| 亚洲综合在线丁香五月| www.五月丁香| 丁香六月激情| 99热99热在线观看| 大地9中文在线观看免费高清| 久久这里只有精品16| 99色热综合| 99精品在线观看视频| 综合色视频| 97操碰视频| 婷婷六月网| 色综合女人99| 天天摸天天肏| 99热99这里有免费的精品| 激情色情五月天| 97资源碰碰| 婷婷中文在线| 五月草影视| 六月婷婷色色色| 成人va在线播放| 热99视频| 91婷婷在线| 丰满少妇猛烈A片免费看观看| 婷婷香五月| WWW.久久久久久久| 3p九色在线| 丁香五月综合激情啪啪| 色色亚卅| 色婷婷电影| 九月婷婷综合在线| 综合久久婷婷| 蜜桃人妻无码AV天堂三区| 五月丁香亚洲校园欧美| 99热资源在线| 久久综合五月天激情小说网站 | 久久精品国产AV一区二区三区 | 丁香五月精品| 色婷婷在线播放| 精品一区二区三区四区五区六区| 久久久com| 九九精品视频在线观看| 五月天色官网| 五月天色婷伊人| 玖玖在线视频福利| 97操操操| 99热在线精品播放| 第五婷婷伊人丁香| 五月婷婷www| 婷婷五月天国产传媒| 五月天激情图片| 色婷婷久久综合中文久久一本| 久久五月天黄色五月天色网址| 激情五月婷婷综合| 五月婷婷激情网| 色五月在线播放| 韩国情人在线电视剧免费观看高清版全集| 国产成人高清| 91九色在线视频| Aα在线免费观看| av首页在线| 亚洲亚洲人成综合网络| se99视频| 丁香婷婷五月| av中文在线| 夜夜干 夜夜操| 99激情网| 99热国产| 综合色五月天| 五夜婷婷| 久机视频这只有精品| 综合激情五月天| 激情AV在线| www.婷婷亚洲基地| 婷婷丁香五月激情| 午夜一区| 日韩av大全| 99久在线视频| 五月婷婷另类| 六月色色婷婷| 热五月婷婷| 国产肥白大熟妇BBBB视频| 欧美在线| 九九热99在线视频| 一级七香蕉| 婷色综合| 色色九区| 日韩999| 九九精品综合| 99久久久99久久91熟女| 激情宗合哪里能看| xxx综合在线| 91色涩| 第九色区av天堂| 黄色国久久| 欧美在线视频免费播放| 99久久99热| 夜夜操天天干| 精品99爱免费视频在线观看| 深爱激清网| 99热老网站| 8090在线影视少妇| 亚洲综合999| 永久的网站AAAA | 日本一区二区三区精品视频| 色九网| 激情五月婷婷丁香| 99热| 三区激情四射av| 中文字幕在线免费观看视频| 中文字幕高清av| 思思热思在线精品视频| 日韩av在线免费观看| 色墦五月丁香| 色99婷婷五月天| 激情婷婷| 婷婷六月久久综合导航| 性色婷婷| 日韩精品一曲二曲三曲四曲五曲| 人人亚洲| 思思久久99| 四季AV综合网| 激情伊人五月天| 色综合色色| 久久最新色| 九九视频在线观看视频在线播放69| 日本色色影院| 日日噜噜久久婷婷五月天 | 日韩av网址大全| 99热这里只有精| yjzz亚洲国产| 婷婷五月天 偷拍| 91人人操人人| 丁香婷婷五月综合影院| 色五月天在线观看| 欧美性生交XXXXX无码小说| 五月天伊人综合| 26uuu精品一区二区| 婷婷五月色天| 五月婷婷丁香日韩在线| 成人超碰AV| 成人网站在线观看视频| 色色操| 九九碰九九爱97超碰| 9伊人网| 色色COm| www天堂99| www.99热这里只有精品| 高清av在线国产| 色婷婷AV五月天| 国产毛片精品一区二区色欲黄A片| 99日本精品视频热| 成人网址在线观看| 丁香五月狠狠综合欧美| 97碰| www.久久久.com| www色色色com| www.婷婷五月天| 99爱精品| 丁香五月婷婷无码AV| AV在线资源| 亚洲AV第二区国产精品| 91在线日| 色婷婷基地| 六月丁花香啪啪激情欧美| 色九月激情综合网| av网站不卡在线| 五月丁香成人视频| 91人人网| 色综合综合综合| 五月天婷婷在线播放免费| 91色在线| 色婷婷激情| 丁香婷五月天| 4399精品一区二区| 丁香五月婷婷基地| 婷婷激情综合无月| 美女伊人久久| 天天操夜夜操| 大香蕉综合在线| 狠狠香婷婷五月| 人人超碰99| 综合色色网| 五月丁香视频在线观看| 影音先锋91| 色色性爱视频| 99热这里只有精品22| 五月丁香久人妻中文| 色色五月天婷婷| 婷婷丁香五月激情| 梁铮版蜘蛛女在线观看| 婷五月天| 狠狠爱综合网| 狠狠狠狠狠狠| 亚洲性爱日韩无码| 色欲久久综合| 色婷婷丁香AV综合| 国产精品扒开腿做爽爽爽A片唱戏| 五月天色综合| 99热精品一区| 97人人操人人干| 影音 五月 婷婷 久久| 久久综合性| 五月激情婷婷开心| 六月丁香综合999| Av九九| 91九色无码内射| 99精品视频在线观看| 伊人婷婷大香蕉| 色女伊人| 久久人人人人妻| 第四色色六月色综合| 激情五月婷婷她| 国产精产国品一二三在观看| 精品99视频| 97人碰人操| 青青草大香| 青草视频在线播放| 成 人片 黄 色 大 片| 天天精品视频免费观看| 99国产小视频| 人人妻久久妻| 六月婷婷久久| 这里只有精品视频99| 99热这里有精品2| 五月天婷婷黄色视频| 都市激情久久| 99久久久国产大片区| 26uuu欧美日韩| 婷婷激情五月天7| 丁香五月AV综合| 国产精品电影| 97福利视频| 日本三级韩三级99久久| 久激情网| 久久亚洲婷婷| 丁香五月激情网| 538任你爽| 噜噜噜久久| 五月婷婷,狠狠操| 久久婷婷五月综合色丁香| 色五月天在线观看| 中文色婷婷| 91九色超碰| 色色丁香| 免费看欧美成人A片无码| 五月婷婷AV| 天天爽天天操| 亚洲视频在线观看| 综合五月婷婷| 九九视频在线观看视频6| 怡红院AV亚洲一区二区三区H| 免费观看的av| 日本欧美成人片AAAA| 欧洲MV日韩MV国产| 国产黄色在线观看| 伊人在线大香蕉网| 2013AV天堂| 狼人久草| 五月天激情婷婷小说| 久久66成人网站| 欧美人人超级碰| 国产44页| 99久久a线观| 天天天天天天天操| AV在线免费网站| 激情丁香婷婷| 99熟女| 91操在线| 成人AV在线电影| 午夜不卡成人一区二区| 婷婷日日夜夜| 九月婷婷综合| 亚洲精品另类| 婷婷丁香视频在线观看免费| 久久天堂色| 色狠狠综合网| 五月婷婷免费| 99这里只有精品视频| 99人人干人人操| 久久新地址| 色九月激情综合网| 青草青青草| 色五月亚洲| 综合久久久| 亚洲综合丁香五月| 激情综合激情综合| 天天做天天爽| √天堂资源在线人妻熟女| 丁香五月瑟瑟| 99视频久久| 精品一二三区久久AAA片| 成人免费网站免费看| ji'qing'luan'ren'lun| 日本狠狠网| 99精品免费| 亚洲色图啪啪| 综合色天天| 五月丁香婷婷综合视频| 国产人妻777人伦精品HD| 亚洲蜜乳AV| 天天色天天爱天天舔| 久9视频免费播放| 人人操操97| 天天日夜夜高潮| 99热这里只有精品99| 五月婷婷啪啪| 色五月天天在线观看资源站| 色五月激情五月天| 大香蕉婷婷五月天| 五月丁香六月婷婷色情| 情欲禁地| 爱射综合| 婷婷综合五月天| 91操人| 激情丁香五月婷婷| 开心五月婷婷综合在线精品素人| 婷婷色色播五月天| 香蕉婷婷| 六月丁香综合999| 国产69久久久欧美黑人A片| 久久女婷| 少妇性按摩无码中文A片| 亚洲 欧洲 国产 伦综合| 日韩1区2区| 第五婷婷伊人丁香| 亚洲色综合性| 91欧美日韩| 另类激情综合| 99资源人人| 这里只有精彩亚洲视频推荐| 九 九九九AV| 久久一热| 五月玖玖| 色色色国产| www.91.com黄| 五月婷婷片| 一起草无码| 开心婷婷丁香五月| www.1024久久| 爽极品色| 五月天色色婷婷| 色五月婷婷激情| 人妻在线观看视频| 五月丁香六月婷婷色日| AV性爱在线| 六月婷婷啪啪| 久久久久9| 午夜激情久久| 日本三级黄色大片| 丁香伊人激情| 海外网站专业操老外| 91久操| 亚洲五月天综合| 激情久久月| 99操逼| 日日肏天天操| 九九aV| 国产AV一区二区三区日韩| 天天爽天天摸| 日本久久99| 激情婷婷综合| 97婷婷丁香五月| www.五月婷| 亚洲久久婷婷| 在线观看日韩12345区| 五月婷婷婷婷| 亚洲成人在线播放| 激情五月黄色| 六月丁香综合| 日本本土色网第一区| 67194线路二在线观看| 亚洲碰碰碰| 五月停停直播| 99久热这里只有精品| 深爱激情网婷婷| 婷婷五月激情小说| 五月天婷婷在线播放| 视色综合| 色五月大| 婷婷五月天av小说| 爱99干99| 99热国产精品| 婷婷内射视频在线| 婷婷五月天色网久| 色色色婷婷五月| 婷婷性爱视频在线| Caoub青青超碰| 五月开心久久| 亚洲VA口| 色婷婷六月综合| 五月情四婷婷| 啪啪 综合网| 狠狠干在线| 久久婷婷草| aV欲望人妻中文字幕| 奇米色大香蕉| 97男人天堂| 高清一区二区三区日本久| 日日夜夜干| 五月婷婷网五月在线| 婷婷五月色花丁香社区| 激情久久久久久久久久| 人人摸人人干| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 少妇性按摩无码中文A片| 狠狠摸狠狠摸| 婷婷五月天亚洲图片| 玖玖在线视频福利| 99在线观看免费精品视频| 玖玖色资源站| 中文字幕在线日亚州9| WWW五月| 狠狠干婷婷| 超碰在线精品| 色你久久| 婷婷视频网| 思思久久精品| 色五月婷婷基地| 亚洲六月色婷婷| 日本高清综合网五月丁香| 五月天伊人手机在线播放AV| 色人五月婷婷| 97色五月天| 久久婷婷五月综合色和| 九九干视频| 97热在线精品| 丁香五月先锋| 九九久久精品| 丁香六月啪啪| 日韩黄色中文字幕| 久久婷婷青青草| 五月婷免费视频| 九九热超碰| 六月丁香婷婷综合色播| 久久永久网址| 深情六月婷婷综合久久| 美女五月天婷婷| 婷婷色正月| 国内外色色色色色成人视频| 热五月婷婷| 97人妻碰碰中文无码久热丝袜| 婷香五月| 激情第四色| 亚洲日本韩国| 九九99偷拍视频| 久9热视频| 天天操夜夜玩!| 色色色成人网| 激情六月婷婷| 婷婷五月天综合久久日美女| 丁香五月激情婷婷视频| 97激情五月天| 天天在线XXX| 婷婷丁香六月| 色综合激情图区| 伊人大香蕉在线视频| 色五月综合网| 桔色成人官方网站| 久久怕怕视频| 精典久久| 久久五月天激情美女| 亚洲欧美一区二区三区爱爱动图| 五月综合视频| 丁香五月婷婷激情97| 国产精品久久..4399| 五月婷婷影| 欧洲MV日韩MV国产| 天天日天天舔天天摸| 久热免费视频| 第九色区AV在线| 翔田千里aV中文字幕| 婷婷成人AV| 久久丁香婷| 激情亚洲色图片丁香综合| 亚洲第一第二网站| 久久久高清| 久久综合首页| 国产欧洲欧洲精品久久| 4399无码视频二区| 99热这里只有精品96| 五月天婷婷基地| 天天做天天爱天天搞| 超碰操网| 97操碰视频| 思思99久久| 五月天婷婷AV| 欧洲色| 久久精品噜噜噜成人A∨色欲| 天天干天天色天天干| 激情五月婷婷| 五月天影院婷婷在线观看| 亚洲亚洲人成综合网络| 久久这里只有精品07 | 五月天电影网| 色综合五月在线| 成人做爰A片免费看视频| 五月天无码视屏播放| 嫩草AV久久伊人妇女超级A| 天天干天天操天天爱| 日本91在线播放| 丁香成人五月天| 欧美日本高清视频99| 九九在线视频| 激情文学第四色婷婷丁香五月| 亚洲情色一区| 精品五月视频婷婷在线观看| 九九热精品| 激情婷婷亚洲五月| 9热成人在线视频| 天堂草在线看www| 日韩伊人大香蕉| 九九亚洲综合| 亚洲VA欧美VA| 精品亚洲国产成AV人片传媒| 色综合色色色色色| 亚洲成人av在线播放| 色婷婷97| 五月色亭丁香| 精品婷婷丁香五| 亚洲乱啪| 天天爱天天操| 五月天婷婷基地丁香| 无码人妻少妇色欲AV一区二区 | 亚洲无码影音| 婷婷网五月天| 狠狠色色| 万月丁香狠狠爱| 久色| 五月天婷婷午夜丁香| 亚洲12p| 色屌丝中文字幕| ww亚洲ww在线观看| 99在线资源视频| 天天插天天插| 丁香五月成人论坛| 五月丁香婷婷综合网色欲| 九九99在线免费在线观看视频| 五月色婷婷影视在线电影| 久久九九经典| 国产成人网址| 久久五月天综合| 第四色五月激情网| 98色丁香五月婷婷综合网| 久久xxxx| 激情六月婷婷| 亚洲综合丁香五月| 任你擦免费视频| 成人.在线日韩| 九九碰九九爱97| 丁香六月成人| 五月丁香激情婷婷综合字幕| 激情丁香六月| 亲子乱AV-区二区三区| 99亚洲精品| 色五月在线播放| 99re在线观看视频| 久久婷视频| 六月婷婷毛片| 国产成人网| 色色色色色色色色网站| 美妞av| www.99色| 日韩aⅴ视频| 97香蕉碰碰人妻国产欧美| 色在线视频网2025| 婷婷五月丁香综合激情小说| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 色色色视频免费无码 | 婷婷色色欧美| 一级黄色尤物综合视频手机在线观看| 五月丁香在线观看国产| 丁香六月婷婷| 人妻AV在线观看| 色婷婷的五月天| 激情综合网址| 丁香五月婷婷欧美激情-中文天堂最新版在线观看| 亚洲日韩乱码一区二区三区四区| 97碰碰人人| 成人AV中文字幕| 99久热这里只有精品| 婷婷五月丁综合| 激情狠狠丁香月| 色五月视频无码播放| 99re热| 日本精品在线噜噜噜| 精品久热| 久久婷丁香五月| 天天做天天爱天天高潮| 中文不卡一二区| 国产精品蜜臀99| 99热这里只有精品50| 热中文字幕| 开心五月六月婷婷| 涩涩涩五月天| 高清免费在线视频| 五月婷婷开心激情六月蜜桃| 色色A| 欧美在线97| 色婷久久| 九九九九九九毛片| 色五月婷婷亚洲| 丰滿爆乳一区二区三区| 欧美另类五月激情| 欧美日韩精品人妻狠狠躁免费视频| AV激情五月| 丁香五月天啪啪| 91一起艹| 91精品丝袜久久久久久| 99ri在线观看视频| 天天操无码| 成人婷婷| 婷婷六月啪啪| 激情综合五月天| 97碰| 色五月成人| 欧美99热| 久久草大香蕉| 天天干天天日天天操| 99热网站| 人人操AV| 男人天堂亚洲综合| 国产古装妇女野外A片| WWW.桔色成人.COM入口| 亚洲V国产V欧美V久久久久久| 六月婷婷色五月| 亚洲精品久久久无码| 激情校园 亚洲| 精品国产AV色一区二区深夜久久| 狠狠干2007| 国产精品涩涩涩视频网站| 玖玖精品视频99| 丁香六月婷婷基地| 这里有精品2| 婷婷综合偷拍| 91AV婷婷| 五月天色色激情综合| 激情五月色婷婷| 五月激情综合激情五月| 亚洲av| 丁香六月激情综合啪啪| 中文字幕第四色.999| 大香蕉久久婷婷| 超碰人人艹| 五月丁香六月激情| 亚洲 无码 中文字幕 中出 | 深爱激情九九五月天| 欧美亚洲色色色色| 久久思思精品| 国产综合婷婷| 日日天天干| 五月综合婷婷网| 日韩人妻在线播放| 亚洲人成色A777777在线观看| 亚洲操逼片| 亚洲AV免费在线| 亚洲性色XXXXX| 少妇婷婷五月天| www色色色com| 丁香五月激情综合在线观看| 丁香婷婷五月激情四射网| 色五月婷婷一二| 中文字幕永久免费| 久久精品99国产精品日本| 99r这里只有精品在线观看| 久久久久久久久久久97| 夜夜骑夜夜操| 天天看夜夜看| www.henhenl| 五月婷婷六月色| 五月天停停成人网| 五月丁香久| 中国丰满熟女A片免费观| 综合激情网激情五月。| 热99精品视频五月| 欧美人与性动交CCOO| 五月丁香六月婷婷综合网站| 亚洲综合九九| 亚洲狠狠爱婷婷| 天天插天天干| 狠狠久久婷五月综合色| 欧美婷婷丁香五月| 日日干夜夜干| 六月综合在线| 这里只有精品偷拍| 波多野结衣成人作品在线| 99黄色性生活| 激情色情五月天| 7超碰自拍| 狠狠婷婷色综合| 久久伊人婷婷| WWW.夜夜| 五月天大香蕉| 99热亚州综合| 四色永久成人网站| 综合色播| 超碰97在线操| 俺去啦综合网| 五月丁香综合成人社区| 六月五月天婷婷涩播在线| 99色热| 国产视频久色| 免费视频在线观看的网站| 色综合综合网| 色色爽爽天天| 97超碰9久热婷婷热| 欧美爆乳一区二区三区| 精品一二三区久久AAA片| 伊人九九综合| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 狠狠干综合| 色五月激情婷婷| 亚洲婷婷月丁香五月| 99久久97久久欧美综合网| 热99玖玖99玖玖99九九| 天天日天天爽夜夜爽| 九九这里只这里只有精品| 91色干| 成人中文网| 99在线69| 亚洲色在线观看| 99热这里只有精品98| 久久精品五月天| jiujiuxiangjiaowang| 五月婷婷六月丁香| 强伦轩人妻一区二区电影| 日日夜夜天天爽| Av狠狠色丁香婷| 色狠狠综合网| 婷婷自拍| 日韩啪啪视品| 极品少妇XXXX精品少妇偷拍| 日本啪啪天堂| 韩国激情五月天综合网| 婷婷丁香基地在线| 亚洲午夜精品久久久久久人妖| 丁香五月激情综合婷综| AV在线免费观看不卡| 大香蕉婷婷| 人妻人人操| 可以免费观看的AV| 深爱五月最新网址| 日日噜噜久久婷婷五月天 | 五月丁香色| 大香蕉久热| 天天舔天天操| 欧美色五月天| 色婷丨日丨天丨综合久久| 俺来也综合网精品一区| 五月色婷婷中文字幕| www.无码com| 亚洲激情六月丁香| 九九XX视频| 天天日天天久久青青| 五月丁香六月激情综合| 天天精品视频免费观看| 亚洲午夜视频| 婷婷激情人妻| 夜夜撸日日操| 色综合色综合色综合色综合| 79色色色色| 婷婷五月天成人综合网| 久久人妻系列| 日日噜狠狠色综合久久| AV 3P| 黄涩毛片| 狠狠干2007| 激情综合五月色在线| 色五月开心婷婷| 色婷婷手机在线| www.五月婷婷久久.com| 婷婷久久丁香五月| 婷婷五月天丁香综合网| 五月丁香人妻| 色五月激情综合网| 久久婷婷五月丁香网| 免费AV在线| 噜噜狠狠色综无码久久合欧美| 夜丁香五月婷婷| 五月天色婷婷基地| 色久在| 色色五月天激情| 91色噜噜狠狠狠狠色综合| 免费成人中文字幕| 婷婷五月丁香四射| 91在线就要啪| 在线观看免费视频| 日曰躁夜夜躁2026| 婷久久综合| 狠狠婷婷色综合| 欧亚成人A片一区二区| 99在线观看| 丁香五月五月婷婷| 一区二区三区视频| 六月婷婷综合| 天天久| 九九热思思| 五月天啪啪啪| 日本丁香五月| 色色com| 2025超碰| 任你搞免费视频观看| 99视频在线精品| 97天堂| 无码AV免费精品一区二区三区| 五月婷色| 亚洲亚洲人成综合网络| 中文字幕 中文字幕明步| 任你弄在线视频免费| 国产精品成人网站| 国産精品| Av性爱网站| 婷婷日日天天| 六月婷婷在线视频| 丁香五月婷婷亚洲综合精品| 五月婷婷六月色| 在线看的免费网站| 亚洲123区高清入口| 99久在线精品99re5热视频| 超碰在线9| 欧美黑人大吊| 五月丁六月香av| 色狠狠色噜噜AV天堂五区消防| 2020日日干| 久热只有精品| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 婷婷五月天堂网| 婷婷区日本| 激情五月六月婷婷| 亚洲天堂久久| 欧美性做爰大片免费看办公室 | 欧美三级欧美一级| 婷婷五月天无码熟女| se影音资源在线观看| 中文AV在线播放| 免费无码毛片一区二区A片| 人操91在线| 色色免费网站| www,婷婷五月天777me,com| 激情五月天婷婷五月天| 99热日本| 亚洲区在线| 男女99免费视频| 激情综合网激情五月网| 狠狠色综合精品视频在线| 免费黄色视频网址| 丁香五月天成人| 五月丁香婷婷激情影院欧美| 4399在线观看免费高清电视剧| 丁香五月婷婷激情中文| 久久久久亚洲AV成人无码电影| 无码少妇高潮喷水A片免费| 日本色色网站| 色色综合日韩| 六月婷婷视频| 中文字幕丰满孑伦无码专区| 婷婷va| 加勒比色色| 久草a片| 深爱综合网| 七七久久婷婷| 深爱女色婷婷丁香五月亚洲图区| 天天日夜夜曹| 九九色热| 色综合久久中文| 五月丁香六月花| 色情五月综合婷婷| 五月丁香婷婷狠狠操| 五月丁香猫咪久久婷婷综合视频激情四射网入口| 五月天激情国产综合AV| 91男同| 婷婷五月丁香人妻无码高清| 狠狠色丁香久久久婷| 久久九九热视频| 久久精品一区二区三区四区| 99人人操人人操人人精| 欧洲亚洲激情五月天在线| 强伦轩人妻一区二区电影| 欧美成人猛片AAAAAAA| 亚洲操精品| 五月色色激情网| 99热这里只有精品4| wwww.9免费视频| 好好日激情五月天| 五月激情视频| 婷婷激情97| 99热99精品在线观看| 婷婷五月天开心网| 日本毛片内射| 久久人妻系列| 99热免费| 欧美男女婷婷| 五月天欧美激情| 色情综合网| 久久性爱视频| 色综合色| 欲求不满的人妻| www激情网| 日韩一级片| 97视频.干com| 综合一本道| 久久R激情| 亚州激情在线视频| 天天操比比| WWW免费视频碰碰碰碰| 亚洲成人噜噜| 五月停视频天堂| 色情丁香五月天| 99热精品在线观看| 五夜婷婷| 五月丁香色综合| 绿色小导航AV| 色婷婷精品| 久久五月天影院| 天天草婷婷五月| 五月激情视频| 五月婷婷丁香啪啪| 天天噜日日噜综合无码| www综合久久| 99热这里有精力| 97碰碰草| 99色色最新视频| 色婷婷成人做爰A片免费看网站| 成人五月天在线观看| 性视频久久| www.maotanji.com| 4438激情网| 久久性刺激| 九九成人| 九月久久婷婷| 伊人色综合久久久| 色色色色色综合| 夜夜爱网站| av免费在线网站| 思思热这里只有精品| 久热精彩视频98| 亚洲色激情| 91jiuseshunv| 色综合射婷婷| 婷婷五月综合网激情| 日韩色五月| 丁香婷婷五月人体| 国产婷婷五月色情综合| 免费操超碰| 色五月综合资源推荐| 久久九九九九| 久久久婷婷五月亚洲97号色| 9精品视频在线| 国产97色在线| 中美日韩成人在线| 91色久| 99er精品| 五月激情小说| 日韩黄黄| 丁香婷婷九月在线| 久久五月天激情美女| 五月花综合视频| 亚洲AV日韩AV永久无码网站| 婷婷色五月天在线观看| 天堂五月婷婷| 99福利导航| 亭亭色网| 丁香婷婷六月| 最新精品视频99| 99久久国产综合精品五月天喷水\| 色综合久久久久久久久五月| 欧美精品狠狠色丁香婷婷| 五月婷在线观看| 狼人婷婷综合| 91精品综合久久久久久五月丁香| www.粉嫩av.com| 亚洲亚洲人成综合网络| 99九九视屏| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 亚洲色夜| 97在线视频观看| 91丨九色丨大屁股| 极品五月天| 99综合熟女| 天天天干夜夜夜操| 婷婷丁香高潮了| 九97免费视频| 亚洲AV人人操| 好好干Av| 精品一二三区久久AAA片| 五月天婷婷丁香社区| 操日本三片99| 色五月婷婷亚洲| 九九亚洲小视频| 欧美性爱日韩性爱| 99这里都是精品6| 激情综合网激情五月网| 青草青草久9视频在线视频| 婷婷五月天堂| 天天日夜夜夜操操操操| 日本在线观看aaa 99| 99九九在线精品热动漫| 六月婷婷之青青草| 极品五月天| 五月婷婷影院| 伊人婷婷激情| 九九热婷婷| 色99色| 丁香五月乱中文字幕| 色热久| 久久se 综合网| 99九无网码| 91艹人| 五月婷婷日| 丁香五月天啪啪| 色色色无码| 亚洲小视频免费播放| 久久九网| 91一起操| 天天干com| 99热第一页| 婷婷五月丁香五月| 日本狠狠色| 婷婷丁香午夜综合影视| 日本久久99久久| 免费看欧美成人A片无码| 五月婷婷丁香五月| 婷婷五月天,影院| 欧美日韩成人一区二区| 亚洲亚洲人成综合网络| 能看的AV| 天天色色婷婷| 国产激情AV| 欧美天堂婷婷日韩| 亚洲综合色色色| 欧美丁香婷婷五月| AV天堂淫乩| 色吧网综合| 久久久久久久人妻| 51国精产品自偷自偷综合| 婷婷五月天成人动漫| 开心五月婷婷婷美女| 亚洲精品久久久久AV无码| 色五月天丁香婷婷| 久久机热这里只有精品| 综合亚洲六月婷婷在线| 超碰免费电影| 欧美肉大捧一进一出免费视频| 婷婷五月综合社区| 26uuu亚洲精品国产| 天天插天天狠| 色女人久久| 韩国97天堂| 日本欧美成人片AAAA| 大香蕉久| 婷婷夜夜操| 午夜九九电影| 狠狠做五月| 99久久99视频| 精品一二三区久久AAA片| 五月婷色色| 99精品综合视频| 丁香美女主播视频在线观看| 98毛片| 婷婷激情九月| 71在线精品视频一区| 婷婷久久欧美|