欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

kubeadm離線安裝Kubernetes集群:鏡像準(zhǔn)備與常見故障排查

kubeadm離線安裝Kubernetes集群:鏡像準(zhǔn)備與常見故障排查 最近有個(gè)朋友問我能不能在不折騰網(wǎng)絡(luò)的前提下用 kubeadm 裝一個(gè)指定版本的 Kubernetes 集群。他試過幾次kubeadm init每次都在拉取registry.k8s.io這一步超時(shí)要么就是預(yù)檢階段卡了幾分鐘直接報(bào)錯(cuò)。這個(gè)問題在受網(wǎng)絡(luò)限制的環(huán)境里非常典型kubeadm 本身設(shè)計(jì)簡(jiǎn)單安裝失敗往往不是因?yàn)槊顚戝e(cuò)而是組件鏡像拿不到。這篇文章我會(huì)把一條不依賴“海外直連”、完全基于國(guó)內(nèi)可見鏡像倉(cāng)庫(kù)和離線鏡像包導(dǎo)入的 kubeadm 安裝路徑完整寫一遍。從版本對(duì)應(yīng)關(guān)系、鏡像準(zhǔn)備、初始化配置到工作節(jié)點(diǎn)加入和常見故障排查全部覆蓋。適合需要固定 Kubernetes 版本、打算部署測(cè)試環(huán)境或者建設(shè)內(nèi)網(wǎng)集群的運(yùn)維和開發(fā)同學(xué)參考。我盡量把每一步的“為什么這么做”也講清楚這樣你換一個(gè)版本或者換一套網(wǎng)絡(luò)環(huán)境也能自己推導(dǎo)出正確做法。1. 動(dòng)手前先把版本關(guān)系和高版本陷阱理清1.1 組件版本必須鎖成一個(gè)整體很多人裝集群喜歡“先裝最新版”或者隨手apt install kubeadm然后發(fā)現(xiàn)裝出來的 kubelet 是 1.29初始化配置卻寫的 1.28部署出來控制面經(jīng)常出現(xiàn)各種奇怪的兼容問題。Kubernetes 的版本策略是kubelet 允許比 kube-apiserver 低一個(gè)小版本但 kubeadm、kubelet、kubectl 三者最好保持同一個(gè)版本控制面核心組件apiserver、controller-manager、scheduler也必須和 kubeadm 里指定的kubernetesVersion保持一致。在我實(shí)際部署中最省心的做法是“先選 Kubernetes 版本再反推工具版本”。比如我要裝 1.28.x就統(tǒng)一安裝這三個(gè)二進(jìn)制kubeadm 1.28.xkubelet 1.28.xkubectl 1.28.x然后把容器運(yùn)行時(shí)也固定下來。現(xiàn)在 containerd 1.7.x 搭配 Kubernetes 1.28 是非常成熟穩(wěn)定的組合比 Docker 加 cri-dockerd 少一層轉(zhuǎn)換配置也簡(jiǎn)單。建議不要在這個(gè)環(huán)節(jié)引入“最新穩(wěn)定版”網(wǎng)絡(luò)環(huán)境本來就受限沒必要再給排查兼容性增加難度。這里有一個(gè)容易被忽略的細(xì)節(jié)控制面的鏡像 tag 里帶著 Kubernetes 版本號(hào)比如kube-apiserver:v1.28.2。如果你的 kubeadm 版本是 1.28.2而kubernetesVersion寫的是v1.28.2kubeadm 才會(huì)去拉取這個(gè)精確的鏡像。版本號(hào)必須完全匹配少寫一個(gè).2它會(huì)去拉一個(gè)不存在的 tag直接報(bào)NotFound。1.2 節(jié)點(diǎn)環(huán)境準(zhǔn)備清單我建議每臺(tái)節(jié)點(diǎn)都提前完成下面這些基礎(chǔ)工作不要等到 kubeadm 預(yù)檢報(bào)錯(cuò)了再回來補(bǔ)操作系統(tǒng)Ubuntu 22.04 或者 CentOS 7.9 以上都行內(nèi)核不要太老。資源要求控制平面節(jié)點(diǎn)至少 2 核 2G工作節(jié)點(diǎn)至少 2 核 2G這是底線。關(guān)閉 swapkubelet 默認(rèn)不支持 swap 開啟的環(huán)境kubeadm init預(yù)檢會(huì)直接提示失敗。需要swapoff -a并且把/etc/fstab里的 swap 條目注釋掉否則重啟又回來了。加載內(nèi)核模塊overlay和br_netfilter這兩個(gè)必須啟用否則后續(xù) Pod 網(wǎng)絡(luò)和流量轉(zhuǎn)發(fā)會(huì)有問題。設(shè)置系統(tǒng)參數(shù)net.bridge.bridge-nf-call-iptables1、net.ipv4.ip_forward1這類參數(shù)建議寫進(jìn)/etc/sysctl.d/k8s.conf。這些操作本身沒有難度但值得花十分鐘核對(duì)一遍。預(yù)檢階段是可以自動(dòng)發(fā)現(xiàn)大部分問題的真正麻煩的是預(yù)檢通過之后容器運(yùn)行時(shí)和 kubelet 之間出現(xiàn)隱性問題那種報(bào)錯(cuò)信息繞來繞去排查成本高得多。2. 鏡像獲取的三種思路mirror 配置、離線包導(dǎo)入與 imageRepository 替換Kubernetes 控制面啟動(dòng)時(shí)會(huì)用到一組固定鏡像kube-apiserver、kube-controller-manager、kube-scheduler、kube-proxy、etcd、coredns、pause。默認(rèn)情況下kubeadm 從registry.k8s.io這個(gè)地址下拉取它們。網(wǎng)絡(luò)受限時(shí)問題就出在這里。2.1 方案一為 containerd 配置鏡像加速如果你有可用的國(guó)內(nèi)公共鏡像倉(cāng)庫(kù)最順滑的辦法是把 containerd 配置成“從鏡像倉(cāng)庫(kù)拉取官方鏡像”也就是 pull-through mirror。這樣 kubeadm 和 kubelet 完全不用改仍然寫registry.k8s.iocontainerd 在背后自動(dòng)去配置的鏡像源拉取。containerd 的配置文件默認(rèn)在/etc/containerd/config.toml。如果你還沒有生成過它先執(zhí)行containerd config default /etc/containerd/config.toml然后在配置里找到 registry.mirrors 部分為registry.k8s.io增加一個(gè) endpoint[plugins.io.containerd.grpc.v1.cri.registry.mirrors] [plugins.io.containerd.grpc.v1.cri.registry.mirrors.registry.k8s.io] endpoint [https://你的鏡像倉(cāng)庫(kù)地址]注意修改完一定要重啟 containerdsystemctl restart containerd。這個(gè)操作不會(huì)破壞已有鏡像可以放心做。這個(gè)方案對(duì) kubeadm 完全透明后續(xù)加節(jié)點(diǎn)、跑工作負(fù)載都不用再操心鏡像地址。唯一的風(fēng)險(xiǎn)是你選的鏡像倉(cāng)庫(kù)必須持續(xù)可用而且同步的鏡像路徑要和官方一致。我的習(xí)慣是先在命令行驗(yàn)證一下用ctr -n k8s.io images pull registry.k8s.io/pause:3.9拉一次能成功說明路徑?jīng)]問題。2.2 方案二離線鏡像包整體導(dǎo)入對(duì)于完全隔離內(nèi)網(wǎng)的環(huán)境mirror 方案也失效了只能用“離線包”思路。流程很簡(jiǎn)單在一臺(tái)能訪問鏡像倉(cāng)庫(kù)的機(jī)器上用ctr把需要的鏡像全部導(dǎo)出成 tar 文件拷到目標(biāo)機(jī)器上再用ctr導(dǎo)入到 containerd。獲取鏡像列表最穩(wěn)妥的命令是kubeadm config images list --kubernetes-versionv1.28.2這里不建議手動(dòng)拼鏡像名因?yàn)楹苋菀茁┑魀ause或者etcd。拿到列表后逐條拉取并導(dǎo)出ctr -n k8s.io images pull registry.k8s.io/kube-apiserver:v1.28.2 ctr -n k8s.io images export kube-apiserver.tar registry.k8s.io/kube-apiserver:v1.28.2在目標(biāo)機(jī)器上導(dǎo)入ctr -n k8s.io images import kube-apiserver.tar這里有兩個(gè)關(guān)鍵點(diǎn)。第一必須指定命名空間k8s.io因?yàn)?containerd 的 CRI 插件默認(rèn)使用k8s.io這個(gè)命名空間kubelet 創(chuàng)建的容器鏡像都在這里面。導(dǎo)入到別的命名空間kubelet 根本看不到。第二鏡像的完整名稱要保持不變包括registry.k8s.io/這個(gè)前綴否則 containerd 會(huì)認(rèn)為這是另一個(gè)鏡像仍然嘗試去遠(yuǎn)端拉取。這個(gè)方案對(duì)網(wǎng)絡(luò)要求最低也最可控。缺點(diǎn)是更新版本時(shí)要重新導(dǎo)出導(dǎo)入一遍稍微麻煩一點(diǎn)。如果只是偶爾部署一次集群我反而推薦這個(gè)方案因?yàn)樗选澳懿荒苎b上”和“網(wǎng)絡(luò)好不好”徹底解耦了。2.3 方案三直接替換 imageRepositorykubeadm 的初始化配置里有一個(gè)imageRepository字段默認(rèn)是registry.k8s.io。如果你用的是某個(gè)已經(jīng)同步了 Kubernetes 官方鏡像的國(guó)內(nèi)倉(cāng)庫(kù)可以直接把imageRepository改成那個(gè)倉(cāng)庫(kù)地址。kubeadm 拉取的鏡像地址就會(huì)變成你的倉(cāng)庫(kù)地址/kube-apiserver:v1.28.2。需要注意路徑問題。官方鏡像路徑是registry.k8s.io/kube-apiserver很多鏡像倉(cāng)庫(kù)并不會(huì)原樣保留這個(gè)路徑而是放在類似你的倉(cāng)庫(kù)地址/google_containers/kube-apiserver的路徑下。如果你的鏡像倉(cāng)庫(kù)布局不一樣光改imageRepository是不夠的還要保證鏡像的“倉(cāng)庫(kù)路徑 鏡像名”和 containerd 里實(shí)際存在的完整名稱一致。最穩(wěn)妥的辦法是先用ctr -n k8s.io images pull 你的倉(cāng)庫(kù)地址/kube-apiserver:v1.28.2驗(yàn)證一遍確認(rèn)能拉下來再寫進(jìn)配置。2.4 我的選型建議經(jīng)常有人問我“到底用哪個(gè)方案”。我的判斷標(biāo)準(zhǔn)很簡(jiǎn)單場(chǎng)景推薦方案理由測(cè)試環(huán)境 網(wǎng)絡(luò)尚可mirror 配置改動(dòng)最小加節(jié)點(diǎn)最方便隔離內(nèi)網(wǎng)離線包導(dǎo)入不依賴任何外部服務(wù)絕對(duì)可控已有內(nèi)部鏡像倉(cāng)庫(kù)替換 imageRepository統(tǒng)一管理后續(xù)版本升級(jí)路徑清晰我個(gè)人最常用的是方案二也就是離線包導(dǎo)入。原因很實(shí)在它不依賴鏡像倉(cāng)庫(kù)的穩(wěn)定性排障路徑最短。出了任何鏡像相關(guān)的問題我只需要檢查 containerd 的k8s.io命名空間里有沒有對(duì)應(yīng)的鏡像其他的不用考慮。3. kubeadm init 配置逐字段拆解從生成配置到正式開始安裝3.1 一個(gè)完整可用的初始化配置文件kubeadm 支持純命令行參數(shù)但版本多、參數(shù)多的時(shí)候很容易漏而且不方便審計(jì)。我強(qiáng)烈建議提前寫好一個(gè) YAML 文件所有節(jié)點(diǎn)都用同一套配置。下面是一個(gè)以 1.28.2 為例的配置apiVersion: kubeadm.k8s.io/v1beta3 kind: InitConfiguration localAPIEndpoint: advertiseAddress: 192.168.1.10 bindPort: 6443 nodeRegistration: criSocket: unix:///var/run/containerd/containerd.sock name: master01 imagePullPolicy: IfNotPresent --- apiVersion: kubeadm.k8s.io/v1beta3 kind: ClusterConfiguration kubernetesVersion: v1.28.2 imageRepository: registry.k8s.io networking: podSubnet: 10.244.0.0/16 serviceSubnet: 10.96.0.0/12 --- apiVersion: kubelet.config.k8s.io/v1beta1 kind: KubeletConfiguration cgroupDriver: systemd三個(gè)文檔塊分別對(duì)應(yīng) InitConfiguration、ClusterConfiguration、KubeletConfiguration用---分隔。如果你之前對(duì) kubeadm 配置文件不熟可以執(zhí)行kubeadm config print init-defaults生成一份默認(rèn)配置作為底稿再照著上面把關(guān)鍵字段改掉就行。3.2 幾個(gè)關(guān)鍵字段為什么要這么寫先看advertiseAddress。它必須寫當(dāng)前節(jié)點(diǎn)的內(nèi)網(wǎng) IP不能寫 127.0.0.1也不能寫公網(wǎng) IP否則 kube-apiserver 通告給其他節(jié)點(diǎn)的地址不對(duì)工作節(jié)點(diǎn) join 之后會(huì)連不上 API Server。這是一個(gè)很常見但是報(bào)錯(cuò)信息不太直觀的問題。criSocket指向/var/run/containerd/containerd.sock這是 containerd 的標(biāo)準(zhǔn) socket 路徑。如果你用的是 Docker這個(gè)值就要改成unix:///var/run/cri-dockerd.sock但正如前面說的我建議直接使用 containerd省掉一層轉(zhuǎn)換。imagePullPolicy: IfNotPresent這個(gè)字段容易被忽略。默認(rèn)情況下kubeadm 在某些版本組合中會(huì)嘗試先拉取遠(yuǎn)端鏡像即使本地已經(jīng)導(dǎo)入了一份。對(duì)于離線場(chǎng)景顯式設(shè)置成IfNotPresent可以強(qiáng)制 kubeadm 優(yōu)先檢查本地 containerd這是一個(gè)很實(shí)用的細(xì)節(jié)網(wǎng)上不少離線安裝教程都會(huì)漏掉這一步導(dǎo)致鏡像明明導(dǎo)入了預(yù)檢仍然報(bào)拉取失敗。podSubnet寫10.244.0.0/16是 Calico 網(wǎng)絡(luò)插件的慣例網(wǎng)段。并不是 kubeadm 強(qiáng)制要求這個(gè)值而是 Calico 的默認(rèn)配置期望在這個(gè)網(wǎng)段內(nèi)分配 Pod IP。如果用其他網(wǎng)段后面安裝網(wǎng)絡(luò)插件時(shí)要額外修改 IPPool 配置容易出錯(cuò)。新手建議直接沿用這個(gè)網(wǎng)段。cgroupDriver: systemd必須和 containerd 的 cgroup 驅(qū)動(dòng)一致。這個(gè)后面專門講這里先記住一個(gè)結(jié)論Kubernetes 1.24 之后官方推薦并且默認(rèn)使用systemd作為 cgroup 驅(qū)動(dòng)containerd 也要配合啟用SystemdCgroup true。3.3 先拉鏡像再初始化避免預(yù)檢卡死如果走 mirror 或離線導(dǎo)入方案建議先手動(dòng)預(yù)拉一遍鏡像確認(rèn)鏡像全部就緒再執(zhí)行初始化kubeadm config images pull --config kubeadm-config.yaml這條命令會(huì)按照配置里的kubernetesVersion和imageRepository去拉取所有需要的鏡像。它執(zhí)行成功說明鏡像層面已經(jīng)沒有問題接下來初始化大概率不會(huì)被卡住。如果網(wǎng)絡(luò)確實(shí)不通預(yù)拉會(huì)失敗沒關(guān)系只要你確認(rèn)鏡像已經(jīng)通過ctr導(dǎo)入到k8s.io命名空間同樣可以直接進(jìn)入初始化kubeadm init --config kubeadm-config.yaml初始化過程會(huì)做很多事包括生成證書、寫入 kubeconfig、啟動(dòng)控制面靜態(tài) Pod。通常幾分鐘內(nèi)會(huì)看到類似Your Kubernetes control-plane has initialized successfully的輸出。看到這個(gè)輸出控制面節(jié)點(diǎn)就已經(jīng)起來了。4. 控制平面起來之后立刻要處理的網(wǎng)絡(luò)插件和本機(jī)調(diào)度4.1 配置 kubectl 訪問集群初始化完成后kubeadm 會(huì)給出三行提示讓你把 kubeconfig 拷到當(dāng)前用戶目錄下mkdir -p $HOME/.kube cp -i /etc/kubernetes/admin.conf $HOME/.kube/config chown $(id -u):$(id -g) $HOME/.kube/config這一步不做的話kubectl 默認(rèn)找不到集群執(zhí)行任何命令都會(huì)報(bào)connection refused或者unable to connect。在 root 用戶下很多人習(xí)慣直接用環(huán)境變量export KUBECONFIG/etc/kubernetes/admin.conf兩種方式都可以。但我建議把 kubeconfig 放到$HOME/.kube/config因?yàn)楹罄m(xù) kubectl 的各種插件和工具都會(huì)默認(rèn)讀這個(gè)位置省得每次開終端都要 export。4.2 安裝 Calico 網(wǎng)絡(luò)插件控制面初始化成功不等于集群可用。這時(shí)候kubectl get nodes會(huì)發(fā)現(xiàn) master 節(jié)點(diǎn)的狀態(tài)是NotReady這是正常的因?yàn)闆]有安裝 CNI 網(wǎng)絡(luò)插件Node 的 network readiness 檢查一直無法通過。安裝 Calico 的方式有很多種我習(xí)慣用官方提供的 manifest 文件。到一個(gè)有外網(wǎng)訪問能力的機(jī)器上下載對(duì)應(yīng)版本的 calico.yaml然后拷貝到集群節(jié)點(diǎn)上執(zhí)行kubectl apply -f calico.yamlCalico 的鏡像需要從 Docker Hub 拉取離線環(huán)境下一樣會(huì)拉不下來。如果你走的是離線導(dǎo)入方案記得把 Calico 相關(guān)的鏡像也一并導(dǎo)出導(dǎo)入到所有節(jié)點(diǎn)否則 Calico Pod 會(huì)一直停留在ImagePullBackOff。裝完之后可以看 Pod 狀態(tài)kubectl get pods -n kube-system等待calico-node和calico-kube-controllers都變成Running再執(zhí)行kubectl get nodes你會(huì)發(fā)現(xiàn)節(jié)點(diǎn)狀態(tài)變成了Ready。這里需要一點(diǎn)耐心CNI 組件從啟動(dòng)到就緒通常需要幾十秒到幾分鐘。4.3 單節(jié)點(diǎn)集群是否需要移除 taint默認(rèn)情況下控制面節(jié)點(diǎn)帶有一個(gè)node-role.kubernetes.io/control-plane的 taint普通工作負(fù)載不會(huì)調(diào)度到 master 節(jié)點(diǎn)上。如果你只是搭一個(gè)單節(jié)點(diǎn)的測(cè)試環(huán)境希望 Pod 也能跑在 master 上需要手動(dòng)移除這個(gè) taintkubectl taint nodes --all node-role.kubernetes.io/control-plane-如果你后續(xù)一定會(huì)加入工作節(jié)點(diǎn)這個(gè)操作可以跳過保持控制面節(jié)點(diǎn)“只跑系統(tǒng)組件”的干凈狀態(tài)。很多人在單節(jié)點(diǎn)測(cè)試環(huán)境里忘了這一步部署業(yè)務(wù) Deployment 之后發(fā)現(xiàn) Pod 一直處于Pending其實(shí)就是 taint 導(dǎo)致的。5. 工作節(jié)點(diǎn)加入預(yù)導(dǎo)鏡像比現(xiàn)場(chǎng)拉取省心得多5.1 獲取 join 命令控制面初始化成功時(shí)kubeadm 會(huì)在輸出末尾打印一段kubeadm join命令包含了 token 和 CA 證書哈希。如果當(dāng)時(shí)忘了保存也可以隨時(shí)重新生成kubeadm token create --print-join-command拿到的命令大致長(zhǎng)這樣kubeadm join 192.168.1.10:6443 --token 你的token --discovery-token-ca-cert-hash sha256:你的哈希token 默認(rèn)有效期是 24 小時(shí)過期之后重新生成即可。5.2 工作節(jié)點(diǎn)的準(zhǔn)備工作工作節(jié)點(diǎn)需要安裝和 master 相同版本的 kubeadm、kubelet并且配置好 containerd。這里的重點(diǎn)還是鏡像。kubeadm join本身不負(fù)責(zé)拉取業(yè)務(wù)鏡像但工作節(jié)點(diǎn)上的 kubelet、kube-proxy 依然會(huì)用到 Kubernetes 組件鏡像。如果你走離線導(dǎo)入方案我建議把 master 上預(yù)拉的那一批鏡像 tar 包直接拷到工作節(jié)點(diǎn)用同樣的ctr -n k8s.io images import命令導(dǎo)入一遍。另外一個(gè)容易被忽略的是pause鏡像。containerd 啟動(dòng)每個(gè) Pod 之前需要先創(chuàng)建一個(gè)pause容器這個(gè)鏡像的地址由 containerd 配置里的sandbox_image決定。如果工作節(jié)點(diǎn)上缺失 pause 鏡像且無法訪問遠(yuǎn)端鏡像源節(jié)點(diǎn) join 成功后調(diào)度到該節(jié)點(diǎn)的 Pod 會(huì)全部卡在ContainerCreating。還有一個(gè)細(xì)節(jié)kube-proxy 是 DaemonSet會(huì)在每個(gè)節(jié)點(diǎn)上以 Pod 形式運(yùn)行它的鏡像拉取發(fā)生在工作節(jié)點(diǎn)本地。如果工作節(jié)點(diǎn)沒有 kube-proxy 鏡像也沒有配置 mirror即使節(jié)點(diǎn)已經(jīng)顯示 Readykube-proxy 的 Pod 也會(huì)報(bào)ImagePullBackOff。這種問題最容易被忽略因?yàn)楣?jié)點(diǎn)狀態(tài)看起來一切正常實(shí)際上 Pod 網(wǎng)絡(luò)轉(zhuǎn)發(fā)完全不可用。5.3 驗(yàn)證節(jié)點(diǎn)加入結(jié)果在工作節(jié)點(diǎn)上執(zhí)行kubeadm join之后回到 master 節(jié)點(diǎn)執(zhí)行kubectl get nodes正常情況下新節(jié)點(diǎn)會(huì)先處于NotReady隨后轉(zhuǎn)為Ready。同時(shí)檢查一次所有系統(tǒng)命名空間的 Podkubectl get pods -A重點(diǎn)關(guān)注 kube-system 下是否有非 Running 狀態(tài)的 Pod。如果發(fā)現(xiàn) kube-flannel 或者 calico-node 沒起來大概率是網(wǎng)絡(luò)插件鏡像缺失或者版本不兼容。逐個(gè)排查比最后統(tǒng)一排查輕松得多我通常每加入一個(gè)工作節(jié)點(diǎn)就檢查一次不攢著。6. 初始化過程中最容易翻車的三個(gè)細(xì)節(jié)cgroup、sandbox 鏡像和版本漂移6.1 cgroup 驅(qū)動(dòng)不匹配kubelet 陷入重啟循環(huán)這是新手踩坑率最高的問題。kubelet 默認(rèn)使用systemd作為 cgroup 驅(qū)動(dòng)而 containerd 默認(rèn)配置可能用的還是cgroupfs。兩者不一致時(shí)kubelet 啟動(dòng)會(huì)報(bào)類似failed to run Kubelet: misconfiguration: kubelet cgroup driver: systemd is different from docker cgroup driver: cgroupfs的錯(cuò)誤。排查起來也很直接。containerd 配置文件里搜SystemdCgroup把它設(shè)為true[plugins.io.containerd.grpc.v1.cri.containerd.runtimes.runc] runtime_type io.containerd.runc.v2 [plugins.io.containerd.grpc.v1.cri.containerd.runtimes.runc.options] SystemdCgroup true實(shí)際操作中我發(fā)現(xiàn)一個(gè)更隱蔽的情況配置文件里SystemdCgroup前面被注釋掉了表面上字段存在實(shí)際上 containerd 還在用默認(rèn)的false。所以改完配置后一定要執(zhí)行containerd config dump檢查一下生效值再重啟 containerd 和 kubelet。6.2 sandbox 鏡像版本不一致導(dǎo)致 Pod 起不來Pod 創(chuàng)建的底層機(jī)制是先啟動(dòng)一個(gè) sandbox 容器pause 容器再往里塞業(yè)務(wù)容器。如果 containerd 配置里的sandbox_image和 kubeadm 期望的 pause 鏡像版本不一致kubelet 會(huì)反復(fù)嘗試?yán)″e(cuò)誤的鏡像Pod 一直處于ContainerCreating事件里會(huì)看到FailedCreatePodSandBox。解決辦法是讓 containerd 的sandbox_image和 kubeadm 的 pause 版本保持統(tǒng)一。最直接的驗(yàn)證方式kubeadm config images list --kubernetes-versionv1.28.2看列表里 pause 的 tag然后對(duì)照 containerd 配置里的sandbox_image。如果不一樣以 kubeadm 列表里的為準(zhǔn)修改 containerd 配置。這里不要想當(dāng)然用最新版 pauseKubernetes 版本和 pause 版本之間有一個(gè)兼容矩陣跟著 kubeadm 走最安全。6.3 版本漂移系統(tǒng)包源和集群配置不一致版本漂移這個(gè)問題比較隱蔽常見于使用系統(tǒng)包管理器安裝 kubeadm 的場(chǎng)景。你初始化配置里寫的是v1.28.2但是操作系統(tǒng)的軟件源里 kubeadm 和 kubelet 已經(jīng)自動(dòng)升級(jí)到了 1.29.x。初始化過程中kubeadm 二進(jìn)制是 1.29 寫的證書和配置但是控制面鏡像按照v1.28.2拉取最后 kubelet 的二進(jìn)制版本和鏡像版本對(duì)不上Node 會(huì)反復(fù)上報(bào)錯(cuò)誤。解決思路是把軟件源的版本固定住。以 apt 為例安裝時(shí)直接指定版本號(hào)apt-get install -y kubeadm1.28.2-00 kubelet1.28.2-00 kubectl1.28.2-00這樣后續(xù)執(zhí)行apt-get upgrade也不會(huì)把你帶偏。如果集群已經(jīng)裝到一半發(fā)現(xiàn)版本對(duì)不上先統(tǒng)一好二進(jìn)制版本再考慮是否重新初始化。我的建議是發(fā)現(xiàn)版本漂移時(shí)不要硬著頭皮繼續(xù)清理掉已有配置重新初始化一次二十分鐘能解決的事繼續(xù)排查可能要花兩個(gè)小時(shí)。7. 初始化失敗后的快速恢復(fù)路徑不管前期準(zhǔn)備做得多充分初始化都有可能失敗。失敗本身不可怕最怕的是“半初始化”狀態(tài)殘留導(dǎo)致第二次初始化時(shí)報(bào)一些莫名其妙的沖突。我的習(xí)慣是準(zhǔn)備一個(gè)一鍵清理腳本內(nèi)容大約如下kubeadm reset -f rm -rf /etc/kubernetes /var/lib/kubelet /var/lib/etcd rm -rf /etc/cni/net.d iptables -F iptables -t nat -F iptables -t mangle -F systemctl restart containerd這個(gè)清理由重到輕kubeadm reset負(fù)責(zé)回收組件刪除目錄是清理證書和狀態(tài)數(shù)據(jù)清 iptables 是去掉殘留的規(guī)則。清理完再檢查一遍swapoff -a和ip link確認(rèn)網(wǎng)絡(luò)設(shè)備也被釋放干凈。很多人第二次初始化失敗都是因?yàn)闅埩襞渲梦募热?etc/kubernetes/admin.conf已經(jīng)存在kubeadm 會(huì)認(rèn)為集群已經(jīng)存在而拒絕執(zhí)行。清理腳本跑一遍基本能排除大部分雜音。8. 最后再分享一點(diǎn)個(gè)人體會(huì)這套流程我用過很多次從 1.26 到 1.28 都跑通過。最大的感觸是kubeadm 安裝集群真正的難點(diǎn)從來不在 kubeadm 本身而在于“鏡像能不能到位”和“底層配置是否一致”這兩件事。網(wǎng)絡(luò)受限反而幫你把每一步都逼著走扎實(shí)因?yàn)槟銢]法靠“拉一個(gè)新的鏡像”來繞過問題只能老老實(shí)實(shí)把版本、cgroup、sandbox 這些細(xì)節(jié)對(duì)齊。如果你現(xiàn)在正準(zhǔn)備搭一個(gè)指定版本的集群我的建議是先花半小時(shí)做鏡像準(zhǔn)備再花十分鐘檢查 cgroup 和版本一致性最后再執(zhí)行初始化。前面準(zhǔn)備做得越充分初始化那一遍就越順利。千萬別把時(shí)間花在反復(fù)kubeadm init和kubeadm reset上那是效率最低的排錯(cuò)方式。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久永久网址| 色欲影香| 久久在这里有精品| 激情色情五月天| 97色婷婷成人综合在线观看| 久久99免费视频| 色五月婷婷av| www.com.色色| 丁香六月丁香婷婷激情| 深爱激情五月网| 亚洲性爱干干| 久草天堂| 五月天丁香婷婷社区| 噼里啪啦在线观看免费完整版视频 | 久久久久久性爱视频| 超碰久热| 婷婷五月AV| 日本黄色三级片内射| 色天天综合成人网| 丁香五月另类小说在线阅读| 久久9精品| 开心五月色婷婷综合开心网| 五月激情婷婷丁香| w婷婷五月婷婷w| 五月婷婷伦理| 性爱先锋AV| 成人短视频免费| 丁香六月啪啪| 开心五月深爱五月| 99热免| 色五月天成人| 五月丁香激情婷婷综合| 激情五月婷婷网在线观看| 美女91一起草| 亚洲久艹| 伊人久热91| 色婷婷基地 | 婷婷九月激情| 亚洲天堂热| 99热在线这里| 色狠久| 婷婷五月激情欧美大胆视频| 色色色视频免费无码 | 久久精热| 九九这里都是精品| 五月丁香婷婷综合| 丁香五月婷在线观看| 激情丁香婷婷六月天| 成人网站av免费网站推荐| 国产高清av黄色看片| 26uuu成人网| 国产成人AV在线播放| 婷婷五月天免费视频| 天天拍夜夜爽| 成人狠狠成人狠狠成人狠狠成人狠狠| 国产探花AV在线| 色亚洲视频| 九九黄色网| 久久婷视频| 欧美操逼天堂| 伊人久久婷| 另类激情四射| 五月丁香六月色婷婷综合五月天| 日韩人妻无码一区二区| 亚洲五月丁| 久久黄色免费视频| 99精品爱| 欧美性色视频| 99在线播放视频| 久热综合| 婷婷五月天电影网| 婷色五月天| 丁香五月社区| 九月丁香婷婷基地| 天堂网啪啪| 欧美色色色色色色| 亚洲综合激情五月天婷婷| 色综合婷婷| 婷婷五月AV| 天天综合五月| 热久久77777| 亚洲99激情| 丁香五月天在线直播观看| 婷婷爱综合| 思思热性操| 久色中文| 五月99久久| 99色在线视频| 色婷婷久久| 大地资源色婷婷视频在线| 亚洲亚洲人成综合网络 | 亚洲亚洲永久无码777777| 久久久精品人妻录| 天天色天天爱天天爱天天爱y| 五月婷婷色情| WWW.99视频| 丁香 亚洲 久久| 九色91国产| 久久人人九九| 激情网五月天| www91久久| 久久视这里只有精品| 情欲综合网| 5月婷婷性视频| 激情五月深爱婷婷| 99在线精品观看99| 涩丁香91| 九九99免费视频| 99热香港| 精品人妻在线| 99国产精品久久久久久久久久久 | 97碰碰九九视频| 蜜桃婷婷狠狠久久| 秋霞电影理论| 99热日本| 欧美啪啪网| 免费婷婷| 99爱视频在线观看这里只有精品| 99精色| 国外亚洲成AV人片在线观看| 99热大香蕉| 久久五月人人摸| 俺也高清无码高清视频| 色婷婷狠狠| 婷婷五月综合丁香久久| 久久五月天合网| 久久婷婷色五月| 午夜成人天堂久久无码日韩久久| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 夜夜干天天操| 精品99在线观看| 秋霞学生妹一二级| 色吧五月婷婷| 99精品无码网站| 人人爽欧美婷婷久久久五月丁香| 丁香婷婷大香蕉| 久久久久视剧HD| 色婷婷激情四射视频| 日本丁香五月婷婷| 亚洲婷婷免费| 日韩AV片| 久久精彩视频| 丁香五月成人自拍| 色五月激情问网站| 五月天综合婷婷| 激情综合文学| 国产探花AV在线| 操操天堂| 国产av基地| 亚洲熟妇AV乱码在线观看| 影院久久久| 十月丁香婷婷| 久久综合五月天| 超碰AV成人| .操區COm| 色婷婷综合久久久久| 日本人妻伦在线中文字幕| 国产精品色婷婷99久久精品| 可以直接看的av| 亚洲精品久久久久久久久久吃药 | 欧美色播综合在线观看| 五月婷婷性爱| 丁香五月香蕉| 人妻激情综合| 99热99天堂| 五月天婷婷三级黄| 色停停香蕉视频| 狠狠干.com| 侠女刀之记忆电影在线看免费| 丁香五月色网| 日韩综合久| 永久AⅤ1| www.九月婷婷丁香.com | 99热久久最新地址| 日日躁夜夜躁狠狠久久AV| 新97人人上人人| 五月天婷婷小说| 五月婷护士| 日日射天天射| 婷婷丁香熟女| 色色日本| 精品99在线看| 777色色色| 国产在线黄色| 99热精品在线播放| 啪啪激情网站| 丁香亚洲色综合| 久久久久99精品成人片| AⅤ在线播放网| 婷婷丁香激情| 久久久九九九 99| 色五月丁香六月欧美综合| 人碰人人人玩91| 丁香五月婷婷骚视屏| 国产成人综合亚洲| 激情五月天com| 大香蕉伊然在亚洲90| AV国产有码| 67194中文在线| 五月丁香婷庭在线| 9久久精品视频| 亚洲丁香五月天视频| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 丁香婷婷五月六月久久| 欧洲永久精品| 国产一区二区av免费| 婷婷五月激情欧美大胆视频| 91亚洲免费片| 国产 码在线成人网站| 五月天婷婷色| 琪琪色网在线| 色综合色色色| 秋霞电影一级黄| 丁香五月婷婷基地| 99久久97| 日韩操人| 狠狠插日日干撸| 亚洲 欧洲 国产 伦综合| 成人AV中文字幕| 久久亚洲婷婷| 超碰人人在线观看| 久久久久久综合88| 色五月婷婷啪啪五月| 99在线免费视频播放| 久久婷婷五月天| 久久精品99| 国产在线aaa片一区二区99| 婷婷丁香五月天亚洲| 去色色五月天| 大香蕉九九| 五月婷婷六月基地| www.久久| www.久久色.com| 五月婷婷导航| 婷婷五月天天天日日夜夜| 国产毛片精品一区二区色欲黄A片| 丁香美女主播视频在线观看| 超碰碰碰碰| 日本三级99人妇网站| 91肏| 99热精品中文字幕| 很很干在线视频| 99热销国产这里有精品| 97操操网| 996热| 天天射影院| 婷婷丁香十月| 怡红院精品视频久久久久久久久| 成人丁香五月| 日本一级大片| 久久大香蕉丁香| 91丨九色丨高潮丰满日本| 九九热99精品| 婷婷成人网五月天| 先锋资源91| 久久综合99综合| 日韩超碰在线| 自拍盗摄 另类| 99热这里在线精品| 91精品国产色猫| 天天色粽合合合合合合合| 99热在线观看精品| 五月天色网站| 蜜乳A√| 六月婷婷激情| 91日视频| 久久久A级视频| 婷婷五月天av| 99久在线精品99re8热| 五月丁香六月婷婷色日| 涩婷婷五月天| 情涩婷婷五月天| 成人做爰A片免费看网站找不到了| 五月深情久久| 久9热在线免费观看| 青青青在线视频国产| 这里只有精品网站| 99人人操人人摸| 久久久思思热| 桃色五月婷婷| 91五月天| 精品九九在线观看视频| 9色在线| 日本乱论99| 婷婷视频在线| 久久一级AV| 99精彩视频| 色情久久久| 女人天堂 AV| 天天人人天天爽| 综合激情伊人影视在线| 99re熱| 伊人干综合| 色婷婷激情四射视频| 天天日P天天射P| 人与禽A片啪啪| 婷婷丁香十月| 久久色区| 五月婷综合| 99热碰碰热| 日本色色网站| caop在线视频| 五月婷在线观看| 99噜噜| 色婷婷操逼网| 9久热免费视频99| 91人人人人人人人| 97碰成超视频免费视频| 五月久熟女| 五月丁香激| 1区2区视频| 日本123区日韩欧美不卡在线看| 97婷婷五月丁香| 七七色综合| 婷婷六月天| CAOBIBI| 五月婷婷很很色| 欧美日韩成卜| 在线sebiav精品视频| 无码AV大香线蕉伊人| 91黄色五月天视频| 99五月婷| 91视频五月丁香| 亚洲综合另类| 日韩一区二区在线播放| 五月婷婷欲色| 天天干天天爽| 婷婷五月天影院| 伊人婷婷五月天| 国产99久久久国产精品免费看| 双性美人被调教到喷水A片| 天久综合91综合首页| 五月Huangsewang| 亚洲无码性爱| 日韩av在线电影| 一起草av| 99热中国| 久操人妻| 久久婷婷五月综合色区| 在线观看欧美| 夜夜天天久久婷婷| 狠狠操狠狠操| 色色色热| 中文字幕精品推荐免费在线观| 久久精品4| 婷婷五月天奸女| 五月丁香综合在线| 亚洲天堂色| 色五月婷婷1| 久久色情| 五月婷婷基地| 激情综合五| 亚洲精品第一色色色色色色| 大香蕉婷婷久久| 久久九区| 午夜激情五月天| a在线观看| 99色色| 色约约视频一区二区三区四区五区 | 日本99视频| 久草热8精品视频在线观看| 1级欧美日韩| 99九九在线| 99热在线中文字幕| 成人 在线 日韩| 亚洲亚洲人成综合网络| 99色日本| 五月婷婷狠狠干| AA久久| 国产SUV精品一区二区883| 色天使久久综合| 色综合com| 5月丁香六月婷婷| 亚洲综合九九| 91性人人| 热的无码综合视频| 婷婷五月天网| 91九色熟女| 丁香婷婷久久老熟女综合网| 亚洲久久激情| 五月天婷婷伊人| 婷婷丁香五月欧美人| 色婷婷AV在线| 成人VAV视频在线观看| 婷婷丁香五月av| 久久久精品人妻| 精品国产一区二区三区四区阿崩| 91人妻色色网| 国产欧美第五十五页| 丁香婷婷激情网站| 日本天天综合| 日韩1区2区| 91精品人妻少妇无码影院| 狠狠干五码| 九九热视频这里只有精品| 激情丁香五月AV| 天天操天天操| 99久久99九九99九九九| 久久精品4| 逼里香不卡| 5月婷婷六月丁香| 五月天操逼网| 极品少妇婷婷五月| 五月婷婷av| 2018夜夜草| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 色五月色图| 久久久精品色| 超碰成人影视| 婷婷五月美女直播| 丁香影院五月综合| 久久激情五月天| 亚洲字幕AV一区二区三区四区 | 欧美色性色好| av线电影| 激情五月天 婷婷| 激情内射人妻1区2区3区| 思思视频这里是精品| 色色五月天婷婷| 久久多色| 激情五月天电影| 男人天堂99| 五月婷婷丁香在线| 丁香五月WWW| 五月婷婷二月丁香| 91AV视频| 婷婷综合一二三| 久人人操| 婷婷色啪| 激情综合网丁香| 激情五月影院| 色播婷婷五月天| 91久久1118| 五月婷婷九九热| 性爱久久| 色狠狠综合| 日本欧美国产| 极品少妇XXXX精品少妇偷拍| 五月丁香六月婷婷,婷| 色五月六月| 久久六月天| 99自拍视频在线| 香蕉久久国产AV一区二区| 另类在线| 色五月激情五月丁香五月婷婷啪啪综合| 无码激情AAAAA片-区区| WWW.色婷婷.COM| 七七色综合| 激情婷婷五月社区| 97在线综合| 婷婷导航| 婷婷五月视屏| 成人版视频在线观看| 一二区成人电影| 99精品亚洲| 天天操夜夜啊| 成人AV片播放| 色狠狠综合网| 婷婷五月天激情综合| 久草九一| 中文字幕av在线| 二色av| 欧美99| 无月播播激情在线观看视频| 黑人熟妇一区二区三区| 五月天色综合| 99久久玖玖| 操碰99| 五月综合久久| 26UUU欧美| 黄色AV日韩| 九月婷婷在线视频| 丁香九九九九| sewuyuejiqingwang| 一起操最新网址| 激情久久五月天| 77799热| 色综合9| 97狠狠色| 久久欧洲综合网| 天天射综合网站| XX色综合| 亚洲视频二区| 五月天婷婷7米| 九九热这里有精品视频| 99九九热视频免费| 无码激情AAAAA片-区区| 天天干天天操天天拍| 丁香五月婷婷欧美成人色图| 久久激情视频| 三级99热| 极品人妻VIDEOSSS人妻| 激情五月天婷婷| 四月婷婷丁香| 婷婷五月综合婷婷| 玖玖婷婷色| 天天碰夜夜操| 色五月丁香五月| 深爱五月日韩| 亚洲色婷婷99一9|| 色播五月丁香| 久久伊人9| 色综合99无码| 亚洲亚洲人成综合网络| 色色亚洲视频| www.日本91| 久久机热这里只有 | 色播婷婷五月天| 婷婷99| 91精品国产综合久久蜜芽解析速度| 另类在线| 怡红院视频| 日日天天干| 亚洲 在线 性爱| 无码九九| 亚洲精品亚洲人成人网| 成人在线网站| 香蕉五月婷婷| 婷婷五月天大香蕉在线视频观看| 色婷婷基地 | 九九色综合网| 五月婷视频在线| 久久婷婷五月天激情唯美| 99热精品少| 69热在线| 色五月婷婷婷婷婷婷婷婷婷婷| 伊人婷婷五月天av| 久久一级片| 99视频日韩| 久久AV无码精品人妻系列试探| AV性爱在线| 99啪啪视频| 国产精品国产| 丰满人妻一区二区三区| 五月天激情图片| 综合色色色| 丁香六月婷婷姐网| 色情五月天婷婷| 色婷婷五月基地在线| 91婷婷丁香五月天免费视频网站| 久久五月天激情美女| 狠狠久久婷五月| 手机在线日韩视频中文字幕| 五月天丁香久久| 99热碰碰| 秋霞A V毛片| 久久婷婷色综合| 91精产一区三区免费观看| 亚洲成人中心| 色五月婷婷中文字幕| 欧美大香蕉视频| 九九99九九99九九99视频网| 狠狠色丁香五月婷巨| 久久五月综合| 天天操夜夜啊| 综合综合网| 开心色播色五月婷婷| 久久99这里只有精品视频 | 伊人久久大香线蕉av一区| 色婷婷综合综合网| 婷婷久久大香蕉| 天天舔天天插天天爱| 激情网战码亚洲A| 久青草影院| 国产亚洲色婷婷久久99精品91| 亚洲国产精品SUV| 欧洲电影在线观看免费版英语版| 色欲AVV| 婷婷综合久久综合| 日本啪啪网| 色婷婷五月开心六月综合| aaaaaa片| 五月丁香青草综合啪啪| 97人人搞| 中国丰满熟女A片免费观| 国外亚洲成AV人片在线观看| 色婷婷第四色| 丁香六月啪啪| 天天透天天摸天天舔| 久久五月天色| 色啪影院| 久久九九思思| 亚洲精品无码久久| 狠狠爱激情网| 婷婷五月天在线观看av| 九九热免费| 日韩在线视频网站| 一本道在线电影| 色婷婷成人久久| 91九色在线| 色插综合网| 日韩五月丁香| 性一交一乱一交A片久久四色| 九九色婷婷| 九九婷婷热| 久久久久98| 婷婷六月色| 国产精品视频久久99| 99玖玖在线视频| 99热这里只有精品99| 成人短视频免费| 永久无码色| 亚洲va欧美va国产综合久久久| 亚洲精品在线视频| 欧美五月停| 中文字幕AV网址| 人色五月天婷婷| 99视频激情四射| 亚洲无AV在线中文字幕| 婷婷色在线视频| 五月丁香六月婷婷在线小说视频| 色五月婷婷影院| 99热 精品在线| www,色婷婷| 午夜不卡成人一区二区| 97久久草草超级碰碰碰| 91成人看| 五月婷婷亚洲综合网| 久久精彩免费视频| www,99视频| 色 免费网站视频| 婷婷伊人五月天| 国产成人+综合亚洲+天堂| 久久9热| 色综合性视频| 亚洲色网络| 久久久九九视频精品18| Va另类视频| 99视频内射三四| 九九精品系列| 欧美综合婷婷网| 天天爽天天日| 国产精品操| 99热在线免费| 五月丁香综合| 久久久久久xxxxx| 这里只有精品视频在线| 日韩五月婷婷久久| 久久五月婷天天干| 丰满老熟妇BBBBB搡BBB| 色色综合成人网| 99精品视频网站| 123日本不卡在线| 天天草天天爱| 久操热线| 777久久综合视频| 天堂A∨在线| 国内久久亭亭| 色播激情五月天| 欧美久久久中文字幕| 六月婷婷色五月| 五月综合视频| 精品久久人妻热| 亚洲热视频在线| www.久久久久久久| 婷婷情色五月天| 色婷婷a| 在线观看婷婷5月| 婷婷五月丁香激情图片 | 久久99这里只有精品视频 | 婷婷丁香18| 六月婷在线| 婷婷激情五月天小说校园| 日韩国产在线精品| 99热这里只有精品69| 99精品成人无码A片观看金桔| AV激情五月| 日韩AV大全| 只有精品视频在线观看| 国产激情综合| jiujiu无码五区| 色天堂婷婷| sewuyuejiqingwang| 国产美女无遮挡裸体毛片A片 | 九月丁香欧美综合| 激情六月婷婷| 中文字幕五月久久婷| 九色91视频| 激情五月天婷婷| 婷婷七月丁香色色| 五月婷婷天| 天天弄天天爽| 一本大道熟女人妻中文字幕在线| 天天干天天色天天干| 五月婷婷 婷婷五月 一区二区 久久久 | 大香线蕉伊人| 色99在线| 韩国婷婷丁香五月| 色啪久| 亚洲欧美丁香五月天亚洲欧美| 中文字幕五月久久婷| 91婷婷色五月| 狠狠 婷婷| 99欧美热| 五月婷婷六月天| 九九精品自拍| 精品一二三区久久AAA片| 五月天婷婷伊人| 丁香五月婷婷影视先锋| 欧美在线97| 五月婷婷五月天激情视频| 激情内射人妻1区2区3区| 开心激情网在线| 六月婷婷综合激情| 五月丁香在线| 五月婷婷二月丁香| 婷婷久久五月| 一级片操逼视频| 天天色视频| 五月综合亚洲色| 激情性爱五月天网页| 99操逼| av九九| 香蕉婷婷五月| 五月丁香啪啪综合| 欧美色色色| 综合色影| 亚洲熟妇AV乱码在线观看| 激情综合网五月婷婷| 激情色色| 亚洲色99| 日本三日本三级少妇三级66| 婷婷五月丁香五月| 丁香五月天AV| 天天玩天天摸| 99热99操| 夜夜操加勒比| 色碰碰| 亚洲99在线视频| 99激情在线| 狠狠干总合| 伊人久久婷| 怎么样可以看免费的一级av| 玖玖99免费视频| 热99视频精品| 色婷婷亚洲| 三日本无码| 久久人人妻| 成人在线日韩欧美| 久久96热| 天天久久66xxx| 色婷婷五月影院| 精品一二三区久久AAA片| 色五月天丁香婷婷| 岛国AV网站| aaaaaa片| 另类伊人婷婷| 97操| 成人AV片播放| 97色婷婷| 欧洲亚洲精品| 色女人久久| 激情五月婷婷综合色播小说| 亚洲色色图片| 丁香激情久久| 综合色婷婷| 日本91在线播放| 六月天婷婷| 久久九九@| 丁香六月婷婷色XXXXX| 婷婷五月天激情综合| 欧美精品999| 日韩另类在线观看| 久久色午夜在线导航| 国自产拍偷拍精品啪啪一区二区| 99国产在线| 色99网| 九九色色| 99国产视频网| 色五月激情婷婷| 婷婷综合五月色播| 丁香五月日本| 欧美成人Va| 在线看片av| 色综合偷拍| 九九99在线视频| 91av无码| 亚韩精品视频1区| 欧美在线ee日韩| 色色色色欧美| 三年高清大片免费观看国语| 四虎国产精品永久在线国在线| 99热这里只有精品66| 国产激情在线| 五月丁香琪琪| 五月天啪啪视频| 婷婷狠狠操| 激情综合五| 色婷婷777狠狠| 99碰| 四色永久成人网站| 香蕉久久国产AV一区二区| 碰碰女| 色999五月色| 久久99综合| 草综合网| 五月熟妇婷婷久久| 另类婷婷丁香| xxx综合在线| 狠狠色丁香久久婷婷综合五月| 99只有这里是精品| 天天干天天爽天天操| 婷婷日日夜夜| 欧美综合激情丁香五月六月婷| 久久婷婷五月天激情唯美| 另类激情五月天| 欧美黄色AA片哗啦啦啦| 天堂久久婷婷| 色色色成人网| 激情综合亚洲| 久草婷婷在线| 91在线观看www| 激情 婷婷| 婷婷五月天AV| 日本狠狠爽| 亚洲激情色色| 九九热精品在线| 99日本精品视频热| 亚洲黄色影视| 99re久热| 99a级片| 97黑人精品区| 最新热中文字幕| 色综合五月在线| 亚洲精品激情| 久久人人九九| 婷婷激情四射| 91九色无码内射| 九九99精品视频| 五月丁香六月婷婷啪啪综合| 久久色五月天综合网| 人人爱摸视频| 99亚洲视频| 97luluse| 99热亚洲| 五月丁香六月欧美| 一起草无码| 婷婷色婷婷| 丁香青青五月天| 日本色婷婷| 亚洲乱码成人| 99热亚洲| 91丁香综合| 8区视频在线| 色婷五月天亚洲| 色五月婷婷色五月婷婷色五月婷婷| a在线观看| A片试看120分钟做受图片| 午夜丁香婷婷| 婷婷五月色播| 午夜激情四射影院| 日本色道视频网站| 伊人久久五月天综合| 欧美熟女99| 视频一区二区在线| 亚洲色情久久| 丁香成人视频| 综合久久婷婷| 婷婷五月18永久免费网站| www.minyis.com【JT】实力收量可预付TG@LXSPSW8 | 第四色首页| 色丁香久久| 性爱七区| 婷婷五月天激情在线观看| 久艹大香蕉| 激情综合网激情五月婷婷| 欧美色婷婷| 天天做天天爱天天综合网| 婷婷五月激情小说| 久热丁香| 色婷五月丁香久亚洲| 久99久热| 最新婷婷五月丁香| 婷香五月网在线| 五月婷婷影院| 九久九精品| 久久婷婷六月| 五月婷婷av| 超碰97色| 深爱激情av| 天天综合网站| 色欲久久久久久综合网综合网| 婷婷激情五月天亚洲综合| 丁香婷婷色五月| 99干99| 色色五月婷婷丁香| 图片区 小说区 区 亚洲五月| 九九精品综合| 色色色色色色网| 久9精品视频在线| 青青操avbb| 五月婷婷色综图片| 婷婷色在线播放| 亚洲五月天婷婷在线| 国内一级片| 99在线观看亚洲| 狠狠爱五月婷婷| 麻豆精品| av中文网站| W色综合| 亚洲综合网激情小说| 五月天婷婷在线观看| 在线网黄| 婷婷 伊人 久久| 九九美女视频| 婷婷色爱| 9热超碰| 激情综合网 激情五月天| 精品夜夜澡人妻无码AV| 操操操www.com| 婷婷丁香五月麻豆| 国产老熟妇亲子乱对白| 亚洲视频二区| 热99在线精品| 欧美性爱中文字幕| 激情五月婷婷视频一区二区三区| 久久曰9| 婷婷五月天狠狠| www久久久久久久久久久久久久久久久| 久久人妻情侣| 99原创自拍视频在线观看| 婷婷五月天另类视频| 99热这里有精品| 怕怕av| 亚洲亚洲人成综合网络| 99在线免费视| 国产精品一区在线观看你懂的| 美女婷婷六月色| 五月天啪啪| 26uuuavcom| 中文字幕乱码亚洲精品一区| 成久综合视频| AA片在线观看视频在线播放 | 日本va视频| 婷婷.com| 五月婷婷狠狠干| 婷婷色综合中心站| 五月激情小说网| 亚洲午夜一区二区| 国产97色在线| 如何安全看伊人婷婷| 思思热在线观看| 婷婷丁香色五月天久久88| 国产古装妇女野外A片| 亚洲婷婷丁香五月视频| www.com在线操视频免费观看| 五月天久久网站| 大香蕉天堂| 色五月在线观看| 99re这里只有精品国产99| 在线中文AV| 人人摸人人干人人做| 色综合狠狠色| 在线播放成人网站| 26uuu四色| 夜色五月天| 九九婷婷网五月天| 91九色丨国产丨爆乳| 99热网站| 五月天激情婷婷丁香| 综久久久| 超碰免费在线| 激情五月亚洲综合网| 五月刺激丁香月综合| 综合色影| 久久五月天合网| 欧亚中文A V| 思思99久久| 激情五月综合免费| 99欧美三级视频| 亚洲天堂爱爱| 久热视频这里只有精品68| 超碰伊人碰婷婷五月| 五月天精品视频| 五月天五月色| 26.uuu丁香五月婷婷| 操一区| www五月天激情com| 狼人狠狠操| 国产人妻人伦精品一区二区| 欧美性丁香色色五月天干干| 超碰人人在线| 丁香婷婷视频一区二区| 国产精品视频免费看| 日本少妇裸体做爰高潮片 | 综合AV网| 人人干99| 丁香五月 六月婷婷首页| 天天干,天天操,天天射| 国产亚洲色婷婷久久99精品91| 六月色丁香中文字幕| 亚州操操| 久久免费干| 99re这里只有| 五月婷婷激情中文字幕| 免费的日逼视频| 五月丁香花激情综合网| 国产看真人毛片爱做A片| 99自拍视频网站| 亚洲精| 九九热10| 另类图片五月激情| 人人爱操| 五月婷婷三级| 色婷婷裸体色性在线| 操操操www.com| 亚洲AV电影美洲AV电影| 无码AV免费精品一区二区三区| 另类图片五月天| 亚洲色色精品| 五月丁香A片| 亚洲四色五月| 激情涩播| 俺去也综合| 久久99精品久久久久久噜噜| 天天日夜夜操五月| 开心六月婷| 五月婷婷色啪| 日本玖玖在线| 激情婷婷五月天| 激情五月综合网| 激情五月久久| 五月草影视| 五月激情婷婷开心五月| 国产激情综合五月久久| 亚州色综合| 大香蕉久久综合网| 久久婷婷亚洲| 另类专区在线| www.色婷婷| 这里只有精彩视| 色综合性视频| 色婷婷狠狠干| 五月婷丁香花| 庭庭久久内射| 大香蕉狼人久久| 99re久热| ZpRSw| 免费无码毛片一区二区A片| www.久久久久| 99热精品在线观看| 99啪啪视频| 99九九热视频| 97色操| 人妻久久久久久久 | 五月天激情小说婷婷| 日韩操逼大片| ...婷婷五月综合不卡,国产在线手机| 日韩av变天就操逼不卡区| 99热婷婷| 成人做爰A片免费看视频| 五月婷婷啪啪| 国产激情综合| 丁香在线视频| 色色综合网站| 午夜大香蕉| 狠狠狠狠狠狠| 丁香婷婷色五月| 丰满老熟妇BBBBB搡BBB| 99区视频| 九九热10| 这里只精品| 丁香色啪综合| 夜夜夜夜做天天天做无码视频| 狠狠色丁香99| 婷婷综合网在线| 五月天婷婷久色| 五月丁香少妇A| 婷婷五月天性| www.lingjunshare.com| 久久这里有精品视频| 亚洲欧美另类在线23p| 激情5月婷婷| 丁香五月天激情免费在线观看AV777| 亚洲激情婷婷| 五月婷婷六月天| 欧美久久婷婷| 天天干狠狠| 国外亚洲成AV人片在线观看| 成人午夜视频精品一区| 伊人五月婷| 九月色婷婷综合亚洲| 99久免费视频| 五月天停停日日| 五月丁香美女视频| 老司机午夜福利视频金瓶梅| 婷婷激情蜜桃玖玖丁香| 新五月天婷婷激情电影| 丰满熟女人妻一区二区三| 五月天成人网在线观看| 五月玖玖| 欧美性爱五月天| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 天天综合网~91综合网| 亚洲精品99| 伊人婷婷激情| 久久99性爱视频| 五月天婷婷影院| 激情综合网五月婷婷| 涩丁香| 色五月婷婷影视| 久操热| 丁香五月六月婷婷自拍| 久久精品视频在这里有| 玖玖婷婷综合| 另类少妇人与禽zOZZ0性伦| 国产3p露脸普通话对白| 97久操| 大香蕉伊人爱在线| 人人色性网| 无套内射极品大美女| 色啪网| 久久九九思思| 欧美日韩成人在线网站| 久一这里有精品国产| 99国产小视频| 激情文学久久| 亚洲精品a成人在线播放| 婷婷五月天网址| 凹凸7777操操操| 天天爽天天爽视频| 国产无套精品一区二区| 亚洲AV久久久久久久久久久久久久久久 | 亚洲男女激情| 99re久热| 激情五月天婷婷免费观看| 99er视频在线| 五月丁香综合在线| 欧美色激情四射| 五月丁香婷婷色色| 色噜综| 五月婷av| 九九综合九色欧美狠狠| 九月色婷婷| 丁香六月婷婷一区二区三区| 亚洲亚洲激情| 天天干天天色综合| 性一交一乱一交A片久| 五月天婷婷Av| 五月花婷婷在线精品视频| 婷婷丁香18| 婷婷在线视频| 91偷拍视频| 色色色国产| 丁香五月婷婷基地| 97日在线视频| 久久99成人性爱高清视频| 日韩成人电影AV| 九九九九无码| 这里只精品| 99re热在线视频| 欧美色色色色色色色色| 99热这里只有精品亚洲| 國語久久婷| 婷色综合| 丁香婷五月| 97色碰| 97欧美在线| 国产成人va在线| 天天干,夜夜爽| 中文字幕成人影视| 狠狠五月天激情| 曰韩少妇内射免费播放| 欧美在线看| 丁香六月激情| 丁香六月天婷婷色| 久色视频首页| 激情五月天色色网| 综合99视频| 久热免费| 久久综合站| 久久性爱网站| 免费黄色片子| 丁香五月激情啪啪| 播播网色播播| 色色色色色色色色色色色色色五月天| 人妻操操色| 99热这里只有精品中文字幕| 91色吧网| 色色色综合网| 色婷狠狠| 99免费视频网| 婷婷伊人| 天天天操天天天爰| 久久性爱视频网站| 五月天婷婷免费| 久久婷婷五月天激情四射| 色综啪啪| 久久久久久久久人妻| 亚洲亚洲人成综合网络| 久久色这里只有精品| 第四色大香蕉| 丁香五月天社区婷婷| 天天摸人人摸| 婷婷欠久少妇| 五月丁香六月婷婷亚洲| 欧美激情性做爰免费视频| .操區COm| 91九色视频在线观看| 69人妻人人澡人人爽久久| 欧美性丁香色色五月天干干| 香蕉99网| 天天干天天操天天爽| 五月婷综合| 五月天婷婷丁香| 婷婷婷久久久| 操逼三区| 五月婷婷av| 国产成人av在线| 天天情天天狠天天透| 黄网在线播放| 在线播放成人网站| 久久婷色| 婷婷成人综合免费视频| 97在线观视频免费观看| 看黄的网站18禁| 丁香五月综合| 五月停停丁香| 九九伦子片| 日本天天色| 99超碰人人| 中文无码婷婷| www.五月天婷婷.com| 九九热免费视频| 五月婷婷手机在线| 丁香五月天激情四射网络不好 | 五月色色激情网| 久久精品婷婷五月丁香| 狠狠干在线| 五月激情啪啪| 中文字幕乱码亚洲精品一区| 日本欧美成人片AAAA| 日日夜夜狠狠干| 人人叉久| www.zbzhongsen.com| 玖玖在线资源视频| 国产乱子轮XXX农村| 欧美人妻一区二区| 亚洲免费电影2| 91九色在线| 极品 少妇 内射| 99久久婷婷国产综合亚洲| 亚洲欧美婷婷五月色综合| 婷婷啪啪| 国产成人精品一区二三区熟女在线| 综合激情深爱| 人妖色AV色综合| 99在线精品视频在线观看| 插插五月天| 日本三日本三级少妇三级66| 九九人人操| 丁香五月亭亭六月综合激情网| 五月丁香另类网| AV电影在线播放| 色宗合,宗合网| 成人一区在线观看| 26UUU精品一区二区| 亚洲色a| 丁香婷婷五月综合影院| 亚洲综合色婷婷| 五月婷在线播放| 激情五月婷婷| 五月天丁香婷婷网| 丁香婷婷色色| 国产探花AV在线| 丁香久久久|