欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

K8s一鍵部署腳本:告別kubeadm手動(dòng)部署的坑

K8s一鍵部署腳本:告別kubeadm手動(dòng)部署的坑 簡(jiǎn)介面向需要快速搭建Kubernetes集群的運(yùn)維與開(kāi)發(fā)人員這份下載包提供一套基于Docker容器化的K8s一鍵部署Shell腳本。腳本中預(yù)置了Docker 24.0.7、cri-dockerd 0.3.9以及K8s v1.28.2等關(guān)鍵版本信息使用者只需按實(shí)際環(huán)境修改集群節(jié)點(diǎn)規(guī)劃與軟件版本將壓縮包上傳至主節(jié)點(diǎn)和工作節(jié)點(diǎn)的家目錄再執(zhí)行一鍵安裝命令即可自動(dòng)完成整套集群環(huán)境的搭建不再需要逐一手動(dòng)部署和配置各類插件。資源共包含7個(gè)文件以三類Shell腳本為核心分別負(fù)責(zé)安裝、卸載與公共環(huán)境初始化同時(shí)附帶Kubernetes初始化所需的YAML清單、Flannel網(wǎng)絡(luò)插件配置、cri-dockerd的RPM安裝包以及簡(jiǎn)明使用說(shuō)明整體壓縮包大小為10.67MB目錄結(jié)構(gòu)清晰適合快速二次定制。目前已有952人學(xué)習(xí)下載非常適合具備一定Linux基礎(chǔ)、希望提升K8s集群部署效率的工程師用于本地測(cè)試環(huán)境或作為生產(chǎn)環(huán)境初始化基線。1. 寫一份能救命的 K8s 一鍵部署腳本別再手動(dòng)敲 kubeadm 了很多人第一次部署 K8s 集群都是這么翻車的照著教程敲 kubeadm init等兩三分鐘最后看到the api server is not healthy after 4m0.00747357s然后整個(gè)人就愣住了。這個(gè)問(wèn)題不是個(gè)例而是所有新手甚至不少熟手都會(huì)撞上的坎——報(bào)錯(cuò)信息不算友好排查鏈路又長(zhǎng)從 kubelet 日志翻到容器運(yùn)行時(shí)狀態(tài)再?gòu)?CNI 插件查到網(wǎng)絡(luò)策略沒(méi)兩三個(gè)小時(shí)根本定位不了。我給你的這份一鍵部署 shell 腳本解決的就是這個(gè)痛點(diǎn)。它把 Docker 容器化環(huán)境準(zhǔn)備、K8s 組件安裝、master 節(jié)點(diǎn)初始化和 worker 節(jié)點(diǎn)接入全部揉進(jìn)了一個(gè)腳本里你只需要改幾個(gè)變量敲一條命令等幾分鐘就能得到一個(gè)可用的集群。它的核心思路不是省那幾行命令而是把容易出錯(cuò)的操作順序固定下來(lái)把版本對(duì)齊、鏡像拉取、網(wǎng)絡(luò)插件的配置都做成參數(shù)化讓復(fù)制粘貼不再靠運(yùn)氣。適合正在學(xué) K8s 的入門者、要在內(nèi)網(wǎng)環(huán)境快速搭集群的運(yùn)維以及被各種玄學(xué)報(bào)錯(cuò)搞到頭大的開(kāi)發(fā)者。2. 容器運(yùn)行時(shí)與版本對(duì)齊為什么我這里強(qiáng)制用 Docker2.1 Docker 和 K8s 的關(guān)系比你想象中更微妙很多人分不清 Docker 和 K8s 的關(guān)系覺(jué)得既然 K8s 是管容器的那 Docker 裝了就行。實(shí)際上 K8s 通過(guò)容器運(yùn)行時(shí)接口CRI來(lái)操作容器而 Docker 本身并不直接兼容 CRI需要 dockershim 做中間層。雖然新版本 K8s 已經(jīng)默認(rèn)用 containerd 作為運(yùn)行時(shí)但在一鍵部署腳本里我仍然優(yōu)先推薦 Docker原因很現(xiàn)實(shí)Docker 的生態(tài)最成熟鏡像加速配置簡(jiǎn)單排障手段豐富尤其是當(dāng)你需要在集群里額外跑一些非 K8s 管理的容器時(shí)Docker 直接用docker ps就能看到而 containerd 的crictl命令還需要單獨(dú)配置。這份腳本里我做得最保守的一件事就是固定版本。K8s 的版本和 Docker 的版本不是隨便組合都能跑的v1.24 之前的 K8s 和 Docker 的兼容性還算穩(wěn)定v1.24 之后雖然默認(rèn)走 containerd但如果你用 Docker 作為運(yùn)行時(shí)kubelet 的啟動(dòng)參數(shù)里要顯式指定--container-runtimeremote --container-runtime-endpointunix:///var/run/dockershim.sock。腳本里我默認(rèn)寫的是 K8s 1.23.17 Docker 20.10.x 的組合這是經(jīng)過(guò)大量環(huán)境驗(yàn)證過(guò)的穩(wěn)定搭配你在生產(chǎn)環(huán)境也盡量用固定版本別追新。2.2 環(huán)境準(zhǔn)備腳本主機(jī)名、防火墻、Swap 一次性搞定先看腳本里最前面的環(huán)境初始化函數(shù)這部分解決的是部署前最容易被忽略的系統(tǒng)級(jí)配置。代碼塊如下prepare_system() { echo System Preparation # 設(shè)置主機(jī)名變量 HOSTNAME_PREFIX 需要提前定義 hostnamectl set-hostname ${HOSTNAME_PREFIX}-$(hostname -I | awk {print $1} | cut -d. -f4) # 關(guān)閉 firewall 并禁用 SELinux避免網(wǎng)絡(luò)策略干擾 systemctl stop firewalld systemctl disable firewalld setenforce 0 sed -i s/^SELINUXenforcing/SELINUXdisabled/ /etc/selinux/config # 關(guān)閉 swapK8s 強(qiáng)制要求 swap 關(guān)閉才能運(yùn)行 kubelet swapoff -a sed -i / swap / s/^/#/ /etc/fstab # 加載內(nèi)核模塊并配置 sysctl cat EOF /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-iptables 1 net.bridge.bridge-nf-call-ip6tables 1 net.ipv4.ip_forward 1 vm.swappiness 0 EOF modprobe br_netfilter sysctl --system /dev/null 21 # 寫入 hosts 解析避免 IP 變更導(dǎo)致集群失聯(lián) cat /etc/hosts HOSTS_EOF $(hostname -I | awk {print $1}) ${HOSTNAME_PREFIX}-master HOSTS_EOF }這段代碼做了四件關(guān)鍵事。hostnamectl set-hostname根據(jù)當(dāng)前 IP 的最后一位生成主機(jī)名這樣你在一臺(tái)新機(jī)器上跑腳本時(shí)不需要手動(dòng)想名字腳本自動(dòng)按 IP 段取名比如 192.168.1.21 就會(huì)變成 node-21。關(guān)閉防火墻和 SELinux 是硬性要求雖然我不建議生產(chǎn)環(huán)境關(guān)防火墻但在集群搭建階段不關(guān)的話后續(xù) kubelet 和 api server 的通信會(huì)經(jīng)常性抽風(fēng)報(bào)錯(cuò)連你都摸不著頭腦。swap 關(guān)閉是 K8s 的死規(guī)矩kubelet 檢測(cè)到 swap 開(kāi)啟會(huì)直接拒絕啟動(dòng)。/etc/sysctl.d/k8s.conf里的參數(shù)主要是為了 bridge 網(wǎng)絡(luò)的流量能被 iptables 正確處理net.ipv4.ip_forward開(kāi)啟讓 Pod 之間的轉(zhuǎn)發(fā)生效。最后寫入/etc/hosts保證了 master 節(jié)點(diǎn)的主機(jī)解析這一步能避免后面初始化時(shí)主機(jī)名解析到 127.0.0.1 的坑——這個(gè)坑我踩過(guò)排錯(cuò)排到懷疑人生最后發(fā)現(xiàn)是 hosts 文件里沒(méi)有映射。2.3 Docker 安裝的腳本化思路檢測(cè)、安裝、加速一氣呵成Docker 安裝的腳本部分不能無(wú)腦執(zhí)行需要處理一種常見(jiàn)情況機(jī)器上已經(jīng)裝了舊版 Docker。腳本里我用了一個(gè)函數(shù)來(lái)做這件事install_docker() { # 如果已有 docker 命令先檢查版本滿足要求就跳過(guò) if command -v docker /dev/null; then DOCKER_VER$(docker --version | grep -oE [0-9]\.[0-9] | head -n1) if [[ $DOCKER_VER ~ ^(19|20)\. ]]; then echo Docker already installed: $(docker --version) return fi # 版本不匹配就卸載重裝 yum remove -y docker docker-client docker-common docker-engine 2/dev/null fi # 安裝依賴 yum install -y yum-utils device-mapper-persistent-data lvm2 # 添加 Docker 官方源 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo # 安裝指定版本 yum install -y docker-ce-20.10.24 docker-ce-cli-20.10.24 containerd.io # 創(chuàng)建 daemon.json 并配置鏡像加速 mkdir -p /etc/docker cat /etc/docker/daemon.json EOF { exec-opts: [native.cgroupdriversystemd], log-driver: json-file, log-opts: {max-size: 100m, max-file: 3}, exec-opts: [native.cgroupdriversystemd], registry-mirrors: [https://docker.m.daocloud.io], storage-driver: overlay2 } EOF systemctl daemon-reload systemctl enable docker --now }這里有幾個(gè)值得注意的設(shè)計(jì)。版本檢測(cè)用了正則匹配抓住大版本號(hào)比如 19.x 和 20.x 都保留但如果裝的是 18.x 或者 24.x 就會(huì)走重裝流程。為什么固守 19/20 這兩個(gè)大版本因?yàn)樵?CentOS 7 和 Rocky 8 上這兩個(gè)版本配合 overlay2 存儲(chǔ)驅(qū)動(dòng)最穩(wěn)定新版 Docker 的 iptables 規(guī)則變了在 K8s 1.23 環(huán)境下偶爾會(huì)出奇奇怪的網(wǎng)絡(luò)問(wèn)題。daemon.json里的cgroupdriversystemd這個(gè)配置極其重要。Docker 默認(rèn)的 cgroup driver 是 cgroupfs但 kubelet 默認(rèn)用的是 systemd兩不一致時(shí) kubelet 會(huì)直接報(bào)錯(cuò)需要把 kubelet 改成 cgroupfs 或者統(tǒng)一成 systemd。我把這個(gè)坑提前在 Docker 配置階段就解決了后面 K8s 初始化就不會(huì)出現(xiàn)cgroup driver不匹配的問(wèn)題。鏡像加速我寫了一個(gè)通用地址你要根據(jù)自己網(wǎng)絡(luò)環(huán)境替換內(nèi)網(wǎng)環(huán)境可以留空。3. K8s 組件安裝與鏡像預(yù)拉取網(wǎng)絡(luò)問(wèn)題提前暴露3.1 yum 源、組件版本統(tǒng)一從源頭減少詭異問(wèn)題K8s 的組件安裝是集群部署的第二大坑源。官方 yum 源有時(shí)候不穩(wěn)定國(guó)內(nèi)鏡像源又參差不齊腳本里我用了一個(gè)變量來(lái)控制倉(cāng)庫(kù)地址install_k8s_components() { # 如果 yum 源變量為空默認(rèn)使用阿里云鏡像 local K8S_REPO${K8S_REPO:-https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64} cat EOF /etc/yum.repos.d/kubernetes.repo [kubernetes] nameKubernetes baseurl${K8S_REPO} enabled1 gpgcheck0 EOF yum makecache # 安裝 kubelet kubeadm kubectl版本固定不追新 yum install -y kubelet-1.23.17 kubeadm-1.23.17 kubectl-1.23.17 # kubelet 需要設(shè)置開(kāi)機(jī)自啟但先不要啟動(dòng)等 kubeadm init 完成后再啟 systemctl enable kubelet /dev/null 21 }我在這段代碼里特意用了gpgcheck0而不是像很多教程里那樣導(dǎo)入 GPG key。原因很現(xiàn)實(shí)在內(nèi)網(wǎng)或者網(wǎng)絡(luò)受限的環(huán)境GPG key 拉取失敗會(huì)導(dǎo)致整個(gè)安裝直接報(bào)錯(cuò)而且這個(gè)報(bào)錯(cuò)信息跟依賴缺失一模一樣會(huì)讓你白排查很久。關(guān)閉 GPG 檢查在集群搭建階段是可接受的因?yàn)槟阌玫氖枪潭ㄔ床皇请S便一個(gè)第三方源。版本固定寫死在這個(gè)函數(shù)里我不用變量因?yàn)閗ubelet、kubeadm、kubectl三個(gè)必須同版本任何不一致都會(huì)導(dǎo)致 token 校驗(yàn)失敗或者kubectl get nodes顯示異常。很多模板腳本喜歡把版本做成變量好處是靈活壞處是你一旦改了版本沒(méi)改全三個(gè)組件版本錯(cuò)位那排錯(cuò)體驗(yàn)非常酸爽。3.2 鏡像預(yù)拉取讓錯(cuò)誤提前暴露K8s 集群部署中 90% 的失敗都發(fā)生在鏡像拉取環(huán)節(jié)而且拉取失敗不等于整個(gè)流程立刻失敗它會(huì)在kubeadm init到一半的時(shí)候才爆出來(lái)這時(shí)候前面所有配置都生效了一半回滾非常麻煩。腳本的做法是提前用kubeadm config images list拉出鏡像清單然后逐個(gè)檢查prepull_images() { # 列出 kubeadm 需要的鏡像不帶版本號(hào)的話會(huì)輸出默認(rèn)版本 # 使用 docker 直接拉取這里用了別名的方式加速 local IMAGES$(kubeadm config images list --kubernetes-version 1.23.17) echo Prepulling Images local REGISTRY_PREFIXregistry.k8s.io # 國(guó)內(nèi)環(huán)境可以換成鏡像源例如 registry.cn-hangzhou.aliyuncs.com/google_containers for IMAGE in ${IMAGES}; do # 將 registry.k8s.io 前綴替換為加速源 local TARGET_IMAGE${IMAGE/${REGISTRY_PREFIX}/${IMAGE_MIRROR:-registry.cn-hangzhou.aliyuncs.com/google_containers}} echo Pulling: ${TARGET_IMAGE} docker pull ${TARGET_IMAGE} # 重新打 tag 為原始名稱這樣 kubeadm 能正常找到 docker tag ${TARGET_IMAGE} ${IMAGE%%:*}:${IMAGE##*:} done echo All Images Pulled }這段腳本的核心思路是把registry.k8s.io前綴的鏡像地址替換成國(guó)內(nèi)可訪問(wèn)的鏡像源拉取成功后重新打上原始 tag。因?yàn)閗ubeadm init內(nèi)部的鏡像列表是用默認(rèn)地址去本地 docker 里找的如果不打回原 tagK8s 初始化時(shí)會(huì)再次嘗試從遠(yuǎn)端拉取白費(fèi)功夫。預(yù)拉取的好處不止是提速更重要的是把網(wǎng)絡(luò)問(wèn)題提前到部署一開(kāi)始就暴露出來(lái)。如果你的環(huán)境沒(méi)有外網(wǎng)權(quán)限鏡像源不通那這一步就會(huì)直接卡住而不是等kubeadm init跑到一半才報(bào)failed to pull image。這種前置檢查的設(shè)計(jì)在以后的排障中能省掉大量時(shí)間這也是這份腳本跟很多一次性 shell 腳本最大的區(qū)別。4. kubeadm 初始化與 Worker 節(jié)點(diǎn)接入?yún)?shù)化讓復(fù)制粘貼不再出錯(cuò)4.1 Master 初始化配置文件代替一堆命令行參數(shù)kubeadm init的參數(shù)又長(zhǎng)又多直接在命令行寫容易出現(xiàn)拼寫錯(cuò)誤和版本不匹配。腳本里我推薦用配置文件的方式來(lái)做初始化配置文件里可以顯式指定 Pod 網(wǎng)段、API Server 地址和控制面端口。來(lái)看這段代碼init_master() { # 創(chuàng)建初始化配置文件用當(dāng)前 IP 替換 API Server 地址 local MASTER_IP$(hostname -I | awk {print $1}) cat /tmp/kubeadm-config.yaml EOF apiVersion: kubeadm.k8s.io/v1beta3 kind: InitConfiguration localAPIEndpoint: advertiseAddress: ${MASTER_IP} bindPort: 6443 --- apiVersion: kubeadm.k8s.io/v1beta3 kind: ClusterConfiguration kubernetesVersion: 1.23.17 controlPlaneEndpoint: ${MASTER_IP}:6443 networking: podSubnet: 10.244.0.0/16 serviceSubnet: 10.96.0.0/12 dnsDomain: cluster.local --- apiVersion: kubelet.config.k8s.io/v1beta1 kind: KubeletConfiguration cgroupDriver: systemd EOF # 執(zhí)行初始化配置文件方式比命令行參數(shù)更可控 kubeadm init --config /tmp/kubeadm-config.yaml /tmp/kubeadm-init.log 21 # 檢查是否成功失敗時(shí)輸出日志最后 30 行 if ! grep -q Your Kubernetes control-plane has initialized /tmp/kubeadm-init.log; then echo kubeadm init failed. Last 30 lines: tail -30 /tmp/kubeadm-init.log return 1 fi # 配置 kubectl 認(rèn)證文件 mkdir -p $HOME/.kube cp -i /etc/kubernetes/admin.conf $HOME/.kube/config chown $(id -u):$(id -g) $HOME/.kube/config }配置文件比命令行參數(shù)強(qiáng)在兩點(diǎn)一是你可以把配置文件留檔以后要重建集群或者加控制面節(jié)點(diǎn)直接用不用再去翻歷史命令二是InitConfiguration里顯式指定了advertiseAddress避免了多網(wǎng)卡環(huán)境下 K8s 選擇錯(cuò)誤網(wǎng)卡的問(wèn)題。很多教程直接跑kubeadm init不帶參數(shù)如果你機(jī)器上有 docker0、ens33、eth0 等多個(gè)網(wǎng)卡K8s 可能選到 docker0 的 IP導(dǎo)致 API Server 地址錯(cuò)誤后面所有節(jié)點(diǎn)都加入不了。controlPlaneEndpoint指定了集群的統(tǒng)一入口地址這個(gè)配置在生產(chǎn)環(huán)境非常有用。哪怕你只有一個(gè)控制面節(jié)點(diǎn)顯式寫上 IP 和端口也會(huì)讓后續(xù)增加高可用控制面的時(shí)候少很多改動(dòng)。Pod 網(wǎng)段我用的10.244.0.0/16這是 Flannel 網(wǎng)絡(luò)插件默認(rèn)使用的網(wǎng)段如果你后面要用 Calico請(qǐng)改成 Calico 默認(rèn)的192.168.0.0/16。這里如果不統(tǒng)一CNI 插件里的 IP 池和 K8s 劃分的網(wǎng)段對(duì)不上Pod 之間網(wǎng)絡(luò)直接不通是個(gè)很隱蔽的問(wèn)題。4.2 Worker 節(jié)點(diǎn)接入Token 傳遞與 CA 證書(shū)哈希的處理技巧Master 初始化完成后會(huì)輸出一段kubeadm join命令里面包含了 token 和 CA 證書(shū)哈希。腳本需要把這個(gè)信息保存下來(lái)方便 worker 節(jié)點(diǎn)使用。這里有個(gè)坑token 有效期是 24 小時(shí)CA 哈希在 master 重啟后可能變化所以腳本里做了一層自動(dòng)提取和校驗(yàn)save_join_info() { # 從 init 日志中提取 join 命令和 token # 如果 token 過(guò)期就重新生成 local TOKEN$(kubeadm token list | awk NR2{print $1}) if [ -z $TOKEN ] || [ $TOKEN TOKEN ]; then # 生成新的永久 token實(shí)際上最長(zhǎng)有效 24 小時(shí) TOKEN$(kubeadm token create) fi # 重新計(jì)算 CA 證書(shū)哈希避免重啟后哈希過(guò)期 local CA_HASH$(openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2/dev/null | openssl dgst -sha256 -hex | sed s/^.* //) CA_HASHsha256:${CA_HASH} # 拼接完整的 join 命令 cat /tmp/kubeadm-join.sh EOF #!/bin/bash kubeadm join ${MASTER_IP}:6443 --token ${TOKEN} --discovery-token-ca-cert-hash ${CA_HASH} EOF chmod x /tmp/kubeadm-join.sh echo Join 命令已保存到 /tmp/kubeadm-join.sh }很多人在 worker 節(jié)點(diǎn)報(bào)錯(cuò)couldnt validate the identity of the API Server原因就是不匹配的 CA 哈希。master 的/etc/kubernetes/pki/ca.crt文件不會(huì)變但當(dāng)你復(fù)制 join 命令時(shí)可能復(fù)制錯(cuò)了哈希值或者你用的是之前舊集群的信息。腳本這里直接現(xiàn)場(chǎng)重新計(jì)算哈希永遠(yuǎn)取當(dāng)前 CA 證書(shū)的真實(shí)值徹底消除了這個(gè)隱患。token 過(guò)期是另一個(gè)常見(jiàn)坑。如果你在 master init 之后沒(méi)有立刻把 join 命令傳給 worker等第二天再執(zhí)行就已經(jīng)晚了。腳本里檢測(cè)到 token 列表為空或失效時(shí)會(huì)用kubeadm token create重新生成新 token 同樣有效 24 小時(shí)。從我實(shí)際經(jīng)驗(yàn)看這部分是腳本最實(shí)用的功能之一因?yàn)楹苌儆腥水?dāng)天就把所有 worker 節(jié)點(diǎn)都加完。4.3 CNI 插件部署Flannel 還是 Calico 的選擇網(wǎng)絡(luò)插件直接決定了 Pod 之間的通信方式腳本默認(rèn)用 Flannel因?yàn)樗С?VXLAN 模式對(duì)網(wǎng)絡(luò)環(huán)境和內(nèi)核要求低幾乎不會(huì)因?yàn)榈讓泳W(wǎng)絡(luò)限制而失敗。部署命令如下setup_cni() { echo Installing Flannel # 下載 Flannel 的 manifest 文件修改其中的網(wǎng)段為 podSubnet curl -o /tmp/kube-flannel.yml https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml # 如果網(wǎng)段不是 10.244.0.0/16需要修改配置文件 if ! grep -q 10.244.0.0/16 /tmp/kube-flannel.yml; then sed -i s|10.244.0.0/16|10.244.0.0/16|g /tmp/kube-flannel.yml fi # 應(yīng)用 Flannel DaemonSet kubectl apply -f /tmp/kube-flannel.yml # 等待 Flannel Pod 全部運(yùn)行 echo Waiting for Flannel pods to be ready... sleep 30 kubectl get pods -n kube-flannel }Flannel 部署失敗的典型表現(xiàn)是kubectl get nodes顯示NotReadykubectl get pods -n kube-system里 Flannel Pod 顯示CrashLoopBackOff。Flannel 鏡像拉取失敗最常見(jiàn)你可以把鏡像預(yù)拉取的機(jī)制延伸到這里。如果團(tuán)隊(duì)里要用 Calico 的網(wǎng)絡(luò)策略功能直接換成kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml就行但要記住同步修改 kubeadm 初始化配置里的podSubnet。5. 避坑排查kubeadm init 報(bào)錯(cuò)與集群故障的定位路徑5.1 API Server not healthy最經(jīng)典、坑最多的報(bào)錯(cuò)現(xiàn)象執(zhí)行kubeadm init之后等 4 分鐘左右報(bào)錯(cuò)the api server is not healthy after 4m0.00747357s查看systemctl status kubelet顯示 kubelet 一直在重啟journalctl -u kubelet循環(huán)輸出連接 refused。原因這個(gè)報(bào)錯(cuò)背后可能有四種情況。第一是 kubelet 的 cgroup driver 和 Docker 不一致第二是鏡像沒(méi)有預(yù)拉取初始化過(guò)程中拉鏡像超時(shí)第三是 API Server 的 advertiseAddress 配置了不可達(dá) IP導(dǎo)致健康檢查失敗第四是swap沒(méi)有關(guān)閉kubelet 啟動(dòng)時(shí)直接退出。解決第一步檢查 Docker 的 cgroup driver 是否 systemd確認(rèn)無(wú)誤后查看kubelet日志定位更具體的錯(cuò)誤。如果日志顯示node xxx not found那是因?yàn)?API Server 還沒(méi)起來(lái)kubelet 無(wú)法注冊(cè)等一等就行如果是連接 refused那說(shuō)明 API Server 進(jìn)程根本沒(méi)拉起檢查docker ps -a | grep apiserver如果容器處于 Exit 狀態(tài)用docker logs查看容器輸出。我這邊的經(jīng)驗(yàn)是90% 的 API Server not healthy 都指向鏡像拉取失敗而不是真正的配置問(wèn)題。5.2 Worker 節(jié)點(diǎn)狀態(tài) NotReadyFlannel 鏡像導(dǎo)致的連鎖反應(yīng)現(xiàn)象master 節(jié)點(diǎn)正常kubectl get nodes顯示 worker 節(jié)點(diǎn)已經(jīng)注冊(cè)但狀態(tài)一直是NotReadykubectl describe node顯示kubelet is posting ready status但底下還有一條runtime network not ready的錯(cuò)誤。原因worker 節(jié)點(diǎn)加入集群后kubelet 會(huì)嘗試啟動(dòng) CNI 插件容器這里需要拉取 Flannel 或 Calico 的鏡像。如果 worker 節(jié)點(diǎn)沒(méi)有預(yù)先拉取這些鏡像它會(huì)臨時(shí)拉取一旦網(wǎng)絡(luò)慢或者鏡像源不可用CNI 插件一直起不來(lái)kubelet 就無(wú)法上報(bào) Ready 狀態(tài)。解決在 worker 節(jié)點(diǎn)上手動(dòng)執(zhí)行kubectl get pods -n kube-system -o wide查看 Flannel Pod 是否在該節(jié)點(diǎn)上然后執(zhí)行docker pull手動(dòng)拉取對(duì)應(yīng)鏡像。另一種做法是在腳本的 worker 部署函數(shù)里加上鏡像預(yù)拉取邏輯把 Flannel 的鏡像提前用ctr或docker pull拉好。這個(gè)問(wèn)題我踩了不止一次每次都是因?yàn)橹型緭Q了網(wǎng)絡(luò)環(huán)境才發(fā)現(xiàn)的。5.3 /etc/hosts 配置缺失master 節(jié)點(diǎn)名稱解析回環(huán)現(xiàn)象初始化過(guò)程中報(bào)failed to set up init node: unable to resolve hostname或者kubelet日志里頻繁出現(xiàn)Failed to get node info。原因/etc/hosts里沒(méi)有把 master 的 IP 和主機(jī)名映射起來(lái)K8s 的很多組件直接使用主機(jī)名進(jìn)行通信解析不到正確 IP 時(shí)就會(huì)退回到 127.0.0.1導(dǎo)致所有跨節(jié)點(diǎn)通信都失敗。解決按前面腳本里的方法在初始化前就把 hostname 和 IP 寫入 hosts 文件。這個(gè)坑很隱蔽的原因是系統(tǒng)層面可能不報(bào)錯(cuò)只有 K8s 內(nèi)部組件會(huì)默默出錯(cuò)表現(xiàn)出來(lái)就是節(jié)點(diǎn)狀態(tài)異常但所有服務(wù)看著都活著。如果你發(fā)現(xiàn)集群狀態(tài)不穩(wěn)定且查不到明確錯(cuò)誤先檢查 hosts 文件這是第一步。5.4 Docker 重啟導(dǎo)致 K8s 服務(wù)異?,F(xiàn)象集群跑了幾天后某個(gè)節(jié)點(diǎn)上kubectl get nodes顯示該節(jié)點(diǎn)NotReady但systemctl status kubelet又是 active 狀態(tài)docker ps看到所有容器都不在了。原因Docker 服務(wù)被重啟后容器重新拉起但容器的 IP 地址變了kubelet 的端口映射和容器 ID 都沒(méi)有同步導(dǎo)致 Kubelet 和 API Server 之間的連接失效。也可能是 Docker 的 cgroup driver 配置被意外改動(dòng)導(dǎo)致 kubelet 無(wú)法訪問(wèn)容器的 cgroup 信息。解決重啟 Docker 后一定要重新啟動(dòng) kubelet并檢查 kubelet 的--cgroup-driver參數(shù)是否與 Docker 一致。更保險(xiǎn)的做法是修改 docker.service 的啟動(dòng)命令加入--live-restore參數(shù)讓 Docker 在自身重啟時(shí)保持容器不停止。這個(gè)參數(shù)在部署時(shí)就寫好避免后續(xù)運(yùn)維中誤重啟 Docker 導(dǎo)致連鎖故障。我后來(lái)在腳本里統(tǒng)一加上了這個(gè)參數(shù)從那以后再也沒(méi)有因?yàn)?Docker 重啟引發(fā)集群?jiǎn)栴}。6. 集群驗(yàn)證與生產(chǎn)環(huán)境的一個(gè)關(guān)鍵小習(xí)慣集群部署完成后不能直接當(dāng)黑匣子用先跑一遍驗(yàn)證流程確認(rèn)核心組件都在正常工作。我的習(xí)慣是三步檢查節(jié)點(diǎn)狀態(tài)、核心 Pod 狀態(tài)、一個(gè)測(cè)試應(yīng)用。用一個(gè)快速命令清單來(lái)執(zhí)行# 第一步節(jié)點(diǎn)必須全部 Ready kubectl get nodes # 第二步核心組件必須 Running kubectl get pods -n kube-system # 第三步跑一個(gè)測(cè)試 Pod 驗(yàn)證調(diào)度和網(wǎng)絡(luò) kubectl run test-nginx --imagenginx --restartNever --port80 kubectl wait --forconditionReady pod/test-nginx --timeout60s kubectl expose pod test-nginx --typeNodePort --port80 --nametest-svc # 拿到端口號(hào)后從集群外訪問(wèn) master_IP:NodePort確認(rèn)返回 200驗(yàn)證通過(guò)后我建議立刻給集群安裝 Kubernetes Dashboard這不是炫技而是生產(chǎn)環(huán)境管理集群的基本能力。Dashboard 可以直接在 Web 上查看節(jié)點(diǎn)狀態(tài)、Pod 日志和應(yīng)用拓?fù)浔让钚兄庇^太多。安裝命令很簡(jiǎn)單# 安裝最新版 Dashboard kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml # 創(chuàng)建管理員賬號(hào)并獲取 token kubectl create serviceaccount admin-user -n kubernetes-dashboard kubectl create clusterrolebinding admin-user --clusterrolecluster-admin --serviceaccountkubernetes-dashboard:admin-user kubectl get secret -n kubernetes-dashboard $(kubectl get serviceaccount admin-user -n kubernetes-dashboard -o jsonpath{.secrets[0].name}) -o jsonpath{$.data.token} | base64 -d在生產(chǎn)環(huán)境里我最在意的一個(gè)習(xí)慣是永遠(yuǎn)不要把kubeadm-join.sh這個(gè)臨時(shí)文件留在/tmp 下不管。token 雖然 24 小時(shí)就過(guò)期但如果泄露給不該看到的人攻擊者可以在有效期內(nèi)把節(jié)點(diǎn)加入你的集群。從那以后我每次部署完都強(qiáng)制走一遍rm -f /tmp/kubeadm-join.sh同時(shí)用kubeadm token delete把已用過(guò)的 token 清掉。這個(gè)動(dòng)作已經(jīng)變成腳本末尾的固定步驟了希望你也能養(yǎng)成這個(gè)習(xí)慣。這份一鍵部署腳本的思路是把常見(jiàn)踩坑都前置于部署階段解決而不是等報(bào)錯(cuò)了再排查。Docker 版本固定、cgroup driver 統(tǒng)一、鏡像提前預(yù)拉取、join 信息自動(dòng)提取這四個(gè)維度基本涵蓋了新手部署時(shí)遇到的大部分問(wèn)題。希望幫到你后續(xù)遇到集群故障時(shí)先按這幾步檢查一遍能省下不少時(shí)間。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月婷无码| 五月亭亭狠狠| 激情伊人六| 91丨九色丨丰满人妖| 色综合9| 亚洲色五月| 欧美精品999| 激情五月天激情小说| 色色色视频免费无码 | 天堂在线观看视频| 国产精产国品一二三在观看| 丁香五月大香蕉| www99精品| 五月的色婷婷高潮| 激情五月天伊人av| 丁香五月,激情五月,深爱五月| 开心五月激情| 五月丁香啪啪| 丁香五月性爱| WWW.99热| 99久热在线精品| 99久久.www| 日韩精品呦呦va| 黄色片久久| 五月天色综合| 五月丁香综合在线| 婷婷五月天偷拍| 久久久久久草黄色片AV在线观看| 日木狠狠干| 色婷婷777狠狠| www五月天com| 久久99精品久久久久久青青AR| 热99色| 无码日本精品XXXXXXXXX| 亚洲色五月天| 天天操夜夜操| 色色激情五月天| 天天干夜夜谢| 婷婷综合网| 色婷婷香蕉| 欧美久久网| 色久丁香五| 色综合射婷婷| 色婷视频| 五月在线| 五月精品| 五月天色色婷婷| 免费亚洲婷婷五月| 超碰资源在线| 国产成人在线精品| 超碰超碰在线| 婷婷丁香人妻天天爽| 操99| 99热这里只有精品青草| 色五月在线播放| 1024人妻| 99激情视频| 狠狠干无码| 色婷网| 久婷五月| av人人干| 九九色综合| www久| 激情五月天婷婷| 99亚州综合精品成人网| 国产精品成人在线| 欧美成人猛片AAAAAAA| 欧美黑人巨大性生话| 色色亚洲| 五月天丁香婷婷久久九| 国产99久| 久久久婷婷色五月资源网| 夜夜操天天干| 深爱激情五月网| 婷婷五月天伊人| 精品色色| 免费看欧美成人A片无码| 熟妇内谢69XXXXXA片| 亚洲亚洲人成综合网络| 婷色天堂| 黄色AAAAAAA| 操操熟女| aaa久久| 99婷婷国产最新视频| 激情人妻综合| 色播丁香| 婷丁香五月天| 久久aaaa片一区二区| 五月婷婷亞洲中文| 天天综合精品| 久久久18| 北京熟妇搡BBBB搡BBBB| 97操资源婷婷| 狠狠久久婷婷| 超碰人人草| 激情综合网丁香| 开心丁五月| 天天在线久久综合 | 热久国产| 久久66er久久| 婷婷日日天天| 五月婷亚洲精品| 成人色图情色成人网 www.5b5b5bcom 五月天| 婷婷五月激情的图片| 婷婷五月激情欧美| 婷婷五月av| 九九热在线观看视频| 狠狠色综合网| 玖玖热视频| 久碰视频| 成人小说色图婷婷五月| 大香蕉中文| 婷婷六月色| 久久6这里只有精品| 五月色丁香婷婷中文字幕| 玖玖资源天天无码| 色色热| 婷婷五月天堂| 性一交一乱一交A片久| 97色 五月天丁香| 91趴趴| 超碰猛烈的性猛交| 欧美激情五月天婷婷| 久久伊人日日夜夜| 丁香六月婷婷综合缴| 日韩在线视频中文字幕| 99无码| 国产在线aaa片一区二区99| 美女久久天堂| 欧美五月婷婷| 天天操夜夜夜拍拍拍| 综合激情深爱| 大香蕉久久久久| 五月天成人免费视频| 色色色色色色色色色影院| www.9色色色| 亚卅毛片| 管管補管管紱| 九九精品片一| 啪到高潮激情丁香五月| 丁香色六月婷婷| 97色碰| www,99热在线观看| 五月丁香色色| 五月婷色丁香| 婷婷色操| 蜜臀AV在线观看| 久草婷婷视频| 婷婷色色狠狠| 五月天另类小说| 婷婷色五月激情强奸四射| 26uuu亚洲| 色婷婷网大全在线| www.婷婷五月天| 热热久久精品视频| 99精品在线观看视频| 婷婷五月无码| 丁香九月色| 婷婷伊人综合中文字幕| 五月天色综合服务平台| 丁香婷婷91在线观看视频| 五月激情在线| 99热久久日本| 亚洲俩性性爱图片久久第六页| 天天婷婷色六月| 亚洲午夜AV| 超碰日韩成人| 亚洲美女高潮久久久久久69| 色综合综合色| 色色综合网站| 91成人看| 婷婷日在线观看| 五月丁香欧美综合| 夜夜爽天天爽| 日日噜噜久久婷婷五月天| 天天操天天日天天爱| A网在线欧洲| 久久婷.com| 精品影院| 九热精品| www.开心激情| 5月婷婷激情网| 婷婷五月激情网| 色五月综合激情网| 91操人| 99热日韩| 婷婷伊人綜合中文字幕| 99综合熟女| 蜜乳.comcom| 九九视频这里只有精品| 99在线精品观看99| 婷婷五月天网址| 婷婷五月天激情综合| www.五月天婷婷| 色综合射婷婷| www.五月天婷婷| 狠狠综合| 五月丁香六月婷婷久久肏| 五月色丁香成人| 婷婷五月天激情网| 丁香五月天AV在线 | 亚洲成人电影在线免费观看| 国产欧美婷婷| 久久五月天色婷婷| 亚洲成人AV高清字幕| 综合视频久久| 丁香婷婷色| 激情婷婷| 欧美三级欧美一级| 九九色综合九九色| 国产在线aaa片一区二区99| 欧美久久网| 99热大片| 五月丁香婷婷成人网| 五月色婷婷夜色| 久久黄色免费视频| 色婷| 人人操操97| 亚洲人人96@| 国产97色在线 | 日韩| 色综合综合综合| 九九精品视频免费在线| 超碰在线免费9| 激情综合网激情五月丁香五月俺也去| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸 | 狠狠狠狠狠狠| 91精品久久久久久久久久久久| 婷婷网五月| 婷婷天天日婷婷| 婷婷第一页| 婷婷五月丁香色情| 97色干| 五月丁香少妇| 99爱在线观看视频| 欧美日本免费一道免费视频| 久青青久| 免费观看亚洲AV片| 《久久综合九色综合97婷婷| 婷婷五亚洲| 欧美99热| 亚洲成人在线播放| 久久久性爱视频| 婷婷丁香五月视频| 欧美视频在线观看噜噜| 欧美一级色| 丁香五月网址| 免费精品99| 久久受www免费人成| 夜夜操夜夜爽| 九九色热| 99热精品观看| 丁香激情五月综合网| 一级精品999WWW| 大香伊人婷婷影院| 激情五月天色婷婷综合| 欧美丰满熟妇BBB久久久| 操91| 激情五月天色网站| 久久精品99久久| 婷婷五月天激情诱惑| AA片在线观看视频在线播放| 99在线免费视| 91超碰人人操| 激情婷婷丁香五月天小说| 五月婷婷啪啪网| 色婷在线视频| 久久婷婷综合五月天| 九九9久九9国产视频| 天天插综合在线| www.日日夜夜.com| 超碰成人在线观看| 日韩综合天堂| 日韩成人电影在线播放| 日本色久| 色激情五月| 99精品视频网站| 五月天丁香婷婷视频网址| 丁香五月婷婷动漫| 国产精品涩涩涩视频网站| 五月丁香成人网| 久热人妻| www色五月| 五月婷啪啪| 五月丁香毛片| 天天色99| 欧美在线视频免费播放| 激情噜噜噜| 天天干天天拍| 丁香九月综合| 欧美色五月| 色婷婷影院| 久操大香蕉| 任你爽精品免费视频6| 天天艹夜夜艹| 好色婷婷| 91ncm视频| 97婷婷丁香| 99热免费| 亚洲综合在线播放| 日日噜狠狠| 色婷婷888| 激情深爱五月天| 色色丁香五月天社区| 26uuu最新地址| 狠狠综合久久综合| 丁香桃色网| 婷婷五月激情综合啪啪| 五月丁香激情综合网| 婷婷自拍| 99操免费视频| 婷婷射丁香| 日韩另类| 都市激情久久| 99精品偷自拍| 天天干天天操天天上| 国产性爱在线| 国产色99| 久xxxx| 五月婷婷成人| 自拍偷窥99热| 久色激情| 五月天久久婷婷婷| 久久综合五月天激情小说网站 | 99热这里全都是精品| 天天艹| 五月天六月色| 久久综合无| 国产精品久久..4399| www.色综合| 日韩视频99| 婷婷五月丁香基地在线视频官网| 天天插天天插| 亚洲九九99精品视频在线播放| 亚洲狠狠爱婷婷| 五月深爱激情网| 97人人干。| 五月亭亭直播| 99热播放| 婷婷综合在线| 久久网思思| 五月天婷婷激情六月久久| 婷婷五月天激情诱惑| 啪啪东京热| 人妻久久久久久| 另类精品视频在线观看| 婷婷综合五月天| 欧洲亚洲免费视频区| 国内一级片| av狠狠操| 99日本在线| 五月天综合久久| 高潮毛片遮挡费高一百度| 操碰97| 色婷婷五月网| 五月天婷婷色色首页| 久久婷婷五月综合色丁香| 五月婷婷色色色| 天天天天操| 久久五月婷综合网| 潮汕成人AV片在线| 97视频91| 在线,国产,色,热视频| 秋霞AV吧| 99热色精品| 91精品久久久久久久| 综合五月婷婷| 婷婷丁香综合成人| 国产XXXX搡XXXXX搡麻豆| 开心五月深爱激情| 玖玖婷婷综合| AV九九| 色综合综合色| 丁香五月婷婷偷拍| 丁香五月天激情| 五月丁色AV| 婷婷丁香91综合| 色五月激情五月| 九九99免费视频| 色一情一乱一伦一区二区三区| 操逼棍操逼| 91 原创 在线 九色| 日本色色色| 99成人精品六| 色开心五月丁香| 中文无码婷婷| 天天射射夜| 五月天婷婷激情四射综合| 99九九在线精品热动漫| 五月婷婷天天色| 91传媒无码人妻精| 婷婷五月激情综合| 日韩成人精品一区久久久久| 丁香五月婷婷亚洲另类| 这里只有精品视频| 国产精品日韩十五区| 99在线视频资源| 国外亚洲成AV人片在线观看| 丁香色五月天| 亚洲sesesese| 操B无码视频国语| 99热碰碰| 天天粽合合合合| 热婷婷在线视频| 久久东京热婷婷五月| 五月激情综合激情五月| cao久久| 五月天偷拍| 五月丁香花激情综合网| 久99久视频精品| 九九色热| 天天色情站| 精品国产a| 丁香五月婷婷色| 五月久久亚洲| 婷婷的99视频网站| 婷婷综合九色伊人| 九九精品热| 国模淫穴色图| 五月婷色色| 99re欧美精品| Av大香蕉| 婷婷综合色五月天| 色亚洲无码| 九月色婷婷综合亚洲| 最新久久网址| 日本熟女一区二区| 99热播放| 99热超碰人| 狼人久草| 夜丁香综合| 五月丁香六月综合情在线观看| 婷婷综合玖玖五月| 五月激情小说| 天天色天天操天天射| 99精品这里只有免费视频| 亚洲av成人电影在线观看| 夜夜爱网站| 婷婷十月激情综合网| 99爱视频精品在线观看| 丁香六月激情毛片| 无码激情AAAAA片-区区| 操碰99| 天天干、天天日日| 亚洲综合在线伊人婷| YW无码| 丁香六月婷婷综合| 干一干xxxx| 国际国外精品欧洲南美洲专区无码不卡| 99re热99| 色婷婷小说| 亚洲欧美一区二区三区四区爱爱动图| 美妞av| 五月天丁香久久| 欧美日韩成卜| 涩五月婷婷| 久久激情五月| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 9999热在线| 激情综合网激情五月天| 1024操逼视频| 婷婷.com| 激情图片婷婷| 超碰av在线| 久久婷婷的综合色丁香五月| 中文字幕 中文字幕明步| 97精品欧美91久久久久久久| 欧美黄色AA片哗啦啦啦| 婷婷六月插屄激情| 日本91在线| 亚洲色区17| 荫道BBWBBB高潮潮喷| 91丁香五月| 狠狠色噜噜狠狠| 九九热九九热精品| 日韩黄黄| 超碰人人操| 九色成人AV在线| 成片免费观看视频大全| 五月天丁香综合| 79色色| xx色综合| 99色综合网| 日熟女| 久99在线| 99热伊人| 9999久久久久| 五月丁香花视频| 久久视频这里99| 激情久久 婷婷| 操大屄五月天视频| 五月婷婷丁香| 91久久99久久91熟女精品| 青草激情在线| 丁香六月激情综合网| 色色五月天婷婷| 超级碰碰碰91| 国产女人十八水真多1| 99国产精品白浆在线观看免费 | 六月丁香五月婷婷| 夜夜撸天天操| 色狠狠999综合| 天天日,天天插| 色大综合| www,欧美干干干干干干| 丁香五月 综合| 99久久玖玖| 中文字幕天天干| 婷婷综合仓库中文| 少妇搡BBBB搡BBB搡毛茸茸| 99热8| 亚洲av成人在线| 五月丁香婷婷网在线在线| 日本 @ va 免费| 99热这里只有精品2016| 激情六月五月婷婷综合网| 99热91| 五月天婷婷色情| 激情国产五月| 少妇人妻人伦A片| 丁香五月色| 无码激情| 激情综合九月| 伊人久久大香蕉网| 激情图片久久| 99热精品在线| 婷婷久久五月天| 91婷婷五月天嫩女| 丁香五月婷婷在线观看| 伊人网色婷婷五月天| 亚洲AAA| 五月丁香激情片| 九九热视频99| 久久婷婷五月天蜜桃| 香蕉网久久| 色色影院黄大片| 久久九九一區| 人妻在线网站| 日韩激情网站| 99热欧美精品| 亚洲秘 无码一区二区三区妃光/1| 九九综合五月欧美| 九九热99精品| 日韩无码系列| 综合激情在线观看| 五月狠狠| 色狠狠综合入口| 狠狠色狠狠色综合日日91| 99精品丰满| 玖玖婷婷五月天毛片| 99爱操| 在线播放 精品| 亚洲精品第一国产综合亚AV | 色综合色色| 婷婷五月六月| 五月婷婷综合在线| 五月婷丁香| 亚洲中文字幕在线观看| 国产亚洲成AV人片在线观黄桃| 色色无码| 欧美性生交XXXXX无码小说| 亚洲亚洲人成综合网络| 久久精品A片777777| 国产欧美熟妇另类久久久| 色狠狠色噜噜AV天堂五区| 欧美成人AAA片一区国产精品 | 99精品在线| AV伊人青草丁香六月| 欧美va精品va老师va| 六月色日韩| 激情婷婷五月天网址| 丁香桃色综合网| 亚洲 在线 性爱 | 天天看夜夜看| www.国产色| 丁香五月欧美| 91丨九色丨熟女丰满| 婷婷五月天堂| 色欧洲| 五月婷婷色色| 免费观看全黄做爰的视频 | 欧在线一区| 亚洲热久| 亚洲成人av在线| 一区二区三区视频| 99国产小视频免费观看| 天天操天天日天天爽| 天天天天天天噜| 五月天天天色| 狼人婷婷久久| 91精品综合久久久久久五月丁香| 97碰在线视频| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 五月丁香六月香香蕉| 婷婷五月天堂| 亚洲日韩一页精品发布| 久久五月热| 五月狠狠| 五月丁香综合激情| 欧美99热| 久久久五月四色| 日本丁香五月| 欧美久热| 熟妇人妻中文字幕无码老熟妇| 综合久久婷婷99| 久久sp免费视频| 五月丁香亭亭操逼| 五月丁香久久网| www.五月婷婷久久.com| 真实亲子乱子伦高清在线观看| 亚洲人妻Av| 99视频精品在线| 99国产精品久久久久久久久久久| 超碰国产一区| 99热精品99| 国产 亚洲 在线| 色色啊| 丁香婷婷六月在线资源观看| 人人爱摸视频| 能直接看的av网站| 亚洲乱码日产精品BD| 99久久久精品| 婷婷午夜精品久久久| 五月丁香色色网| 激情丁香五月婷| 天天擼久久擼在线| 婷婷五月天av| 激情五月婷婷| 亚洲一级 片内射网站在线观看| 色九九九九| 色五月激情视频在线综合| 亚洲第精品| 开心激情综合| 五月色丁香| 五月婷婷丁香日韩在线| 久久Xx| 六月亚洲婷婷6月中文字幕| 精品九九视频| 超碰爱爱爱| 九九黄色网| 另类少妇人与禽zOZZ0性伦| 久久久噜噜噜操操操| 亚洲视频五区| 丁香色播五月天| 婷婷九月丁香| www色色com| www.91五月| 99视频九九热| 色九月激情综合网| 色五月天婷婷| 天天日天天爽| www.玖玖婷婷在线| 超碰99在线观看| 五月丁香婷婷伊人| 亚洲综合视频在线| av中文网| 影视av久久久噜噜噜噜噜三级| 丁香五月婷婷动漫| 99re热视频这里只精品5| 激情AV| 久综合4| 99综合一区| 性爱电影科技贸易有限公司| 亚洲秘 无码一区二区三区妃光/1| 超碰人人草| 综合精品啪啪| 五月丁香综合啪啪啪啪啪| 五月婷婷在线播放| 性爱久久| 婷婷五月a| 伍月婷婷免费视频| 婷婷五月天色播| 久久九色| 东京热免费视频网站| 开心久久xxx色| 精品五月天| 日韩九区| 91嫩草久久| 99极品视频| 99精品视频网| 亚洲日本韩国| 亚洲无码成人| 狠狠狠狠狠草| 激情久久久| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 久久久五月四色| 婷婷99狠狠| 9久9久9久女女女九九九一九| 九九热色视频| 久久久免费精彩视频| 性做久久久久久久免费看| 久久精品综合色| 婷婷久久六月费| 91日本在线观看| 最新婷婷五月丁香| 欧日韩AV| 91视频一起草| 丁香五月婷婷国产在线| 伊人久久激情图区五月| 丁香激情网| 丁香激情五月天| 亚洲色综久久五月| 五月丁香婷婷伊人| 99在线精品视频| 操久久精| 激情五月婷婷色播网| 九九碰九九爱97| 欧美三级黄色片久久| 欧美天天干天天草| 色婷婷九月| 五月丁香激情综合啪啪| 久久五月激情| 超碰91在线| 综合性爱网| 五月激情黄色小说| 狠狠爱综合| 久久98热re| 欧美爆乳一区二区三区| 少妇高潮A片无套内谢麻豆传| 91ncm视频| 久久久久思思热| www.夜夜操| 亚洲第一黄网| 91午夜激情| 婷婷综合中文| 5月婷婷视频网站综合| 日本欧美国产| 激情性爱婷婷| 中文字幕日韩无码制服诱或| 四色99久久| 久久大香蕉视频| 丁香五月婷婷在线视频| 思思热AV| 九九99久久精品| 午夜婷婷| 99riAV国产精品视频| 日日操夜夜操中国无码| 五月婷婷激情色情网| 99热这里只有精品在线观看| 插逼综合网| 天天爽夜夜爽夜夜爽精品视频| 夜夜嗨一区二区三区直播内容| 亚洲另类婷婷五月丁香在线播放| 嫩草视频在线观看| 九色在线观看91av| www夜夜操com| 丁香花大香蕉婷婷综合| 嫩草综合网| 婷婷大香蕉| 91凹凸在线| 亚洲男女激情| 啪啪九九色| 成人狠狠成人狠狠成人狠狠成人狠狠| 欧美在线视频99| 婷婷丁香五月激情密臀av| 五月丁香激情六月| 九九九激情综合| 热99精品视频观看| 99热8| 中文字幕在线播放视频| 婷婷色色丁香五月天| 99热只有| 婷婷五月丁香久久| 欧美影院| 色久一| 九九热精品6| 婷婷丁香五月综合网| 开心五月婷婷六月丁香| 综合网亚洲| 综合99久久| 色色亚洲视频| 综合久久综合综合| 美国色五月天婷婷资源站| 99视频| 99区视频| 深爱激情五月天| 久久色在线视频| 激情五月丁香五月| 日本综合久久| 99精品自拍视频| 激情文学第四色婷婷丁香五月| 婷婷伊人网| 丁香五月激情啪啪啪| 亚洲色A| 色99久草在线| 天天做天天爱天天玩夜夜爽| co超碰在线观看| 色婷婷AV五月天| 一起草AV入口| 五月丁香六月婷婷综合伊人| 99色爱| 麻豆123区| 桃色成人网| 天天久久综合| 艹B高清无码| 五月天婷婷影院影院| 国产无遮挡又黄又爽免费网站| 日批在线看| 天天久综合网永久入口18| 无码婷婷五月天| A片天天| 天天做 天天爱| 色色色丁香| www.狠狠艹| 婷婷色六月| av人人干| 成人AV中文字幕| 中文字幕激情综合| 99爽视频| 在线播放中文字幕| 亚洲性受XXXX五月丁香| 欧美日综合| 激情综合五月激情| 亚洲精品白浆高清久久久久久| 五月伊人视频在线看| 日韩久久成人| 婷婷五月天综合中文| 大香久久综合网| 无码区婷婷五月花开| 98永久精品| 婷婷中文在线| 99热大全在线观看| 色综合五月| xx色综合| 日韩青青| 五月丁香婷婷成人网| 亚洲一级AV在线免费播放| 婷婷色导航| 91狠狠色色丁香婷婷综合久久| 大香蕉五月丁香| 热中文字幕| 成人精品视频99在线观看免费 | 丁香婷婷影院| 97色操| 五月丁香性爱| 天天爽爽日日做做| 欧洲色区| 我要看激情五月天| 欧美三级视频下载| www999日韩精品| 亚洲sesesese| 97精品人人A片免费看| 人人人操97| 婷色视频| 狠狠丁香| 亚州激情网站无码| 久久R激情| 婷婷五月天电影区小说区| 九九干视频| 色色色色五月| 六月丁香激情最新更新| 日韩99无码| 26UUU精品一区二区| 五月丁香 啪啪| 另类小说五月天| 思思久久思思| 色很久综合| 久久99操| 亚洲色情一区二区三区四区| 亲子乱AV-区二区三区| 人妻久久久久久久| 婷婷成人综合| 97碰在线视频| 亚洲人人操BD| 黄久久久| 这里只有精品视频| 日本性激情色播| 丁香六月婷婷色播| 丁香六月色婷婷| 五月情四婷婷| 91高潮喷水久久久久久久久| 五月天丁香久久| 亚洲人成网亚洲欧洲无码久久| 性做爰A片免费视频A片直播| 日本五月婷婷| 色欲丁香| BBWCUCKOLD精品熟妇 | 超碰在线免费| 五月夜丁香| 欧美激情-区二区三区| 色综合区| 色插综合网| 日韩激情网站| 丁香婷婷深情五月亚洲| 亚洲综合网激情小说| 婷婷五月丁香99| 成人av在线网站| 五月婷婷狠天天色综合| 激情国产五月| www九九| 米奇激情婷婷| 99免费偷拍视频| 亚洲第一综合| 99爱免费视频| 国产免费AV在线| 国产肥白大熟妇BBBB视频| 亚洲热综合| 成人va在线观看视频| 亚洲成AV人片在线观看| 高清不卡一区| 婷婷五月免费在线| 一本九九色| 天天狠狠夜夜狠狠2023| 无码人妻一区二区三区免费九色| 色情五月天丁香社区| 中文字幕按摩做爰| 免费在线观看欧美激情xx小视频| 六月99天天婷婷激情综合| 亚洲精品久久久久久久久久飞鱼 | 婷婷深爱五月天| 丁香五月激情无码视频| www.色五月.com| 无码一区精品一区视频| 久久92| 久久五月天激情视频| 丁香婷婷91在线观看视频| 极品少妇高潮啪啪AV无码| 噜噜国产| 免费的日逼视频| 99热超碰天堂网| 丁香激情五月| 婷婷五月色播| 五月婷免费视频久久久| 日本专区久久| 成人精品视频99在线观看免费| 亭亭玉月丁香| 激情开心五月婷婷| 4438成人电影| 国产3p露脸普通话对白| 69色婷婷| 九九草热在线观看| 99热亚洲| 草草色情综合网| 五月婷丁香| 五月天俺去也| 美女亚洲五月丁香| 一婬一伦一区二区三区| 国产成人精品亚洲线观看| 婷婷五月天综合AV| 久久只这里有精品| 91在线日| 亚洲国产黄色电影| 99热精品在线播放| 五月丁香激情综合啪啪| 丁香五月综合在线播放 | 天天摸天天爽| 国产97色在线 | 日韩| 亚洲亚洲人成综合网络| 激情久久综合| 色婷婷裸体色性在线| 26uuu欧美日韩| 五月婷婷丁香网| 无码成人AAAAA毛片AI换脸| 日韩色久| 天天操综合网站| 综合激情五月四射婷婷| 五月天激情网址| 伊人高清无码| 五月色婷婷综合| 婷婷五月激情丁香| 亚洲乱码成人| 97天堂| 九热视频精品| 黄网在线免费| 婷婷五月天开心网| 五月婷婷中文字幕| 五月天婷婷色播综合在线| 91精品综合久久婷婷九色| 婷婷五月天99综合网站| 人人干人人看| 亚洲色婷婷| 狠狠草婷婷| 91狠狠色| 六月丁香激情| 婷婷丁香中文字幕| 久久色情| 大香蕉99热| 丁香五月区| 欧美激情xxxXX| 国产熟女一区二区三区五月婷| 伦乱人妻| BBWCUCKOLD精品熟妇| 丁香婷婷久久| 色综合色| 国产精品激情五月天色婷婷| 开心五月天私房婷婷| 国产.亚洲.欧洲视频在线| av在线免费播放观看| 五月天综合| 激情久久久久久| 《蜘蛛女》梁铮1995| 亚洲婷婷开心五月| 伊人99热| 欧美在线视频9| 激情五月婷婷综合网| 这里只有精品视频在线| AV网站免费在线| 深爱激情网五月天| 丁香五月老师| 丁香五月天啪啪| 自拍视频99| 色色色香蕉五月婷| 九九热最新| 色噜噜狠狠色综合日日| 无码橾| 国产成人99久久亚洲综合精品| 丁香色播五月天| 五月综合视频在线| 色综合综合色| 婷婷刺激综合| 在线日本www| 91|疯狂丨高潮丨对白| 五月在线| 日韩在线视频中文字幕| 四月婷婷五月丁香| 激情深爱五月| 五月婷婷自拍视频| 6080av| 狠狠 婷婷| 久久精品性爱视频,| 丁香花色色网| 五月婷婷综合社区| 五月丁香婷婷综合网色欲| 国产毛片操B| AA片在线观看视频在线播放| 激情婷婷丁香| 这里只有精品视频99| 色99自拍| 亚洲精品99| 婷婷伊人网| 久久婷婷五月综合伊人| 只有久久精品免费| 九九这里精品| 加勒比色色| oumeisesewang| 热99精品视频在线观看| 婷婷五月天在线看| 日本精品99网站| www98日本小时间到了| 日韩99视频| 亚洲秘 无码一区二区三区妃光/1| 99热在线爱| 日韩啪图| 色吊丝av中文字幕| 丁香婷婷综合色五月激情国产基地| 99久久综合狠狠综合久久| 亚洲第一成人无码A片| 国产成人精品亚洲线观看| 99色色| 六月天婷婷| 国产欧洲欧洲精品久久| 丁香婷婷色五月| 99自拍视频在线| 国产91视频| 97碰在线| 97色色婷婷| 婷婷五月av| 婷婷色网| 91碰碰碰| 中文av网站| 91热爆在线| 九九色色| 久久激情五月婷婷| www.激情五月| 99精品热| 另类图片五月天| 福利视频在线播放| 婷婷久久五月天| 免费无码毛片一区二区A片| 婷婷五月花| 丁香婷婷综合激情五月色| 欧美美女视频| 桃色成人网| 欧美交换配乱吟粗大25P| 国产99热| 欧美精品中文字幕亚洲专区| 农村熟妇高潮精品A片| 国产偷人爽久久久久久老妇APP | 狠狠干狠狠操狠狠爱| 日本欧美999久久久三级片| 精品九九网| 久久五月天网| www.色综合.com| 亚洲婷婷91丁香| 九九碰九九爱97超碰| 九九蜜臀精品| 久久亚洲色导航| 欧美成人网婷婷综合在线| 亚洲男人的天堂婷婷色五月| 性生活久久人妻| 欧美VA在线观看| 玖玖资源站中文| 日婷婷久久开心| 播五月丁香三月婷婷| 激情綜合網址| 伊人久久婷| 久久久中文| 久久久中文| 欧美性猛交XXXX乱大交极品| 2025神马午夜福利| 九九爱精品网站| 日日噜噜久久婷婷五月天| 色情五月天。| 97资源碰碰| 天天综合色丁香| 爱草视频在线观看| 停停五月天激情网| 色综合久久五月天| 欧美激情综合色综合啪啪五月| 香蕉综合在线| 狠狠操狠狠| 国产69久久久欧美黑人A片| 婷婷丁香成人色综合| 婷婷五月欧美AA片免费| 四射综合网| 成人电影在线免费试看| a色色色色色| 啪啪啪啪五月天| 久久机热这里只有精品| 玖玖热视频| 操逼巨乳91| 九九人人操| 双性美人被调教到喷水A片| 国产精品电| 97人人操人| 九九99九九99九九99视频网| 激情网站五月| 我要色综合五月婷婷| 欧美婷婷色五月| 五月丁香激情综合啪啪| 狠狠干在线| 四川BBB搡BBB搡多人乱亂| 99草在线免费观看视频| 成人网丁香五月| 久操热| 丁香五月婷婷姐| 婷婷色网站| 26uuu丁香婷婷五月| 99热97| 人人人操 超碰| 91窝窝| 成人在线精品| 六月丁香成人| 婷婷丁香综合| 播五月丁香三月婷婷| 97干在线| 日产精品一线二线三线芒果| 中文字幕高清av| 夜夜 操无码| 婷婷色系婷色| 狠狠狠狠狠狠狠狠| 91精品久久久久久久| 丁香网站| 色色综合五月| 91成人看片| 综合五月天亚洲婷婷| 六月丁香婷婷开心综合基地| 五月婷婷五月丁香| 色九网| 亚洲视频在线观看| 久久99久久99www| 久久激情五月婷婷| 丁香六月av| AV操操操| 久久九九爽| 搡BBBB搡BBB搡18| 婷婷五月丁香色综合| 激情综合啪啪啪| 欧美成人精品一区二区| 九色PORNY自拍成人精彩视频| 天天日天天色| 欧洲区自拍| 99综合| 激情小说之五月| www..999热久| 无码激情AAAAA片-区区| 久久色午夜在线导航| 99在线观看| 中文字幕日韩无码制服诱或| 激情五月天色播| 成人电影一区| 久久天堂女人| 六月婷婷色综合| 密桃激情五月天综合网| 大香蕉99| 日本熟妇乱妇熟色A片蜜桃| 五月天伊人久久久久| 丁香六月婷婷缴情欧美| 亚洲A色| 九九视频在线观看| 丁香五月婷婷操逼| 日本99久久| 五月丁香婷婷激情澎湃四射| 91丨九色丨高潮丰满日本| 综合AV网| 丁香婷婷五月色成人网站| 五月婷婷香蕉| 性天堂久久| 人妻丰满精品一区二区A片| 永久免费一区二区三区| 天天狠狠插| 国产精品爽爽久久久久久| 五月天开心网| 色婷婷色五月综合| 性色播| 激情五月婷婷开心网| 色婷五月天综合网| 79精品视频在线观看,| 婷婷丁香五月在线观看91| 久操大香蕉| 综合久久人妻| 精品久久人妻| 丁香伍月婷电影全集| 99热官网精品在线| 激情深爱五月婷婷| 五月丁香在线看| 91超级碰碰碰| 综合激情在线观看| 欧美日韩大黄| 五月天婷婷綜合院| 99在线精品免费视频| 六月婷婷久久| 色情五月天A片| 色呦呦美女| 丁香激情综合| 天天做天天爱高潮片| 深爱激清网| 丁香五月激情网| 色色五月婷婷久久| 婷婷五月天com| 久久婷婷六月综合| 日韩婷久| 婷婷的五月天另类视频| 9久热在线视频精品| 婷婷五月天久草在线| 中文字幕在线资源| 五月婷婷啪啪啪啪| 天天天天操| 中文在线成人| 五月丁婷婷| 婷婷天堂综合| 亚洲 成人 电影av在线观看| 天天操夜夜夜夜爽| 射久久丁香五月| 国产av天天插天天操天天爽| 性爱综合网| 久久99热这里只有精品| 亚洲情综合五月天| 成人 在线 日韩| 天天色综网| 强辱丰满人妻HD中文字幕| 午夜色婷婷| 婷婷深爱五月丁香| 欧美三级巜人妻互换| www色色色com| 综合久久99| 五月天激情美女久久| 亚洲成人网无码| 丁香婷婷激情五月天无毒不卡蜜桃| 丰满少妇猛烈A片免费看观看 | 综合丁香婷婷五月天| 播五月开心婷婷欧美综合| 九九婷| 精品无码av丁香五月激情| 偷拍91九色| 日本色啪| 婷婷综合五月激情|