欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ARM64+openEuler+iSula Kubernetes集群搭建實(shí)戰(zhàn)

ARM64+openEuler+iSula Kubernetes集群搭建實(shí)戰(zhàn) 我這次要分享的是在 ARM64 平臺(tái)上用 openEuler 系統(tǒng)配合 iSula 容器引擎把一套 Kubernetes 集群從零開始搭起來的完整過程。不是說搭建本身有多難而是這套組合比較特殊網(wǎng)上能搜到的資料大多數(shù)是 x86 架構(gòu) Ubuntu/CentOS Docker 的組合真正針對(duì) ARM64 openEuler iSula 的實(shí)戰(zhàn)內(nèi)容非常少。如果你手頭正好是這類環(huán)境這篇文章會(huì)幫你省下至少一整個(gè)周末的踩坑時(shí)間。先交代一下背景我是在一批準(zhǔn) ARM 架構(gòu)的服務(wù)器上做的部署系統(tǒng)裝的是 openEuler要求統(tǒng)一使用 iSula 作為容器運(yùn)行時(shí)上層跑 Kubernetes。這個(gè)需求并不罕見很多國(guó)產(chǎn)化替代、邊緣計(jì)算、信創(chuàng)場(chǎng)景都會(huì)遇到。但問題是這套組合涉及到的兼容性細(xì)節(jié)非常多從內(nèi)核參數(shù)到容器運(yùn)行時(shí)插件的配置再到鏡像架構(gòu)的拉取策略任何一個(gè)環(huán)節(jié)沒有對(duì)齊最后集群都會(huì)以各種詭異的方式“半死不活”。這篇文章我會(huì)把整個(gè)部署鏈路拆開講清楚決策前的架構(gòu)判斷、openEuler 系統(tǒng)的初始配置、iSula 的正確安裝方式、kubelet 與 iSula 之間的 CRI 插件打通、用 kubeadm 拉集群、常見坑的完整排查思路以及集群跑起來之后的驗(yàn)證和維護(hù)建議。每一步都有具體的命令和配置也有我在實(shí)際環(huán)境中遇到的報(bào)錯(cuò)和對(duì)應(yīng)的處理思路。文章會(huì)比較長(zhǎng)但保證每一段都是你復(fù)制粘貼就能用的干貨。1. 部署之前先把三個(gè)決策想清楚很多人上手就裝結(jié)果裝了三天還在折騰。我不建議這么干。在敲第一條命令之前有三件事必須想清楚為什么選這套組合、架構(gòu)上有沒有隱藏的兼容性坑、CRI 的鏈路要怎么打通。這三件事想明白了后面的操作其實(shí)就是流程化執(zhí)行。1.1 為什么 openEuler iSula 值得選先說 openEuler。這是一個(gè)面向服務(wù)器場(chǎng)景的 Linux 發(fā)行版從內(nèi)核到用戶態(tài)工具鏈都做了不少企業(yè)級(jí)優(yōu)化對(duì) ARM64 的支持也明顯比很多“順手支持 ARM”的系統(tǒng)要好。它不是那種社區(qū)里幾個(gè)人攢出來的玩具發(fā)行版而是有完整的軟件倉庫、更新體系和運(yùn)維工具的。在需要做國(guó)產(chǎn)化、合規(guī)化驗(yàn)收的環(huán)境里openEuler 往往是“說了算”的那個(gè)選項(xiàng)這沒什么好回避的。再說 iSula。它是與 openEuler 同生態(tài)的容器引擎套件包含了容器運(yùn)行時(shí)、鏡像構(gòu)建工具等組件。對(duì)于純?nèi)萜鬟\(yùn)行這個(gè)需求來說iSula 的設(shè)計(jì)思路是輕量和高效常駐內(nèi)存開銷比 Docker 那一套要小不少。在資源受限的邊緣節(jié)點(diǎn)上這個(gè)差異是可以感知到的。更關(guān)鍵的是iSula 提供了 CRI Plug這是一個(gè)把容器運(yùn)行時(shí)接入 Kubernetes CRI 標(biāo)準(zhǔn)的橋梁。沒有這個(gè)插件Kubernetes 根本沒辦法統(tǒng)一管理 iSula 創(chuàng)建的容器。所以這套組合的核心邏輯是系統(tǒng)層用 openEuler 保證底座的穩(wěn)定性和生態(tài)兼容容器層用 iSula 提供輕量運(yùn)行時(shí)Kubernetes 通過 CRI 標(biāo)準(zhǔn)來調(diào)度和管理它。三層各自的職責(zé)清晰集成方式也有官方路徑可走不像有些組合需要靠第三方 hack 才能跑通。1.2 ARM64 架構(gòu)兼容性是第一步檢查項(xiàng)很多人覺得既然 kubeadm 支持 ARM64那直接裝就行。理論上確實(shí)是這樣但實(shí)際會(huì)遇到很多隱性問題。最典型的就是鏡像架構(gòu)。Kubernetes 控制面組件、CoreDNS、網(wǎng)絡(luò)插件這些鏡像多數(shù)都發(fā)布了 multi-arch 版本但也有不少第三方插件或者某個(gè)特定 tag 的鏡像只有 amd64 版本。如果你的節(jié)點(diǎn)是 ARM64拉下來一個(gè) amd64 的鏡像容器起來就是exec format error表現(xiàn)出來就是 Pod 反復(fù) CrashLoopBackOff。所以第一步不是裝軟件而是先確認(rèn)你的環(huán)境uname -m cat /etc/os-release nproc free -h我會(huì)用上面這幾條命令拿到最基礎(chǔ)的架構(gòu)、系統(tǒng)版本、CPU 和內(nèi)存信息。接下來還要確認(rèn)內(nèi)核版本和必要模塊uname -r modprobe br_netfilter cat /proc/sys/net/bridge/bridge-nf-call-iptablesARM64 平臺(tái)上內(nèi)核默認(rèn)不一定加載了br_netfilter模塊IPv4 轉(zhuǎn)發(fā)也可能沒有開啟這些不提前處理好后面 flannel 或者 Calico 的 Pod 網(wǎng)絡(luò)一定起不來。別問我怎么知道的我在第一套環(huán)境里就栽在這上面網(wǎng)絡(luò)插件 Pod 卡在ContainerCreating一整夜。最后一個(gè)要確認(rèn)的是 SELinux 的狀態(tài)。openEuler 默認(rèn)開啟了 SELinux而 iSula 與 SELinux 的配合關(guān)系比較微妙。你可以用getenforce查看當(dāng)前狀態(tài)如果是Enforcing要么提前規(guī)劃好策略要么臨時(shí)切到Permissive。對(duì)于內(nèi)網(wǎng)測(cè)試環(huán)境我建議先切 Permissive 跑通全流程后續(xù)再按安全要求收緊。生產(chǎn)環(huán)境怎么做要結(jié)合安全規(guī)范和運(yùn)維策略來決定不要把測(cè)試環(huán)境的做法直接搬到生產(chǎn)。還有一點(diǎn)容易被忽略主機(jī)名的規(guī)劃。Kubernetes 集群內(nèi)的節(jié)點(diǎn)主機(jī)名不能重復(fù)而且不能有大寫字母。你最好在部署前就把所有節(jié)點(diǎn)的主機(jī)名統(tǒng)一改成類似node-01、node-02這種格式并把它們的 IP 和主機(jī)名映射寫進(jìn)/etc/hosts。如果你不管后面 kubeadm join 時(shí)經(jīng)常會(huì)出現(xiàn) TLS 證書里的主機(jī)名和實(shí)際主機(jī)名對(duì)不上報(bào)錯(cuò)信息會(huì)讓你查半天。2. 從裸機(jī)到可用集群的完整搭建鏈路2.1 系統(tǒng)準(zhǔn)備內(nèi)核參數(shù)、交換分區(qū)與主機(jī)名openEuler 默認(rèn)安裝完之后有幾項(xiàng)系統(tǒng)參數(shù)是需要調(diào)整的。每一條都要弄明白為什么調(diào)不然過兩周回頭看配置文件會(huì)有種“這段代碼是誰寫的”的困惑。第一關(guān)閉交換分區(qū)。Kubernetes 官方建議將 swap 關(guān)閉因?yàn)?kubelet 在 swap 開啟的情況下無法穩(wěn)定地做內(nèi)存管理。雖然新版本提供了--fail-swap-onfalse參數(shù)可以繞過但生產(chǎn)環(huán)境不建議這么干。處理方式swapoff -a sed -i /swap/s/^/#/ /etc/fstab第二設(shè)置內(nèi)核網(wǎng)絡(luò)參數(shù)。Kubernetes 的 Pod 網(wǎng)絡(luò)依賴 iptables 對(duì)網(wǎng)橋流量的處理。如果不開啟橋接流量的 iptables 過濾集群內(nèi) Service 的 DNAT 規(guī)則可能不生效表現(xiàn)就是跨 Pod 訪問不通。配置方法cat EOF | tee /etc/modules-load.d/k8s.conf br_netfilter nf_conntrack overlay EOF cat EOF | tee /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-iptables 1 net.bridge.bridge-nf-call-ip6tables 1 net.ipv4.ip_forward 1 vm.swappiness 0 EOF sysctl --system第三主機(jī)名規(guī)劃。我在這套環(huán)境里用的命名規(guī)則是master-01、node-01這種簡(jiǎn)單好記。每個(gè)節(jié)點(diǎn)執(zhí)行hostnamectl set-hostname master-01 echo 192.168.1.10 master-01 /etc/hosts這里有個(gè)細(xì)節(jié)kubeadm 初始化時(shí)會(huì)生成證書證書里的 CN 和 SAN 包含主機(jī)名和 IP。如果你之后改了主機(jī)名證書就會(huì)對(duì)不上導(dǎo)致 API Server 無法訪問。所以我們提前把所有規(guī)劃都定死后面不輕易變動(dòng)。2.2 安裝 iSula不要裝成一個(gè)“殘缺版 Docker”openEuler 的官方軟件源里就有 iSula 的安裝包直接用包管理器安裝即可dnf install -y isula isula-build裝完之后先啟動(dòng) isuladsystemctl enable --now isulad systemctl status isulad這里我要多說一句安裝本身很簡(jiǎn)單真正容易出問題的是“你以為 iSula 裝好了其實(shí)它并沒有完整地接入 Kubernetes”。isulad 是一個(gè)獨(dú)立的容器運(yùn)行時(shí)服務(wù)它自己有一套管理容器的命令入口isula 命令但它默認(rèn)不主動(dòng)去監(jiān)聽 Kubernetes 發(fā)來的請(qǐng)求。要讓 kubelet 通過 CRI 標(biāo)準(zhǔn)調(diào)用它需要讓 isulad 開啟 CRI 支持并通過 criplug 這個(gè)組件把 CRI 的 socket 暴露出來。所以不要學(xué) Docker 時(shí)代的習(xí)慣裝完運(yùn)行時(shí)先 docker pull 一下試試就去搞 kubeadm。我們需要確認(rèn) isulad 的 CRI 插件服務(wù)狀態(tài)systemctl status criplug.socket正常的話會(huì)顯示active (listening)。如果沒起來大概率是配置文件里的路徑或者 sock 文件權(quán)限不對(duì)這個(gè)我們下一節(jié)細(xì)說。2.3 criplug 配置kubelet 能連上 isulad 的橋梁這一段是整個(gè)部署過程中“文檔里查不到”的內(nèi)容也是很多人卡住最久的地方。iSula 與 Kubernetes 的對(duì)接是通過criplug這個(gè)插件完成的。它的物理形態(tài)是一個(gè) systemd 服務(wù)和一個(gè) socket 文件。默認(rèn)情況下這個(gè)插件在安裝 isula 之后就會(huì)裝上但它需要滿足幾個(gè)條件才能正常工作。首先確保 socket 被正確創(chuàng)建。默認(rèn)路徑是/var/run/criplug.sock。這個(gè)名字不是系統(tǒng)本來就有的是 criplug 自己監(jiān)聽出來的。你可以用ls -l /var/run/criplug.sock看看有沒有這個(gè)文件。如果沒有重啟一下 criplug 服務(wù)systemctl restart criplug.socket systemctl restart criplug其次確認(rèn) kubelet 調(diào)用的 CRI socket 路徑一致。kubeadm 默認(rèn)去找 Docker 的 socket默認(rèn)/var/run/dockershim.sock或者 containerd 的/var/run/containerd/containerd.sock這對(duì) iSula 是不適用的。我們需要在 kubeadm 初始化時(shí)明確指定kubeadm init --cri-socketunix:///var/run/criplug.sock ...如果你的環(huán)境里開了防火墻還要確認(rèn)本機(jī)的 TCP 和 Unix socket 訪問沒有被攔截。很多時(shí)候不是技術(shù)問題是安全策略擋了路。最后驗(yàn)證 iSula 的 CRI 接口是否響應(yīng)crictl --runtime-endpoint unix:///var/run/criplug.sock info如果這條命令能正確返回運(yùn)行時(shí)信息說明 CRI 鏈路已經(jīng)通了。到這一步kubelet 才真正“看得見” iSula 管理的容器。2.4 kubeadm 初始化版本、鏡像、時(shí)區(qū)一并搞定安裝 kubeadm、kubelet、kubectl 這些組件比較直接從 openEuler 的 Kubernetes 軟件源或者網(wǎng)上大家常用的源拉就行dnf install -y kubeadm kubelet kubectl systemctl enable --now kubelet這里最值得操作的是 kubeadm 的配置文件。很多人都直接kubeadm init一把梭但在這套組合里必須明確寫入 CRI socket否則初始化會(huì)直接失敗報(bào)錯(cuò)信息會(huì)告訴你找不到 runtime# kubeadm-config.yaml apiVersion: kubeadm.k8s.io/v1beta4 kind: ClusterConfiguration kubernetesVersion: v1.28.5 networking: podSubnet: 10.244.0.0/16 serviceSubnet: 10.96.0.0/12 --- apiVersion: kubeadm.k8s.io/v1beta4 kind: InitConfiguration nodeRegistration: criSocket: unix:///var/run/criplug.sock執(zhí)行初始化kubeadm init --configkubeadm-config.yaml --cri-socketunix:///var/run/criplug.sockARM64 平臺(tái)還需要提前關(guān)注一個(gè)問題pause 鏡像的架構(gòu)。kubeadm 初始化時(shí)要拉取pause鏡像作為每個(gè) Pod 的“根容器”如果你用的鏡像倉庫里只有 amd64 版本初始化就會(huì)失敗。建議提前確認(rèn)你指定的 pause 鏡像是否支持 arm64或者準(zhǔn)備一個(gè)私有鏡像倉庫手動(dòng)把 arm64 版本的鏡像推上去。初始化成功后會(huì)生成一串kubeadm join命令務(wù)必存好。如果要拼接 worker 節(jié)點(diǎn)就用這串命令加上同樣的--cri-socket參數(shù)去執(zhí)行。2.5 網(wǎng)絡(luò)插件選 flannel 還是 Calico 要按架構(gòu)來kubeadm 初始化完成之后控制面節(jié)點(diǎn)會(huì)進(jìn)入 NotReady 狀態(tài)因?yàn)檫€沒有網(wǎng)絡(luò)插件。我在這套 ARM64 環(huán)境里先嘗試了 flannel因?yàn)樗溺R像相對(duì)精簡(jiǎn)配置也直觀。但很快發(fā)現(xiàn) flannel 的鏡像在網(wǎng)絡(luò)受限的環(huán)境中拉取速度慢而且對(duì)內(nèi)核模塊的依賴也需要額外確認(rèn)。后來切換到了 Calico整體更穩(wěn)定資源占用也可以接受。如果你只是測(cè)試環(huán)境flannel 夠用如果面向生產(chǎn)Calico 的靈活性和網(wǎng)絡(luò)策略支持更好。以 Calico 為例kubectl apply -f https://raw.githubusercontent.com/projectcalico/calico/v3.27/manifests/calico.yaml注意 yaml 里的鏡像地址。因?yàn)榫W(wǎng)絡(luò)原因國(guó)內(nèi)環(huán)境經(jīng)常拉不到 Calico 官方倉庫的鏡像需要提前改鏡像。有私有倉庫的環(huán)境建議直接sed替換成私有倉庫地址sed -i s#docker.io/#registry.internal/# calico.yaml網(wǎng)絡(luò)插件 Pod 的狀態(tài)是判斷集群健康度的關(guān)鍵指標(biāo)。不要只看 Pod 變成 Running 就算完還要確認(rèn)每個(gè)節(jié)點(diǎn)上的 CNI 配置文件已經(jīng)生成到位。如果你發(fā)現(xiàn)calico-nodePod 報(bào)了Error排查的時(shí)候一定要看節(jié)點(diǎn)上的內(nèi)核是否加載了nf_conntrack等模塊。這些模塊在 ARM64 的 openEuler 上默認(rèn)未必加載而 Calico 的 felix 需要它們來管理 iptables 規(guī)則。3. 部署中真正折磨人的三個(gè)坑這一節(jié)我想把我在部署過程中遇到的最棘手的三個(gè)問題完整復(fù)盤一遍不只是給結(jié)論而是把整個(gè)排查鏈路展示出來。因?yàn)楹芏鄦栴}你上網(wǎng)搜不到任何記錄只能靠排查思路來破局。3.1 報(bào)錯(cuò)“exec format error”鏡像架構(gòu)與節(jié)點(diǎn)不匹配現(xiàn)象某個(gè) Pod 創(chuàng)建之后一直 CrashLoopBackOffkubectl logs沒有任何輸出kubectl describe拉到的事件也只是正常的 Kill、BackOff。查了 Confirm 階段的日志才發(fā)現(xiàn)問題。排查過程先看 Pod 里容器的啟動(dòng)命令是什么。有些鏡像的入口腳本帶有架構(gòu)判斷我們這次用的鏡像看起來是 multi-arch但里面的 binary 實(shí)際上只有 amd64 版本。手動(dòng)在這個(gè)節(jié)點(diǎn)上用crictl pull拉取同一鏡像再用crictl run跑了一下報(bào)錯(cuò)信息明確指向了架構(gòu)不匹配。確認(rèn)問題后替換為正確支持 arm64 的鏡像 tag或者重新構(gòu)建。還有個(gè)隱藏坑有時(shí)候鏡像名稱沒有帶架構(gòu)后綴倉庫會(huì)根據(jù)請(qǐng)求的架構(gòu)返回對(duì)應(yīng)的 manifest但如果倉庫服務(wù)端不支持按架構(gòu)分發(fā)所有節(jié)點(diǎn)都會(huì)拿到同一個(gè) amd64 鏡像。所以遇到exec format error先不要懷疑是不是權(quán)限問題、配置問題先把鏡像的架構(gòu)標(biāo)簽和節(jié)點(diǎn)架構(gòu)對(duì)照一遍用二進(jìn)制級(jí)別的確認(rèn)來代替猜。一條命令就能確認(rèn)docker manifest inspect 鏡像名 | grep architecture如果手里沒有 docker也可以用crictl和skopeo這類工具。總之先確認(rèn)鏡像的 manifest 列表里到底有沒有 arm64 這一項(xiàng)沒有就別裝了。3.2 節(jié)點(diǎn)狀態(tài) Ready 但 Pod 一直 Pendingcgroup 驅(qū)動(dòng)不一致現(xiàn)象kubeadm 初始化成功網(wǎng)絡(luò)插件也安裝了但所有 Pod包括控制面的 Pod全部卡在 Pending節(jié)點(diǎn)狀態(tài)明明是 Ready。我當(dāng)時(shí)的排查鏈路可以整理成四步首先懷疑的是資源不足。kubectl describe node看可分配資源CPU 和內(nèi)存都充足tolerance 也允許調(diào)度排除。接著懷疑 kubelet 沒有正確上報(bào)狀態(tài)。查看systemctl status kubelet一切正常。再懷疑調(diào)度器問題查看了 scheduler 日志也沒有發(fā)現(xiàn)異常。最后實(shí)在沒招了去翻了 isulad 的系統(tǒng)日志發(fā)現(xiàn)它在與 kubelet 通信時(shí)不斷在報(bào)錯(cuò)。最終定位kubelet 默認(rèn)使用systemd作為 cgroup 驅(qū)動(dòng)而 isulad 默認(rèn)可能使用的不是systemd兩者不一致導(dǎo)致 kubelet 無法準(zhǔn)確獲取容器的狀態(tài)進(jìn)而無法正常對(duì) Pod 做資源統(tǒng)計(jì)和調(diào)度決策。解決辦法有兩類統(tǒng)一讓 iSula 使用 systemd cgroup 驅(qū)動(dòng)。在 isulad 的配置文件通常是/etc/isulad/daemon.json中設(shè)置cgroup-manager: systemd然后重啟 isulad?;蛘叻催^來讓 kubelet 使用容器運(yùn)行時(shí)默認(rèn)的 cgroup driver。但這樣不太好因?yàn)槎鄶?shù)的監(jiān)控和運(yùn)維組件默認(rèn)會(huì)去看 systemd 的 cgroup 樹。這個(gè)坑為什么難排查因?yàn)樗皇侵苯訄?bào)錯(cuò)而是讓所有 Pod 處于 Pending 狀態(tài)表面看起來一切正常但調(diào)度器就是不愿意把 Pod 放上去。如果你也遇到類似情況優(yōu)先看看 kubelet 和容器運(yùn)行時(shí)的 cgroup 驅(qū)動(dòng)是不是同一個(gè)這一步檢查成本極低排除成本極高。3.3 網(wǎng)絡(luò)插件起不來缺失的的內(nèi)核模塊現(xiàn)象Calico 的calico-nodePod 在某個(gè)節(jié)點(diǎn)上始終是CrashLoopBackOff日志里提示缺少某些 iptables 相關(guān)的支持。排查過程先查看該節(jié)點(diǎn)的內(nèi)核模塊列表lsmod | grep br_netfilter發(fā)現(xiàn)沒有加載。在架構(gòu)為 ARM64 的 openEuler 上br_netfilter和nf_conntrack默認(rèn)可能不在已加載模塊列表里。手動(dòng)modprobe br_netfilter再重啟 Calico Pod狀態(tài)恢復(fù)但這只是臨時(shí)方案因?yàn)楣?jié)點(diǎn)重啟后又會(huì)丟。最后通過/etc/modules-load.d/k8s.conf文件把它們固定下來再執(zhí)行sysctl --system加載參數(shù)。這個(gè)坑我覺得很值得寫出來ARM64 環(huán)境的內(nèi)核模塊加載策略跟傳統(tǒng) x86 發(fā)行版確實(shí)有差異不要想當(dāng)然認(rèn)為“標(biāo)準(zhǔn)內(nèi)核就帶這些”每一臺(tái)節(jié)點(diǎn)都要實(shí)際檢查一遍。把模塊加載和系統(tǒng)參數(shù)固化到配置文件的方案至少保證節(jié)點(diǎn)重啟后還能正常加入集群不會(huì)出現(xiàn)“集群白天好好的晚上一重啟就廢了”的尷尬局面。4. 集群跑通之后怎么驗(yàn)證和維護(hù)4.1 功能驗(yàn)證三板斧集群搭完不是終點(diǎn)要證明它能干活至少做三件事第一跑一個(gè)簡(jiǎn)單的無狀態(tài)應(yīng)用kubectl create deployment nginx-test --imagenginx:alpine kubectl scale deployment nginx-test --replicas3 kubectl get pods -o wide如果 Pod 分布在多個(gè)節(jié)點(diǎn)上說明調(diào)度正常。然后檢查 Service 的聯(lián)通性kubectl expose deployment nginx-test --port80 --typeNodePort kubectl get svc nginx-test curl http://任意節(jié)點(diǎn)IP:NodePort第二步驗(yàn)證 DNS 解析。在集群內(nèi)創(chuàng)建一個(gè)測(cè)試 Pod進(jìn)入后nslookupKubernetes 的 Service 名稱如果解析正常說明 CoreDNS 工作正常這是集群內(nèi)部服務(wù)發(fā)現(xiàn)的基礎(chǔ)。第三步驗(yàn)證跨節(jié)點(diǎn)通信。讓 Pod 分布在兩個(gè)不同節(jié)點(diǎn)上從一個(gè) Pod 直接 ping 另一個(gè) Pod 的 IP或者通過 Service 的 ClusterIP 訪問。只有這些打通了才能說網(wǎng)絡(luò)插件真的合格了。4.2 證書過期與 etcd 備份提醒kubeadm 簽發(fā)的證書默認(rèn)有效期是 1 年。這個(gè)時(shí)間說長(zhǎng)不長(zhǎng)說短不短但如果不提前做規(guī)劃到時(shí)間點(diǎn)集群會(huì)突然之間不可用。建議在集群部署完成的那一刻起就在日歷上標(biāo)注證書到期日提前 2-4 周安排更新。查看證書有效期kubeadm certs check-expiration更新命令kubeadm certs renew all kubeadm init phase kubeconfig --configkubeadm-config.yaml systemctl restart kubelet再一個(gè)不能拖的事情是 etcd 備份。我見過太多人覺得單節(jié)點(diǎn)集群不用備 etcd結(jié)果一次誤操作把核心資源刪了之后無從恢復(fù)。kubeadm 控制面組件和 etcd 都跑在容器里etcd 的數(shù)據(jù)目錄默認(rèn)掛載在宿主機(jī)的/var/lib/etcd建議用定時(shí)任務(wù)把整個(gè)目錄做快照cp -r /var/lib/etcd /backup/etcd-$(date %F)條件允許的話盡量用 etcd 自帶的 snapshot 接口做一致性快照etcdctl snapshot save /backup/etcd-snapshot-$(date %F).db4.3 日常運(yùn)維常用命令對(duì)照表在跑這套集群維護(hù)了幾個(gè)月之后我總結(jié)了一套自己的“巡檢清單”。這張表建議收藏尤其是剛接觸 iSula 的朋友場(chǎng)景Docker 習(xí)慣命令openEuler iSula 命令查看所有容器docker ps -aisula ps -a查看容器詳情docker inspectisula inspect進(jìn)入容器docker exec -itisula exec -it查看日志直接看容器內(nèi)進(jìn)程docker logsisula logs查看 Pod 對(duì)應(yīng)的容器狀態(tài)kubectl describe podcrictl --runtime-endpoint unix:///var/run/criplug.sock ps清理臨時(shí)鏡像docker image pruneisula image prune 需要根據(jù) isula 版本確認(rèn)集群巡檢時(shí)我常用的順序是kubectl get nodes -o wide先看節(jié)點(diǎn)狀態(tài)和版本是否統(tǒng)一kubectl get pods -A -o wide看全局 Pod 狀態(tài)是否有非 Running 項(xiàng)systemctl status isulad和journalctl -u isulad --no-pager | tail -50看容器引擎自身的健康狀況df -h /var/lib注意 isulad 默認(rèn)存儲(chǔ)路徑的空間使用率這是最容易不知不覺打滿的隱患。我得說一句大實(shí)話在 ARM64 平臺(tái)上Kubernetes 集群跑起來只是開始真正的維護(hù)難點(diǎn)在于“檢查項(xiàng)和 x86 環(huán)境的差異點(diǎn)”。舉個(gè)例子x86 環(huán)境你可能從來不用關(guān)心內(nèi)核加載了哪些模塊但在 ARM64 的 openEuler 上這些差異會(huì)被放大。所以在巡檢時(shí)一定要把架構(gòu)相關(guān)的檢查項(xiàng)單獨(dú)列出來每次都確認(rèn)一遍。5. 最后分享一個(gè)省心小技巧在連續(xù)搭了三套同樣的環(huán)境之后我養(yǎng)成一個(gè)習(xí)慣把整套部署過程沉淀成一個(gè)標(biāo)準(zhǔn)化的腳本和一份檢查清單。腳本負(fù)責(zé)裝軟件、改配置、拉鏡像檢查清單負(fù)責(zé)在每執(zhí)行完一個(gè)階段后用那幾條我上面反復(fù)強(qiáng)調(diào)的關(guān)鍵命令去驗(yàn)證狀態(tài)。這樣做的原因是手動(dòng)敲命令部署一次可能只要兩小時(shí)其中最耗時(shí)間的部分并不是敲命令本身而是卡在某個(gè)坑里沒有頭緒地排查。腳本化之后這個(gè)時(shí)間可以壓縮到 20 分鐘以內(nèi)。另一個(gè)值得做的是鏡像倉庫的提前準(zhǔn)備。如果你所在的內(nèi)網(wǎng)訪問外網(wǎng)有限提前準(zhǔn)備好了 arm64 相關(guān)的所有鏡像并推到私有倉庫部署時(shí)會(huì)省掉無數(shù)等待時(shí)間。我甚至?xí)?pause、coredns、calico 這些組件的鏡像全部固化到一個(gè)離線鏡像包里用 iSula 自帶的鏡像導(dǎo)入命令批量導(dǎo)入。這一步做完之后后續(xù)擴(kuò)容新節(jié)點(diǎn)時(shí)就會(huì)非常順滑不再需要在網(wǎng)絡(luò)上反復(fù)等待。每次給新環(huán)境裝這套集群我都會(huì)被同事吐槽“你怎么又要重來一遍”但恰恰是這種不厭其煩的重復(fù)讓我把整套流程里的所有不確定因素都變成了已知項(xiàng)?,F(xiàn)在再遇到 ARM64 openEuler iSula 的環(huán)境我基本不需要看文檔了因?yàn)榭佣疾绕搅?。這篇文章的內(nèi)容就是這些坑和應(yīng)對(duì)辦法的完整記錄希望它也能幫你把這條路走平。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
888精品福利地址| 蜜桃婷婷丁香综合久久开心亚洲| 成人国产欧美大片一区| AV亚洲在线| 操日本色| 五月婷婷在线丁香| 亚洲激情97五月天| WWW久久久| 亚洲天堂热| AA片在线观看视频在线播放| 欧美婷婷丁香五月| 97人凄人人操人人爽| 99 热| 五月深爱婷婷| 九九在线精点品| 色综合区| 淫视馆av三区| 先锋五月婷婷丁香草草| 激情综合五月色丁香婷婷| 青青草成人网| 激情综合五| 97久久婷婷色| 丁香五月自拍| 99免费视频在线观看爱| 99热精品在这里| 国产毛多水多女人A片| 嫩草哈哈操| 99日本精品视频热| 99热这里只有精品66| 五月婷婷色播| 影音 五月 婷婷 久久| 五月天丁香欧美激情| 黄色成人网站在线播放| 337午夜福利| 亚洲av日韩无码| 99热思思| 成人色图情色成人网 www.5b5b5bcom 五月天 | 婷婷色片| 五月天全国最大成人网| 亚洲av网站| 中文字幕丰满孑伦无码专区| www.五月婷婷| 99热在这里只有精品| 色99热| 97自拍视频在线| wwww.色婷婷| 色情性爱视频网址| 婷婷激情综合| www.丁香黄色五月天人与| 国产激情在线| 九九亚洲视频| 人妻丰满精品一区二区A片| 97亚洲婷婷| 婷婷五月天激情偷拍| 97成人丁香| 97综合在线| 天天插天天插天天插天天插| 天天干肏夜夜| 日韩无码人妻一区二区| 色五月av| 黄色激情网站在线观看| AA片在线观看视频在线播放| 大香蕉综合网| 色yeye色综合| 日本色婷婷久久99精品91| 美女黄频aⅴ视频| 97色伦另类图片小说视频 | 九九无码| 永久的网站AAAA | 99精品女人天堂| 丰满人妻一区三区三区| 熟女激情五月天| 日本操片| BlACKEDRAW视频一区二区| 九九热av| 这里只有精品99www| 另类 在线| 激情综合区| 图片区 小说区 区 亚洲五月| 五月天婷婷综合网| 思思99精品视频在线观看| 狠狠搞五月天| 色五月激情婷婷| 色五月婷婷五月久久| 26UUU成人网| 99精品久久久久久久婷婷久久| 丁香月六月| 色色色婷婷五月| 5月丁香婷婷| 久久在这里99| 天天干一干| 9在线9在线婷婷在线国产| 99er视频在线| 五月丁香六月停停| 色色成人網| 91色五月| 婷婷久久大香蕉| 日本三久久| 在线只有精品| 六月丁香AV| 天天舔天天爽| 九九九九九九九九九九九九九国产精品| 亚洲av无码精品色午夜| 99在线观看| 99riAv1国产在线观看| 99久在线精品99re8热| 来吧亚洲综合网| 欧美人妻一区二区| 天天搞天天色综合| 大香蕉啪啪| 战争与艾拉电影免费观看| 色狠久| 欧美丁香五月| 婷婷五月欧美综合| 色婷婷丁香五月在线| 久久婷婷五月综合色丁香| 五月花激情| 亚洲另类日本| 性色做爰片在线观看WW| 99这里只有精品视频| 综合色99| 婷婷 丁香 久久| 色五月激情视频在线综合| 大香蕉久久久久| 9l视频自拍9l视频自拍九色学生| 青草网在线观看| www.99日本| 综合激情五月天| 五月婷婷六月丁香在线| 嫩草免费视频| 伊久大香蕉| 色婷婷久久7777| www.色综合.com| 深爱五月激情网| 91婷婷五月丁香碰| 婷婷在线播放av| 天天狠狠色综合| 天天色宗合| 免费无码毛片一区二区A片| 色v综合网| 九九色中文| 五月丁香啪啪伦理电影| 久草狼人| 超碰91在线| 狠狠爱五月婷婷综合六月| 五月丁香色五月| 日韩1区2区| 香蕉久操| 激情网狠狠干| 伊人啪啪网| 丁香,开心成人,久久| 96色婷婷| 国产精品蜜臀99| 欧美成人A片AAA片在线播放 | 99热亚洲综合| 一区二区中文字幕| 色玖玖综合网| 五月丁香六月婷综合成人综合 | 欧美日韩婷婷五月天| 人人天堂操| 99re免费精品视频| 丁香六月综合激情| 97色女人在线| 91婷婷| 色停停五月,在线观看| 天天操夜夜橾| 久久38视频| 六月丁香好婷婷| 日本啪啪天堂| 五月婷婷婷| 91婷婷色| 可似看的AV| 天天干天天做| 国产xxxxx在线观看| 亚洲成人影视在线观看| 人妻性爱av网站| 九热免费视频| 婷婷五月天综合在线| 青青草原爱爱网| 久久婷婷丁香六月天| 91精选国| 俺去也在线www色官网| 婷婷五月天综合亚洲| 97色在线| 男人的天堂五月丁香| 99视频在线啪| 色色亚洲视频| 99热在线观看精品| 五月丁香六月婷| 狠狠精品干练久久久无码中文字幕 | 丁香婷婷色情| 91九九热| 1024操逼视频| 综合激情伊人影视在线| 久久久久久久人妻| 99re热| 国产精品91抖高| 婷婷激情五月天天天开心| www.minyis.com【JT】实力收量可预付QQ2101460746 | 99无码视频| 丁香综合网| 久久性爱视频久久性爱视频| 五月Huangsewang| 五月综合亚洲| www.99免费视频| w婷婷五月婷婷w| 99色综合| 婷婷99狠狠躁天天躁| 五月丁香六月婷| 久久久久9999| 性爱综合网| 亚洲 五月 婷婷 成人| 99热思思| 狠狠色噜噜狠狠| 久久伦乱| 日本44久久在线| 久久91久久91色欲精品| 婷婷伊人久久| 色狠狠伊人久久五月丁香| 江苏少妇性BBB搡BBB爽爽爽| 涩涩涩五月天| 99久久久免费| 天天爱天天操| 在线婷婷| 九九九九精品精| 五月天天天色| 午夜婷婷| 操操综合网婷婷| 色婷婷丁香五月| 国产夫妻操逼内射视频| 爆乳熟妇一区二区三区四区| 色五月婷婷丁香五月| 91超碰人人操| 1024AV视频| www.99久久久| 激情综合在线播放| 中字幕视频在线永久在线观看免费| 色五月av伊人| 婷婷天堂站| 三级大香蕉网| 日本久久高清| 四川操逼站| 久热免费视频| 久热网站| 五婷婷六月合| 8区视频在线| 成人av免费观看| 狠狠干在线视频| 日韩精品一品二区三区的使用体验| 六月丁香五月婷婷首页| 亚洲成人中文字幕| 色99在线| 婷婷五月天基地| 五月花婷婷| 天天插天天日天天爽| 97超级啪啪在线观看| 日日.c| 午夜电影网VA内射| 色婷婷9| 爱iii做iiii日日| 五月婷婷激情综合| 久热无码| 欧美人妻一区二区| 色九月| 久久婷婷色情7777网站| 六月婷婷综合| 天天爽,夜夜爽| 婷婷六月爽| 久久99网站| 色婷婷六月精品| 婷婷五月丁香av网站| 丁香婷婷综合激情五月色| 欧亚成人A片一区二区| 91久久久久久久久| 色婷婷久久综合中文久久一本| 亚洲VA在线| 久久机热这里只有精品免费视频| 婷婷五月AV| 婷婷 伊人 久久| 久久er99热精品一区二区| 久热黄色| 26uuu日韩| 亚洲人妻五月丁香婷婷| 亚洲激情免费久久| 久久视频这里都是精品| 久久婷婷欧美| 五月丁香婷婷综合网| 激情丁香久久久久久| 中文字幕av网站| 国内一级片| 日本综合色图| 色五月婷婷五月天| 黄色一级影片| 六月婷婷激情| 欧美A级网站| 91女人18毛片水多国产| 性av| 丁香五月综合狠狠| 五月丁香六月| 丁香婷婷六月| 九月激情婷婷丁香| www久久久久久久| 91婷婷色 | 超碰永久在线| 2016日日夜夜操| 欧美十二区| 午夜少妇在线观看视频| 99精品亚洲| 少妇激情五月天| 六月丁香啪啪啪| 亚洲三级无码| 天堂在线婷婷| 高清国产一级婬片a免费| 婷综合六月| 日本欧美999久久久三级片| 超碰在线网站| 婷婷九月丁香| 丁香婷婷六月激情文学| 天天舔天天摸天天射| 99秘 在线| 热热久久久久久久久| 九九机热| 激情五月,深深爱五月| 丁香婷婷婷五月| 久久东京热婷婷五月| 九九热九九| 午夜无码熟熟妇丰满人妻| 国产欧美日韩综合精品一区二区| 另类亚洲电影| 丁香婷婷综合影院| 激情五月婷婷视频一区二区三区| 99国产性感视频| 丁香欧美| 天天爽天天爽视频| 五月花免费视频| 九九大香蕉黄色影院| 五月天婷婷丁香社区| 五月天婷婷久久视频| 91Chinese在线| 无码人妻一区二区一牛影视| 日本人妻伦在线中文字幕 | A在线观看| 91啪级电影| 99热这里只有精品33| 五月丁香久久网| 少妇高潮A片无套内谢麻豆传| 婷婷国产欧美97| 九月婷婷久久久| 久久香蕉影院| 99热91| a色色色色色| 亚洲色无码| 婷婷操婷婷干婷婷射| 99热.com| 另类亚洲视频| 五月色无码| 日日夜夜狠狠| 五月激情小说| 最新无毒无码AV| 无码激情| 99热日韩这里只有精品| 狠狠穞A片一區二區三區| 九久9精品| 香港九九六区八区99| 色婷婷XXXXX| 色五月天天在线观看资源站| 亚洲狠狠操| 婷色五月| 操人久久| 亚洲免费婷婷| 狠狠色综合五月人人| 狠狠色综合无线观看| 丁香五月性| 九九精品在线观看视频6| 国产精品国产成人国产三级| 色综合久久88色综合天天看| 26uuu亚洲精品国产| 婷婷五月色惰| 熟女人妻视频| 丁香五月在线视频黑人| 亚洲亚洲人成综合网络| 天天综合五月| 九九狠狠干| 五月丁香婷婷婷激情爱爱| 99热九九在线| 丁香婷婷成人网| 色5月丁香婷婷| 婷婷91视频| 玖热精品综合视频| 禁欲电影完整版在线播放| 色婷婷超碰| 丁香色五月天| 国产AV成人精品| 五月天婷婷乱| A久久| 婷婷五月精品| 性爱在线播放av| 大香蕉婷婷五月天| 色色五月天丁香婷婷| 综合在线色婷婷| 欧美综合激情| 国产精品婷婷午夜在线观看| 精品亚洲日韩99欧美片| 色婷亚洲| 97人妻碰碰碰久久| 色小说五月婷婷| 少妇水多A片太爽了| 日本妈妈乱| 夜夜撸日日操| av中文网| 九九九九九九九热| 日本婷婷色| 开心五月深爱婷婷| 色播五月婷婷| 影音先锋 91工厂| 色综合婷婷99| 五月丁香婷婷综合视频| 欧美日韩999| 99在线视频资源| 99视频久久| 欧美色碰| 日日爽日日| 成人在线视频男人的天堂4399| 亚洲热视频| 久久大大香| 色婷婷五月天激情综合| 色色综合五月| 婷婷五月天伊人| 国产做爰视频免费播放| 五月丁香六月婷婷视频| 色五月婷婷影视| 色婷五月天激情| 色八戒操婷婷| 色婷婷中文字母五月丁香| www久视频com| 26UUU欧美激情一区二区| 五月丁香| 久久这里有精品视频| 国产午夜精品AV一区二区麻豆| 天天爽人人爽| 久久天堂婷婷五月| 99精在线| 亚洲成人噜噜| 98永久精品| 丁香婷婷影院| wwxx日本| 五月天婷婷涩涩| 亚洲色A| 色综啪啪| 久久综合婷婷| 丁香五月综合在线播放 | 婷婷五月精品中文字幕| 91色色色视频| 99这里有精品视频| 久久ww| 天天日夜夜草进麻麻的子宫| 亚洲国产精品成人午夜| 泰州成人视频| 丁香六月婷婷综情欧美| www色中色综合| 伊人婷婷五月天| 日本婷婷丁香五月| 亚洲乱码日产精品BD在线观看| 九九热国产| 色色五月婷婷| 久久一操| 久久综合影院| 婷婷五月开心中文字幕在线| 婷婷开心深爱五月天| 国产女人十八水真多1| 成人短视频在线| 久久久精品人妻录| 日日夜夜狠狠婷婷色| 色天使色综合| 思思热久热| 噜噜噜噜噜日本视频| 99热一本| 这里只有精品视频在线| 99亚洲精品视频在线观看| 久久视频婷婷视频| 五月天丁香婷婷久久九| 韩国真做片在线观看| 综合色婷婷| 色综合色色| 好好干av| 亚洲性受XXXX五月丁香| 97色色综合| www.婷婷| 91九色精品| 国产裸舞福利资源在线视频| 内射综合网| 婷婷伊人75| 麻豆AV一区二区三区| 婷婷久久综合| 婷婷五月天另类网站| 99精品无码视频| 丁香五月婷婷欧美成人色图| 九九成人电影婷婷| 色狠狠色| 天天综合精品| 五月天激情四射网站| 亚洲激情.com| 激情丁香网| 伦乱天堂| 玖玖在线视| www.综合久久| 色玖玖玖| 五月婷婷六月丁香首页| 国产3p露脸普通话对白| 97操在线视频| 婷婷九九| 天天插天天插天天插天天插| 激情六月婷婷| 五月天婷婷色色网| 91大神操美女| wWw色五月| AV成人在线播放| 五月天婷婷色综合| 婷婷久久亚洲| 91久久精品无码一区二区三区| 五月天AV大香蕉| 五月丁香趴趴| 狠狠五月婷婷| 丁香五月激情啪啪啪| 国产性爱色| 国产亚洲AV人片在线| 激情久久丁香| 99九九久久| 久热这里只有精品6| 成人精品视频99在线观看免费| 九九99精品视频在线观看| 六月丁香五月婷婷| 老美AA片| 97超碰色| 91久久五月天| www99精品| 九月丁香亭亭| 9999三级片| 91丨九色丨丰满人妖| 成人av观看| 九色婷婷| 美女主播野战视步页| 深爱五月激情网| 综合激情深爱| 狠狠色综合精品视频在线| 色99网站| 久久九九99亚洲国产久精综合| 中国激情网| 久久色五月| 91美女被操| 丁香五月成人| 天天久久狠狠色综合| 婷婷色五月丁香六月欧美啪| 婷婷五月花| 五月综合丁| 色欲影香| 大天天伊人| 激情综合自拍五月婷婷色五月| 五月色婷婷亚洲 | 桃色五月婷婷| 国内裸舞二区| 侠女刀之记忆电影在线看免费| 久久这里只有精品网| 99热自拍| 亚洲人人操BD| 丁香五月激情啪啪| 婷婷伊人久久无码色五月| 色欲婷婷五月天丁香| 久久 婷婷 五月天| 99热中文字幕久久| 久久久亚洲精品一区二区三区浴池| 五月激情四射网站| 婷婷操超碰| 伊九九三级区| 狠狠干伊人| 中文成人在线| 99综合| 日操夜操天天操不卡| 日本人妻伦在线中文字幕| 九色成人AV在线| 99精品久久| 色欲一二三| 国产人妻777人伦精品HD| 亚洲熟女乱色综合亚洲网站| 亚洲成人av在线播放| 五月天播播综合| 五月丁香六月激情| 欧美亚洲成人在线| 午夜激情五月| 久热伊人| 国产五月天婷婷| 久热99热| 久久免费操| 日韩抽插操逼| 日本91在线| 婷久久高清| 五月色情婷婷| 五月天开心色情网| AV在线不卡网站| 亚洲十月婷婷综合| 天天操夜夜夜拍拍拍| 99热精品中文字幕| 另类综合激情| 91精品啪| 五月精品免费XXX| 日本三级韩三级99久久| 国产精品久久..4399| 久久AV电影| 激情五月天网站| 99热综合在线| 日韩久久这里只有精品| 99热国产| 黄色五月婷婷| 丁香六月狠狠干| 狠狠狠人妻| 一级精品999WWW| 天天干天天做| 婷婷香香五月| 色婷婷先锋| 婷婷五月激情黄色| 天天干天天操天天上| 五月丁香黄色视频| 丁香婷婷狠狠97| 99久久免费性爱视频`| 在线只有精品| a免费在线| 丁香五月手机在线| 色99在线视频| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 91人人爱| 人妻操操色| 欧美激情xxxXX| 久99视频| 91碰在线| 五月丁香啪啪| 91pornav在线| 日韩淑女人妻luan伦激情精品一区二| 91919191919久久成人视频| 免费九九热| 色五月网址| 99色在线视频| 丁香五月婷婷啪啪| 国产精品色婷婷99久久精品| 五月婷婷在线视频观看| 香蕉久久五月| 天天爱夜夜爽| 1囯产午夜仑鲁鲁| 精品人妻一区| 久久婷婷一级片| 色五月色综合| 大胆伊人久久| 99热这里只有精品55| 91碰超| 大香蕉520| 五月玖玖| 9色91视频| 婷婷久久国产视频| 色五月在线播放| 99国产欧美视频| 色五月激情婷婷| 97色片| 99久久www| 日韩日比视频| 久久久久9| 色婷婷激情五月天| 五月婷精品| 丁香婷婷激情| 色狠狠图片| 99热九九在线| 国产AV一区二区三区最新精品| 婷婷五月丁香综合激情| 丁香五月天在线观看视频| 久久婷婷丁香花综合网| 情婷婷五月天| 久久天堂女人| 亚洲操操| 婷婷色播六月无码| 99热全是精品| 亚洲激情五月天| 五月丁香六月激情网站| 五月丁香六月婷婷操操操| 99热欲| 超碰网站在线观看| 婷婷丁香一月| 婷婷五月天性爱视频| 丁香激激情网| 综合五月丁香97| 日韩性视频| 日日狠夜夜狠| www久久99com| 99ri国产在线| 91 影音先锋| 五月婷色| 激情网五月天| 亭亭五月激情亚洲在线| 这里只有精品日韩| se色婷婷视频| 激情丁香五月天图片| 五月天丁香成人社| 色爆五月| 97人人草| 久久婷婷五月综合色奶水99啪| 五月天成人在线| 99精品热| 婷婷五月激情综合网| 婷婷色网站| 色五婷婷| 热的国产,热的综合,热的有码| 九九无码AV| 婷婷四色成人综合色视| 婷婷激情五月天在线视频| 五月婷婷激情综合| 亚洲无码99| 国产一区18| 欧美日韩aaaa| 国产精产国品一二三在观看| 天天草人人摸| 亚洲中文字幕av| 麻豆精品| av性爱网站| 丁香六月丁香婷婷激情| 99精品高潮| 婷婷色正月| 热热99爱爱| 日本99久久| 99热这里只有精品69| 日逼影音先锋AV男人资源站| 婷婷九月| 先锋男人99资源| 天天爱天天做天天操| 丁香五月六月综合激情| 亚洲无码yw| 大香蕉欧美在线| 美女丁香五婷婷| 91啦丨九色丨刺激中文| 五月天六月婷婷电影| 欧洲色区| 六月婷婷色五月| 五月天大香蕉| 亚洲性爱干干| 五月丁香啪| 情婷婷五月天在线| 激情99| 久久色在线视频| 丁香六月综合| 久久97| 日本五月婷| 91九色视频| 丝袜大香蕉| 综合网网欲色| 涩婷婷五月天在线精品视频| 欧美久人人| 五月激情影院| 99碰网站| 亚洲另类日本| 狠狠色婷婷7777久综合| 香蕉视频91| 热99精品视频五月| 色碰碰| 九九碰九九爱97超碰| 996er热| 国产欧美婷婷| 搡BBBB搡BBB搡18| 久久婷婷五月草视频| 超碰成人影视| 欧美五月婷婷| 第四色色六月色综合| 日韩六六久久电影| 草了bav视频在线观看| 视色综合| www.99久久久久99| 亚洲AV人人操| 超碰av在线| 天天干天天日天天操| 99色色网站| 婷婷五月丁香亚洲| 婷婷六月丁香欧美视频在线| 99人人操人人爱久久久| 五月天激情四射| 亚洲激情淫网| 99热在线极品极品| 色五月丁香五月| 五月丁香六月激情综合 | 婷婷亚洲综合| 婷婷激情五月天7| 免费无码毛片一区二区A片| 激情网开心网| a级毛片一区二区免费视频| 五月婷婷,六月丁香| 99热综合在线| 九九这里只有精品| 狠狠操在线视频| 人人叉久| 五月天激情久久| 伊人丁香婷婷东京| 色一情一乱一乱一区9| 啪啪一区| 亚洲99在线| 99热线观看9| 天天日天天插| 另类激情五月天| 欧美 日韩 成人 在线| 国产一区二区三区影院| 色六月视频| 99在线视频精品| 日日干日日| 色中色综合| 黄色片区子| www五月| 99思思| 97在线/日本| 99re在线精品视频| 天天操九九插| 小色小蛇伊人婷婷色香五月| www.色五月| 99精品22| 久久婷婷综合网| ..真实国产乱子伦毛片| 99在线视频资源| 丁香五月婷婷啪啪| 精品9久| 成人午夜无码视频| 五月丁香激情欧洲啪啪| 欧美久久婷婷| 天天综合网~91| 日韩九区| 五月激情网综合| 99操碰| 国产性爱大片久久| 四色99久久| 五月婷婷九| 九九狠狠干| 婷婷丁香社区| 五月天激情啪啪| 26uuu亚洲欧美另类| 猫咪伊人久久| 99视频免费播放| 五月丁香婷婷基地| 色色色综合色| 丁香花五月天| 欧美熟女99| 香蕉99网| 开心五月激情网| 天天做天天爱天天高潮| 天天色·欧美| 97五月久久丁香婷婷| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品| 国产综合婷婷| 狠狠草综合网| 色狠狠狠干| 亚洲无码黄色| 国产精品久久久久9999小说| 激情AV在线| 狠狠色五月| 丁香五月首页| 婷婷日本在线| 男妓跪趴把舌头伸进我的嘴巴| www激情婷婷com| 99热在线播放| 男人天堂 久久| 成人美女网| 九九热99热| 五月丁香六月花| 国产色丁香| 久久hd| 超碰人人在线观看| 天天综合色| 操一区| 婷婷五月色| 九九 激情 网| 双性美人被调教到喷水A片| 狠狠综合网| www.婷婷五月天.com| 天天天摸夜夜夜玩| 五月天国产成人| 丁香婷婷91在线观看视频| 婷色影院| 国外亚洲成AV人片在线观看| 中文av网| 99热精品在线| 五月丁香六月激情视频| 丁香美女主播视频在线观看| 久热这里精品免费| 欧洲精品欧洲情| 玖玖视频福利| 大香蕉啪啪| 色婷婷AV在线| 国产色视频网站2| 大香蕉婷婷婷| 亚洲视频综合网| 国产真人做爰视频免费| 91一起操| 99视频久久| 人妻中文在线| 91九色在线| 无码任你操| 亚洲色无码| 天天综合天天玩夜夜玩天天玩夜夜玩| 99热国内| 久久三级视频| 91干| 婷婷色影院| 丁香六月婷婷色播| 婷婷五月天精品| 欧美 日韩 成人| 久久天堂婷婷五月| 99啪在线| aaa9区免费在线观看| 国产av天天插天天操天天爽| 五月婷婷丁香91| 欧美激情综合五月色丁香| 99色| AV性爱网| 欧美日韩成人在线| 97 A I色色| 婷婷五月天综合久久| 开心五月婷婷婷美女| 五月激情婷婷开心| xx久久| 色噜噜狠狠色综合成人网| 久久九九色| 色综合天天网| 九九色黄色| 日本色色网站| 五月婷婷激情四季| 爆乳熟女-区二区三区| 五月丁香六月婷婷亚洲激情综合| AV九九| 色婷视频| 国产精品久久久久久妇女6080| 国产熟妇的荡欲午夜视频| 国产做爰视频免费播放| 草草视频91| 国产在线黄色| 思思热视频在线| 丁香五月综合| 欧美电影在线观看| 五月停性愛| 97丁香视频| 亚洲婷婷婷| 综合激情婷婷| 五月丁香色婷婷伊人| 婷婷五月综合欧美在线播放| 天天日天天摸天天| 伊人狠狠综合| 日日爽日日| 噜噜噜久久| 免费黄色片子| 天天干天天干天天干| 不卡在线视频| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 中文成人在线| 九九这里只这里只有精品| 久久月天堂| 亚洲婷婷丁香| 丁香婷婷色五月天| 99久久久| 久久久久视剧HD| 婷婷五月天伊人| 伊人久久大香线蕉av一区| 伊人激情网| 91久女| 美欧成人视频| 嫩草AV久久伊人妇女超级A| 怡红院视频| 久久人妻系列| 五月成人丁香av91| 五月婷婷av| 丁香六月婷婷综合色| 九九re视频在线视频| 色欲婷婷五月天| 色九九九综合| 国外亚洲成AV人片在线观看| www.深爱激情| 99热久草| 色婷婷久久综合久色综| 久久久婷婷婷| 综合色色网| 色色亚洲| 婷婷俺去也| 99热这里只有精品在线免费| 伊人五月婷婷| 色色色色区| 超碰91在线| 99热免费观看| 337p午夜影院| 久久婷婷六月综合国际| 亚洲综合无码| 激情都市五月天| 9色视频在线| 91九色成人原创视频| 俺也去婷婷五月天第五色| www...com黄在线观看| 午夜天堂一区人妻| 婷婷五月天小说网| 亚洲中文字幕av| 色婷婷免费视频| 久久精品国产一区二区三区四区 | 五月婷婷说| 91爱操| 9+1视频网址| 久艹久| 26uuu.| 亚洲激情综合| 日韩999| 欧美啪啪五月天| 五月天色婷婷激情综合| 人人摸人人搞| 五月色婷婷中文字幕| 色无婷婷| 狠狠干.com| 欧美成人精品A片免费一区99| 欧美槡BBBB槡BBB少妇| 99九九久久| 操人91| 亚洲视频在线观看| 狠狠婷婷色综合| 亚洲啪| 综合超碰熟| 国产成人AV在线播放| 最新色色五月天| 激情网第九色| 色999五月色| 婷婷丁香亚洲色综合91| 五月丁香婷婷综合网色欲| 色婷网站| 天天日天天舔| 久久99这里只有精品| 五月婷婷黄色毛片| 婷婷五月天无码视频| 久久中文人妻系列| 天天激情夜夜干| 激情另类综合| 色综合久久无码| 久久伊人大香蕉| 婷婷五月天成人网| 丁香五月av在线| 五月综合婷婷开心网| 青青草tp| 91在线操| 97日本在线播放| 九九日本视频| 六月丁香激情网| 超碰成人免费| 亚洲五月花| 丁香五月天婷婷中文字幕| 99在线观看视频| 伊人久久大香线蕉亚洲五月天,| 国产淫熟妇| 日韩婷婷| 五月色婷婷综合| 人妻久久婷婷| 天天澡天天狠天天天做| 五月综合缴情网| 狠狠操天天日| 五月色情婷婷开心五月色情| 午夜大香蕉| 丁J香六月首页| 超碰操日| 欧美五月停| 日日操夜夜擼| 51精品国自产在线| 中文字幕日产A片在线看| 99热偷拍| 丁香五月天网站| 日韩成人中文字幕| 99在线69| 久久久27操| 夜色综合网| 日日干夜夜干| 99这里只有精品视频| 99热这里只有精品3| 五月六月婷婷| 婷婷六月激情| 五月欧美色色五月| 这里只有精品在线播放| 色婷婷丁香五月丁香| 热99热| 狠狠人人| 甈你aaaaa| 操熟女成人网| 思思热精品在线观看| 99re鈥哸鈥唙| 亚洲五月天另类小说图片| 草五月| 色色色色色综合| 五月天激情无码| 怡红院视频| 5月婷婷五月天| 五月婷婷六月丁香在线视频| 激情伊人五月婷婷久久| 婷婷四月 成人 狠狠干| 99福利导航| 日韩欧美五月丁综合| 天天激情视频| 99热这里只有精品最新地址获取| 亚洲第一精品网站| 五月婷综合网| 欧美25p| 色婷婷免费观看| 超碰人人操在线| 激情色色| 91九色PORNY肉丝在线| 激情淫乱男女| 亚洲午夜视频| 九九久久综合| 亚洲色婷婷99一9|| 婷婷五月天免费视频在线观看| 26uuu| 久久色情| 狠狠干狠狠干| 婷婷丁香五月在线观看91| 丁香五月婷婷天堂大香蕉| 亚洲AV网站| 深爱开心激情网| 丁香五月成人社区| www婷婷| 国产激情视频在线观看| 97很鲁在线视频| 丁香花成人区| 丁香五月婷婷亚洲人| 丁香伊人综合| 婷婷五月色天| 狠狠操狠狠插| 婷婷五月天亚洲综合网| 欧美在线看| 婷婷六月激情啪啪| 欧美婷| 操逼视频网址| 99ri在线视频| 蜜桃五月天色| 婷婷射综合| 51精品国自产在线| av成人在线播放| 日本色色色| www.25五月婷婷| 2025天天操| 五月丁香六月激情欧美综合| 日韩熟女啪啪视频| 丁香婷婷五月六月久久| renre人人操国产超碰在线| 色色com| 免费无码毛片一区二区A片| 东北黄色一级| 色人久久| 色婷婷五月天堂资源| 久久狠狠干| 九月丁香久久网| 色丁香五月婷婷| 手机免费福利视频| 99热这里是精品| 99热一本久道| 狠狠色丁香综合| 99热官网| 日韩综合成人| 9久久久久久久久久久| 色五月天网| AV在线观看网站| 91人人爱| 五月丁香综合网色欲| 九九热精品在线| 久久xx| 丁香婷色| 这里只有九九精品| 五月天色丁香| 伊人玖玖婷婷| 五月天成人在线精品| 九九热视频在线观看| 秋霞av吧| 色狠狠999综合网| 91丨九色丨丰满人妖| 日逼影音先锋男人资源站| 婷激情五月天视频导航| 五月婷婷丁香啪啪| 五月停亭久久电影| 激情综合色五月六月婷婷| 丁香五月激情婷婷| 五月天停婷基地| 五月婷色| 五月天综合视频| 欧美槡BBBB槡BBB少妇| 黄色99视频| 日本五月天激情| 任我干视频在线观看| 色小说婷婷五月天天天| 91操人视频| 九九九九九九毛片| 深爱激情网五月天| 激情内射人妻1区2区3区| 婷婷香香五月| 婷婷五月丁香综合| 激情丁香久久久久久| 亚洲亚洲永久无码777777| 九九AV| 丁香六月婷婷开心| 怡红院视频| 婷婷趴趴| 婷婷五月天AV在线| 99久久五月丁香野外| 直接看的AV| 日韩熟女啪啪视频| www,婷婷五月天,com| 亚洲V国产V欧美V久久久久久| 天天综合久久| 丁香六月婷| 激情av| 99九九视频| 色丁香五月婷婷综合久久| 久久 视频这里只有精总| 激情av| 色婷婷丁香九月| 五月婷婷九| 久久久亚洲成人无码A片| 综合xx网| 91超级碰| 天天干夜夜操A片| 综合网色| 欧美激情丁香五月天久久婷婷一区| A在线观看| 婷婷丁香五月天哟啪| 97香蕉久久超级碰碰高清版| 欧洲一区二区| 99re免费精品视频| 国产精品视频网| 色色色com| 免费亚洲成人电影AV| 久热99热| 四虎成人精品永久免费AV九九| 亚洲不卡| 丁香五月亚洲AV| 五月婷婷性爱| 婷婷五月天最新综合你懂的| 日韩成人av在线| 人妻22p| 99视频精品在线| 中文久久久人妻| 国产婷婷婷| 久热网站| yw.av| 国产精品久久久60086| 玖玖综合色区在线观看| 激情小说五月天中文字幕| 狠狠插.com| 99视频综合| www天天色天天射| 色呦呦美女| 夜夜大香蕉婷婷丁香| 欧美日韩91| 蜜臀AV在线观看| 五月天婷婷色紫薇阁| 婷婷亚洲综合| 久久五月天黄色五月天色网址| 九九99精品视品| 一本久久亚洲五月婷婷| 九九婷婷激情综合网| 久久久噜噜噜久久人妻| 久久综合五月天| 日本99视频| 五月丁香综合伦理片| 久草视频大香蕉99| 婷婷在线综合| 人妻系列久久久久久久久久久| 国产无遮挡又黄又爽免费网站| 天天草比天天爽| 久99久在线| 99热最新网址|