欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Docker+K8s+Jenkins云原生DevOps全鏈路實(shí)戰(zhàn)與排障指南

Docker+K8s+Jenkins云原生DevOps全鏈路實(shí)戰(zhàn)與排障指南 我前前后后折騰了大半年踩了無數(shù)坑才把公司那套從“代碼提交到線上發(fā)布全靠手搓”的流程逐步升級(jí)成了以Docker、K8s、Jenkins為核心的云原生DevOps全鏈路體系。這套體系上線后部署效率提升得非常明顯而且因?yàn)榱鞒虡?biāo)準(zhǔn)化了新同事上手也快了很多。這篇文章就結(jié)合我的實(shí)操經(jīng)歷把整個(gè)體系的構(gòu)建思路、關(guān)鍵細(xì)節(jié)、以及那些文檔里不會(huì)寫的坑一次性說清楚。如果你正在打算搞這套東西或者已經(jīng)在這條路上但遇到了瓶頸這篇文章應(yīng)該能給你一些切實(shí)可用的參考。先說清楚這套體系到底解決了什么問題。在傳統(tǒng)方式下開發(fā)把代碼提交到Git倉庫運(yùn)維手動(dòng)去服務(wù)器拉代碼、打包、停服、部署偶爾還要半夜爬起來處理發(fā)布事故。環(huán)境不一致的問題、依賴沖突的問題、回滾困難的問題每一個(gè)都讓人頭疼。而云原生DevOps的核心思路就是把“環(huán)境”和“應(yīng)用”都變成代碼化的、可版本管理的資源通過自動(dòng)化的流水線把構(gòu)建、測試、部署這一整條鏈路串起來。Docker負(fù)責(zé)把應(yīng)用連同它的運(yùn)行環(huán)境一起打包成鏡像解決環(huán)境一致性問題K8s負(fù)責(zé)這些鏡像的編排調(diào)度和生命周期管理解決部署和擴(kuò)縮容問題Jenkins則作為那個(gè)“總控臺(tái)”把代碼拉取、鏡像構(gòu)建、鏡像推送、K8s滾動(dòng)更新這一系列動(dòng)作編排成一條自動(dòng)化的流水線。這篇內(nèi)容我會(huì)從最底層的Docker基礎(chǔ)環(huán)境搭建開始講然后到K8s集群的部署規(guī)劃再到Jenkins流水線的設(shè)計(jì)最后會(huì)重點(diǎn)講一下這套體系跑起來之后最常見的那些故障和排查思路。整個(gè)內(nèi)容都是按照我實(shí)際落地的順序來的你可以把它當(dāng)成一份從0到1的實(shí)戰(zhàn)筆記來看。1. 為什么偏偏是DockerK8sJenkins這三件套很多剛開始接觸云原生的朋友會(huì)問市面上的容器和編排工具那么多為什么組合來組合去最終繞不開這三樣。其實(shí)答案很簡單這三者分別解決的是不同層面的問題而且恰好能嚴(yán)絲合縫地銜接在一起。Docker解決的是環(huán)境一致性和打包標(biāo)準(zhǔn)化的問題。在沒有容器之前最經(jīng)典的一句話就是“在我機(jī)器上是好的啊”。開發(fā)環(huán)境、測試環(huán)境、生產(chǎn)環(huán)境之間的系統(tǒng)版本、依賴庫版本、配置差異導(dǎo)致同一個(gè)應(yīng)用在A機(jī)器上跑得好好的到了B機(jī)器上就各種報(bào)錯(cuò)。Docker把應(yīng)用二進(jìn)制文件和它依賴的所有庫、配置文件、環(huán)境變量打包成了一個(gè)只讀的鏡像然后用這個(gè)鏡像去創(chuàng)建容器運(yùn)行。所有環(huán)境跑的是同一個(gè)鏡像環(huán)境差異這個(gè)老大難問題從根上被解掉了。K8s解決的是大規(guī)模容器的編排調(diào)度和管理的問題。當(dāng)你的容器數(shù)量只有幾個(gè)的時(shí)候手動(dòng)docker run完全夠用。但當(dāng)容器數(shù)量上升到幾十個(gè)上百個(gè)分布在好幾臺(tái)機(jī)器上時(shí)你需要知道容器跑在哪些機(jī)器上、哪些容器掛掉了需要重啟、流量如何在不同副本間分發(fā)、高峰期怎么快速擴(kuò)容。這些都是K8s的看家本領(lǐng)。它把一組機(jī)器抽象成一個(gè)資源池你只需要聲明“我要跑3個(gè)副本”K8s自己會(huì)去找合適的機(jī)器把Pod拉起來。Jenkins解決的是整個(gè)鏈條的自動(dòng)化串聯(lián)的問題。代碼從提交到上線中間經(jīng)歷拉代碼、單元測試、鏡像構(gòu)建、鏡像推送、更新K8s deployment等一系列操作。Jenkins Pipeline把這些操作編排成一段可以版本管理的腳本只要代碼一提交到指定分支Pipeline自動(dòng)觸發(fā)一條龍跑完整個(gè)流程。它相當(dāng)于這條自動(dòng)化生產(chǎn)線的總控臺(tái)。這三者單獨(dú)拿出來各自都有替代品但組合在一起形成了一條從代碼到容器的完整通路。Docker負(fù)責(zé)把代碼變成鏡像K8s負(fù)責(zé)把鏡像變成服務(wù)Jenkins負(fù)責(zé)讓這一切自動(dòng)發(fā)生。理解了這一層依賴關(guān)系你再去看后文的實(shí)操內(nèi)容思路會(huì)清晰很多。2. 從一臺(tái)干凈服務(wù)器開始的Docker基礎(chǔ)環(huán)境搭建不管你是要在生產(chǎn)環(huán)境用還是先搭一套測試環(huán)境練手Docker的基礎(chǔ)環(huán)境都必須搞扎實(shí)。這里我把自己在Linux環(huán)境下的安裝過程和需要注意的點(diǎn)完整列出來。別小看這一步很多人后面出問題追根溯源都是Docker這一層就沒裝干凈。2.1 操作系統(tǒng)準(zhǔn)備與內(nèi)核參數(shù)調(diào)整Docker對宿主機(jī)內(nèi)核有要求官方推薦使用Linux內(nèi)核3.10以上版本。CentOS 7.9、Ubuntu 20.04及以上版本的系統(tǒng)默認(rèn)內(nèi)核都能滿足要求。我建議優(yōu)先選用Ubuntu 20.04以上的版本因?yàn)楹罄m(xù)K8s對內(nèi)核模塊和iptables版本的要求Ubuntu的兼容性明顯比CentOS 7系列省心。當(dāng)然CentOS 7.9也能跑但如果你還沒選型我會(huì)優(yōu)先推薦Ubuntu。裝系統(tǒng)的時(shí)候有一個(gè)細(xì)節(jié)值得注意磁盤分區(qū)時(shí)盡量把 /var 目錄單獨(dú)分一個(gè)大區(qū)。因?yàn)镈ocker默認(rèn)的數(shù)據(jù)目錄就掛在 /var/lib/docker 下面鏡像、容器層、卷數(shù)據(jù)全在這里。如果你把 / 和 /var 放在一起跑一陣子鏡像多了很容易把根分區(qū)撐爆。我見過不少同事的服務(wù)器掛掉不是系統(tǒng)出問題就是Docker數(shù)據(jù)目錄把磁盤塞滿了。安裝docker之前先確認(rèn)一下系統(tǒng)內(nèi)核網(wǎng)絡(luò)轉(zhuǎn)發(fā)功能是開啟的# 永久開啟內(nèi)核轉(zhuǎn)發(fā) cat EOF | sudo tee /etc/sysctl.d/k8s.conf net.ipv4.ip_forward 1 net.bridge.bridge-nf-call-iptables 1 EOF # 立即生效 sudo sysctl -p /etc/sysctl.d/k8s.conf這個(gè)配置非常關(guān)鍵如果不開啟后面容器和容器之間通信、容器訪問外網(wǎng)都會(huì)出現(xiàn)各種莫名其妙的超時(shí)問題。這一步做完再開始正式安裝Docker。2.2 Docker引擎安裝與國內(nèi)鏡像源加速我在Ubuntu上習(xí)慣用官方腳本或者是直接添加官方GPG密鑰來安裝。這里用最穩(wěn)妥的手動(dòng)方式# 卸載可能存在的舊版本 sudo apt-get remove docker docker-engine docker.io containerd runc # 安裝依賴 sudo apt-get update sudo apt-get install -y ca-certificates curl gnupg lsb-release # 添加Docker官方GPG密鑰 sudo mkdir -p /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg # 添加軟件源 echo \ deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) stable | sudo tee /etc/apt/sources.list.d/docker.list /dev/null sudo apt-get update sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin安裝完成后有一個(gè)國內(nèi)網(wǎng)絡(luò)環(huán)境下必須做的事——配置鏡像加速器。Docker Hub在國內(nèi)的訪問速度很不穩(wěn)定不配置加速器拉一個(gè)幾十MB的鏡像可能要等幾分鐘甚至更久一旦鏡像體積到幾百M(fèi)B基本就沒法用了。sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json -EOF { registry-mirrors: [ https://docker.m.daocloud.io ] } EOF sudo systemctl daemon-reload sudo systemctl restart docker關(guān)于鏡像加速地址這個(gè)變化頻率很快你可以在網(wǎng)上搜一下當(dāng)前可用的加速器。不同加速器的穩(wěn)定性和速度差別很大我建議是配置兩三個(gè)萬一某一個(gè)掛了還有備用的。另外提醒一句加速器只影響拉取鏡像不影響你往自己的私有倉庫推送鏡像。配置完成后驗(yàn)證Docker是否正常工作sudo docker run hello-world sudo docker info看到Server Version那行輸出版本號(hào)說明Docker引擎已經(jīng)正常工作了。2.3 Docker常用命令速查與理解容器生命周期Docker的命令很多但對于做DevOps鏈路來說高頻用到的就是鏡像管理和容器生命周期管理這兩類。這里把我平時(shí)最常用的命令整理成一個(gè)速查表命令作用備注docker pull 鏡像名:標(biāo)簽拉取鏡像到本地不寫標(biāo)簽?zāi)J(rèn)latestdocker images查看本地鏡像列表-docker rmi 鏡像ID刪除鏡像有容器引用時(shí)需先刪容器docker ps -a查看所有容器-a參數(shù)能看到退出的容器docker run -d --name 容器名 -p 宿主機(jī)端口:容器端口 鏡像名啟動(dòng)容器-d后臺(tái)運(yùn)行docker exec -it 容器ID bash進(jìn)入容器排障時(shí)常用docker logs -f 容器ID查看容器日志-f表示實(shí)時(shí)跟讀docker stop / docker rm停止/刪除容器-f參數(shù)可強(qiáng)制刪除運(yùn)行中容器docker system prune清理懸空鏡像和停止的容器慎用會(huì)刪除未使用的資源有一個(gè)很容易犯的誤區(qū)就是混淆了鏡像和容器的關(guān)系。打個(gè)比方鏡像是“類”容器是“實(shí)例”。同一個(gè)鏡像可以啟動(dòng)多個(gè)容器每個(gè)容器都是獨(dú)立運(yùn)行的。修改容器里的文件不會(huì)影響鏡像本身。所以當(dāng)你改了容器里的配置來排查問題發(fā)現(xiàn)重啟容器后配置又變回去了別慌這是正常的因?yàn)槿萜魇腔阽R像創(chuàng)建的。2.4 Docker數(shù)據(jù)卷和網(wǎng)絡(luò)的核心配置生產(chǎn)環(huán)境使用Docker有兩個(gè)問題必須有清醒的規(guī)劃數(shù)據(jù)持久化和網(wǎng)絡(luò)模型。數(shù)據(jù)卷用于解決容器刪除后數(shù)據(jù)丟失的問題。Docker容器是無狀態(tài)的容器一刪容器內(nèi)寫入的文件立即消失。對于MySQL、Redis這類需要存數(shù)據(jù)的應(yīng)用數(shù)據(jù)必須掛載到宿主機(jī)目錄或者使用命名卷。啟動(dòng)MySQL容器時(shí)我習(xí)慣這樣docker run -d \ --name mysql8 \ -p 3306:3306 \ -e MYSQL_ROOT_PASSWORDyourpassword \ -v /data/mysql:/var/lib/mysql \ mysql:8.0-v參數(shù)把宿主機(jī) /data/mysql 目錄映射到容器內(nèi)的數(shù)據(jù)目錄這樣即使容器損壞刪掉數(shù)據(jù)也還在宿主機(jī)上。在K8s環(huán)境里這個(gè)思想演變成了PersistentVolumePV和PersistentVolumeClaimPVC抽象底層邏輯是相通的。網(wǎng)絡(luò)方面Docker默認(rèn)的bridge網(wǎng)絡(luò)適合單機(jī)容器通信。但K8s集群里容器跨宿主機(jī)通信需要更復(fù)雜的網(wǎng)絡(luò)方案比如Calico、Flannel等。這一塊我們后面講K8s的時(shí)候再展開你在單機(jī)測試階段只要明白同一個(gè)宿主機(jī)上如果多個(gè)容器需要互相訪問可以通過自定義bridge網(wǎng)絡(luò)通信也可以通過宿主機(jī)端口映射訪問。這已經(jīng)是基本夠用的網(wǎng)絡(luò)知識(shí)了。3. K8s集群搭建前的硬件規(guī)劃與架構(gòu)設(shè)計(jì)思路K8s集群和Docker單機(jī)完全是兩個(gè)量級(jí)的復(fù)雜度。常見錯(cuò)誤是直接用一臺(tái)機(jī)器既裝Docker又裝K8s單節(jié)點(diǎn)一開始測試沒問題真正跑業(yè)務(wù)時(shí)才發(fā)現(xiàn)各種調(diào)度上的坑。我在搭建集群之前先把架構(gòu)規(guī)劃講清楚。3.1 生產(chǎn)環(huán)境最小集群的節(jié)點(diǎn)角色劃分K8s集群的基本角色分為Master節(jié)點(diǎn)控制平面和Worker節(jié)點(diǎn)工作節(jié)點(diǎn)。生產(chǎn)環(huán)境為了保證高可用Master節(jié)點(diǎn)至少要3臺(tái)通過高可用組件如keepalived或云廠商的負(fù)載均衡對外提供穩(wěn)定入口。但如果你搭建的是測試環(huán)境或者剛開始學(xué)習(xí)單Master節(jié)點(diǎn)的集群也能跑起來——只要你能接受管理節(jié)點(diǎn)掛了的時(shí)候整個(gè)集群不可調(diào)度這件事。我比較推薦的起步配置是1臺(tái)Master 2臺(tái)Worker或者3臺(tái)Master 3臺(tái)Worker。前者適合學(xué)習(xí)驗(yàn)證后者適合小規(guī)模生產(chǎn)。節(jié)點(diǎn)角色分配如下角色數(shù)量核心組件建議配置Master1~3kube-apiserver, kube-controller-manager, kube-scheduler, etcd4C8GSSDWorker2~3kubelet, kube-proxy, 容器運(yùn)行時(shí)8C16G起步Master節(jié)點(diǎn)的核心是etcd。etcd是K8s的大腦存儲(chǔ)了集群全部狀態(tài)數(shù)據(jù)它的讀寫性能直接決定集群的響應(yīng)速度。有條件的一定要把etcd數(shù)據(jù)目錄放到專門的高性能SSD盤上。我踩過的一個(gè)坑是etcd數(shù)據(jù)目錄和系統(tǒng)盤共用一塊普通機(jī)械硬盤集群一跑起來Pod調(diào)度和狀態(tài)同步慢得像蝸牛爬。3.2 如何規(guī)劃鏡像倉庫和存放鏡像的持久化存儲(chǔ)K8s要拉取鏡像來創(chuàng)建Pod鏡像從哪里來是一個(gè)需要提前想清楚的問題。如果K8s節(jié)點(diǎn)都直接去Docker Hub拉鏡像首先速度很難保證其次生產(chǎn)環(huán)境的鏡像是不能隨便用公共倉庫的。所以搭建K8s之前先把私有鏡像倉庫規(guī)劃好。常見的私有鏡像倉庫方案是Harbor它不僅支持鏡像存儲(chǔ)和權(quán)限控制還自帶漏洞掃描和復(fù)制功能是國內(nèi)使用最廣泛的方案之一。另一種輕量級(jí)的方案是直接使用Docker自帶的Registry鏡像簡單場景夠用但缺少UI界面和權(quán)限管理。構(gòu)建DevOps鏈路時(shí)我強(qiáng)烈建議第一步先把Harbor部署起來讓它成為整個(gè)體系的鏡像中轉(zhuǎn)站# 下載Harbor離線安裝包解壓后修改harbor.yml wget https://github.com/goharbor/harbor/releases/download/v2.9.0/harbor-offline-installer-v2.9.0.tgz tar xvf harbor-offline-installer-v2.9.0.tgz cd harbor cp harbor.yml.tmpl harbor.yml vim harbor.ymlharbor.yml里有幾個(gè)關(guān)鍵配置項(xiàng)hostname: 配置為你給Harbor規(guī)劃的域名或IPharbor_admin_password: 管理員的初始密碼安裝完記得改不要一直用默認(rèn)的Harbor12345data_volume: 鏡像存儲(chǔ)路徑建議單獨(dú)掛一個(gè)大磁盤如果只打算用HTTP訪問記得把https相關(guān)配置注釋掉配置完成后運(yùn)行./install.sh然后通過瀏覽器訪問http://你的服務(wù)器IP就能看到Web界面了。K8s節(jié)點(diǎn)從Harbor拉取私有鏡像有兩種方式。一是在每個(gè)節(jié)點(diǎn)上通過docker login登錄Harbor這樣Docker就會(huì)把憑證緩存到本地K8s經(jīng)由CRI調(diào)用容器運(yùn)行時(shí)拉鏡像時(shí)自然用上了。二是通過K8s的Secret機(jī)制創(chuàng)建鏡像拉取憑證kubectl create secret docker-registry regcred \ --docker-serveryour-harbor-server \ --docker-usernameadmin \ --docker-passwordyourpassword \ --docker-emailyourmailexample.com然后在Deployment的YAML里通過imagePullSecrets字段引用這個(gè)Secret。我后文在Jenkins流水線編排時(shí)應(yīng)用部署這一步會(huì)用到這個(gè)Secret你先把概念理解清楚。3.3 節(jié)點(diǎn)內(nèi)核參數(shù)與kubeadm初始化實(shí)戰(zhàn)K8s集群的搭建我推薦使用kubeadm工具這是官方推薦的標(biāo)準(zhǔn)工具零散手動(dòng)配置的步驟被大大簡化。但從實(shí)踐來看如果你在CentOS 7或者Ubuntu環(huán)境里按kubeadm流程走有幾個(gè)環(huán)節(jié)特別容易出錯(cuò)我專門列出來。首先是關(guān)閉swap分區(qū)。K8s集群節(jié)點(diǎn)要求關(guān)閉swap因?yàn)閗ubelet的cgroup管理默認(rèn)假設(shè)節(jié)點(diǎn)沒有啟用swapsudo swapoff -a sudo sed -i / swap / s/^/#/ /etc/fstab不關(guān)swap的話kubelet會(huì)直接啟動(dòng)失敗錯(cuò)誤日志會(huì)提示你“running with swap on is not supported, please disable swap”。這句話我太熟了當(dāng)初在虛擬機(jī)里折騰的時(shí)候第一次初始化失敗就是這個(gè)原因。然后是加載內(nèi)核模塊和設(shè)置系統(tǒng)參數(shù)cat EOF | sudo tee /etc/modules-load.d/k8s.conf overlay br_netfilter EOF sudo modprobe overlay sudo modprobe br_netfilter cat EOF | sudo tee /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-iptables 1 net.bridge.bridge-nf-call-ip6tables 1 net.ipv4.ip_forward 1 EOF sudo sysctl --system這些和Docker安裝時(shí)的內(nèi)核參數(shù)類似但K8s的要求更嚴(yán)格一些br_netfilter模塊必須加載否則iptables規(guī)則無法作用于bridge網(wǎng)絡(luò)流量Service的流量轉(zhuǎn)發(fā)會(huì)出問題。接下來就可以正式安裝kubelet、kubeadm、kubectl這三個(gè)核心組件并初始化集群了。安裝部分略過細(xì)節(jié)直接把初始化命令寫出來sudo kubeadm init \ --apiserver-advertise-address192.168.1.10 \ --image-repository registry.aliyuncs.com/google_containers \ --pod-network-cidr10.244.0.0/16 \ --kubernetes-versionv1.28.2這里有一個(gè)非常關(guān)鍵的參數(shù)--image-repository registry.aliyuncs.com/google_containers。因?yàn)镵8s核心組件鏡像默認(rèn)是從registry.k8s.io拉取的這個(gè)地址在部分網(wǎng)絡(luò)環(huán)境下訪問速度很慢甚至直接失敗。使用阿里云的鏡像倉庫加速可以快速拉取到所有K8s核心組件的鏡像。初始化成功之后按提示執(zhí)行配置kubectl的命令然后安裝Pod網(wǎng)絡(luò)插件。我用的比較多的是Calico它性能好并且支持NetworkPolicykubectl apply -f https://raw.githubusercontent.com/projectcalico/calico/v3.27.0/manifests/calico.yaml等kubectl get pods -n kube-system里所有Pod都變成Running狀態(tài)再將Worker節(jié)點(diǎn)加入集群。Worker節(jié)點(diǎn)上執(zhí)行kubeadm join命令這個(gè)命令在Master初始化時(shí)末尾會(huì)打印出來需要記下來。3.4 K8s的LNMP架構(gòu)部署實(shí)驗(yàn)理解工作負(fù)載和Service的核心邏輯集群搭好之后別急著跑各種復(fù)雜業(yè)務(wù)先用一個(gè)經(jīng)典的LNMP架構(gòu)部署實(shí)驗(yàn)把K8s的核心概念串一遍。這個(gè)實(shí)驗(yàn)特別適合驗(yàn)證集群網(wǎng)絡(luò)、存儲(chǔ)和Pod調(diào)度是否正常工作而且部署過程中能直觀理解K8s的幾個(gè)核心對象Deployment、Service、ConfigMap、PersistentVolumeClaim。LNMP架構(gòu)也就是Linux Nginx MySQL PHP的組合。在K8s里的部署思路是這樣拆分的MySQL作為有狀態(tài)服務(wù)需要持久化存儲(chǔ)用StatefulSet或DeploymentPVC的方式部署并通過ClusterIP Service 對內(nèi)暴露3306端口Nginx和PHP-FPM是典型的Web服務(wù)分別部署成DeploymentNginx通過ConfigMap配置反向代理到PHP-FPM的ServicePHP-FPM的代碼文件需要掛載共享存儲(chǔ)Nginx和PHP-FPM兩個(gè)Pod同時(shí)掛載同一個(gè)PVC這樣才能讓Nginx找到PHP文件這里以部署MySQL為例YAML長這樣apiVersion: v1 kind: PersistentVolumeClaim metadata: name: mysql-pvc spec: accessModes: - ReadWriteOnce resources: requests: storage: 10Gi --- apiVersion: apps/v1 kind: Deployment metadata: name: mysql spec: replicas: 1 selector: matchLabels: app: mysql template: metadata: labels: app: mysql spec: containers: - name: mysql image: mysql:8.0 ports: - containerPort: 3306 env: - name: MYSQL_ROOT_PASSWORD valueFrom: secretKeyRef: name: mysql-secret key: password volumeMounts: - name: mysql-data mountPath: /var/lib/mysql volumes: - name: mysql-data persistentVolumeClaim: claimName: mysql-pvc注意兩個(gè)細(xì)節(jié)一個(gè)是通過secretKeyRef從Secret里讀取MySQL的root密碼不要明文寫在YAML里另一個(gè)是通過PVC把MySQL數(shù)據(jù)持久化到集群存儲(chǔ)中Pod被重新調(diào)度到其他節(jié)點(diǎn)后數(shù)據(jù)不丟。我這個(gè)實(shí)驗(yàn)在第一次跑的時(shí)候也遇到了Pod調(diào)度失敗的情況原因是在PV還沒創(chuàng)建好的時(shí)候PVC一直處于Pending狀態(tài)Deployment對應(yīng)的Pod就卡在ContainerCreating。所以說K8s的排障第一步永遠(yuǎn)是看狀態(tài)、看事件kubectl describe pod能告訴你最直接的原因。4. Jenkins編排流水線打通提交代碼到滾動(dòng)上線的最后一公里整套體系中引入Jenkins的價(jià)值在于把所有手動(dòng)操作變成一條可控、可追溯、可重復(fù)執(zhí)行的流水線。你前面通過Docker解決了鏡像的構(gòu)建和交付通過K8s解決了應(yīng)用的部署和運(yùn)維而Jenkins負(fù)責(zé)把“構(gòu)建-推送-部署”這幾個(gè)環(huán)節(jié)串成一個(gè)整體。這一章我來講實(shí)際流水線的設(shè)計(jì)思路以及那些環(huán)境變量和權(quán)限控制的細(xì)節(jié)。4.1 Jenkins的兩種主要安裝方式對比Jenkins的安裝部署方式有幾種我給你分析一下各自的適用場景。傳統(tǒng)的方式是直接在服務(wù)器上安裝一個(gè)獨(dú)立的Java運(yùn)行環(huán)境然后跑Jenkins war包這是最經(jīng)典的玩法。優(yōu)點(diǎn)是排障直觀、符合大多數(shù)人的使用習(xí)慣缺點(diǎn)是和環(huán)境耦合較緊升級(jí)維護(hù)需要花時(shí)間。如果你已經(jīng)折騰過若干次Jenkins部署這套方式應(yīng)該很順手。另一種方式是Docker方式運(yùn)行Jenkins。官方鏡像jenkins/jenkins:lts-jdk17可以直接跑。優(yōu)點(diǎn)是隔離干凈升級(jí)鏡像即可升級(jí)Jenkins缺點(diǎn)是容器內(nèi)外文件權(quán)限、Docker socket掛載這些細(xì)節(jié)需要特別注意。我個(gè)人的建議是如果打算做完整的DevOps鏈路推薦Docker方式運(yùn)行Jenkins但需要把Docker socket掛載給Jenkins容器。什么意思就是讓Jenkins容器能直接調(diào)用宿主機(jī)的Docker守護(hù)進(jìn)程這樣流水線里可以直接執(zhí)行docker build、docker push這些命令而不需要在Jenkins容器內(nèi)再套一層Docker也就是所謂的Docker in Docker這個(gè)方案弊病不少不建議用。Docker方式啟動(dòng)Jenkins的命令大致長這樣docker run -d \ --name jenkins \ -p 8080:8080 \ -p 50000:50000 \ -v /var/jenkins_home:/var/jenkins_home \ -v /var/run/docker.sock:/var/run/docker.sock \ -v /usr/bin/docker:/usr/bin/docker \ jenkins/jenkins:lts-jdk17這中間有兩個(gè)極容易踩的坑。第一個(gè)容器內(nèi)的用戶是jenkinsUID 1000而掛載的宿主機(jī)目錄如果權(quán)限設(shè)置不對Jenkins容器寫不了/var/jenkins_home目錄初始化就會(huì)失敗。解決辦法是宿主機(jī)上先創(chuàng)建好目錄并授權(quán)mkdir -p /var/jenkins_home chown -R 1000:1000 /var/jenkins_home第二個(gè)掛載Docker socket之后Jenkins容器內(nèi)執(zhí)行docker命令實(shí)際上操作的是宿主機(jī)Docker這帶來便利的同時(shí)也意味著——任何能創(chuàng)建Jenkins Job的人都相當(dāng)于擁有了宿主機(jī)的root權(quán)限。權(quán)限分配上必須格外謹(jǐn)慎不能讓每個(gè)普通開發(fā)都隨便創(chuàng)建自由的Pipeline任務(wù)。4.2 第一次跑通流水線必須搞懂的Jenkins Pipeline語法Jenkins Pipeline有兩種寫法一種是Declarative Pipeline聲明式一種是Scripted Pipeline腳本式。我更推薦聲明式因?yàn)樗Y(jié)構(gòu)清晰、強(qiáng)制定義了各個(gè)階段而且配合Blue Ocean界面觀看執(zhí)行過程非常直觀。一個(gè)典型的聲明式Pipeline骨架是這樣的pipeline { agent any environment { DOCKER_REGISTRY your-harbor-server.com DOCKER_CREDENTIALS credentials(harbor-admin) } stages { stage(Checkout) { steps { git branch: main, url: https://your-gitlab.com/your-project.git, credentialsId: gitlab-credentials } } stage(Build Image) { steps { script { docker.withRegistry(https://${DOCKER_REGISTRY}, harbor-admin) { def customImage docker.build(${DOCKER_REGISTRY}/library/myapp:${BUILD_NUMBER}) customImage.push() } } } } stage(Deploy to K8s) { steps { script { sh kubectl set image deployment/myapp \ myapp${DOCKER_REGISTRY}/library/myapp:${BUILD_NUMBER} -n production } } } } }這段代碼里有幾個(gè)關(guān)鍵點(diǎn)需要逐一解釋。第一個(gè)是agent any。它表示這個(gè)Pipeline可以在任何一個(gè)可用的Jenkins執(zhí)行器上運(yùn)行。如果你有多個(gè)不同用途的節(jié)點(diǎn)比如一個(gè)專用于構(gòu)建鏡像的節(jié)點(diǎn)可以替換成agent { label docker-builder }。第二個(gè)是environment塊里的DOCKER_REGISTRY。這個(gè)值建議不要直接寫死在代碼里而是通過Jenkins的配置或者環(huán)境變量統(tǒng)一管理。否則不同環(huán)境的Harbor地址變了你還得回頭改代碼不能忍。第三個(gè)是docker.withRegistry這個(gè)DSL語法。它能自動(dòng)用給定的憑證harbor-admin登錄Harbor完成鏡像構(gòu)建和推送。這里的credentialsId對應(yīng)的是Jenkins里提前配置好的用戶名密碼憑證。在Jenkins管理后臺(tái)的“憑據(jù)”頁面添加一個(gè)“Username with password”的憑據(jù)ID填成harbor-admin即可。第四個(gè)是部署階段的kubectl set image命令。這是最直觀的一種“滾動(dòng)更新”做法直接命令K8s把某個(gè)Deployment的鏡像tag更新K8s會(huì)自動(dòng)觸發(fā)一次滾動(dòng)更新逐步替換舊Pod。相比用kubectl apply -f去apply一個(gè)新的YAML文件set image更輕量適合快速更新。4.3 參數(shù)化構(gòu)建同一個(gè)Job如何同時(shí)支持手動(dòng)選擇模塊和其他觸發(fā)方式實(shí)際工作中你會(huì)遇到一個(gè)很典型的需求同一個(gè)應(yīng)用可能分為多個(gè)模塊日常提交代碼時(shí)只需要構(gòu)建發(fā)生變更的那個(gè)模塊而不是每次把整個(gè)項(xiàng)目重頭構(gòu)建一遍但有時(shí)候測試又希望手動(dòng)指定構(gòu)建哪個(gè)模塊跑完整流程。這個(gè)需求在Jenkins里是通過參數(shù)化構(gòu)建實(shí)現(xiàn)的。在Pipeline里定義一個(gè)Choice參數(shù)讓用戶在點(diǎn)擊“立即構(gòu)建”時(shí)選擇模塊pipeline { agent any parameters { choice(name: MODULE, choices: [all, user-service, order-service, gateway], description: 請選擇要構(gòu)建的模塊) string(name: VERSION, defaultValue: v1.0.0, description: 指定鏡像版本號(hào)) } stages { stage(Checkout) { steps { // 拉取代碼 } } stage(Build Selected Module) { steps { script { switch (params.MODULE) { case all: sh ./build-all.sh break case user-service: sh ./build-module.sh user-service break default: sh ./build-module.sh ${params.MODULE} } } } } } }結(jié)合定時(shí)觸發(fā)如果你希望每天凌晨都跑一遍全量構(gòu)建不需要人工值班盯著就在Pipeline里增加一個(gè)triggers { cron(H 2 * * *) }當(dāng)手動(dòng)參數(shù)化構(gòu)建和定時(shí)觸發(fā)同時(shí)存在時(shí)Jenkins默認(rèn)工作得很好手動(dòng)點(diǎn)構(gòu)建就走手動(dòng)參數(shù)構(gòu)建定時(shí)觸發(fā)時(shí)參數(shù)使用默認(rèn)值對于choice默認(rèn)取第一個(gè)選項(xiàng)“all”。我之前也擔(dān)心過這兩者會(huì)不會(huì)沖突實(shí)測下來是不會(huì)的——定時(shí)觸發(fā)的構(gòu)建和使用默認(rèn)參數(shù)手動(dòng)觸發(fā)構(gòu)建本質(zhì)上等價(jià)它們會(huì)各自生成一次獨(dú)立的Build記錄不會(huì)互相干擾。這里有一個(gè)我實(shí)際踩過的坑想提醒你。當(dāng)初為了圖省事把多個(gè)模塊的全部代碼放在同一個(gè)Git倉庫里Pipeline里執(zhí)行 git checkout 時(shí)拉取的是整個(gè)倉庫。當(dāng)代碼倉庫膨脹到幾個(gè)G的時(shí)候每次構(gòu)建光是拉代碼就花好幾分鐘。對這種情況我后來在Pipeline里加入了sparse checkout的優(yōu)化策略只拉取與本次構(gòu)建模塊相關(guān)的目錄構(gòu)建速度提升非常明顯。4.4 Jenkins憑證管理和權(quán)限控制的細(xì)節(jié)Jenkins涉及Git憑證、Harbor憑證、K8s的kubeconfig憑證、云平臺(tái)AK/SK憑證如果管理不當(dāng)安全性會(huì)成為一個(gè)很大的隱患。我在這里提供一套簡潔但有效的做法。所有憑證統(tǒng)一走Jenkins的“憑據(jù)”管理頁面。Pipeline里通過credentials()或者withCredentials來引用。例如引用一個(gè)SSH私鑰類型的憑證withCredentials([sshPrivateKey(credentialsId: gitlab-ssh-key, keyFileVariable: SSH_KEY)]) { sh GIT_SSH_COMMANDssh -i $SSH_KEY -o StrictHostKeyCheckingno git clone gityour-gitlab:yourproject.git }權(quán)限控制方面重點(diǎn)介紹如何配置只給某個(gè)用戶某個(gè)Job的權(quán)限而不是把所有Jenkins的全部權(quán)限都放開。Jenkins插件Role-based Strategy能實(shí)現(xiàn)精細(xì)化的權(quán)限管控。大致做法是安裝Role-based Authorization Strategy插件在“Manage Jenkins” - “Security”里把授權(quán)策略切換成“Role-Based Strategy”在“Manage and Assign Roles”下創(chuàng)建一個(gè)Project角色并用正則表達(dá)式指定該角色能訪問哪些Job例如/^myapp-.*/表示可以操作所有myapp-前綴的Job把具體用戶分配到這個(gè)角色名下這樣我就能放心地讓前端開發(fā)只擁有構(gòu)建自己前端項(xiàng)目的權(quán)限無法觸達(dá)后端部署任務(wù)而運(yùn)維則持有全量管理權(quán)限。還有一點(diǎn)關(guān)于Jenkins可用環(huán)境變量的說明。在Pipeline里像${BUILD_NUMBER}、${JOB_NAME}、${WORKSPACE}這些內(nèi)置環(huán)境變量非常常用。它們的含義分別是構(gòu)建序號(hào)、任務(wù)名稱、工作區(qū)路徑。其中BUILD_NUMBER我特別常用因?yàn)樗烊皇菃握{(diào)遞增的非常適合作為鏡像的tag。每個(gè)鏡像都用BUILD_NUMBER來標(biāo)記后續(xù)排查問題時(shí)分分鐘能通過鏡像tag反查出是哪次構(gòu)建產(chǎn)生的格外方便。4.5 Jenkins與GitLab同機(jī)部署的兼容性研判有朋友問過我Jenkins和GitLab能不能運(yùn)行在同一臺(tái)主機(jī)的Docker里這個(gè)問題我仔細(xì)驗(yàn)證過直接給結(jié)論可以前提是宿主機(jī)的資源給夠。GitLab本身是一個(gè)比較吃內(nèi)存的應(yīng)用官方建議至少4GB內(nèi)存才能流暢運(yùn)轉(zhuǎn)Jenkins作為持續(xù)集成服務(wù)構(gòu)建任務(wù)多的時(shí)候也非常消耗CPU和內(nèi)存。如果兩臺(tái)服務(wù)共用一臺(tái)8G內(nèi)存的機(jī)器我實(shí)測下來機(jī)器會(huì)比較吃力偶爾會(huì)出現(xiàn)構(gòu)建卡頓或GitLab響應(yīng)變慢。我的建議是測試環(huán)境8G內(nèi)存起步、16G更穩(wěn)生產(chǎn)環(huán)境單獨(dú)部署。如果你只是為了本地體驗(yàn)或小團(tuán)隊(duì)內(nèi)網(wǎng)用同機(jī)Docker部署完全可行分別映射兩個(gè)端口GitLab 80/443Jenkins 8080互不沖突。有一點(diǎn)要注意兩個(gè)容器不要同時(shí)掛在同一個(gè)加速器端口上啟動(dòng)時(shí)用docker run -p指定不同的宿主端口就可以了。5. 從Docker Compose平滑升級(jí)到K8s容器編排的演進(jìn)之路很多團(tuán)隊(duì)早期的容器化方案都是從Docker Compose開始。Compose在單機(jī)上管理多個(gè)容器確實(shí)非常方便用一個(gè)docker-compose.yml文件就能把一組服務(wù)定義清楚然后一條命令docker-compose up -d啟動(dòng)全部服務(wù)。但當(dāng)服務(wù)數(shù)量增長、需要跨多臺(tái)宿主機(jī)部署時(shí)Compose就力不從心了。這需要順理成章地演進(jìn)到K8s。好消息是從Compose到K8s是有平滑過渡路線的。5.1 為什么Compose撐不住而K8s可以Compose的編排模型是“一臺(tái)宿主機(jī)上的多個(gè)容器”它雖然能定義服務(wù)、網(wǎng)絡(luò)、卷但無法解決跨節(jié)點(diǎn)的服務(wù)發(fā)現(xiàn)、自動(dòng)擴(kuò)縮容、故障自愈等分布式場景下的核心問題。而K8s天然把這些能力內(nèi)建了。最直觀的差異表現(xiàn)在擴(kuò)縮容能力上。Compose想擴(kuò)展某個(gè)服務(wù)的副本數(shù)需要手動(dòng)改配置文件再加上--scale參數(shù)擴(kuò)展出來的副本也都在這臺(tái)機(jī)器上無法跨節(jié)點(diǎn)調(diào)度。K8s里只需要kubectl scale deployment myapp --replicas5自動(dòng)在集群中挑選可用節(jié)點(diǎn)去分布這5個(gè)副本遇到有節(jié)點(diǎn)宕機(jī)K8s會(huì)把上面的Pod自動(dòng)遷移到健康節(jié)點(diǎn)重新拉起。這就是云原生架構(gòu)的“不可變基礎(chǔ)設(shè)施”思想的落地副本是一種聲明期望狀態(tài)控制器負(fù)責(zé)去實(shí)現(xiàn)這個(gè)期望狀態(tài)。5.2 讓Compose時(shí)代的鏡像無縫跑進(jìn)K8s好消息是如果你已經(jīng)有了標(biāo)準(zhǔn)的Docker鏡像和Compose配置文件遷移到K8s的成本思想負(fù)擔(dān)比想象中小很多。因?yàn)镃ompose里的服務(wù)定義和K8s里的Deployment、Service、ConfigMap在邏輯上一一對應(yīng)。比如Compose里的一段服務(wù)定義services: web: image: nginx:1.25 ports: - 8080:80 environment: - ENVprod對應(yīng)的K8s Deployment就是apiVersion: apps/v1 kind: Deployment metadata: name: web spec: replicas: 3 selector: matchLabels: app: web template: metadata: labels: app: web spec: containers: - name: web image: nginx:1.25 ports: - containerPort: 80 env: - name: ENV value: prod需要注意的是Compose的ports映射是“宿主機(jī)端口:容器端口”K8s通常不推薦這種宿主機(jī)端口隔離模式而是建議用Service抽象。因?yàn)镵8s集群里的Pod IP是隨時(shí)變化的你不能指望外部直接通過某個(gè)固定IP和端口去訪問它。正確方式是創(chuàng)建一個(gè)Service對象由K8s為Service分配一個(gè)穩(wěn)定的虛擬IPClusterIP并在集群內(nèi)部做負(fù)載均衡和轉(zhuǎn)發(fā)apiVersion: v1 kind: Service metadata: name: web-service spec: selector: app: web ports: - protocol: TCP port: 80 targetPort: 80 type: ClusterIP如果希望從集群外部訪問把type改為NodePortK8s會(huì)在每個(gè)節(jié)點(diǎn)上選擇一個(gè)端口范圍默認(rèn)30000-32767轉(zhuǎn)發(fā)到Service。生產(chǎn)環(huán)境通常再用Ingress如Nginx Ingress Controller或Traefik統(tǒng)一管理外部訪問入口基于域名做路由轉(zhuǎn)發(fā)避免直接暴露一堆NodePort端口。從實(shí)踐來看Compose遷移到K8s最容易出錯(cuò)的不是YAML寫不寫得出來而是你還沒適應(yīng)“Pod是臨時(shí)動(dòng)物”這個(gè)新的世界觀。在Compose時(shí)代你習(xí)慣盯著某個(gè)固定容器看日志到K8s里Pod隨時(shí)可能因?yàn)檎{(diào)度、重啟、故障被銷毀重建你需要盡快習(xí)慣地把注意力放到Deployment、Service、以及各種控制器的期望狀態(tài)上而不是某個(gè)具體Pod本身。6. 這套體系跑起來之后那些高頻故障和完整排查思路講完構(gòu)建鏈路最要緊的還是運(yùn)維階段的真實(shí)故障。這里我把這套體系上線這幾個(gè)月以來遇到頻率最高的幾個(gè)問題以及我的完整排查思路整理出來這部分內(nèi)容價(jià)值比較高建議你先收藏等出了類似問題再翻回來對照看看。6.1 K8s Pod卡在ContainerCreating到底卡在哪一步Pod一直處于ContainerCreating狀態(tài)是新手和高頻碰到最多的現(xiàn)象。排查的第一步不是盯著kubectl get pods干等而是用kubectl describe pod查看詳細(xì)事件kubectl describe pod pod-name -n namespace事件里通常會(huì)出現(xiàn)幾類不同的信息對應(yīng)的原因和處理方式完全不同。一種常見的情況是鏡像拉取失敗事件里會(huì)有Failed to pull image或者ImagePullBackOff。這就要檢查鏡像名寫沒寫錯(cuò)、鏡像是否存在、拉取憑證是否配好。尤其用到私有Harbor時(shí)如果鏡像名里帶了Harbor的地址但Secret沒創(chuàng)建或沒在Deployment里引用事件里會(huì)出現(xiàn)x509: certificate signed by unknown authority或unauthorized: authentication required這就是憑證問題去查Secret的創(chuàng)建和引用是否正確。另一種常見情況是端口占用或硬盤資源不足事件里明確告訴你端口bind失敗或者Failed to create pod sandbox。這種事件通常會(huì)伴隨具體的報(bào)錯(cuò)信息比如no space left on device說明docker數(shù)據(jù)目錄爆了。處理方式建議清理無用的鏡像和容器docker system prune -a --volumes還有一種是PVC一直無法掛載事件里提示FailedMount。這種情況一般是PV沒有綁定成功PVC處于Pending狀態(tài)。用kubectl get pvc查看PVC狀態(tài)如果確實(shí)是Pending再用kubectl describe pvc查看底層卷提供商返回的錯(cuò)誤。排查思路切記一條鐵律先看事件再看日志最后看網(wǎng)絡(luò)。不要一上來就憑感覺重啟所有東西。事件里往往藏著最直接的原因。6.2 Pod反復(fù)重啟的CrashLoopBackOff日志與探針的配合診斷另一個(gè)高頻問題就是Pod能創(chuàng)建成功但一直處于CrashLoopBackOff狀態(tài)意思就是容器啟動(dòng)后立即崩潰被K8s反復(fù)重啟進(jìn)入退避循環(huán)。排查第一件事肯定是看日志kubectl logs pod-name -n namespace如果Pod在啟動(dòng)過程中就崩了日志可能很短只看到類似exec /bin/sh: exec format error之類的啟動(dòng)報(bào)錯(cuò)這說明鏡像的啟動(dòng)腳本跟你聲明的command參數(shù)不匹配或者說鏡像構(gòu)建時(shí)平臺(tái)不對比如構(gòu)建了arm64的鏡像試圖跑在amd64節(jié)點(diǎn)上。另一個(gè)容易被忽略的原因和健康檢查探針有關(guān)。如果你的Deployment配置了livenessProbe存活探針并且探針的路徑、端口配置錯(cuò)誤導(dǎo)致K8s認(rèn)為容器不健康也會(huì)主動(dòng)重啟容器甚至把它當(dāng)成反復(fù)崩潰來重啟。所以看到CrashLoopBackOff不要一心只懷疑應(yīng)用本身要看日志里是否有探針失敗的痕跡。使用kubectl describe pod查看Events列表里有沒有Liveness probe failed或者Readiness probe failed。排查出來之后第一步不是改應(yīng)用而是確認(rèn)探針的路徑是否正確、端口是否對應(yīng)容器內(nèi)的監(jiān)聽端口、超時(shí)時(shí)間是否太短導(dǎo)致誤判。6.3 DNS解析時(shí)好時(shí)壞CoreDNS的配置是重點(diǎn)集群里經(jīng)常有應(yīng)用之間通過Service域名互相訪問比如前端Pod通過http://backend-service訪問后端服務(wù)。如果出現(xiàn)時(shí)好時(shí)壞的連接失敗很大概率就是CoreDNS出了狀況。CoreDNS是K8s集群內(nèi)的DNS服務(wù)負(fù)責(zé)把Service名稱解析成ClusterIP。排查DNS問題的流程是先確認(rèn)CoreDNS Pod本身是否健康kubectl get pods -n kube-system | grep coredns如果CoreDNS的Pod一直處于Restic狀態(tài)或者大量重啟查看它的日志kubectl logs -n kube-system -l k8s-appkube-dns --tail100常用的定位方法是在故障應(yīng)用所在的Pod里直接測試DNS解析kubectl exec -it pod-name -n namespace -- nslookup backend-service如果提示解析不到檢查Service的名稱和命名空間是否寫對。跨命名空間的訪問要用backend-service.production.svc.cluster.local這樣的FQDN。還有一個(gè)小細(xì)節(jié)如果節(jié)點(diǎn)上的/etc/resolv.conf配置了特殊的本地DNS參數(shù)可能會(huì)影響Pod內(nèi)DNS解析。K8s的Pod默認(rèn)dnsPolicy是ClusterFirst意思是優(yōu)先使用集群內(nèi)的CoreDNS。如果你在Pod定義里設(shè)置了hostNetwork: trueDNS策略可能會(huì)繼承宿主機(jī)的配置造成解析不規(guī)則。6.4 鏡像拉取慢的應(yīng)急預(yù)案即使配置了鏡像加速器也難免遇到某些鏡像就是拉不下來或者特別慢的情況。特別是在新節(jié)點(diǎn)加入集群時(shí)需要一次性拉取所有基礎(chǔ)鏡像那速度簡直讓人著急。我的補(bǔ)救思路有兩條第一條提前預(yù)拉鏡像。集群里跑的業(yè)務(wù)相對固定可以做一個(gè)離線鏡像包把常用的基礎(chǔ)鏡像Nginx、MySQL、Redis、自研應(yīng)用鏡像提前在部署節(jié)點(diǎn)上手動(dòng)docker pull一遍后續(xù)Pod調(diào)度到這些節(jié)點(diǎn)時(shí)就不用臨時(shí)拉取。第二條給Containerd或Docker配置鏡像倉庫的代理加速。如果你的私有Harbor是內(nèi)網(wǎng)訪問的可以在K8s節(jié)點(diǎn)上配置HTTP代理讓Docker拉取公共鏡像時(shí)走穩(wěn)定通道。這個(gè)方法配置項(xiàng)比較瑣碎核心是在Docker的daemon.json里增加代理設(shè)置。這里有一個(gè)安全前提代理服務(wù)器的出口必須是合法合規(guī)的不能用任何不合規(guī)方式繞過網(wǎng)絡(luò)管理的要求。6.5 多節(jié)點(diǎn)通信異常時(shí)的網(wǎng)絡(luò)排查鏈路K8s集群節(jié)點(diǎn)間通信出現(xiàn)問題應(yīng)用間的訪問會(huì)大面積失敗這種問題最讓人壓力大。排查通常從Service層面開始kubectl get svc -A kubectl get endpoints -Aendpoints的列表能告訴你Service后面實(shí)際關(guān)聯(lián)的Pod IP。如果endpoints為空說明Service的selector沒匹配到任何Pod檢查Deployment的labels和Service的selector是否對得上。如果endpoints正常應(yīng)用還是訪問不通就要在故障Pod里直接測試ClusterIPkubectl exec -it pod-name -n namespace -- curl http://cluster-ip如果ClusterIP都不通大概率是網(wǎng)絡(luò)插件問題了。Calico的Pod狀態(tài)要先確認(rèn)kubectl get pods -n kube-system | grep calicoCalico正常運(yùn)行時(shí)有種經(jīng)典問題是節(jié)點(diǎn)之間OpenStack或VPC安全組把BGP端口封了導(dǎo)致Calico網(wǎng)絡(luò)建不起來。這種問題排查起來相當(dāng)隱蔽延綿好幾個(gè)小時(shí)。我的建議是任何時(shí)候做跨節(jié)點(diǎn)通信實(shí)驗(yàn)之前先確保自己的基礎(chǔ)設(shè)施安全組和系統(tǒng)防火墻沒有屏蔽節(jié)點(diǎn)之間的通訊端口比如Calico用的BGP 179端口?;A(chǔ)網(wǎng)絡(luò)不通上層K8s怎么折騰都白搭。7. 結(jié)合業(yè)務(wù)規(guī)模做選型時(shí)的常見問題答疑最后這部分我總結(jié)了一些網(wǎng)友和同事問得最多的問題這些問題沒有絕對唯一的答案但我會(huì)給出符合大多數(shù)場景的經(jīng)驗(yàn)判斷希望能幫你少走一些彎路。7.1 云原生AI運(yùn)維優(yōu)化與自動(dòng)化交付項(xiàng)目怎么結(jié)合這套體系最近AI和大模型相關(guān)的項(xiàng)目比較多圍繞K8s的AI運(yùn)維優(yōu)化也常常被問起。如果你做的自動(dòng)化交付項(xiàng)目需要承載AI訓(xùn)練或推理任務(wù)那么這套體系依然可以沿用但需要在幾個(gè)地方做針對性的加強(qiáng)。AI訓(xùn)練任務(wù)通常需要GPU資源。K8s集群需要提前安裝Device Plugin組件如NVIDIA Device Plugin然后在Pod配置里聲明resources.limits: nvidia.com/gpu: 1調(diào)度器才能識(shí)別GPU資源并分配。這部分我測試下來穩(wěn)定性尚可但要注意GPU節(jié)點(diǎn)的驅(qū)動(dòng)和容器運(yùn)行時(shí)兼容性。另一個(gè)與AI更相關(guān)的是模型版本的管理。模型的版本和服務(wù)代碼的版本一樣需要被記錄、被回滾??梢园涯P臀募瑫r(shí)打進(jìn)鏡像做成帶版本號(hào)的純鏡像交付物或者把模型掛在對象存儲(chǔ)中在部署時(shí)通過環(huán)境變量指定版本路徑。這兩種方式前者簡化了部署流程后者更靈活且鏡像更小。如果你傾向于頻繁更新模型但代碼很少改動(dòng)我建議后者。7.2 Docker Desktop和Linux的Docker有什么區(qū)別很多朋友在Windows上學(xué)習(xí)Docker用的是Docker Desktop。這里我覺得有必要明確一個(gè)使用邊界。Docker Desktop在Windows上依賴虛擬化技術(shù)如WSL2或Hyper-V運(yùn)行Linux虛擬機(jī)在開發(fā)聯(lián)調(diào)階段完全可以正常使用。包括安裝Nginx、MySQL、Redis這些開發(fā)依賴Docker Desktop完全勝任。但如果是部署到生產(chǎn)環(huán)境的K8s集群那肯定是以Linux服務(wù)器為主。如果你在Docker Desktop上測試K8s可以直接用它內(nèi)置的Kubernetes功能或者配合kindKubernetes in Docker工具做單機(jī)測試效果和體驗(yàn)都很不錯(cuò)。但和學(xué)習(xí)生產(chǎn)級(jí)部署的區(qū)別要心里有數(shù)Docker Desktop屏蔽了很多網(wǎng)絡(luò)、存儲(chǔ)和系統(tǒng)底層的細(xì)節(jié)動(dòng)手部署時(shí)還是建議在Linux虛擬機(jī)上從零搭建一遍這個(gè)過程才能真正掌握K8s的完整原理。7.3 Docker和K8s的區(qū)別一句話說透有不少剛?cè)腴T的朋友分不清Docker和K8s的區(qū)別。我提供一個(gè)特別直白的類比Docker相當(dāng)于集裝箱制造廠它把貨物打包成一個(gè)個(gè)標(biāo)準(zhǔn)集裝箱容器鏡像K8s相當(dāng)于港口調(diào)度系統(tǒng)它負(fù)責(zé)把成千上萬只集裝箱正確分配到不同的貨船節(jié)點(diǎn)上并且管理它們的啟航、靠泊和冗余。簡單說Docker容器化是基礎(chǔ)K8s編排是平臺(tái)。一個(gè)管打包一個(gè)管調(diào)度。兩者聯(lián)動(dòng)才能構(gòu)成完整的云原生基礎(chǔ)設(shè)施底座。7.4 學(xué)習(xí)路線圖和時(shí)間投入預(yù)期關(guān)于云原生學(xué)習(xí)路線我經(jīng)常被問到“從零到熟練掌握這套體系需要多久”。我根據(jù)自己帶過的新人團(tuán)隊(duì)的實(shí)際節(jié)奏給出一個(gè)保守但現(xiàn)實(shí)的預(yù)期基礎(chǔ)階段2-4周掌握Docker的鏡像、容器、卷、網(wǎng)絡(luò)、Compose的使用。這個(gè)階段去B站等視頻平臺(tái)找?guī)讉€(gè)完整的實(shí)戰(zhàn)教程跟著把LNMP環(huán)境用Docker跑起來基本就入門了。不用貪多但一定要?jiǎng)邮?。進(jìn)階階段4-6周掌握K8s常用對象Pod、Deployment、Service、Ingress、ConfigMap、Secret、PVC的用法獨(dú)立部署一套單Master集群并成功部署一次LNMP架構(gòu)。這個(gè)階段重點(diǎn)理解Pod的調(diào)度邏輯和Service的流量轉(zhuǎn)發(fā)機(jī)制。DevOps串聯(lián)階段2-4周安裝Jenkins把Git代碼提交到觸發(fā)構(gòu)建、推送鏡像、更新K8s Deployment整條Pipeline跑通。體會(huì)參數(shù)化構(gòu)建、憑證管理、多分支流水線這些功能的實(shí)際用途。整體下來兩到三個(gè)月的業(yè)余時(shí)間投入能完成基本功。但如果你在過程中不斷遇到一些奇怪的網(wǎng)絡(luò)、存儲(chǔ)問題那這些“意外”本身就是最寶貴的經(jīng)驗(yàn)踩過的每一個(gè)坑都會(huì)加速你的成長。8. 再聊幾個(gè)我來回折騰多次后沉淀下來的經(jīng)驗(yàn)整套體系跑通到現(xiàn)在有幾個(gè)經(jīng)驗(yàn)是我想特別多強(qiáng)調(diào)幾句的因?yàn)樗鼈儾皇强垂俜轿臋n能直接看出來的而是需要在實(shí)際操作中反復(fù)碰壁才能體會(huì)到。第一件事是關(guān)于鏡像倉庫的規(guī)劃。我見過一些團(tuán)隊(duì)Harbor只要能用就開始用從來沒有做過鏡像清理策略。跑了半年倉庫里堆滿了不同tag的鏡像占用好幾個(gè)T的存儲(chǔ)空間。我建議從第一天就啟用Harbor的鏡像清理規(guī)則保留最近幾個(gè)版本比如每條tag只保留最近10個(gè)過期自動(dòng)回收。存儲(chǔ)省下來了排查版本問題也更清爽。第二件事是Jenkins的插件管理。我強(qiáng)烈建議不要為了圖方便“建議安裝”所有插件。插件太多版本沖突和啟動(dòng)緩慢的問題會(huì)撲面而來。只安裝實(shí)際需要的插件典型的有Blue Ocean、Pipeline、Git、Kubernetes CLI、Role-based Strategy、Docker Pipeline這幾個(gè)就夠了。裝得太多升級(jí)時(shí)維護(hù)成本呈指數(shù)增長。第三件事是日志收集的提前規(guī)劃。K8s里的Pod是隨時(shí)流動(dòng)的容器一旦被銷毀重建日志就隨容器一起消失了。想排障的時(shí)候發(fā)現(xiàn)日志沒了那種無力感我這輩子不想再經(jīng)歷。所以整套體系里一定要有一個(gè)日志接收端最輕量的方案是部署一套LokiPromtail或者ELK全家桶也行。Promtail收集每個(gè)節(jié)點(diǎn)上容器日志Loki存儲(chǔ)和查詢這套東西搭好之后感覺就像給系統(tǒng)加裝了行車記錄儀排查問題心里有底。第四件事是關(guān)于開發(fā)環(huán)境和生產(chǎn)環(huán)境的隔離。有不少小團(tuán)隊(duì)圖省事開發(fā)和測試環(huán)境共用一套K8s集群用Namespace區(qū)分。我可以明確告訴你這會(huì)在資源隔離層面制造麻煩。有一些Pod在開發(fā)環(huán)境里瘋狂吃資源很容易影響生產(chǎn)應(yīng)用。有條件就讓集群全隔離別在同一套集群里混跑不同環(huán)境。這些經(jīng)驗(yàn)對我來說都是真金白銀買來的分享出來希望你能少走幾段彎路。整套DockerK8sJenkins的鏈路單看每一環(huán)都不難理解但把它們捏合成一個(gè)穩(wěn)定的自動(dòng)化體系確實(shí)需要大量實(shí)踐。如果你正在搭建自己的體系遇到具體報(bào)錯(cuò)可以照著文章里的排查鏈路一步不落地走一遍大概率能自己找到答案。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲五月六丁香激情| 五月丁香毛片| 婷婷五月天在婷| 国产毛片精品一区二区色欲黄A片| 日本啪啪天堂| 日韩aaaaa| 成人色五月天婷婷| 亚洲无AV在线中文字幕| 久久网思思| 搡BBBB搡BBB搡18| 丁香五月第九色| 99无码视频| 久久九九怡红院| 色偷偷综合| 激情五月天丁香| 尔尔AV一区| 九九99精品视频在线观看| 五月婷亚洲精品AV天堂| 婷婷第六色| 五月婷婷色色| 日日爱699| 丁香五月亚洲综合| 久操福利| 就爱干 在线| 91无码色色| 五月婷婷成人网首页| 99这里有精品| 五月天另类视频| 激情综合五月| 久久婷婷色| 99精品在线| tingtingjiqingwuyue| 婷婷五月天伊人网| 午夜婷婷五月天在线| 婷婷丁香五月视频| 91黄址| 大香蕉婷婷| 四色永久成人网站| 日日夜夜狠狠操| 超碰在线精品| 狠狠爱深色婷婷综合| 噜噜精品| 婷婷色播色五月五色五月天色妇| 91色色色视频| 五月丁香久久| 天天干天天射综合网| 丁香五月色色婷| 99操免费视频| 99视频精品8| 亚洲中文AV网站| 亚洲视频操| 丁香五月自拍| 99久久.www| 久久精彩免费视频| 怡红院视频| 婷婷伊人75| 天天看片日日夜夜| 色情五月| 日本不卡一区二区三区| 日韩99视频| 婷婷五月天视| 国产激情在线| 依人大香蕉在钱1| 天堂综合久久 | 国产高清视频91九九九久久久| 五月婷婷激情综合av| 久久婷婷六月综合| 五月婷婷丁香综合,亚洲天堂| 久久激情五月| 五月婷婷丁香在线视频| 深爱婷婷基地| 色婷婷综合综合网| 国产精品 的国产| 国产人妻人伦精品一区二区| 97在线精品视频| 婷婷五月天综合蜜桃| 五月天婷婷丁香花| 婷婷五月丁香五月基地| 精品色色| 任你搞网站| 色五月丁香激情视频| 久99久99精品免| 成人看片网站| 婷婷五月天影院| 99婷婷五月天激情| 人人人操 超碰| 8区视频在线| 五月丁香六月婷婷在线播放| 五月伊人综合| 97碰碰视频在线观看| 伊久大香蕉| 91色综合| 色综合丁香婷婷| 色五月成人在线| 久久99婷婷| 热久久婷婷| 色婷婷久久| 生活片五区| 噜噜噜噜噜色| 婷婷五月天99| 呦呦v线| 激情综合色网| 99热免费精品| 在线中文亚洲| 男女免费视频999| 大香蕉久久综合网| 又大又粗九一在线| 四川BBB搡BBB搡多人乱亂| 综合婷婷久久| 五月久久婷婷| 久久99久久99精品免观看粉嫩| 五月综合色播播丁香婷婷| 精品久久人妻热| 婷婷综合久久| 99热天堂| 97久久精品| 思思精品热在线| 丁香色播五月天| 色五月婷婷中文字幕在线观看| 激情综合色婷婷啪啪六月天| 91久久免费| 99精品丁香五月| 激情小说视频图片| 99色视频在线| 91久操| 五月丁香人妻| 高清无码网址| 国产美女无遮挡裸体毛片A片| 九九久久综合| 99激情在线| 婷婷五月色激情欧美激情| 久久婷婷六月综合综合色| 色青五月天| 琪琪理论片| 丁香色五月婷婷17C| 激情综合在线观看| AV九九| 中文无码婷婷| 99在线er热| 97成人丁香婷婷| 九九99精品| 久草九九| 欧美色色色色色色色| 九九热99免费视频| 【乱子伦】黄色| 精品五月丁香| site:feetmall.com| 婷婷四色成人综合色视| 天天狠狠夜夜狠狠2023| 天天摸天天肏| 97色婷婷| 婷婷丁香久久网| 色婷婷丁香AV综合| 五月 成人 婷婷| 丁香五月综合| sewuyue第四色| 99热这里只有精品13| 无码激情精品色婷婷久久久久| 午夜九九电影| 丁香五月婷婷视频| 九九热超碰| 色吧五月婷婷| 中文字幕无码人妻少妇免费视频| 超碰人人在线观看| 亚洲色夜| 久久这有这里精品| 色性日本| 激情人妻综合| 激情五月天丁香| 日本不卡高字幕在线2019| 国产精品美女久久久久AV超清 | 大香蕉久艹| 五月激情六月宗合| 91黄色五月天视频| 91丨九色丨熟女|新版| 啊V视频在线观看| 欧美激情 日韩无码 婷婷 五月天| 2025最新亚洲激情在线| 岛国AV网站| 丁香五月激情五月| 亚洲精品又粗又大又爽A片| 青青草青青草五月天| 狠狠色丁香久久综合婷婷亚洲成人福利| 丁香五月综合首页| 另类综合激情| 91人碰| 色五月五月婷婷| 久草热8精品视频在线观看| 九 九九九AV| 丁香婷婷五月综合影院| 丁香五月亚洲无码| 五月婷精品| 国产精品18久久久| 99亚洲视频| 51成人| 激情婷婷五月天伊人在线观看| 婷婷射婷婷舔| 六月婷婷激情| 玖玖精品婷婷| 色五月婷婷婷婷| 亚洲色婷婷| 99噜噜噜在线播放| 国产av基地| 2050人人操免费工开爱| www.婷婷六月天| 日日夜夜狠狠| 色色丁香婷婷综合| 色99热| 色综合色色| 六月五月天婷婷涩播在线| 久99久99精品免| 草操AV在线| 五月激情六月综合| 97五月婷| 色综久久久| 天天摸天天舔天天天天爽| 996热| 91九色在线观看免费| 亚洲综合在线伊人婷| 婷婷 月 丁香| 欧美大片| 深爱五月激情综合| 成人婷99最新| 九色PORNY在线精品酒店| 五月婷婷偷| 亚洲热视频在线| 五月丁香六月婷综合成人综合| 中文字幕人妻AV| 夜夜涩涩涩| 色玖玖导航| 色天使久久综合| 成人深爱丁香五月| 97碰在线视频| 国产脫衣舞一区二区三区| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 亚洲色啪| 性欧美日本| 日韩啪啪视品| 爱草视频在线| 婷婷五月av| 99热精品观看| 99色| 99免费青青蜜臀| 丁香五月天五码婷婷| 五月色婷婷综合| 中文字幕激情综合| 色五月激情| 黄网在线免费| www.五月婷婷久久.com| 亚洲国产精品VA在线看黑人| 激情99。| 国产精品99久久久久久久女警| 狠狠人妻色综合| 五月天啪啪| 色无婷婷| www.俺去也com| 1000部毛片A片免费观看| 五月丁香激情综合啪啪| 夜夜谢天天干| 成人午夜免费电影| 日韩av在线免费观看| 狠狠干狠狠操狠狠爱| 狠狠操狠狠狠| 日本韩国视频在线观看社区免费的9| 久久久五月天| 五月丁香成人网| 丁香五月在线人妻| 99热综合| 五月丁香 久久久| 99无码视频| 欧美精产国品一二三区| 亚洲精品成人| 日日骑夜夜撸| 91丨九色丨大屁股| 亚洲人人干| 婷婷五月天激情网| 色五月av伊人| 99色嘟嘟精品网站| 婷婷免费视频| 99热综合在线| 婷婷色在线| 丁香婷色| 婷婷精品视频| 欧美色色色| 久久久婷丁香五月| 亚洲综合热| 久久五月婷婷丁香| 五月婷婷久久综合| 91丨九色丨东北熟女| 男人天堂亚洲综合| 色插人人| 久久亚洲无码| 五月五婷婷网| 男女啪啪做爰高潮无遮挡| 色噜噜狠狠色综合日日免费| 日韩丁香涩| 久久这里只有精品1| 婷婷九九色| 色小说五月天| 色久九| 色爱亚洲| 精品色色网| 久久视9精| 天天摸天天做天天爱天天爽| 九九综合伊人| 美女婷婷六月色| 不卡在线视频| 天天综合精品| 久久综合网免费视频| 少妇伦子伦精品无吗| 婷婷五月精品在线| 九九亚洲无码| 五月天社区| 激情五月色综合国产精品| 日B日潘金莲BB| 色视频五月天| 97色在线| 任你弄在线视频免费| 色婷婷亚洲婷婷在线观看| 色婷天天| 超碰人人摸人人操| 婷婷情色五月天| 五月丁香六月在线欧美| 热99色| 超碰国产AV| 色色99| 精品成人在线| 91偷拍视频| 桃色激情婷婷伊人网| 91狼友视频网页更新| 99视频激情四射| 2014天天爽| 操精品9| 亚韩在线视频| 婷婷丁香激情五月天色色| 免费人人操| 国产色色视频| 激情五月婷婷综合| 狠狠擼综合| 九九激情视频| 午夜69成人做爰视频| 天天综合网亚洲综合网| 97操在线视频| 婷婷久久婷婷色五月| 激情综合5| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | www天天干| 久热伊人9| 8090在线影视少妇| 五月丁香婷婷综合网| 久久这里有精品在线观看| 97香蕉久久超级碰碰高清版| 超碰人人摸AV| 免费视频WWW在线观看网站| 亚洲精品永久久久久久| 99区视频| 久操热线| 五月天婷婷激情在线色图| 99热综合| 天堂A∨在线| 停停五月天激情网| 婷婷色五月天第7色| 99人人干人人| 99A片| 91九色熟女| 2014天天爽| 97操碰碰无码视频| 五月丁香亭亭成人电影| 成年人看Va免费视频| 亚洲丁香五月美女| 国精产品一区一区三区免费视频| 九九婷婷综合| 夜夜骑天天操| 色婷婷色五月综合| 色五月激情五月| 99国产精品久久久久久久久久久| 丁香婷婷六月激情| 九月丁香婷婷综合激情| 天天肏夜夜肏| 天堂中文国产| av操一操| 久久久久久18| 人妻有码乱操| 亚洲成人AV电影在线| 丁香五月电影| 大香蕉五月天| 色色五月天丁香婷婷| 久久精品亚洲一级牲爱综合| tingtingzonghewang| 影音先锋按摩| 久久五月丁香| 色色五月婷| 五月丁香自拍| 91人人爽人人操| 日本久久激情| 玖玖99婷婷| 日产精品一线二线三线芒果| 伊人五月天| 久久视频婷婷视频| 啪啪激情综合| 亚洲综合色色| 婷婷五月天久久| 婷婷久久免费| 98色花堂98t.R| 五月综合视频| 五月综合激情| 九九婷婷综合| 日韩成人电影AV| 91超级碰在线视频| 丁香婷婷性爱| 大香蕉久| 亚洲综合五月天| 侠女刀之记忆电影在线看免费| 色婷婷大香蕉| 婷婷五月天色| site:wpjngj.com| 亚洲性受XXXX五月丁香| 亚州激情在线视频| 99精品在线下载| 天天色天天噜| 激情五月天www| 综合激情深爱| 日韩九九| 猫咪伊人久久| 婷婷婷婷色| 欧美色色色| 五月天色丁香| 99国产精品久久久久久久久久久| 久久人妻超碰一区| 亚洲天堂碰碰婷婷| 久久久婷婷五月亚洲97号色| 精品人人操| 色播五月丁香| 激情综合五月激情| 综合综合网| 精品久久66| 一丁香五月天月AV| 亚洲99热| 欧美性生交XXXXX无码小说 | 婷五月丁香俺| 思思re视频在线| 色五月丁香伊人| va亚洲中文在线| 天天日综合| www..999热久| 成功精品影院| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 日韩爱操视频| 婷婷综合久久| 欧爱综合视频| 思思热久热| 九九热99免费视频| 国产人妻人伦精品一区二区| 婷婷成人av| 91视频人人做97| 激情av| 99热99热在线观看| 丁香五月Av| 色色色干| 日韩精品视频中文字幕| 色五月大| 丁香五月成人论坛| 六月综合在线| 玖玖婷婷五月天| 久久婷婷老| 天天干天天曰天天射| 久久久中文| 色插综合网| 亚洲精品永久久久久久| 国产毛片精品一区二区色欲黄A片| 性生生活大片又黄又| 婷婷五月六月丁香| 五月丁色AV| 亚洲天天综合| 激情五月天 婷婷| 久草婷婷网| 久久思思99| 深爱五月婷婷开心中文字幕| 俺去也五月| 天天狠天天叉| 国产第99页| 5月激情天| 这里只有精彩视| 欧美精品999| 久久桃花网色婷婷| 妇激情基地| 天天干天天射色综合| 中文无码婷婷| 丁香五月在线播放| 婷婷五月天久久久| 久草丁香婷婷五月天婷| 五月天婷婷激情干干| 色五月激情网| 激情五月婷婷视频| 婷婷色激情网| 色婷婷激情| 欧美成人猛片AAAAAAA| 天色色综合网| 狠狠擼综合| 99热综合在线| 人人草碰| 99热这里只有精品50| 五月丁香六月婷婷网| 天天色情站| 狼人狠狠操| av在线色五月丁香婷区久| 色播六月| 99久久精品国产色欲| 高潮毛片遮挡费高一百度| 99热这里只| 亚洲精品字幕在线观看 | 色色激情五月天| 99碰| 狠狠五月激情婷婷直播片| 色婷婷综合网| 婷婷五月天亚洲综合| 天天干夜夜欢| 极品少妇XXXX精品少妇偷拍| 9久热在线视频精品| 婷婷六月伊人| 亚洲乱码日产精品BD| 91se在线视频| 97丁香五月| 九九99偷拍视频| 丁香婷婷五月天色播| 色色色综合| 超碰免费观看| 99久久久国产精品免费蜜乳tv| 色色色99| 欧美情月伍月天| 欧日韩成人| 五月天基地| 激情婷婷五月天日本系列 | 这里只有精品免费视频| 亚洲操逼片| 五月婷婷丁香| 久久999久久999久久999久久| 俺也高清无码高清视频| 久月久在线视频| 在线五月色播| 国产肥白大熟妇BBBB视频| 久久99久久99精品免观看粉| 五月天婷婷爱| 国产激情在线| 亚洲AV综合网| 丁香婷婷性爱| 亚洲成人五月天| 97资源碰碰| 天堂久久精品| 91丨九色|PRNY熟妇| 九九热这里| 日本少妇AA一级特黄大片| 九九无码视屏| 色婷综合| 噜噜噜久久| 操日视频| 日本三级韩三级99久久| 久婷婷| 97色天堂| 色情五月综合婷婷| 久久丁香五月天| 五月天无码| 久色| 全国最新疫情| 久久性都花花世界成人免费视频| 国产精品A片| 综合五月激情| 久久激情五月婷婷| 久久婷婷五月综合激情国产| 99性色| 大香蕉七区| 五月天亭亭俺也| 九月av在线| 丁香五月六月综合欧美| 色婷成人狠干| 99在线视频播放| 91婷婷搞| 五月丁香综合啪啪| 五月天婷婷黄色| 啪啪五月婷婷| 91婷婷搞| 五月丁香婷婷无码中文| 久久黄色片| 久久精品亚洲一级牲爱综合 | 色欲天天综合网| 五月丁香五月激情综合色综合| 丁香五月天久久| 久久婷婷综合五月趴| 超碰99热精品| 久久9视频| 99色一| 久久大香蕉伊人| 丁香婷婷五月天在线视频| 97人妻碰碰碰久久香蕉| 激情五月婷婷综合| 五月婷婷开心综合| 色婷婷综合久久久久| 色区久久| 丁香六月情| 九九99免费视频| 无码人妻少妇色欲AV一区二区| 欧洲免费视频色| 超碰人人91| 日韩999| 超碰三级秋霞| 亚洲天堂制| 色色色网站| 99色色热| 狠狠 久久| 色五月人妻| 五月天激情美女久久| 婷婷色中文| 九九av| 深爱婷婷丁香五月激情| 99五月婷| 4399成人黄A片| 久久人妻人人槡| av色婷婷| 92久久精品一区二区| 91精品久久久久、久五月天| WWW.五月天9999| 日本玖玖在线| 婷婷99视频精品| 婷婷五月天色综合翘| 亚洲无码www| 日本99热| 婷婷免费视频| 五月婷婷高清| 久久青青日本视频| 国产精品国产成人国产三级| 五月婷婷九| 午夜性爱影视一区77| 操97免费超级视频| 国产毛片欧美毛片久久久| 五月精品| 99.色| 香蕉久久国产AV一区二区| 97成人在线视频| 色欲一区二区三区精品A片| 丁香五月婷婷天| 中文字幕成人| 91九色 熟| 色五月激情综合网| 五月久久婷婷天堂视频| 五月丁香激情六月| 欧美成人热| 亚洲综合在线播放| 天天射色五月天| 久在线88综合| 欧美丁香婷婷五月| 操日视频| 丁香五月香蕉| 五月婷婷开心六月激情小说| 亚洲日本激情| 色婷亚洲五月丁香| 激情婷婷五月社区| 成人做爰高潮A片免费视频| 欧美在线干| 严洲天天插| 美女五月天婷婷| 久操福利| 婷婷五月综合啪| 欧美天堂婷婷日韩| 亚洲情综合五月天| wwwss在线观看| 无码任你操| 五月色婷婷在线观看| 婷婷少妇激情| 99色| 99热超| 夜夜操加勒比| 99这里有精品视频| www.操.com| 亚洲综合视频在线| 激情五月天综合网| 五月天婷婷综合网| 色五月亚洲| 五月天婷婷激情春色小说| 亚洲色婷婷网站| 亚洲色爽| 成人五月天色天堂| 五月婷婷综合热| 九九热a| 亚洲午夜AV| 成人在线网站| 婷婷五月色影视先锋| 久久狠婷婷| 五月丁香六月婷婷激情四射| 第1影院之五月婷婷| 丁香花社区av| 成人.在线日韩| 欧美精品在线观看| 中文字幕视频色婷婷| 99视频这里有精品| 亚洲中文字幕AV在线| 日本不卡一区二区三区| 欧美日韩精品人妻狠狠躁免费视频| 开心激情网在线| 五月开心激情| 天天综合精品| 最近免费中文字幕大全高清大全1| 激情五月婷婷| www五月婷婷88导航| 色五月婷婷777| 久久丁香综合香蕉| 久久精99| 久久宗合影| 久久狠狠干| se99热久久一本| 婷婷九色| 超碰人人干| 五月天丁香六月综合| 五月天国产成人| 丁香五月婷婷成人综合| 开心五月综合| 色久丁香五| 99超级碰碰| 这里只有精品视频99| 五月综合久久| 成人无码精品1区2区3区免费看| 欧美性色A片免费免费观看的| 亚洲操人| 开心五月婷婷| 欧美色激情四射| 91在线观看www| 婷婷涩涩五月天| 在线观看熟女少妇| 99色一| 日日夜夜爽| 噜一噜在线| 久草A片| 五月久久五月激情| 五月色婷婷影视在线电影| 婷久看人爽| 婷婷五点亚洲| 激情五月天视频| 99日本黄站| 国产精品色色| 超碰精品在线| 校园春色亚洲色| 丁香五月久久社区| 午夜丁香| 天天做 天天爱| 天天干 夜夜爽| 91久久| 日本色婷婷| 99视频在线9| 色涩影院六月丁香| 丁香婷婷大香蕉| 97色伦另类图片小说视频 | 思思热久热| 激情五月婷黄版| 另类天堂| 麻豆精品| 精品婷婷五月天| 亚洲丁香五月| 色五月激情视频在线综合| 五月丁香啪| 六月丁香五月激情婷婷| 成人综合视频在线| 午夜无码熟熟妇丰满人妻 | 五月丁了香蕉综合| 五月天五月色婷婷综合| www.99热这里精品| 精品一二三区久久AAA片| 午夜免费高清AV片| 狠狠色丁香99| 五月丁香在线观看| 亚洲九九视频| 国产毛片精品一区二区色欲黄A片| 丁香五月天堂网AV| 这里只有精品偷拍| 俺去也在线官网| 久久六月综合| 五月天婷婷色| 久re热视频| 激情五月婷婷欧美极品| 超碰色色综合| 男同色五月开心五月激情五月| 超碰在线网站| 美女婷婷六月色| 99狠狠| 五月婷婷黄色网址| 99热色无码| 五月激情综合网| www.金莲av| 五月丁香激情片| 9月色婷婷| WWW色色色COM| 五月停停直播| 婷婷色丁香五月| 欧美碰碰碰| 六月丁香婷婷开心综合基地| 色播五月婷婷| 五月天丁香婷婷社区| 九九视频网| 婷婷丁香在线播放| 久久久人妻| 亚洲在线操| 色噜噜狠狠色综合日日| 天天干天天拍| 日本精品在线噜噜噜| 99精品无码| 五月婷婷先锋| 精品福利911| 五月丁香六月色| 9色免费网| 亚洲综合网激情小说| 色色五月天丁香| 九九伦子片| 麻豆123区| 99热精品在线观看| 26uuu青青| 色三级色三级| 丁香五婷婷| 亚洲激情免费视频| 婷婷丁香18| 情情五月天色| 极品人妻VIDEOSSS人妻 | 久久久99精品免费观看| 六月丁香五月婷婷首页| www,天天干| 色婷婷成人网| 97操碰碰无码视频| 久9精品| 人人干人人看| 亭亭丁香97| 色播五月丁香| 国产精品 的国产| www.五月天激情| 色九月丁香婷婷蜜桃在线观看| 激情都市五月天| 91久久久久久久久久18| 甈吧vv| 国产伦亲子伦亲子视频观看| 久久香蕉婷婷五月天| 99色综合| 激情合网婷婷| 天天揷综合网| 我爱宗和色| 激情又色又爽又黄的A片| 五月丁香| 大香蕉五月天| 色婷婷婷婷成人网| 国产69久久久欧美黑人A片 | 欧美十二区| 狠狠色激情综合| 97色精品视频 | 香蕉综合在线| 美女网黄| 久久怕怕视频| henhencao国产在线| 黑人糟蹋人妻HD中文字幕| 五月丁香天天| 欧美性爱丁香五月| 九九热思思| 九九精品热播| 色综合99| 开心亚洲久久开心| 大地9中文在线观看免费高清| 草操AV在线| 丁香五月婷婷在线| 五月丁香怕怕综合| www.91色| 婷婷五日b| 九九热免费视频| 激情五月天噢美| 精国产品一区二区三区A片 | 大香蕉网站,大香蕉综合| 97色婷婷| 丰满少妇猛烈A片免费看观看 | 五月婷婷五月天| 日日夜夜爽爽| 91丨九色丨老农村| 91久热| 婷婷久久国产视频| 91seAV| 亚洲AV人人操| 亚洲天天免费| 婷婷五月天大香蕉在线视频观看| 99精品国产在热久久婷婷| 欧美日韩成人在线| 天天射天天插天天干| 久久五月综合| 国产成人+综合亚洲+天堂| 大地资源色婷婷视频在线| WWW,婷婷,COM| 狠狠色狠狠| 性做久久久久久久免费看| 五月天激情视频五月天| 国产五月天婷婷| 欧美在线| 亚洲综合激情五月久久| 在线色色| 淫五月停停| 人人操人人干AV| 秋霞学生妹一二级| 91九色PORNY中文啦| 久久五月综合| 五月激情综合深爱| 丁香激情网| 思思re最新视频| 五月婷婷激情| 日本www五月婷婷| 婷婷丁香综合| 最近中文字幕大全免费版在线| 婷婷五月亚洲一本在线丁香| 日本久久网| 五月天婷婷色综合| 狠狠干狠狠色| 亚洲 25P| 99热第一页| 99久久网站| 九九精品热| 日韩欧美一级大黄网站| 先锋影音男人的天堂AV| 97人人草| 婷婷射丁香| 99热这里有精品6| 色五月大| 久久婷婷五月天激情新地址| 夜夜 操无码| 婷婷五月天美女视频| 国产成人+综合亚洲+天堂| 色综啪啪| 婷婷久草| 九色91视频| 人人视频色| 国产1区2区3区在线观| 久久丁香社| 日本乱子人伦在线视频| 久久9久| 99er精品视频| 丁香婷婷免费| 日韩综合天堂| 亚洲视频在线网| 91久操| www.91在线观看| 天天爽日日爽夜夜爽| 思思99热这里只有精品| 色狠狠综合入口| 97色精品视频| 99热久| 4399在线日本A片| 婷婷五月天在线综合| 五月天色婷婷av| 久操大香蕉| g00d人体西西| 色九月综合| 成人做爰A片免费看视频| 99在线精品观看99| 久草大| 99人人操人人摸| 激情涩涩网| 日本91在线| ′久久99一| 日韩人妻在线播放| 国产精品久久久爽爽爽麻豆色哟哟| 色婷婷成人| 五月婷婷六月激情| 狠狠色综合网站久久久久| 五月丁香六月合| 免费的日逼视频| 97人人超| AV在线观看网站| 国产黄色一级片| 亚洲性爱AV| 九久久婷婷| 大地9中文在线观看免费高清| 97色色综合| 久久久激情视频| 久久伦乱| 激情丁香五月| 五月天六月色| 99视频久久| 激情内射p| 天天干天天叉| 日日肏天天操| 久热这里只有精品66| 五月婷婷co.m| 婷婷97狠狠干| 激情丁香婷婷五月天| 久久只有这里精品免费| 欧美婷婷六月丁香综合色| 丁香婷婷久久| 亚洲色综合| 婷婷在线视频| 亚州精品色情无码A片| 久热9| 五月丁香自拍| 五月天丁香网站| 久久综合五月天| 国产精品久久..4399| 在线中文av| 五月丁香999| 综合色久| 婷色人人狠| 婷婷AV丁香| 五月丁综合在线观看| 亚洲婷婷六月天| 色婷婷在线视频综合| 五月天激情网页| 色色色色色网站| 日日噜狠狠色综合久| 99无码精品| 91久久综合亚洲鲁鲁五月天| 亚洲欧美综合7777色婷婷| 婷婷久草| 26uuu国产| 亚洲精品久久久久久久久久飞鱼 | 天天拍久久| 99热99这里有免费的精品| 婷婷无码视频| 丁香五月成人社区| 天天综合 99久久婷婷| 在线观看的av| 色五月丁香五月| 熟妇无码乱子成人精品| 婷婷色五月大香蕉在线| 激情婷婷五月社区| CAOBIBI| 色婷婷色情| 丁香色五月婷婷17C| 激情婷婷丁香色五月综合| 婷激情五月| 色播五月天激情| 婷婷五月天黄色| 97福利视频| 91色呦哟| 91久久国产综合久久| 五月天丁香成人| 久热视频A.| 五月丁香六月合| 亚洲色优| 综合婷婷| 少妇人妻人伦A片| 久久亭亭电影| 一级黄在线| 91色欲综合| 婷婷少妇激情| 26uuu美女三级视频| A网在线欧洲| 国产.亚洲.欧洲视频在线| 第五色婷婷| 日韩在线视频9色| 婷婷丁香五月91| 丁香色情五月综合激情| 五月丁香六月欧美| 91久久五月天| 亚洲激情综合| 91综合视频在线| 色五月激情视频在线综合| 操逼123网| 日本色色网站| 天天爽天天操| 色九综合| 婷婷久久五月| 婷婷va| 日本系列_4页_777FP| 婷婷丁香六月天| 中文字幕第四色.999| 欧美色狠婷久| 成人丁香婷婷| 狠狠色狠狠操| 伊人激情网| 激情欧美婷婷| 人妻无码精品一区| 91啪啪| 九九久久偷拍| 亚洲五月天综合色| 午夜丁香婷婷| 狠狠狠狠狠| 亚洲综合一区二区| 无码一区二区日韩| 丁香五月天综合| 欧美黑人巨大性生话| 成人AV中文字幕| 热久久66| 欧美超级视频97| 人人色人人弄人人操| 9操在线| 人妻精品久久久久久| 色婷婷视频在线| 色吊丝av中文字幕| 六月色婷婷欧美| 98永久精品| 操操综合网婷婷| a色色色色色| 日日干天天爽| 精品国产一区二区三区四区阿崩| 婷婷少妇激情| 少妇人妻综合色6699| 色噜噜婷婷| 99网址在线看| 色婷婷五月天堂资源| 久久婷婷五月| 婷婷五月天首页激情| 丁香五月六月婷婷自拍| 丁香婷婷基地| 欧美操我| 开心五月婷婷激情网| 色色性爱视频| 丁香青青五月天| 亚洲丁香五月美女| 色色色色色色网站| 丁香五月婷婷Av| 日日操夜夜骑| 色色色色色色色五月| 五月婷婷天天色| 欧美激情五月天| 99色在线观看视频| 99视频在线观看网址| 亚洲天堂青草| 五月天激情国产综合AV| 欧亚成人A片一区二区| 韩日在线熟女| 亚洲成人网在线观看| 中文字幕在线免费观看视频| 碰碰碰91| 五月丁香无码| 国产成人一区二区三区在线观看| 激情综合久久| 久热 91| WWW·色色色·COM| 丁香婷婷深情五月亚洲| 男人大jjc女人免费视频| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 成人电影在线免费试看| 亚洲操b| 亚洲色图五月丁香| 9色免费网| 天堂草在线观| 欧美情色一区| 丁香五月婷婷天堂大香蕉| 五月婷无码| 婷婷五月天亚洲| 色99免费视频中文| 国产精品岛国片在线观看免费| www.五月天。com| 国产毛片欧美毛片久久久 | 色色色综合视频| 日日天天干| WWW久久久| 亚洲国产成人在线| 99久久www| 日韩黄色电影| 91丨九色熟女丨首页| 色五月天综合网| avh片在线观看| 久久久人人人妻丝丝丝| 国产欧美日韩综合精品一区二区| wWwCom夜操wwW| 天天色播| 色色丁香婷婷| 大香蕉网站,大香蕉综合| 综合九九久久| 天天透天天爱| av高清无码| 精品婷婷五月天| 五月色网| 日韩操逼大片| 五月天婷婷基地| 六月婷婷日| 国产精品婷婷午夜在线观看| 亚洲宗合激情| 色五月婷婷开心| 天天爽夜爽| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 激情视频综合| 中文AV在线播放| 99热九九热| 99无码免费视频| 亚洲国产精品成人午夜| 九九色热视频| 第1影院之五月婷婷| 久久五月天网| 深夜男女福利刺激影院一区完整| 国产成人亚洲综合A∨婷婷| 凹凸7777操操操| 国外亚洲成AV人片在线观看| 婷婷丁香五月,狠狠综合| 9999综合99综合人| 偷拍91九色| 九九热在线观看6| 青青草免费公开视频| 蜜桃五月天色| 亚洲视频久久| w婷婷五月婷婷w| 九九视频免费| www.色五月| 丁香六月成人| 久久丁香五月| 婷婷五月色| 少妇人妻凹凸视频| 激情综合网站| 亚洲综合色婷婷| 天天爽成人综合网站| 熟妇内谢69XXXXXA片| 天天摸日日舔狠狠添婷婷婷| 成人五月丁香花| 丁香五月天激情视频| 99ri在线| 亚洲乱码日产精品BD| 五月婷六月| 超碰av在线| 大香蕉啪啪网| 久色国产| WWW.99视频| 色色色色色色色色综合网| 91婷婷五月天综合视频| 色婷婷亚洲在线观看| 丁香五月六月综合激情| 亚洲妇女熟BBW| 人人做天天爱| 热久69| 99欧美| 蜜臀嫩草| 超碰在线网站| www.五月.com| 五月噜噜| 人人插9| 五月丁香激情啪啪| 另类激情网| 变态另类9| 免费看欧美成人A片无码| 五月色天情| 五月婷婷六月丁香免费| 大战熟女丰满人妻AV| 丁香六月成人| www.粉嫩av.com| 日日操天堂| 五月伊人网| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 日本乱论99| 欧美美女视频| 99精品无码| 欧美色六月婷婷| 婷婷激情综合色五月久久图片| 亚洲精品无码一区二区| 久久大香蕉同僚| 五月天婷婷色小说| 超碰免费在线| 99视频在线观看网址| 内射在线CHINESE| 91婷婷色 | 久久亚洲无码| 欧美色片中文字幕久久久久| 久久久.COM| 激情丁香五月天图片| 天天日夜夜夜操操操操| 丁香婷婷九月| 黄色aa观看aaguochan| 亚洲成av人影院| 久热超碰| 婷婷五月天视频亚洲| www.五月天。com| 丁香婷婷五月综合色情| 色五月婷婷内射| AV天堂淫乩| 久热久| 五月婷婷色播| 久久密臀婷婷| 七七婷婷综合| 婷婷伊人| 久久五月天网| 五月丁香中文|