欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

K8S實(shí)戰(zhàn):從Zookeeper、MySQL到Dubbo微服務(wù)的容器化部署全解析

K8S實(shí)戰(zhàn):從Zookeeper、MySQL到Dubbo微服務(wù)的容器化部署全解析 前陣子幫某集團(tuán)客戶做容器化改造一個(gè)環(huán)境里同時(shí)上了 Zookeeper、Redis Cluster、MySQL 主從、Nginx 加 Tomcat 的 Java 應(yīng)用、LNMP 一套、Dubbo 微服務(wù)還有 Ingress 統(tǒng)一網(wǎng)關(guān)整套搬進(jìn) Kubernetes 之后踩了不少坑也沉淀了不少經(jīng)驗(yàn)。這套組合基本上覆蓋了日常工作中絕大部分的 K8S 落地場(chǎng)景今天把整個(gè)實(shí)戰(zhàn)過程梳理一遍從有狀態(tài)應(yīng)用部署到無狀態(tài)應(yīng)用編排再到流量入口管理一次講透。1. 先把應(yīng)用按有狀態(tài)和無狀態(tài)攤開部署順序和策略的底層邏輯很多人拿到一堆應(yīng)用就往 K8S 里塞結(jié)果發(fā)現(xiàn) MySQL 數(shù)據(jù)丟了、Zookeeper 集群起不來、Dubbo 服務(wù)注冊(cè)一堆亂碼最后回頭罵 K8S 不好用。其實(shí)問題不在于 K8S而在于沒有先做應(yīng)用分類。1.1 為什么這套方案里 Zookeeper 和 MySQL 必須單獨(dú)對(duì)待無狀態(tài)應(yīng)用比如 Nginx、Tomcat、純 Java 后端特點(diǎn)是隨便殺、隨便擴(kuò)實(shí)例之間不需要互相認(rèn)識(shí)數(shù)據(jù)不落在本地。這類應(yīng)用用 Deployment 加 HPA 就能搞定。但有狀態(tài)應(yīng)用完全反過來——Zookeeper 需要維護(hù)節(jié)點(diǎn)之間的選舉關(guān)系MySQL 需要保證數(shù)據(jù)不丟Redis Cluster 需要 Gossip 通信和槽位管理它們都要求穩(wěn)定的身份和穩(wěn)定的存儲(chǔ)。所以我拿到這套需求后的第一件事就是把應(yīng)用分成兩個(gè)池子。第一個(gè)池子是無狀態(tài)的Nginx、Tomcat、Java 應(yīng)用、LNMP 里的 PHP 和 Nginx。第二個(gè)池子是有狀態(tài)的Zookeeper、Redis、MySQL以及 Dubbo 微服務(wù)里的注冊(cè)中心一般也掛在 Zookeeper 上。池子分清楚了后續(xù)的 StatefulSet、Headless Service、PVC 這些概念才派得上用場(chǎng)。1.2 實(shí)戰(zhàn)里推薦的整體部署順序先底座后業(yè)務(wù)再入口我的部署順序是固定的這套路徑跑通了無數(shù)次。先部署 Zookeeper 和 MySQL 這類底座型中間件因?yàn)樗鼈儠?huì)被上層應(yīng)用依賴再部署 Redis 緩存層接著部署無狀態(tài)的 Nginx 加 Tomcat 和 Java 業(yè)務(wù)應(yīng)用然后處理 LNMP 組合和 Dubbo 微服務(wù)最后統(tǒng)一配置 Ingress 把流量收口。這個(gè)順序不是隨便定的。如果先部署應(yīng)用后部署 Zookeeper應(yīng)用啟動(dòng)時(shí)找不到注冊(cè)中心Dubbo 接口暴露失敗又要重啟應(yīng)用純屬浪費(fèi)排障時(shí)間。K8S 雖然有 InitContainer 可以做依賴等待但能用正確的部署順序解決的問題沒必要引入額外的復(fù)雜度。2. Zookeeper 集群上 K8SHeadless Service 與選舉機(jī)制的那些坑Zookeeper 是這套環(huán)境里第一個(gè)要落地的有狀態(tài)應(yīng)用。它要解決的核心問題是集群內(nèi)每個(gè)節(jié)點(diǎn)必須知道彼此的存在并且節(jié)點(diǎn)的網(wǎng)絡(luò)身份不能隨著 Pod 重啟而變化。2.1 為什么普通 Service 滿足不了 Zookeeper 的集群發(fā)現(xiàn)先看一個(gè)反例。我見過有人用普通 Service 給 Zookeeper 做負(fù)載均衡結(jié)果集群永遠(yuǎn)選舉不出 Leader。原因在于 Zookeeper 的節(jié)點(diǎn)之間需要直接通過 IP 或主機(jī)名通信而普通 Service 會(huì)把請(qǐng)求隨機(jī)分發(fā)到任意一個(gè)后端 Pod 上客戶端拿到的地址是虛擬的 ClusterIP節(jié)點(diǎn)之間無法建立真實(shí)的 TCP 連接選舉直接失敗。正確的做法是給 StatefulSet 配一個(gè) Headless Service也就是 ClusterIP 為 None 的 Service。這種 Service 不做負(fù)載均衡DNS 解析直接返回所有 Pod 的真實(shí) IP。配合 StatefulSet 的命名規(guī)則每個(gè) Pod 會(huì)得到一個(gè)穩(wěn)定的網(wǎng)絡(luò)標(biāo)識(shí)比如zk-0.zk-headless.namespace.svc.cluster.local。這樣 Zookeeper 配置文件里的server.1zk-0.zk-headless...這類條目就能真正生效。2.2 配置 Zookeeper 集群時(shí)最容易漏掉的三個(gè)參數(shù)第一個(gè)是POD_IP環(huán)境變量。Zookeeper 的啟動(dòng)腳本需要知道自己當(dāng)前 Pod 的 IP然后寫入配置文件的quorumListenOnAllIPs。我用的是 downward API 把status.podIP注入到環(huán)境變量里啟動(dòng)時(shí)再通過腳本拼進(jìn)配置文件。第二個(gè)是ZOO_MY_ID這個(gè)值直接對(duì)應(yīng) StatefulSet 的序號(hào)必須是穩(wěn)定的不能隨機(jī)生成。第三個(gè)很多人忽略——JVMFLAGS里的堆內(nèi)存設(shè)置。Zookeeper 默認(rèn)堆內(nèi)存只有 256M在容器里跑線上集群明顯不夠。我一般設(shè)置為 1G 到 2G通過環(huán)境變量傳進(jìn)去。順便提一嘴Zookeeper 是 CPU 密集型應(yīng)用不建議給它設(shè)置 CPU Limit 限制得太死否則 GC 線程調(diào)度不過來選舉超時(shí)的情況會(huì)頻繁出現(xiàn)。2.3 實(shí)測(cè)中遇到的 Zookeeper 集群腦裂問題與解決思路我有一次在做滾動(dòng)升級(jí)時(shí)把三個(gè) Zookeeper 節(jié)點(diǎn)同時(shí)重啟結(jié)果集群出現(xiàn)了短暫的腦裂現(xiàn)象。兩個(gè)節(jié)點(diǎn)各自主導(dǎo)了一個(gè)偽集群客戶端連接全部報(bào)錯(cuò)。排查下來發(fā)現(xiàn)是 StatefulSet 的podManagementPolicy默認(rèn)值是OrderedReady理論上會(huì)逐個(gè)更新節(jié)點(diǎn)但我在配置清單里漏掉了這個(gè)字段。如果對(duì)可用性要求極高可以設(shè)置podManagementPolicy: Parallel配合 ReadinessProbe。但一般情況下建議保持默認(rèn)的 OrderedReady 策略讓 K8S 按照節(jié)點(diǎn)順序逐個(gè)更新避免所有節(jié)點(diǎn)同時(shí)處于不可用狀態(tài)。另外務(wù)必給每個(gè) Zookeeper Pod 配置 PreStop 鉤子在 Pod 終止前主動(dòng)執(zhí)行zkServer.sh stop讓節(jié)點(diǎn)優(yōu)雅退出否則會(huì)出現(xiàn)集群重選舉業(yè)務(wù)側(cè)感知到抖動(dòng)。3. MySQL 主從與 Redis Cluster持久化存儲(chǔ)和故障恢復(fù)的實(shí)戰(zhàn)要訣中間件里 MySQL 和 Redis 是最考驗(yàn)持久化設(shè)計(jì)的兩兄弟。MySQL 不能丟數(shù)據(jù)Redis 要保證分片和副本的高可用。這兩類應(yīng)用在 K8S 里的部署方式和踩坑路徑完全不同。3.1 MySQL 主從復(fù)制在 K8S 里的存儲(chǔ)方案選型先說存儲(chǔ)。MySQL 的數(shù)據(jù)文件必須存放在 PV 里我這次用的是 NFS 動(dòng)態(tài)供給配合 StorageClass 實(shí)現(xiàn) PVC 自動(dòng)創(chuàng)建。如果條件允許生產(chǎn)環(huán)境更推薦用云廠商的塊存儲(chǔ)性能比 NFS 好很多。但 NFS 有個(gè)致命問題需要提前規(guī)避——它不支持文件鎖如果 MySQL 配置了skip-name-resolve之外還用了某些依賴鎖的特性可能存在隱患。穩(wěn)妥的做法是把 MySQL 數(shù)據(jù)目錄掛載到 PVbinlog 也放在同一份存儲(chǔ)里。StorageClass 的配置清單我會(huì)限制reclaimPolicy: Retain防止 PVC 刪除時(shí) PV 連帶銷毀。這個(gè)細(xì)節(jié)非常關(guān)鍵——一旦設(shè)置成 Delete節(jié)點(diǎn)宕機(jī)后重建 Pod 時(shí)舊數(shù)據(jù)可能直接被回收我見過有人因此在測(cè)試環(huán)境里把數(shù)據(jù)庫搞丟過。3.2 主從復(fù)制初始化的一次完整排障鏈路用 Helm 或手工編排 MySQL 主從時(shí)最常見的問題是從庫一直停在Waiting for master to send event狀態(tài)。我當(dāng)時(shí)部署完成后發(fā)現(xiàn)從庫的Seconds_Behind_Master一直是 NULL主庫狀態(tài)正常但 binlog 沒有傳過來。排查鏈路是這樣的先看從庫的SHOW SLAVE STATUS發(fā)現(xiàn)Last_IO_Errno是 1236說明從庫請(qǐng)求的 binlog 位置在主庫已經(jīng)被清理掉了。原因是主庫的expire_logs_days設(shè)置太短而從庫因?yàn)榫W(wǎng)絡(luò)延遲或初始化時(shí)間過長(zhǎng)追不上主庫的 binlog 清理進(jìn)度。解決辦法是先停止從庫的復(fù)制線程在主庫上用mysqldump重新導(dǎo)一份全量備份記錄好MASTER_LOG_FILE和MASTER_LOG_POS再從那個(gè)位置繼續(xù)復(fù)制。整套操作下來從庫才真正追平。這次經(jīng)驗(yàn)告訴我MySQL 主從初始化不能無腦相信CHANGE MASTER TO配一次就行必須確認(rèn)全量備份和 binlog 點(diǎn)位是對(duì)齊的。如果依賴的是mysqldump --master-data2需要嚴(yán)查導(dǎo)出的二進(jìn)制日志位置坐標(biāo)。3.3 Redis Cluster 的 Gossip 通信與 Kubernetes 網(wǎng)絡(luò)模型適配Redis Cluster 在 K8S 里部署比單機(jī) Redis 復(fù)雜得多。每個(gè) Redis 節(jié)點(diǎn)都要監(jiān)聽兩個(gè)端口一個(gè)是客戶端通信端口 6379另一個(gè)是集群總線端口 16379用于節(jié)點(diǎn)間 Gossip 通信。K8S 網(wǎng)絡(luò)模型默認(rèn)情況下 Pod 之間的通信是通的但要小心 NetworkPolicy 把 16379 端口擋住否則集群節(jié)點(diǎn)之間無法交換心跳槽位遷移和故障轉(zhuǎn)移全部失效。我這次的配置是給 Redis Cluster 單獨(dú)建了一個(gè)命名空間然后放行該命名空間內(nèi)所有 Pod 之間的 6379 和 16379 端口。不要在默認(rèn)命名空間里和業(yè)務(wù)應(yīng)用混部否則網(wǎng)絡(luò)策略寫起來又長(zhǎng)又容易出錯(cuò)。存儲(chǔ)方面用的是 local 卷或者云盤保證每個(gè)節(jié)點(diǎn)都有獨(dú)立的持久化路徑。3.4 Redis 故障轉(zhuǎn)移時(shí)的一個(gè)高頻坑DNS 緩存導(dǎo)致的路由錯(cuò)亂Redis Cluster 客戶端在連接節(jié)點(diǎn)時(shí)會(huì)通過 Cluster 節(jié)點(diǎn)返回的 MOVED 重定向指令找到正確的分片。但在 K8S 環(huán)境里如果客戶端使用了 Pod 的 IP 直連那么節(jié)點(diǎn)重啟或者擴(kuò)縮容后客戶端緩存里的節(jié)點(diǎn)信息就是過期的導(dǎo)致大量CLUSTERDOWN報(bào)錯(cuò)。更穩(wěn)的方案是給 Redis Cluster 的每個(gè)節(jié)點(diǎn)用 StatefulSet 加 Headless Service客戶端通過 DNS 域名來連接。這樣節(jié)點(diǎn)重啟后 IP 變了域名不變客戶端可以正常重連。我在實(shí)際項(xiàng)目中就是讓 Java 應(yīng)用配置的 Redis 地址從 IP 改成域名然后用 Redisson 或 Lettuce 的集群模式問題一下子少了很多。4. Nginx 負(fù)載 Tomcat 集群與 Java 應(yīng)用部署鏡像分層、探針與優(yōu)雅上下線接下來是純無狀態(tài)應(yīng)用的部署。Java 應(yīng)用加 Nginx 入口是這套方案里最常見的組合。Nginx 負(fù)責(zé)流量分發(fā)和靜態(tài)資源處理Tomcat 跑 Java Web 服務(wù)。4.1 Nginx 鏡像里的 Tomcat 后端地址如何動(dòng)態(tài)注入Nginx 的 upstream 配置在容器化環(huán)境里不能寫死 IP。我采用的是環(huán)境變量加模板渲染的方式。鏡像里的nginx.conf是模板文件啟動(dòng)腳本用envsubst把${TOMCAT_UPSTREAM}替換為真實(shí)的 Service 地址。比如 Tomcat 的 Service 叫tomcat-app命名空間是prod那 upstream 就是tomcat-app.prod.svc.cluster.local:8080。這種方式既避免了配置的硬編碼也方便后續(xù)通過修改環(huán)境變量來切換上下游。需要特別留意的是envsubst默認(rèn)會(huì)替換所有${...}格式的內(nèi)容如果 nginx.conf 里有正則表達(dá)式包含$字符會(huì)被這工具誤傷。我遇到過$host被替換成空字符串的問題最后把模板文件里的非法變量統(tǒng)一轉(zhuǎn)義或者改用 Python 腳本做更精確的替換。4.2 Java 應(yīng)用容器化時(shí)的堆內(nèi)存配置和分層鏡像優(yōu)化Java 應(yīng)用在容器里的第一道坎是 JVM 參數(shù)。老版本的 JVM 無法自動(dòng)識(shí)別容器 CPU 和內(nèi)存限制會(huì)把堆內(nèi)存設(shè)置成宿主機(jī)內(nèi)存大小導(dǎo)致 Pod 直接被 OOM Killer 殺掉。我這次用的 JDK 版本是 11 以上默認(rèn)開啟了容器感知。如果還在用 JDK 8務(wù)必手工加上-XX:MaxRAMPercentage75.0和-XX:InitialRAMPercentage50.0讓 JVM 根據(jù)容器內(nèi)存限制自動(dòng)分配。鏡像大小方面我的做法是采用多階段構(gòu)建?;A(chǔ)鏡像用精簡(jiǎn)版 JDK然后在構(gòu)建階段編譯打包運(yùn)行階段只拷貝最終的 JAR 文件和一個(gè)最小的基礎(chǔ)鏡像。實(shí)測(cè)下來鏡像體積從 800 多 MB 縮小到 250 MB 左右推送到私有倉庫的速度快了不少拉鏡像占用的節(jié)點(diǎn)磁盤也少了。4.3 就緒探針和優(yōu)雅停機(jī)配置的完整參數(shù)Java 應(yīng)用啟動(dòng)比較慢如果 ReadinessProbe 的initialDelaySeconds設(shè)置得太短Pod 還沒起來就被 K8S 判定為不健康然后被重啟形成死循環(huán)。我一般設(shè)置為 20 秒配合periodSeconds: 5給應(yīng)用留足啟動(dòng)時(shí)間。LivenessProbe 的判定閾值要放寬一點(diǎn)因?yàn)?JVM 在 GC 停頓或頻繁 Full GC 時(shí)可能幾秒鐘沒有響應(yīng)容易誤殺。優(yōu)雅停機(jī)這里我用的參數(shù)是terminationGracePeriodSeconds: 60并在 Pod 里配置了 PreStop 鉤子執(zhí)行sleep 5配合應(yīng)用本身的優(yōu)雅停機(jī)機(jī)制。這樣在發(fā)布滾動(dòng)更新時(shí)舊 Pod 先停止接收新流量再等待已經(jīng)進(jìn)來的請(qǐng)求處理完畢最后才真正退出容器。實(shí)測(cè)下來線上請(qǐng)求的失敗率從 5% 降到了 0。5. LNMP 組合上 K8S 的拆分思路與 Dubbo 微服務(wù)的注冊(cè)發(fā)現(xiàn)LNMP 和微服務(wù)這兩塊是這套環(huán)境里架構(gòu)最復(fù)雜的部分。LNMP 涉及三個(gè)組件的協(xié)作Dubbo 則是典型的注冊(cè)中心加多服務(wù)調(diào)用鏈兩者在 K8S 上的處理方式差異很大。5.1 LNMP 組合里 Nginx、PHP-FPM、MySQL 的容器協(xié)作方式LNMP 在傳統(tǒng)服務(wù)器上是一個(gè)單體環(huán)境但容器化之后必須拆開。我的拆分方式是Nginx 容器負(fù)責(zé)靜態(tài)資源和反向代理PHP-FPM 容器負(fù)責(zé)執(zhí)行 PHP 代碼MySQL 獨(dú)立部署。Nginx 和 PHP-FPM 之間通過 FastCGI 協(xié)議通信Nginx 的fastcgi_pass配置指向 PHP-FPM 的 Service 地址。這中間有一個(gè)關(guān)鍵細(xì)節(jié)PHP 代碼文件必須同時(shí)掛載到 Nginx 容器和 PHP-FPM 容器里。Nginx 需要讀取靜態(tài)文件和判斷文件是否存在PHP-FPM 需要找到對(duì)應(yīng)的.php文件執(zhí)行。我用的是共享 PVC把代碼目錄掛載到兩個(gè) Pod 上保持路徑一致。不然會(huì)出現(xiàn) Nginx 能找到 PHP 文件但 PHP-FPM 報(bào)File not found的情況。5.2 PHP-FPM 容器遇到的一個(gè)經(jīng)典權(quán)限問題PHP-FPM 容器里的執(zhí)行用戶默認(rèn)是www-dataUID 是 33。如果代碼目錄掛載的是 NFS 存儲(chǔ)文件屬主和容器用戶不一致PHP-FPM 就沒法讀取文件頁面直接白屏報(bào) 403 或 500。我排查過一次最后發(fā)現(xiàn)是 PV 目錄的屬主是 1000而容器里跑的用戶是 33。解決方式有兩個(gè)一是在 PV 目錄上直接用chown -R 33:33但這在共享存儲(chǔ)上未必每次都生效二是在 PHP-FPM 鏡像里修改用戶 ID或者用initContainers在啟動(dòng)前把代碼目錄的屬主改掉。我最后選了 initContainer 方案用一條chown -R 33:33 /var/www/html的命令把代碼目錄權(quán)限校正穩(wěn)定且不需要手工介入。5.3 Dubbo 微服務(wù)遷移 K8S 的注冊(cè)中心適配Dubbo 框架在 K8S 上部署最核心的變化是服務(wù)注冊(cè)與發(fā)現(xiàn)。原來 Dubbo 服務(wù)通過 ZooKeeper 注冊(cè)提供方啟動(dòng)后把 IP 和端口寫入 ZK消費(fèi)方監(jiān)聽 ZK 獲取列表。在 K8S 里如果 Dubbo 注冊(cè)的是 Pod IP那么 Pod 重建后 IP 變了消費(fèi)方會(huì)拿到失效地址調(diào)用直接失敗。解決方案是讓 Dubbo 注冊(cè) K8S 的 Service 名稱。具體做法是給每個(gè) Dubbo 服務(wù)單獨(dú)建一個(gè)無頭 Service然后在啟動(dòng)參數(shù)里配置DUBBO_IP_TO_REGISTRY指向 Service 的 DNS 域名。這樣消費(fèi)方拿到的是穩(wěn)定域名而不是易變的 Pod IP。我在實(shí)際操作中是把環(huán)境變量注入 Deployment通過dubbo.registry.address指向 ZK 的同時(shí)設(shè)置dubbo.protocol.host為 Service 域名。5.4 微服務(wù)滾動(dòng)發(fā)布時(shí)的優(yōu)雅上下線流程Dubbo 滾動(dòng)發(fā)布時(shí)最怕的是服務(wù)下線瞬間消費(fèi)方還在調(diào)用已經(jīng)被刪除的 Provider導(dǎo)致報(bào)錯(cuò)No provider available。K8S 默認(rèn)的滾動(dòng)更新策略是逐個(gè)重建 Pod但 Dubbo 的注冊(cè)中心更新有延遲。我的經(jīng)驗(yàn)是把滾動(dòng)更新前的 PreStop 鉤子用來做 Dubbo 主動(dòng)下線調(diào)dubbo的qos端口發(fā)送offline指令然后等待幾秒再退出容器。這個(gè)等待時(shí)間非常關(guān)鍵太短了下線指令沒送達(dá)太長(zhǎng)了拖慢發(fā)布節(jié)奏。我一般設(shè)置為 10 秒實(shí)測(cè)下來發(fā)布過程不會(huì)出現(xiàn)服務(wù)不可用的情況。消費(fèi)方側(cè)如果依賴了本地緩存的服務(wù)列表也要定期刷新避免長(zhǎng)期持有失效地址。6. Ingress 統(tǒng)一入口多服務(wù)路由規(guī)則配置與流量治理的細(xì)節(jié)最后一塊是入口流量管理。整套環(huán)境里有 Java 應(yīng)用、LNMP、Dubbo 的網(wǎng)關(guān)層等多個(gè) HTTP 或 gRPC 服務(wù)不可能每個(gè)服務(wù)都暴露一個(gè) NodePortIngress 就是用來統(tǒng)一收口流量的。6.1 Ingress 路由規(guī)則的編寫思路按域名、按路徑分層我的配置策略是一個(gè)域名對(duì)應(yīng)多個(gè)服務(wù)按路徑進(jìn)行區(qū)分。比如api.example.com域名下/java路徑轉(zhuǎn)發(fā)到 Java 應(yīng)用的 Service/php路徑轉(zhuǎn)發(fā)到 LNMP 的 Nginx Service/dubbo路徑轉(zhuǎn)發(fā)到 Dubbo 網(wǎng)關(guān) Service。這樣只用一個(gè)域名就能覆蓋所有業(yè)務(wù)入口證書管理也方便。路由規(guī)則里我用的是前綴匹配K8S 的 Ingress 規(guī)范從 1.22 版本開始推薦pathType: Prefix。同時(shí)要注意路徑的斜杠問題——如果用/java作為路徑且后端服務(wù)本身有 contextPath需要確認(rèn) Ingress 的 rewrite-target 注解行為避免路徑被改寫后后端找不到資源。6.2 Ingress Controller 選型和配置參數(shù)Ingress 只是一個(gè)資源對(duì)象真正干活的是 Ingress Controller。我用的方案是社區(qū)最主流的 ingress-nginx部署方式是用 Helm。核心配置參數(shù)我會(huì)打開這幾個(gè)proxy-body-size調(diào)到 100m因?yàn)?LNMP 那邊會(huì)上傳文件keep-alive設(shè)置為 300 秒降低后端連接的頻繁重建enable-real-ip打開讓后端能拿到真實(shí)的客戶端 IP而不是 Nginx 轉(zhuǎn)發(fā)過來的內(nèi)部地址。Helm 安裝時(shí)建議把hostNetwork設(shè)為 true讓 Ingress Controller 直接占用宿主機(jī)端口 80 和 443。這樣比 NodePort 多一跳的轉(zhuǎn)發(fā)更高效也方便直接在負(fù)載均衡器上把流量轉(zhuǎn)到幾個(gè)節(jié)點(diǎn)的對(duì)應(yīng)端口。6.3 TLS 證書配置與路由兼容性的一次實(shí)測(cè)踩坑有一次我給域名配置 HTTPS 證書時(shí)發(fā)現(xiàn)客戶端訪問https://api.example.com/java報(bào)證書無效。排查了半天最后定位到問題不在證書本身而在 Ingress 規(guī)則里的 host 和后端 Service 的響應(yīng)。Nginx Ingress Controller 默認(rèn)會(huì)透?jìng)?SNI如果后端 Tomcat 啟動(dòng)了 HTTPS 連接器的證書校驗(yàn)Ingress 和后端之間的協(xié)商就對(duì)不上。解決方案是后端應(yīng)用全部走 HTTP由 Ingress 統(tǒng)一終結(jié) TLS不要在后端重復(fù)配置 HTTPS。Ingress 規(guī)則里用tls段綁定證書和 host然后后端 Service 只暴露 80 端口。這套架構(gòu)清晰也避免了證書鏈嵌套導(dǎo)致的各類兼容性問題。6.4 Ingress 的灰度發(fā)布和流量分流能力擴(kuò)展Ingress 天然支持按 header 或權(quán)重做流量分發(fā)我用它做了灰度發(fā)布。比如新版 Java 應(yīng)用先部署一套新的后端 Service然后通過 Ingress 注解nginx.ingress.kubernetes.io/canary-weight: 10把 10% 的流量切到新版本。驗(yàn)證通過后把權(quán)重調(diào)到 100再清理舊副本。這套方案比直接改 Service 指向更平滑而且不需要停機(jī)。實(shí)際配置時(shí)要注意灰度規(guī)則只在同一 host 下生效且需要確保新舊兩個(gè) Service 都是可用的否則會(huì)把錯(cuò)誤流量引入灰度版本影響線上用戶體驗(yàn)。7. 從部署到穩(wěn)定運(yùn)行的運(yùn)維視角這套架構(gòu)在真實(shí)環(huán)境里還要盯什么前面把每一類應(yīng)用的部署和踩坑都講了一遍最后補(bǔ)充一些從整體架構(gòu)視角出發(fā)的運(yùn)維細(xì)節(jié)。很多項(xiàng)目部署完沒問題但跑一段時(shí)間后就頻繁故障問題基本都出在這些容易被忽略的環(huán)節(jié)。7.1 資源規(guī)劃給每類應(yīng)用預(yù)留多少資源才夠用我把這套環(huán)境的資源分配做個(gè)參考Zookeeper 每個(gè)節(jié)點(diǎn) 1C2G三個(gè)節(jié)點(diǎn)MySQL 主節(jié)點(diǎn) 4C8G 加 500G 存儲(chǔ)從節(jié)點(diǎn) 2C4G 加 200GRedis 每個(gè)分片 2C4G六個(gè)分片Java 應(yīng)用平均 2C4G按 HPA 在 3 到 10 個(gè)副本之間彈性伸縮Nginx 入口 2C4G兩個(gè)副本。資源不是越高越好但要保證核心中間件有足夠的余量。MySQL 和 Kafka 這類 IO 密集應(yīng)用建議把 CPU Request 和 Limit 設(shè)得接近一些避免 CPU 被搶占導(dǎo)致 IO 等待時(shí)間拉長(zhǎng)。Java 應(yīng)用則要關(guān)注堆內(nèi)存和容器內(nèi)存的比例避免容器設(shè)置了 4G Limit 但 JVM 堆只分配到 1G 的浪費(fèi)。7.2 日志和監(jiān)控的統(tǒng)一收集方案K8S 環(huán)境下日志收集不能再像傳統(tǒng)服務(wù)器一樣tail -f去翻文件。我為每個(gè)節(jié)點(diǎn)部署了 Filebeat以 DaemonSet 方式運(yùn)行采集/var/log/containers/*.log下的容器日志輸出到 Elasticsearch。這套方案的優(yōu)點(diǎn)是無需改造應(yīng)用鏡像直接用標(biāo)準(zhǔn)輸出日志即可。監(jiān)控方面用的是 Prometheus 加 Grafana。Node Exporter 采集節(jié)點(diǎn)指標(biāo)cAdvisor 采集容器指標(biāo)MySQL Exporter 和 Redis Exporter 分別采集中間件指標(biāo)。告警規(guī)則我會(huì)重點(diǎn)盯這幾個(gè)Pod 頻繁重啟、PVC 使用率超過 85%、Redis 內(nèi)存超過 80%、MySQL 主從延遲超過 30 秒。這些指標(biāo)直接對(duì)應(yīng)線上故障命中率高誤報(bào)少。7.3 發(fā)布回滾預(yù)案如何快速恢復(fù)受損應(yīng)用有狀態(tài)應(yīng)用的發(fā)布回滾比無狀態(tài)應(yīng)用風(fēng)險(xiǎn)高得多。MySQL 升級(jí)版本時(shí)萬一失敗不要直接重啟因?yàn)樽詣?dòng)恢復(fù)可能會(huì)把數(shù)據(jù)文件搞壞。我的習(xí)慣是升級(jí)前先全量備份備份文件放到集群外存儲(chǔ)然后手動(dòng)修改 StatefulSet 開啟滾動(dòng)更新。如果啟動(dòng)驗(yàn)證失敗立即把鏡像 tag 改回原版本執(zhí)行回滾同時(shí)確認(rèn)所有 PVC 沒有被殘留的定時(shí)任務(wù)清理掉。無狀態(tài)應(yīng)用的回滾相對(duì)簡(jiǎn)單Deployment 的rollout undo一條命令就能回到上一個(gè)版本。但需要注意如果同時(shí)改了 ConfigMap回滾不會(huì)自動(dòng)恢復(fù) ConfigMap 的版本需要額外處理配置文件的回退。我這次上線 Dubbo 版本時(shí)踩過這個(gè)坑最后總結(jié)的經(jīng)驗(yàn)是凡是涉及配置變更的發(fā)布必須把 ConfigMap 版本和鏡像版本一起放進(jìn)發(fā)布單里管理。7.4 團(tuán)隊(duì)協(xié)作中的命名規(guī)范和環(huán)境隔離最后說一個(gè)團(tuán)隊(duì)協(xié)作層面的建議。K8S 的命名空間是最好的隔離工具我這次把開發(fā)、測(cè)試、生產(chǎn)三個(gè)環(huán)境用命名空間強(qiáng)制隔離資源配額也分別限制。命名空間內(nèi)部再用標(biāo)簽區(qū)分應(yīng)用和中間件比如appjava-app、appredis。這樣無論是排查問題還是寫網(wǎng)絡(luò)策略目標(biāo)都清晰。命名規(guī)范上Service 名、配置名、PVC 名統(tǒng)一加應(yīng)用前綴比如mysql-prod-data、zk-headless、java-app-config。后期維護(hù)時(shí)一眼就能看出來對(duì)應(yīng)的資源類型和用途。這套組合從部署到現(xiàn)在跑了兩三個(gè)月整體穩(wěn)定性是過關(guān)的。中間件和業(yè)務(wù)應(yīng)用的日常操作沒有出現(xiàn)明顯故障彈性伸縮和灰度發(fā)布流程也已經(jīng)沉淀成團(tuán)隊(duì)內(nèi)部的標(biāo)準(zhǔn)化操作。希望這次完整的實(shí)戰(zhàn)拆解能給正在做 K8S 落地的朋友一些參考少走一點(diǎn)我已經(jīng)趟過的彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产精品久久久丁香五月八戒视频| 天堂中文国产| 99色色网| 婷婷干五月综合在线播放| 亚洲激情六月丁香| 欧美叉叉叉BBB网站| 思思久热6| 五月丁香综合中文| 超碰免费成人网站| 九九在线精点品| 爱婷婷久久视频| 欧洲亚洲午夜| 国产偷人爽久久久久久老妇APP| 97久久香草精品视频| 99啪视频在线观看| 97超碰婷婷五月天| 五月丁香啪| 日日爽日日| 五月五婷婷网| 天天操B| 午夜天堂一区人妻| 国産精品| 怡红院成人AV| 国产操逼视频网站| 色色色九九九五月婷婷| 日韩精品AV一区二区三区| 青青草原伊人网| www.爱操com.| 在线观看五月婷婷网| 婷婷五月综合色小姐小说| 亚洲操人| 五月婷婷天堂| www.狠狠操| 五月激激网w'w'w| 日本啪啪网| 野战J办公桌椅H| 96精品久久久久久久久| 九九这里是免费的视频5| 五月天婷婷丁香视频| 色色五月天丁香| 五月丁香A片| 欧美私人家庭影院| 性av| 五月婷婷电影院| 我爱大香蕉| www.五月婷婷| 午夜丁香| 婷婷丁香在线| 丁香激情五月| 内射人妻视频国内| 国产伦亲子伦亲子视频观看| 小香蕉av| 久久丁香婷| 丁香五月天激情综合| 色色色欧美| 久久天天| www久| 99啪| 丁香五月自拍| 亚洲12p| 九九热精品在线| 97中文在线| 婷婷五月天亚洲| 性99网站| 碰97久久| 亚洲天堂久久| www.婷婷激情网.com| 五月天丁香啪啪网| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 久久五月丁香| 国语对白性爱视频播放| av网站中文| 婷婷激情五月综合在线视频| 色播播婷婷| 婷婷香五月天| 99性视频| 5月色亭亭视频| 亚洲第二AV| 日韩AV中文字幕在线| 九九热内射| 激情av网| 丁香婷婷激情综合五月激情| 这里只有精品视频一区| 香蕉视频91| 久99视频在线观看| 夜夜操加勒比| 色婷婷五月综合色婷婷| 天天肏在线观看| www,com,五月色色| 99在线观看这里都是精品| 婷婷五月丁香五月| 六月狠狠综合| 99干视频| 国产亚洲AV人片在线| 久久您您综合网| 超级碰 久久9| 国产伊人五月天| 激情5月婷婷狠狠干| 狠狠干2007| 狠狠色丁香婷婷基地| 六月丁香婷婷在线波多 | 91精品久久久久久久| 色综合色综合网| 婷婷舔| 五月丁香中文字幕| 91九色精品熟女内射| 婷婷欠久少妇| 那里有AV网址| 五月天综合| 色五月婷婷久久| 午夜69成人做爰视频| 久久性综合| 91婷婷色| 看久久性爱99视频| 九九色精品| 婷婷99综合| 大香蕉操操| 97丁香五月天| 日韩成人中文字幕| 丁香六月青青草| 天天插天天插天天操| www,色中色| 六月婷婷五月丁香| 婷婷色狠狠| 色五月婷婷色| 五月在线| 激情婷婷护士激情| 开心五月丁香啪| 欧美日本国产欧美日本韩国99| 婷婷五月在线影院| 久久亚洲色导航| 亚洲天天| 亚洲精99| 日日干日日| 9精品视频在线| 五月婷婷在线网站| 99热免费| 日韩99色| 婷婷久久网| 日韩五月婷婷| 亚洲热久久| 人妻体体内射精一区二区| 99热在线看片| 丁香六月婷| 91久久久久久久久久18| 亚洲天堂AAA| 精品久久99| 亚洲婷婷综合视频| 天天操综合网| 天天操天天曰天天射| 久热中文字幕在线线观看| 另类综合激情| 亚洲视频a| 色欲婷婷五月天| 久久精品五月| 婷婷丁香色情| 我爱大香蕉| 丁香五月婷婷激情尤物| 婷婷色网站| 99综合自拍| 射琪琪| 五月天综合久久| 3DAV亚洲香蕉久久 一区二区| 亚洲操操| www.99热| 丁香六月亚洲综合| 五月婷婷国产| 久久激情综合| 五月天激情在线视频| 7超碰自拍| 密桃激情五月天综合网| 婷婷五月天久| 99久久婷婷五月综合| 五月天婷婷丁香花| 五月丁香激情综合网| 亚洲AV无码成人精品区电影网| 五月久久丁香| 日本久久视频| 无码激情AAAAA片-区区| 六月丁香社区| 操操国产| 一起草AV入口| 人人播| 超碰97免费在线| yellow视频在线观看91| 丁香五月六月久久综合| 在线观看日韩12345区| 狠狠色丁婷婷日日,伊人激情综合网| 99热这里只有精品9| 色五月婷婷少妇人妻| 亚洲精品V天堂中文字幕| 精品国产人人爱人人| 五月花婷婷| 天天色天天噜| 欧美99| 成人精品一区日本无码网| 99热这里只有精品2016| 91久久精品无码一区二区三区| 第四色五月天| 思思热在线视频精品| 天天艹天天综合网| 久久婷婷东京热大香樵| AA片在线观看视频在线播放| 91超碰在线观看| 激情六月五月婷婷综合网| 欧在线一区| 97人人干人人操| 午夜一区| 五月天婷婷乱论小说| 亚洲综合九九| 色播五月综合网| 亚洲综合成人网| 婷婷五月天免费视频在线观看| 婷婷五月天黄色网址| 婷婷色婷婷| 五月丁香中文字幕| 五月天婷婷久色| 五月婷婷婷| 丁香六月婷| 最新va在线播放| 色婷婷丁香五月在线| 99综合99| 97精品人人A片免费看| 狠狠狠狠狠干| 五月开心深深爱激情综合 | 337p午夜影院| 天天爱天天做天天日| 一级黄色片看看| 夜夜骑夜夜撸| 99a级片| 色必久悠悠影院| 亚洲AV免费国产电影| 国产精品色色| 丁香六月婷婷久久综合| 婷婷五月天丁香社区| 极品人妻videosss人妻| a色色片| 伊人色综合久久久| 日韩三及成人AV片| wwww.9免费视频| 午夜少妇在线观看视频| 青青草激情网| 成人电影AV在线观看| 好吊丝aV| 亚洲色色色色| 精品一区二区三区木瓜| 99精品在| 天天日夜夜夜操操操操| 综合色五月天| 五月激情五月婷婷五月天在线| 婷婷色色狠狠| 久思思热视频在线观看| 久久99久久99久久99人受| 久xxxx| 丝雨一区二区| 久久久婷丁香五月| 在线91日韩| 日本在线播放97| 99ri精品| 97天堂| 99热这里只有精品中文字幕| 九月婷婷| 国产午夜成人AV在线播放| 9久久精品| 99操久久| 五月天婷婷久久| 亚洲六月色婷婷| 色五月成人网| 五月天另类小说| www五月天激情com| 久久精品这里只有精品免费首页| 五月天婷婷色色网| 91丨九色丨丰满人妖| www.色婷婷.com| 可以免费看的AV网站| 激情小说视频图片网| 色婷婷AV久久久久久久| h亚洲| 五月天社区| 9九色首页| 噜啊噜在线| 综合网啪| 丁香婷婷五月天色综合| 狠狠色精品综合| 婷婷五月天激情综合网| 高清无码入口| 日本五月婷| 亚洲热热视频| 亚洲欧洲中文日韩久久AV乱码| 丁香五月欧美婷婷综合| 激情五月色综合网| 九九爱这里只有精品| 99久久国产成人精品| 欧美婷婷六月丁香综合色连续高潮抽搐| 日韩高清久久| 色狠狠狠干| 亚洲日韩人妻操逼| 99久久这里只有精品| 日本操碰碰| 激情五月天网| 国产AV一区二区三区最新精品| 婷婷五月天av小说| 亚洲操逼网| 天天肏屄夜夜爽| 五月丁香色五月| 天天日天天做天天操| www.国产色| 九九热re99re6在线精品| 丁香五月色| 99热这里有精品| 91干在线视频| 九九aV| 久久五月人人摸| 先锋男人99资源| 五月丁香婷婷基地| 无码激情AAAAA片-区区| 婷婷五月激情的图片| 操91| 日本色爽| 99色综合久久| www.av视频xx999.com| 黄页大全十八禁| 天天干狠狠| 亚洲欧美999| 日本天堂爱爱| 午夜日韩久久久网站| 99热精品在线| 这里只有精品视频在线| 综合色在线| 另类A片| ji'qi'luan'ren'lun| 久婷五月| 国产美女无遮挡裸体毛片A片| 色婷婷久久7777| 思恩热国产视频右线观看| 天天舔天天摸视频| 国产古装妇女野外A片| 成人电影在线免费试看| 丁香六月伊人| www。久久久久一b。Cc| 午夜理论片最新午夜理论剧 | 七七色色综合| 婷婷五月花西瓜| 99热只有这里有精品| 大香蕉丁香| 大香蕉五月婷婷| 日日操日日爽| 婷婷丁香综合网| 五月天婷婷色在线视频免费观看 | 色欲Av五月天| 色婷视频| 五月婷婷激情综合在线| 黄网免费看| 888久久久| 六月狠狠综合| 99九九这里有免费视频| 色色丁香五月婷婷| 婷婷久热| 久久色在线视频| 91日日日| 成人版视频在线观看| 五月天婷婷丁香社区| 图片区 小说区 区 亚洲五月| 日韩成人AV在线| 五月天社区| 国产女人十八水真多1| 深爱开心激情网| 99色色网| www,com,五月色色| 在线成人视频免费| 97影院一级片| 操碰97| 伊人久久大香网| 综合色网站| 婷婷五月亚洲一本在线丁香| 99国产欧美视频| 日韩99精品| 综合在线观看99| 婷婷激情丁五月| 中文字幕丰满孑伦无码专区| 日日做天天操夜夜爽| 极品人妻VIDEOSSS人妻| 婷婷激情5月| 一级内射毛片| 久碰婷婷视频| 成人五月天在线观看| 99热这里只有精品3| 婷婷综合精品| 九九99精品视频在线观看| 亚洲激情免费久久| 久久丁香综合香蕉| 开心五月深爱五月| 亚洲成人网站在线观看| 国外亚洲成AV人片在线观看| 婷婷色成人| 五月天色色色色色| 思思热精品在线视频| 涩综合在线 | 亚美欧色影院| 日韩成人AV在线| 夜夜撸天天操| 欧美综合五月丁香六月婷| 天天射影院| 丁香六月视频免费观看| 国产九九一区二区三区| 成人av免费观看| 激情宗合哪里能看| 亚洲超碰中文字幕| 中文字幕在线免费观看视频| 爱的综合网| 久操香蕉| 五月丁香| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪| 丁香五月亚洲综合丝袜| 色色色色色综合| 美欧日韩国产成人在战| 五月婷人妻| 五月丁香A∨在线| 五月婷精品| 久久99热 这里有精品| 韩日AV片| 国产又粗又大又爽又黄| 丁香五月婷婷AV| 婷婷五月天在线观看av| 狠狠色97| 天天操天天干天天射| 七七九色| 婷婷开心激情五月激情网| 97资源碰碰| 婷婷综合性爱网| 99久久玖玖| 色播丁香五月婷婷操:屄| 色情五月天导航| 国产激情视频在线观看| 久久超级碰碰| 五月花免费视频| 天堂婷婷五月色| 夜夜躁婷婷AV| 激情婷婷在线| 免费观看全黄做爰的视频| 激情视频综合| 久久综合丁香激情五月| 五月丁香网中文字幕| 日日操夜夜操无码免费| 亚洲一二三网| 三男玩一女三A片| 色婷婷先锋| 婷婷亚洲在线| 99热这里只有精品手机在线观看| 久久久99婷婷久久久久久| 丁香五月天AV在线 | 五月天夜夜爱夜夜操| Av大香蕉| 五月色色网| 一区=区操屄高清大全av| 五月天精品| 91黄址| 99热这里只有精品青草| 欧美va在线| 男人综合网| 久久只有这里精品免费| 超碰av在线| 4399在线观看免费高清黄色视频| 色五月婷婷激情基地| 热99玖玖99玖玖99九九| 婷婷色色综合| av在线免费播放观看| 少妇做爰免费视看片| 99热最新网址| 99操逼| 色婷婷小说网| 99色综合| 五月天丁香婷婷视频网址| 色色99| 久久ab| 这里只有精品免费| 六月丁香久久| 天天射影院| 国产成人精品一区二区三区视频| AAA级久久久精品| 中文毛片无遮挡高潮免费| AA丁香综合激情| 久久婷婷五月综合| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷五月天精品| 色五月开心五月激情五月| 五月噜噜噜色综合| 婷婷丁香午夜综合影视| 婷婷五月天深爱| 亚洲AAA| 五月天激情子轮| 日韩十国产极品久久| 婷婷射婷婷舔| 欧美性色视频| 九九色综合九九色| 成人无码髙潮喷水A片| 亚洲日本韩国| 99视频在线看| 伊人婷婷大香蕉| 久久色婷婷| 亚洲精品网站色视频| 欧美成人无码高清一区二区三区| 婷婷激情五月综合基地| 久久婷婷六月综合综合色| 五月婷婷真爱激情网| 天天插天天插| 国产精品色| 激情九月丁香婷婷| 婷婷的99视频网站| 九九久久五月天综合伊人| 成人色色视频| 五月天色色网站| 天天插天天射| 99视频在线观看网址| 婷婷五月天色色| 五月色情婷婷开心五月色情| 9月色婷婷| 激情五月综合| 热热99爱爱| 久久久婷| 五月婷婷黄色视频| 伊人婷婷大香蕉| 五月丁香成人网| 热久久这里只有三级视频| 色原狠狠综合| 五月天婷婷综合久久| WWW.桔色成人.COM| 亚洲免费看片| 九色视频入口91| 涩五月婷婷| 亚洲激情精品| 九九精品热| 狠干综合| 伊人丁香花综合影院| 精品99在线| 欧美性猛交XXXX乱大交极品| 成人五月天丁香| 色五月婷激情| 99热这里只有精品9| 日本欧特黄色刺激一区影视久精品无码| 五月婷成人| 成人丁香婷婷五月天| 久久九色| 五月天停停日日| 天天操天天操天天操| 久热 91| 婷婷五月天丁香综合网| 久久亚洲色导航| 婷婷五月天成人网| 91综合色噜噜| 思思热国产| 日本99视频| 久久婷婷啪啪视频| 久久东京热婷婷五月| 麻豆忘忧草午夜| 天天日天天插天天操| 色噜噜狠狠色综合日日| 在线理论片| 亚洲区视频| 色五月av| 香蕉伊人综合| 婷婷六月天激情| 97爱艹婷婷开心丁香激情综合| 欧美极品999| 久9久9热久热| www..999热久| 综合婷婷都市激情| 狠狠色综合图片| 一夜福利不卡| 五月色综合| 色色五月天激情| 成人婷婷| 中文字幕视频在线播放| 日本啪啪天堂| 91美女被操| 超碰91人人操| 日韩成人AV在线| 久热黄色| 久草婷婷| 亚洲第一成人无码A片| 色婷婷免费视频| 日韩在线观看亚洲| 久9热在线视频| 九九99一区| 久久99精品久久久久久青青AR| 亚洲综合丁香五月天| 蜜乳av一级av| 色丁香影院| 色综合色综合色综合| 婷婷五月天激情综合网| 超级碰碰碰久久网站| 婷婷五月天成人综合网| 丁香五月天亚洲综合| www,26uuu,c0m,色情| 97久操| 99免费在线视频| 超碰97色| 婷婷无码视频| 色婷婷五月基地在线| 538在线精品| 99精品久久久久久久婷婷久久| 91在线97视频| 99热色精品| www.五月婷婷| 双性美人被调教到喷水A片| 天天网站天天爽| 欧美大片免费播放器| 五月丁香 啪啪啪| 北条麻妃伊人| 99热国产精品| 人妻肉射免费观看| www.五月天色色色| 天天天天干| 五月www| 国产毛片操B| 国产激情综合五月久久| 天搞天天天天天| 香蕉久久五月| 五月天激情久久| 久久综合激情五月天| 99超超碰| 天天干天天拍| 婷婷伊人激情婷婷| 在线观看亚洲AV| 99色热| 色婷婷裸体色性在线| www.色色五月天.com| 91五月天| 婷婷五月色激情欧美激情| 热的五码久久精品| 久久五月天免费网站| 日本va欧美va国产激情| 99热.com| 啪啪啪五月天| 亚洲人妻av| 影音先锋AV资源男人站| 天天色天天日| 色婷婷六月| 操国产人妻| 另类丁香综合| www久视频com| 久久九九99| 婷婷夜夜操| www久久五月com| 丁香六月亚洲| 99国产精品白浆在线观看免费| 九九热精品在线| 大狠狠在线| 色婷婷97| 久草婷婷视频| 黄色热99| 国产毛片精品一区二区色欲黄A片| 丁香婷五月| 开心六月婷| 超碰高清在线| 91操女| 色综合天天网| 久久综合九九| 91要啪| 91刘玥视频在线观看| 成 人片 黄 色 大 片| 色九九九九| 亚洲色婷婷五月| 嫩草AV久久伊人妇女超级A| 色天堂97| 成人国产网站| 欧美丰满熟妇BBB久久久| 高清视频一区| 亚洲成人高清在线| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 六月婷婷影院| 午夜青草资源| 婷婷丁香六月影视| 99这里只有免费的小视频在线观看| 九九re精品视频在线观看| 99玖玖精品| 另类婷婷五月天啪帕帕| 色综合色香蕉网| 欧美交换配乱吟粗大25P| 人人操操| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 久久色情综合免费网站| 丁香婷婷色情社区成人小说| 五月久久噜噜| 久色姿源| 丁香五月婷婷亚洲另类| 99r这里| 狠婷婷五月| 色五月婷激情| 亚洲综合色五月| 综合深爱五月| 婷婷激情5月| 激情五月天www| 婷婷五月综合视频| 五月丁香六月情| AV性爱网| 在线成人网站| 九九热精品视频在线观看| 99精品无码| 狠狠穞A片一區二區三區| 婷婷丁香六月| 97碰碰九九视频| 亚洲成人av中文| 午夜日韩久久久网站| 99热热这里只精品996小说| 五月丁香久| 大香蕉九九| 人妻自慰在线| 这里只有精品久| 天天爽天天爽视频| 丁香六月激情| 日本丁香五月| 精品成人在线| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 成人欧美日韩| 丁香五月手机在线| 天天日,天天插| 激情六月天| 亚洲av另类在线观看| 婷婷色情五月| 婷婷色婷婷亚洲成人| 激情综合激情五月| 新激情五月天天在线网| 丁香婷婷激情| 五月丁香A∨在线| av在线免费播放| 色五月在线| 5月婷婷6月六月丁香| 久激情网| 久久中文网| 丁香五月色网| 五月色情网| 婷婷五月天网| 亚洲综合五月天| 综合婷| 人人爱干人人爱草| 丰满熟女人妻一区二区三| 亚洲精品视频在线播放| 国产干逼片| www.久久久.com| 久久五月天精品视频| 亚洲精色| 99免费在线视频| 久99婷婷色综合| www九九| 日日噜狠狠色| 这里有精品| 99噜噜噜在线播放| 亚洲激情婷婷| 日夜夜久久| www99热| 爆乳熟女一区二区三区爆乳| 这里只有精品99www| 九热...av| 久久久9久| 丁香五月综合色婷婷| 999热这里只有精品| 被强行糟蹋的女人A片| 久久五月激情综合| 亚州色色色| 中文字幕网伦射乱中文| 操操操操操操婷婷五月天| 丁香六月成人| 国产精品18久久久| 秋霞黄色一级久久| 欧美日韩成人一区二区| 黄色短视频在线观看| 69五月天视频| 五月婷婷综合网| 9|无码久久久久久| 五月丁香色综合| 五月丁香综合久久夜夜| 26UUU精品一区二区c〇m| 亚洲六月婷婷| 六月丁香停| 五月丁香六月婷婷亚洲综合| 九九热精品| 伊人春天av| 五月天婷婷久久| 97婷婷丁香五月综合| 色爱终和网| av大片在线| 色五月涩涩婷婷蜜桃| 91丨九色丨43老版熟女| 婷婷97碰碰| 26uuu丁香婷婷五月| 丁香五月综合无码趴趴| 色综合色色色| 久热精品免费视频4| 国产精品99久久久久久久女警| 久热99| 91天天操天天干天天射| 色综合色五月| 人人爱国产| 激情综合网五月在线播放| 色婷网| av九九| 国产成人综合网| 五月天天天操天天爽夜夜操| 99热在线观看| 伊人婷婷五月| 91聚色综合网| 激情性五月天免费小说视频| 丁香影院五月综合| 五月婷婷天天| www.99婷婷| 99热这里只有精品在线| 久久这里精彩免费在线观看| 五月天婷婷久久| 免费久久这里只有精品99| 婷婷中合| 天天婷婷综合亚洲亚洲| 日本九九视频| 五月色婷婷综合| 好吊丝aV| 激情五月瑟瑟| 久久A区B区| 日本99视频精品免费播放| 久久伦乱| 九九热只有精品6| 色婷婷8| 丁香六月婷婷综合缴| 久久久久久久久久91| 超碰人人在线| 色欲香综合网| 99久久.www| 亚洲天堂久久| 婷婷色五月色妇| 午夜色丁香| 91蜜桃婷婷狠狠久久综合9色| 另类专区在线| 色五月激情五月| 日日撸夜夜操| 77799热| 亚洲精品第一国产综合亚AV | 欧美操逼天堂| 超碰99热| 丁香五月天啪啪激情综和网| 91互操| 日日夜夜干| 怎么样可以看免费的一级av| 视频色色色色色色| 亚洲黄色影视| 婷婷综合天堂| 伊人五月天在线| 99热在线观看亚洲区| 五月天婷婷基地综合网| 国产熟妇的荡欲午夜视频| 四月丁香五月婷婷久久| 日本色噜| 71在线精品视频一区| 丁香九月激情| 天天爱天天秀天天做| 99热这里只有精品10| 狠狠色丁香婷婷五月| 五月丁香婷婷综合网| 四色99久久| 狠狠88综合久久久久噜噜噜| 狠狠爱五月婷婷| 激情婷婷五月天| 99热8| 色五月色综合| 丁香五月亚洲AV| 91色综合久久| 超碰99在线| 色婷婷天堂| 美女100%露全身无挡网站| 台湾无码A片一区二区| 五月婷婷涩涩爱| 欧美精品999| 天天婷婷| 偷拍视频五月天| 激情婷婷五月天| 久久桃花网色婷婷| 99这里有精品视频| 91中文在线| 天天搞天天爽| 亚洲婷婷激情五月天| 色综久久久| 久久久久9| 人人操女人| 欧美日韩五月婷婷| 日本不卡一区二区三区| 9有码中文| 综合久久五月天| 亚洲综合狠狠艹| 在线综合婷婷| 日本在线视频手机播放五月婷| 激情99热| 久久九九@| 婷婷五月天丁香激情| 色色亚洲99com| 国色天香成人网| 丁香六月啪| 丁香五月久久| 日本三级韩三级99久久| 丁香久久| 成人短视频在线| 色综合天堂| 综合啪啪| 99九九视频精彩在线| 五月天天天色| 色爱终和网| 午夜婷婷五月天在线| 色情五月天se| 丁香色啪综合| 亚洲小视频免费播放| 日韩无码成人电影| 亚洲午夜av| 国产超碰在线| 丁香五月色色色色| 玖玖99福利| 深爱网深爱综合网| 99热免费网站| 婷婷激情五月天7| 就99这里只有精品| 激情五月丁香在线观看直播| 少妇久久诱惑视频| 这里只有免费的精品| 青娱乐美女福利视频美臀| 亚洲狠狠狠色婷婷综合激情久久久| 亚洲日日日| 丁香五月大香蕉| 九九免费视频| 六月色婷婷| 国产人妻777人伦精品HD| 中字幕视频在线永久在线观看免费| 五月丁香色综合| 日本色五月| 日本不卡高字幕在线2019| 嫩草AV久久伊人妇女超级A| 免费在线观看AV网站| 久久38视频| txt五月激情四射网综合俺也来了| 精品导航在线x不卡| 99re热在线视频观看| 91精品久久久久久77777| 五月丁香六月色婷婷| 亚洲婷婷五月| 亚洲旡码| 热久久99视频| 五月天综合图片| 久久五月天视频| 另类视频五月天| 激情综合色| 性爱激情五月| 人人操女人| 天天 青草 制服丝袜 在线| 天天综合天天玩夜夜玩天天玩夜夜玩| 九九激情视频| 日韩黄黄| 99在线资源视频| 久久香蕉福利| 丁香婷婷射| 亚洲婷婷欧美婷婷| 开心激情站| 九久久婷婷| 丁香六月婷婷久久高清| 99热这里只有在线播放| 丁香五月婷婷在线观看| 五月婷婷啪啪| 丁香婷婷综合影院| 久操大香蕉| 成人性爱精品视频| 久久99久久99久久99人受| 六月婷综合| 亚洲午夜在线视频| 狠狠艹狠狠艹| 激情综合视频| 噼里啪啦完整版中文在线观看| wwww.9免费视频| 成人精品在线| 色五月婷婷色五月婷婷色五月婷婷| 97久久人人| 色99久草在线| 永久的网站AAAA| 国产色99| 99色色| 99干99| 丁香五月综合在线观看| 五月婷综合| 综合五月丁香六月婷婷| 天天综合插插| 日韩成人免费电影| 婷五月天| 人妻激情在线| 丁香婷婷婷五月| 人妻AV中文系列| 亚洲精品影视| 五月伊人91| 婷婷的99视频网站| 欧美xx激情视频在线观看| 免费在线观看AV网站| 操逼六区| 五月激情六月宗合| 亚洲天天操| 丁香六月婷婷缴情欧美| 香蕉婷婷色五月| 另类A片| 9热在线视频精品| 五月婷六月丁| 97 天堂| 婷婷色五月激情| 在线不卡视频| 亚州操操| 直接看的AV| 婷婷的五月天另类视频| 色色婷婷丁香| 婷婷月综合| 丁香 亚洲 久久| 欧美色爱五月天| 97色射| 丁香六月爱综合| 乱精品一区字幕二区| 亚洲无码成人网| 丁香五月激情综合| 丁香婷婷婷五月综合色情| 五月WWW| 欧美性猛交99久久久久99按摩| 五月婷婷干干干| AAA久久| 天堂A∨在线| 91久久久久久久| 亚洲国产婷婷色五月| 99啪啪| 久久久妻人人人| 婷婷另类小说| 五月丁香六月日逼| 中文字幕无码人妻少妇免费视频| www,五月天com| 激情五月影院| www.日韩国产| 99在线热| 欧美在线干| 久久五月天综合| 中文字幕视频在线播放| 99精品在线观看| 激情五月激情综合俺也去婷婷小说| 九九热视频精品| 五月天六月丁香| 天堂成人A片永久免费网站| 侠女刀之记忆电影在线看免费| 五月天伊人| www,五月丁,com| 91 久热| 天天做天天爱天天爽综合网| 色九月国产| 99热9999| 六月婷婷视频| 噼里啪啦在线观看免费完整版视频| 就爱啪啪婷婷| 天天操天天插天天射| 六月婷婷久久大全| 六月婷婷综合久久| 久久99婷婷| 丁香六月天AV| 97啪在线观看视频| 新激情五月天色播| 自拍视频在线观看9| 久久精品99久久久久久| 久这里只有精品99| WWW色五月| 色情五月综合婷婷| 99久久99久久综合| 亚洲欧美在线观看| 国产在这里只有精品| 五月丁香久久网| 思思热在线| 五月激情基地| 五月天播播中文字幕| 99久在线| 欧美三9久九观看| 狠狠色五月天| 精品九九在线观看视频| 91a片爽| www.婷婷五月天.com| 俺去也在线视频| 丁香六月啪| tingtingcaobi| 五月婷婷激情| 久久在线人妻| 99re在线观看| 九九99久久精品| 色综合久久44| 国产操B视频| 五月婷丁香| 都市激情小说婷婷| 久热大香蕉| 激情五月婷婷综合秋霞| 狠狠色97| 婷婷五月综合欧美在线播放| 欧美色色日韩| 丁香五月婷婷激情97| 色情久久久| se99视频| 思思久久99热| 超碰爱爱爱| 亚洲国产精品成人午夜| 青青草tp| 久久婷婷六月综合| 五月丁香成人版| 久久婷婷色| 九热视频精品| 丁香婷婷狠狠97| 婷婷五月天视频亚洲| 色97综合婷婷天天色| 国产激情av| 99操不停| 校花娇喘呻吟校长陈若雪视频| 亚洲成人超碰| 婷婷开心六月| 久久综合热17c| 色久九| 欧美婷婷综合网| AA片在线观看视频在线播放| 91精品久久久久久77777| 婷婷五月天黄色小说| 久久永久网址| 色月九九| 超碰永久在线| 小香蕉av| 天天日天天色| 99视频在线精品| 九九色综合九九色| AA久久| 永久免费一区二区三区| 五月天激情av| 色天天综合成人网| 色婷婷婷婷成人网| 丁香五月亚洲AV| 婷婷爱五月| 中日韩美欧成人一区二区精品在线| 天天做天天爱| 九九综合精品| 国产免费AV在线| 五月丁香激情综合啪啪| 丁香五月婷婷在线| 激情五月天开心总和网| WWW,婷婷,COM| 天天舔日日肏夜夜爽| 夜夜夜叫天天天做| 激情五月天无码| 无码G高清天| 九九精品片一| 丁香五月天人体| 国产视频久色| 国产六月婷婷| 婷婷五月天婷婷| 激情美女五月天激情在线| 毛v一区二区视频| 色五月大| 色婷五月天激情| 丁香五月综合| 97丁香五月| 丁香综合网| 色婷婷精品视频| 99色视频| 中文字幕不卡+婷婷五月| 色综合色五月| 99热啪啪| 九九热免费视频| 99热超碰人| 99操九九网| 日韩无码乱轮| 99热在线精品播放| 成人深爱丁香五月| 丁香亚洲婷婷五月| 五月丁香六月婷婷综合网站 | 香蕉久久国产AV一区二区| 午夜少妇在线观看视频| 99色精品| 99热国品| 青青草Avb在线| 九热视频在线精品15| 婷婷国产综合| www.久久66| 婷婷色五月天在线| 婷婷综合视频| 欧美色色色| av网站免费在线| 超碰无码318604| 亚洲精品色色| 亚洲激情免费视频观看| 香蕉操亚洲| 青青草国产亚洲精品久久| 久草婷妨| 免费婷婷| 久久黄色网扯| 国产午夜精品久久久观看| 这里只有精品1| 五月婷在线观看| www.lchjjc.com| 五月婷婷色播| 五月色情婷婷开心五月色情| 狠狠色综合久久| 91chinese在线| 亚洲综合婷婷| 波多野结衣成人作品在线| 国产人妻操逼| 狠狠操天天操天天操| 991精品在线视频| 亚洲精品字幕在线观看| 在线成人国产| 五月婷婷在线丁香| 五月综合色播播丁香婷婷| 67194成I人在线观看线路1| 亚洲精品又粗又大又爽A片 | 超碰99热精品| 丁香五月六月婷婷自拍| 精品人妻在线| 国产91资源在线| 婷婷综合久久| 人人摸人人摸| 夜夜操狠狠操| 色婷婷精品视频在线播放| 色波激情五月天| 美女美女美女三级色天天天天天| 99在线精品视频| 91成人看| 六月婷婷狠狠| 97色天堂| 精品人妻伦九区久久AAA片| 超碰97久久| 天天做综合网色综合| 伊人久久大香网| 婷婷成人在线| 五月天婷婷久色| www.久久99| 久久丁香婷婷五月| 开心五月丁香啪| 婷婷精品在线| 欧美日韩五月婷婷| 激情五月天免费视频| 婷婷五月激情丁香| 久久在线92| 伊人AV五月婷| 久久九九激情五月天| 五月丁香啪啪网| A久久| 欧美日本韩国亚洲| 婷婷五月综合婷婷| 激情五月色婷婷| 亚洲免费电影2| 色色色色色网站| 国产av网| 五月永久激情| 国产在线aaa片一区二区99| 婷婷色五月天色色| 天天狠狠色| 色色热| 婷婷丁香视频在线观看免费| 丁香婷婷久久 | 激情文学 综合 九月| 色青青视频| 五月天综合网| 欧美又粗又大一区二区在线观看| 久热黄色| 色婷狠狠| 婷婷五月天无码| 97se在线视频| 丁香五月婷婷激情123| 日本狠狠干| 这里只有精品在线播放| 色偷偷AV亚洲男人的天堂| 青青热久精品视频在线观看| 五月婷婷影院|