欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

企業(yè)微服務(wù)基于Docker與DevOps的發(fā)布系統(tǒng)實踐

企業(yè)微服務(wù)基于Docker與DevOps的發(fā)布系統(tǒng)實踐 這陣子終于把公司那套亂糟糟的微服務(wù)發(fā)布流程理順了。這次聊的這套基于Docker容器和DevOps理念搭建的企業(yè)業(yè)務(wù)代碼發(fā)布系統(tǒng)算是我自己在生產(chǎn)環(huán)境里踩了無數(shù)坑之后慢慢沉淀下來的方案。標(biāo)題里雖然掛著“enterprise-microservices-deployment-practice”其實就是想講清楚一件事幾十個微服務(wù)怎么用Docker管起來、怎么讓發(fā)布變成一條自動化的流水線以及這套東西在企業(yè)真實業(yè)務(wù)里怎么落地。如果你正在搭DevOps平臺或者被多環(huán)境、多服務(wù)的發(fā)布搞得焦頭爛額這篇應(yīng)該能給你指個方向。我先說結(jié)論這套方案不是某種“開箱即用”的軟件也不是非得有多少臺機(jī)器才能跑起來的重平臺。它本質(zhì)上是一套組合拳——Docker做運(yùn)行環(huán)境標(biāo)準(zhǔn)化Harbor管鏡像GitLab CI/CD負(fù)責(zé)打通“代碼提交→鏡像構(gòu)建→遠(yuǎn)程部署”的鏈路再用Docker Compose做單機(jī)或小集群上的服務(wù)編排。服務(wù)規(guī)模在幾個到幾十個之間的時候這套組合足夠穩(wěn)等真到了需要彈性伸縮和跨機(jī)房調(diào)度的規(guī)模再平滑往K8s上遷也不遲。1. 先說背景微服務(wù)多起來之后發(fā)布就成了災(zāi)難1.1 這套發(fā)布系統(tǒng)到底解決什么問題我是在業(yè)務(wù)從單體應(yīng)用拆分成30多個微服務(wù)之后開始認(rèn)真做這件事的。拆分之前發(fā)布就是一臺上線機(jī)把war包或jar包扔上去重啟Tomcat完事。但服務(wù)一拆多問題全冒出來了。首先是環(huán)境的差異性。開發(fā)、測試、生產(chǎn)三套環(huán)境配置內(nèi)容不一樣連數(shù)據(jù)庫地址、Redis地址、注冊中心地址都要跟著改。以前靠人肉改配置文件改錯一個字段測試環(huán)境就崩一次。加上服務(wù)之間的依賴關(guān)系復(fù)雜A服務(wù)依賴B服務(wù)的接口B服務(wù)依賴C服務(wù)每次發(fā)布都像疊樂高順序錯了就全盤推倒重來。其次是手工操作步驟的不可控。早期發(fā)布靠運(yùn)維手工執(zhí)行腳本備份舊包、停服務(wù)、替換jar包、起服務(wù)、看日志。操作步驟本身不難難的是30多個服務(wù)都要來一遍而且還要保證每個服務(wù)都在正確的順序、正確的時間點(diǎn)發(fā)布。人不是機(jī)器半夜兩三點(diǎn)發(fā)布的時候特別容易漏掉某一步。這套“業(yè)務(wù)代碼發(fā)布系統(tǒng)”本質(zhì)上是把發(fā)布這件事從“手工流程”變成“標(biāo)準(zhǔn)化流水線”。代碼推送到倉庫之后剩下的構(gòu)建、打鏡像、推送鏡像、遠(yuǎn)程拉取鏡像、重啟容器、健康檢查全部由流水線自動完成。開發(fā)人員只需要點(diǎn)擊一個“發(fā)布”按鈕或者打一個Git tag系統(tǒng)就把后續(xù)工作接過去了。這樣做的直接收益有三個發(fā)布耗時從過去的一次平均20分鐘降到3分鐘左右發(fā)布失敗率明顯下降回滾變成了一條命令而不是又一輪手工操作。1.2 為什么選擇Docker DevOps這套組合而不是直接上K8s當(dāng)初做技術(shù)選型的時候團(tuán)隊內(nèi)部不是沒有爭論過要不要直接上Kubernetes。我個人的看法是在團(tuán)隊運(yùn)維能力還比較薄弱、服務(wù)規(guī)模還沒到需要大規(guī)模彈性伸縮的時候直接上K8s反而會引入一堆新的復(fù)雜度。K8s本身要維護(hù)Master節(jié)點(diǎn)、Etcd、Ingress Controller、RBAC權(quán)限還得理解Pod、Service、Deployment、Namespace這些抽象概念學(xué)習(xí)成本很高。而且K8s在企業(yè)內(nèi)部落地通常還要搭配一套完整的網(wǎng)絡(luò)插件和存儲方案。對于只有二三十個微服務(wù)、流量相對平穩(wěn)的業(yè)務(wù)來說這些復(fù)雜度完全用不上。Docker解決的恰恰是最關(guān)鍵的問題——環(huán)境一致性。本地能跑的服務(wù)容器里跑不起來不存在。開發(fā)、測試、生產(chǎn)環(huán)境用的是同一份鏡像差異只體現(xiàn)在配置和環(huán)境變量上。鏡像構(gòu)建一次到處運(yùn)行這就在源頭避免了“我本地是好的啊”這類經(jīng)典甩鍋。Docker Compose雖然看著簡陋但在單機(jī)和少量宿主機(jī)場景下非常好用。它把多個容器的啟動方式、網(wǎng)絡(luò)配置、端口映射、依賴關(guān)系寫在一個YAML文件里一條docker compose up -d就把整個服務(wù)棧拉起來。沒有K8s的負(fù)擔(dān)又能解決“一堆容器怎么統(tǒng)一管理”的問題。這套方案跑了一年多線上穩(wěn)定性很可靠。等以后服務(wù)量再翻幾倍需要彈性伸縮的時候再往K8s遷移也不遲——因為鏡像沒變Compose里的服務(wù)模型也很容易映射成Deployment。DevOps這套理念之所以要引入是因為它把開發(fā)和運(yùn)維的邊界打通了。開發(fā)者不再需要提工單求運(yùn)維幫忙部署而是自己就能把代碼發(fā)到測試環(huán)境運(yùn)維不再把時間耗在重復(fù)的執(zhí)行腳本上而是專注優(yōu)化流水線、監(jiān)控告警和穩(wěn)定性。本質(zhì)上DevOps不是某個工具而是一種協(xié)作方式。Docker和CI/CD工具只是這種協(xié)作方式的載體。2. 環(huán)境搭建三臺物理機(jī)上的容器化基座2.1 Docker CE和Compose V2的安裝細(xì)節(jié)先交代一下我這邊的基礎(chǔ)環(huán)境三臺Linux物理機(jī)統(tǒng)一用的CentOS 7.9配置大體是8核16G內(nèi)存、200G SSD數(shù)據(jù)盤。為什么要統(tǒng)一操作系統(tǒng)版本因為不同發(fā)行版的包管理器和內(nèi)核特性有差異統(tǒng)一能少踩很多坑。理論上這套方案在Ubuntu 22.04上也能跑命令換成apt就行。安裝Docker CE的步驟其實已經(jīng)非常成熟但還是有幾個細(xì)節(jié)值得單獨(dú)提醒。第一CentOS系統(tǒng)的yum源默認(rèn)不帶Docker包需要先安裝yum-utils再添加Docker官方y(tǒng)um倉庫。倉庫地址在/etc/yum.repos.d/docker-ce.repo里。設(shè)置好之后yum install docker-ce docker-ce-cli containerd.io一步到位。第二裝完之后先別急著啟動先把/etc/docker/daemon.json寫好。我給一份目前生產(chǎn)環(huán)境在用的配置每一行的作用都標(biāo)注過{ registry-mirrors: [https://你的加速地址.mirror.aliyuncs.com], data-root: /data/docker, exec-opts: [native.cgroupdriversystemd], log-driver: json-file, log-opts: { max-size: 50m, max-file: 3 }, storage-driver: overlay2 }>sudo groupadd docker sudo usermod -aG docker $USER newgrp docker這一步對應(yīng)網(wǎng)上經(jīng)常有人問的“docker權(quán)限錯誤怎么解決”。報錯信息Got permission denied while trying to connect to the Docker daemon socket幾乎都是當(dāng)前用戶不在docker組導(dǎo)致的。改完重新登錄shell就生效。2.2 鏡像倉庫與CI/CD工具的選擇鏡像倉庫和CI/CD工具是整個發(fā)布系統(tǒng)的兩個“心臟”。鏡像倉庫負(fù)責(zé)存鏡像CI/CD工具負(fù)責(zé)把代碼流變成鏡像流。我這邊選的是Harbor GitLab CI這個組合。為什么不用Docker官方Registry因為私有化部署的企業(yè)場景Registry過于簡陋。Harbor自帶Web管理界面、鏡像復(fù)制、訪問控制配額、漏洞掃描最重要的是它支持鏡像的tag保留策略和回收機(jī)制能防止倉庫里的鏡像無限膨脹。GitLab CE安裝本身也可以直接用Docker容器跑起來官方提供了docker compose部署方式一條命令就能拉起一個帶PostgreSQL和Redis依賴的GitLab實例。至于CI/CD工具早期我糾結(jié)過Jenkins還是GitLab CI。Jenkins插件生態(tài)豐富幾乎什么場景都有現(xiàn)成插件但它的缺點(diǎn)是Pipeline定義和代碼倉庫是分離的維護(hù)成本高。GitLab CI的優(yōu)勢在于“Pipeline即代碼”——.gitlab-ci.yml文件直接放在倉庫里改代碼和改流水線一起走版本控制可追溯性完全不一樣。兩者選型做個簡單對比對比維度JenkinsGitLab CI配置存放位置集中在Jenkins服務(wù)端靠Job配置或Jenkinsfile.gitlab-ci.yml跟隨代碼倉庫天然版本可控并發(fā)構(gòu)建依賴Agent節(jié)點(diǎn)數(shù)量Runner支持Docker自動伸縮并發(fā)能力強(qiáng)學(xué)習(xí)門檻插件多功能雜新手容易迷失語法簡潔只保留必要的stages/jobs關(guān)鍵字與代碼平臺集成需要額外裝GitLab插件并配Token同一個GitLab體系權(quán)限模型復(fù)用適合場景異構(gòu)腳本多、已有維護(hù)團(tuán)隊GitLab重度用戶、DevOps流程標(biāo)準(zhǔn)化選GitLab CI還有個原因企業(yè)里代碼權(quán)限管理本來就靠GitLabCI的權(quán)限模型直接沿用下來什么人能觸發(fā)正式發(fā)布、什么人只能跑測試構(gòu)建在項目設(shè)置里就能精細(xì)控制。2.3 基礎(chǔ)網(wǎng)絡(luò)規(guī)劃與數(shù)據(jù)卷設(shè)計容器網(wǎng)絡(luò)是Docker方案里最容易被忽略、后期最頭疼的一環(huán)。我的做法是先在每臺宿主機(jī)上建一個統(tǒng)一的外部Docker網(wǎng)絡(luò)所有跨容器的通信都走這個網(wǎng)絡(luò)docker network create -d bridge ops_net業(yè)務(wù)服務(wù)在docker-compose.yml里聲明使用這個外部網(wǎng)絡(luò)。這樣即使多個Compose項目之間需要互相訪問也不需要依賴links或暴露端口直接用服務(wù)名通信即可。links在Compose V2里已經(jīng)標(biāo)記為廢棄跨項目容器互聯(lián)的唯一合理方式就是把它們拉到同一個自定義網(wǎng)絡(luò)上。數(shù)據(jù)卷設(shè)計上凡是需要持久化的數(shù)據(jù)都必須掛載宿主機(jī)的指定目錄。MySQL的數(shù)據(jù)目錄掛在/data/mysqlRedis的AOF和RDB文件掛在/data/redis統(tǒng)一規(guī)劃的好處是備份只需針對這個目錄做快照。容器本身被視為“無狀態(tài)”的隨時可以刪除重建數(shù)據(jù)留在宿主機(jī)上這是容器化運(yùn)維的基本原則。3. 微服務(wù)容器化改造從一堆Jar包到標(biāo)準(zhǔn)鏡像3.1 多階段Dockerfile怎么寫得又快又小微服務(wù)層面我這邊技術(shù)棧以Java Spring Boot為主。給Java服務(wù)寫Dockerfile最推薦的方式就是多階段構(gòu)建。多階段構(gòu)建的好處有兩點(diǎn)一是構(gòu)建環(huán)境用Maven鏡像運(yùn)行環(huán)境用JRE鏡像兩者隔離最終鏡像不包含編譯工具鏈體積能小很多二是構(gòu)建過程可以充分利用Docker層的cache單一層變化時不會讓整個build cache失效。給一份生產(chǎn)環(huán)境正在用的Dockerfile做了詳細(xì)注釋# 第一階段編譯打包 FROM maven:3.8-openjdk-11 AS builder WORKDIR /app COPY pom.xml . RUN mvn dependency:go-offline -B COPY src ./src RUN mvn clean package -DskipTests -B # 第二階段運(yùn)行 FROM eclipse-temurin:11-jre WORKDIR /app COPY --frombuilder /app/target/*.jar app.jar ENV TZAsia/Shanghai RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime echo $TZ /etc/timezone EXPOSE 8080 ENTRYPOINT [sh, -c, java -Xms512m -Xmx512m -XX:UseG1GC -jar app.jar]為什么第一階段的Maven命令要拆成兩行第一次只拷貝pom.xml然后執(zhí)行dependency:go-offline是為了讓Maven拉取依賴這一步單獨(dú)成為一個Docker緩存層。后續(xù)如果只改源碼不會觸發(fā)依賴重新拉取構(gòu)建速度會快很多。如果直接把源碼一次性拷進(jìn)去再統(tǒng)一構(gòu)建改一行代碼就要重新拉一遍所有依賴幾十個服務(wù)累計下來的時間成本非常嚇人。運(yùn)行階段用eclipse-temurin而不是老的openjdk鏡像是因為OpenJdk官方鏡像已經(jīng)停止維護(hù)ADOPTEclipse的Temurin項目是目前社區(qū)推薦的Java運(yùn)行鏡像?;A(chǔ)鏡像一定要選長期維護(hù)的這同樣是踩過坑得出的教訓(xùn)——之前用的某個鏡像因為不再更新遇到廠商的CVE通告之后根本沒法升級補(bǔ)救。-Xms512m -Xmx512m這個JVM參數(shù)組合值得單獨(dú)說。容器限制512M內(nèi)存JVM堆最大也設(shè)為512M很多人會覺得“給滿了”。但實際情況是JVM除了堆內(nèi)存還有元空間、線程棧、直接內(nèi)存等開銷。如果容器限制是1GJVM最大堆絕不要設(shè)到1G至少預(yù)留25%給非堆內(nèi)存和系統(tǒng)本身否則會被容器OOM Kill。我給一般服務(wù)定的基線是容器內(nèi)存1GJVM堆512M這個比例在實戰(zhàn)中表現(xiàn)很穩(wěn)定。3.2 依賴中間件容器化MySQL 8和Redis主從的部署坑業(yè)務(wù)服務(wù)都容器化之后中間件如果還在物理機(jī)上裸奔管理上依然不通。我這邊把MySQL 8.0、Redis主從、RocketMQ都陸續(xù)遷到了Docker里。這里只挑最容易踩坑的兩個講。MySQL 8.0容器化最需要注意的是數(shù)據(jù)目錄和初始化腳本。直接docker run命令其實夠用docker run -d \ --name mysql8 \ -e MYSQL_ROOT_PASSWORD你的密碼 \ -e TZAsia/Shanghai \ -v /data/mysql:/var/lib/mysql \ -v /data/mysql-conf:/etc/mysql/conf.d \ -p 3306:3306 \ mysql:8.0 \ --character-set-serverutf8mb4 \ --collation-serverutf8mb4_bin數(shù)據(jù)卷必須掛載否則容器刪除之后MySQL數(shù)據(jù)全部丟失這是Docker化中間件的底線。第二個容易忽略的是字符集參數(shù)8.0默認(rèn)字符集雖然是utf8mb4但排序規(guī)則在某些場景下會踩索引坑顯式指定更穩(wěn)妥。還有一點(diǎn)不要用latest標(biāo)簽拉取MySQL鏡像一定要鎖定具體版本號比如mysql:8.0.36。中間件的鏡像版本不能漂移否則哪天升級了個小版本行為變化導(dǎo)致宕機(jī)再排查就晚了。Redis主從的容器化同樣要掛載數(shù)據(jù)和配置文件。先起主節(jié)點(diǎn)docker run -d \ --name redis-master \ --network ops_net \ -p 6379:6379 \ -v /data/redis/master:/data \ redis:7.0 redis-server --appendonly yes --requirepass 你的密碼再起從節(jié)點(diǎn)關(guān)鍵點(diǎn)是讓從節(jié)點(diǎn)通過Docker網(wǎng)絡(luò)內(nèi)的容器名連接主節(jié)點(diǎn)而不是寫死IP。因為主節(jié)點(diǎn)容器一旦重啟IP可能變化重新拉起從節(jié)點(diǎn)時找不到原來的IP主從關(guān)系就直接斷了。docker run -d \ --name redis-slave \ --network ops_net \ -p 6380:6379 \ -v /data/redis/slave:/data \ redis:7.0 redis-server --appendonly yes \ --slaveof redis-master 6379 \ --masterauth 你的密碼這里有個很實用的細(xì)節(jié)從節(jié)點(diǎn)端口映射到了宿主機(jī)的6380這是為了方便本地調(diào)試直連容器內(nèi)部的服務(wù)通過redis-master:6379訪問完全不用關(guān)心映射端口。Redis主從在容器環(huán)境里的坑主要就兩個一個是網(wǎng)絡(luò)模式?jīng)]選對導(dǎo)致主從間通信失敗另一個是認(rèn)證配置不一致masterauth沒配上就抓瞎。3.3 服務(wù)之間如何通信網(wǎng)絡(luò)模式與服務(wù)發(fā)現(xiàn)微服務(wù)之間通信我這邊統(tǒng)一用Nacos做注冊中心和配置中心。在Docker環(huán)境里Nacos本身也是跑在容器里的。但Nacos的服務(wù)注冊地址有個大坑如果微服務(wù)往Nacos注冊的是容器內(nèi)網(wǎng)IP橋接網(wǎng)絡(luò)分配的IP其他服務(wù)通過這個IP訪問時會發(fā)現(xiàn)根本連不通——因為另一個服務(wù)可能根本不在同一個宿主機(jī)上或者雖然在同一宿主機(jī)但容器網(wǎng)絡(luò)的IP段并不對外路由。解決思路有三種我最終采用的是最簡單的一種所有微服務(wù)在注冊到Nacos時上報的地址是宿主機(jī)IP端口用映射出來的宿主機(jī)端口。可以通過配置spring.cloud.nacos.discovery.ip宿主機(jī)IP和spring.cloud.nacos.discovery.port映射端口來顯式指定。這樣服務(wù)調(diào)用的時候走的是宿主機(jī)端口既有Nacos的注冊發(fā)現(xiàn)優(yōu)勢又不依賴Docker內(nèi)部網(wǎng)絡(luò)的可達(dá)性。等以后服務(wù)規(guī)模進(jìn)一步增長再切換到K8s環(huán)境時這個方案可以直接升級成K8s的Service或者Headless Service加DNS解析。所以現(xiàn)在雖然土一點(diǎn)但演進(jìn)路徑是清晰的不會白做。4. 發(fā)布流水線落地從git push到docker run4.1 GitLab CI的任務(wù)拆分與Runner配置流水線設(shè)計是整個發(fā)布系統(tǒng)的核心。我的設(shè)計思路是把流水線拆成三個階段構(gòu)建build、打包鏡像image、發(fā)布release。這樣拆的好處是每個階段職責(zé)單一出問題也好定位。.gitlab-ci.yml文件的關(guān)鍵部分長這樣variables: MAVEN_OPTS: -Dmaven.repo.local/cache/m2 stages: - build - image - release build: stage: build image: maven:3.8-openjdk-11 script: - mvn clean package -DskipTests artifacts: paths: - target/*.jar expire_in: 1 day only: - tags image: stage: image image: docker:20.10 services: - docker:20.10-dind script: - docker build -t registry.ops.com/enterprise/user-svc:$CI_COMMIT_TAG . - docker login -u $HARBOR_USER -p $HARBOR_PASSWORD registry.ops.com - docker push registry.ops.com/enterprise/user-svc:$CI_COMMIT_TAG only: - tags release: stage: release script: - ssh deploy目標(biāo)服務(wù)器 cd /opt/deploy/user-svc ./deploy.sh $CI_COMMIT_TAG only: - tags注意到我這里對正式發(fā)布只允許tags觸發(fā)。為什么不用分支直接發(fā)布因為分支的粒度太粗開發(fā)隨便push一個unstable的提交到develop如果自動觸發(fā)生產(chǎn)發(fā)布后果不堪設(shè)想。用git tag v1.2.3這種方式發(fā)布行為就變成一個經(jīng)過測試驗證的、有明確版本號的“正式操作”。開發(fā)環(huán)境可以用分支自動構(gòu)建生產(chǎn)環(huán)境必須打tag。Runner我選擇了shell executor而不是docker executor。原因是release階段需要訪問目標(biāo)服務(wù)器的docker socket和SSH密鑰shell執(zhí)行器在這些權(quán)限控制上更直接。代價是Runner所在機(jī)器需要預(yù)裝Docker和JDK但這些都是一次性配置可接受。4.2 遠(yuǎn)程服務(wù)器上的滾動發(fā)布與健康檢查release階段通過ssh deploy目標(biāo)服務(wù)器執(zhí)行deploy.sh這是整個發(fā)布動作的關(guān)鍵一步。deploy.sh腳本的設(shè)計決定了發(fā)布是優(yōu)雅還是粗暴。我的腳本里強(qiáng)制做了三件事拉取新鏡像、用Compose重啟、健康檢查不通過就報錯。#!/bin/bash set -e APP_NAMEuser-svc IMAGE_TAG$1 BASE_DIR/opt/deploy/$APP_NAME cd $BASE_DIR docker compose down --remove-orphans || true docker pull registry.ops.com/enterprise/$APP_NAME:$IMAGE_TAG docker compose up -d for i in $(seq 1 30); do code$(curl -s -o /dev/null -w %{http_code} http://127.0.0.1:8080/actuator/health) if [ $code 200 ]; then echo 服務(wù)啟動成功health check通過 exit 0 fi echo 等待服務(wù)啟動... $i/30 sleep 2 done echo 健康檢查失敗發(fā)布不通過 exit 1set -e保證任何一步出錯腳本立刻終止避免帶著殘缺狀態(tài)繼續(xù)往下走。docker compose down --remove-orphans是為了把舊的容器實例和孤兒容器一并清掉確保容器名不會沖突。docker compose up -d重新以新鏡像啟動服務(wù)容器名保持不變外部依賴的端口映射也不會變更。健康檢查是這套方案里我認(rèn)為最重要的一環(huán)。為什么不只是看docker ps -q是否返回容器ID因為容器進(jìn)程雖然在不代表業(yè)務(wù)已經(jīng)準(zhǔn)備好了——Spring Boot啟動一個服務(wù)可能持續(xù)二三十秒如果這時候Nginx就把流量導(dǎo)進(jìn)來用戶看到的一定是502。網(wǎng)上很多微服務(wù)發(fā)布方案沒有健康檢查這一步等于賭博。我這里用Spring Boot Actuator的/actuator/health接口做探針30次循環(huán)每隔2秒探一次最多等60秒。超過60秒沒通過就直接fail流水線會打出紅叉。這個機(jī)制上線后成功攔截過好幾次鏡像配置錯誤導(dǎo)致的啟動失敗。4.3 版本回滾與多環(huán)境隔離怎么做Docker鏡像的tag天然就是版本所以回滾變得異常簡單。我發(fā)現(xiàn)新版本有Bug想回滾到上一個版本只需要重新執(zhí)行一次舊的發(fā)布cd /opt/deploy/user-svc docker compose down docker pull registry.ops.com/enterprise/user-svc:v1.2.2 docker compose up -d舊鏡像的tagv1.2.2還在Harbor里pull下來直接跑通。整個回滾動作在1-2分鐘之內(nèi)完成相比過去手工替換jar包、重啟、盯著日志看十分鐘這個體驗是完全不一樣的。多環(huán)境隔離方面我采取的策略是一個環(huán)境一套Compose運(yùn)行目錄通過環(huán)境變量文件區(qū)分配置。比如/opt/deploy/user-svc/.env.test和/opt/deploy/user-svc/.env.prodCompose文件里用${SPRING_PROFILES_ACTIVE}這樣的變量占位具體值由環(huán)境文件注入。發(fā)布腳本針對不同環(huán)境傳不同的參數(shù)./deploy.sh user-svc v1.2.3 test ./deploy.sh user-svc v1.2.3 prod這樣做的好處是整個Compose編排文件只有一份不會因為環(huán)境不同而維護(hù)出多個副本。差異點(diǎn)全部收斂到環(huán)境變量里任何一個環(huán)境的配置變更都能在git里看到歷史記錄。5. 生產(chǎn)環(huán)境踩坑實錄與排查方法5.1 Docker服務(wù)起不來的幾個高頻原因這套方案跑了一年多生產(chǎn)環(huán)境里Docker本身出過的問題不算多但一旦出了問題就是大事。我列一下出現(xiàn)頻率最高的幾個以及我的排查順序?!癲ocker服務(wù)啟動失敗”這個現(xiàn)象在安裝初期最容易遇到。比如我遇到過systemctl start docker報Job for docker.service failed because the control process exited with error code。第一反應(yīng)應(yīng)該是journalctl -xu docker.service看日志而不是反復(fù)重啟。造成這個報錯最常見的原因有三個一是daemon.json寫壞了JSON格式不對Docker進(jìn)程一啟動就解析失敗退出二是>environment: - TZAsia/Shanghai同時掛載宿主機(jī)的localtime文件。Compose文件里統(tǒng)一寫volumes: - /etc/localtime:/etc/localtime:roJava服務(wù)的JVM本身會讀取user.timezone和系統(tǒng)時區(qū)這兩項設(shè)置好之后無論是Spring Boot的日志時間還是new Date()輸出的時間都會恢復(fù)正常。5.3 鏡像構(gòu)建慢、鏡像運(yùn)行內(nèi)存溢出怎么辦鏡像構(gòu)建慢分兩個層面看。一個是網(wǎng)絡(luò)層面基礎(chǔ)鏡像和Maven依賴都要從外網(wǎng)拉取國內(nèi)網(wǎng)絡(luò)環(huán)境有時候很不穩(wěn)定。解決辦法有兩個Docker的daemon.json里面配置鏡像加速器我在前面已經(jīng)寫過了Maven依賴則用本地私服Nexus把中央倉庫的依賴全部代理到內(nèi)網(wǎng)這樣構(gòu)建階段就不再依賴公網(wǎng)。第二個層面是緩存利用不充分構(gòu)建過程中反復(fù)拉取同一份依賴。最好的解決辦法就是我在Dockerfile里寫的那個緩存技巧先單獨(dú)COPY pom.xml并執(zhí)行dependency:go-offline讓依賴層穩(wěn)定落在Docker cache里。容器運(yùn)行內(nèi)存溢出這是Java服務(wù)容器化后比較常見的“隱形殺手”。表面看容器運(yùn)行正常日志里也沒有OutOfMemoryError但服務(wù)突然無響應(yīng)。這時候docker inspect看狀態(tài)往往會發(fā)現(xiàn)容器處于Exited狀態(tài)查看docker inspect 容器名 -f {{.State.OOMKilled}}返回true。說明容器被內(nèi)核OOM Killer殺掉而不是JVM自己拋異常退出。這種情況基本就是容器內(nèi)存限制設(shè)置得太緊或者JVM堆參數(shù)分配不合理。我調(diào)整參數(shù)的思路是先給容器內(nèi)存1G起步JVM堆內(nèi)存在512M觀察一段時間docker stats的輸出。如果實際內(nèi)存峰值在700M-800M且穩(wěn)定說明容器內(nèi)存正好如果經(jīng)常800M以上就適當(dāng)放寬JVM堆或容器內(nèi)存。實際部署中業(yè)務(wù)高峰期內(nèi)存容易緩慢爬升建議給足15%-20%的余量別卡得太死。5.4 日志與監(jiān)控的落地建議容器化之后日志收集方式也變了。默認(rèn)的docker logs只適合調(diào)試時看生產(chǎn)環(huán)境里幾十個服務(wù)分布在三臺機(jī)器上用docker logs一個個翻實在低效。我這邊目前的處理方式是每個容器統(tǒng)一把日志寫到掛載的宿主機(jī)目錄比如/opt/logs/服務(wù)名然后一臺日志服務(wù)器上用Filebeat采集推給ElasticsearchKibana做檢索和可視化。這套EFK方案相比直接裝一堆日志采集插件靈活度更高也不侵入業(yè)務(wù)代碼。容器的資源監(jiān)控我先用的還是docker stats配合宿主機(jī)的基礎(chǔ)監(jiān)控系統(tǒng)。docker stats的問題是不能持久化和報警所以我又加了cAdvisor來采集容器級指標(biāo)然后輸出到Prometheus再用Grafana展示。這三個工具都是容器化直接可以跑的配置比較簡單但對排查線上問題幫助非常大。有一次線上某個服務(wù)CPU飆高就是通過Grafana上容器CPU曲線和發(fā)布記錄的對應(yīng)關(guān)系快速定位到是某個新版本代碼引入了死循環(huán)然后果斷回滾。還有一個細(xì)節(jié)所有發(fā)布動作盡量安排在低峰期并且每次發(fā)布只動一個服務(wù)不要批量并發(fā)發(fā)布多個服務(wù)。因為微服務(wù)之間有調(diào)用關(guān)系同時發(fā)布多個服務(wù)風(fēng)險疊加出了問題連排查基準(zhǔn)都沒有。我吃過一次虧同時發(fā)布了三個服務(wù)結(jié)果線上報錯根本分不清是哪個服務(wù)引入的回歸。后來定了規(guī)矩一次只發(fā)布一個服務(wù)等健康檢查通過之后再發(fā)下一個。這個規(guī)矩雖然保守但在企業(yè)環(huán)境里穩(wěn)定壓倒一切。最后再說幾句個人經(jīng)驗。這套基于Docker和DevOps的發(fā)布系統(tǒng)真正難的不是某個具體技術(shù)點(diǎn)而是“習(xí)慣”的養(yǎng)成。開發(fā)人員要接受用tag發(fā)布、要主動看流水線日志、要在PR描述里寫清楚變更內(nèi)容運(yùn)維要接受從手工操作轉(zhuǎn)為寫腳本和排查平臺問題。我把這套流程跑通之后業(yè)務(wù)方最大的感受是“發(fā)布變快了”但只有團(tuán)隊內(nèi)部知道這份快是建立在一層一層的檢查和約束之上的。如果你也在企業(yè)里搭發(fā)布系統(tǒng)我建議別想著一步到位先把一個服務(wù)從代碼提交到健康檢查跑通整個閉環(huán)再橫向鋪開。等技術(shù)成熟了再上K8s就是水到渠成的事。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香五月天偷拍| 久久a热| 国精产品一区一区三区免费视频| 婷婷色啪| 99精品性爱| 亚洲最大成人综合网720P| 丁香五月激情棕合| 婷婷五月天视频免费在线观看| 国产精品久久久爽爽爽麻豆色哟哟| 九色PORNY自拍成人精彩视频| 午夜婷婷六月天| 日日夜夜干| 91色九| 五月六月激情| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷五月天天| 五月丁香啪啪网| 国产精产国品一二三在观看| 激情五月天在线观看色婷婷| 五月丁香综合| 婷婷综合精品| 色情五月天丁香社区| 狠狠爱丁香婷| 激情婷婷五月基地| 高清资源站日A美A欧亚…| 伊人91| 九九99久久| 亚洲成人无码专区| 亚洲综合婷婷五月| 99视频| 亚洲精品乱码久久久久久按摩观| 成人看片网站| 91玖玖| 六月婷婷中文字幕| 99ri国产精品| 丁香六月色婷婷| 成人在线二区| 小视频一区| 五月天色综合| 色六月丁香婷婷狠狠干| 国内外色色色色色成人视频| 79亚洲精品少妇| 伊人啪啪网| 手机旧版看人妻1025| 色五月婷婷很很操| 69精品无码一区二区三区| dingxiangtingtingliuyue| 精品亚洲国产成人A片在线鸭王| 欧美日韩成人在线| 丁香五月天之婷婷影院| 免费的日逼视频| 五月婷婷综合网| 婷婷99中文字幕| 国精产品一区一区三区有限公司杨 | 五月丁香黄色| 精品国产AV色一区二区深夜久久| 午夜爱爱爱成人| 无码少妇高潮喷水A片免费| 激情综合网丁香| 久久丁香| 久久欧洲久久| 成人免费120分钟啪啪| 大香蕉久久伊人婷婷五月丁香| 五月婷婷丁香综合| 97碰超级人人看| 成人版视频在线观看| 98永久精品| 久久丁香综合| www.91.com黄| 色五月激情婷婷| 久操无码| 色偷偷五月天| 激情丁香五月婷| 思思99热| 伊人综合网4| 五月丁香六月| 久热这里只有精品视频6| 婷婷五月天性色| 五月天色五月天| 免费无码毛片一区二区A片| 色播五月丁香婷婷| 亚洲成人日韩无码精品| 狠狠操狠狠操AV| 久久婷婷亚洲无码一起| 五月婷婷av| 久久激情五月婷婷| 色五月婷婷五月| 天天日日夜夜爽| 色九区| 亚洲一色色色色色色色色| 久久婷婷五月天| 五月丁香天天| 免费色婷婷| 热久久99热欧美国产亚洲| 丁香五月天日韩无码| 丁香六月婷婷综合欧美| 色久影院| 五月天激情网站| 五月天开心成人网| 欧美97超碰| 天天插,天天射| 超色欲天天| 丁香五月激情网| 色色免费网站| 日产精品久久久久久久蜜臀| 99爱在线视频观看| 日韩在线视频网站| 丁香五月影院| 五月丁香做爱视频| 欧美久久网| 成人短视频在线| 丁香五月在线人妻| 欧美综合五月天婷婷tin| 激情小说婷婷五月| xxxx久| 色色色免费视频| 综合激情网五月激情| 99噜噜噜在线播放| 婷婷亚洲欧美丁香五月| WWW色色色COm| 亚洲国产精品二二三三区| 久色五月| 99在线视频播放| 亚洲婷婷五月草久| 嫩草视频| 99热最新网址| 区区欧美你爱| 久久综合色五月| 亚洲无线视频| 五月丁香在线精品| 色玖玖玖| 97色色婷婷| 五月综合影院| 日本久久婷婷| 国产精品18久久久| 96丁香六月婷婷蜜桃综合久久| 亚洲欧洲国产精品| 亚洲国产精品VA在线看黑人| 噜噜国产| 九月色婷婷综合亚洲| 激情图片五月天| 婷婷91| 超碰免费在线| 99色网站| 热无码A∨| 婷婷色综合中心站| 五月丁香六月婷婷久久| 国精产品一区二区三区| 在线中文av| 99精品偷自拍| 色碰碰| AV五月丁香| 色情五月| 激情五月天婷婷| 五月天精品视频| 婷婷91| 99久久九九视频| 蜜桃人妻无码AV天堂三区| 欧美天天爽| 九九热内射| 久操无码| 久久久久人妻精选| 色婷婷五月天av在线| 天天日色情| 免费97碰碰| 婷婷成人综合免费视频| 激情婷婷视频在线| 1000部毛片A片免费观看| 99热6色| 国产亚洲99久久精品| 久久婷婷六月综合国际| www.夜夜操.com| 婷婷色成人| 色色免费网站| 在线亚洲综合| 天天射影院| 人人爱人人草| 日韩婷婷五月天| www.婷婷,com| 五月丁香婷婷欧美色图视频五月丁香777电影 | 99热传媒| 欧美99热| 婷婷五月综合久久中文字幕| 色爱终和网| 妇激情基地| 久久婷婷综合五月| 天天做天天爱天天爽| 玖玖婷婷五月天| 亚洲综合新99视频| 成人五月天丁香| 五月婷婷很很色| 伊人久久艹| 玖玖资源天天无码| 五月婷婷伦理| 久久女人天堂| 国产婷婷久久| www99精品日韩| 亚洲精品婷婷| yellow视频在线观看91| 99er热精品视频| 永久思思热在线| 欧美色色日韩| 丁香五月婷婷天激情| 久久综合九九| 综合色影院| 人人看人人草人人摸| 色五月首页| 91久草五月天婷婷| 偷拍丁香九月激情| 婷婷性爱| 青青草成人网| 黄色片区子| 丁香五月婷在线观看| 大香蕉五月天婷婷| 日本色色网站| 丁香五月色情av| 中文字幕成人| 人人爱操| 色私五月婷婷| 五月丁香综合网| 精品99爱免费视频在线观看| 激情五月开心五月在线视频| 色综合区| 铁牛TV人妻| 91五月花丁香| 天天干天天日蜜臀av| 99色在线视频| 97在线刺激| 色婷婷成人| 色青青视频| 桃色Av色哟哟| a在线观看| 丁香五月色色婷| 国产无遮挡又黄又爽免费网站| 玖玖资源在线视频| AV在线中文| 婷婷五月六月| 91色情播放| 五月色丁香婷婷中文字幕| 亚洲小视频免费播放| 视频一二区| 99精品丰满| 一起草AV入口| 色色操| 午夜成人AV在线| 噜噜狠狠色综无码久久合欧美| 九月色婷婷综合| 这里只有精9| 66精品国产成人| 婷婷97碰碰| 色婷婷色| 欧美日韩国产一区二区| 综合激情sV| 久久99免费视频网站| 97久久综合网| 久777| 精品国产一区二区三区四区阿崩| 狠狠CAO日日穞夜夜穞AV| 91九色在线| 99re8在这里只有精品| 丁香激情久久| 变态另类9| 婷婷狠狠18禁久久| 色狠狠综合网| 欧美日本国产欧美日本韩国99| 日本五月天网站| 婷婷天天色| 99re视频精品| 五月激情六月综合| 五月丁香影视| 大香蕉久热| 欧美精品18| 成人色五婷婷| 激情五月天开心| 中文av网| 99riAV国产精品视频| 无码色| 色五月激情网| 综激情网| 91日韩在线| 超碰人妻在线| 亚洲综合五月天| 五月天激情小说婷婷| 99免费成人网| 丁香五月婷婷丫| 五月亭亭六月激情| 亚洲 五月 婷婷 成人| 天天天天色天天天天天干| 婷婷四色成人综合色视| 丁香婷婷六月在线资源观看| 色色网站| 国产精品视频免费看| 精品久久久999| 日本啪啪天堂| www.色婷婷| 开心激情婷婷| 天天射天天插天天干| 欧洲电影在线观看免费版英语版 | 99丁香五月婷| 色婷綜合网| 99re26视频| 天天干、天天日日| 五月婷婷中文字幕AV| 激情綜合網址| 色综合色色| 色播五月婷婷| 亚洲V国产V欧美V久久久久久| 成人在线二区| 伊人丁香五月婷婷潮吹| 婷婷五月六月激情| 久99热在线观看| 欧洲电影在线观看免费版英语版 | 色五月天丁香婷婷色| 久热伊人| 综合伊人狠狠| 五月丁香六月婷婷无码| 夜夜骑天天操| 99视频| 色色无码| 秋霞AV淫| 欧美97p| 五月丁香基地| 久草热在线视频| 婷婷少妇激情| 五月丁香六月激情综合| 国产精品第一国产精品| 操91综合网| 久草五月婷| 激情综合网五月丁香| 天天狠天天狠| 玖玖资源天天无码| 天天日天天干天天操| 久综合色| 成人综合网站| 色婷婷影视99| 久激情网| 婷婷五月天深爱| 五月天成人小说网| 99re在线观看| 国产成人AV| 天堂在线婷婷| 色九月婷婷| 99久久国产成人精品| 婷婷五月丁香久久| 9久国产精品| 亚洲综合色网| 婷婷色六月| 九九热av| 激情九九这里只有精品| 影音先锋一区| 婷婷D区| 四色五月视频| 欧美激情丁香五月| 亚洲情a| 99这里有精品视频| 另类小说五月天| 五月刺激丁香月综合| aaa久久| 久一这里有精品国产| 夜丁香五月婷婷| 变态另类9| 午夜少妇在线观看视频| 亚洲色婷婷五月天| 色色色99韩| 丁香五月亚综合图片| 99久久婷婷国产综合精品草原| 97色婷婷| 激情丁香六月| 五月丁香六月情亚洲| 九九99精品视频| 国产精品VIDEOSSEX久久发布| 亚洲殴洲精品Av在线| 五月天啪啪视频| 婷婷五月色丁香在线看| 五月色网| 亚州成人综合在线| www.天天色综合| 五月丁香婷婷俺| 日日夜夜天天综合| 日本nghangse中文字幕| xxxx五月激情| 色屌丝中文字幕| 五月婷婷五月天| 最新久久99视频网站| AV堂狠狠干| 五月婷婷六月基地| 婷婷爱五月| 日韩 mm 不卡| 丁香五月骚喷水视频| 婷婷五月天无码| 日日夜夜干| 五月婷天堂视频| 色五月婷婷婷婷婷婷婷婷婷婷| 亚州日本欧州韩美高青高潮一| 99热亚洲精品| 操精品9| 欧美性二区| 天天爱夜夜爽| 国产av天堂| 91精品久久久久久久久| 天天色官网| 99热手机在线精品| Aα在线免费观看| 国产精品久久在线观看技巧| 六月丁香色色| WWW.五月com| 亭亭丁香aV| 色情五月综合婷婷| 丁香婷婷五月香蕉91| 天天射综合网站| 人人爱人人添| 99在线精品免费视频| 另类伊人婷婷| 亚洲综合色色色| 97操操| 成人在线综合| 婷婷五月天激情基地| 国产精品18久久久| 六月丁香啪啪| 欧美日韩成人在线网| 伊人久久丁香狠狠婷婷综合香蕉 | 涩涩五月天综合| 五月婷婷在线免费观看| 97五月婷| 情欲综合网| 99视频久久| 国产AV网页| 五月丁香六月激情网| 色婷婷丁香五月天| 久久婷网| 夜夜综合色| 亚洲日本韩国| 秋霞电影一级黄| 婷婷五月色综合| 国产高清视频91九九九久久久| 九九热视频网站| 九月丁香婷婷综合| 婷婷五月天久久综合88| 久草视频一,二三四| 92久久| 九色在线五月婷婷网址| 五月婷婷综合网在线播放| 99啪啪视频| www久久久久| 情婷婷五月天| 丁香五月玖玖| 婷婷五月天播播| 色域五月婷婷丁香| 激情五月丁香五月| 色色网站免费观看| 91 九色 入口| 丁香婷婷五月| 天天添天天摸天天天天做| 九九成年视频| 色热久| 欧美va视频不用播放器的va视频网| 超碰在线日夜| 俺去也婷婷| 亚洲色图五月丁香| 亚洲色色色| 午夜激情五月| 欧美日韩成人在线观看| 26uuu在线观看| 97色五月天| 97干资源在线观看| 91精品国产91久久久久青草| 色播五月丁香婷婷| 国产操逼视频网站| 国产成人综合网| 五月丁香色婷婷婷基地| 99草在线免费观看视频| 久久五月网| 国产在线6| 国产亚洲99久久精品熟女| 亚洲色图五月丁香| 综合逼五月激情婷婷| 天天综合网~91| 超碰日日操| mmm1717.6dbm人人爱人人操| 婷五月天| 五月丁香人妻| 丁香五月婷婷综合网| 绿色小导航AV| 色播五月天激情| 五月色丁香激情| www.婷婷.com| 国产精品久久久久久久久久| 久久婷婷视频| 色波激情五月天| 亚洲人成网站999综合| 99无码超碰| 久久99久久99精品免视看婷婷| 亚州男人天堂婷婷五月| 玖玖综合网| 五月天开心色情网| 激情中文在线| 国产亚洲成AV人片在线观黄桃 | www夜夜操com| 色噜噜狠狠色综合日日| 婷婷五月丁香性爱| 欧美黄色AA片哗啦啦啦| 日日舔夜夜操| 丁香五月婷婷久久综合激情网| 九色亚洲| 美女五月天| 婷婷五月天另类网站| 久久久91| 九九爱精品网站| 色情综合网| 人人操人人爱丁香五月| sesesesezonghe| se婷97| 婷婷五月天激情文学| 日日爱699| 丁香婷婷色色| 国产avapp 网| 夜夜夜夜做天天天做无码视频| 91人碰| 专区无日本视频高清8| 丁香五月天婷婷中文字幕| 婷久看人爽| 欧美性爱中文字幕| 国产一级视频a| 婷婷天堂站| 色五月首页| 亚洲第一黄网| 69久久久| 超碰99在线| 婷婷五月色| 六月天六月婷| 五月丁香六月在线欧美| 丁香五月手机视频| www.夜夜操| www.91婷婷| 久久99这里只有精品视频| 婷婷色网站| 狠狠综合| 大香蕉网站,大香蕉综合| 色婷婷激情五月天在线观看| 69堂午夜视频最新地址| 五月婷婷婷综合网| 沈娜娜av| 婷婷五月激情图片| 操九色| 99热这里只有精品13| 色婷婷导航| 亚洲人成网站999久久久综合| 香蕉综合网| 久久看婷婷| 人妻自慰高清合集| 天堂五月婷婷| 丁香五月91| 日韩黄色AV无码| 久久97久久99久久综合欧美| 色色色色色色色色综合网| 亚洲天堂aaaa| 国产精品A片| 思思热在线视频观看精品| 欧美WW在线网| 色五月噜噜| 国产精品第一国产精品| 久久九九色| 99热在线观看免费精品| 思思久久青草热| 丁香五月婷婷久久久| 91婷婷色| 丁香五月天激情四射网| 五月丁香激情综合网官网| 99热在线观看| 青青草五月天| 成人av在线电影| 深爱激情综合网| 99色热视频| 色九网| 午夜丁香综合婷婷| 玖玖99免费视频| 99国产视频网| 在线sebiav精品视频| 99热视精品| 天天综合网~91| 丁香月六月| 九月色婷婷综合亚洲| 婷婷五月天成人综合网| 六月婷婷毛片| 久久久人妻人伦| 五月综合婷婷五月| 久久机热探花| 99re这里只有精品首页| 久久婷婷网址| 夜夜躁婷婷AV| 97久操| 免费成人中文字幕| 超碰免费99| 天天天干夜夜夜操| 婷婷色情五月| 人人摸人人射| 5月婷婷6月丁香aV| 99热成人精品| 五月天第四色开心色播| 噜噜色天天开心| 大香蕉婷婷五月天| 国产ava| 啪啪六月婷婷| 丁香色五月 97干| 六月丁香久久| 六月婷婷色综合| 婷婷在线视频| 亚洲五月婷婷| 少妇综合网| 五月丁香花激情综合网| 玖玖资源天天无码| 天天做天天爱天天玩夜夜爽| 五月丁香色婷| 欧美综合五月丁香五月天| 夜夜爽日日躁| 丁香婷婷六月天| 激情五月图| 亚洲小视频免费观看| 日本99视频| 丁香五月色| 丁香五月综合高清在线| 六月99天天婷婷激情综合| 91精品91久久久中77777| 日本久久婷| 久久久久网站| 棕合影院色色| 无码啪啪| 9999久久久久| 九九视频免费| 青青夜夜狠狠夜夜狠狠| 99色最新在线视频| 六月婷婷狠狠| www.人人操人人看人人想人人摸 人人人人操,COM | 久久视这里只有精品| 色情五月丁香| 婷婷激情伍月网| 色婷婷婷av| 丁香六月天AV| 婷婷色香六月综合激情| 5月婷婷六月丁香| 丁香婷婷五色月| 丁香五月av在线| 日韩操逼小电影| 五月草视频| 天天五月天综合网址| 色婷婷综合网| 久久在这里99| 色色a| 久久久久久欧美精品se一二三四| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 伊人激情啪啪| 亚洲色婷婷| 亚洲精品亚洲人成人网| 婷婷97狠狠成人网站| 中国丰满熟女A片免费观| av免费在线看不卡无毒| 久久久久97| 五月丁香婷婷激情四射迷人| 无码髙清| 成人短视频在线观看| 色综合色综合婷婷热| 色五月av伊人| 丁香六月无码| 色五月激情五月开心五月| 丁香五月欧美激情| 综合色99| http://www.com久久久精品一区| 免费V片在线| 丁香五月婷婷欧美激情-中文天堂最新版在线观看| 一起草无码| 亚洲中文字幕网| 激情99。| 激情婷婷五月天在线观看| 亚洲成人噜噜| 五月天丁香综合久久国产| 婷婷五月色播放| 99热这里只有精品55| 亚洲亚洲人成综合网络| 久草视频大香蕉99| 久热伊人在91| 亚洲第一成人无码A片| 91狠狠综合久久| 五月婷婷六月丁香激情综合网| 这里只有精品69| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 九六五月天婷婷| 深夜A片| 激情综合网激情五月天| 99热这里只有精品首页| 丁香五月婷婷激情97| 中文字幕性爱视频| 婷婷月五天在线在线看| 五月天婷婷激情干干| 久久久精品色| 99久久婷婷国产综合| 99爱爱| 91精品刘玥| 超碰在线免费9| 天天操天天日天天爱| 天天干天天干天天干天天干天天| 深爱婷婷网| 亚洲精品视频在线播放| 精品久久穴| 在线超碰91| a色色片| 久久久久人妻中文| 网站免费一站二站| 久久婷色| 激情九九九九| 色很很96| 天天操夜夜爽歪歪| 婷婷六月色开| 色色色色丁香| 欧美色宗和激情| 久久九九视频网站| 99性爱视频网站| 五月激情啪啪啪| 一本大道熟女人妻中文字幕在线| 丁香五月天天| 99热99思午夜精品| 深爱五月激情五月| 中文字幕在线免费观看视频| www.cao.com久久| av在线观看免费| 99热这里有精品2| 大香蕉婷婷五月| 公的粗大挺进了我的密道| 色婷婷综合电影| 九九伊人网| 婷婷五月色亚洲| 操97| 婷婷综合在线网| 99啪啪视频| 夜夜操狠狠操天天操| 激情五月天啪啪| AA片在线观看视频在线播放| 国产色网站| 欧美成人网婷婷综合在线| 97色欧美| 国产肥白大熟妇BBBB视频| 久久综合影院| 伊人国产婷婷五月天| 91青娱乐青青草| 91.www综合| 婷婷综合视频| 婷婷色Av| 久久五月天婷婷| 九九九九九九九九九九九九九国产精品| 99热99ai| 丁香五月婷婷五月| 538在线精品| 99热9999| A A色色| 日韩中文欧美| AV操一操| 激情精品久久| 六月激情网| 国外亚洲成AV人片在线观看| 人妻久久婷婷| 激情五月少妇| 婷婷五月天网| 99.N在线视频| 婷婷五月色丁香在线看| 色婷久久| 久草视频大香蕉99| 六月综和久久| 爆乳熟妇一区二区三区爆乳照片| 日本韩国视频在线观看社区免费的9| 丁香六月开心| 日日夜夜天天| 91干网站| 亚洲激情无码久久| 超碰免费人妻| 五月丁香A∨在线| 天天激情夜夜干| 六月婷婷私欲| 九九AV| 69综合在线| 五月丁香色婷| 99久在线精品99re8热| 九九久久精品國產| 久久久久99精品成人片| 婷婷六月天| 色综合九九色综合88| 日日鲁鲁夜夜爽爽| 婷婷五月天天爽| 国产精品久久..4399| 99久久网站| 99ER热精品视频| 99精品超在线播放| site:wpjngj.com| 婷婷六月激情综合| 欧美精品999| 99精品视频在线观看| 91人人人人人| 教师性爱毛片| AV变态另类一区二区| 热久免费视频9| 日日操夜夜操中国无码| 婷婷激情五月视频| 伊人婷婷综合| 永久免费一区二区三区| 美女激情婷婷| 九九Av| 六月婷婷久久| 五月亭亭性| 国产一级婬片毛片| 中文字幕综合| 五月天综合在线网| 亭亭色色五月天| 99国产小视频免费观看| 亚洲天天| 麻豆精品| 黄网在线免费观看| 五月丁香婷婷网在线在线| 99在线看视频| 日日天天操| 深爱五月激情五月| 99ER热精品视频| 欧美丁香婷婷天天操| 丁香婷婷性爱| 麻豆精品| 国产裸舞表演WWWW| 日本不卡一区二区三区| 婷婷久久综合| 婷婷射图| 久久久久99精品成人网站| 99热精品中文字幕| #NAME?| 天天干夜夜欢| 精品香蕉99久久久久网站| 无码一区二区日韩| 婷婷五月天综合网| 99精品视频在线观看免费| 影音先锋一区| 成人Av在线大片| 婷婷八月丁香激情综合| 99热99草97| 五月激情六月综合| 激情五月天福利| 久久小片| 伊人大香蕉毛片| 激情5月婷婷狠狠干| 五月天丁香网| 91性高潮久久久久久久久| 激情综合在线观看| 国产精品丝| 五月天丁香婷婷社区| 婷婷亚洲在线| 99.色| 久久小说| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 久久九色| 激情久久久久| 在线视频你懂得| 激情伊人| 婷婷五月av| 综合色久| 伊人久久五月天| 日韩啪啪视频| 五月花免费视频| 九九久久99| 色婷婷五月天偷拍| 丁香五月激情婷婷视频| 99激情视频| 激情五月第四色| 九九婷婷综合| 色婷婷导航| 九九久久网| 99re最新地址视频| 操人无码| 婷婷综合网在线| 激情内射人妻1区2区3区| 国产成人AV在线播放| 六九色综合婷婷五月天| www.com色播五月天| 丁香五月在线播放| 日本全黄一级999| 色婷婷亚洲婷婷在线观看| 大香蕉大香蕉在线影院| 91九色中文字幕女在线观看| 六月婷久久| 色综合久久888| 五月总合激情网| 色五月大香蕉| 97色色色色色色色色色色色色色| 九九成人电影婷婷| 久色国产| 国产亚洲成AV人片在线| 久久久无码精品成人A片小说| 欧美久久网| 99日本在线| 精品人人操| a在线观看| 日日操,日日爽| 日韩99无码| 色狠狠婷婷| 精品亚洲国产成AV人片传媒| 久综合色| 色色色777| 荡乳尤物3HP1V5| 五月丁香色婷| 天堂在线婷婷| 思思热在线| 狠狠99| 超碰人妻在线| 久久人妻乱子伦| 伊人91| 日韩乱玛久久| 婷婷久久在线| 五月婷婷色色色| www.激情在线| 丁香五月婷中字在线| 精a品a| 超碰日日操| 色色999三级片| 一级操逼内射在线视频| 五月婷婷综合影院| www.99热| 丁香亚洲婷婷五月| 亚洲色综合色网| www.色综合| 丁香 婷婷五月| 成人国产网| 欧美乱码国产一级A片| 亚洲区,视频区,视频区免费| A片女女女女女女BBBB| 婷婷丁香人妻天天久久| 99精品久久久久久久| 五月婷婷激情网| 韩国婷婷丁香五月| www,99色| 狠狠色综合网| WWW、日本色丁香、co m| 中文字幕av久久爽| 五月久久婷婷| 色婷婷五月天天天天天天天天天| 激情电影五月婷婷| 武则天精品久久| 天天草天天舔| 丁香五月婷婷色| 五月丁香六月婷婷综合网| 午夜福利8055| 激情五月丁香五月| 五月天亚洲最大成人| 色色综合热| 日本一道久久| 成人网站免费sxj| 日本97久久久精品| 久久久久9| 99热这里只有精品最新网址| 色玖玖综合网| 丰满少妇乱A片无码| 五月婷婷啪啪| 日韩好吊操| Av在线不卡一区| 婷婷香蕉| 日日操,夜夜撸| 色婷婷免费观看| 大色鬼综合| 色情久久久| site:wpjngj.com| 日韩美一级毛卡片| 色婷久| 99色啊| 综合色色综合| 久久久人妻| 色婷婷的五月天| 九九综合视频在线观看| 五月天激情日色在线| 精品久久9| 去干网最新版本亚洲版| 婷婷中文无码| 婷婷丁香红五月91C| 99ri国产| 狠色狠色综合久久| 天天色天天射天天日| www,奇米影视| 亚洲国产成人在线| 色性五月天| 高清不卡一区| 日韩av在线播放综合网| 综合色久| 色色色色色色色色色色色色色色,网站| 色播综合| 996热re视频在线观看视频| 狠狠狠狠狠| 少妇激情五月天| 丁香五月婷婷少妇| 99免费在线视频| 美女激情综合| 五月天激情综合10p| 欧美熟女99| 欧美日本国产| 26uuu日韩| 美女五月狠狠| 停停色综合伊人| 色色五月天婷婷丁香| 777精品久无码人妻蜜桃| 激情综合在线观看| 激情色情五月天| 97人人射| 久久久九九九 99| 久久久人妻| 五月天婷婷免费| 淫水导航| 日韩色色色99| 久色88| 超碰日韩成人| 九九AV在线| 色五月天本日| 91精品电影18T| 成人在线综合| 亲子乱AV-区二区三区| 91Chinese在线| 午夜婷婷久久 | 八戒青柠影视剧在线观看| 婷婷涩涩五月天| 天天干天天爽天天操| 玖热精品综合视频| 69精品人人人人人人| 91九色网| 99免费在线视频| 丁香婷婷啪啪啪| 深爱激情中文五月天av| Caop在线| 97人碰人操| 久9热| 激情人妻综合| 久久综合天天综合| 婷婷五月综合色中文字幕| 国产亚洲网站在线| 婷婷丁香18| 日本欧美成人片AAAA| 激情四射网| 狠狠草狠狠草| 色色色色色色综合| 五月天激情综合网站| www99在线观看视频| 五月婷婷精品视频| www.色五月| www.99热| 综合99久久| rr天天操| 精久久色| 丁香五月 综合| 色五月91| 天久久久久| 日本久久色| 俺去也五月| 天天天天操| 人妻精品在线| 女人天堂 AV| 成人网站免费sxj| 五月婷婷六月丁香激情深爱| 色色狼人综合| 九九久久免费视频44| 噼里啪啦完整版中文在线观看| 久草A片| 五月天激情综合| 中文乱子伦视频| 深爱五月中文字幕| 1024日韩| 日本一级特黄大片AAAAA级| 五月天激情黄色网址| 丁香五月天堂婷婷| 免费看欧美成人A片无码 | 超级97碰碰| 久久人人妻| 991精品在线视频| 色狠狠婷婷| 激情五月综合网最新| 婷婷激情五月天亚洲综合| 秋霞三级色戒| 色五月综合激情| 玖玖99免费视频| 影音先锋偷偷色男人站| 久久亭亭电影| 嫩草免费视频| 国产在线激情视频| 国产成人一区二区三区在线观看| 来吧亚洲综合网| 丝袜大香蕉| 人人综合久| 国产日韩欧美性爱| 天天做夜夜爽| 亭亭五月天成人| 色五月色五天色情网| 操逼福利视频| 婷婷AV丁香| 天天日日人| 久久综合这里只有精品1| 色噜噜综合网| 97视频久久| 亚洲一级AV在线免费播放| 九九久久污| 99热在线观看精品| 色婷婷9| 9l视频自拍9l视频自拍九色学生| 色色亚洲五月天| 色狠久| 天天插插天天| 精品成人无码A片观看香草视频| 丁香五月天欧美| 婷婷激情鹿城五月天| 五月婷婷综合网在线播放| 婷婷五月天无码熟女| 99热国产这里只有| 99这里是99在线视频| 五月色情婷婷| 91久久婷婷| 99这里有精品久久97| 色愛综合网| 丁香五月激情六月欧亚激情综合导航| 极品色丁香| 久操b网| 亚洲色婷婷色| 狠狠操天天操天天操| 五月色情婷婷开心五月色情| 99热在线免费观看精品| 五月婷婷香蕉| hd五月婷婷在线| 夜夜夜夜做天天天做无码视频| 五月天婷婷青青| www.婷婷,com| 亚洲激情综合五月婷婷啪啪| 亚洲色综合性| 亚洲亚洲永久无码777777| 99热精品在线免费观看| 五月婷婷亚洲| www.天天干| 9l视频自拍九色9l视频自拍九色9l社区 | 五月丁香六月花| 五月天色婷婷成人| xxx.色婷婷| 网站免费一站二站| 91青娱乐青青草| 99精品在线观看视频| 久久婷婷综合网| 婷婷色五月天在线观看| 五月丁香色色| 91大神操美女| 日本一道久久| 欧美三级欧美一级| 人人操日| 五月亭亭开心网| 777色色色| 久久久精品色| 色色丁香| 99热个人在线| 99热伊人综合| 日本97久久久精品| 日本色图综合| 婷婷丁香五月亚洲欧美| 玖玖资源部在线播放| 丁香五月综合图片在线观看| 成人性爱精品视频| 日日夜夜综合| 青青草成人网| 婷婷五月激情欧美| 九九99久久| 婷婷97狠狠成人网站| 性爱网五月婷婷| www,色综合| 91丨九色丨白浆秘| 开心婷婷五月激情网小说| 天天操天天爽天天爱| 久色国产| 美欧成人视频| 国产超碰在线| 开心激情站| 黄网在线免费观| 999九九九久久久99HD| 99免费在线视频| 久久综合中文| 日本婷婷综合精品| 色婷婷五月天小说| 激情九九六月激情免费视频| 丁香婷婷深情五月亚洲| 丁香五月成人| 激情五月四色| 亚洲AV第二区国产精品| 国产成人网址| 激情五月天综合图片小说网站| 99精品热视频只有精品10| 五月激情网五月综合网| 亚洲激情免费视频| 五月婷婷综合网| 激情综合网五月激情| 国产欧美日韩综合精品一区二区| 香蕉影院色| 久久婷婷五月综合色丁香| 99热婷婷| 天天射射夜| 久久免片| 六月激情婷婷| 免费超碰在线观看| 伊人综合婷婷| 永久的网站AAAA | 亚洲激情网| 丁香五月激情月| 五月六月丁香激情| 五月天激情图片| 风流少妇A片一区二区蜜桃| 99啪在线视频| 337p大胆噜噜噜噜噜91Av| 婷婷深爱五月天在线| 久久激情网| 日日爽夜夜爽| 97成人丁香| 影音先锋四区| 99在线免费视| 这里只有免费精品| 色停停香蕉视频| 日韩在线观看网址| 五月婷婷六月丁香首页| 97色色色色| 五月丁香花激情综合网| 中文字幕人妻在线| 免费视频WWW在线观看网站| 中文字幕婷婷在线| 欧美成性色| 婷婷夜夜操| 操碰99| 日韩AV中文在线观看| av成人在线播放| 色欲操| 26uuu精品国产| 少妇高潮一区二区三区99欧美| 欧美大片免费观看| 色玖玖综合| 桃色激情婷婷伊人网| 婷婷久久色| 天天天天操| 五月天丁香啪啪啪啪| 91色综合网| www.五月婷婷久久.com| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 亚洲午夜视频| 成人超碰网| 开心五月婷婷伊人| 日韩性视频| 久久九九99亚洲国产久精综合| 九色七七| 亚洲国产精品二二三三区| 丁香99| 99视频精品| 九九色热视频| 色婷婷小说| 91高潮喷水久久久久久久久 | 狠狠草天天草| 思思热99热| 亚洲综合五月天| 亚洲人人操| 色色婷五月天| 国产97色在线 | 日韩| 99热国品| 色综合天堂| 日日噜狠狠色综合久久| 亚洲成人AV在线观看| 激情色五月天| 女性自慰系列第五页| 五月的色婷婷高潮| 天天综合精品| 九九色大香蕉| 婷婷五月天天aV|