欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

容器化Java服務(wù)Dockerfile集成SkyWalking APM避坑指南

容器化Java服務(wù)Dockerfile集成SkyWalking APM避坑指南 最近給一個 Java 服務(wù)做容器化改造正好趕上要給系統(tǒng)接 SkyWalking 做鏈路追蹤就想在 Dockerfile 里直接把 agent 打進(jìn)鏡像省得每次發(fā)布還要單獨(dú)掛目錄、搞版本同步。第一版寫得很順以為加個-javaagent就完事了結(jié)果鏡像能起、業(yè)務(wù)也正常SkyWalking 后端卻怎么都查不到這個服務(wù)折騰了大半天才定位到問題。從頭到尾踩了三個坑基礎(chǔ)鏡像里/tmp目錄不可寫、agent 版本和 OAP 后端版本不對齊、上報(bào)地址把 gRPC 端口和 HTTP 端口搞混了。這篇文章就是想把 Dockerfile 配置 SkyWalking 的完整思路、可以直接抄的代碼模板和排查方法整理出來給正在做微服務(wù)容器化改造、想在鏡像里內(nèi)置 APM agent 的 Java 開發(fā)和運(yùn)維同學(xué)做個參考。不管你是剛接觸容器化的新手還是已經(jīng)在生產(chǎn)環(huán)境摸爬滾打過的老手按照這里的思路走一遍能少踩不少坑。1. 先把方案選型想明白為什么要把 agent 直接做進(jìn)鏡像里1.1 從 APM 的接入方式聊起SkyWalking 是一個開源的 APM 系統(tǒng)核心價值是鏈路追蹤、服務(wù)拓?fù)?、性能剖析和告警。Java 服務(wù)接入 SkyWalking 幾乎不需要改業(yè)務(wù)代碼只要在 JVM 啟動時掛一個-javaagent參數(shù)指向 skywalking-agent.jar字節(jié)碼增強(qiáng)就能自動完成埋點(diǎn)采集。這個模式很像快遞驛站給包裹裝追蹤標(biāo)簽包裹本身不用改樣驛站按尺寸給每個包裹貼一張單子快遞系統(tǒng)就能全程看到它到了哪一站、停了多久、在哪一站異常了。業(yè)務(wù)代碼就是包裹agent 就是那張標(biāo)簽JVM 啟動參數(shù)就是貼標(biāo)簽的動作。既然接入方式這么簡單那問題就是agent 這個標(biāo)簽放在哪里常見的做法有三類我在實(shí)際項(xiàng)目里都試過各有各的坑。1.2 三種常見接入方案對比第一種也是最推薦的做法就是在 Dockerfile 構(gòu)建階段就把 agent 打進(jìn)鏡像run 起來的時候啟動腳本自動帶上-javaagent。交付的鏡像是自包含的開發(fā)測試環(huán)境和生產(chǎn)環(huán)境拿到的產(chǎn)物完全一致不會出現(xiàn)本地能看鏈路、測試環(huán)境看不了的問題。第二種是用 K8s 的 Volume 把 agent 目錄掛載進(jìn)容器鏡像保持干凈不裝任何 agent 相關(guān)的東西。聽起來挺優(yōu)雅但實(shí)際維護(hù)起來很痛苦每一個節(jié)點(diǎn)都要準(zhǔn)備一份 agent 二進(jìn)制升級 agent 版本的時候所有節(jié)點(diǎn)的文件都要跟著換稍有不慎就是新舊版本混用。要是碰到那種直接跑 Docker 的虛擬機(jī)環(huán)境你還得單獨(dú)去每臺機(jī)器上準(zhǔn)備目錄鏡像本身反而失去了可移植性。第三種是通過 Maven 插件或 JIB 等工具在構(gòu)建鏡像的時候把 agent 塞進(jìn)去適合已經(jīng)統(tǒng)一了 CI 構(gòu)建流程的團(tuán)隊(duì)。但這個方案對現(xiàn)有構(gòu)建鏈路侵入比較大而且出了問題不好排查不是所見即所得。三者的取舍我用一張表總結(jié)一下方便你根據(jù)團(tuán)隊(duì)情況選擇對比維度Dockerfile 內(nèi)置Volume 掛載構(gòu)建插件注入鏡像自包含是否是版本一致性高低高部署復(fù)雜度低中高中排障直觀性高低中適合場景多數(shù)微服務(wù)團(tuán)隊(duì)多租戶共享節(jié)點(diǎn)已有強(qiáng) CI 體系我個人的建議很簡單只要你的服務(wù)是走容器化交付就優(yōu)先把 agent 做進(jìn)鏡像。體積多幾十兆完全無所謂換來的是部署和排查的確定性這筆賬怎么算都劃算。1.3 先把版本對應(yīng)關(guān)系定下來再動手寫選方案之前有一件事必須提前確認(rèn)agent 版本和 OAP 服務(wù)端版本要匹配。SkyWalking 的 Java Agent 和 OAP 之間的通信協(xié)議是分版本的跨大版本連基本都會出問題。比如 8.x 的 agent 去連 9.x 的 OAP很常見的情況是 agent 啟動日志看著正常但數(shù)據(jù)就是注冊不上去UI 里服務(wù)列表永遠(yuǎn)空白。正確做法是先看你們線上 OAP 是什么版本再去下載對應(yīng)版本的 java-agent 包。這里給一個簡單的版本對應(yīng)規(guī)律8.x 的 OAP 配 8.x 的 agent9.x 的 OAP 配 9.x 的 agent不要在同一個大版本里混用不同小版本比如 8.16.0 的 agent 配 8.9.0 的 OAP雖然大部分情況能用但有些新上報(bào)的指標(biāo)在老版本 OAP 上解析不了會直接影響展示。另外還要注意 JDK 版本。SkyWalking 8.x 的 agent 支持 JDK 8 到 179.x 在此基礎(chǔ)上覆蓋更廣。如果你的服務(wù)還在 JDK 7 或者更老的版本上就得考慮上歷史版本的 agent 了這一點(diǎn)在做 MES 這類傳統(tǒng)制造系統(tǒng)兼容性評估時尤其重要后面第 5 節(jié)我會專門展開說。2. Dockerfile 核心配置細(xì)節(jié)每個關(guān)鍵點(diǎn)都藏著一個坑2.1 基礎(chǔ)鏡像怎么選不是隨便拉個 JDK 鏡像就完事基礎(chǔ)鏡像是 Dockerfile 的地基很多人習(xí)慣直接用openjdk:8-jdk-alpine圖它體積小。但如果你要在里面跑 SkyWalking agent這個選擇可能會讓你在深更半夜排查的時候懷疑人生。Alpine 系統(tǒng)用的是 musl libc不是標(biāo)準(zhǔn)的 glibc。SkyWalking agent 內(nèi)部依賴的很多組件在 glibc 環(huán)境下測試最充分放到 musl 環(huán)境中偶爾會出現(xiàn)文件鎖、socket 通信異常、線程調(diào)度異常這類莫名其妙的問題。agent 加載本身不報(bào)錯但采集數(shù)據(jù)就是不穩(wěn)定。我記得有一次在一個 Alpine 鏡像里部署服務(wù)能正常跑SkyWalking 的 UI 上拓?fù)鋱D卻時有時無后來把基礎(chǔ)鏡像從 Alpine 換成 Ubuntu 底層的 temurin問題就再沒出現(xiàn)過。如果你想少在半夜被叫醒生產(chǎn)環(huán)境基礎(chǔ)鏡像建議直接用 Eclipse Temurin它維護(hù)規(guī)范、CVE 修復(fù)及時底層是 Ubuntuglibc 環(huán)境穩(wěn)妥。根據(jù)你的 JDK 版本選對應(yīng)的 tag 就行。如果項(xiàng)目還在用 Java 8就eclipse-temurin:8-jreJava 11 就eclipse-temurin:11-jreJava 17 就eclipse-temurin:17-jre。是選 JRE 還是 JDK多數(shù)情況 JRE 就夠用了但如果后續(xù)要自己擴(kuò)展 agent 插件或者做一些深入的字節(jié)碼調(diào)試選 JDK 會更省事。時區(qū)配置也要在基礎(chǔ)鏡像階段解決。容器默認(rèn)是 UTC 時間如果你的服務(wù)是面向國內(nèi)用戶的日志和監(jiān)控?cái)?shù)據(jù)的時間戳?xí)?8 個小時排查問題時很難受。我一般會在 Dockerfile 里加一行ENV TZAsia/Shanghai RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime這樣容器內(nèi)執(zhí)行的 Java 進(jìn)程、agent 寫的日志時間都是東八區(qū)不用再對著時間戳做減法。2.2 agent 下載與多階段構(gòu)建不要在生產(chǎn)鏡像里留一堆構(gòu)建工具下載 SkyWalking agent 有一個現(xiàn)實(shí)問題公網(wǎng)下載速度受網(wǎng)絡(luò)環(huán)境影響大直接在 Dockerfile 里用ADD https://...拉取每次構(gòu)建都可能因?yàn)榫W(wǎng)絡(luò)波動失敗。更穩(wěn)妥的做法是把 agent 包先下載到公司內(nèi)部的制品庫比如 Nexus 或 ArtifactoryDockerfile 里從內(nèi)網(wǎng)地址拉取構(gòu)建穩(wěn)定性和速度都會有保障。拿到 tar.gz 包之后解壓出來是一個skywalking-agent目錄里面包含了skywalking-agent.jar、plugins/、config/、logs/等子目錄。需要注意plugins/目錄里的插件不能隨便刪它是 SkyWalking 能采集各種中間件鏈路的底氣logs/目錄是運(yùn)行時寫日志用的鏡像里要有對應(yīng)的可寫權(quán)限。一個典型的下載寫法是這樣FROM alpine:3.18 AS skywalking-download RUN apk add --no-cache ca-certificates tar ARG SW_AGENT_VERSION8.16.0 ADD https://archive.apache.org/dist/skywalking/java-agent/${SW_AGENT_VERSION}/apache-skywalking-java-agent-${SW_AGENT_VERSION}.tgz /tmp/agent.tgz RUN tar -zxf /tmp/agent.tgz -C /opt用多階段構(gòu)建是這里的關(guān)鍵思路。第一階段只負(fù)責(zé)下載和解壓第二階段 COPY 的時候只把解壓好的目錄復(fù)制過去最終運(yùn)行鏡像里不會殘留 curl、tar、apk 這類構(gòu)建工具和包管理緩存鏡像更小、更安全CVE 面也更小。2.3 環(huán)境變量與啟動參數(shù)注入讓你少踩兩個隱形坑SkyWalking agent 支持用環(huán)境變量覆蓋配置文件里的參數(shù)這比在 Dockerfile 里硬編碼-Dskywalking.xxx要靈活得多。最常用的兩個環(huán)境變量是SW_AGENT_NAME服務(wù)名和SW_AGENT_COLLECTOR_BACKEND_SERVICESOAP 后端地址。如果你在 Dockerfile 里寫ENV SW_AGENT_NAMEmes-service \ SW_AGENT_COLLECTOR_BACKEND_SERVICESskywalking-oap:11800那么在部署到 K8s 的時候只要在 Deployment 的 env 里覆蓋同名變量就能做到不重新構(gòu)建鏡像就調(diào)整服務(wù)名或后端地址。這樣一套鏡像可以部署多個環(huán)境非常實(shí)用。這里有一個特別容易踩的坑OAP 的 gRPC 端口默認(rèn)是 11800UI 查詢端口是 12800而很多新手會把collector.backend_service配成http://xxx:12800或者干脆寫成 8080結(jié)果 agent 一直連不上后端。注意這里不需要寫http://前綴直接寫host:11800就行agent 走的是 gRPC 協(xié)議不是你瀏覽器訪問 UI 的那個端口。啟動參數(shù)方面有兩種注入方式一是用JAVA_TOOL_OPTIONS環(huán)境變量JVM 會自動讀取但每次啟動都會打印一行Picked up JAVA_TOOL_OPTIONS比較污染日志二是用JAVA_OPTS環(huán)境變量配合自定義入口腳本拼接靈活性和可控性都更好。我在生產(chǎn)環(huán)境更喜歡后者因?yàn)榭梢栽谀_本里做各種判斷和預(yù)處理而且不會被 JVM 自動拾取的機(jī)制干擾。3. 完整實(shí)操從零寫一個能上生產(chǎn)環(huán)境的 Dockerfile3.1 直接可用的 Dockerfile 模板下面這個 Dockerfile 是我在多個項(xiàng)目里反復(fù)用過的模板改一改業(yè)務(wù) jar 名和版本號就能用。它同時處理了時區(qū)、agent 版本鎖定、非 root 用戶、多階段構(gòu)建這幾個要點(diǎn)# 階段一只負(fù)責(zé)準(zhǔn)備 SkyWalking Agent FROM alpine:3.18 AS skywalking-download RUN apk add --no-cache ca-certificates tar ARG SW_AGENT_VERSION8.16.0 ADD https://archive.apache.org/dist/skywalking/java-agent/${SW_AGENT_VERSION}/apache-skywalking-java-agent-${SW_AGENT_VERSION}.tgz /tmp/agent.tgz RUN tar -zxf /tmp/agent.tgz -C /opt # 階段二業(yè)務(wù)運(yùn)行鏡像 FROM eclipse-temurin:8-jre ENV TZAsia/Shanghai \ SW_AGENT_NAMEmes-service \ SW_AGENT_COLLECTOR_BACKEND_SERVICESskywalking-oap:11800 RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime \ mkdir -p /app/logs /opt/skywalking-agent/logs \ useradd -r -s /sbin/nologin appuser WORKDIR /app COPY --fromskywalking-download /opt/skywalking-agent /opt/skywalking-agent COPY app.jar /app/app.jar COPY entrypoint.sh /app/entrypoint.sh RUN chmod x /app/entrypoint.sh chown -R appuser:appuser /app /opt/skywalking-agent USER appuser EXPOSE 8080 ENTRYPOINT [/app/entrypoint.sh]這個模板里有幾個細(xì)節(jié)值得你注意。第一我單獨(dú)創(chuàng)建了/opt/skywalking-agent/logs目錄并且把整個 agent 目錄的屬主改成了非 root 用戶否則 agent 運(yùn)行時寫不了日志啟動日志里會刷一堆Permission denied但業(yè)務(wù)進(jìn)程本身不報(bào)錯極易漏判。第二agent 的 jar 包是通過 COPY 從第一階段拿來的運(yùn)行鏡像里沒有任何包管理器鏡像很干凈。第三我用的是非 root 用戶appuser來跑業(yè)務(wù)這是容器安全的基本要求能夠避免容器內(nèi)進(jìn)程以 root 權(quán)限被攻破后直接操作宿主機(jī)。3.2 entrypoint.sh 啟動腳本agent 加載的正確姿勢Dockerfile 里的 ENTRYPOINT 指向的腳本負(fù)責(zé)在容器啟動時把-javaagent拼進(jìn) JVM 啟動命令。最簡版本長這樣#!/bin/sh set -e AGENT_PATH/opt/skywalking-agent/skywalking-agent.jar if [ ! -f ${AGENT_PATH} ]; then echo [ERROR] SkyWalking agent not found at ${AGENT_PATH} exit 1 fi JAVA_OPTS${JAVA_OPTS} -javaagent:${AGENT_PATH} exec java ${JAVA_OPTS} -jar /app/app.jar $這個腳本做了三件事校驗(yàn) agent 文件存在、把外部傳入的JAVA_OPTS和-javaagent拼接起來、用exec啟動 Java 進(jìn)程。注意最后一行用了exec這個不是可有可無的細(xì)節(jié)。用exec之后Java 進(jìn)程會直接替換掉 shell 進(jìn)程容器的 1 號進(jìn)程就是 Java 進(jìn)程本身這樣容器收到 SIGTERM 信號時Java 進(jìn)程能直接響應(yīng)配合 JVM 的優(yōu)雅停機(jī)機(jī)制完成收尾。如果不用execshell 會成為 1 號進(jìn)程信號先打到 shell 上程序退出行為會變得不可控。SkyWalking agent 本身的配置在上面的 Dockerfile 里已經(jīng)通過環(huán)境變量指定了。如果你需要在腳本里做一些個性化處理比如動態(tài)設(shè)置服務(wù)名、按環(huán)境切換 OAP 地址也完全可以在這個腳本里加邏輯自由度比JAVA_TOOL_OPTIONS大得多。3.3 構(gòu)建、運(yùn)行與驗(yàn)證怎么確認(rèn) agent 真的起了作用鏡像文件準(zhǔn)備齊了接下來就是構(gòu)建和驗(yàn)證。構(gòu)建命令很簡單docker build -t my-mes-service:1.0.0 .跑起來的時候可以手動覆蓋環(huán)境變量來模擬不同環(huán)境docker run -d --name mes-service \ -e SW_AGENT_NAMEmes-service-test \ -e SW_AGENT_COLLECTOR_BACKEND_SERVICES192.168.10.20:11800 \ -p 8080:8080 \ my-mes-service:1.0.0這里覆蓋了 Dockerfile 里默認(rèn)的SW_AGENT_NAME和 OAP 地址模擬的是測試環(huán)境連接不同的后端。這樣你就能理解為什么我前面強(qiáng)烈推薦用環(huán)境變量而不是寫死參數(shù)部署的靈活性就體現(xiàn)在這里。啟動之后第一步是看 agent 自己的日志docker exec -it mes-service tail -f /opt/skywalking-agent/logs/skywalking-agent.log如果 agent 加載正常這個日志里會有啟動信息并且會顯示 OAP 地址。如果連不上后端日志里會有明顯的連接異?;蛑卦囆畔ⅰ5诙绞谴蜷_ SkyWalking UI在服務(wù)列表里找mes-service-test能看到就說明注冊成功了。第三步是主動打幾條請求過去過一兩分鐘到 Traces 頁面看有沒有鏈路數(shù)據(jù)。這里有個經(jīng)驗(yàn)鏈路數(shù)據(jù)通常要等請求發(fā)生之后才上報(bào)不是服務(wù)一注冊就立刻有 trace。很多新手啟動完發(fā)現(xiàn) UI 里沒數(shù)據(jù)就以為失敗了其實(shí)只要服務(wù)列表里有你注冊的服務(wù)名就已經(jīng)成功了一大半剩下的只是等流量進(jìn)來。4. 生產(chǎn)環(huán)境常見坑與排查實(shí)錄4.1 服務(wù)老是不上報(bào)按這個順序排查我接手過好幾個團(tuán)隊(duì)的容器化排查發(fā)現(xiàn)大家遇到的問題高度相似。服務(wù)不上報(bào)數(shù)據(jù)時不要一個一個按鈕亂點(diǎn)按下面的順序來先查 agent 能不能啟動。看/opt/skywalking-agent/logs/下的日志如果這個文件壓根不存在說明 agent 連寫日志的權(quán)限都沒有或者啟動參數(shù)根本就沒帶上去。二查 agent 日志里有沒有異常堆棧最常見的兩個錯誤agent 版本與 OAP 不兼容、找不到collector.backend_service配置。三查網(wǎng)絡(luò)連通性。agent 和 OAP 之間走 gRPC端口默認(rèn) 11800很多微服務(wù)集群的網(wǎng)絡(luò)策略只放開了 HTTP 端口gRPC 端口是通的但防火墻沒放行也會導(dǎo)致連接超時。在容器里執(zhí)行nc -zv skywalking-oap 11800驗(yàn)證一下是最直接的。我遇到過最隱蔽的一個問題K8s 集群里 agent 和 OAP 之間網(wǎng)絡(luò)沒問題但 agent 日志里反復(fù)出現(xiàn)Channel ... is not active最后查出來是 OAP 的 Pod 有多個副本其中一個副本所在的節(jié)點(diǎn)內(nèi)存壓力太大OAP 一直在 GC導(dǎo)致某些 gRPC 連接建立后又被重置。這種情況就不是 Dockerfile 能解決的了得從后端資源規(guī)劃去找原因。4.2 時區(qū)、臨時目錄、協(xié)議端口三個看起來不像問題的問題第一個是時區(qū)。容器默認(rèn) UTC如果 Dockerfile 里沒有設(shè)置TZAsia/Shanghaiagent 日志時間會比北京時間慢 8 小時你看到這個時間點(diǎn)沒有數(shù)據(jù)其實(shí)只是時間標(biāo)簽錯位。更麻煩的是 OAP 服務(wù)端如果沒有統(tǒng)一時區(qū)配置UI 上展示的曲線按小時錯位排查半天發(fā)現(xiàn)是時區(qū)問題很浪費(fèi)精力。第二個是/tmp目錄權(quán)限?,F(xiàn)在安全掃描和運(yùn)行策略普遍要求容器以非 root 用戶啟動但很多精簡鏡像的/tmp目錄默認(rèn)權(quán)限是drwxrwxrwt非 root 用戶按理說也能寫。問題常出在那些在加固鏡像上又加了一層只讀根文件系統(tǒng)策略的環(huán)境里agent 初始化時需要寫臨時文件寫不進(jìn)去就直接崩潰或者靜默降級。解決方法是提前建一個應(yīng)用可寫的目錄并且通過 JVM 參數(shù)指向它JAVA_OPTS${JAVA_OPTS} -Djava.io.tmpdir/app/tmp第三個是協(xié)議端口。collector.backend_service一定要寫 OAP 的 gRPC 端口默認(rèn)是 11800。UI 的訪問端口是 8080OAP 的 HTTP 查詢端口是 12800這三個端口各有各的用途但它們之間是獨(dú)立的。配成什么http://127.0.0.1:8080之類agent 自然連不上。每次遇到服務(wù)看不到的問題我都會第一時間去檢查這個變量。4.3 常見問題速查表為了方便你排查時對照我把高頻問題整理成了速查表癥狀常見原因處理建議agent 啟動日志為空或不存在目錄不可寫、-javaagent未生效檢查鏡像權(quán)限、確認(rèn) entrypoint 是否執(zhí)行啟動日志提示 agent jar 無法加載COPY 路徑不對或 jar 損壞檢查 Dockerfile 中 COPY 前后路徑服務(wù)列表看不到新服務(wù)agent 與 OAP 版本不兼容兩端統(tǒng)一到同一大版本8.x/9.x服務(wù)能看到但 Track 沒有數(shù)據(jù)請求流量未經(jīng)過 agent 埋點(diǎn)確認(rèn)啟動命令確實(shí)帶上了-javaagentOAP 日志顯示連接被重置網(wǎng)絡(luò)策略限制 gRPC 端口放行 11800檢查集群網(wǎng)絡(luò)策略UI 時間曲線整體偏移時區(qū)配置不一致統(tǒng)一設(shè)置TZAsia/Shanghaiagent 日志有 gRPC 連接異常backend_service 端口錯誤改為host:11800不要寫 HTTP這個表我實(shí)際用下來很有效基本覆蓋了 80% 的接入問題。如果你的問題不在表里記住一個核心思路任何 APM 接入問題永遠(yuǎn)都是從 agent 日志門口第一塊磚開始查不要跳過去猜。5. 延伸SkyWalking 能部署到 MES 制造系統(tǒng)上嗎5.1 先給結(jié)論能而且非常適合很多做制造業(yè)數(shù)字化的人會問MES 制造執(zhí)行系統(tǒng)能不能上 SkyWalking。這個問題需要分兩層看第一層MES 系統(tǒng)只要跑在 JVM 上就能掛 agent 接 SkyWalking和它是不是制造系統(tǒng)沒有本質(zhì)區(qū)別第二層MES 系統(tǒng)通常部署在工廠內(nèi)網(wǎng)網(wǎng)絡(luò)環(huán)境比較封閉后端組件需要跟著內(nèi)網(wǎng)策略一起規(guī)劃。我經(jīng)手的 MES 項(xiàng)目里技術(shù)?;径际?Java Spring Boot MySQL服務(wù)數(shù)量一般在二三十個以內(nèi)。這種體量接入 SkyWalking 后的收益非常直觀工單流轉(zhuǎn)慢、設(shè)備數(shù)采延遲、過站事務(wù)卡頓這類問題之前排查要翻半天日志有了鏈路追蹤以后一眼就能看到是哪一次遠(yuǎn)程調(diào)用耗時最長、哪一個 SQL 出現(xiàn)了慢查詢。有一點(diǎn)需要特別提醒MES 行業(yè)里至今還有不少系統(tǒng)跑在 JDK 7 甚至更老的版本上。SkyWalking 從 8.x 開始對 JDK 版本有硬性要求JDK 7 的項(xiàng)目只能考慮更早的 agent 版本但這又意味著功能不完整、維護(hù)成本高。所以接到 MES 接入需求時先做的應(yīng)該是摸清線上 JDK 版本這決定了你能不能用上現(xiàn)代版本的 SkyWalking。5.2 部署形態(tài)與資源規(guī)劃建議MES 系統(tǒng)的部署環(huán)境常見有單機(jī) Docker Compose 和 K8s 集群兩種。中小型 MES 如果只有十幾二十個服務(wù)部署單機(jī)模式完全夠用OAP 一個進(jìn)程、UI 一個進(jìn)程存儲直接用 MySQL 庫注意提前初始化 SkyWalking 所需的表結(jié)構(gòu)即可。這個形態(tài)三臺 8C16G 的機(jī)器可以跑得很舒適。規(guī)模大一些、或者對服務(wù)可靠性要求高的 MES 集群建議走 K8s 部署 OAP 集群存儲換 Elasticsearch。這里要給一個明確建議trace 數(shù)據(jù)量上來之后MySQL 做存儲會逐漸吃緊ES 的寫入和查詢效率明顯更好。初期數(shù)據(jù)量小的時候可以用 MySQL 省運(yùn)維成本一旦服務(wù)數(shù)量超過四五十個、核心鏈路的 trace 量每天幾百萬上千萬條就要考慮遷移到 ES 了。agent 對業(yè)務(wù)性能的影響方面以我的實(shí)測經(jīng)驗(yàn)來看常規(guī) Web 接口的損耗大概在 5% 到 10%大部分場景可以接受。但 MES 系統(tǒng)里有不少高頻采集服務(wù)每秒鐘要處理上千條設(shè)備數(shù)據(jù)這類服務(wù)上 agent 之前最好先做一輪壓測對比可以在 Dockerfile 層面通過環(huán)境變量控制SW_AGENT_SAMPLING_RATE把采樣率調(diào)整到更低區(qū)間比如 1%在業(yè)務(wù)影響和監(jiān)控力度之間找平衡。接入節(jié)奏上我強(qiáng)烈建議先在測試環(huán)境跑通整個鏈路再挑一兩個非核心服務(wù)觀察兩三天確認(rèn)穩(wěn)定后逐步推廣。這樣既能保證監(jiān)控真正服務(wù)生產(chǎn)也不會因?yàn)橐淮渭みM(jìn)改造把制造系統(tǒng)的穩(wěn)定性搞出問題。我做 MES 項(xiàng)目的感受是SkyWalking 這套東西本身技術(shù)門檻不高真正決定體驗(yàn)的往往是在 Dockerfile 里那些細(xì)節(jié)agent 放進(jìn)鏡像、版本鎖對、環(huán)境變量分清、端口和權(quán)限都處理干凈。你把這些基礎(chǔ)設(shè)施搭好了后面接任何服務(wù)都只是復(fù)制模板改個名的事。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天狠狠网站| 秋霞黄色一级久久| 天堂婷婷五月在线| 97久久五月丁香婷婷| 丁香五月成人社区| 五月丁香六月综合激情无码软件亮点 | 婷婷激情五月视频| 欧美综合五月天婷婷tin| 天天激情欧美美女| 综合激情五月天六月婷免费视频| 五月四色色| 99视频网址| 久久99热这里只频精品6学生| 婷婷综合五月天亚洲综合| 91色婷婷综合久久中文字幕二区| 九月丁香八月婷婷加勒比| 思思久久精品| 亚洲有码在线视频| 九九亚洲无码| 91丁香| 婷婷五月天免费99| 五月天色小说| 色色网站毛片| 久99久视频精品| 久热这里只有| 五月天色色网站| 色五月婷婷九月| 26UUU欧美激情一区二区| 五月天激情综合网俺也去| 色色五月天婷婷丁香| 《久久综合九色综合97婷婷| 婷婷97狠狠干| 婷婷久久久久| 91天天操天天干天天射| 秋霞免费三级片| 天堂在线婷婷| 中文字幕成人影视| 亚洲不卡| 精品色情一区二区三区四区| 精品亚洲国产成AV人片传媒| 另类专区在线观看| 三男玩一女三A片| 超碰在线99| 丁香五月色色婷| www久久99| 五月丁香激| 色欲AVV| 日本少妇裸体做爰高潮片| 婷婷激情综合网| 精品久热| 亚洲V国产V欧美V久久久久久| 丁香五月成人网| 超碰色色综合| 五月天大香蕉| 欧美日本韩国亚洲| 久久丁香九| 九月丁香婷婷| 五月婷婷色啪| 99热这里只有精品1025| 天天色月| 亚洲性爱日韩无码| 国内外色色色色色成人视频| 97成人丁香婷婷| 婷婷五月丁香六月| 五月丁香久久网| 激情综合自拍五月婷婷色五月| 97香蕉碰碰人妻国产欧美| 人人97碰| 美女婷婷六月色| 欧美毛片www| 国产熟女日日骚五月丁香爱| 激情五月激情综合网| 99成人| 综合激情在线视频| 被男人添B超爽视频| 99国产精品久久久久久久久久久| 超碰在线资源| 五月天久久色| 色九月婷婷综合| 丁香五月色| 天天干天天日天天插| 六月丁香五月激情网| 欧洲免费视频色| 亚洲综合色色色| 国产精品视频免费看| 精品人妻久久久久久| 亚洲视频一区| 天天色丁香| 免费AV黄在线播放| 狠狠色大香蕉| 日韩精品视频中文字幕| 婷婷无码视频| 91嫩草国产线观看亚洲一区二区| 色吧五月| 狠狠插狠狠操| 亚洲精品久久久无码| 综久久久| 另类国产综合| 久久久婷婷| 91a片爽| 操逼六区| 99热免| 色色色色色综合| 综合久久狠狠| 天天爽日日搞| 精品人妻一区二区三区四区不卡在| 婷婷中合| 管管補管管紱| 五月色亭丁香| 99久久精品色老| 99精品在| 亚洲五月婷婷| 九热精品| 五月婷婷综合丁香视频| 精品欧美性爱超级爽| 欧美超级视频97| 91免费在线视频6| 天天摸天天做天天爱天天爽| 在线观看免费观看在线9久| 久久婷婷激情四射五月天| 精品久久人妻热| 亚洲无码AV片| 狠狠操在线视频| 99视频网址| 韩国中文字幕91| 色激情综合| AV79| 在线视频区| 久大香蕉| 综合网激情| 男妓跪趴把舌头伸进我的嘴巴| 97热九九| 最新va在线播放| 色婷青青| 夜夜噜夜夜奇| 婷婷成人五月天| 丁香婷婷性爱| 77777亚洲午夜久久| 天天射天天射一道本日本社区 | 成人五月天丁香| 五月天综合图片| 成人无码精品1区2区3区免费看| 99热综合在线| 成年人丁香五月| 99re视频在线播放| 色丁香五月| 五月婷婷丁香啪啪| 日本久久精品| 激情五月黄色小说| 国精产品一区一区三区免费视频| 色五月综合网| 婷婷丁香五月天在线视频| 99热这里有精力| 在线色色| 国外亚洲成AV人片在线观看| 99亚洲色| 91精品又长又大又粗又爽又猛| 色婷婷丁香五月天在线观看| 成人永久免费视频在线观看| 色婷婷久久| 在线网黄| 成人做爰A片免费看视频| 激情五月网站| 欧美久人人| 夜夜夜夜撸夜夜操| www.五月婷婷| 小香蕉av| 丁香综合婷婷五月天| 六月99天天婷婷激情综合| 婷婷五月天第三页| 六月婷婷综合激情| 一级性爱视频| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 色婷婷九月| 久久婷婷青青草| 啄木鸟黑丝一区二区| 色色色色网| 91操人视频| 久久伊人五月天| 婷婷五月天久久久| 色五月大香蕉| 天天精品视频在线观看视频| 九九久久精品國產| 五月丁香综合啪啪| 婷婷五月天小说| 五月婷婷六月丁香免费| 操草草草| www.久久| www.九九婷婷| www.久久| 婷婷五点亚洲| 亚洲国产精品五月天| 五月婷婷影院| 婷婷久久精品| 婷婷五月天色综合| 色 免费网站视频| 午夜性做爰电影| 日韩在线婷婷五月天综合| 婷婷99中文字幕| 色噜噜综合网| 91人操人人人操人| www.日日夜夜| 五月婷婷免费在线| 欧美婷婷丁香五月| 欧美性色A片免费免费观看的| 色狠狠色综合| www。狠狠干。com| 久久婷网| 伊人久热91| 激情五月影院| 激情99热| 九九热最新地址| 久这里只有精品99| 99热综合网| AV中文网| 欧美成人精品A片免费一区99| 久久久久久久久人妻| 九九99视频精品| 丁香五月九九| 久久涩视频| 狠狠高潮精品亚洲1| 婷婷五月美女直播| 无码九九| 色99超碰| 99精品在线| 操丝袜视频影院导航| 欧美123区免| 开心五月激情网| 亚洲人妻一区二区 | 五月丁香激情综合啪| 五月天激情网图片| 丁香五月天堂网| 激情网第九色| 午夜免费高清AV片| 99热精品免费| 182TV大香蕉| 天天做综合| 婷婷综合五月天| 日韩爱操视频| 天天在线天天综合网色| 亚洲综合草草| www.韩日视频| 午夜不卡久久精品无码免费| 六月99天天婷婷激情综合| 国产色色网站网址| 色婷婷88| 手机在线视频观看9| av大香蕉| 婷婷中文综合网| 亲子乱AV一区二区三区下载| 色私五月婷婷| 香蕉操亚洲| 五月开心深爱激情网| 热久久99视频| 丁香五月婷婷丫| 婷婷丁香色五月天久久88| 久久激情五月婷婷| 色五月综合| 色色五月天网站| 亚州精品成人片| 91久久久久| 婷婷的五月天另类视频| 色色综合网www| 天天插天天爱| 婷婷五月天综合小说网| 久久午夜理论| 丁香六月色婷婷欧美| 九色 在线| 开心婷婷中文字慕| 九九综合伊人| 亚洲人人96@| 五月丁香色色综合| 色噜噜狠狠色综合日日免费| 婷婷五月丁综合| 99在线视频精品| 天天色天天干天天插| 久久在线视频只有这里有精品| 色色婷婷丁香| 天天上天天爽| 天天搞天天爽| 狠狠干夜夜干| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 超碰免费人人肏| 丁香伊人五月色婷婷五十路| 成人在线网站| 超级碰91| 色婷婷瘦婷婷日韩| 五月婷婷六月丁香玖玖玫瑰91| 激情操逼婷婷| 涩丁香| AV在线免费网站| 思思热这里只有精品| 思思久久99热只有频精品66| 九九热精品6| 99热日本| 色婷婷先锋| 婷婷亚洲五| 婷婷中文字幕| 这里只有精品视频视频在线观看| 色婷婷丁香网| 久久久er热| 丁香婷婷人妻| 久久成人性爱| 涩婷婷五月天| 久热只有精品| 综合视频久久| 99热在线只有精品| 欧美精品XXXXBBBB| 日噜噜色| 九九热在线99| 九九色影视| 天天操B| 国产免费AV在线| 五月丁香色| 五月丁香久人妻中文| 99久久免费性爱视频`| 婷婷激情社区| 色欲天天综合网| 思思热在线视频精品| 日日操夜夜操中国无码| 狠狠操天天操综合| 久久久999精品| 欧美色综合天天久久综合精品| 亚洲色区17| 综合亚洲六月婷婷在线| www.com五月天| 丁香婷婷五月色成人网站| 99久re热视频精品98| Y11111111111少妇电影院| 日韩影院三级| 噜噜吧天天爱| 日韩精品视频中文字幕| 天天色综合色| 草草视频91| 91怕怕网| 丁香五月六月激情| 色爱综合网| 色五月欧美| 亚洲另类久久| 久久在线视频免费观看| 91啪啪视频| 曰日爽日日操| 日韩久久系列| 六月丁香五月婷婷首页| 天天干天天干天天干| 亚洲AV无码成人精品区电影网| 五月丁色AV| 久久精品五月天| 亚洲在线网站| 五月天网站亭亭| 中文中文在线| 噜噜综合网| 婷婷五月性感| 97干视频在线| 久久九精品| 日韩在线五月天婷婷| 九九大香视频| 淫五月停停| 五月天久久网站| 无码地址| 六月婷婷八月丁香| 婷婷五月天综合久久日美女| 超碰99在线| 99视频热| 亚洲成人在线播放| 婷婷五月色影视先锋| 老司机午夜福利视频金瓶梅| 影音先锋天天日| 99精品热| 婷婷导航| 精品久久这里热66| 色99综合色88| 婷婷激情五月天网站| 华人在线免费| 日日干日日| 国产99久9在线| 激情五月综亚网| 天天摸天天透天天舔| AA丁香综合激情| 六月色婷婷综合影视| 婷婷六月插屄激情| 五月天色五月| 婷婷中文无码| 色香欲综合| 国产av天堂| WWW.桔色成人.COM| 五月婷婷|欧美| 神马欧美精| 婷婷五月天黄色| 婷婷六月久久综合导航| 97丁香五月天| 另类国产欧美视频| 色婷久九| 久久aaa| 亚洲三级无码| 激情综合五月色丁香婷婷| 日韩久久日| 五月天久久综合婷婷| 激情av在线| 伊人干综合| 大香蕉啪啪啪| 丁香六月色| 五月婷婷六月丁香激情深爱| 99熟女| 超碰高清在线| 伊人五月综合网| 色婷婷五月丁香色| 久热视频这里只有精品| 五月天婷婷婷| 天天干天天操天天上| 激情综合五月丁香| 性 色 婷婷| 玖玖热视频| 五月婷婷黄色| 九九99久久| 无码区婷婷五月花开| 亚洲 视频 导航 一区| 色色综合热| 久久99成人性爱高清视频| 丁香五月成人| 九月婷婷丁香| 香蕉久久国产AV一区二区| 99re这里只有精品免费| 成人免费120分钟啪啪| 五五月丁香花激情综合网| 天天 青草 制服丝袜 在线| 丁香 久久| 日韩 中文 欧美| 日本天堂免费99| 2022人人操人人看| 六月丁香中文字幕| 99热日韩| 超碰v| 五月婷婷co.m| 激情五月婷婷老师| 狠狠激情五月天| 激情综合亚洲色婷婷五月| 久久综合综合综合| 五月丁香啪啪综合| se99视频| 国产亚洲色婷婷久久99精品91| 国产精品色婷婷99久久精品| 激情综合4月| 91chinese在线| 五月情综合| 国产免费性爱| 五月花激情| 九九精彩久久| 免费视频99| 国产真人做爰视频免费| 色婷亚洲| 五月天婷婷社区久久综合| 高清无码入口| 淫荡工a| 五月色情婷婷| 亚洲99综合| 狠狠88综合久久久久噜噜噜| chaopeng在线人人| 97人人做| 五月丁香六月婷婷亚洲激情综合| 亚洲在线成人| 天天拍天天操| 九九婷婷网五月天| 国产片天天爽夜夜爽| 在线观看免费视频| 武汉美女啪啪视频免费一级片| 丁香色五月AV在线| 日日夜夜天天| 99热这里只有精品3| 综合色网站| 丁香六月激情| h在线看免费版在线看| 99天堂网| 香蕉色色网| 欧美婷婷丁香五月社区| 欧美3AaAa大片| 久久综合中文字幕| 日韩一区二区A片免费观看| 99A片| 97色婷| 91久久久久| 玖玖综合网| www.伊人天堂偷偷婷婷| 激情综合网址| 丁香五月婷婷综合激情哟哟哟| 五月色色色| 热的无码综合视频| 色综合色综合网| 五月天激情小说欧美激情| 另类激情五月| 五月婷婷69| 夜夜爽天天爽| 九九综合| 99精品偷自拍| 91九九精品| 久久狠婷婷| 色播婷婷大香蕉| 狠狠干综合| 色五月婷婷五月久久| 开心五月深爱五月婷| 丁香六月天色婷婷| 99热无码首页| 开心五月网 | 99热传媒| 色婷婷影| 有码人妻久久| 色XX综合网| www.99热在线观看| 五月婷婷丁香六月| 无语停婷丁香网| 啪啪色区| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 亚洲国产色色| 99热这里只有精| 在线观看亚洲视频影院| 最近韩国日本免费高清观看| AV成人在线网站| 亚洲免费av在线| 99re最新地址视频| 丁香六月婷婷综合在线| 丁香九月综合| 男人先锋久久| 久热人妻| 天天天操天天天日| 337p大胆噜噜噜噜噜91Av| 五月丁香A片| 五月深爱婷婷| 激情小说五月天中文字幕| 五月天婷婷久久| AV成人在线播放| 97热超碰| WWW、日本色丁香、co m| 日本一级淫| 免费观看的av| 免费黄网不卡AV| 日产精品久久久久久久蜜臀| 婷婷五月丁香五月| 亚洲人妻av伦理| 激情AV在线| 五月天国产| 97色色在线视频| 中文国产五月天| 天天操天天谢| 这里只有精品免费视频| 开心激情综合| 99九九视频| 欧美激情综合色综合啪啪五月| 色综合综合色| 涩婷婷五月天| 色色色综合色| 96精品久久久久久久久| 人人草人人视| 日韩狠狠色| 国产成人在线精品| 五月丁香黄色视频| 欧美一级色| 日本久久99| 成人在线日韩| 久久黄色片| 久久色大香蕉| 五月叮香啪| 啪啪操操| 久久伊人大香蕉| 久久机热这里只有精品免费视频| 草美女在线观看视频在线播放| 九九热九九| 丁香五月宝贝激情网| 去干网最新版本亚洲版| 婷婷激情六月天视频| 婷婷五月天日本无码| 日日噜狠狠色| 亚洲精品无码久久| 粉嫩AV久久一区二区三区| 狠狠精品干练久久久无码中文字幕| 艳妇野外情欲放荡HD| 日本综合99| 人妻中文字幕精品| 亚洲日韩国产黑丝黑丝AVAV一区二区三区 | 一区色色色色网| 色视频2025| 思思热在线精品视频网站| 新伍月婷婷| 亚洲成人av在线播放| 久久久久9| AV九九| 久久9精品| 婷婷噜噜| 婷婷色在线视频| 婷婷六月天| 九久久精品视频99| 女婷久久| 婷婷丁香视频在线观看免费 | 亚洲精品国产setv| 久久五月丁香婷婷| 亚洲中文字幕在线观看| 亚洲另类久久| 狠狠色九月| 99人妻碰碰碰久久久久视| 久久99精品久久久久久噜噜| 五月丁香激情婷婷| 五月综合婷婷五月| 激情丁香婷婷| 久草五月丁香婷婷综合| jiqingtaose五月天| 五月婷婷干| 丁香五月成人婷婷| 婷婷五月丁香综合| 26uuu成人网| 激情伊人| 久色资源网| 97久久久久| 久久久婷婷五月天| AV中文在线| 久久五月天激情婷婷| 激情小说婷婷五月| 99热色精品| 光棍影院日韩精品| 五月花婷婷最新| 激情图片婷婷| 人人摸人人干| 99这里只有精品视频在线| 啪啪小说五月天| 国产这里只有精品| 神马欧美精| 五月婷婷干| 97操操| 六月丁香婷婷综合影院| 啪啪五月天啪啪| 久草A片| 香蕉久久五月| 婷婷 激情 五月| 激情综合国产| 久久九九经典| 色色色色色色综合| 99re在线精品视频| 99免费青青蜜臀| 久久这里有精品99| AV性爱在线| 六月久久婷婷| 六九色综合婷婷五月天| 一本色综合色| 狠狠色丁香婷婷基地| 97五月天| 国产成人网站在线观看| 色欲五月婷婷| 96精品久久久久久久久| 99视频| 爱iii做iiii日日| 5月丁香综合网| 99热免费在线| 精品久色| 91超碰在线观看| 亚洲人成网站999久久久综合| 丁香六月高清视频| 极品人妻VIDEOSSS人妻| 五月丁香久久网| 欧美色图天堂网| 五月天婷婷社区久久综合| 色色色色色网站| 五月天婷婷婷| 丁香五月天殴美激情| 九九碰九九爱97超碰| 99久久久| 丁香六月综合激情| 天天色情站| 久久久免费精彩视频| 人妻人人操| 精品成人久久久久久久_一二三四视| 99九无网码| 色色无码| 色综合久久99色| 婷婷五月情| 9热在线视频精品| 天天爱天天做天天操| 97人人操人人操人人操人人| 婷婷五月影院| 99riAv1国产在线观看| 伊人久久大香蕉网| 亚洲啪视频| 五月婷婷大香蕉| 精品成人久久久久久久_一二三四视| 五月激情综合网| 综合网网欲色| 婷婷五月电影| 99精品久久| 亚洲午夜视频| 大香蕉婷婷丁香| 99超在线| av中文在线| 五月丁香婷婷色| 婷婷五月激情欧美| 激情综合啪啪| 99热这里只有精品268| 成人网站在线观看视频| 色狠狠综合| www.粉嫩av.com| 他改变了拜占庭| 婷婷月五天在线在线看| 凹凸探花电影| 狠狠色激情综合| 五月天婷婷色综合| 久操激情| 婷婷综合成人| 久操热线| 99精品在线观看| 日韩黄在免| 日本激情综合| 午夜九九九九九九九九九九九九九| 久久看婷婷| 青草青草久热这里只有精品| 激情综合网婷婷久久| 操逼123网| 色色色色色色色色色色色色色色,网站| 九九色综合视频| 99久久久久久www| 97色婷婷| 9久久狠狠的| 一区=区操屄高清大全av| 殴美日韩成人| www.婷婷六月天| 六月丁香av| 色色色五月婷婷| 欧美性丁香色色五月天综合爱爱| 天天色激情| 永久免费一区二区三区| 九九色综合| 永久天堂日本| 丁香五月婷婷基地| 五月四色婷婷| 色女人久久| 97五月天| 色五月丁香五| 五月婷婷啪啪啪| 五月丁香在线国产| 99热在线观看| 少妇2做爰HD韩国电影| 日本在线wwww| 亚洲成人色五月天| 91无码视频| 深夜婷婷 丁香| 五月丁香激| 性婷婷| 婷婷五月,偷窥偷拍网| 99色热| 97超碰99热99| 99热在线中文字幕| 色射影院| 大香蕉天堂色| 99热这里只有精品在线免费| 九九热最新| 国产精品美女久久久久AV超清| 91操在线观看| 丁香婷婷五色月| 成人亚洲精品| 美女xx不卡| 色欲五月天| www.五月天婷婷| 野战J办公桌椅H| 丁香五月欧美成人| 3p日韩网站视频| 激情丁香社区| 色噜噜五月丁香婷婷| 激情小说五月天中文字幕| 五月丁香花视频| 九九99视频精品| 性婷婷| 五月丁香啪啪| 色私五月婷婷| 狠狠五月天| 1024人妻无码中文字幕| 欧美va精品va老师va| 婷婷色操| 99久久亚洲国产| 丁香五月天BBw| 黄色国久久| 五月丁香六月婷婷,婷| 色婷婷免费视频| 色欧美日| 丁香五月天天高清在线| 熟妇内谢69XXXXXA片| a在线观看| 亚洲不卡欧洲| 亚洲视频国产一区| 五月婷婷|欧美| 色色综合院| 亚洲色无码| 午夜不卡久久精品无码免费| 色99视| 婷婷色婷婷| 97婷婷狠狠久久综合9色| 亚洲欧美国产高清vA在线播放| 国产伦亲子伦亲子视频观看| 激情五月天久久丁香| 天天做天天爱天天爽| 香蕉久久国产AV一区二区| 99色网站| 丁香五月婷婷啪啪啪| 大香蕉伊人99| 另类专区在线观看| 久久久久9| 激情婷婷五月女| 婷婷丁香六月| 婷五月丁香| 91狠狠综合久久| 五月天天天综合| 91一起操| 丁香五月自拍| 国自产拍偷拍精品啪啪一区二区| 久久久久综合激动五月天| 久久99热这里只频精品6学生| 成人做爰A片免费看网站找不到了| 国产免费一区二区在线A片视频| 8区视频在线| 色色色色色色色色网站| 久久99婷婷| 超碰91在线| 丁香色啪综合| 婷婷九月久久| 色九九九九| 97碰碰视频在线观看| 国产精品视频免费看| 色婷婷av在线观看| 天天爽天天| 九九爱看亚洲| 国产精品视频网| 色色色色热| 99自拍视频在线观看| 色婷婷av在线观看| 五月丁香色五月| www.九月婷婷丁香.com| 丁香九月综合激情| 26UUU成人网| chaopengdaxiangjiao| 婷婷激情欧美| 亚洲色激情| 超碰人人91| 五月色亭丁香| 天天综合色99| 丁香婷婷五月| 综合五月天婷婷色| 99福利导航| 激情综合一| 免费播放99性爱视频| 六月色激情| 丰满老熟妇BBBBB搡BBB| 五月天最新网| 亚洲精99| 色青五月天| 国产精品18久久久| 色色色婷婷| 亚洲欧洲自拍图片专区五月天| 国产精产国品一二三在观看| 99免费热视频| 五月丁香黄色| 五月Huangsewang| www.超碰| 婷婷色色婷婷| 激情婷婷人妻| 99男人的天堂| 久久婷婷五月综合色丁香花| 久久婷婷一级片| 色色色色综合网| 99精品九九| 天天射影院| 日本五月视频| 色五月丁香五月激情五月激情| 日韩黄色电影| 亚洲无码影音| 亚洲精品99| 色噜噜狠狠色综无码久久合欧美 | 26uuu亚洲| 日日肏天天操| 精品久久婷婷五月天| 欧美天天搞| 国产99久| 欧美成人精品三区综合A片| 综合XX网| 五月天成人在线播放丁香| 国产乱码久久| 天天开心天天色| 四月婷婷五月丁香| 日本久久九| AA片在线观看视频在线播放| 成人av免费观看| 思思热精品免费视频| 99re这里只有精品99| 99人人操人人操人人精| 大香蕉久久久久久久久| 极品人妻VIDEOSSS人妻| 久久538| 黄色五月婷婷| 丁香六月综合激情| 色色色色色色色色网站| AV79| 青青草视频福利| 亚洲婷婷丁香五月天激情小说| 青青热视频| 91vip在线观看| 色色色五月婷| 97人人操com| 婷婷国产五月天17c| 婷婷久久婷婷色五月| 天天干天天日蜜臀av| 北条麻妃伊人 | 激情欧美婷婷| 日夜操B| 在线中文av| 九色视频91| 国产三级在线播放| 亚洲成人av在线观看 | 婷婷综合色网| 狠狠九九婷婷韩| 97色视频网| 大香蕉Av在线| 精品99视频| 五月综合久久| 日本色狠狠| 久草热在线视频| 亚洲激情综合| 亚洲综合视频网| 五月天婷婷av| 99久久大片| 色噜噜婷婷| 有码人妻久久| 丁香五月五婷| 天天色噜| 在线成人网址| 久久久精品人妻| 国产成人精品123区免费视频| 成人综合网站| 日本三级日本黄色| 青青草原亚洲久| 久久婷婷大香蕉| 日本99视频精品免费播放| 丁香五月中文字幕| 激情丁香婷婷五月天| 99亚洲大片精品永久在线观看| 婷婷99狠狠躁| 99热综合网| 亚洲无AV在线中文字幕| 99精品免费| 久久久91精品| 超碰国产在线观看| 亚洲激情网| 9久国产精品| 五月丁香婷婷综合在线| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 免费黄色视频网址| 激情内射人妻1区2区3区| 在线观看视频1区| 天天综合 99久久婷婷| 日韩久久色| 97碰在线视频| 国产肥白大熟妇BBBB视频| 日韩AV在线影片| 激情五月天天| www.99热在线| 俺也去综合| 激情五月天综合网| 人妻体体内射精一区二区| 成人VAV视频在线观看| 精品思思久久| 79色色色色| 97久久超碰| 久久婷婷五月综合色丁香花| 久久精品五月天| 99这里只有精品国产| 97欧美在线| 97操碰视频| 丁香五月婷婷激情四射深爱激情| 亚洲精品视频电影| 久久婷婷五月综合激情国产| 色婷婷色婷婷五月| 久久99视频| 色婷九九九| 久久狠色噜噜狠狠狠狠97| 狠狠色噜噜狠狠狠狠综合| 日本色婷婷| 九热视频在线伦| 欧美色狠婷久| 天天日夜夜| 久久久久久久久久久久久9| 97丁香婷婷| 五月婷婷开心亚州在线| 激情丁香五月天| 91精品婷婷国产综合| 丁香五月综合在线播放 | www.色9| www.亚洲激情| 国产真实乱对白精彩| 欧美色色色色色| 99综合网| 99精品九九| 色综合区| 这里只有精品久久| 新激情五月天| 99久久a线观| 丁香五月天堂网| 久久久精品AV| 欧美丁香婷婷五月| 天天干,天天日| 91碰| 97色永久免费视频| 欧美在线视频9| 久久AV电影| 丁香花五月天激情| 丁香婷婷性久久| 亚洲第一精品网站| 色五月丁香com| 狠狠做五月婷婷| 思思热这里只有精品| 97碰久久| 成人va在线播放| 日本三级日本黄色| 亚洲五月天狠狠| 欧美大肥婆大肥BBBBB| 天天日天天做天天舔| 思思热在线精品视频| 色情成人五月天| av网站中文| 97啪在线观看视频| 日日夜夜噜噜爽爽| 国产乱子轮XXX农村| 热的国产,热的综合,热的有码| 思思热久久艹| 91性高潮久久久久久久久| 五月天婷婷爱| 日韩成人电影在线播放| XX久久| 国产精品日日躁夜夜躁| 激情五月婷黄版| 九月激情综合| 久99久99精品免| 五月丁香花视频| 影音先锋91| 五月婷婷中文字幕| 五月天啪啪视频| 337p大胆噜噜噜噜噜91Av| 91丨九色丨国产打屁股| 丁香婷婷久久 | 亭亭丁香久久五月| 99在线精品观看99| 色99日韩| 夜夜爱伊人| 99精品在线观看| 色色是色N一| 人人操97| 丁香激情网| 丁香六月激情四射| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 国产日韩精品SUV| 亚洲免费婷婷| 人人草人人舔| av色色国产| 色婷婷五月天在线观看| 思思热久热| 丁香六月激情综合啪啪| 思思热久久婷婷五月天| 密黄站| 99日在线视频| 久久五月婷婷丁香| 色色九九五月天 | 亚洲精品色色| 五月婷婷综合性爱噜噜| 综合九色| 色吊操色妞| 熟妇高潮一区av| 婷婷丁香18| 大香人妻| 日本情色一区二区| 99人人操人人操人人精| 婷婷久久精品| 天天肏天天肏天天肏| 97九色视频| 国产精品视频| 婷婷五月天激情综合| 婷婷丁香五月天哟啪| 丁香无月在线观看| 日本色婷婷久久99精品91| 婷婷五月免费观看| 婷婷五月天伊人网在线观看视频| 白天AV月月| 丁香五月欧美色综合| 婷婷丁香在线播放| 啪啪小说五月天| 久热免费| 丁香五月六月婷婷殴美综合| 四月婷婷丁香五月| 色婷婷AV久久久久久久| 激情五月婷婷五月丁香五月开心五月| 99热无码| 丁香六月激情| 玖玖婷婷五月天| 婷婷五月天av| 99热久久这里只有精品| 婷婷色色宗合网| 五月天婷婷情色| www色色com| 精品国产va久| 天天干夜夜操A片| 五月青青草综合| 婷婷亚洲色| 天天操夜夜操| 99视频在线| www.婷婷com| 五月伊人婷婷999| 97人凄人人操人人爽| 亚洲综合激情五月天婷婷| 婷婷五月丁香激情色情| 五月婷视频| 综合激情五月丁香| 五月婷婷香蕉| av激情在线| 五月天激情综合首页| 激情黄色小说五月天| 久色国产| 婷婷五月综激情| 色狠狠色噜噜AV天堂五区| 97色婷婷| 五月综合丁香婷婷| 思思网站| 五月亚洲| 久久九九热视频| 五婷婷综合网| 五月天婷婷激情在线色图| 亚洲精品色色| 五月天综合影院| 啊v视频在线观看| 丁香五月天91| 中文字幕AV在线| 天天爽人人爽| 天天透天天爱| 久久婷婷热| 性爱五月婷| 在线国产精品色| 亚洲成人在线五月天| 激情久久久| 高清免费在线视频| 丁香六月天AV| www.五月丁香| 六月婷婷之青青草| 色色色综合色| 99操| 69久热| 欧美天天干五月丁香| 女人天堂久久| 久久9热好| 天天色月| 亚洲国产精品VA在线看黑人| 99热网站| 婷婷激情人妻| 狠狠色婷婷丁香六月| 丁香九月综合激情| se婷97| 性 色 婷婷| 久久久久9| 激情性爱婷婷| 成人小说 五月天 婷婷| 五月丁香综合啪啪| 麻豆123区| 激情啪啪五月天| 色色色婷婷| 丁香五月婷综合| 丁香六月天婷婷色| 亚洲综合激情五月久久| 色色色9 9 9| 97超级操操| 激情五月天网页| 五月色综合| 99久久户外勾搭| 天天操夜夜啊| 五月天成人小说| 色欲婷婷五月天丁香| 五月色俺婷婷| av中文在线| 九九热只有这里精品| 五月激情六月丁香| 九九色99| 另类A片| 91seAV| 激情五月天小说视频| 五月天色色网站| 538任你爽| 一区二区成人电影| 婷婷五月综合色拍| 九九99精品视频在线观看| 日韩人妻白浆视频系列| 狠狠搞综合色| 97人妻碰碰中文无码久热丝袜| 97久久久久| 九九热re99re6在线精品| 美女婷婷激情亚洲| 思思热久久久久思思热| 成人做爰A片免费看视频| 婷婷99狠狠躁天天躁| 91婷婷丁香五月| 亭亭色网| 91九色在线视频| 色色色9| www99精品日韩| 色五月天天| 激情小说五月天| 99热香港| 激情深爱五月天| www.婷婷| 天天色视频| 一级片sese片.COM| WWW99热| 99精品久久久久| 久久五月网| 丁香五月影视| 欧美日韩成人一区二区| 日韩在线视频中文字幕| 人人综合久| 9热精品| 操逼巨乳91| 亚洲无码黄色| 99国产精品久久久久久久久久久| 超级碰碰91| 开心五月网| 97操在线视频| 五月丁香亭亭操逼| 欧洲色色| 91精品丝袜久久久久久久久粉嫩| 亚洲操b| 国产无人区大片| 五月天亭亭俺也| 五月天婷婷午夜丁香| 丁香婷婷久久| 天天日日天天| 婷婷五月性感| 这里只精品| 国产精品涩涩涩视频网站 | 色婷婷六月| 婷婷99狠狠躁| 成片免费观看大全| 日本爆乳片手机在线播放| 欧美人久久| 久久精彩视频| 2050人人操免费工开爱| 99热国品| AV性爱在线| www.五月丁香| 婷色五月| 天天cha成人综合网| www.夜夜爱.com| 五月婷婷综合久久| 激情五月份婷婷| 五月激情综合网| 久久婷婷五月天激情唯美| 婷婷综合偷拍| 中文字幕 中文字幕明步| 激情五月六月婷婷综合啪啪| 日日操夜夜操不卡| 五月天天综合| 97亚洲色 torrent magnet| 碰超亚洲| 99热a片免| 热的五码久久精品| 五月丁香综缴情性爱| www.9797国产| 9九热视频| 久青草大香蕉| 色中色综合| 五月花亭亭| 精品牛仔裤超碰|