欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

SpringBoot集成Skywalking:微服務(wù)鏈路跟蹤與無(wú)侵入排查實(shí)戰(zhàn)

SpringBoot集成Skywalking:微服務(wù)鏈路跟蹤與無(wú)侵入排查實(shí)戰(zhàn) 如果你也經(jīng)歷過(guò)微服務(wù)環(huán)境下的深夜排查用戶反饋下單慢你打開(kāi)三臺(tái)服務(wù)器的日志先按時(shí)間戳對(duì)齊再逐個(gè)服務(wù)找堆棧最后還得靠猜“大概是哪個(gè)環(huán)節(jié)”卡住了那這篇關(guān)于SpringBoot集成Skywalking鏈路跟蹤的內(nèi)容就是來(lái)解決這個(gè)問(wèn)題的。這是SpringBoot綜合實(shí)戰(zhàn)系列的第三十二篇。這一篇不寫(xiě)業(yè)務(wù)接口也不講數(shù)據(jù)庫(kù)優(yōu)化而是把一個(gè)日常排查利器裝進(jìn)你的項(xiàng)目里Skywalking。它通過(guò)Java Agent探針實(shí)現(xiàn)無(wú)侵入接入不需要改業(yè)務(wù)代碼、不需要給每個(gè)服務(wù)手動(dòng)加依賴啟動(dòng)參數(shù)里加一行-javaagent你的SpringBoot應(yīng)用就能自動(dòng)上報(bào)調(diào)用鏈路、服務(wù)拓?fù)浜椭虚g件指標(biāo)。我會(huì)從“為什么需要鏈路跟蹤”講起把Skywalking的各個(gè)組件、后端部署步驟、SpringBoot接入方式、自定義埋點(diǎn)和日志關(guān)聯(lián)完整演示一遍最后附帶一個(gè)真實(shí)排查案例和一份踩坑記錄。適合正在做微服務(wù)改造、被“跨服務(wù)問(wèn)題定位難”折磨過(guò)的后端開(kāi)發(fā)者也適合想在項(xiàng)目里搭可觀測(cè)性基礎(chǔ)設(shè)施的技術(shù)同學(xué)。1. 一次“半小時(shí)排查”引發(fā)的思考鏈路跟蹤到底在解決什么1.1 日志碎片化時(shí)代的“拼圖游戲”單體應(yīng)用時(shí)代一次請(qǐng)求的日志都在同一個(gè)進(jìn)程里grep一下就完了。微服務(wù)拆開(kāi)之后一次下單請(qǐng)求可能經(jīng)過(guò)網(wǎng)關(guān)、訂單服務(wù)、庫(kù)存服務(wù)、優(yōu)惠券服務(wù)中間還夾著MQ異步消息。日志散落在不同機(jī)器的不同文件里時(shí)間戳稍微偏移一點(diǎn)你拼出來(lái)的“調(diào)用順序”可能就是錯(cuò)的。我見(jiàn)過(guò)太多團(tuán)隊(duì)在這種場(chǎng)景下的排查姿勢(shì)先在A服務(wù)找到“調(diào)用庫(kù)存服務(wù)超時(shí)”再跑去B服務(wù)翻對(duì)應(yīng)時(shí)間段的日志如果碰巧兩個(gè)服務(wù)都沒(méi)打traceId就要靠請(qǐng)求參數(shù)和時(shí)間窗口去關(guān)聯(lián)。運(yùn)氣好十分鐘運(yùn)氣不好一下午。這種“拼圖游戲”最可怕的地方在于——每次都要從頭拼一遍經(jīng)驗(yàn)根本無(wú)法沉淀。鏈路跟蹤解決的就是這個(gè)核心問(wèn)題把一個(gè)請(qǐng)求經(jīng)過(guò)的所有服務(wù)、所有中間件調(diào)用自動(dòng)串成一條帶唯一ID的調(diào)用鏈告訴你每一跳花了多久、在哪里失敗、失敗原因是什么。它能幫你把排查從“按時(shí)間戳猜”變成“按瀑布圖精確定位”。1.2 誰(shuí)最需要鏈路跟蹤如果你還在做單體應(yīng)用鏈路跟蹤的價(jià)值確實(shí)沒(méi)那么大單進(jìn)程里一臺(tái)Arthas基本夠用。但只要你滿足下面任意一條就應(yīng)該認(rèn)真考慮這件事服務(wù)拆成了三個(gè)以上且存在跨服務(wù)同步調(diào)用Feign、RestTemplate、Dubbo等。線上偶發(fā)慢請(qǐng)求日志里看不到明顯的Exception只能靠“感覺(jué)”判斷是數(shù)據(jù)庫(kù)慢還是外部調(diào)用慢。團(tuán)隊(duì)協(xié)作時(shí)經(jīng)常出現(xiàn)“A服務(wù)說(shuō)是B服務(wù)的鍋B服務(wù)甩給C”的扯皮。想給技術(shù)團(tuán)隊(duì)建立一套統(tǒng)一的、不受業(yè)務(wù)代碼污染的可觀測(cè)性底座。只要命中其中一條鏈路跟蹤就不是錦上添花而是排查效率的剛需。1.3 為什么選Skywalking而不是Zipkin和Jaeger市面上的APM方案不少我周?chē)娜肆牡米疃嗟木褪荶ipkin、Jaeger、Skywalking三家。它們的定位略有差異我整理了一個(gè)對(duì)比供你選型參考維度SkywalkingZipkin/SleuthJaeger接入方式Java Agent無(wú)侵入依賴SDK/注解侵入性強(qiáng)Agent或SDK功能覆蓋拓?fù)?、追蹤、指?biāo)、告警一體以追蹤為主以追蹤為主存儲(chǔ)ES、MySQL、H2等ES、MySQL、CassandraES、Cassandra中文資料活躍踩坑文章多較少一般學(xué)習(xí)成本低基本不用改代碼中要寫(xiě)配置和依賴中個(gè)人感受Spring Cloud Sleuth Zipkin那套勝在和Spring生態(tài)天然融合但每個(gè)服務(wù)都要引入依賴、寫(xiě)配置已有的老項(xiàng)目接入成本偏高。Skywalking最打動(dòng)我的一點(diǎn)是“探針注入”它基于Java Agent機(jī)制在類(lèi)加載階段做字節(jié)碼增強(qiáng)應(yīng)用代碼一行都不用動(dòng)。這個(gè)特性對(duì)老舊項(xiàng)目尤其友好——不用發(fā)版不用等排期改個(gè)JVM啟動(dòng)參數(shù)就能把鏈路數(shù)據(jù)采起來(lái)。2. 別急著寫(xiě)代碼Skywalking的四個(gè)角色先對(duì)齊2.1 Agent探針藏在JVM里的“臥底”Skywalking的Agent是一段獨(dú)立運(yùn)行的Java程序通過(guò)-javaagent參數(shù)掛載到你的SpringBoot進(jìn)程里。掛載之后它會(huì)在類(lèi)加載的時(shí)候?qū)δ繕?biāo)類(lèi)的字節(jié)碼做增強(qiáng)在HTTP入口、Feign調(diào)用、JDBC執(zhí)行等關(guān)鍵位置自動(dòng)織入“埋點(diǎn)邏輯”。拿Tomcat內(nèi)嵌場(chǎng)景舉例SpringBoot啟動(dòng)時(shí)Agent發(fā)現(xiàn)你要加載org.apache.catalina.core.StandardHostValve這類(lèi)Servlet容器類(lèi)就會(huì)在它的invoke方法前后插入耗時(shí)記錄和上下文傳遞邏輯。之后你完全感覺(jué)不到它的存在但它已經(jīng)在默默記錄每一次請(qǐng)求的入口、出口和中間經(jīng)過(guò)的組件。這才是“無(wú)侵入”的真正含義——不是少寫(xiě)幾行代碼而是從機(jī)制上繞開(kāi)了對(duì)業(yè)務(wù)代碼的觸碰。探針底層的字節(jié)碼增強(qiáng)用的是Byte Buddy這是Java生態(tài)里比較成熟的字節(jié)碼操作庫(kù)對(duì)類(lèi)加載器兼容性處理得比較好。2.2 OAP、存儲(chǔ)和UI大腦、記憶與儀表盤(pán)Agent采集到數(shù)據(jù)之后需要有個(gè)地方接收、分析、存儲(chǔ)、展示這就要靠另外三個(gè)組件OAPObservability Analysis Platform接收Agent通過(guò)gRPC上報(bào)的數(shù)據(jù)做指標(biāo)聚合、鏈路關(guān)系分析相當(dāng)于整個(gè)系統(tǒng)的大腦。存儲(chǔ)OAP把處理好的數(shù)據(jù)寫(xiě)入存儲(chǔ)層。默認(rèn)內(nèi)置H2生產(chǎn)環(huán)境一般換成Elasticsearch。Web UI一個(gè)獨(dú)立的前端應(yīng)用負(fù)責(zé)把拓?fù)洹⒆粉?、指?biāo)可視化成儀表盤(pán)。在實(shí)際部署中OAP、存儲(chǔ)、UI這三者可以拆開(kāi)部署在不同機(jī)器上。Agent只跟OAP通信OAP只跟存儲(chǔ)和UI打交道鏈路很清晰。2.3 一次請(qǐng)求在Skywalking里的完整旅程為了讓你對(duì)整體流程有畫(huà)面感我按順序描述一遍用戶請(qǐng)求打到SpringBoot應(yīng)用Agent在入口Span上生成全局鏈路IDTraceId。應(yīng)用內(nèi)部調(diào)用另一個(gè)服務(wù)或訪問(wèn)數(shù)據(jù)庫(kù)時(shí)Agent自動(dòng)創(chuàng)建子Span記錄組件類(lèi)型、目標(biāo)地址、耗時(shí)、狀態(tài)碼。請(qǐng)求結(jié)束后Agent把完整調(diào)用鏈分批通過(guò)gRPC上報(bào)到OAP默認(rèn)端口11800。OAP解析數(shù)據(jù)把鏈路以Span為單位入庫(kù)并計(jì)算服務(wù)間依賴關(guān)系、RT分布、成功率等指標(biāo)。UI通過(guò)OAP的HTTP接口默認(rèn)12800查詢數(shù)據(jù)渲染成你看到的拓?fù)鋱D和追蹤瀑布圖。只要理解了這條數(shù)據(jù)流后面排查“數(shù)據(jù)為什么沒(méi)出來(lái)”“為什么只有一個(gè)服務(wù)有數(shù)據(jù)”就會(huì)順手很多。3. 跑起來(lái)再說(shuō)OAPUI后端部署與存儲(chǔ)切換3.1 下載發(fā)行包并啟動(dòng)默認(rèn)版本后端部署最省心的方式是從Apache Skywalking官網(wǎng)下載二進(jìn)制發(fā)行包里面自帶OAP、UI和Agent三件套目錄結(jié)構(gòu)大概是skywalking/ ├── bin/ # 啟動(dòng)腳本 ├── config/ # OAP配置 ├── oap-libs/ # OAP運(yùn)行依賴 ├── webapp/ # UI前端 └── agent/ # Java探針Linux/Mac啟動(dòng)cd skywalking ./bin/startup.shWindows啟動(dòng)cd skywalking bin\startup.batstartup.sh會(huì)同時(shí)拉起OAP和UI兩個(gè)進(jìn)程。默認(rèn)配置下OAP的gRPC端口是11800HTTP查詢端口是12800UI端口是8080。注意8080很容易被你的業(yè)務(wù)應(yīng)用占用如果啟動(dòng)后發(fā)現(xiàn)UI訪問(wèn)不了先進(jìn)去看日志多半是端口沖突。3.2 驗(yàn)證安裝是否成功啟動(dòng)后訪問(wèn)http://localhost:8080如果能看到Skywalking的儀表盤(pán)首頁(yè)說(shuō)明后端已經(jīng)跑起來(lái)了。沒(méi)有頁(yè)面的話按下面順序排查看logs/skywalking-oap-server.log搜“oap server started”或“started successfully”關(guān)鍵字??磜ebapp/logs目錄下的日志確認(rèn)UI的Tomcat是否正常啟動(dòng)。檢查端口占用lsof -i:8080、lsof -i:11800、lsof -i:12800哪個(gè)被占就改哪個(gè)。這一步只需要“能打開(kāi)頁(yè)面”就行頁(yè)面里暫時(shí)沒(méi)有數(shù)據(jù)是正常的因?yàn)檫€沒(méi)有任何Agent接入。3.3 把存儲(chǔ)從H2切到Elasticsearch默認(rèn)情況OAP使用H2文件數(shù)據(jù)庫(kù)適合本地演示但別用在生產(chǎn)數(shù)據(jù)量大了之后查詢明顯變慢而且H2畢竟不是為海量時(shí)序數(shù)據(jù)設(shè)計(jì)的。生產(chǎn)環(huán)境我建議用Elasticsearch。切存儲(chǔ)的操作在config/application.yml的storage段進(jìn)行。核心就兩個(gè)地方storage: selector: ${SW_STORAGE:elasticsearch} elasticsearch: clusterNodes: ${SW_STORAGE_ES_CLUSTER_NODES:127.0.0.1:9200} namespace: ${SW_NAMESPACE:prod_log_trace}順手給ES加一個(gè)namespace可以避免和其他系統(tǒng)共用ES時(shí)索引沖突Skywalking會(huì)在索引名前面拼上這個(gè)前綴。這里要特別提醒一個(gè)版本問(wèn)題Skywalking和ES的版本是有兼容矩陣的。以Skywalking 9.x為例和ES 7.x搭配最成熟ES 8.x要用對(duì)應(yīng)的新版本支持。別想當(dāng)然地“ES越新越好”我有一個(gè)朋友就是把ES從7升到8之后OAP一直刷索引創(chuàng)建失敗最后查官方文檔才發(fā)現(xiàn)版本沒(méi)對(duì)齊。具體兼容性請(qǐng)以官方文檔的Compatibility列表為準(zhǔn)不要賭。4. SpringBoot接入Agent探針無(wú)侵入的關(guān)鍵一步4.1 命令行與IDEA本地調(diào)試的接入方式后端就緒后SpringBoot這邊要做的唯一操作就是給JVM加啟動(dòng)參數(shù)。先看命令行方式j(luò)ava -javaagent:/opt/skywalking/agent/skywalking-agent.jar \ -Dskywalking.agent.service_nameorder-service \ -Dskywalking.collector.backend_service127.0.0.1:11800 \ -jar order-service.jar如果你在IDEA里做本地聯(lián)調(diào)不用每次敲命令直接在Run/Debug Configurations里找到你的SpringBoot啟動(dòng)類(lèi)在VM options里填入同樣的參數(shù)-javaagent:D:/skywalking/agent/skywalking-agent.jar -Dskywalking.agent.service_nameorder-service -Dskywalking.collector.backend_service127.0.0.1:11800Windows下-javaagent路徑如果有空格整體要加雙引號(hào)。這個(gè)坑很小但等你排查到深夜就會(huì)發(fā)現(xiàn)它有多煩人。參數(shù)說(shuō)明-javaagent指向skywalking-agent.jar的絕對(duì)路徑。-Dskywalking.agent.service_name該服務(wù)在鏈路平臺(tái)里的顯示名。建議和spring.application.name保持一致團(tuán)隊(duì)內(nèi)必須約定統(tǒng)一命名規(guī)范否則UI里會(huì)出現(xiàn)一堆莫名其妙的名字。-Dskywalking.collector.backend_serviceOAP的gRPC地址即11800端口。多OAP節(jié)點(diǎn)用逗號(hào)分隔。4.2 Docker和K8s的接入方式容器化環(huán)境不能手改啟動(dòng)命令最常用的辦法是利用JVM的JAVA_TOOL_OPTIONS環(huán)境變量。Docker啟動(dòng)時(shí)指定docker run -d \ -e JAVA_TOOL_OPTIONS-javaagent:/opt/skywalking/agent/skywalking-agent.jar -Dskywalking.agent.service_nameorder-service -Dskywalking.collector.backend_serviceskywalking-oap:11800 \ -v /opt/skywalking/agent:/opt/skywalking/agent \ order-service:latestK8s的話在Deployment的env里加一條JAVA_TOOL_OPTIONS環(huán)境變量把Agent路徑通過(guò)emptyDir掛載進(jìn)去即可。這樣Pod每次重建時(shí)探針都在同一路徑下配置也統(tǒng)一。4.3 怎么確認(rèn)探針真的生效了接完Agent重啟應(yīng)用后最關(guān)心的第一件事就是“數(shù)據(jù)到底上報(bào)沒(méi)有”。我一般按三步驗(yàn)證看應(yīng)用啟動(dòng)日志Skywalking掛載成功時(shí)會(huì)有Skywalking agent相關(guān)輸出沒(méi)看到就是-javaagent參數(shù)沒(méi)生效??碼gent/logs/skywalking-api.log這個(gè)日志文件記錄了Agent的運(yùn)行狀態(tài)??吹絞RPC連接成功類(lèi)信息說(shuō)明和OAP的網(wǎng)絡(luò)是通的。到UI的“服務(wù)列表”或“拓?fù)鋱D”頁(yè)面選對(duì)應(yīng)服務(wù)名多打幾個(gè)接口等十幾秒再看。第一次注冊(cè)有延遲別急著懷疑配置。如果前兩步都正常但UI里就是沒(méi)數(shù)據(jù)最可能的原因是我在第七節(jié)要講的幾個(gè)坑先繼續(xù)往下看。5. 進(jìn)階玩法自定義埋點(diǎn)、采樣控制與日志TID關(guān)聯(lián)5.1 哪些鏈路信息不用寫(xiě)代碼就能拿到Skywalking的插件體系非常豐富以下場(chǎng)景默認(rèn)就能被自動(dòng)增強(qiáng)HTTP入口SpringMVC / SpringBoot內(nèi)嵌Tomcat / 網(wǎng)關(guān)Spring Cloud Gateway。服務(wù)間調(diào)用Feign、RestTemplate、OkHttp、HttpClient、Dubbo。數(shù)據(jù)訪問(wèn)JDBC、MyBatis、JPASQL語(yǔ)句和綁定參數(shù)都能記錄。緩存與消息Redis、Kafka、RocketMQ、RabbitMQ注意插件版本和中間件版本的對(duì)應(yīng)關(guān)系。這也是我推薦用它兜底的原因團(tuán)隊(duì)里有人忘了打日志、忘了埋點(diǎn)探針也會(huì)默默把數(shù)據(jù)采出來(lái)。尤其在接手一個(gè)沒(méi)做過(guò)可觀測(cè)性建設(shè)的“歷史遺留系統(tǒng)”時(shí)這套自動(dòng)插件機(jī)制能讓你少寫(xiě)幾千行代碼。5.2 用Trace和Tag補(bǔ)上業(yè)務(wù)關(guān)鍵方法自動(dòng)增強(qiáng)覆蓋的是框架層調(diào)用但“優(yōu)惠計(jì)算里的某個(gè)核心算法耗時(shí)高”這類(lèi)問(wèn)題框架插件是看不到的。這時(shí)候就需要在關(guān)鍵業(yè)務(wù)方法上做自定義埋點(diǎn)。pom.xml里引入工具包dependency groupIdorg.apache.skywalking/groupId artifactIdapm-toolkit-trace/artifactId version9.2.0/version /dependency然后在方法上打注解import org.apache.skywalking.apm.toolkit.trace.Trace; import org.apache.skywalking.apm.toolkit.trace.Tag; import org.apache.skywalking.apm.toolkit.trace.Tags; Service public class PriceService { Trace Tags({ Tag(key skuId, value arg[0]), Tag(key skuCount, value arg[1]), Tag(key resultPrice, value returnedObj) }) public BigDecimal calcPrice(String skuId, int count) { // 復(fù)雜的業(yè)務(wù)計(jì)算 return result; } }Trace讓該方法變成一個(gè)獨(dú)立的SpanTag把方法參數(shù)、返回值塞進(jìn)Span標(biāo)簽里。這樣排查時(shí)你能直接看到“這個(gè)sku、這個(gè)數(shù)量下的計(jì)算結(jié)果”而不只是“優(yōu)惠計(jì)算耗時(shí)1秒”。工具包版本盡量和Agent版本保持一致避免出現(xiàn)注解類(lèi)兼容問(wèn)題。5.3 采樣率調(diào)整從“全量”到“夠用”鏈路跟蹤的數(shù)據(jù)量很大一個(gè)高并發(fā)系統(tǒng)如果全量上報(bào)所有請(qǐng)求存儲(chǔ)壓力和OAP壓力會(huì)直線上升。Skywalking的Agent在agent/config/agent.config里提供了采樣相關(guān)配置。老版本里常見(jiàn)的是agent.sample_n_per_3_secs意思是每3秒最多上報(bào)N條請(qǐng)求-1表示全量新版本可能改用sample_rate形式的百分比設(shè)置。具體字段名以你當(dāng)前Agent版本里的注釋為準(zhǔn)思路是一樣的。我個(gè)人建議測(cè)試環(huán)境全量生產(chǎn)環(huán)境先全量跑一周觀察OAP和ES的負(fù)載再把采樣率調(diào)低到能覆蓋峰值流量的水平。采樣率調(diào)低后單條請(qǐng)求的追蹤查詢可能查不到但服務(wù)指標(biāo)的統(tǒng)計(jì)依然準(zhǔn)確不影響告警和整體觀測(cè)。5.4 日志里帶上traceId日志平臺(tái)和鏈路平臺(tái)對(duì)賬鏈路平臺(tái)能看到調(diào)用鏈但如果你不知道這條鏈對(duì)應(yīng)業(yè)務(wù)日志里的哪幾行排查還是割裂的。解決辦法是把TraceId打進(jìn)日志里讓它和普通業(yè)務(wù)日志同屏出現(xiàn)。最通用的做法是用MDC。定義個(gè)過(guò)濾器import org.apache.skywalking.apm.toolkit.trace.TraceContext; import org.slf4j.MDC; public class TraceIdFilter implements Filter { Override public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException { MDC.put(tid, TraceContext.traceId()); try { chain.doFilter(request, response); } finally { MDC.remove(tid); } } }在logback-spring.xml里把tid加到輸出模式中pattern%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level [%X{tid}] %logger{36} - %msg%n/pattern之后日志里每一行都會(huì)帶上類(lèi)似[f68d1d0e3a3344c5a8f0...]的鏈路ID在日志平臺(tái)搜索這個(gè)ID就能看到該鏈路過(guò)經(jīng)的所有日志反過(guò)來(lái)在Skywalking里也能用同樣的ID找到對(duì)應(yīng)的Trace詳情。新版Skywalking也提供了logback官方converter配置方式更簡(jiǎn)潔但包路徑隨版本變化建議直接參考官方文檔。6. 真實(shí)排查實(shí)錄用追蹤視圖定位“下單慢”的根因6.1 現(xiàn)象與初步判斷線上場(chǎng)景大概是這樣的工作日晚上八點(diǎn)左右用戶集中反饋下單接口“轉(zhuǎn)圈很久”平均RT從平時(shí)的500ms飆到3秒以上但接口沒(méi)有大面積報(bào)錯(cuò)只有零星超時(shí)。按照老辦法我第一反應(yīng)是去翻訂單服務(wù)的日志結(jié)果只看到一堆Read timed out根本不知道是下游哪個(gè)服務(wù)慢更不知道是不是所有用戶都受影響。這時(shí)候鏈路平臺(tái)的價(jià)值就顯現(xiàn)出來(lái)了。6.2 拓?fù)鋱D與追蹤頁(yè)的使用打開(kāi)Skywalking的“拓?fù)鋱D”頁(yè)面一眼看到order-service指向coupon-service的連線明顯變粗、顏色變紅說(shuō)明它們之間的調(diào)用流量和錯(cuò)誤率都異常。接著去“追蹤”頁(yè)面按服務(wù)、接口名和時(shí)間范圍過(guò)濾按耗時(shí)降序排列挑一條3.2秒的樣本點(diǎn)進(jìn)去。追蹤瀑布圖把一次請(qǐng)求拆成了清晰的Span列表入口Span/api/order/create總耗時(shí)3.2秒。JDBC Span查訂單表耗時(shí)120ms正常。Feign Span調(diào)用coupon-service耗時(shí)1.5秒狀態(tài)為超時(shí)。coupon-service內(nèi)部Span本身耗時(shí)1.5秒其中“計(jì)算優(yōu)惠”的Span占用1.1秒。Feign重試Span超時(shí)后又重試了一次再次耗時(shí)1.5秒??吹竭@里其實(shí)已經(jīng)很明白了瓶頸不在訂單服務(wù)自己的能力而在優(yōu)惠券服務(wù)的“計(jì)算優(yōu)惠”邏輯。這條鏈路如果沒(méi)有Skywalking你得先懷疑訂單服務(wù)、再懷疑網(wǎng)關(guān)、再懷疑數(shù)據(jù)庫(kù)繞一大圈才能接觸到真相。6.3 根因確認(rèn)與處理方案再點(diǎn)開(kāi)coupon-service的實(shí)例指標(biāo)頁(yè)發(fā)現(xiàn)該實(shí)例在高峰期GC耗時(shí)飆升Young GC頻繁Full GC也有好幾次。配合鏈路里“計(jì)算優(yōu)惠”邏輯的大量CPU計(jì)算和緩存未命中根因就釘死了優(yōu)惠券服務(wù)的JVM堆配置偏小加上優(yōu)惠計(jì)算邏輯里存在一個(gè)不合理的全量遍歷高峰期觸發(fā)了頻繁GC導(dǎo)致Feign響應(yīng)等待時(shí)間超長(zhǎng)同時(shí)又疊加了調(diào)用方的超時(shí)重試下單接口雪上加霜。處理方案分兩步先把coupon-service的堆內(nèi)存調(diào)大、把優(yōu)惠計(jì)算中的全量遍歷改成增量緩存再把Feign的超時(shí)時(shí)間從默認(rèn)值調(diào)成更合理的閾值同時(shí)配置熔斷降級(jí)。上線后再次觀察拓?fù)鋱D紅色連線恢復(fù)正常晚高峰RT回落。這個(gè)案例最有價(jià)值的點(diǎn)在于Skywalking把“偶發(fā)的慢請(qǐng)求”從概率事件變成了可定量分析的數(shù)據(jù)。你不用再靠運(yùn)氣和感覺(jué)鏈路里每一跳的耗時(shí)、每一次重試、每一段GC回溯全部有據(jù)可查。7. 踩坑全記錄從探針不上報(bào)到數(shù)據(jù)錯(cuò)亂的問(wèn)題排查鏈路7.1 探針“靜默失敗”應(yīng)用正常但UI查不到數(shù)據(jù)最詭異的場(chǎng)景是SpringBoot應(yīng)用起來(lái)了日志也顯示Agent掛載成功但UI里就是看不到服務(wù)。按下面的排查順序走基本能定位確認(rèn)-javaagent是否真的生效。有時(shí)候IDEA的VM options寫(xiě)在了錯(cuò)誤的Run Configuration里應(yīng)用正常啟動(dòng)不代表參數(shù)生效。檢查Agent日志agent/logs/skywalking-api.log搜error。常見(jiàn)報(bào)錯(cuò)是Connection refused指向OAP的11800端口不通。這時(shí)候分別telnet測(cè)試11800和12800兩個(gè)端口再檢查防火墻和安全組。查看OAP日志確認(rèn)是否接收到了segment。OAP啟動(dòng)后如果有大量IndexNotFoundException多半是存儲(chǔ)沒(méi)建好或者版本不對(duì)。檢查服務(wù)名是否和已有服務(wù)重復(fù)。如果多個(gè)實(shí)例用了同樣的service_nameSkywalking默認(rèn)會(huì)合并展示初次接入時(shí)容易誤判為“數(shù)據(jù)沒(méi)上報(bào)”。切記Skywalking的Agent默認(rèn)是“靜默失敗”的即使上報(bào)失敗也不影響業(yè)務(wù)進(jìn)程。這既是好事也是壞事排查時(shí)別指望它會(huì)主動(dòng)彈錯(cuò)誤提示。7.2 JDK版本和SpringBoot 3.x的兼容問(wèn)題SpringBoot 3.x強(qiáng)制要求JDK17而JDK9之后Java模塊系統(tǒng)對(duì)字節(jié)碼增強(qiáng)有了更多限制。如果你用老版本Skywalking Agent掛載到Java 17的應(yīng)用里非常容易出現(xiàn)ClassFormatError、UnsupportedClassVersionError或者在啟動(dòng)階段直接報(bào)transform失敗。解決思路不是改代碼而是版本對(duì)齊JDK17/21配SpringBoot 3.x的項(xiàng)目請(qǐng)使用較新的Skywalking發(fā)行版配套Agent版本對(duì)JDK17的支持才完善。如果你只想快速跑通演示也可以先用JDK8 SpringBoot 2.x的組合成功率最高少折騰。7.3 ES版本不匹配導(dǎo)致OAP啟動(dòng)失敗這個(gè)問(wèn)題在前面提過(guò)但值得單獨(dú)列入踩坑清單?,F(xiàn)象是OAP啟動(dòng)后控制臺(tái)不斷刷新類(lèi)似NoNodeAvailableException或index not found的異常ES索引一個(gè)都建不起來(lái)。正確做法是提前查官方兼容矩陣。Skywalking 9.x系列和ES 7.x的搭配經(jīng)歷了大量生產(chǎn)驗(yàn)證最穩(wěn)妥想用ES 8.x的確認(rèn)你的Skywalking版本確實(shí)支持后再動(dòng)手。同時(shí)注意如果ES集群?jiǎn)⒂昧税踩J(rèn)證記得在application.yml里把用戶名密碼也配上不然客戶端會(huì)一直認(rèn)證失敗。7.4 數(shù)據(jù)亂序與鏈路斷半截的隱蔽原因有一種比較隱蔽的坑服務(wù)正常鏈路也有但Span耗時(shí)是負(fù)數(shù)上下游順序顛倒或者一條完整的調(diào)用鏈斷成了兩截。原因多半出在基礎(chǔ)設(shè)施層。最常見(jiàn)的是多實(shí)例部署時(shí)宿主機(jī)時(shí)鐘沒(méi)有同步。Skywalking計(jì)算Span耗時(shí)依賴時(shí)間戳如果A服務(wù)的服務(wù)器比B服務(wù)慢了十幾秒鏈路里就會(huì)出現(xiàn)“下游比上游先結(jié)束”“耗時(shí)是負(fù)數(shù)”的詭異數(shù)據(jù)。解決方法是把NTP時(shí)鐘同步這件事納入服務(wù)器基線配置不然后患無(wú)窮。另一個(gè)原因是跨線程調(diào)用沒(méi)有被正確處理。比如你用Async或自定義線程池發(fā)起了異步任務(wù)老的線程池場(chǎng)景沒(méi)有插件支持鏈路上下文就無(wú)法自動(dòng)傳遞。新版插件對(duì)RocketMQ、Kafka這類(lèi)中間件處理了上下文傳播但對(duì)自研線程池還是要靠TraceCrossThread這類(lèi)工具注解來(lái)手工傳遞。7.5 探針性能損耗從“無(wú)感”到“需要調(diào)優(yōu)”Skywalking官方宣稱(chēng)探針損耗很低實(shí)際用下來(lái)一般場(chǎng)景確實(shí)無(wú)感但不代表完全沒(méi)成本。如果你把所有HTTP參數(shù)、所有SQL都采集下來(lái)在高并發(fā)核心鏈路里RT和CPU都會(huì)有小幅上升。我的經(jīng)驗(yàn)是分三步控制先把采樣率從一個(gè)保守值開(kāi)始調(diào)觀察一周再放寬然后關(guān)掉不需要的插件在agent/config/agent.config里按需啟用最后對(duì)敏感參數(shù)做好脫敏尤其是用戶手機(jī)號(hào)、身份證等信息不要直接打成標(biāo)簽。鏈路觀測(cè)要服務(wù)于排查能力不是把原始數(shù)據(jù)全存下來(lái)才算成功。8. 寫(xiě)在最后我在生產(chǎn)環(huán)境用了半年的幾點(diǎn)體會(huì)接入Skywalking這件事技術(shù)難度比我最初想象的低得多真正難的其實(shí)是讓它持續(xù)產(chǎn)生價(jià)值。初期大家會(huì)覺(jué)得拓?fù)鋱D很酷天天圍觀新鮮感一過(guò)沒(méi)人看面板了鏈路平臺(tái)就被晾在一邊。直到后來(lái)有一次線上故障靠著鏈路數(shù)據(jù)十分鐘就定位到問(wèn)題團(tuán)隊(duì)才明白這個(gè)系統(tǒng)的意義不是“好看”而是把隱形的依賴關(guān)系和使用體驗(yàn)變成可以回溯的數(shù)據(jù)資產(chǎn)。從那之后我們把“關(guān)鍵業(yè)務(wù)方法加Trace”“日志輸出帶TID”寫(xiě)進(jìn)了開(kāi)發(fā)規(guī)范新服務(wù)上線前會(huì)專(zhuān)門(mén)檢查Skywalking里有沒(méi)有這個(gè)服務(wù)的鏈路數(shù)據(jù)。給正準(zhǔn)備接入的朋友三個(gè)務(wù)實(shí)的建議第一服務(wù)命名規(guī)范一定提前定好別讓每個(gè)人自己起名第二先拿一個(gè)不重要的邊緣服務(wù)試水跑通全鏈路后再推廣到核心服務(wù)第三告警規(guī)則要配幾條比如服務(wù)成功率下降、平均RT突增把鏈路指標(biāo)變成主動(dòng)通知而不是被動(dòng)翻查。鏈路跟蹤不是什么高深技術(shù)但它能把團(tuán)隊(duì)從“反復(fù)猜問(wèn)題在哪”的消耗里解脫出來(lái)。希望這篇實(shí)戰(zhàn)記錄能幫你把Skywalking順利跑起來(lái)省下更多本該用來(lái)寫(xiě)業(yè)務(wù)代碼的時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九久久9 9在线观看| 五月婷综合激情| 26uuu国自产精品| 五月丁香综合激情网| 99热在线爱| 天天在线XXX| 国产精品男人AV不卡| 久色网五月| 性按摩玩人妻HD中文字幕| 久久亚洲色导航| 日本三级韩三级99久久| 思思热再线视频| 亚洲精品国产A久久久久久| 99在线免费视| 五月天大香蕉婷| 婷婷五月天堂一本在线| 九九人人精品| 99热这里有精品| 五月婷婷之六月丁香| 国自产拍偷拍精品啪啪一区二区 | 丁香五月婷婷基地| www.色擼擼.com| 99re视频在线精品| 97人妻碰碰中文无码久热丝袜| 久久婷婷网| 五月丁香婷婷色色| 五月丁激情| 亚洲精品一二三| 丁香五月激情无码视频| 涩综合网| 狠狠爱深色婷婷综合| 婷婷五月天亚洲综合| 97操男人的天堂| 色欲一区二区三区精品A片| 亚洲色综久久五月| 伊人无码高清| 99热这里是精品| 操操天堂| 丁香五月综合狠狠| 久久伊人大香蕉| 免费的日逼视频| 丁香五月激动深爱欧美| 亚洲综合视频在线| 色噜综| 69人人操人人爽| 色色99| 婷婷丁香人妻天久久| 中文字幕免费高清电视剧| 狠狠草综合网| 久久激情视频| 色五月婷婷天堂| 色综合综合色| 婷婷五月深深爱| 亚洲精品网址| 丰满少妇乱A片无码| 五月天影院| 激情中文在线| 97日韩无套内| 99视频在线精品| 五月丁香五月激情综合色综合| 激情婷婷。| 亚洲超碰在线| 色五月激情婷婷| 91超碰在线观看| 狠狠干五月| 免费看欧美成人A片无码| 99热 这里只有精品 国产 日韩| 天天干天天av天天射| 五月婷婷深深爱| 亚洲色爽| 午夜丁香| 激情五月色综合网| 婷婷五月综合丁香久久| 任你草| 丁香五月天综合| 国产99久久久国产精品免费看| www.色五月.com| 婷婷五月丁香综合亚洲| 婷婷五月色色| 国产黄色大片| 亚洲愉拍99热成人精品| 色色婷婷丁香| 综合大香蕉| 五月丁香六月婷婷综合伊人| 久鲁鲁色网| 色约约视频一区二区三区四区五区| 99re6久热只有精品6在线直播| 九九精品视频在线观看| 久久久99精品| 六月丁香射婷婷欧美色图片 | 男人的天堂五月丁香| 丁香五月天婷婷久久| 色情五月天。| 精品一区久热| 色偷偷AV亚洲男人的天堂| 婷婷97碰碰| 九九热视频免费| 人人澡天天色天天做| 天久久久久| 中文字幕丰满孑伦无码专区| 九九色影院| 黄色99网| 激情性爱五月天| 六月丁香开心婷婷欧美| 北条麻妃伊人 | 丁香婷婷网| 丁香婷婷色五月天| 淫水导航| 五月丁香激情在线| 噜色精品| 久久久久久久久久久久久久人妻视频| 婷婷六月激情小说网| 黄色一级影片| 亚欧州精品视频| 婷婷五月另类网站| 精品九九久久| 婷五月天| 欧美操综合| 热99色| 99综合视频| 99久久99九九99九九九| 99操视频| 可以免费观看的AV| 狠狠狠狠狠| 射区导航| 99久久婷婷国产综合精品草原| 天天弄天天操| 五月天丁香成人| 婷婷五月天国产在线播放| 激情五月狠狠| 天天玩夜夜操| 婷婷五月天综合久久| jiZZdr| 色色网站在线| 狠狠爱婷婷| 婷婷五月天狠狠色| 色色丁香婷婷| 九九综合久久| 亚洲精品国产熟女久久久| 伊人色综合网| 婷婷五月激情黄色| 玖玖激情网| 婷婷久久图片| 9色视频在线| 国产67194| 91porn一起草| 涩涩五月天综合| 亚洲精品va| 超碰在线91| 黄色99视频| www.yw尤物| 久久免费精品小视频| www.maotanji.com| 99久久丝| 五月丁香激情欧洲啪啪| 久久爱婷婷| 色五月婷婷小说亚洲中文字幕组| 一起草无码| 激情丁香六月| 丁香五月激情综合| 91九色最新视频| 七月丁香五月婷婷在线| 无码动漫av| 亚洲六月色婷婷| 婷婷四色五月| 色播婷婷五月天| 天天肏屄夜夜爽| 欧美久久五月婷婷| 五月天涩涩| 久久激情网| 99操逼视频| 五月丁香久久网| 狠狠五月天婷婷| 热99久久这里只有精品| 天天插天天插| 99无码| 婷婷五月丁香基| 五月天婷婷丁香人人操91| 超碰在线中文字幕| 激情五月无码| 1区2区视频| 青草激情综合| 超碰国产一区| 色色五月丁香| 色婷婷五月天小说| 激情五月小说婷婷| 久久33视频| 91超碰在线播放| 91色婷婷综合久久中文字幕二区| 五月婷婷激清网| 婷婷丁香五月综合网上| 第五色婷婷| 九月丁香久久网| 五月婷婷婷| 精品乱码视频| 99热在线看| 五月丁香久久综合| 欧在线一区| 97操在线视频| 五月激情久久综合网| 五月丁香六月香香蕉| 大地资源色婷婷视频在线| 天天综合色99| 伊人狠狠狠综合| 激情婷婷五月天| 丁香五月天堂网| 热婷婷av| 国产寻花在线| 五月婷婷久久综合| 婷婷色五月天色| 99热99网| 亚洲成人一区| 久久码久久无清| 五月天免费色| 9久久精品| 91人妻九色大屁股| 婷婷六月丁香久| 色欲久久久久久综合网综合网| 99热久| 色综合五月| 丁香五月综合高清在线| 99热在这里只有精品| 99婷婷| 偷拍91九色| 午夜无码精品色综合久久| 99视频九九热| 欧美WW在线网| 九九热最新地址| 久久性爱视频| 亚洲精品无码久久| www.日本91| 日韩在线观看网址| 色爱99| 91免费看片| 伊人天堂婷婷| 婷婷综合六月| 又大又粗九一在线| 丁香婷五月天| 伊人激情| 婷婷激情五月天7| 97色啪| 成人无码髙潮喷水A片| 五夜婷婷| 国产 亚洲 在线| 亚州精品成人片| 99热综合在线观看| 开心五月婷婷在线| 日本色婷婷| 九九青青草成人| www婷婷| 激情98色婷婷五| 天天插天天插天天操| 涩涩五月天| 久久月天堂| 日韩无码人妻一区二区三区综合| 九九热精品在线| 97超碰人人操| 五月天婷婷av| 开心五月婷婷激情| 99久久99久久综合| 99视频自拍| 亚洲av网站在线观看| 大香蕉伊在| 丁香五月婷婷激情中文| 美女久久天堂| 激情欧美丁香五月| 嫩草国产| 婷色五月天| 色色综合激情| 丁香五月婷婷色情综合| 中文字幕av在线| 婷婷内射视频在线| 99热99精品| 五月婷婷丁香婷婷| 九九综合网色全集 | 久久精品视频9| av操逼网| 色久五月天| 色在线免费观看| 伊人深爱综合| 激情久久丁香| 久热久| 久色网| 久操热| 99人妻碰碰碰久久久久禁片| 99久久99九九99九九九| 精品无码人妻一区| 999热这里只有美国精品| 综合激情网| 乱精品一区字幕二区| 99热香港| AV片在线观看| 性综合网| 国产成人网站在线观看| 性爱久久| 五月婷婷激情四月| 中文字幕黄色电影网址| 丁香五月91| 欧美色五月| 激情五月天色色网| 九九热视频免费观看| 伊人爱爱日本| 五月激情小说| 一区二区中文字幕| 五月激情综合婷婷| 色色色综合色| 99热自拍| 精品一区久热| av在线中文| 91操碰| 五月激情另类| 亚洲国产网站| AV电影在线播放| 激情综合4月| 人妻丰满精品一区二区A片| 婷婷丁香激情| 成人av中文字幕| 国产精品色色| 色五月婷婷很很操| 五月婷婷开心深| 久99久视频精品| 噜啊噜在线| 色五月综合在线| 五月丁香六月| 女人被男人吃奶到高潮| www.99热国产| 老师把我爽高潮了免费A片| 日韩人妻无码精品| 久久99久久99精品免观看软件| 在线成人av播放| 91久久久久久| 婷婷五月天BBw| 九色91国产| 最近免费中文字幕大全高清大全1 免费看欧美成人A片无码 | 色三级色三级| 26uuu亚洲欧美日本| www.91久久| 色爆五月| 丁香九月综合激情| 亚洲成人乱码av网站| 久久亚洲天堂| 天天舔天天插天天爱| www,婷婷| 人人干天天舔| 伊人网啪啪| 五月婷婷影院| 婷婷内射视频在线| 狠狠干总合| 9 1 A v久久久| 天天看A片| 婷婷激情五月天小说| 丁香五月欧美激情| 五月婷婷丁香五月| 欧美 日韩 人妻 高清 中文| 2017狠狠干| 99.色| 99精品在线观看视频| 尤物一区二区| 99热这里只有精品免费| 91干在线| 婷婷五月丁香六月综合网| 亚洲人人96@| 激情熟女网| 久久久国产精品黄毛片| 五月丁香综合激情| 99精品在线观看| 能看的AV网站| 久久99热这里只有精品首| 免费AV在线网址| 裸体做A爰片毛片A片免费| 婷婷狠狠97| 激情小说 五月天| 99这里是99在线视频| 激情图片婷婷丁香五月| Y11111111111少妇电影院| www九九热| 久久天天| 欧美黄色AA片哗啦啦啦| 色综合久久久久久久久五月| 婷婷丁香五月精品| 亚洲国产色婷婷| 婷婷中文字幕网| 91大操| 99色热| www.99色| 久久精典| 91干视频| 影音先锋四区| 中文字幕激情综合| 激情综合激情综合| 人人播| 丁香5月婷婷| 亚洲第一色色色色| 2050人人操免费工开爱| 天天色月| 99热在线爱| 成人Av在线大片| 国产特黄色精品一区二区三区精品无广告| ..真实国产乱子伦毛片| 亚洲精品又粗又大又爽A片 | 六月婷婷五月天| 超碰人人91| 天天干,夜夜爽| 玖玖热视频| 91wwmm导航| site:wpjngj.com| 91精品综合久久久久久五月丁香| 99碰碰| 精品99在线看| 激情文学久久| 精品视频这里只有精品| 色八月婷婷| 五月天久久久| 婷婷五月天激情四射五月天激情| 色五月开心婷婷| 激情五月丁香五月| 性韩日色婷婷五月天激情啪啪XXX| 日韩无码乱轮| 久久久精品AV| 国产伦理精品高清在线观看网站一区二区 | 天天综合亚洲综合| 久久人妻高清中文| 婷婷五月天黄色小说| 色噜综| 狠色狠色综合久久| 色五月婷婷综合| 五月婷婷色五月| 色五月激情五月开心五月| 日婷婷久久开心| 丁香五月天之婷婷影院| 欧美日韩成人一区二区| 久久这里有精品| 久/久精品99看9| 99精品无码| 婷婷五月av| 五月天激情小说| 亚洲色无码A片一区二区麻豆| 国精产品一区一区三区免费视频| 在线看AV| 九九热10| 五月综合亚洲| 舔色婷婷| 婷婷五月六月丁香| 成人综合网站| 97超碰色| 91超级碰| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 日韩操逼小电影| 五月丁香啪啪伦理电影| 五月丁香激情婷婷| 爱射综合| 亚洲综合欧美色丁香婷婷888月图片 | 天天爱天天爽| 五月丁香亭亭A片| 天天色99| 久久这里只有精品07 | 热99精品视频| 天天肏夜夜肏| 丰满人妻妇伦又伦精品国产| 五月天丁香欧美激情| 激情五月天福利| 五月婷婷激情久久| 色婷五月丁香久亚洲| 色婷婷社区| 激情五月综合网最新| 中文字幕在线不卡| 亚洲情综合五月天| 久婷久婷| 九色视频这里只有精品| 五月丁香婷婷综合| 亚洲乱码日产精品BD在线观看 | 丁香九月色| AV在线免费播放| 丁香五月综合福利视频导航| 任你操精品免费| 成人看片网站| 99热只有精品在线| 久久这里只有精品5| va亚洲中文在线| 91 九色 熟女| 日噜噜色| 激情婷婷五六月天| 99亚洲精品| 中文字幕日产A片在线看| 久久婷婷的综合色丁香五月| 亚洲激情图文小说| 婷婷丁香五月综合免费视频百花| 亚洲国产精品VA在线看黑人| 插逼综合网| 五月综合婷婷久久在线| 第五色婷婷| WWW.久久99| 久久五月天合网| 99久热这里只有精品| 激情五月综合网| Caop在线| 性99网站| 亭亭玉月丁香| 久热AA| av人人操| 五月天色综合| 国产 亚洲 在线| 五月丁香激情综合六月涩涩爱| 91婷婷色| 无码一级片| 热99热| 亚洲操逼网| 91在线人| 99热这里有精品2| 日韩色色视频| 综合99久久| 色色色免费视频| 丁香五月影院| 色情婷婷。| 日本熟女内射| 亚洲精品又粗又大又爽A片 | 狠狠爱综合网| 成片免费观看视频大全| 天天综合五月天| 狠狠色噜噜狠狠狠777奇米| 亚洲激情无码久久| 丁香五月香蕉| 日本精品99网站| 六月天婷婷| 日本三级日本黄色| 99这里只有精品在线观看| 色噜噜狠狠色综合日日| 最新久久网址| 久综合| 67194中文在线| 激情婷婷综合| 色欧洲| 99热免费精品| 五月天丁香成人| 91九色 熟| 九九热思思热| 国产真实乱对白精彩| 激情综合婷婷五月| 我爱大香蕉| 六月撸婷婷| 久久一热| 五月丁香婷婷色播无码| 天天干狠狠| 丁香五月人妻| 久久婷婷五月综合色天| 亚洲激情.com| 一级黄在线| 日韩六十路91性交电影| 欧美槡BBBB槡BBB少妇| 婷婷五月欧美综合| 婷婷欠久少妇| www.俺去也com| 国产AV国片偷人妻麻豆| renrencaoav| 亚洲无AV在线中文字幕| 亚洲中文无码成人| 成人综合网站| 激情丁香淫荡婷婷| 99国产99| va婷婷| 91大操| 狠狠干综合网| 丁香五月激情综合婷综| 婷婷激情性爱| xxxx久| 色激情综合| 亚洲天堂啪啪| 大香蕉综合| 久久99网站| 色婷婷九月| 5月婷婷综合| 少妇激情五月天| 華人性愛AV在線| 丁香五月激情五月| 久久思思热视频| 久久久噜噜噜www成人| 五月天婷婷久久| 色五婷婷| 九九综合久久| 久久性爰视频这里只有精品| www.五月婷| 91丨九色丨熟女丰满| 久久婷.com| 色色五月婷| 热99这里只有精品视频| 九九www| 丁香五月性| 激情五月黄色小说| 91午夜婷婷狠狠久久综合9色| 九一99| 六月婷欧美| 激情五月天社区| 色情五月天首页| 日本色99网站| 性色婷婷| 大狠狠在线| 婷婷色一二三区波多野结衣| 91超碰人人操| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 伊人婷婷五月| 91色在线 | 日韩| 狠狠搞狠狠操| 九九视频这里只有精彩| 黄色三级日本| 婷婷丁香五月综合网| 久久人妻精品| 都市激情蜜桃婷婷五月天 | 亚洲色色五月| 五月丁香影院| 久久机热/这里只有精品| 婷婷五月天黄色| 国产成人精品一区二三区熟女在线 | 五月丁香啪啪啪免费看| 操b视频在线观看一区二区| 久久久精品AV| 日本在线免费中文com.| 亚洲xx网| 青青久在线视频免费观看| 99精品视频网站| 丁香久久| 中文av在线观看| 激情六月婷婷| 狠狠色噜噜狠狠狠888| 掩去也综合五月视频| 五月天婷婷色综合| 六月色婷婷| 色五月丁香伊人五月| 久操b网| 日韩AV中文字幕在线| 久久婷综合| 久久九九国产精品怡红院| 成人色色综合| 欧美色图天堂网色| 狠狠干最新地址| 丁香婷婷基地| 婷婷基地爱| 第四色色六月色综合| 天天插操| 久色| 亚洲婷婷91丁香| 996热re视频精品视频这里| 99久re热视频精品98| 色婷婷人人| WWW.国产| 中文字幕在线播放视频| 99热这里只有精品2024| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 色吧网综合| 九九热AV| 色域五月婷婷丁香| 婷婷六月丁香欧美视频在线| 五月丁香六月婷婷不卡免费无码| 99网址在线看| 成人短视频免费观看| A片试看120分钟做受图片| 天天日夜夜拍| 爆乳熟妇一区二区三区爆乳照片| 天天摸天天日天天舔| 狠狠做六月爱婷婷综合aⅴ| 五月婷婷婷综合网| 99色免费在线观看| 91久久网站| 无码激情AAAAA片-区区| 99视频精品在线| 日本色色网站| 五月综合激情网| 午夜 外网 精品 在线| 91综合在线视频| 91n网站cad入口在线观看| 日本在线视频播放91| 九九热思思| 色色 9| 黄页大全十八禁| 热的国产,热的综合,热的有码| 婷婷五月香蕉| 五月丁香 啪啪| 激情婷婷丁香色五月| 99青青草99| 亚洲av| 搡BBBB搡BBB搡18| 99熟女| 五月综合视频| 五月天色五月| 久99视频| 另类激情五月在线视频欧美| 五月天激情网址| 99资源在线| 免费看片在线观看| 丁香花婷婷五月天| 九月激情综合婷婷| 激情五月天的婷婷| 九久热| 天天综合色99| 99在线综合视频| 1级欧美日韩| 91色综合网站在线| 琪琪布丁香社区激情五月天| 春色激情| 91久女| 182.t午在线观看| 99re6在线视频精品免费| 极品人妻VIDEOSSS人妻| 夜夜嗨一区二区三区直播内容 | renre人人操国产超碰在线| 激情婷婷人妻| 九玖欧洲亚洲| 国产五月天欧美色| 97色啪| 亚洲最大在线| 色五月丁香五月| 激情五月天色播| 国产精品久久久久久久久久久久| 怡红院AV亚洲一区二区三区H| 欧美成人AAA片一区国产精品| 超碰在线观看三级片| 伊人大香蕉毛片| 丁香av网| 久久九九99.www| 六月丁香婷婷色狠狠久久| 五月丁香琪琪| 五月天社区| 成人视频九九| 美国天天日天天操| 久久这里只有精品热在99| 色六月婷婷| 老司机伊人| 成人免费120分钟啪啪| 五月停视频天堂| 97成人在线视频| 成人网站av免费网站推荐| 九九99九九99| 梁铮版蜘蛛女在线观看| 五月婷导航| www.com五月天| 色五月成人| 在线观看免费视频| 色婷婷四虎| 91婷婷搞| 激情AV网| 五月婷婷色播| 涩涩五月天综合| 五月婷婷九月婷婷九月婷婷| 六月婷婷综合激情| 成人做爰高潮A片免费视频| 人妻Av在线| 久久久91| 狠狠色丁香婷婷综合久久97AV| 激情五月开心五月丁香五月| 婷婷香蕉| 嫩草AV久久伊人妇女超级A| 北条麻妃伊人 | 五月婷中文娱乐综合| 97久人人| 天天综合天天做天天综合| 中文字幕 中文字幕明步| 亚洲中文乱字字幕在线永久| 日本婷婷色| 狠狠综合网| 五月丁香基地| 丁香九月婷| 91丨九色丨首页| 九九九色综合| 色色网站免费观看| 婷婷亚洲综合| 国产又粗又大又爽又黄| 五月丁香婷婷婷激情爱爱| 九九视频这里只有精品在线播放 | 伊人超碰| 色999五月色| 亚洲中字AV电影在线网站| 91岛国片| 能看的AV网站| 婷婷五月天精品| 极品五月天| 69堂午夜视频最新地址| 狠狠爱五月婷婷| yazhoujiqingav| 久久狠狠干| 激情综合亚洲色婷婷五月| 婷婷色五月激情| 色9999综合久久| 色五月综合网| 婷婷丁香五月综合免费视频百花| 97久久超碰| 七七色综合| 十月丁香婷婷| 99久久综合网| 五月综合激情图片| 亚洲爱爱无码婷婷色五月| 亚洲国产成人综合| 日本综合九九| 国产精产国品一二三在观看| 欧美月久久| 色宗合,宗合网| 91色五月| 男人先锋久久| 欧美va亚洲va| 一起草Av| www,超碰| 深情五月天| 色欧美色色色| 色色色色色级无码| 日本99久久| 欧美超级视频97| 色综合网综合| 色999;丁香五月| www.97干视频| 久久偷拍综合五月天| 成人 在线观看国产| 伊人网欧美在线男人天堂五月丁香| 色色热| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 色五月综合在线| 久婷狼色诱惑在线| 襙逼网| 五月天丁香网| 天搞天天天天天| 男女99免费视频| 1024操逼视频| 欧洲第一久色| 久久91久久精品久久| 五月婷婷开心激情六月蜜桃| 色播综合| 五月五婷婷网| 婷婷五月天色色| 亚洲天99| 婷婷丁香六月| 性热视频99精品| 免费亚洲婷婷| 日本熟女啪啪| 亚洲va欧洲va国产va不卡| 97在线观视频免费观看| 婷婷色播六月无码| 中文成人在线| 五月婷婷五月天激情视频| 亚洲天堂久久| 五月天婷婷色色| 综合激情站| 九九热中文| www久久99| 五月婷婷激情综合| AV人人操| 插插插丁香五月婷婷| 影音先锋一区| 丁香婷婷网| 天天狠天天叉| 美女丁香五月天| 婷婷五月精品在线| 国产又爽又猛又粗的视频A片| 婷婷伊人激情婷婷| AV网在线| 天天做天天爱天天爽在| 91打屁股免费看| 日日日影院| 狠狠色综合图片| 五月丁香六月婷婷在线观看| 色婷成人狠干| 综合99视频| 91精品久久久久久| 成人午夜无码视频| 色色网站在线免费观看视频| 色五月情| 99爱免费视频在线观看| 色综合99色| 激情五月婷婷色播网| 91av无码| 成人婷婷| 激情 五月 婷婷 丁香| www.色婷婷.com| 极品 少妇 内射| 岛囯综合激情网| 激情综合五| 东京热伊人| 大香蕉啪啪| 欧美婷| 五月色婷丁香| 色婷婷精品视频| 五月天激情小说| 26uuu成人网| 欧洲激情五月天婷婷| 超碰97在线操| 天天摸天天舔天天天天爽| 色婷婷综合亚洲| www久久久| 久久A V无码视频| 久大香蕉| 亚洲亚洲人成综合网络| 99re热免费观看视频精品| 99手机在线精品视频| 五月天婷婷色| 五月婷婷人妻| 九九五月天| 午夜丁香| 成人狠狠成人狠狠成人狠狠成人狠狠| 久久免费高| 欧美五月婷婷| 五月婷婷黄色| 大香蕉综合视频在线| av中文网站| 丁香五月综合婷婷| www.99热国产| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 99久久综合网| 欧美丁香五月| 国产精品久久久久久久久久| 伊人久久五月天| 婷婷久久久久| 九月丁香很很色| 五月天啪啪视频| 丁香五月激情性色郤| 久热91精品| 蜜乳久AV| 99久热| 日日夜夜狠狠操| 婷婷丁香六月五月天| www狠狠爱com| 成人看片网站| 五月婷婷激情中文字幕| 婷婷综合五月激情| 在线你懂的亚洲欧| 色99综合色88| 激情综合五月| 六月婷婷狠狠色在线观看| 在线看黄色| 97干干干丁香| 99热啪啪| 精品,99| 99热在线爱| 丁香五月婷婷婷桃花影院| 亚洲中文字幕在线观看| 97色在线观看视频| 欧洲综合色| 99久热这里只有精品视频删减版| 99在线爽| 一级片操逼视频| 夜夜操天天干| 五月天久久综合婷婷丁香| 影音先锋按摩| 五月停停色| 日本44久久在线| a网站免费观看| 六月丁香啪啪啪| 色色色色色色色色网站| 五月六月丁香婷婷在线观看| 黄色成人网站在线播放| 新男人天堂人妻| 成人亚洲精品久久久久| 丁香五月婷婷视频| 五月丁香黄色| 婷婷五月天va| 丁香六月色婷婷| 丁香六月青青草| 日产精品久久久久久久蜜臀| 99啪啪视频| 另类激情首页| 婷婷综合六月| 丁香六月色情| 超碰狠狠操| 天天日夜夜欢| 香蕉乱插| 草榴视频黄色网| 变态 另类 在线 | 成人久久天天x资源站| 亚洲成人影视在线观看| 久久婷婷人人| 五月天久久激情| 中文字幕人妻一区二区| 婷婷激情图片| 久操大香蕉| 丁香五月手机在线| 激情五月天com| 天天摸色吧天天摸色吧| 亚洲色综久久五月| 婷婷丁香六月影视| 九九热这里精品| 91九色网| 玖玖午夜视频| 五月天婷综合| 91岛国片| 五月天大香蕉av| 91黄址| 天天干天天操天天拍| 婷婷色五月综合| 五月丁香激情婷婷综合| 五月天激情综合10p| ,99视频久久| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 日韩精品无码一区二区| 国产亚洲精品AAAAAAA片| 女人高潮内射99精品| 免费无码毛片一区二区A片| 五月天婷婷小说| 国产精品美女久久久久AV超清| 激情综合网激情五月天| 一区二区中文字幕| 色5在线| 色婷婷精品小视频| 色婷綜合网| 青青草日本亚洲| 久久99热精品a片在线观看| 96五月丁香熟女| 久久久精品色色色| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 婷婷色日本| 精品三区影院| jiZZdr| 泰州成人视频| 外国碰视频网站97| 精品五月天| 丰满老熟妇BBBBB搡BBB| 色五月婷婷777| WWW色色色COM| 久9视频免费播放| 人人摸人人操人人爽| 久99视频| 翔田千里aV中文字幕| 激情综合色婷婷啪啪六月天| 色色射| 久久色天堂| 天天日天天舔| 中文字幕成人网站| 丁香六月婷婷社区| 丁香五月区| 日韩黄黄| 天天天摸夜夜夜玩| 色播五月网| 日本啪啪网| 欧美交换配乱吟粗大25P| 五月天婷婷无码| 久久久久99精品成人网站| 九九碰九九爱97| 五月丁香婷色| 这里只有精品1| 色情五月丁香| 国产人妻777人伦精品HD| 99亚洲精品综合在线| 日韩黄色网络| 美臀自射自家人妻| 精品久久66| 亚洲成人AV在线播放| 久久99久久99精品免观看粉| 久操大香蕉| 综合久久高清| 五月天激情站| 99亚洲无码| 色五月91| 中文字幕日产A片在线看| 婷色视频| 国产xxxxx在线观看| 人人干AV| 亚洲综合网 665566| 99激情| 最新日韩久热免费视频看看| 青青热视频| 五月婷在线视频免费看| 天天插天天爱| 日本成人内射| 91婷婷在线| 五月丁香久久久| 色婷婷综合网站| 天天日天天操心| 狠狠九九婷婷韩| 五月天激情小说电影| 亚洲成人五月天| 激情丁香五月| www,超碰| 五月天婷婷色播| 五月丁香啪啪啪综合网| 蜜臀久久99精品久久久久久酒店| 成人网在线视频| 五月婷婷co.m| 久久久五月天| 九九Y精品热播| 一起草无码视频| 六月婷婷综合| 亚洲天堂婷婷丁香| 久久性视频| 深情五月天| 99色视频| 欧美、日韩、中文、制服、人妻| 欧美va国产va| 伊人网大香| 91re色综合视频| 天天舔夜夜操www com| 99热色精品| 99热网精品| 美日韩成人| 色噜噜五月天| 男人大jjc女人免费视频| 婷婷五月天激情小说| 国产精品日韩十五区| 国精产品一区一区三区免费视频| 99黄色在线视频精品熟女| 天天操综合网站| 五月婷婷狠狠干| 色吊丝99| 26uuu国产精品| 99热这里只有精品2| www.com亚洲网站在线免费| sS丁香五月婷婷| 大香蕉久久婷婷精品综合| 色五月激情问网站| 日韩一66精品| 激情综合网五月婷婷| 亚洲国产另类av| 日韩欧美成人网| site:jszngf.com| 五月丁香色婷婷久久| 成人性生活免费观看。| se色99| 九月色婷婷综合| AV片一区在线观看| 免费成人va| 久久婷色| 啪啪激情综合| 五月天婷婷7米| 666555。COm毛片| 婷婷欧美偷拍综合| 中文AV网站| 久9视频| 久久亚洲天堂| 日本少妇AA一级特黄大片| 亚洲99在线| 亚洲AV在线免费看| 久久五月天激情视频| 婷婷久久综合| 激情五月综合| 五月婷婷六月天| 91久久精品无码一区二区三区| 丁香六月婷婷五月婷婷| 婷婷在线五月综合| 欧美综合激情五月| 九月色婷婷| 色之综合网| 久青草影院| 丁香婷婷人妻| 五月丁香色综合| www久久五月com| 婷婷激情六月| 亚洲va日| 超碰精品在线| 涩涩涩,com| 九九热视频在线观看| 激情婷婷内射| 久9热| 91婷婷丁香五月天免费视频网站| 日韩黄黄| 国产人妻操逼| 啪啪一区| 伊人五月天日日夜夜久久久天天| 婷婷丁香人妻天天爽| 97久久超碰| 亚州操人在线视频| 久久婷婷五月国产色综合激情| 久久五月婷| 久久久精品99亚洲综合| 日韩操人| 婷婷五月天激情在线观看 | 狠狠色噜噜狠狠狠狠综合| 人人操人人操919999| 五月婷色色| 五月丁香色色综合| 亚洲综合激情五月久久| 五月五婷婷网| 国产成人精品一区二三区熟女在线 | www.色五月| 色色色色色色色色色色色色色97| 色丁香五月| 操日视频| 久久九色| 激情综合网婷婷久久| 婷婷色色网站| 在线综合网| 国产精品视频免费看| 婷婷丁香六月| 婷婷久久国产视频| 日曰躁夜夜躁2026| 五月丁香色六月激情干大屄| 日本专区久久| 色综合区| 第四色色六月色综合| 亚洲欧洲中文日韩久久AV乱码| 色色丁香激情五月| 亚洲成人av在线播放| 色九月婷婷综合| 婷婷基地成人五月天| 久久久久久久人妻| 99热只有精品在线观看| 狠狠综合久久综合| 五月婷婷草| 91操碰| 99ree6| 性爱视频99| 夜夜资源站| 天天色粽合合合合合合合| 五月天免费色| www.玖玖婷婷在线| 日韩AV大全| 婷婷丁香五月视频| 色婷婷AV久久| 日韩欧美一级大黄网站| 久久伊人大香蕉| 综合久久狠狠| 伊人久久大香线蕉av最新| 人妻激情在线| 久久九九网| 久色国产| 久久婷婷综合基地| 97干干干丁香| 五月婷婷五月天| 激情五月天色| 亚洲区1| 久久婷婷伊人| 丁香婷婷六月在线资源观看| 大香蕉五月婷婷| 最近中文字幕大全免费版在线 | 久久视频这里有精品99| www.xtbsty.cn.com蜜乳AV| 波多野结衣不卡AV| 五月婷婷偷拍| 丁香六月毛片| 色婷婷综合综合网| 日本三级成人秘书精品片| 久久99久久99精品免观看粉嫩| 久久机热这里只有精品免费视频| 熟妇内谢69XXXXXA片| 狠狠五月天| 色婷婷成人| 激情五月九九九| 天天干天天干天天| 天天插插天天| 婷婷六月激情小说网| 超碰免费人| 久99热在线观看| 日本a片网址| 天色色综合网| a网站免费观看| 五月婷视频| 人妻五月天激情开心网| 夜夜爱影院| av在线婷婷| 久久五月综合| 激情欧美丁香五月| 激情丁香五月婷| 精品爆操| 成人久碰| 丁香六月激情综合| www.色九月| 五月婷婷精品视频| 97久久人人| 中文av在线观看| 五月天婷婷基地| 日本精品99网站| 天天草天天摸| 欧美综合婷婷欧美综| 97色啪| www色哟哟| 热久久这里只有精品| 色婷婷小说网| www国产亚洲色婷婷com| 五月丁香六月婷| xxxx五月天色色| 九色综合网| 婷婷五月花| 午夜爱爱网站| 婷婷亚洲欧美丁香五月|