欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

專有云CSB運(yùn)維指南:從架構(gòu)巡檢到故障排查的完整實(shí)踐

專有云CSB運(yùn)維指南:從架構(gòu)巡檢到故障排查的完整實(shí)踐 簡(jiǎn)介阿里云專有云企業(yè)版V3.7.1云服務(wù)總線CSB運(yùn)維指南是一份面向云平臺(tái)運(yùn)維工程師及架構(gòu)師的官方技術(shù)文檔用于指導(dǎo)CSB組件的安裝部署、配置維護(hù)與日常監(jiān)控。資源為單個(gè)PDF文件大小約986KB內(nèi)容結(jié)構(gòu)完整依次涵蓋法律聲明、通用約定、運(yùn)維概述、系統(tǒng)架構(gòu)、安裝部署、配置管理、監(jiān)控管理及故障排查等模塊適合作為運(yùn)維人員的案頭參考手冊(cè)。已有281人學(xué)習(xí)下載說(shuō)明該版本資料在CSB運(yùn)維場(chǎng)景中具有一定參考價(jià)值。閱讀者可從中獲取CSB系統(tǒng)組件與部署架構(gòu)說(shuō)明、詳細(xì)安裝步驟、配置文件管理方法、監(jiān)控項(xiàng)與操作指引以及常見(jiàn)問(wèn)題解決思路可幫助快速上手CSB的基礎(chǔ)運(yùn)維工作并降低誤操作風(fēng)險(xiǎn)。1. 專有云 CSB 運(yùn)維指南這份 V3.7.1 文檔為什么值得先讀為敬阿里云專有云企業(yè)版云服務(wù)總線 CSB 運(yùn)維指南 V3.7.1我拆完第一反應(yīng)是終于有份把 CSB 從黑匣子變成可巡檢、可排障、可配置系統(tǒng)的材料了。CSB 在專有云里承擔(dān)的是服務(wù)接入與開(kāi)放控制Broker、Console、Admin、Cache、Store 加上 TLog、DAuth、HBase、JStorm 這些公共組件任何一個(gè)環(huán)節(jié)出問(wèn)題線上 API 調(diào)用都會(huì)直接受影響。這份文檔適合兩類人一是剛接手專有云 CSB 的駐場(chǎng)運(yùn)維需要弄懂組件架構(gòu)和巡檢流程二是要處理服務(wù)連續(xù)性故障的 SRE需要照著排障思路快速定位。內(nèi)容覆蓋系統(tǒng)架構(gòu)、高危操作、巡檢、故障處理、配置參考和 DAuth 接入屬于少見(jiàn)的把運(yùn)維全流程講完整的材料。下面我按實(shí)際運(yùn)維順序把每個(gè)模塊的要點(diǎn)和踩坑點(diǎn)拆開(kāi)說(shuō)。2. 先吃透架構(gòu)再動(dòng)手組件職責(zé)、端口映射與高危操作分級(jí)2.1 組件分組與職責(zé)服務(wù)總線、管控中心、公共基礎(chǔ)組件CSB 從邏輯上分為服務(wù)總線系統(tǒng)、管控系統(tǒng)和運(yùn)維監(jiān)控系統(tǒng)但落到運(yùn)維層面真正需要盯的是表格里這些組件。文檔里把組件分成三組每組職責(zé)差異很大巡檢和排障時(shí)先判斷問(wèn)題出在哪個(gè)分組能少走一半彎路。組件分組組件職責(zé)說(shuō)明部署形態(tài)CSB 服務(wù)總線CSB Broker負(fù)責(zé)服務(wù)接入與開(kāi)放控制處理認(rèn)證鑒權(quán)、協(xié)議轉(zhuǎn)換、流量控制雙節(jié)點(diǎn)集群可橫向擴(kuò)展CSB 服務(wù)總線CSB Console服務(wù)、用戶、系統(tǒng)的維護(hù)管理控制臺(tái)雙節(jié)點(diǎn)CSB 服務(wù)總線CSB Admin支持控制臺(tái)并向服務(wù)實(shí)例提供管控服務(wù)雙節(jié)點(diǎn)CSB 管控中心CSB Cache服務(wù)定義、授權(quán)、系統(tǒng)配置、消費(fèi)狀態(tài)的高速緩存Redis 集群雙節(jié)點(diǎn)CSB 管控中心CSB Store保存實(shí)例、服務(wù)元數(shù)據(jù)、用戶和訂購(gòu)信息MySQL 集群雙節(jié)點(diǎn)公共基礎(chǔ)組件DAuth用戶賬號(hào)系統(tǒng)接入和服務(wù)訪問(wèn)的認(rèn)證、授權(quán)、鑒權(quán)集群部署公共基礎(chǔ)組件TLog服務(wù)日志采集統(tǒng)一配置和管控集群部署公共基礎(chǔ)組件HBase海量服務(wù)數(shù)據(jù)分布式存儲(chǔ)集群部署公共基礎(chǔ)組件JStorm服務(wù)、數(shù)據(jù)的實(shí)時(shí)計(jì)算集群部署公共基礎(chǔ)組件Butler系統(tǒng)監(jiān)控報(bào)警能力集群部署拆這份文檔時(shí)我特別注意了 Cache 和 Store 的說(shuō)明CSB Cache 實(shí)質(zhì)是 Redis 集群CSB Store 實(shí)質(zhì)是 MySQL 集群。這對(duì)運(yùn)維是很有用的信息意味著排查緩存不一致或元數(shù)據(jù)異常時(shí)可以直接套用 Redis 和 MySQL 的排查經(jīng)驗(yàn)而不是把它當(dāng)成一個(gè)完全陌生的黑盒組件。Broker 是服務(wù)鏈路里最核心的節(jié)點(diǎn)所有 API 請(qǐng)求都經(jīng)過(guò)它做協(xié)議轉(zhuǎn)換和鑒權(quán)Broker 出問(wèn)題影響的是全量調(diào)用。Console 和 Admin 更像是管理面Console 掛了影響控制臺(tái)操作但不影響已經(jīng)發(fā)布的服務(wù)正常運(yùn)行。公共組件里 DAuth 是鑒權(quán)鏈路的關(guān)鍵DAuth 不可用時(shí)即使 Broker 本身是健康的新請(qǐng)求也會(huì)因?yàn)闊o(wú)法完成鑒權(quán)而失敗這一點(diǎn)在排障時(shí)容易被誤判成 Broker 故障。2.2 部署架構(gòu)與端口映射雙節(jié)點(diǎn)、負(fù)載均衡和八類端口CSB 整體是雙節(jié)點(diǎn)部署B(yǎng)roker、Console、Admin、Cache、Store 都是成對(duì)存在Broker 對(duì)外接負(fù)載均衡文檔里明確說(shuō)負(fù)載均衡由客戶提供可以是 F5 或 SLB。雙節(jié)點(diǎn)架構(gòu)意味著巡檢時(shí)要兩個(gè)節(jié)點(diǎn)都看不能只看一臺(tái)機(jī)器健康就判定服務(wù)正常節(jié)點(diǎn)間的網(wǎng)絡(luò)隔離或時(shí)鐘不一致也會(huì)引發(fā)級(jí)聯(lián)調(diào)用問(wèn)題這是專有云環(huán)境里常見(jiàn)的隱性故障源。端口是巡檢和排障的入口文檔里給出的端口說(shuō)明我整理成了表格。注意新版和老版 Broker 的端口有差異檢查監(jiān)聽(tīng)狀態(tài)前先確認(rèn)當(dāng)前環(huán)境用的是哪個(gè)版本。端口協(xié)議/用途備注8081CSB 互通內(nèi)部協(xié)議端口新版統(tǒng)一級(jí)聯(lián)8086HTTP 開(kāi)放端口新版 Broker8087HTTP/HTTPS 開(kāi)放端口老版兼容8082CSB 互通內(nèi)部協(xié)議端口老版級(jí)聯(lián)9081Web Service 開(kāi)放端口所有版本12205HSF 開(kāi)放端口新版12206HSF 開(kāi)放端口老版8080管控中心 Tomcat 端口Console這里面最容易踩坑的是 8081 和 8082 的區(qū)分。文檔里寫(xiě)得很清楚8081 是新版統(tǒng)一級(jí)聯(lián)端口8082 是老版級(jí)聯(lián)端口如果環(huán)境升級(jí)過(guò)但巡檢腳本里還在盯舊端口會(huì)出現(xiàn)端口未監(jiān)聽(tīng)的誤報(bào)嚴(yán)重的時(shí)候會(huì)把健康節(jié)點(diǎn)誤判成故障節(jié)點(diǎn)觸發(fā)告警。我拆到這一節(jié)時(shí)特意把端口表和組件表放一起看目的是提醒自己排障第一步永遠(yuǎn)是確認(rèn)當(dāng)前環(huán)境的版本和對(duì)應(yīng)端口而不是憑記憶去 grep。2.3 高危操作分級(jí)G1、G2、G3 的審批邊界文檔里有一個(gè)容易跳過(guò)的章節(jié)——高危操作但它可能是整份文檔里最能避免翻車(chē)的部分。CSB 把運(yùn)維操作分成三個(gè)級(jí)別核心區(qū)別在于要不要做變更申請(qǐng)以及操作會(huì)不會(huì)影響業(yè)務(wù)。G1 是 L1/L2 人員按文檔執(zhí)行完全安全的操作不需要變更申請(qǐng)不影響業(yè)務(wù)。G2 需要駐場(chǎng)人員做變更申請(qǐng)并向產(chǎn)品側(cè)咨詢確認(rèn)操作本身不影響業(yè)務(wù)。G3 需要向產(chǎn)品側(cè)和客戶側(cè)雙方確認(rèn)操作有可能影響業(yè)務(wù)。文檔里有一句關(guān)鍵表述涉及服務(wù)連續(xù)性故障的操作均屬于高危操作需要按照 G3 處理。這句話的實(shí)際含義是重啟 Broker、切換節(jié)點(diǎn)、改數(shù)據(jù)庫(kù)密碼這類操作即使你有把握也必須走 G3 流程而不是自己評(píng)估風(fēng)險(xiǎn)后直接執(zhí)行。我之前遇到過(guò)一次線上事故操作人覺(jué)得只是重啟一下 Broker 雙節(jié)點(diǎn)中的一個(gè)問(wèn)題不大結(jié)果重啟過(guò)程中另一個(gè)節(jié)點(diǎn)因負(fù)載過(guò)高也掛了服務(wù)連續(xù)性直接受損。后來(lái)復(fù)盤(pán)時(shí)對(duì)照文檔才發(fā)現(xiàn)這種操作從一開(kāi)始就應(yīng)該按 G3 處理提前做好變更申請(qǐng)和客戶確認(rèn)而不是讓現(xiàn)場(chǎng)人員自行判斷。注意G1/G2/G3 不是能力等級(jí)而是操作的風(fēng)險(xiǎn)等級(jí)。判斷標(biāo)準(zhǔn)不是「我會(huì)不會(huì)操作」而是「這個(gè)操作影響不影響業(yè)務(wù)」。3. 例行巡檢兩條線Butler 自動(dòng)巡檢與命令巡檢清單3.1 Butler 巡檢HTTP、TCP、PING、DB 四類規(guī)則CSB 的巡檢由兩部分組成Butler 巡檢和命令巡檢。Butler 是部署上完全獨(dú)立的監(jiān)控組件提供 HTTP、TCP、PING、DB 四種巡檢類型。文檔里特別說(shuō)明了一個(gè)細(xì)節(jié)csb broker 和 csb console 服務(wù)發(fā)布時(shí)會(huì)自動(dòng)配置 Butler 巡檢規(guī)則也就是說(shuō)正常交付后這類規(guī)則是自帶好的不需要手動(dòng)創(chuàng)建。手動(dòng)創(chuàng)建巡檢規(guī)則的流程分三步登錄 Butler 控制臺(tái)進(jìn)入系統(tǒng)管理下的巡檢管理創(chuàng)建巡檢配置。配置對(duì)象時(shí)先選租戶、產(chǎn)品、服務(wù)、組件和 IPIP 有兩種選法選全部機(jī)器則無(wú)需設(shè)置 IP選部分機(jī)器則從容器 IP 列表里勾選。配置巡檢方案時(shí)關(guān)鍵參數(shù)如下參數(shù)是否高級(jí)含義規(guī)則名稱否巡檢規(guī)則名字建議簡(jiǎn)明易懂HTTP 端口否要撥測(cè)的端口HTTP URI否撥測(cè)的 URIIP 已選過(guò)這里只填 URI檢測(cè)周期否5、10、15、30、60 分鐘可選出錯(cuò)描述否告警內(nèi)容可通過(guò) ${url} 獲取完整撥測(cè) URL狀態(tài)碼檢測(cè)否多條匹配規(guī)則從上到下順序匹配任一命中即告警HTTP 請(qǐng)求類型是GET/POST/HEAD/DELETE默認(rèn) GET撥測(cè)范圍是單節(jié)點(diǎn)或多節(jié)點(diǎn)默認(rèn)單節(jié)點(diǎn)讀超時(shí)時(shí)間是從建立連接到讀取第一個(gè)字節(jié)的超時(shí)單位 ms連接超時(shí)時(shí)間是從發(fā)起請(qǐng)求到建立連接的超時(shí)單位 msAccessKey/SecretKey是發(fā)起阿里云簽名時(shí)的密鑰多節(jié)點(diǎn)撥測(cè)有一個(gè)容易誤用的點(diǎn)單節(jié)點(diǎn)撥測(cè)各個(gè)對(duì)象結(jié)果互相獨(dú)立多節(jié)點(diǎn)撥測(cè)會(huì)把多個(gè)對(duì)象結(jié)果做比對(duì)返回不同就判定異常。這在業(yè)務(wù)后端存在灰度或 A/B 發(fā)布時(shí)很危險(xiǎn)不同節(jié)點(diǎn)返回不同內(nèi)容會(huì)被誤判成故障。我的習(xí)慣是后端接口存在版本差異的巡檢規(guī)則一律用單節(jié)點(diǎn)撥測(cè)。創(chuàng)建完成后有立即撥測(cè)功能剛建好規(guī)則時(shí)先手動(dòng)觸發(fā)一次驗(yàn)證規(guī)則有效性確認(rèn)返回結(jié)果符合預(yù)期再交給調(diào)度。編輯和刪除規(guī)則都會(huì)同步影響調(diào)度管理里的調(diào)度規(guī)則刪除巡檢配置前注意看是否還有引用。3.2 命令巡檢進(jìn)程、端口、磁盤(pán)與地址服務(wù)器Butler 巡檢覆蓋的是撥測(cè)層面的健康檢查命令巡檢則是登錄機(jī)器后的主動(dòng)檢查。文檔給出的命令巡檢路徑很清晰按服務(wù)總線、管控中心、公共基礎(chǔ)組件、安全維護(hù)和端口健康檢查五個(gè)維度展開(kāi)。服務(wù)總線巡檢是最核心的部分Broker 是 Java 進(jìn)程檢查順序是進(jìn)程、端口、日志、磁盤(pán)、地址服務(wù)器。# 檢查 CSB Broker 的 Java 進(jìn)程是否存在 ps -ef | grep java | grep cloud-gateway # 檢查服務(wù)端口是否正常監(jiān)聽(tīng)按實(shí)際版本選擇端口 netstat -ano | grep 8086 netstat -ano | grep 8081 # 檢查日志目錄磁盤(pán)占用防止日志寫(xiě)滿磁盤(pán) df -lh /home/admin/cloud-gateway/logs # 檢查軟負(fù)載地址服務(wù)器連通性 ping jmenv.tbsite.net第一條命令用 grep 過(guò)濾的是 cloud-gateway 關(guān)鍵字因?yàn)?Broker 進(jìn)程雖然是 Java 進(jìn)程但直接 grep java 會(huì)匹配到很多無(wú)關(guān)進(jìn)程加上 cloud-gateway 后能精確到 CSB 相關(guān)進(jìn)程。第二條命令的端口要對(duì)照當(dāng)前版本選新版盯 8086 和 8081老版盯 8087 和 8082端口弄混是命令巡檢最常見(jiàn)的誤判來(lái)源。日志默認(rèn)路徑是 /home/admin/cloud-gateway/log/aosp.log磁盤(pán)檢查要單獨(dú)看日志目錄的掛載盤(pán)因?yàn)槿罩颈P(pán)和數(shù)據(jù)盤(pán)經(jīng)常分開(kāi)只看 df -lh 總覽可能發(fā)現(xiàn)不了問(wèn)題。地址服務(wù)器檢查容易被忽略文檔里給出的 ping 目標(biāo)是 jmenv.tbsite.net。這個(gè)域名對(duì)應(yīng)的是軟負(fù)載地址服務(wù)器 Address ServerBroker 啟動(dòng)和運(yùn)行期間依賴它做服務(wù)發(fā)現(xiàn)這個(gè)地址 ping 不通服務(wù)注冊(cè)和發(fā)現(xiàn)都會(huì)出問(wèn)題。公共基礎(chǔ)組件的命令巡檢主要是確認(rèn) TLog、DAuth、HBase、JStorm 的進(jìn)程和服務(wù)狀態(tài)。3.3 巡檢踩坑滾動(dòng)日志、端口兼容和巡檢規(guī)則誤報(bào)第一坑是日志寫(xiě)滿磁盤(pán)。文檔里說(shuō) CSB 已啟動(dòng)滾動(dòng)日志機(jī)制并建議保持該巡檢以備萬(wàn)一但滾動(dòng)日志解決的是單個(gè)日志文件無(wú)限增長(zhǎng)的問(wèn)題解決不了整體磁盤(pán)被堆滿的問(wèn)題。異常堆棧、慢查詢?nèi)罩?、多?shí)例重復(fù)打印都會(huì)加速磁盤(pán)消耗。我的做法是把 df -lh /home/admin/cloud-gateway/logs 放進(jìn) crontab每小時(shí)跑一次超過(guò) 80% 就告警不依賴 Butler 的巡檢周期。第二坑是端口兼容誤報(bào)。Broker 升級(jí)后服務(wù)發(fā)布時(shí)自動(dòng)創(chuàng)建的 Butler 巡檢規(guī)則可能還盯著舊端口導(dǎo)致健康節(jié)點(diǎn)被反復(fù)告警。排查時(shí)先核對(duì)端口表確認(rèn)當(dāng)前產(chǎn)品版本對(duì)應(yīng)哪些端口再?zèng)Q定是改規(guī)則還是加白名單。第三坑是多節(jié)點(diǎn)撥測(cè)誤判。前面講過(guò)多節(jié)點(diǎn)撥測(cè)會(huì)把不同節(jié)點(diǎn)的返回結(jié)果做比對(duì)一有差異就告警。后端服務(wù)在灰度發(fā)布、返回內(nèi)容帶時(shí)間戳或 traceId 時(shí)多節(jié)點(diǎn)撥測(cè)天然會(huì)失敗。非核心鏈路我一般用單節(jié)點(diǎn)撥測(cè)只有強(qiáng)一致性的內(nèi)部服務(wù)才用多節(jié)點(diǎn)。4. 故障排查與避坑從服務(wù)找不到到 CPU 飆高的五個(gè)典型場(chǎng)景4.1 服務(wù)發(fā)布失敗先從管控鏈路查起別急著重啟 Broker現(xiàn)象在 CSB 控制臺(tái)發(fā)布服務(wù)時(shí)提示發(fā)布失敗或者發(fā)布成功但調(diào)用方反復(fù)報(bào)錯(cuò)。原因服務(wù)發(fā)布失敗集中在管控中心鏈路涉及 Store、Admin、Cache 三層。Store 保存服務(wù)元數(shù)據(jù)Admin 提供管控服務(wù)Cache 緩存服務(wù)定義和授權(quán)信息。任何一個(gè)環(huán)節(jié)不一致Broker 拿到的服務(wù)定義就是舊的或不完整的。最常見(jiàn)的原因是管控中心到 Broker 的網(wǎng)絡(luò)隔離或者授權(quán)信息沒(méi)有同步到 Cache。解決先看 Store 里的服務(wù)元數(shù)據(jù)是否存在再看 Admin 日志里有沒(méi)有發(fā)布請(qǐng)求的報(bào)錯(cuò)最后確認(rèn) Broker 側(cè) Cache 是否刷新。文檔里有一句話值得記住服務(wù)總線從服務(wù)控制器獲得服務(wù)定義如果控制鏈路有問(wèn)題Broker 側(cè)做再多排查都是白費(fèi)。4.2 服務(wù)找不到調(diào)用方報(bào) 404 或 No Provider現(xiàn)象調(diào)用方請(qǐng)求服務(wù)時(shí)返回服務(wù)不存在或者 HSF 調(diào)用直接報(bào) no provider。原因第一類是服務(wù)根本沒(méi)發(fā)布成功屬于 4.1 的管控鏈路問(wèn)題。第二類是服務(wù)已發(fā)布但消費(fèi)方?jīng)]有完成訂閱或授權(quán)CSB 的調(diào)用前需要做授權(quán)授權(quán)信息通過(guò) Cache 下發(fā)到 Broker。第三類是 Broker 節(jié)點(diǎn)狀態(tài)不一致雙節(jié)點(diǎn)中有一個(gè)節(jié)點(diǎn)緩存了舊的服務(wù)定義負(fù)載均衡把請(qǐng)求分發(fā)到了這個(gè)節(jié)點(diǎn)上。解決先區(qū)分是哪一層的問(wèn)題。控制臺(tái)確認(rèn)服務(wù)狀態(tài)調(diào)用方確認(rèn)訂閱關(guān)系Broker 側(cè)對(duì)比兩個(gè)節(jié)點(diǎn)的緩存是否一致。如果是雙節(jié)點(diǎn)緩存不一致通常要等 Cache 同步周期或者按文檔里的方式檢查是否需要重啟進(jìn)程刷新緩存。但注意重啟 Broker 屬于 G3 高危操作必須先走變更流程不能為了刷緩存直接重啟否則就是拿服務(wù)連續(xù)性換排查效率。4.3 HSF 調(diào)用不穩(wěn)定與超時(shí)線程池和 GC 是主要嫌疑現(xiàn)象HSF 服務(wù)調(diào)用時(shí)而成功時(shí)而超時(shí)錯(cuò)誤率呈周期性波動(dòng)服務(wù)本身看著是正常的。原因HSF 調(diào)用不穩(wěn)定問(wèn)題通常不在鏈路而在資源。Broker 的線程池被打滿時(shí)新請(qǐng)求會(huì)排隊(duì)等待超出超時(shí)閾值后表現(xiàn)為偶發(fā)超時(shí)。另一個(gè)原因是 JVM GC特別是老年代頻繁 Full GC 時(shí)Broker 會(huì)短暫停止響應(yīng)這個(gè)時(shí)間段內(nèi)的所有請(qǐng)求都會(huì)超時(shí)。解決先看監(jiān)控指標(biāo)里的線程池活躍線程數(shù)和 GC 頻率再?zèng)Q定是調(diào)線程池配置還是優(yōu)化業(yè)務(wù)代碼。文檔里把線程池配置單獨(dú)列了一章第 7 章說(shuō)明這類問(wèn)題在現(xiàn)網(wǎng)并不少見(jiàn)。偶發(fā)超時(shí)的排查順序是客戶端到 Broker 的鏈路時(shí)延、Broker 線程池狀態(tài)、Broker JVM GC、Broker 到后端服務(wù)的鏈路時(shí)延。四個(gè)環(huán)節(jié)逐層排除不要一上來(lái)就改超時(shí)參數(shù)超時(shí)參數(shù)調(diào)的過(guò)大反而會(huì)讓故障請(qǐng)求堆積在 Broker 上。4.4 控制臺(tái)內(nèi)存溢出與無(wú)法訪問(wèn)Tomcat 層的問(wèn)題現(xiàn)象登錄 CSB 控制臺(tái)時(shí)頁(yè)面加載緩慢或直接打不開(kāi)報(bào)內(nèi)存溢出錯(cuò)誤或者控制臺(tái)進(jìn)程還在但頁(yè)面無(wú)法訪問(wèn)。原因CSB Console 是 Tomcat 容器控制臺(tái)報(bào)告內(nèi)存溢出通常是 JVM 堆內(nèi)存配置偏小隨著服務(wù)數(shù)量和調(diào)用量增長(zhǎng)控制臺(tái)需要加載的元數(shù)據(jù)越來(lái)越多堆內(nèi)存被打滿??刂婆_(tái)正常啟動(dòng)但無(wú)法訪問(wèn)要單獨(dú)看 8080 端口的監(jiān)聽(tīng)狀態(tài)和 Tomcat 日志。解決控制臺(tái)內(nèi)存溢出按文檔思路調(diào)整 JVM 參數(shù)后重啟操作前先確認(rèn)是否有正在執(zhí)行的服務(wù)變更。控制臺(tái)無(wú)法訪問(wèn)時(shí)先 netstat 檢查 8080再確認(rèn) Console 進(jìn)程是否假死必要時(shí)按 G2 流程申請(qǐng)重啟??刂婆_(tái)登錄后出現(xiàn)安全提示通常是瀏覽器對(duì)證書(shū)的校驗(yàn)問(wèn)題文檔里提到用谷歌瀏覽器配置代理登錄證書(shū)類提示先檢查代理和證書(shū)信任鏈不要一上來(lái)就改安全配置。4.5 數(shù)據(jù)庫(kù)密碼變更后的連鎖故障最容易被低估的 G3 操作現(xiàn)象CSB 控制數(shù)據(jù)庫(kù)Store 的 MySQL密碼變更后Console 和 Admin 出現(xiàn)連接失敗服務(wù)無(wú)法發(fā)布甚至部分已發(fā)布服務(wù)也異常。原因CSB Store 的元數(shù)據(jù)被 Console、Admin、Broker 多條鏈路依賴密碼變更后如果配置沒(méi)有同步更新受影響的不是單個(gè)組件而是整條管控鏈路。文檔里把數(shù)據(jù)庫(kù)用戶名密碼變更單獨(dú)列為一個(gè)故障場(chǎng)景說(shuō)明這個(gè)操作在現(xiàn)網(wǎng)踩過(guò)坑。解決變更前先梳理依賴關(guān)系確認(rèn)哪些組件讀取了數(shù)據(jù)庫(kù)配置。變更后逐項(xiàng)驗(yàn)證Console 能登錄、Admin 日志無(wú)連接報(bào)錯(cuò)、Broker 緩存未受影響。整個(gè)過(guò)程按 G3 處理變更申請(qǐng)里要寫(xiě)明回滾方案一旦驗(yàn)證失敗能在窗口期內(nèi)回滾密碼配置。這條場(chǎng)景是典型的「操作五分鐘驗(yàn)證兩小時(shí)」寧可慢不可跳。5. csb-broker 配置參考線程池、連接、網(wǎng)絡(luò)與 CORS 參數(shù)5.1 線程池配置先看監(jiān)控指標(biāo)再動(dòng)參數(shù)文檔第 7 章把 csb-broker 的配置分成線程池、連接、網(wǎng)絡(luò)、http-cors 四類線程池排在第一位。Broker 收到請(qǐng)求后由線程池分配線程處理線程池太小請(qǐng)求排隊(duì)太大則線程切換開(kāi)銷升高、內(nèi)存占用增大表現(xiàn)為響應(yīng)時(shí)間不降反升。文檔沒(méi)有給出具體推薦值我的做法是根據(jù)監(jiān)控指標(biāo)來(lái)定。先看 Butler 或監(jiān)控容器里的活躍線程數(shù)曲線如果長(zhǎng)期處于線程池上限附近優(yōu)先考慮擴(kuò)容 Broker 節(jié)點(diǎn)而不是無(wú)限調(diào)大線程池。線程池調(diào)整遵循一個(gè)原則每次只調(diào)一個(gè)參數(shù)觀察一個(gè)完整業(yè)務(wù)周期至少一天的響應(yīng)時(shí)間和錯(cuò)誤率再?zèng)Q定下一步。同時(shí)調(diào)核心線程數(shù)和最大線程數(shù)出了問(wèn)題很難定位是哪個(gè)參數(shù)導(dǎo)致的。5.2 連接與網(wǎng)絡(luò)配置超時(shí)、連接數(shù)與優(yōu)雅停止連接配置影響的是 Broker 與后端服務(wù)和調(diào)用方之間的鏈路穩(wěn)定性。連接數(shù)上限決定 Broker 能同時(shí)維持的 socket 連接數(shù)量連接數(shù)打滿時(shí)新連接請(qǐng)求會(huì)等待表現(xiàn)和線程池打滿類似都是偶發(fā)超時(shí)。區(qū)別是線程池打滿時(shí)活躍線程數(shù)高連接數(shù)打滿時(shí)監(jiān)控里的連接數(shù)指標(biāo)會(huì)頂?shù)缴舷?。網(wǎng)絡(luò)配置里有一個(gè)容易被忽略的點(diǎn)連接超時(shí)和讀超時(shí)的設(shè)置。連接超時(shí)是建連的超時(shí)時(shí)間讀超時(shí)是建連后等待第一個(gè)字節(jié)的時(shí)間。兩個(gè)超時(shí)如果不能覆蓋現(xiàn)網(wǎng)最慢端的響應(yīng)時(shí)間會(huì)出現(xiàn)正常請(qǐng)求被誤殺的情況。我一般會(huì)把讀超時(shí)設(shè)成后端服務(wù) P99 響應(yīng)時(shí)間的 2 到 3 倍留出余量又不會(huì)讓故障請(qǐng)求堆積太久。優(yōu)雅停止是 CSB 里一個(gè)很有用的能力。Broker 重啟前先觸發(fā)優(yōu)雅停止停止接收新流量等存量請(qǐng)求處理完再重啟進(jìn)程可以把重啟對(duì)業(yè)務(wù)的影響降到最低。文檔把優(yōu)雅停止單獨(dú)列在故障處理章節(jié)里說(shuō)明這是生產(chǎn)環(huán)境重啟的標(biāo)準(zhǔn)動(dòng)作而不是可選優(yōu)化項(xiàng)。5.3 http-cors 配置跨域開(kāi)放的正確姿勢(shì)http-cors 解決的是瀏覽器跨域調(diào)用 CSB 服務(wù)的問(wèn)題。配置 CORS 時(shí)最常見(jiàn)的錯(cuò)誤是把 allowedOrigin 設(shè)成 *全放開(kāi)跨域來(lái)源。CSB 的調(diào)用本身帶著 AccessKey/SecretKey 做簽名鑒權(quán)全放開(kāi)跨域來(lái)源等于繞過(guò)了瀏覽器層面的隔離攻擊面會(huì)明顯擴(kuò)大。我的做法是只配置實(shí)際需要跨域訪問(wèn)的來(lái)源域名方法用 OPTIONS 預(yù)檢能過(guò)的最小集合。CORS 配置改動(dòng)后用瀏覽器的開(kāi)發(fā)者工具實(shí)際驗(yàn)證一次跨域請(qǐng)求確認(rèn)響應(yīng)頭里帶上了正確的 allow-origin而不是只在服務(wù)端看配置生效了沒(méi)有。CORS 配置錯(cuò)誤在服務(wù)端日志里往往只有一行 CORS 拒絕記錄很容易被當(dāng)成普通的鑒權(quán)失敗忽略掉。6. 進(jìn)階企業(yè)賬號(hào)系統(tǒng)接入 DAuth 標(biāo)準(zhǔn)的三個(gè)關(guān)鍵接口6.1 接入流程登錄頁(yè)面、獲取用戶、查詢用戶企業(yè)自有賬號(hào)系統(tǒng)接入 CSB 時(shí)DAuth 是認(rèn)證鑒權(quán)的核心。文檔第 8 章把接入工作拆成三個(gè)實(shí)現(xiàn)點(diǎn)實(shí)現(xiàn)登錄頁(yè)面、實(shí)現(xiàn)獲取用戶接口、實(shí)現(xiàn)查詢用戶接口可選。三個(gè)接口的職責(zé)不同缺一個(gè)都會(huì)導(dǎo)致接入鏈路不通。實(shí)現(xiàn)項(xiàng)職責(zé)是否必選登錄頁(yè)面完成企業(yè)自有賬號(hào)的登錄認(rèn)證登錄后跳轉(zhuǎn)回 CSB必選獲取用戶接口根據(jù)登錄態(tài)或用戶標(biāo)識(shí)返回用戶詳細(xì)信息供 DAuth 完成鑒權(quán)必選查詢用戶接口支持按條件查詢用戶列表用于管理或批量場(chǎng)景可選接入時(shí)最容易出的問(wèn)題不是接口本身而是登錄跳轉(zhuǎn)和用戶信息的傳遞鏈路。登錄頁(yè)面認(rèn)證成功后CSB 側(cè)需要拿到用戶標(biāo)識(shí)并調(diào)用獲取用戶接口如果標(biāo)識(shí)傳遞丟失或不一致會(huì)出現(xiàn)「登錄成功但鑒權(quán)失敗」的典型癥狀。聯(lián)調(diào)時(shí)先抓登錄跳轉(zhuǎn)的完整請(qǐng)求鏈路確認(rèn)用戶標(biāo)識(shí)每一步都在再去看接口返回的數(shù)據(jù)格式。6.2 驗(yàn)證與閉環(huán)巡檢規(guī)則加日志確認(rèn)接入完成后別急著驗(yàn)收先用 Butler 巡檢規(guī)則把 DAuth 鏈路納入日常撥測(cè)確保新接入的賬號(hào)認(rèn)證路徑在無(wú)人值守時(shí)也能被及時(shí)發(fā)現(xiàn)異常。登錄 CSB 控制臺(tái)驗(yàn)證一次完整調(diào)用然后去 DAuth 日志確認(rèn)認(rèn)證記錄最后在 Broker 側(cè)看一次調(diào)用鏈路的日志。三層確認(rèn)都通過(guò)DAuth 接入才算閉環(huán)。從那以后我每次做 CSB 的運(yùn)維拆解和二次接入都會(huì)強(qiáng)制自己走一遍完整流程先看組件架構(gòu)確認(rèn)端口和版本再按巡檢清單過(guò)一遍 Broker 和 Console最后把 DAuth 或配置變更項(xiàng)單獨(dú)列出來(lái)逐項(xiàng)驗(yàn)證。這套動(dòng)作幫我避開(kāi)了好幾次因?yàn)槎丝谂?、操作等?jí)沒(méi)分清楚導(dǎo)致的線上問(wèn)題。文檔里的內(nèi)容不一定每條都能用上但架構(gòu)、端口、操作等級(jí)這三樣是每次都必須核對(duì)的基礎(chǔ)信息。希望這份拆解能幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
无码G高清天| 夜夜做天天爽| 五月丁香六月激情在线| 久久婷婷五月天综合| 中文在线成人| 被强行糟蹋的女人A片| 亚洲精色| 國語久久婷| www.狠狠操| 激情5月天天天| 色五月天网| 碰碰碰91| 天天色99| 丁香五月1页| www.激情| 婷婷五月天另类网站| 五月婷婷性爱| aa久久| 色色色无码| 99在线观看视频免费| 婷婷五月色激情欧美激情| 成人av在线网| 久久九九爽| 五月丁花色综合网| 色色啊| Aα在线免费观看| 丁香五月伊人| 久久久久9| 丁香五月亚洲| m色激情网| 99热这里| 激情婷婷丁香五月天| 国产精品a无线| 丁香五月色色| 婷婷99热| 97精品欧美91久久久久久久| 丁香婷婷成人在线播放| 日韩六六久久电影| 久久久人妻人伦| 久久久久亚洲AV成人无码电影| 这里只有精品99www| 91人妻PORNY九色大屁股| 99ER热精品视频| 丁香五月婷婷亚洲综合精品| 五月天另类图片| 亚洲性爱99| 六月色激情| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 久操香蕉| 一本大道熟女人妻中文字幕在线| 97操碰| 色情综合| 久久精品性爱| 五月婷婷基地| 丁香五月色五月| 婷婷成人av| 五月天色影院| 婷婷五月花| 在线另类| 射满了还射免费在线观看 -午夜版全集-新视觉影院 | 99久久婷婷国产综合| 婷婷干五月综合在线播放| 婷婷丁香第一页| 激情丁香婷婷六月天| 婷婷色五月开心五月| 麻豆忘忧草午夜| 狠狠噪| 六月丁香激情网| 色五月第四色| 最新va在线播放| 久8色色| 丁香五月瑟瑟| 色99欧洲色19| se影音资源在线观看| 婷婷激情五月综合丁香社| 侠女刀之记忆电影在线看免费| 色99视频| 99热精品综合| 亚洲婷婷激情888精品久| 六月婷婷色宗合| 丁香六月婷婷综合麻豆| 开心激情网在线| 久久久精品色| 99热这里| 国产做A爰片毛片A片美国| 麻豆AV一区二区三区| 色99视频| 亚洲无码免费看| 亚洲色综合色网| 天堂综合久| 天天干天天做| 综激情网| 黄急一级视频| 色五月色五天色情网| 99热自拍| 深爱五月天| 无码人妻精品一区二区蜜桃色欲| 碰碰碰97免费精彩视频| 久热91| 97超碰欧美中文字幕| 色娸娸综合网| 狠狠五月天婷婷激情网。| 五月婷婷六月奇米网丁香| 天天天天天天天干| 强伦轩人妻一区二区电影| 日本九九视频| 亚洲妇女熟BBW| 欧美久热| 超碰资源在线| 亚洲 小说 欧美 激情 另类| 丁香五月六月综合激情| 99啪啪视频| 狠狠狠狠狠狠| 狠狠爱婷婷丁香| 99啪啪骑| 五月天激情站| 欧美色色网| 激情中文在线| 五月婷A V在线| 成人毛片在线免费观看| 新激情五月开心五月婷婷五月丁香五月| 亚洲综合丁香五月天| 丁香六月久久| 丁香五月婷婷天| 色婷婷a v| 97五月天| 久久婷婷夜| 操操操操操操婷婷五月天| 婷婷五月偷拍| 天天综合色| 久久精品一区二区三区四区| 97色伦另类图片小说视频 | 日91高清无玛| 狠狠色丁香五月婷巨| 婷婷综合网伊人| 色色色五月婷| 人人操婷婷| 激情五月,色五月| 五月婷婷性| 国产无套精品一区二区| 激情久久久久久久久久久| 我爱宗和色| 日韩精品一品二区三区的使用体验| 天天干,天天日| 69综合在线| 婷婷丁香五月亚洲欧美| 欧美久久网| 亚洲综合色成丁香五月色| 伊人激情综合网| 玖玖资源天天无码| 七七婷婷综合| 丁香五月激情网| 日日噜噜久久婷婷五月天| 婷婷五月天成人动漫| 涩综合婷婷| 99视频这里有精品| 97激情五月天| 996er热| 丁香六月青青草| 婷婷大美在线| 亚洲亚洲人成综合网络| 婷婷丁香视频在线观看免费 | 天天操天天干天天日| 日本乱子人伦在线视频| Av狠狠色丁香婷| 一级韩国产精品毛| 欧美图片丁香五月天| 天天天添天天操| www.五月丁香| 综合激情啪啪| 日本高清久久| 日操五月婷| 激情综合网色播五月| 婷婷丁香五月天影院 | 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 国产亚洲精品久久一区二区三区| 激情性爱网站| 日日夜夜干| 大香蕉伊然在亚洲90| 九九成人精品| 久久久亚洲成人无码A片| 五月天激情在线视频| 五月婷婷啪啪| 婷婷激情五月综合基地| 色情网综合| 午夜婷婷五月天在线| 99免费在线视频| 丁香五月综合| 东京热免费视频| 狠狠搞五月天| 免费无码毛片一区二区A片| 日本www五月婷婷| 国产亚洲精品AAAAAAA片| 五月婷婷色播视频| 精品一二三区久久AAA片 | 手机旧版看人妻1025| WWW·色色色·COM| 色色色无码| 天天射综合网站| 色丁香五月| 色情五月婷| 99久久久久久| 思思视频这里是精品| 色婷婷成人做爰A片免费看网站 | 五月婷婷成人| 天天弄天天爽| 激情综合视频| 六月婷婷八月丁香| 五月天婷婷六月激情网| 综合五月激情| 婷婷色在线视频| 99色视频在线观看最新| 少妇人妻人伦A片| 操嫩逼电影| 色狠狠婷婷| AAAA网站| 成人做爰A片免费看网站找不到了| 激情丁香五月婷婷| 丁香九月婷婷综合| 五月天操逼激情| 天天爽天天爽视频| jiqingtaose五月天| 婷婷五月天色| 四月婷婷丁香五月| 亚洲亚洲人成综合网络| 亚洲综合丁香五月天| 99伊人婷婷在线| 色情久久久| 99久久99视频只有精品| 色色五月天 亚洲| 99热资源在线| 九九爱看亚洲| 成人AV在线网站| 99色视频| 日本色色网站| 丁香久久五月天视频在线观看| 99re久热| 大香蕉综合在线| 色欲资源网| 丁乡久久| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | www狠狠| 97色色网| 五月婷婷草| 秋霞三级色戒| 天啪色| 色综合99| 五月天成人在线播放丁香| 激情亭亭五月| av大片在线| 激情99| 看黄的网站18禁| 蜜乳AV成人| 大香蕉九九| 26uuu激情五月天| 丁香色影院| 亚洲精品成人| 欧洲综合视频| 亚洲天天综合| 午夜九九电影| 久久激情网| 亚洲无码猫咪| 久久性视频| 天天狠天天叉| 五月婷婷视频ab| 色99网| 91主播在线| 99热综合| 五月丁香激情综合| 日本九九视频| 九九热最新| 天天拍夜夜爽日日| 综合激情伊人影视在线| 日本婷婷在线| 最新日韩久热免费视频看看| 亚洲视频另类| www.婷婷久久五月天| 久久ab| 黄色一级影片| 99热综合色图| 99热这里只有精品在线| www夜夜操com| 色婷婷AV久久久久久久| 五月丁香激情在线| 狠狠色综合五月| WWW色五月天| 丁香五月在线自慰| 日本一级特黄大片AAAAA级| 97人碰人操| 国产毛多水多女人A片| 亚卅毛片| 婷婷综合色图| 丁香五月香蕉| 婷婷91| 日韩在线9| 中文字幕欧美精品久久| 最新婷婷五月丁香| 在线亚洲综合| 激情五月天婷婷色色色色色色色色色色色| 五月天小说激情| 欧美性做爰大片免费看办公室 | 噜噜操操| 99在线精品视频| 久草热在线视频| 99er精品视频| 96丁香六月婷婷蜜桃综合久久| 色婷视频| 五月天激情四射网站| 色停停五月,在线观看| 五月婷婷啪啪啪啪| 五月天网站免费欧美| www夜夜操com| 五月天啪啪| 亚洲精品国产精品乱码视99| 婷婷刺激综合| 人妻中文在线| 婷婷久久综合| 婷婷色色综合| 九九久久免费视频44| 激情碰碰碰| 五月丁香久久婷| 丁香综合久久| 丁香九月激情| 青青草护士中出内射-欧美电影在线天堂新版| 久久杏爱视频| 五月天婷a| 五月激情六月婷婷| 精品人妻在线| 五月婷视频| 99re在线观看| 丁香影院五月综合| 五月丁香久久综合| 五月天丁香| 国产成人精品亚洲线观看| 无码91中文字幕| 天天久久婷婷| 久99久在线| 女人露出p毛视频www网站| 综合激情伊人影视在线| 久久久五月婷婷| 色婷婷小说| 综合色影院| 超碰在线99| 五月激情在线| 99热日本精品| www.91久久| 99精品这里只有免费视频| 久久久99精品| 婷婷射图| 婷婷综合中文字幕| 国内久久亭亭| 五月亭亭六月激情| 亚洲激情综合| 免费视频在线观看的网站| 亚洲人成网站999综合| A1片久久久| 色婷婷色五月另类综合| 亚洲国产精品VA在线看黑人| 青青草成人网| 99玖玖精品| 91viP在线看| 久久九九99亚洲国产久精综合| 五月综合激情| 丁香五月五月婷婷欧美大香蕉| 久久精品五月| 激情的五月婷婷蜜桃| 性生活视频98791| 超碰在线国产| 骚。com| 超碰成人电影| 在线观看日韩12345区| 123草逼网| 十月丁香婷婷| 综合激情网激情五月。| www色色色com| www.久久综合| 久99热| 日夜操B| 久久色六月| 精品久久9| www.亭亭五月天| 亚洲综合五月天婷婷| 丰满少妇猛烈A片免费看观看| 九九色院| 亭亭五月天成人| 色综合中文| 丁香花社区av| 激情的五月| 国产婷婷五月天| 色啪久| 丁香五月天信号| 五月丁香婷婷导航视频| 少妇人妻偷人精品无码视频新浪| 色吧五月| 伊人久久大香网| 无毒黄色网址| 就爱干 在线| 99亚洲天堂| 丁香五月色色婷| 五月丁香婷色| 色色五月婷| 日本啪啪网| 精品成人a v无码内射| 欧美日本日韩| 热这里只有精| 久久99久久99久久99人受| 色一情一乱一乱一区9| 九九视频精品在线免费| 搡BBBB搡BBB搡18| 丁香五月综合婷婷| 国产一区18| 99热久草| 操逼视频网址| 国产成人99久久亚洲综合精品| 天天综合精品| 丁香久色| 欧美电影在线播放| 色九月激情综合网| 亚洲精品又粗又大又爽A片 | 天天噪夜夜爽| 国产,欧美,学生妹,视频| 99色啊| 五月天综合在线| 五月婷婷六月天| 人妻自慰高清合集| 丁香五月天亚洲综合| 色婷婷丁香AV综合| 激情6月| 日日做夜夜爱| 丁香五月婷婷婷桃花影院| 97婷婷五月天| 五月天丁香综合在线| 第五色婷婷| 五月丿香啪啪| 超碰操网| 五月天色婷婷激情综合| 久久久天堂国产精品女人| 人人干人人干骚美女| 97色色色色色| 夜夜天天久久婷婷| 字幕网AV中文字幕| 亚洲色优| 五月丁香啪综合| 成功精品影院| 丁香婷婷色五月| 五月丁香偷拍| 色婷婷六月开心中文字| 网站免费一站二站| 91色涩| 五月丁香久久久久| 深爱五月综合网| 日本乱子人伦在线视频| 五月婷婷综合久久| 操97免费超级视频| 日日日日日| 久99热| 婷婷五月天网| 婷婷丁香五月在线播放| 婷婷五月丁香欧洲| 欧美色五月| 青青草蜜臀| 中文字幕不卡网站| 91免费看片| 狠狠操.com| 人人摸人人操人人爱| 91婷婷五月天嫩女| 婷婷丁香社区网| 九九在线热九九在线热99热| 五月丁香六月合| 99ri国产精品| 婷婷久久大香蕉| 26uuu激情五月天| 婷婷综合干| 日本久久婷| 九九热10| 久久久久久久久18久久| 97干视频| 99er免费在线观看| 婷婷丁香综合| 国产亚洲精品久久久久久郑州| 婷婷五月天性| 五月亭亭欧美女人| 婷婷五月色| 天天做天天爱天天要| 99啪啪视频| 99热精品在线播放| 日本天天操| 另类色网| 猫咪伊人久久| 日本三级第一页| 久操操| 99爱免费视频| 99热这里只有精品98| 免费成人中文字幕| 国产精品18久久久| 大香蕉精品视频| 亚洲国产精品成人va在线观看| 丁香五月婷婷亚洲另类| 色综啪啪网| 九色视频91疯狂| 亚洲丁香五月在线观看| 日本女va| 六月婷婷激情| 色五月婷婷激情基地| 六月丁丁香| 婷婷情色五月天| 丁香五月综合在线播放 | 欧美激情综合色丁香婷婷五月天| 任你日视频| 综合五月天| 日本色图综合| 婷婷五月丁香成人| 青青夜夜狠狠夜夜狠狠| 成人网站免费在线播放| 中文字幕无码成人电影| 狠狠一日| 91操操| 久久婷婷五月天蜜桃| 亚洲爱爱无码婷婷色五月| 五月婷婷影院| 久久综合首页| 亚洲无码激情| 日本在线观看aaa 99| 久久久GOGO无码啪啪艺术 | 99性爱视频| www.99久| 日本三级中国三级99| 五月激情六月婷婷| 五月天婷婷中文字幕在线播放| 激情五月深爱五月| 人妻久久久久| 欧美色五月| 成人电影在线免费试看| 91九色欧美| 久久99精品久久久| 九一牛视频探花| 综合久久五| 99精品成人无码A片观看金桔| 99碰网站| 中文字幕人妻在线| 91久久九久久九久久九久久九久久 | 99热亚州综合| 色yeye欧美| 日韩欧美成人网| 最新无毒无码AV| 激情又色又爽又黄的A片| 色色亚洲视频| 91九色精品熟女内射| 婷婷色播婷婷| 五月婷婷色播| 亚洲色五月| 激情小说婷婷| 国产美女无遮挡裸体毛片A片| 99久久久久| 亚洲成人综合在线| 成人精品视频99在线观看免费| 五月激情小说| 久久精品99国产精品日本| 五月丁香在线| 九九色情网站| Av在线资源| 无码视频国内精品久久久| 成人国产欧美大片一区| 91九色 熟| 艹色18p| 五月天久久网站| 日本久久性| 影音先锋四区| 97丁香花五月天激情小说| 国产色婷婷亚洲| 91色色色| 激情的五月| 精品皮股午夜AV| 开心激情播播五月天| 五月天激情小说| 久操无码| 丁香久久| 特黄三级又爽又粗又大| 日韩人妻在线观看| 狠狠干五月天婷婷网| 影音先锋91视频| 操操精品| 91色久| 99re这里只有精品国产99| 99操久久| 91综合在线| 久久XX日本综合| 五月天婷婷爱| 丁香久月婷| 大香蕉婷婷| 天天爽,天天操。| 人人操婷婷| 亚洲性视频| 五月丁香日本片| 91无码色色| 五月天激情久久| 五月丁香婷婷综合| 丁香五月天久久| 操逼巨乳91| 色婷婷五月影视| 日本操B视频| 久久六月天| 天天开心天天色| 五月成人丁香av91| av网址在线| 色亚洲婷婷| 色色色色区| 天天操天天操天天操天天操天天操| 五月婷婷五月天天| 台湾无码A片一区二区| 天天爽天天操| 99无码视频| 天天爱天天日| 欧美 日韩 成人| 婷婷99狠狠| 丁香婷婷视频一区二区| 成人在线日韩| 丁香婷婷久久综合在线| 天天插天天插| 五月天激情网图片| 五月天色婷婷av| 超碰人人妻| 色婷婷五月天偷拍| 五月六月激情| 五月丁香六月综合情在线观看| 91女人18毛片水多国产| www.婷婷| 99亚洲精品| 丁香久久五月天视频在线观看| 九色无码| 婷婷丁香九色| 丁香五月婷婷五月| 五月婷激情| 五月丁香直播| 国产精品久久..4399| 久久综合婷婷激情| 99色在线视频| www.婷婷.com| 看久久性爱视频| 婷激情五月天视频导航| 97欧美在线| 99九九这里有免费视频| AV大香蕉| 国产 码在线成人网站| 天天色综合图片| 五月丁香婷婷综合在线| 五月婷六月| 91N 一起草| 色噜噜综合网| 久久久五月天| 亚洲人成色A777777在线观看| 五月天开心色情网| 久久久妻人人人| 色婷婷免费视频| 五月久久| 视频一区二区在线| 五月婷视频| 色色婷| 天天干天天干天天| 亚洲a色| 思思热热久久| 伊人久久婷婷五月天激情四射| 五月婷婷色| 婷婷五月天Av| 超碰无码318604| 91综合网| 国产午夜伦鲁鲁| 亚洲五月天婷婷| 五月丁香六月婷婷姐| 亚洲激情区| 电影爱拉战争免费观看| 青草青草久热这里只有精品| 久久婷婷五月综合激情国产| 影音先锋91资源站| 大香蕉啪啪啪啪啪啪| 五月丁香色停停啪啪啪| 五月婷在线| 大香蕉五月天婷婷| www.婷婷五月| www.色婷婷| 热99在线| 婷婷综合五月天| 深爱激情六月天| 成人网站免费在线播放| www.色综合.com| 丁香五月欧美| 天天狠狠夜夜狠狠2023| 色色色色色色网站| 久久538| 可以看的av| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 日韩一66精品| site:minyis.com| 翔田千里aV中文字幕| 五月丁香婷婷综合在线| 99er国产| 六月天六月婷| 69色色视频| 五月激情偷拍| 久久久噜噜噜久久人妻| 欧美激情综合色综合啪啪五月| 久草热在线视频| 另类激情中文| 久99久精品视频| 超碰在线人人| 婷婷五月天堂| 婷婷五月天综合网| 亚洲乱码日产精品BD| 怡红院AV亚洲一区二区三区H | 色婷婷五月天不卡| 五月天激情久久| 秋霞AV淫| 五月丁香六月婷婷网| 99久久婷婷国产综合精品草原| 丁香五月婷婷88在线| 五月婷高清视频| 天天日夜夜夜操操操操| 婷婷五月丁香久久| 99精品免费| 成人AV在线网站| 九九热视频在线观看| 五月天婷婷成人网| 99热草草| 婷婷终合色图| 亚洲成人网无码| 五月丁香网中文字幕| 啪啪六月婷婷| 成人丁香色| 五月天婷婷激情| 99色爱| 1024你懂的欧美曰韩| 久99视频在线观看| 亚洲综合网激情小说| 激情亚洲色图片丁香综合| 思思国产99| 久青操| 五月色综合| Blackedraw视频一区二区| 丁香五月婷婷亚洲激情四射| 精品激情| 狠狠插狠狠| 国产avapp 网| 影音先锋女人AA鲁色资源| 激情综合视频| 99操免费视频| 日本五月婷婷久久久六月丁香| 激情五月天激情综合网| 日韩无码专区| 国外亚洲成AV人片在线观看| 久久综合色情网站| 梁铮版蜘蛛女在线观看| 99热这里只有精彩| 97色色网| 极品九九九九九九| 色色色视频免费无码| 狠狠色婷婷777| 思思热在线播放| 97搞在线| 秋霞免费三级片| 五月婷婷久草在线视频综合| 久久久99视频| 色九九综合色| 香蕉婷婷| 五月天久久丁香| 五月婷婷色| av一区免费看| 色综久久AV| 亚洲色五月天| 99亚洲天堂| 亚洲一区二区无遮挡A片| 欧美久久五月婷婷| 97碰久久| 五月丁香狠狠爱婷婷综合| 99色6爱9热| 亚洲综合激情五月久久| 成人做爰高潮A片免费视频| 91丨九色丨国产在线| 狠狠做五月婷婷| 色七七九九| 亚洲精品第一国产综合亚AV| 久久婷婷成人视频| 看国产探花操逼三级片| 成人丁香| 亚洲无码色| 国产小网站| 五月丁香在线偷拍视频| 99热国内精品| 日日操夜夜操中国无码| 日日色五月天| 九月婷婷综合| 婷婷成人AV| 日日夜夜狠狠干| 中文字幕按摩做爰| 色综合区| 涩婷婷五月天在线精品视频| 97色精品视频 | www五月| 丁香激情久久| 久久色亭亭五月天| 丁香五月天日韩无码| 丁香婷婷激情五月| 丁香婷婷色五月激情综合| 婷婷丁香五月天影院| 婷婷五月天综合小说网| 国产精品久久久久久久久久 | 九九99热| 六月丁香天堂| 五月婷婷五月天亚洲无码| 人妻丰满精品一区二区A片| 婷婷五月电影| 丁XX 成人| 九九九激情综合| 538在线| 九九Av| 日本精品99| 亚洲AV中文在线| 综合五月丁香六月婷婷| 泰州成人视频| www.91AV.com| 欧美激情综合色丁香婷婷五月天| 精品人妻在线免费观看| 色婷婷色五月丁香| 免费无码毛片一区二区A片| 久热这里只有精品3| 婷婷色色网| 色五月综合在线| 欧美精产国品一二三区| www.色九月| 六月丁香激情| 香蕉乱插| 91久久九久久九久久九久久九久久| 九热视频在线伦| 99热无码| 丁香伊人五月色婷婷五十路| 丁香五月六月婷婷怡红院| 中文字幕人妻一区二区| 婷婷丁香色五月久久88| 草榴视频黄色网| 快色t v在线入口| 一本久久婷婷| 五月天久久网站| 97碰操| 来吧亚洲综合网| 国产综合色婷婷精品久久| 婷婷丁香五月91| 色五月激情五月天| 五月丁香五月丁香五月丁香五月丁香91| 六月丁香婷婷在线波多| 久热精彩视频98| 99热a片免| 神马欧美精| 国产成人av在线播放| 99久在线| 五月丁香激情综合| aaa丁香五月天| 国外亚洲成AV人片在线观看| 玖玖资源部在线播放| 日日做A爰片久久毛片A片英语| 五月激情婷婷开心五月| 亚洲偷| 婷婷丁香激情综合色情| se99热久久一本| 国产精品社区| 精品婷婷五| 97亚洲视频在线| 五月婷婷六月丁香在线视频| 大伊香蕉玖玖爱| 伊人久久婷婷| 高清无码 一区 二区 三区| 色六月 婷婷| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 激情五月婷婷啪啪| 亚洲成人免费电影| 天天拍夜夜撸| 久久久高清| 开心五月婷婷| 玖玖资源部在线播放| 久久久久9久无码视频| 五月天婷婷亚洲| 久久久久久9| 丁香五月偷拍| 国产密乳av一区二区三区四区| 色婷精品91| 久久久99精品免费观看| 激情五月丁香五月| 99性视频| 婷婷五月五月丁香| 超碰在线观看9| 丁香婷婷丁香五月欧美人| 超91热| 人人97碰| 天天色综| 97在线视频观看| 婷婷99狠狠躁| 99精品在线观看| 婷婷丁香人妻天天爽| 天天综合网91| 五月天婷婷综合色| 六月色婷婷| 五月天免费色| 久久99看免费| 亚洲综合五月天婷婷丁香| 色女伊人| 国产亚洲精品人人| 婷婷天天五月天| 婷婷成人综合| 婷婷丁香亚洲五月天| 五月天丁香久久| 天天色播| 丁香六月婷婷一区二区三区| 久久 婷婷 五月天| 丁香五月激动深爱欧美| 伊人激情影院| 无码G高清天| 激情爱爱网站超大免费| 久热在线中文字幕色999舞 | 5五月综合网亚洲| 欧美va视频不用播放器的va视频网| 婷婷丁香五月基地| 色色色综合网| 任你操精品免费| 天天日夜夜操五月| 超碰成人电影| 丁香五月婷婷高清| 婷婷五月综合激情| 丁香五月Av| xx色综合| 久久xxxx| 一起草av在线观看| 五月激情丁香啪啪| 日韩无码色色| 国产精品VA在线| 成人深爱丁香五月| 色爱99| 日本不卡高字幕在线2019| 五月丁香91| 亚洲欧美另类在线23p| 色婷丁香五月| 亚洲熟女色| 婷婷五月天你懂的| 婷婷五月天VI| 成人无码精品1区2区3区免费看| 激情床戏| 亚洲人成色A777777在线观看| 久久在线人妻| 深爱激情四射| 亚洲色色色色色色色色色| www.射伊蕉婷婷| 1024在线视频| www,99热在线观看| 欧美丰满熟妇BBB久久久| 天天色天天| 97久久人人| 99在线视频播放| 五月天婷婷综合免费| 久狠日av| 99热这里只有精品热| 色国产五月| 久久婷婷六月天| 亚洲综合激情五月久久| www.91.com黄| 国产激情久久| 天天狠狠夜夜狠狠2023| 色99热| A A色色| 校园激情 亚洲| 5月婷婷综合| 五月天婷婷色五月天| 色愛综合网| 婷婷五月天av| 啪啪综合网| 久久综合爱| 久久五月综合| 伊人干综合| 综合久久99| 精品久热| 丁香五月激情宗合| 五月丁香狠狠爱| 丁香五月天AV在线| 五月丁香婷婷啪啪| 色婷婷五月天激情| 久热这里只精品| 亚洲人成网亚洲欧洲无码久久| 五月天久久久| 人妻久久做| 五月丁香婷婷福利| 日本婷婷丁香五月| 婷婷五月天激情综合| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 天天影院色| 激情噜噜噜| WWW.99视频| 狠狠色噜噜狠狠狠狠综合| 五月丁香婷婷综合网| www.久久爱| 大香蕉九九| 丁香婷婷综合激情五月色| 国产做爰视频免费播放| 开心五月深爱五月| 日本视频不卡123区| 大香蕉色婷婷伊人在线| 5月丁香综合图区| 激情五月婷色| 99热色婷婷| 婷婷综合色| 五月婷婷色色| 激情婷婷丁香色情五月天| 婷婷 亚洲图片 丁香| 丁香五月天成人| 婷婷五月丁香基地| 五月丁香成人| 久久久精品人妻| 字幕网AV中文字幕| 开心五月婷婷伊人| 天天综合五月| 噜噜噜噜婷婷五月天| 色 丁香婷婷| 婷婷六月色播| www.色综合.com| av人人干| 五月丁香婷婷欧美色图视频五月丁香777电影| 91a片爽| 亚洲AV日韩无码| 操笔无码| 性色99| 大香蕉久久久| 99人人干| 4399精品一区二区| 97人妻碰碰碰久久香蕉| 天天五月香欧美| 五月婷婷影视| 人人摸人人澡人人| 五月天婷婷色播| 婷婷六月情| 97碰在线| 国产精品18久久久| 色色日本欧美| 婷婷色激情网| 五月婷婷亞洲中文| 26.uuu丁香五月婷婷| 开心五月激情网| 色婷婷激情视频| 国产67194| 99re思思热这里| 婷婷综合97| 精品人妻一区二区| 啪啪日本欧美| 色五月成人| 日本九九热| 啪啪激情网| 国产性av| www,久久久| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | www.久久爱| 久久国产高清| 久久婷婷成人视频| 天天色,天天日,天天做| 99热精品中文字幕| 天堂久久久久天堂网| 激情婷婷五月| 国产精品色一哟哟| 色综合丁香婷婷| 亚洲视频在线观看| 婷婷丁香激情综合色情| 五月天婷婷开心| 色情五月丁香| 综合久久狠狠| 天天插天天玩天天干| 男女久久婷婷五月天| 超碰大香蕉网| 亚洲天堂青草| 亚洲网站在线鸭子av| 五月天综合| 99re热视频这里只精品| 日本啪啪网| 久8色色| 国产成人网址| 婷婷99狠狠躁天天躁中文| 久久99热精品a片在线观看| 激情欧美五月丁香| 激情婷婷五月天丁香| 激情五月天之六月婷婷| 中文资源在线a| 日韩三级视频一区二区| 久久er免费视频| 色五月偷偷| 天堂久热| 婷婷五月花免费视频在线| 日韩成人AV在线播放| 婷婷五月激情黄色| 激情五月天在线观看色婷婷| 天天爱综合网| 大香蕉视频99| 一区二区中文字幕| 久久伦乱| 九月av在线| 99秘 在线| 五月天色图| 一本久道综合99| 九九婷婷网五月天| 超91热| 欧洲激情五月天婷婷| 五月婷色| 久草a片| 激情伊人五月天| 99视频| 五月天综合缴情网网站0| 色婷婷香蕉| 久久宗合影| 五月丁香在线看| 日本少妇裸体做爰高潮片| 蜜乳9188| 激情性爱五月天| 狠狠99| 激情五月婷婷在线观看| 五月天婷婷爱| yirenjiqingshiping| 五月婷婷,六月激情| 天天日天天插| 成人视频九九| 色五月婷婷综合| 97九色| 久久久久亚洲AV无码网影音先锋| 大香蕉狠狠爱主页| 欧美婷婷综合| 91人人人人人人人| 五月色网| 香蕉影院色| 五月天激情小说婷婷基地| 亚洲深喉aV| 深爱开心激情网| 香蕉久久av一区二区三区| 婷婷伊人无码| www99热| 五月色婷婷影视在线电影| 这里只有精品久久| 综合亚洲五月天| 99热免费| 激情五月天开心网丁香无码| 97精品人人A片免费看| 欧美日韓成人亚洲精品另类| 天天日天天操心| 色情五月天视频网| 六月天无码网址| 黄网在线免费| 天天日天天做天天操| 色爽干| 亚洲 六月 综合| 成人五月天综合网| 色婷婷狠狠干芒果TV| 97偷拍对白视频| 思思热精品在线观看| 色黄啪啪| jiZZdr| www,色婷婷| 亚洲AV免费在线| 香蕉综合网| 丁香五月婷婷色| 日日色五月天| 五月丁香婷婷钟和色图| 五月天婷婷丁香六月| 亚洲色频| 丝袜激情网| 色久女| 亚洲AV成人在线| 五月色导航| 婷婷五月花.97| 亚州操人在线视频| 丁香五月天激情四射网络不好 | 亚洲色婷婷五月天| 久久婷婷五月天激情四射| 超碰人人在线| 天天爱天天操| 六月婷婷网站| 亚洲天堂有码| 国产综合婷婷| 深爱婷婷基地| 91 欧美| 五月情婷婷| 久久婷丁香五月| 激情综合亚洲| 丁香六月天色婷婷| 一本九九色| 色婷婷成人网| 色亚洲视频| 日逼影音先锋AV男人资源站| 99热在线观看| 性爱动图国产麻豆一区二区三区| 亚洲亚洲人成综合网络| 激情婷婷综合五月少妇| 182TV大香蕉| 婷婷深爱五月天| 亚洲综合婷婷五月天| 91大屁股精品| 综合色五月| 五月婷六月丁香| 秋霞AV淫| 91九色网| 99热这里只有精品86| 91啪啪网| AA片在线观看视频在线播放| 久久久久久性爱视频| 五月天操逼网| 午夜无码熟熟妇丰满人妻| 激情五月婷婷视频一区二区三区| 成人在线精品| 91麻豆国产三级精品福利在线观看 | 99在线免费视频| 天天插天天插天天日| 五月丁香A片| 久久新地址| 亚洲综合狠狠艹| 在线观看中文字幕亚洲| 欧美搡BBBBB摔BBBBB| 五月激情站| 99小视频| 五月婷婷丁香综合,亚洲天堂| 九九视频这里只有精品| 五月婷婷九| 五月丁香影院| 五月丁香色色色| 亚洲激情网| 色婷婷基地| 激情久久四色| 久久婷婷五月综合色天| 久久ww| 天天日天天干天天天| 99在线精品观看99| 热久久这里只有三级视频| 色色五月天婷婷| 99精在线| 99爱在线| 69色婷婷| 婷婷五月综合国产精品| 99九九久久| 色爱五月天| 日本va网站| 精品久久久999| 亚洲99热| 婷婷五月天视频| 九九热免费视频| 思思久久网| 日韩视频女神99| 色色色五月天婷婷| 色婷婷a v| va亚洲中文在线| 亚洲天天免费| 99视频35精品视频在线观看| 大香蕉久久伊人网| 1024人妻| 99热这里是精品| 岛国资源网| 婷婷五月小说色综合| www.九月婷婷丁香.com| 婷婷五月天福利| av网址在线| 色女伊人| 五月激情婷婷六月丁香| 婷婷综合久久| 大香线蕉伊人| 男人的天堂在线婷婷| 精品国产一区二区三区四区阿崩| 激情欧美五月丁香| 久久九九国产精品怡红院| 26uuuuuuuu国产| 九九热区一区二区三区|