欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ShardingSphere讀寫分離:動(dòng)態(tài)路由與一致性保障實(shí)戰(zhàn)指南

ShardingSphere讀寫分離:動(dòng)態(tài)路由與一致性保障實(shí)戰(zhàn)指南 1. 這不是簡(jiǎn)單的“主從切換”而是數(shù)據(jù)路由的精密編排很多人第一次聽(tīng)說(shuō) ShardingSphere 的讀寫分離功能下意識(shí)會(huì)把它等同于“配置個(gè)主庫(kù)、配幾個(gè)從庫(kù)、寫操作走主、讀操作自動(dòng)分發(fā)到從”——聽(tīng)起來(lái)很美實(shí)操起來(lái)卻頻頻翻車。我見(jiàn)過(guò)太多團(tuán)隊(duì)在壓測(cè)階段突然發(fā)現(xiàn)明明配置了三臺(tái)從庫(kù)90% 的讀請(qǐng)求卻全打在第一臺(tái)從庫(kù)上也見(jiàn)過(guò)業(yè)務(wù)上線后某天凌晨監(jiān)控告警瘋狂刷屏查下來(lái)是某個(gè)復(fù)雜 JOIN 查詢被錯(cuò)誤地路由到了從庫(kù)而該從庫(kù)因延遲積壓了 37 秒導(dǎo)致訂單狀態(tài)頁(yè)面大面積超時(shí)。這些都不是配置沒(méi)填對(duì)而是對(duì) ShardingSphere 讀寫分離背后那套動(dòng)態(tài)路由決策鏈缺乏基本認(rèn)知。ShardingSphere 的讀寫分離本質(zhì)不是靜態(tài)分流而是一套嵌入在 SQL 解析、執(zhí)行計(jì)劃生成、連接池管理全流程中的上下文感知型路由引擎。它不只看“SELECT 還是 INSERT”還要判斷這條 SQL 是否涉及未同步完成的寫后讀Read-After-Write、是否包含跨庫(kù)關(guān)聯(lián)比如JOIN t_order ON t_user.id t_order.user_id、是否命中了強(qiáng)制主庫(kù)的 Hint如/* shardingSphere: hint: writeRouteOnlytrue */甚至還要結(jié)合當(dāng)前各從庫(kù)的實(shí)時(shí)延遲、連接數(shù)、負(fù)載水位做加權(quán)調(diào)度。這已經(jīng)超出了傳統(tǒng)中間件“簡(jiǎn)單代理”的范疇更接近一個(gè)輕量級(jí)的數(shù)據(jù)庫(kù)流量治理中樞。關(guān)鍵詞里雖然沒(méi)寫但實(shí)際落地中繞不開(kāi)三個(gè)核心概念邏輯庫(kù)Logical Database、數(shù)據(jù)源Data Source和負(fù)載均衡策略Load-Balance Algorithm。邏輯庫(kù)是你在應(yīng)用代碼里寫的jdbc:mysql://xxx/sharding_db它背后映射的是一個(gè)主庫(kù) N 個(gè)從庫(kù)的物理集合數(shù)據(jù)源則是每個(gè)物理庫(kù)的 JDBC 連接定義而負(fù)載均衡策略才是決定“哪條 SELECT 最終落到哪個(gè)從庫(kù)”的最終裁決者。很多人卡在第一步就是誤以為只要把master-slave-rules配好就萬(wàn)事大吉卻忽略了策略選型本身就是一個(gè)需要反復(fù)驗(yàn)證的工程決策。比如輪詢ROUND_ROBIN看似公平但在高并發(fā)短連接場(chǎng)景下由于連接池復(fù)用率低實(shí)際效果可能遠(yuǎn)不如基于響應(yīng)時(shí)間的WEIGHT策略穩(wěn)定。提示ShardingSphere 并不會(huì)主動(dòng)探測(cè)從庫(kù)延遲。它依賴你配置的replica-query-delay-threshold-ms參數(shù)默認(rèn) 0僅當(dāng)顯式開(kāi)啟并設(shè)置閾值后才會(huì)在路由前檢查SHOW SLAVE STATUS中的Seconds_Behind_Master。這意味著如果你沒(méi)開(kāi)這個(gè)開(kāi)關(guān)哪怕從庫(kù)已落后 5 分鐘ShardingSphere 依然會(huì)照常把讀請(qǐng)求發(fā)過(guò)去——故障不是出在配置而是出在對(duì)機(jī)制的誤判。我曾在某電商促銷系統(tǒng)中遇到一個(gè)典型反例團(tuán)隊(duì)為追求極致吞吐將load-balance-algorithm-type設(shè)為RANDOM理由是“避免熱點(diǎn)”。結(jié)果大促開(kāi)始 12 分鐘后監(jiān)控顯示一臺(tái)從庫(kù) CPU 持續(xù) 98%其余兩臺(tái)不到 30%。排查發(fā)現(xiàn)RANDOM算法在連接池初始化階段會(huì)一次性創(chuàng)建大量連接而該從庫(kù)恰好位于網(wǎng)絡(luò)延遲最低的可用區(qū)DNS 解析優(yōu)先返回其 IP導(dǎo)致連接池初始連接大量集中于此。這不是算法缺陷而是沒(méi)理解RANDOM在連接建立階段的冷啟動(dòng)行為。后來(lái)我們切回WEIGHT并為每臺(tái)從庫(kù)配置了基于歷史 P95 延遲計(jì)算出的權(quán)重值如weight: 80,65,55負(fù)載才真正均勻下來(lái)。2. 配置不是填空題而是對(duì)數(shù)據(jù)一致性的契約聲明ShardingSphere 的 YAML 配置文件表面看是幾組 key-value實(shí)則是一份關(guān)于“你愿意為讀性能犧牲多少一致性”的正式契約。很多團(tuán)隊(duì)把sharding-sphere.yaml當(dāng)成數(shù)據(jù)庫(kù)連接字符串的擴(kuò)展版只填master-data-source-name和slave-data-source-names就提交上線結(jié)果在業(yè)務(wù)高峰期遭遇不可預(yù)知的臟讀。這不是框架 bug是你在配置里悄悄簽下了“允許讀取任意延遲從庫(kù)數(shù)據(jù)”的免責(zé)條款而自己渾然不覺(jué)。我們先拆解最核心的master-slave-rules區(qū)塊。它至少包含四個(gè)必須審慎決策的字段name邏輯數(shù)據(jù)源名稱如ds_master_slave。這個(gè) name 會(huì)出現(xiàn)在你的DataSourceBean 名稱和 SQL 日志里建議帶環(huán)境后綴如ds_master_slave_prod避免測(cè)試環(huán)境配置誤刷生產(chǎn)。master-data-source-name主庫(kù)數(shù)據(jù)源名必須與>load-balance-algorithm: type: WEIGHT props: # 權(quán)重值需為正整數(shù)總和無(wú)限制框架按比例分配 # 此處權(quán)重比為 4:3:2意味著 A 承擔(dān)約 44% 流量B 33%C 22% ds_slave_0: 4 ds_slave_1: 3 ds_slave_2: 2這個(gè)props下的鍵名必須與slave-data-source-names中的名稱完全匹配。我曾幫某金融客戶排查過(guò)一個(gè)詭異問(wèn)題他們配置了slave-data-source-names: ds_slave_a,ds_slave_b但props里寫的是slave_a: 5, slave_b: 3結(jié)果所有讀請(qǐng)求 100% 走了主庫(kù)。原因很簡(jiǎn)單——ShardingSphere 在WEIGHT算法初始化時(shí)遍歷props的 key發(fā)現(xiàn)slave_a不在slave-data-source-names列表中于是整個(gè)權(quán)重配置失效自動(dòng)降級(jí)為ROUND_ROBIN而ROUND_ROBIN又因列表為空slave-data-source-names解析失敗最終 fallback 到主庫(kù)。這種錯(cuò)誤不會(huì)報(bào)配置異常只會(huì)靜默降級(jí)非常隱蔽。注意WEIGHT算法的權(quán)重值是靜態(tài)的無(wú)法根據(jù)從庫(kù)實(shí)時(shí)負(fù)載動(dòng)態(tài)調(diào)整。如果你需要真正的自適應(yīng)負(fù)載均衡必須自行實(shí)現(xiàn)LoadBalanceAlgorithm接口并在props中指定type: com.xxx.CustomWeightAlgorithm。我們內(nèi)部封裝了一個(gè)基于 Prometheus 拉取node_exporterCPU/Network 指標(biāo) 本地緩存SHOW SLAVE STATUS延遲的動(dòng)態(tài)權(quán)重算法上線后從庫(kù) CPU 方差從 ±35% 降至 ±8%。另一個(gè)關(guān)鍵配置是props下的sql-show和executor-size。前者控制是否打印重寫后的 SQL調(diào)試必備但生產(chǎn)必須關(guān)后者決定底層ExecutorService的線程池大小。很多人設(shè)為200以為越大越好結(jié)果 GC 頻繁。真實(shí)經(jīng)驗(yàn)是executor-size應(yīng) ≈ 主庫(kù)最大連接數(shù) × 1.2。因?yàn)?ShardingSphere 的 SQL 執(zhí)行是異步的線程池負(fù)責(zé)分發(fā)任務(wù)而非直接執(zhí)行 SQL。線程數(shù)過(guò)多反而導(dǎo)致上下文切換開(kāi)銷劇增。我們?cè)谝粋€(gè) 32 核服務(wù)器上將executor-size從 200 降到 48 后P99 延遲下降了 22ms。3. SQL 路由的隱性規(guī)則哪些查詢注定無(wú)法走從庫(kù)ShardingSphere 的讀寫分離不是“所有 SELECT 都走從庫(kù)”它有一套嚴(yán)格的 SQL 語(yǔ)義分析規(guī)則決定某條查詢是否具備“可路由到從庫(kù)”的資格。很多開(kāi)發(fā)者抱怨“配置明明生效了但監(jiān)控里從庫(kù)流量幾乎為零”根本原因往往是業(yè)務(wù) SQL 觸發(fā)了框架的“安全熔斷”機(jī)制。這不是 Bug而是設(shè)計(jì)者對(duì)數(shù)據(jù)一致性的敬畏。我們來(lái)逐條拆解那些會(huì)讓 SQL強(qiáng)制路由到主庫(kù)的典型場(chǎng)景3.1 寫后讀Read-After-Write場(chǎng)景的自動(dòng)保護(hù)這是最常被忽視的隱性規(guī)則。假設(shè)用戶剛完成一筆支付代碼中緊跟著查詢?cè)撚唵巫钚聽(tīng)顟B(tài)// 第一步更新訂單狀態(tài)為 PAID orderMapper.updateStatus(orderId, PAID); // 第二步立即查詢?cè)撚唵卧斍楹钚聽(tīng)顟B(tài) Order order orderMapper.selectById(orderId);即使第二步是純 SELECTShardingSphere 也會(huì)將其路由到主庫(kù)。原理在于框架在事務(wù)上下文中維護(hù)了一個(gè)writeDataSourceNames緩存記錄本次事務(wù)中發(fā)生過(guò)寫操作的數(shù)據(jù)源名稱。當(dāng)后續(xù) SELECT 執(zhí)行時(shí)它會(huì)檢查該 SQL 的table和where條件是否與緩存中的寫操作存在強(qiáng)關(guān)聯(lián)如相同主鍵、相同分片鍵。一旦匹配立即觸發(fā)“寫后讀保障”強(qiáng)制走主庫(kù)。這個(gè)機(jī)制默認(rèn)開(kāi)啟無(wú)法關(guān)閉——因?yàn)殛P(guān)閉意味著你主動(dòng)放棄強(qiáng)一致性。驗(yàn)證方法很簡(jiǎn)單在sharding-sphere.yaml中開(kāi)啟sql-show: true觀察日志。你會(huì)看到類似這樣的輸出Actual SQL: ds_master ::: SELECT * FROM t_order WHERE order_id ?注意Actual SQL后面的ds_master這就是路由決策的鐵證。如果期望它走從庫(kù)唯一辦法是打破事務(wù)邊界將更新和查詢拆成兩個(gè)獨(dú)立事務(wù)或在查詢前手動(dòng)清除上下文不推薦易引發(fā)其他一致性問(wèn)題。3.2 復(fù)雜 DML 語(yǔ)句的副作用INSERT ... SELECT、UPDATE ... JOIN、DELETE ... LIMIT這類語(yǔ)句表面是讀操作實(shí)則隱含寫意圖。ShardingSphere 的 SQL 解析器基于 Antlr4會(huì)識(shí)別其 AST抽象語(yǔ)法樹(shù)中的InsertSelectStatement、UpdateStatement等節(jié)點(diǎn)類型一旦檢測(cè)到直接標(biāo)記為“寫操作”路由到主庫(kù)。某次我們優(yōu)化報(bào)表導(dǎo)出將一個(gè)SELECT COUNT(*) FROM t_log WHERE create_time ?改為INSERT INTO t_report_cache SELECT ...結(jié)果導(dǎo)出接口 QPS 斷崖式下跌——因?yàn)樗袑?dǎo)出請(qǐng)求都擠在主庫(kù)上。解決方案是改用物化視圖或定時(shí)任務(wù)預(yù)計(jì)算而非在查詢路徑中混入寫邏輯。3.3 Hint 強(qiáng)制指令的絕對(duì)權(quán)威/* shardingSphere: hint: writeRouteOnlytrue */這類注釋是 ShardingSphere 提供的“上帝模式”。它會(huì)覆蓋所有路由規(guī)則強(qiáng)制走主庫(kù)。我們?cè)盟鉀Q一個(gè)棘手問(wèn)題某第三方支付回調(diào)接口要求 500ms 內(nèi)返回 HTTP 200但回調(diào)后需立即查詢訂單并觸發(fā)發(fā)貨。由于發(fā)貨服務(wù)依賴強(qiáng)一致數(shù)據(jù)我們就在回調(diào) SQL 前加上此 Hint確保萬(wàn)無(wú)一失。但要注意Hint 是侵入式方案必須修改業(yè)務(wù)代碼且容易被后續(xù)開(kāi)發(fā)者遺忘。我們內(nèi)部約定所有含 Hint 的 SQL 必須在代碼旁添加// TODO: 待從庫(kù)延遲 100ms 后移除注釋并接入 SonarQube 掃描對(duì)超過(guò) 30 天未清理的 Hint 發(fā)送企業(yè)微信告警。3.4 全局臨時(shí)表Global Temporary Table的陷阱ShardingSphere 支持通過(guò)CREATE GLOBAL TEMPORARY TABLE創(chuàng)建全局臨時(shí)表其數(shù)據(jù)在會(huì)話間共享。但這類表的讀寫操作框架一律路由到主庫(kù)。原因是臨時(shí)表元數(shù)據(jù)只存在于主庫(kù)從庫(kù)無(wú)法保證其結(jié)構(gòu)一致性。某次數(shù)據(jù)遷移腳本中開(kāi)發(fā)同學(xué)為加速處理創(chuàng)建了tmp_user_batch臨時(shí)表存放待處理用戶 ID然后SELECT * FROM tmp_user_batch JOIN t_user—— 結(jié)果整個(gè) JOIN 查詢被路由到主庫(kù)拖垮了主庫(kù) IO。教訓(xùn)是臨時(shí)表只應(yīng)用于極簡(jiǎn)場(chǎng)景如單表INSERT/SELECT嚴(yán)禁用于復(fù)雜關(guān)聯(lián)查詢。4. 延遲監(jiān)控不是錦上添花而是故障預(yù)警的生命線在 ShardingSphere 讀寫分離架構(gòu)中從庫(kù)延遲Replication Lag是比 CPU、內(nèi)存更關(guān)鍵的黃金指標(biāo)。CPU 90% 可能只是暫時(shí)抖動(dòng)但從庫(kù)延遲突破閾值意味著你正在向業(yè)務(wù)輸送過(guò)期數(shù)據(jù)。很多團(tuán)隊(duì)直到用戶投訴“剛付款訂單狀態(tài)還是待支付”才去查延遲此時(shí)故障已發(fā)生數(shù)小時(shí)。一套可靠的延遲監(jiān)控體系必須覆蓋三個(gè)層面SQL 層、連接層、系統(tǒng)層。4.1 SQL 層SHOW SLAVE STATUS的精準(zhǔn)解析這是最直接的延遲來(lái)源。ShardingSphere 默認(rèn)通過(guò)執(zhí)行SHOW SLAVE STATUS獲取Seconds_Behind_Master字段。但這個(gè)值有嚴(yán)重局限它只反映 IO 線程的延遲不包含 SQL 線程的執(zhí)行耗時(shí)。在高并發(fā)寫入場(chǎng)景下SQL 線程可能積壓大量事件Seconds_Behind_Master卻顯示為 0。我們因此開(kāi)發(fā)了一個(gè)增強(qiáng)版探針在SHOW SLAVE STATUS基礎(chǔ)上額外執(zhí)行SELECT UNIX_TIMESTAMP() - UNIX_TIMESTAMP(apply_time) FROM performance_schema.replication_applier_status_by_coordinatorMySQL 5.7直接獲取 SQL 線程的實(shí)際應(yīng)用時(shí)間差。這個(gè)值比Seconds_Behind_Master平均早暴露故障 4.2 分鐘。監(jiān)控配置的關(guān)鍵參數(shù)是replica-query-delay-threshold-ms。它的單位是毫秒但含義常被誤解。它不是“延遲超過(guò)此值就拒絕讀請(qǐng)求”而是“延遲超過(guò)此值時(shí)該從庫(kù)不參與負(fù)載均衡”。也就是說(shuō)如果閾值設(shè)為10001秒而某從庫(kù)延遲為1500msShardingSphere 會(huì)將其從slave-data-source-names列表中臨時(shí)剔除后續(xù)請(qǐng)求只在剩余從庫(kù)中分配。這個(gè)機(jī)制是軟性的不會(huì)導(dǎo)致請(qǐng)求失敗但會(huì)加劇其他從庫(kù)壓力。我們的生產(chǎn)配置是500配合告警策略延遲 500ms 持續(xù) 30 秒企業(yè)微信告警 1000ms 持續(xù) 10 秒電話告警。4.2 連接層連接池健康度的隱形殺手從庫(kù)延遲不僅來(lái)自 MySQL 自身更常源于連接池配置不當(dāng)。HikariCP 是 ShardingSphere 官方推薦的連接池但其connection-timeout和validation-timeout參數(shù)若設(shè)置不合理會(huì)引發(fā)連鎖反應(yīng)。例如connection-timeout: 3000030秒意味著當(dāng)從庫(kù)因高負(fù)載無(wú)法及時(shí)響應(yīng)建連請(qǐng)求時(shí)HikariCP 會(huì)等待整整 30 秒才拋異常。這 30 秒內(nèi)所有新請(qǐng)求都會(huì)堆積在連接池隊(duì)列里造成雪崩。我們的標(biāo)準(zhǔn)配置是hikari: connection-timeout: 3000 # 3秒超時(shí)快速失敗 validation-timeout: 2000 # 2秒驗(yàn)證超時(shí) idle-timeout: 600000 # 10分鐘空閑回收 max-lifetime: 1800000 # 30分鐘最大生命周期規(guī)避 MySQL wait_timeout特別注意max-lifetime。MySQL 默認(rèn)wait_timeout288008小時(shí)但云廠商 RDS 常將其調(diào)低至 300 秒5分鐘。如果 HikariCP 連接存活時(shí)間超過(guò)此值連接會(huì)被 MySQL 主動(dòng)斷開(kāi)而 HikariCP 不會(huì)立即感知導(dǎo)致后續(xù)請(qǐng)求拿到無(wú)效連接報(bào)Connection reset錯(cuò)誤。我們將max-lifetime設(shè)為wait_timeout - 60秒留出緩沖窗口。4.3 系統(tǒng)層網(wǎng)絡(luò)與磁盤 I/O 的底層真相有時(shí)SHOW SLAVE STATUS顯示延遲為 0但業(yè)務(wù)仍感知到數(shù)據(jù)不一致。這時(shí)必須深入系統(tǒng)層。我們用pt-heartbeat工具在主庫(kù)定時(shí)插入心跳記錄在從庫(kù)查詢?cè)撚涗浀臅r(shí)間差這是業(yè)界公認(rèn)的最準(zhǔn)延遲測(cè)量法。同時(shí)我們監(jiān)控從庫(kù)的iostat -x 1輸出重點(diǎn)關(guān)注await平均IO等待時(shí)間和%util設(shè)備利用率。當(dāng)%util持續(xù) 95% 且await 50ms時(shí)基本可判定是磁盤 I/O 瓶頸。某次故障中從庫(kù)%util達(dá)到 99.8%但Seconds_Behind_Master為 0pt-heartbeat卻顯示延遲 8.3 秒。根因是 RAID 卡電池老化寫緩存被禁用所有寫操作變?yōu)橥铰浔P拖垮了 SQL 線程執(zhí)行速度。更換 RAID 卡后延遲歸零。提示不要依賴單一監(jiān)控指標(biāo)。我們構(gòu)建了一個(gè)“延遲健康度評(píng)分卡”綜合Seconds_Behind_Master、pt-heartbeat延遲、iostat await、HikariCP activeConnections四個(gè)維度加權(quán)計(jì)算出 0-100 分。分?jǐn)?shù) 60 時(shí)自動(dòng)觸發(fā)預(yù)案將該從庫(kù)權(quán)重臨時(shí)設(shè)為 0并通知 DBA 緊急介入。5. 故障復(fù)盤一次從庫(kù)全掛的真實(shí)排查鏈路去年雙十二前壓測(cè)我們?cè)庥隽艘淮蔚湫偷摹皬膸?kù)集體失聯(lián)”事件?,F(xiàn)象是所有讀請(qǐng)求 100% 路由到主庫(kù)主庫(kù) CPU 爆表從庫(kù)監(jiān)控顯示連接數(shù)為 0但SHOW SLAVE STATUS一切正常。整個(gè)排查過(guò)程耗時(shí) 47 分鐘最終定位到一個(gè)反直覺(jué)的根源。我把完整鏈路還原出來(lái)因?yàn)樗昝勒故玖?ShardingSphere 讀寫分離中配置、網(wǎng)絡(luò)、JDBC 驅(qū)動(dòng)、MySQL 參數(shù)四者如何環(huán)環(huán)相扣。5.1 現(xiàn)象確認(rèn)先排除最可能的錯(cuò)誤第一步確認(rèn)是否配置錯(cuò)誤。檢查sharding-sphere.yamlslave-data-source-names明確列出ds_slave_0,ds_slave_1,ds_slave_2load-balance-algorithm-type為WEIGHTprops權(quán)重值也正確。接著用telnet測(cè)試從庫(kù)端口連通性全部Connected。再登錄從庫(kù)執(zhí)行SHOW PROCESSLIST發(fā)現(xiàn)大量Sleep狀態(tài)連接說(shuō)明連接確實(shí)建立了但沒(méi)有 SQL 請(qǐng)求進(jìn)來(lái)。此時(shí)我們高度懷疑是 ShardingSphere 的路由模塊出了問(wèn)題。5.2 日志深挖發(fā)現(xiàn)連接池的沉默異常開(kāi)啟sql-show: true和props.sql-show: true重啟服務(wù)。日志中只看到主庫(kù)的Actual SQL完全不見(jiàn)從庫(kù)。這證實(shí)了路由失效。我們轉(zhuǎn)而查看 HikariCP 的 DEBUG 日志發(fā)現(xiàn)關(guān)鍵線索HikariPool-1 - Cannot acquire connection from data source: java.sql.SQLNonTransientConnectionException: Could not create connection to database server.但奇怪的是這個(gè)異常只在啟動(dòng)時(shí)出現(xiàn)一次之后日志一片寂靜。我們意識(shí)到HikariCP 在連接失敗后會(huì)進(jìn)入指數(shù)退避重試而默認(rèn)重試間隔長(zhǎng)達(dá)數(shù)分鐘。于是我們手動(dòng)觸發(fā)一次讀請(qǐng)求同時(shí)tcpdump抓包tcpdump -i any port 3306 -w slave_debug.pcap抓包結(jié)果顯示應(yīng)用服務(wù)器向從庫(kù) IP 發(fā)送了 TCP SYN 包但從庫(kù)沒(méi)有任何響應(yīng)SYN-ACK。這說(shuō)明問(wèn)題不在 ShardingSphere而在網(wǎng)絡(luò)或從庫(kù)本身。5.3 網(wǎng)絡(luò)層穿透防火墻的隱形攔截我們登錄從庫(kù)服務(wù)器執(zhí)行iptables -L -n -v發(fā)現(xiàn) INPUT 鏈中有一條規(guī)則0 0 DROP tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:3306這條規(guī)則是上周安全加固時(shí)運(yùn)維同學(xué)為“禁止所有未授權(quán)訪問(wèn)”而添加的。但疏忽了ShardingSphere 的連接是從應(yīng)用服務(wù)器發(fā)起的而應(yīng)用服務(wù)器的 IP 段未被加入白名單。更致命的是這條DROP規(guī)則排在ACCEPT規(guī)則之前導(dǎo)致所有 3306 端口請(qǐng)求被靜默丟棄。telnet能連通是因?yàn)樗粰z測(cè) TCP 握手而telnet成功后立即斷開(kāi)不發(fā)送任何 MySQL 協(xié)議數(shù)據(jù)而 HikariCP 在建連后會(huì)發(fā)送Handshake Initialization Packet這個(gè)包被防火墻攔截所以連接池認(rèn)為“連接建立失敗”。5.4 根因閉環(huán)JDBC 驅(qū)動(dòng)的超時(shí)陷阱為什么telnet能通而 JDBC 連接失敗我們對(duì)比了telnet和 JDBC 的建連行為。telnet的 TCP 握手超時(shí)是操作系統(tǒng)級(jí)別的通常 30 秒而 MySQL JDBC 驅(qū)動(dòng)mysql-connector-java有自己的connectTimeout參數(shù)默認(rèn)為 0無(wú)限等待。當(dāng)防火墻靜默丟棄 SYN 包時(shí)JDBC 驅(qū)動(dòng)會(huì)一直等待 SYN-ACK直到操作系統(tǒng) TCP 重傳超時(shí)約 3 分鐘才拋出異常。這解釋了為何 HikariCP 日志只在啟動(dòng)時(shí)報(bào)錯(cuò)一次——它在首次建連失敗后就進(jìn)入了長(zhǎng)達(dá)數(shù)分鐘的重試等待期間不再嘗試新連接。最終解決方案是三管齊下運(yùn)維緊急修改防火墻規(guī)則將應(yīng)用服務(wù)器網(wǎng)段加入白名單在 JDBC URL 中顯式添加connectTimeout3000socketTimeout30000確保快速失敗在 ShardingSphere 配置中為每個(gè)從庫(kù)數(shù)據(jù)源增加props: { connectTimeout: 3000 }讓框架層也具備超時(shí)感知能力。這次故障教會(huì)我們一個(gè)鐵律在分布式系統(tǒng)中任何一個(gè)環(huán)節(jié)的靜默失敗Silent Failure都比明確報(bào)錯(cuò)更危險(xiǎn)。ShardingSphere 的優(yōu)雅降級(jí)機(jī)制如連接失敗時(shí) fallback 到主庫(kù)本是優(yōu)點(diǎn)但在監(jiān)控缺失時(shí)會(huì)掩蓋底層真實(shí)的網(wǎng)絡(luò)或配置問(wèn)題。因此我們后續(xù)強(qiáng)制要求所有生產(chǎn)環(huán)境的slave-data-source-names必須配置health-check子項(xiàng)啟用ping探活并將探活結(jié)果接入 Prometheus與Seconds_Behind_Master一起構(gòu)成多維健康視圖。6. 生產(chǎn)就緒 checklist一份可直接抄作業(yè)的核對(duì)清單經(jīng)過(guò)數(shù)十個(gè)項(xiàng)目的錘煉我們總結(jié)出一份 ShardingSphere 讀寫分離的生產(chǎn)就緒 checklist。它不是理論羅列而是每一項(xiàng)都對(duì)應(yīng)過(guò)真實(shí)踩坑現(xiàn)場(chǎng)。你可以把它打印出來(lái)貼在顯示器邊框上每次上線前逐條核對(duì)。6.1 配置層12 項(xiàng)必檢硬指標(biāo)檢查項(xiàng)合規(guī)標(biāo)準(zhǔn)違規(guī)后果實(shí)測(cè)案例1. 數(shù)據(jù)源名稱一致性master-data-source-name和slave-data-source-names中的名稱必須與>
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色婷婷五月天激情| 热久久这里只有精品| 亚洲成人AV在线播放| a久久| 亚洲综合另类| AA丁香综合激情| 亭亭丁香aV| 日韩成人无码| 99亚洲精品| 激情综合五| 久久婷色| 婷婷色情六月| 青青热视频| 99国产精品久久久久久久久久久| 五月婷婷之美女图片| 狠狠色噜噜狠狠亚洲A∨| 色婷婷五月天小说网| 色日本颜射| 婷婷激情五月综合丁| 91超级碰人人操| 五月天激情无码| 999精品乱码77777| 操操啪| 日日懆天天懆| 91爱啪啪| 九九综合九色欧美狠狠| wwwss在线观看| 天天色五月| 97caop| 精品久久艹| 人人澡玖玖一| 美女久久婷婷| 九九综合色| 狠狠色丁香婷婷基地| 色五月在线综合| 日本精品99网站| 噜噜综合网| 久久久天堂国产精品女人| 日本婷婷色日| 精品无码色| 九月婷婷人人操人人舔人人爱| 午夜九九九九九九九九九九九九九| 色停停香蕉视频| 亚洲欧美成人在线| 69色婷婷| 伊人成人宗合网| www一起操在线观看| 操91| 丁香五月婷婷视频| 六月婷婷七月丁香| 激情综合网址| 99精品在线观看| 婷婷五月天久久| 色六月天天激情综合网| 久色激情| 97日本在线播放| 九九热黄色| 射久久丁香五月| AV在线二十六页| 色色色综合| 小视频aaa久久久| 日本精品人妻无码77777| 久久思思精品| 五月人妻婷婷| 午夜色丁香| 久久人妻精品| 九月激情综合| 综合一本道| 色视频2025| 日韩操啪| 无人区码一码二码三码医生系列| 久久五月天婷婷| 97婷婷五月| 亚洲超级碰| 国内一级片| 成人免费在线电影| 亚洲热久久| 99精品视频在线6| 狠狠久久婷婷| 亚州第一黄网| 国产AV一区二区三区日韩| 日熟女| 六月婷婷色宗合| 丁香五月激情啪啪| 日韩啪啪视频| 激情五月综合| 五月天激情AV| 天天擼久久擼在线| hd五月婷婷在线| 九九香蕉网| 国产小网站| 日韩成人中文| 国产午夜成人免费看片无遮挡| 人人澡玖玖一| 亚洲男女激情| 激情5月舔| 国产午夜精品一区二区| www.爱婷婷.com| 96精品成人无码A片观看金桔| 99精品自拍视频| 丁香五月婷婷色偷偷| 国产视频久色| 另类色视频| 欧美五月婷婷| 九九99九九99九九99视频网| 91九色欧美| 亚洲九九99精品视频在线播放| 99在线精品观看99| 婷婷五月综合在线| 色啪网| 亚洲九九视频| 欧美黄色韩日网| 五月丁香婷婷婷婷综合网| 亭亭五月丁香综合欧美| 97久久视频| 99碰碰碰| 日韩婷久| 激情五月婷黄版| 久久探花91swag| 无码人妻精品一区二区蜜桃色欲| 狠狠精品干练久久久无码中文字幕| 激情综合婷婷| www.激情| 亚洲va成人va成人va在线观看| 玖玖综合色| www.天天干| 丁香五月婷婷在线观看| 这里只有精品免费视频| 久久黄色片| 婷婷丁香五月欧美人| 久久网站观看免费欧洲国产| 久久久97| 97在线精品| 97色97干| 色婷亚洲| 丁香婷婷色色| 五月丁香婷婷综合网| 久久一操| 日韩在线观看亚洲| 91男同| 九月丁香| 久久性爱视频免费| 色婷婷丁香AV综合| 久久这里只| 五月婷婷久草在线视频综合| 亚洲视频色婷婷| 九九热精品| 久久性爱视频| 六月婷婷av| 五月天开心色情网| 日本狠狠干| 日本久久99| 亚洲亚洲人成综合网络| 亚洲图片 丁香婷婷| 丁香五月婷婷综合激情啪啪啪| 91丁香色五月| 182TV大香蕉| 天天综合 99久久婷婷| wWW九九在线播放| 婷婷97碰碰| 国产精品大香蕉| 欧美情月伍月天| 极品色丁香| 一区二区中文字幕| 婷婷五月天首页| 色五月六月婷婷| 五月开行婷婷色五月| 五月天精品视频| 99只有这里有精品在线视频| 九月色婷婷| 亚洲色五月| 激情五月婷婷| 四虎国产精品永久在线国在线| 成人国产欧美大片一区| 伊人大香蕉综合在线| 亚洲啪啪网| 99热精品观看| 色久在| 五月丁香六月婷婷在线播放| 天天干天天插| 丁香色五月 97干| 亚洲精品无码一区二区| 99re资源在线视频导航| 久青操| 99精品视频在线观看免费| 五月人人丁香婷婷五月人人丁香| 黄色AAAAA| 玖玖资源在线视频| 久久激情五月婷婷| 最新婷婷五月丁香| 五月婷婷激情久久| 久久九九99字幕| 欧美色五月天| 丁香六月激情综合| 67194线路二在线观看| 久久九九一區| 一区色色色色网| 99热这里只有精品23| 青草激情在线| 久99久视频| 国产精品18久久久| 综合网啪| 天天婷婷天天| 日狠狠| 日本五月婷婷| 日本在线观看aaa 99| 色五月婷婷AV| 丁香激情合作五月| 久久综合丁香| 97caop| 五月天婷婷久草丁香| 婷婷五月大| 婷婷五月天性| 久久婷婷六月综合| 激情超碰网| 五月丁香花激情啪啪网| 六月丁香五月婷婷首页| 激情网五月天| 亚洲色图欧美色图日本视频| 九月丁香婷婷综合| 婷婷综合爱| 色婷婷导航| 婷婷丁香九色| 五月丁香手机在线| 婷婷狠狠干| 狠狠的日| 亚州成人综合在线| 五月婷婷色播视频| 99性爱| 2018国产大陆天天弄| AV在线收看| 99er免费在线观看| 综合成人小说婷婷| 中文字幕无线久必| jiujiu热在线视频| 五月丁香色婷婷| 国产成人精品亚洲线观看| 丁香久月婷| 六月丁香深深爱| 婷婷婷婷婷开心无码播放| 久草热在线视频| 微拍92| sesesesezonghe| 可以免费看AV网站| 丁香五月六月| www99久久| 99热这里只有国产精品| 色婷久久| 久99在线视频| 一级性爱视频| 久久婷婷丁香花综合网| 五月天无码| 人人摸人人| 影音先锋日本三级资源| 99热九九这里只有精品| 亚洲性爱电影| av免费在线网站| 很很干在线视频| 亚洲精品视频在线播放| av操一操| 日本熟女一区二区| 五月婷婷综合视频| 五月天综合在线| 综合久久五月天| 国产精品色情AAAAA片软件| 欧美三级欧美一级| 五月丁香偷拍| 黄色片区子| 欧美成人猛片AAAAAAA| 99热青青草| 这里只有精品久| 婷婷五月天成人基地| Av性爱网站| 国产亚洲在线观看| 日本99在线视频| 九九色黄色| 丁香婷婷久久激情| AA丁香综合激情| 在线日韩av| 99热这里只有精品23| 久操大香蕉| 中文字幕人妻AV| 久久狠狠色| 日本九九九九| 他改变了拜占庭| aa久久| 9热在线视频| 六月天丁婷婷| 欧美A片在线视频免费观看| 性小说五月天| 亚洲乱码精品久久久久..| 伊人婷婷五月天| 99热日| 国产操逼网站| 五月婷婷丁香俺日污视频| 青青草视频免费观看| 99热大全在线观看| 中文字幕在线观看视频www| 97热久久五月婷婷| 色偷偷五月天| WWW免费视频碰碰碰碰| 99热免费在线| 日韩激情网站| 成人丁香五月天Av| 9久热免费视频99| 成人短视频在线免费观看| 久久精品五月| 97色啪| 日本天堂免费99| 可以观看的AV| 丁香花成人区| 色婷婷狠| 色婷婷五月色| 九九视频在线观看| 二人电影免费版在线观看| 大香蕉久| 久久九九免费大视频| 啪啪91| 五月天丁香六月综合| 亚洲另类电影| www.99热这里精品| 97碰| 99色在线观看免费| 无遮挡国产高潮视频免费观看| 五月综合视频在线| 内射爽无广熟女亚洲| 激情婷婷丁香五月| 五月丁香婷婷钟和色图| 99精品在这里| 婷婷情色五月天| 久久婷婷激情| 99er免费在线观看| 五月草影视| 一级视频网址| 久久五月天网| 91精品综合久久久久久五月丁香| a网站免费观看| 六月激情婷婷综合| 亚洲精品无码一区二区| 天天天天做夜夜夜夜做| 97在线日本| 五月天激情小说网| 久久五月婷婷电影| 操操操97| 人人操人人爱丁香五月| 亚洲一级AV在线免费播放| 99爱视频| 青青草轻轻操| 日本99久久| 五月婷婷开心激情六月蜜桃| 一级韩国产精品毛| 五月色婷婷影院| 91网站黄| 丁香六月激情综合| 丁香五月欧美激情| www91在线| 日韩另类| 婷婷性爱无码视频| 99在线播放| 久碰婷婷视频| 五月丁香拍拍激情综合| 色色丁香五月天社区| 99热大香蕉| xxxx五月激情| 性爱五月婷| www.精品99| 激情综合色| 黄急一级视频| 激情网五月天| 99成人网站| 丁香婷婷影院| 色婷婷综合网站| 99热精在线九九久久保| 六月丁香婷婷爱| 日本色视| 99热 免费| 丰滿爆乳一区二区三区| 99这里有精品视频| 丁香五月婷婷动漫视频| 久re热视频| 丁香婷婷基地| 另类小说激情五月天| 久久精品9| 大地9中文在线观看免费高清| 综合婷婷五月丁香在线观看| jiujiu热在线视频| 国产AV网页| 国产在线中文字幕| 99视频在线观看视频| 玖玖精品婷婷| 国精产品一区一区三区免费视频| 婷婷五月天网址| 亚洲成色综合网站免费观看| 香蕉五月婷婷| 婷婷激情六月| 丁香婷婷婷五月| 亭亭色色五月天| 狠狠色色色| 成人电影AV在线观看| 五月天六月天| 婷婷丁香www视频日本韩国| 26uuu国产| 久久国产色| 久久老码第一| 91视频一起草| 91av色色乱视频| 开心激情综合| 婷婷五月天开心激情网| 99久热这里有精品| 激情综合区| 五月婷婷自拍视频| 超碰免费大香蕉| 婷婷丁香中文字幕| 五月天色不卡| 久热这里只有| 九色色| 99婷婷| 无码人妻一区二区一牛影视| 激情综合网激情五月天| 高清视频一区| 特级西西4444www无码| 538久久| 激情亭亭五月| 婷婷五月天丁香综合网| 香蕉久久国产AV一区二区| 丁香婷婷激情| 日日做夜夜爱| 99久久这里只有精品免费官网| 婷婷丁香成人五月天| 丁香五月激情久久麻豆| 色激情五月天| 激情五月综合网最新| 99热久久这里只有精品2010| 九久9精品| 久久99三级在线视频| 99色爱| 丁香成人五月天| 天天综合久久| 草综合14| 天天插天天| 久久五月丁香婷婷| 99热青青草| 日本在线wwww| 色五月色开心开心五月| 99视频只有精品| www.91婷婷| 99er精品视频| 丁香六月无码| 五月花成人网| 亚洲国产婷婷色五月| 色玖玖玖| 九九九九九九九九九九九九九国产精品| 色色色综合网| 婷婷丁香六月| 99热亚洲精品| 大香蕉伊人久久| 婷婷久久色| 五月丁香激情六月| 色五月婷婷啪啪五月| 久久久网站| www.久久爱.com| 亚洲成人AV在线| 日韩aⅴ视频| 99人妻碰碰久久久禁片| 亚洲国产精品二二三三区| 五月天另类激情在线| 天天爱天天做天天| 精品久久久人妻| 女力报到正好爱上你| 91视屏在线观看com.wwwvv| 亚洲五月天综合色| 精品一二三区视频立| 9999热在线观看| 爱狠射| 91久久18| 91丨人妻丨国产丨丝袜| 天天网曰日曰夜夜综合永久免费| 一本大道伊人AV久久综合| 亚洲操操操| 欧美色五月| 可以免费观看的AV| 婷婷亚洲色| 久久激情网| 日日天天干| 玖玖婷婷五月天| 亚洲五月婷| 五月天婷婷av| 五月婷婷丁香综合| 婷婷色网| 久久精品性爱| 天天日天天插| 成人精品一区日本无码网| 99∨VTV| 五月天激情小说| 69精品人人人人| 九九热精品视频| 婷婷综合| 夜夜谢天天干| 少妇性按摩无码中文A片| JAPANRCEP老熟妇乱子伦视频| 亚洲免费看片| 国产婷婷婷| 教师性爱毛片| 日本欧美999久久久三级片| 888久久久| 亚洲无aV在线中文字幕 | 97人人操人人爽| 五月婷婷色色色| 深爱五月激情| 日日影院 | 99久久九九视频| 色天使久久综合| 色婷婷呢狠禁久禁| 日韩精品99久久| 五月天狠狠色| 开心婷婷五月天综合| 久久这里在精品视频| 婷婷丁香久久五月综合| 亚洲视频丁香网va| 丁香五月综合网亚洲综合欧美狠狠| 狠狠草狠狠草| 日本久久天堂| 777精品久无码人妻蜜桃| 色五月婷婷777| 99热在线网站| 日本91在线| 久久99热这里| 手机免费福利视频| 99久热在线精品| 色色色成人网| 久久九九热视频| 26uuu成人网| 99狠狠| 五月天激情网图片| 色插人人| 99九无网码| 婷婷四月 成人 狠狠干| A色色| 第五色色色婷婷| 久月婷婷| http://www.com久久久精品一区| 久久婷婷五月天激情| 九九精品网站| 丁香五月色情| 五月天色综合| 搡BBBB搡BBB搡五十| 久碰久| 婷婷中文在线| 色五月六月婷婷| 综合网啪| 五月天婷婷成人网| 丁香五月WWW| 99操99| 日本成人小说婷婷六月| av久热| 激情内射人妻1区2区3区| 精品国产a| 狠狠干狠狠色| 开心激情网五月| 久久久99久久| 97超级碰| 色五月天.con| 五月天六月婷婷电影| 香蕉综合在线| 在线观看视频1区| 色婷婷免费视频| 开心日韩丁香婷婷五月| 99久久久久久| 丁香五月天91| 色色日韩| 久久人妻人人| 天天爽天天| 视频一区二区在线| 久久综合中文| 激情五月婷婷综合网| 狠狠色噜噜狠狠| 夜夜操天天干| 精品操逼一区二区| 久久无码激情视频| 99热在线只有精品| 99只有精品| 免费啪啪啪网站| 久久这里面只有精品视频| 婷婷色正月| 天天干天天插| 91干视频| 六月婷婷在线视频| 欧美精品中文字幕亚洲专区| 人人摸人人操人人爽| 日本97在线观看| 激情久久久| 激情文学五月丁香六月婷婷| .精品久久久麻豆国产精品| 14色综合婷婷| 天天色综合网1| 色婷婷综合网站| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 国色天香成人网| 射久久丁香五月| 米奇影视资源777狠狠色婷婷五月天激情网| 另类激情五月| 日本在线wwww| 国产在线另类五月婷婷| 99久久网站| 日本丁香久在线| 人人人操B超碰| 色婷婷九月| 99re热在线视频观看| 六月婷婷亚洲| 97精品人人A片免费看| 色综合久久天天综合网| 天天天天天天操| 一级AV片| 六月婷婷狠狠| 丁香婷婷社区| 亚洲成人高清在线| 婷婷五月天开心网| 亚洲综合色成丁香五月色| 精品国产va久久久久| 日本欧美国产| 午夜丁香六月婷| 狠狠操狠狠干综合| 538在线精品| 啪啪 综合网| 五月天婷婷影院影院观看| 91人久| 国产五月丁香在线| 九九激情网| 国产日韩av片| 五月天色五月| 大香伊人久色| 人人爽人人爽人人爽人人爽| 天天天干夜夜夜操| 婷婷九月丁香| 色婷婷久久综合| 婷婷玖玖丁香| 狠狠色综合精品视频在线| 色欲AVV| 日本噜噜色网| A片试看120分钟做受图片| se99高清无码| www夜夜| 97在线精品| 亚洲av综合网| 亚洲天堂啪啪| 国产精品视频| 久9热在线免费观看| 激情五月丁香在线观看直播| 人妻中文在线| 99re这里只有精品99| 99热最新| 狠狠干综合| 色五月大香蕉| 99ri视频| 丁香六月啪| 狼人婷婷综合| 五月天播播中文字幕| 丁香花婷婷五月天| 99视频| 百度4399有码精品V在线观看| 五月丁香六月激情欧美综合| 免费超碰在线| 天天影视天天爽天天草| 婷婷综合在线播放| 天天综合网91| 五月丁香综合| 色999五月色| 《战争与艾拉》完整版| 成人无码髙潮喷水A片| 九九色逼| 夜夜操狠狠操| 99这里只有精品视频免费| 一本色道久久综合狠狠躁小说| 黄色精品五月婷婷| 色区久久| 久久婷婷六月| 国产美女无遮挡裸体毛片A片 | 天天天操天天天日| 五月丁香啪。| 国产成人综合在线| 非洲一级AV| 超碰人妻在线| 丁香五月狠狠在线观看| 99热99艹在线观看| 深爱婷婷丁香五月激情| 九月久久婷婷| 激情四射五月天| 久久这里只有国产| 激情久久久| 色情播放| 五月深情久久| 五月激情婷婷综合| 五月丁香久久网| 成人国产欧美大片一区| 久热网站| www.久久爱.com| 婷婷五月丁香香蕉| 丁香婷婷五月天色播| 人人操人人妻| 日韩99视频| 人妻狠狠操| 免看黄大片AA | 色色色色色色色色色色色色色色,网站| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 亚洲中字AV电影在线网站| 丁香六月婷婷综合在线| 丁香五月电影院在线观看| 伊人干综合| 婷婷六月丁香在线| 色九九中文字幕| 五月丁香色综合| 综合激情伊人影视在线| 99丁香婷婷综合网| 欧美性爱五月天| 亚洲欧美婷婷五月色综合| 婷婷五月天影院| 五月四色色| 国产44页| 少妇高潮一区二区三区99欧美| 久久亚洲精品成人无码网站导航| 色五月av| 逼逼AV| 五月激情综合性爱| 涩五月婷婷| 天天色天天色天天色天天色天天色| 五月天久久网站| 婷婷五月综合在线| 丁香五月婷婷六月| 色啪网| 亚洲精品一二三| 欧美久久网| 五月丁香视频在线观看| www.激情五月天.con| 97精品综合久久| 九九热短视频在线观看 | 久久九九免费大视频| 九九色情网五月天| 五月天婷婷久久视频| 五月丁香做爱视频| 色噜噜狠狠色综合无码久久欧美| 内射 无码 伊人| 日本精品99| 丁香五月天啪啪激情综和网| 婷婷人人操| www.97视频| 综合激情在线| 欧美97p| 粉嫩av蜜桃av蜜臀av| 激情婷婷五月丁香啪啪啪| 亚洲激情综合网| 日韩操| 青草网在线观看| 五月综合激情图片| 五月天色色色| 欧美激情综合色综合啪啪五月| 五月丁香六月婷婷综合免| 一本色道久久88加勒比—| 9久久精品| 欧美黄色韩日网| 综合狠狠五月婷婷| 1024国产| 碰人人97| 国产亚洲精品久久久久久牛牛| 久久婷婷亚洲| 99精品这里只有免费视频| 99啊精典免费视频| 精品人妻伦九区久久AAA片| 九九99热| 五月婷婷六月丁香激情综合网| 欧美性爱中文字幕| 色婷婷基地 | 久久久99免费视频| 五月婷婷视频28| 色很很96| 激情婷婷九月| 无码AV久久久久久久久| 激情床戏| 五月婷婷婷婷婷| 婷婷丁香色五月亚洲| 丁香五月激情欧美| 五月天电影网| 99热日韩| 日本va视频| 涩综合在线| 色情久久久| 啪啪色激情五月天| 超碰在线网站9| 开心五月深爱五月| 欧美色久| 久久久久丁香婷婷五月天| 天天舔天天摸天天射| 欧美超级视频97| 日本91在线播放| 成人丁香| 91视频一起草| 很很干夜夜干| 婷婷 亚洲图片 丁香| 婷婷伊人网| www.91AV.com| 久久激情中文| 嫩草AV久久伊人妇女超级A| 99精品久久| 九九视频这里只有精品| 日韩综合大黄| 狠狠擼综合| 久热只有这里有精品| www.99热视频| 亚洲av无码精品色午夜| 夜色爱爱亚洲| www.99色在线| 婷婷五月激情黄色| 熟女少妇内射日韩亚洲| 五月天开心网| 九九色婷婷| 色欲天天综合网| 看片视频在线免费日产在线看| 热这里只有精| 天色色综合网| 日韩黄在免| 色五月综合| 综合网五月| 婷婷天堂综合| 99爱视频| 青草青青草| www.开心激情| 激情五月天www| 国产日日操夜夜操的肉棒视频| renrencaoav| 五月天婷婷爱丁香中文字幕| 婷婷五月天无码熟女| site:minyis.com| 色五月丁香五月激情五月激情| 色五月激情视频在线综合| 涩五月婷婷| 思思热天天看| 激情丁香婷婷六月天| 九九视频免费| 激情综合青草| 99久久国产宗和精品1上映| 成人必爱视| 亚洲色五月天在线| 久久久久久天天日天天爱| 丁香色色网| 亚洲激情综合| 五月综合亚洲色| 色婷婷色五月另类综合| 色9色| 五月激情开心婷婷| sewuyuejiqingwang| 天天操天天谢| 操一操| 激情五月天色婷婷| 国产婷婷五月色情综合| 另类激情首页| 97色啪| 翔田千里 50岁 无码| 成人网址在线观看| 色婷婷在线视频| 国产精品久久欧美久久一区| 亚洲愉拍99热成人精品| 久久九九思思| 黄色激情网站在线观看| 亚洲AV日韩AV永久无码网站| 色婷亚洲| 97干网站| 婷婷五月天堂网| 99极品视频| 五月天久久www| 天天爱夜夜爽| 欧美日韩成人在线网| 丁香婷婷五月天激情四射| 久久这里只有精品8| 国产精品久久久久久久久久| 激情五月婷婷综合秋霞| 久久99jiu9| 国内一级精品| 深爱婷婷基地| 色五月五月天| 六月婷婷在线| 久久婷婷网| 99热综合网| 天海翼中文字幕高| 久久国产AV| 日韩一级A片黄色| 婷婷五月天改成什么了| 99色一| 五月丁香五月婷婷| 五月天激情小说| 嫩草AV久久伊人妇女超级A| 青吴乐视频| 玖玖午夜视频| 98毛片| 99日这里只有精品| 九月婷婷色色| 丁香六月婷婷综合| 午夜微拍福利| 91超级碰在线| 色婷婷中文字母五月丁香| 激情www.98com| www.操.com| 婷婷六月色| 婷婷色五月91啪啪| 中文字幕欧美久久| 五月婷婷高清| 激情五月婷婷老师| 色三级色三级| 成人综合网站| 久草五月婷| 婷婷99狠狠| 五月丁香久久激情网| 性色天| 午夜天堂啪啪| 神马久久五月天| www热久久yy9| 月丁香久久久| 狠狠爱丁香婷| www.婷婷久久五月天| 五月花婷婷| 欧美日韩91| 五月丁香在线| 婷婷中文字幕| 99丁香五月婷| 五月色综合网| 国精产品一区二区三区| 丁香五月天天高清在线| m色激情网| 综合逼五月激情婷婷| 五月丁香手机在线| 久久婷婷综合国产| 天天爽天天爽视频| 在线综合91| 色婷婷五月天偷拍| 色婷婷AV在线| www.激情五月| 免费观看的av| 99精品在线| 九月色婷婷综合| 99这里有精品| 99在线播放| 色色爽爽天天| 色综合五月婷婷狠狠干| 天天干电影| 国产午夜精品AV一区二区麻豆| 午夜日韩久久久网站| 99操99| 色狠狠综合入口| www.天天干| 4399精品一区二区| 五月天合网| 人人草人人舔| 成人.在线日韩| 大香蕉九操| 狠狠激情五月天| 狠狠插狠狠插| 碰碰碰91| 久久99久久99精品免视看婷婷| 99色干| 九九综合88| 日日干综合| 99人妻碰碰碰久久久久禁片| 狠狠爱丁香婷| 色色影院aaaav| 婷婷久久丁香五月| 婷婷丁香久久网| 五月婷六月综合在线观看| 色综合天天| 一区二区三区四日本| 日韩婷婷| 狠狠干综合网| 午夜少妇在线观看视频| 久久99久久99精品免观看粉| www.成人婷婷综合| 夜精品无码A片一区二区蜜桃| 成人版视频在线观看| 99九九精品视频| 激情六月天| 99热人人| 色欲一区二区三区精品A片| 极品人妻VIDEOSSS人妻| 久久这里精彩免费在线观看| 丁香五月影院| 九热视频在线伦| 丁香婷婷射| 丁香五月电影| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 香蕉国产2013| 久久99jiu9| 99热99这里有免费的精品| 狠狠五月天| 99re视频在线播放| 狠狠色综合网| 99在线视频观看| 色五月av伊人| 丁香五月在线观看| 生活片五区| 思思热在线精品视频| 国产成人AV不卡| 九九精品这里只有| 操操啪| 9l视频自拍9l视频自拍九色学生| 五月婷婷婷婷网| 婷婷丁香红五月91C| 色噜噜,噜噜色| 99re久热只有精品6在线直播.com| 婷婷五月天无码视频| 六月婷婷中文字幕| 成人五月丁香社区| 99视频在线播放大全| 丁香五月性爱爱五月| 久 久9 9 热 视 频| 日韩在线视频9色| 色婷婷五月天激情综合| 婷婷五月花| 色射影院| 97干欧美| 丁香婷婷色色| 综合XX网| 操日本三片99| 色播五月婷婷| 青青草五月天| 噜噜五月天综合| 97超碰99热99| 999影院成人在线影院| www九九免费视频| 69er小视频| 极品人妻VIDEOSSS人妻| 色五月激情五月丁香五月婷婷啪啪综合 | 五月色婷婷综合色| 丁香五月天社区| 这里只有精品视频视频在线观看| 九九色婷婷| 中文字幕av久久爽一区| 丁香色色色| 激情综合网五月丁香| 超碰色色综合| 久热黄色| 91人人操人人爱| 五月婷婷综合影院| 天堂网啪啪| 123草逼网| 性欧美日本| 91精品在线看| 啪啪91| 永久的网站AAAA | 色综合天天天天做夜夜| 极品嫩草| 色婷婷社区| 色五月激情综合网站| 久久性爱视频这里只有精品| 欧美日韩精品一区二区三区钱| 影音先锋777xfplay色资源网站| 五月天婷婷网站| 色色色无码| 91热网址| 色综合久久44| 日本老女人黄页在线播放| 亚洲成人综合在线| 高清无码 一区 二区 三区| 亚洲性爱AV在线| 亚洲激情免费视频| 激情性爱网站| 婷婷情色五月天| 大香网伊人久久综合| 色播综合| 开心五月婷婷激情网| 色在线免费观看| 久久99网| 91视频一起草| 五月丁香六月激情欧美综合| 五月婷婷六月丁香| 热久久这里只有精品| 337p午夜影院| 亚洲AV成人精品网站在线播放| 天天干天天色综合| 99免费热视频在线| 色99视频| 天天干夜夜b| 狠狠色婷婷综合开心影视| 人妻久久人妻久久第一区| 亚洲激情综| 狠狠狠狠狠干| 激情亚洲婷婷六月| 超碰在线94| www.婷婷五月| 精品网站99| 日韩青青| 天天做天天爱天天爽| 九色91美女| 五月激情婷婷丁香| 精品福利911| 丁香五月天激情四射网络不好| 色玖玖综合| 久久这里只精品66| 日木WWW视频| 爽天天天天天天天| 97在线精品| 桃色成人网| 丁香六月婷婷综合缴| 91九色视频| 国产毛片精品一区二区色欲黄A片| http://www.sd-xiangsu.com/| 91九色欧美| 五月婷婷激情综合| 亚城区在线| 成人电影在线免费试看| 五月色婷婷综合| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | www五月天com| 色色色色网站| 亚洲精品性色| 99热销国产这里有精品| 亚洲激情五月天| 六月婷婷亚洲| aaa久久| 精品夜夜澡人妻无码AV| 99精品视频免费| 超碰免费在线| 国产jd1024基地手机看国产| 99re在线精品视频| 五月丁香六月激情网| 欧美啪啪五月天| 激情六月天| 婷婷成人小说综合| av色婷婷| 伊人丁香五月天丁香在线婷| 人妻视频在线| 久久99热 这里有精品| 啪啪黄页网| 日本欧美成人片AAAA| 99综合| 婷婷五月激情基地| 另类图片五月天婷婷| 日韩成人综合网| 嫩BBB槡BBBB搡BBBB视频| 91色九| 婷婷丁香综合网| 色色色国产| 五月婷婷丁香六月在线| 五月丁香婷婷基地| 色色999三级片| 久机视频这只有精品| 日本五月天一页| 激情五月天在线观看色婷婷| 丁香五月www| 99噜噜噜在线播放| 色五月大| 思思99re这里只有| 99狠狠色| seav天堂| www.91九色| 五月婷丁香久久久| 日韩精品999| 99riAV成人在线视频| 99热在这里只有精品| 五月人妻婷婷视频| 日本五月丁香| 婷婷综合五月天| 潮汕成人AV片在线| 深爱激情六月| 啪啪一区| 99在线视频在线观看| 久婷久婷激情肉| 婷婷综合五月天| 99热6这里只有精品| 国产婷婷五月中文字幕高清| 97性视频| 91九色 熟| 另类图片婷婷五月天| 天天色综网| 婷婷天天五月天| 怡红院AV亚洲一区二区三区H| 丁香六月婷婷综合| 色婷婷亚洲婷婷| 日韩啊啊啊| aaa久久| 亚洲AV第二区国产精品| 丁香五月久久| 99久久婷婷国产综合| 国产VA亚洲VA96| 无码G高清天| 久久久18| 91视频人人做97| 五月天婷婷Av| 国产毛多水多女人A片| 欧美精品999| 日本色爽| 亚洲欧州色情在线观看| 丁香婷婷AV| 久久只有精| 色婷婷五月天激情在线观看| 日本不卡高字幕在线2019| 丁香五月成人社区| 无码少妇高潮喷水A片免费| 久久久久久久久久久久久9| www一起操在线观看| 六月婷婷啪啪| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 日韩人妻操逼视频| 2020久久婷婷五月| 夜夜躁狠狠| 亚洲人妻av| 色婷婷丁香综合中文字幕| g00d人体西西| 色婷婷综合在线| 激情电影五月婷婷| 亚洲精品一二三| 人妻日日日| 国产婷婷色综合AV蜜臀AV | 91色五月| 96精品久久久久久久久| 婷婷五月天天激情| 色涩视频久久| 色狠久| 激情综合网,婷婷五月天| 欧美成人无码一区二区三区| 亚洲成人在线播放| 五月婷婷AV| 婷婷五月天丁香花| 久久久久久欧美精品se一二三四| AV在线大香蕉| 变态另类9| 伦乱天堂| 婷婷色中文字幕| 99久热| 久久五月天婷婷| 无码色| 激情五月天综合网| 香蕉AV福利精品导航| 乱精品一区字幕二区| 久久久天堂国产精品女人| 久久精品一区二区三区四区| 成人中文网| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 婷婷刺激综合| 久久婷婷五月综合激情国产 | 成人版视频在线观看| 在线中文字幕av| 99自拍视频| 激情五月天在线观看色婷婷| www.av视频xx999.com| 精品婷婷五月视| 伊人在线婷婷草| 五月天婷婷黄色| 国产玖玖资源| 色99在线| 成人av在线网站| 亚洲欧洲另类| www色色色com| 屁股翘好撅高迎合跪趴| www.99.色| 黄色毛片精品| 黄网在线免费播放| 久久HD| 五月天婷婷日日爱| 伊人在线婷婷草| 99这里只有精彩视频| 婷婷五月天久久| 久久婷婷网| 丁香五月成人网| 欧美三级巜人妻互换| 日本波多野结衣视频| 九九激情视频| 色久女| 激情网五夜婷婷| 亭亭五月激情亚洲在线| 五月天亭亭俺也|