欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

數(shù)據(jù)庫(kù)中間件Atlas實(shí)戰(zhàn):讀寫分離、分庫(kù)分表與連接管理全解析

數(shù)據(jù)庫(kù)中間件Atlas實(shí)戰(zhàn):讀寫分離、分庫(kù)分表與連接管理全解析 最近在整理一套老系統(tǒng)的數(shù)據(jù)庫(kù)訪問(wèn)鏈路項(xiàng)目代號(hào)就叫 Atlas。這套東西本質(zhì)是一個(gè)放在應(yīng)用和 MySQL 之間的訪問(wèn)中間層用來(lái)統(tǒng)一解決讀寫分離、分庫(kù)分表、連接管理這些煩心事。你可能也遇到過(guò)類似情況業(yè)務(wù)量上來(lái)之后單庫(kù)單表扛不住應(yīng)用層到處寫死數(shù)據(jù)庫(kù)地址一到大促就要臨時(shí)拆庫(kù)代碼改到想罵人。Atlas 要做的就是讓應(yīng)用側(cè)只認(rèn)一個(gè)入口真正落在哪臺(tái)庫(kù)、哪張表由中間層去決策。這篇東西我打算從項(xiàng)目整體設(shè)計(jì)講到核心原理再到部署實(shí)操和排障經(jīng)驗(yàn)全程用我實(shí)際踩過(guò)的坑來(lái)鋪墊。適合正在做數(shù)據(jù)庫(kù)拆分、讀寫分離或者被連接數(shù)打滿折磨過(guò)的后端開發(fā)、DBA 和架構(gòu)師參考。即便你是第一次接觸中間件只要跟著走一遍也能理解它到底怎么工作、能解決什么問(wèn)題。1. 項(xiàng)目定位與方案拆解1.1 Atlas 在整個(gè)數(shù)據(jù)鏈路中扮演什么角色先打個(gè)比方。以前應(yīng)用直連數(shù)據(jù)庫(kù)就像每個(gè)員工都直接跑到倉(cāng)庫(kù)去拿貨倉(cāng)庫(kù)窗口就那幾個(gè)人一多就排隊(duì)偶爾有人拿錯(cuò)貨還沒人管。Atlas 就好比在倉(cāng)庫(kù)門口加了一個(gè)分撥臺(tái)所有取貨請(qǐng)求先到這里登記分撥臺(tái)根據(jù)貨單內(nèi)容決定你去哪個(gè)窗口順帶還能幫你把一些零散的小請(qǐng)求合并成大訂單。放到技術(shù)鏈路上看Atlas 的位置非常清晰應(yīng)用層通過(guò)標(biāo)準(zhǔn)的 MySQL 協(xié)議連上 Atlas 的端口Atlas 解析 SQL 之后再往后端真實(shí)的 MySQL 實(shí)例轉(zhuǎn)發(fā)。應(yīng)用側(cè)根本感知不到后端有幾臺(tái)機(jī)器、哪些是主庫(kù)、哪些是從庫(kù)。這個(gè)方式的優(yōu)勢(shì)在于數(shù)據(jù)庫(kù)拓?fù)渥兏挥迷偻ㄖ袠I(yè)務(wù)方只需要改中間層配置。我在做這套項(xiàng)目時(shí)最直觀的感受是連接數(shù)和流量可控了。以前幾百個(gè)服務(wù)實(shí)例每個(gè)都保持幾十個(gè)長(zhǎng)連接數(shù)據(jù)庫(kù)光握手就要耗盡 CPU。Atlas 收口之后后端連接數(shù)變得非常平穩(wěn)應(yīng)用擴(kuò)容也不用擔(dān)心把數(shù)據(jù)庫(kù)連接池打爆。說(shuō)白了它讓數(shù)據(jù)庫(kù)從“被很多人直接操作”變成“被一個(gè)有腦子的人統(tǒng)一調(diào)度”。1.2 核心功能清單與方案選型對(duì)比Atlas 的核心功能我整理成了一張表和直連方案對(duì)比大家看得更清楚功能維度直連數(shù)據(jù)庫(kù)Atlas 中間件后端地址管理每個(gè)應(yīng)用配置自己的連接串統(tǒng)一入口后端變更對(duì)應(yīng)用透明讀寫分離應(yīng)用自己實(shí)現(xiàn)代碼侵入大中間層按 SQL 類型自動(dòng)路由分庫(kù)分表應(yīng)用層判斷并拼接表名按分片鍵路由應(yīng)用無(wú)需關(guān)心連接池復(fù)用每個(gè)服務(wù)維護(hù)一堆連接中間層統(tǒng)一復(fù)用降低連接數(shù)故障摘除依賴應(yīng)用側(cè)重試機(jī)制健康檢查后自動(dòng)剔除故障節(jié)點(diǎn)監(jiān)控審計(jì)分散難匯總統(tǒng)一日志與統(tǒng)計(jì)便于排查為什么不直接選應(yīng)用層改造或者引入其他重量級(jí)方案而是用 Atlas 這類中間件我當(dāng)時(shí)的考慮有幾點(diǎn)。第一應(yīng)用層改造成本太高幾十個(gè)服務(wù)都要?jiǎng)右槐楣馀牌诰鸵鐑蓚€(gè)迭代。第二很多輕量級(jí)方案對(duì)分庫(kù)分表的支持很弱尤其是一致性事務(wù)場(chǎng)景自己寫容易挖坑。第三Atlas 這類基于 MySQL 協(xié)議的代理方案對(duì)業(yè)務(wù)代碼基本透明切換成本低上線失敗也容易回滾。當(dāng)然它也有短板比如跨庫(kù) JOIN 支持不好分布式事務(wù)需要業(yè)務(wù)配合。但這不是 Atlas 的問(wèn)題而是所有分庫(kù)分表都要付出的代價(jià)。你選的不是完美方案而是在當(dāng)前階段收益最大、代價(jià)最小的方案。1.3 整體架構(gòu)拓?fù)渑c數(shù)據(jù)流向Atlas 的部署形態(tài)不復(fù)雜核心就三層。最上層是接入層也就是應(yīng)用服務(wù)器它們只需要配置一個(gè)虛擬 IP 或者域名指向 Atlas 所在的主機(jī)端口可以是常見的 3306也可以換成別的。中間是 Atlas 節(jié)點(diǎn)建議至少部署兩個(gè)一臺(tái)為主、一臺(tái)為備配合 Keepalived 之類的工具做高可用切換。下面是真實(shí)的 MySQL 實(shí)例集群分為主庫(kù)和若干從庫(kù)主庫(kù)負(fù)責(zé)寫入從庫(kù)負(fù)責(zé)讀取。數(shù)據(jù)流向大概是這樣的應(yīng)用發(fā)出 SQL 請(qǐng)求Atlas 先解析這條 SQL 的類型和涉及的表然后根據(jù)配置的路由規(guī)則以及當(dāng)前各節(jié)點(diǎn)的健康狀態(tài)決定把請(qǐng)求轉(zhuǎn)發(fā)給哪個(gè)后端實(shí)例。如果是SELECT默認(rèn)會(huì)挑一個(gè)負(fù)載較低的從庫(kù)如果是INSERT、UPDATE、DELETE或者會(huì)話開啟了事務(wù)就走主庫(kù)。如果配置了分庫(kù)分表還需要根據(jù)分片鍵算出具體落到哪個(gè)庫(kù)、哪張表。這里有個(gè)容易被忽略的點(diǎn)Atlas 自身是無(wú)狀態(tài)的也就是說(shuō)它不存業(yè)務(wù)數(shù)據(jù)只是做轉(zhuǎn)發(fā)和路由。這樣設(shè)計(jì)的好處非常明顯一旦某臺(tái) Atlas 宕機(jī)另一臺(tái)可以直接頂上數(shù)據(jù)不會(huì)丟。壞處是配置要同步好不然兩個(gè)節(jié)點(diǎn)的規(guī)則不一致會(huì)引發(fā)路由錯(cuò)亂。我后續(xù)會(huì)專門講怎么用腳本同步配置和管理節(jié)點(diǎn)。2. 核心機(jī)制與關(guān)鍵原理2.1 讀寫分離的實(shí)現(xiàn)細(xì)節(jié)與路由策略讀寫分離是 Atlas 最常用的能力但很多人只知道“SELECT 走從庫(kù)其他走主庫(kù)”實(shí)際做起來(lái)沒有那么簡(jiǎn)單。路由的判斷不僅是看 SQL 的第一個(gè)關(guān)鍵詞。比如SELECT ... FOR UPDATE雖然以 SELECT 開頭但它帶了行鎖必須走主庫(kù)否則你在從庫(kù)加鎖主庫(kù)的數(shù)據(jù)還在被別人改業(yè)務(wù)就出大問(wèn)題。再比如事務(wù)內(nèi)的所有語(yǔ)句只要你在一個(gè)顯式事務(wù)里哪怕全是 SELECT也應(yīng)該全走主庫(kù)。原因是事務(wù)的隔離級(jí)別和快照讀在從庫(kù)上可能拿到過(guò)期數(shù)據(jù)尤其主從延遲明顯的時(shí)候容易引發(fā)臟讀。所以 Atlas 在做路由決策時(shí)至少要參考這三個(gè)維度語(yǔ)句是否為SELECT、是否在事務(wù)中、語(yǔ)句是否包含鎖語(yǔ)義或函數(shù)調(diào)用。我見過(guò)不少業(yè)務(wù)事故都是因?yàn)闆]有處理事務(wù)內(nèi)路由比如先開啟事務(wù)插入數(shù)據(jù)再查詢剛插入的記錄結(jié)果查到了舊值因?yàn)椴樵冏吡藦膸?kù)而主從還沒同步。這類問(wèn)題非常隱蔽線上復(fù)現(xiàn)難用戶又催得急排查起來(lái)特別費(fèi)勁。路由策略還需要考慮主從延遲。正常情況下讀流量全部打到從庫(kù)無(wú)可厚非但一旦從庫(kù)延遲超過(guò)閾值比如 relay log 應(yīng)用積壓超過(guò)幾秒Atlas 最好把部分讀請(qǐng)求臨時(shí)切回主庫(kù)。我在配置里就預(yù)留了這樣的開關(guān)不是說(shuō)一定要用而是關(guān)鍵時(shí)刻能救命。2.2 分庫(kù)分表的規(guī)則設(shè)計(jì)與擴(kuò)容思路講完讀寫分離再聊分庫(kù)分表。Atlas 支持按某個(gè)字段做分片常見的就是哈希取模和時(shí)間范圍分片。哈希取模是最簡(jiǎn)單也最常用的方案。假設(shè)訂單表要拆成 16 張物理表分片鍵是訂單號(hào)路由算法就是hash(order_no) % 16。關(guān)鍵是選擇一個(gè)分布足夠均勻的分片鍵訂單號(hào)、用戶 ID 都算不錯(cuò)但如果你按地區(qū)分片就會(huì)出現(xiàn)頭部地區(qū)數(shù)據(jù)量巨大、尾部地區(qū)幾乎沒數(shù)據(jù)的傾斜問(wèn)題。這里我要提一個(gè)規(guī)劃層面的教訓(xùn)分片數(shù)一開始就要預(yù)留余量最好設(shè)置成 2 的冪次方比如 8、16、32。為什么因?yàn)楹竺鏀U(kuò)容時(shí)如果分片數(shù)不能按倍數(shù)擴(kuò)數(shù)據(jù)遷移的范圍會(huì)非常大。比如從 16 擴(kuò)到 24幾乎所有數(shù)據(jù)都要重新分布但從 16 擴(kuò)到 32則只有一半的數(shù)據(jù)需要遷移遷移邏輯也更簡(jiǎn)單。我做 Atlas 項(xiàng)目規(guī)劃時(shí)直接定成了 32 個(gè)分片初期只用 8 個(gè)分片剩下的暫時(shí)空著后續(xù)加機(jī)器直接把新分片啟用就行。分庫(kù)分表的代價(jià)也要提前想清楚??绶制?JOIN 基本別想了IN 查詢需要拆成多個(gè)查詢?cè)僭趦?nèi)存里合并分布式事務(wù)需要業(yè)務(wù)方配合做最終一致性方案。我一般建議團(tuán)隊(duì)把分片邊界設(shè)計(jì)在業(yè)務(wù)層面比如同一個(gè)用戶的所有數(shù)據(jù)始終落在一個(gè)分片內(nèi)這樣大部分查詢都能限定在單分片內(nèi)執(zhí)行復(fù)雜度會(huì)小很多。2.3 連接池復(fù)用與高可用保障再說(shuō)連接管理。數(shù)據(jù)庫(kù)連接很貴從創(chuàng)建連接到認(rèn)證再到 MySQL 內(nèi)部分配線程、初始化會(huì)話開銷都不小。應(yīng)用側(cè)如果每個(gè)請(qǐng)求都新建連接數(shù)據(jù)庫(kù)很快就會(huì)被拖垮。Atlas 在中間層做了一件很巧妙的事它對(duì)外暴露的連接和后端實(shí)際建立的連接并不是一比一對(duì)應(yīng)的。應(yīng)用連上 Atlas 之后Atlas 從后端的連接池里取一條空閑連接出來(lái)復(fù)用請(qǐng)求處理完再把連接還回去。這樣一來(lái)后端只需要維持比應(yīng)用連接數(shù)少一個(gè)數(shù)量級(jí)的連接就能支撐大量并發(fā)請(qǐng)求。我實(shí)測(cè)過(guò)一個(gè)場(chǎng)景一個(gè)有 50 個(gè)節(jié)點(diǎn)的應(yīng)用集群原來(lái)每個(gè)節(jié)點(diǎn) 30 個(gè)連接直連時(shí) MySQL 要維持 1500 個(gè)連接接入 Atlas 后后端只保留了 200 個(gè)連接負(fù)載直接降下來(lái)一大截。高可用方面Atlas 會(huì)周期性對(duì)后端每個(gè)實(shí)例做健康檢查。檢查方式可以是很簡(jiǎn)單的SELECT 1也可以是自定義的探活語(yǔ)句。如果某個(gè)實(shí)例連續(xù)幾次失敗它會(huì)被標(biāo)記為不可用讀流量自動(dòng)轉(zhuǎn)移到其他可用節(jié)點(diǎn)。等到實(shí)例恢復(fù)健康會(huì)重新放回池子里。這套機(jī)制在從庫(kù)宕機(jī)、主從切換兩種場(chǎng)景下都非常有用。主從切換的場(chǎng)景尤其要小心。Atlas 必須具備配置熱更新的能力不然你手動(dòng)把主庫(kù)切換成了新機(jī)器中間件還傻傻地往舊地址發(fā)請(qǐng)求服務(wù)就全掛了。我的做法是在 Atlas 管理接口上預(yù)留動(dòng)態(tài)調(diào)整后端的命令切換完成后立刻更新后端節(jié)點(diǎn)列表不需要重啟進(jìn)程。3. 部署與實(shí)操全過(guò)程3.1 環(huán)境規(guī)劃與安裝前的準(zhǔn)備先看機(jī)器規(guī)劃這是我實(shí)際部署時(shí)用的一個(gè)標(biāo)準(zhǔn)方案大家可以參考角色機(jī)器配置數(shù)量說(shuō)明Atlas 節(jié)點(diǎn)4C8GSSD2一主一備Keepalived 做 VIP 漂移MySQL 主庫(kù)8C16GSSD1承載寫入流量MySQL 從庫(kù)8C16GSSD2承載讀流量延遲監(jiān)控監(jiān)控/日志機(jī)2C4G1收集 Atlas 日志和 MySQL 慢查詢安裝前有幾項(xiàng)系統(tǒng)設(shè)置必須處理否則 Atlas 跑起來(lái)就會(huì)出現(xiàn)各種莫名其妙的連接問(wèn)題。打開文件描述符上限修改/etc/security/limits.conf把nofile調(diào)高到 65535 以上不然高并發(fā)下會(huì)報(bào) “Too many open files”。關(guān)閉透明大頁(yè)數(shù)據(jù)庫(kù)鏈路對(duì)延遲敏感透明大頁(yè)會(huì)導(dǎo)致內(nèi)存分配不穩(wěn)定建議在/etc/rc.local里執(zhí)行echo never /sys/kernel/mm/transparent_hugepage/enabled。同步時(shí)間主從和中間件節(jié)點(diǎn)都要配置 NTP時(shí)間不一致會(huì)導(dǎo)致日志分析困難甚至認(rèn)證異常。Atlas 的運(yùn)行依賴 MySQL 客戶端庫(kù)和 glibc安裝前確認(rèn)系統(tǒng)里有l(wèi)ibmysqlclient.so沒有的話用系統(tǒng)的包管理器裝上即可。我用的是 CentOS 7.9直接安裝編譯好的二進(jìn)制包解壓到/usr/local/atlas沒有遇到依賴地獄的問(wèn)題。3.2 配置文件逐項(xiàng)解讀Atlas 的配置是我覺得整個(gè)項(xiàng)目里最值得花時(shí)間研究的部分。配置文件結(jié)構(gòu)不復(fù)雜但每個(gè)參數(shù)都暗藏玄機(jī)。我貼一份我實(shí)際使用的精簡(jiǎn)配置并逐個(gè)講解。[mysql] # Atlas 對(duì)外監(jiān)聽地址和端口 proxy-address 0.0.0.0:3306 # 后端 MySQL 實(shí)例列表主庫(kù)在前從庫(kù)在后 backend-address 10.0.0.11:3306 backend-address 10.0.0.12:3306 backend-address 10.0.0.13:3306 # 主庫(kù)標(biāo)識(shí)用于區(qū)分讀寫角色 master-address 10.0.0.11:3306 # 客戶端連接 Atlas 所需的賬號(hào) pwds admin:xxxxx # 管理接口地址和賬號(hào) admin-address 0.0.0.0:2345 admin-username admin admin-password xxxxx # 分庫(kù)分表規(guī)則文件 tables /usr/local/atlas/conf/table.rule # 日志配置 log-path /usr/local/atlas/logs log-level INFO # 主從延遲閾值超過(guò)則延遲讀切主 max-delay 5先看backend-address注意主庫(kù)要寫在前面還是后面其實(shí)不重要重要的是列表里必須包含主庫(kù)。master-address是單獨(dú)指定的Atlas 用這個(gè)字段來(lái)區(qū)分哪個(gè)實(shí)例承擔(dān)寫流量。從庫(kù)在列表里通常排在主庫(kù)后面。pwds這個(gè)字段很多人會(huì)踩坑它存的是加密后的密碼不是明文。我第一次配置時(shí)直接寫了明文結(jié)果客戶端連接一直認(rèn)證失敗。后來(lái)查了文檔才知道要先通過(guò)工具生成加密串再寫進(jìn)去。admin-address是中間件的管理口和業(yè)務(wù)端口分開防止外部誤連。日常運(yùn)維、查看狀態(tài)、動(dòng)態(tài)調(diào)整后端地址都靠這個(gè)端口。max-delay是主從延遲閾值單位是秒。前面提到過(guò)延遲超過(guò)閾值就要把讀流量切回主庫(kù)這個(gè)參數(shù)就是那套機(jī)制的觸發(fā)條件。設(shè)得太小會(huì)導(dǎo)致讀流量頻繁抖動(dòng)設(shè)得太大又會(huì)出現(xiàn)數(shù)據(jù)新鮮度問(wèn)題我一般從 5 秒開始調(diào)根據(jù)業(yè)務(wù)容忍度再動(dòng)態(tài)改。3.3 啟動(dòng)驗(yàn)證與壓測(cè)觀察配置完成之后啟動(dòng)過(guò)程非常簡(jiǎn)單執(zhí)行啟動(dòng)腳本就行。但啟動(dòng)成功不代表路由已經(jīng)符合預(yù)期必須做一套完整的驗(yàn)證。第一步用 MySQL 客戶端連接 Atlasmysql -h 127.0.0.1 -P 3306 -u admin -p能正常連上說(shuō)明基本鏈路通暢。第二步執(zhí)行SHOW DATABASES;能列出后端 MySQL 的真實(shí)庫(kù)說(shuō)明 Atlas 成功代理到后端實(shí)例。第三步驗(yàn)證讀寫分離是否真的生效。我在從庫(kù)上執(zhí)行下面的 SQL 來(lái)查看當(dāng)前連接來(lái)源SHOW PROCESSLIST;然后在應(yīng)用側(cè)不斷發(fā)起SELECT請(qǐng)求觀察從庫(kù)的Info字段里是否持續(xù)出現(xiàn)來(lái)自 Atlas 轉(zhuǎn)發(fā)的查詢。如果從庫(kù)一點(diǎn)動(dòng)靜都沒有大概率是路由配置有問(wèn)題所有流量都打到了主庫(kù)。緊接著做一輪簡(jiǎn)單壓測(cè)。我用 sysbench 造了大概 100 萬(wàn)條數(shù)據(jù)分別測(cè)試直連 MySQL 和通過(guò) Atlas 訪問(wèn)的吞吐差異。結(jié)果如下壓測(cè)場(chǎng)景連接數(shù)QPS 峰值平均延遲(ms)直連主庫(kù)2001200012走 Atlas 讀從庫(kù)2001050015走 Atlas 讀寫混合200830018看這個(gè)結(jié)果走 Atlas 后單次請(qǐng)求延遲確實(shí)有微幅上升大概 2 到 3 毫秒這是代理層的正常開銷。但換來(lái)的是整體連接數(shù)大幅下降后端單實(shí)例負(fù)載壓力小了很多系統(tǒng)的擴(kuò)展性和穩(wěn)定性才是更大的收益。3.4 業(yè)務(wù)接入與快速回滾策略驗(yàn)證通過(guò)后就是接業(yè)務(wù)。Atlas 最讓我喜歡的一點(diǎn)是業(yè)務(wù)接入成本幾乎為零只需要把應(yīng)用里的數(shù)據(jù)庫(kù)連接地址從原來(lái)的 MySQL 實(shí)例 IP 改成 Atlas 的地址即可。端口如果沒有特殊要求可以繼續(xù)用 3306 端口這樣連驅(qū)動(dòng)里的 URL 都不用改。不過(guò)接入順序還是有講究的。我建議先挑一個(gè)讀多寫少、不影響核心交易鏈路的服務(wù)做灰度跑一兩天觀察日志里有沒有路由異常、連接中斷、主從延遲導(dǎo)致的臟讀報(bào)警。確認(rèn)穩(wěn)定之后再逐步擴(kuò)大到所有服務(wù)?;貪L方案我一般提前準(zhǔn)備好。所有服務(wù)在變更配置時(shí)保留舊連接串一旦發(fā)現(xiàn) Atlas 這邊有問(wèn)題直接用發(fā)布系統(tǒng)回滾配置應(yīng)用連接重新指向原 MySQL 實(shí)例。整個(gè)回滾過(guò)程不會(huì)超過(guò)五分鐘中間件的無(wú)狀態(tài)特性在這里發(fā)揮了巨大作用因?yàn)?Atlas 本身不落業(yè)務(wù)數(shù)據(jù)回滾不會(huì)造成數(shù)據(jù)不一致。我還特意寫了一個(gè)一鍵回滾腳本核心就是把應(yīng)用配置里的atlas.host改回mysql.host然后重啟服務(wù)。這種看似很笨的方案在線上緊急故障時(shí)往往最管用。4. 常見問(wèn)題與排查技巧實(shí)錄4.1 高頻故障速查表我把這段時(shí)間遇到的問(wèn)題整理成了一張速查表按“現(xiàn)象 - 可能原因 - 解決思路”的方式排列方便大家直接對(duì)照?,F(xiàn)象可能原因解決思路客戶端連接 Atlas 報(bào)認(rèn)證失敗pwds里寫的是明文而非加密串用工具生成加密密碼后重寫配置應(yīng)用啟動(dòng)后查詢偶發(fā)超時(shí)后端連接池耗盡調(diào)大 Atlas 后端連接上限同時(shí)檢查 MySQL max_connections從庫(kù) CPU 飆高但主庫(kù)很低讀流量全部打到主庫(kù)檢查master-address配置以及路由規(guī)則主從切換后新主庫(kù)不接收寫請(qǐng)求Atlas 后端列表未更新通過(guò)管理接口動(dòng)態(tài)更新不需要重啟SELECT 查詢看到舊數(shù)據(jù)主從延遲超過(guò)容忍閾值調(diào)低max-delay或部分讀請(qǐng)求強(qiáng)制走主日志里大量連接被斷開后端 MySQLwait_timeout過(guò)短調(diào)整 MySQL 會(huì)話超時(shí)參數(shù)Atlas 進(jìn)程內(nèi)存持續(xù)增長(zhǎng)連接泄漏或慢查詢堆積排查慢 SQL定期釋放空閑連接每一個(gè)問(wèn)題我都在自己環(huán)境里踩過(guò)一兩遍尤其是主從切換后的寫請(qǐng)求丟失這個(gè)坑影響最大。當(dāng)時(shí)我以為 Atlas 會(huì)把新主庫(kù)自動(dòng)識(shí)別出來(lái)結(jié)果沒有因?yàn)樗恢滥阃獠恳呀?jīng)把主庫(kù)切換了。后來(lái)我在切換腳本里加入了通知 Atlas 更新后端的步驟才徹底解決。4.2 排查命令與日志分析實(shí)戰(zhàn)排查問(wèn)題不能瞎猜我分享幾個(gè)最常用的命令和方法遇到異常時(shí)可以快速定位。第一招連接 Atlas 管理端口看全局狀態(tài)。管理端口不是給業(yè)務(wù)用的是給運(yùn)維和管理員用的。登錄后直接輸入show status可以查看當(dāng)前的前端連接數(shù)、后端連接池使用情況、路由次數(shù)統(tǒng)計(jì)等。如果沒有這些指標(biāo)問(wèn)題的定位會(huì)非常困難。第二招看日志里的關(guān)鍵字。Atlas 的日志路徑在配置文件里可以指定正常運(yùn)行時(shí)輸出到/usr/local/atlas/logs。排查時(shí)重點(diǎn)看三類關(guān)鍵詞ERROR表示有請(qǐng)求執(zhí)行失敗TIMEOUT表示連接或查詢超時(shí)BACKEND表示后端實(shí)例的狀態(tài)變化。比如下面這行日志[ERROR] cannot get connection from backend pool, timeout這行日志一出現(xiàn)基本可以斷定是后端連接池滿了或者 MySQL 真的無(wú)法建立新連接。優(yōu)先檢查 MySQL 的max_connections和threads_connected再看 Atlas 到 MySQL 之間的網(wǎng)絡(luò)是否正常。第三招用tcpdump抓包看 SQL 流向。在執(zhí)行查詢的同時(shí)抓包能非常直觀地看到 SQL 到底發(fā)給了哪個(gè)后端 IP。這招在處理路由懷疑的爭(zhēng)論時(shí)最有效不靠猜直接看包。tcpdump -i eth0 -nn port 3306 -w atlas.pcap抓完之后用 Wireshark 分析可以看到每個(gè)連接的握手、查詢語(yǔ)句、響應(yīng)耗時(shí)。如果某個(gè) SQL 應(yīng)該走從庫(kù)但抓包發(fā)現(xiàn)反向了那路由配置肯定有問(wèn)題。4.3 獨(dú)家避坑心得最后分享幾個(gè)我在項(xiàng)目中總結(jié)的獨(dú)家經(jīng)驗(yàn)別的地方不一定能看到。第一分片鍵的選擇要有防御性。不要在項(xiàng)目初期圖方便選一個(gè)業(yè)務(wù)主鍵做分片業(yè)務(wù)主鍵往往帶有自增特性和局部性很容易出現(xiàn)熱點(diǎn)。我見過(guò)一個(gè)支付業(yè)務(wù)按照門店 ID 分片結(jié)果頭部門店數(shù)據(jù)量是尾部門店的幾百倍查詢嚴(yán)重傾斜。分片鍵要選訪問(wèn)頻率均勻、區(qū)分度高的字段。第二中間件節(jié)點(diǎn)不要跨機(jī)房部署。剛開始我圖省事把兩臺(tái) Atlas 分別放在兩個(gè)可用區(qū)想著提升容災(zāi)能力。結(jié)果發(fā)現(xiàn)跨機(jī)房的網(wǎng)絡(luò)延遲讓每次 SQL 轉(zhuǎn)發(fā)都增加了十幾毫秒應(yīng)用層受不了最后還是改回了同機(jī)房雙節(jié)點(diǎn)。想跨機(jī)房容災(zāi)應(yīng)該從數(shù)據(jù)庫(kù)層面做雙向同步而不是讓中間件跨機(jī)房轉(zhuǎn)發(fā)。第三升級(jí)和變更盡量在低峰期進(jìn)行。Atlas 的配置熱更新雖然是動(dòng)態(tài)的但涉及表規(guī)則變更這類重大調(diào)整時(shí)最好還是先灰度再全量。我在一次規(guī)則更新時(shí)因?yàn)樾屡f規(guī)則并行產(chǎn)生了歧義導(dǎo)致部分請(qǐng)求被路由到錯(cuò)誤的表雖然很快恢復(fù)了但那次教訓(xùn)讓我學(xué)會(huì)了中間件的變更要走和業(yè)務(wù)發(fā)布一樣的流程不能因?yàn)樗且粚哟砭偷粢暂p心。5. 寫在最后的一點(diǎn)體會(huì)做完 Atlas 這套中間層之后我對(duì)“數(shù)據(jù)庫(kù)治理”這件事的理解深了不少。以前總覺得數(shù)據(jù)庫(kù)不夠用就加緩存、加隊(duì)列、加機(jī)器實(shí)際上如果沒有一個(gè)統(tǒng)一的流量入口加再多資源也只是把問(wèn)題往后拖延。我個(gè)人的建議是如果你的系統(tǒng)已經(jīng)出現(xiàn)連接數(shù)打滿、讀寫混合導(dǎo)致鎖競(jìng)爭(zhēng)激烈、或者表數(shù)據(jù)量增長(zhǎng)速度明顯超過(guò)預(yù)期Atlas 這類中間件是一個(gè)非常值得考慮的分層方案。它不能解決所有問(wèn)題但它能讓數(shù)據(jù)庫(kù)拓?fù)涞淖兓辉贍縿?dòng)整個(gè)應(yīng)用側(cè)這一點(diǎn)在業(yè)務(wù)擴(kuò)張期尤其重要。最后再送一個(gè)小技巧投入運(yùn)行之后定期寫一個(gè)檢查腳本去從庫(kù)看真實(shí)流量分布。別只依賴 Atlas 自己的統(tǒng)計(jì)真實(shí) SQL 的執(zhí)行情況會(huì)告訴你很多中間件日志里看不到的細(xì)節(jié)比如哪些表才是真正的熱點(diǎn)、哪些查詢?cè)摫痪彺娑底?。掌握了這些一手?jǐn)?shù)據(jù)你才能把 Atlas 的路由規(guī)則調(diào)得越來(lái)越聰明。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲色五月| 99色在线视频观看| 亭亭五月丁香五月天激情| 人人草成人视频| 亚洲综合激情五月久久| 综合激情网激情五月。| 婷婷五月天六点丁香五月| 久久婷综合| 日日干五月天婷婷| 任你爽在线视频| 性爱视频99| 91九色欧美| 久久婷婷综合五月天| 国产伊人五月天| 日韩久久成人| 久久狠狠干| 99久久久国产大片区| 丁香六月婷婷| 精品人妻久久久久久| 久久婷婷色色| 丁香婷婷老熟女综合网| 超碰色综合| 婷婷五月天成人五月天| 美国不卡视频| 99国产精品久久久久久久久久久| 激情网五月| 久久ww| 激情综合五月| 五月天精品| 婷婷综合久久| 亚洲99一级无嗎特制在线| 啪啪黄页网| 99热自拍| 色色丁香色五月| 26uuu| 婷婷六月丁香色| 亚洲午夜在线视频| 久综合| 中文久久久人妻| 热婷婷av| 五月天婷婷影院| 色色五月婷婷丁香| 五月天综合缴情网网站0| 在线不卡的视频| 99热网站| 狠狠色成人影片| 丁香九月婷婷| 性爱五月婷婷| 久九男女天堂| 九九这里都是精品| 五月婷婷之婷婷| 久久五月天婷婷视频| 五月色亭丁香| 中文字幕丰满孑伦无码专区| 五月色婷婷中文字幕| 五月丁香六月婷婷色| 97碰碰碰| av网站免费在线| 九九热在线99| 激情久久丁香| 婷婷五月天BBw| 久操热| 超碰色碰碰| 欧美日综合| 亚洲欧美另类在线23p| 五月婷婷激情综合| 久久婷婷五月天激情四射| 国产成人精品亚洲线观看| 久久婷婷综合国产| 26UUU欧美| WWW色综合| 婷婷爱五月| 少妇人妻丰满做爰XXX| 天天肏在线观看| 丁香五月婷婷天| 中美日韩成人在线| 色欲婷婷五月天丁香| www,婷婷,com| 亚洲色五月| 成人av播放| 久久成人天| 丁香五月婷婷激情小说| 武则天精品久久| 亚洲黄色av网站| 熟女激情五月天| 天天干天天干天天操| 色五月婷婷成人视频| sewuyuetingtingiii| 少妇性BBB搡BBB爽爽爽电影| 五月丁香色色网| 99啪啪网| 五月综合久久| 色色色色网| 天天艹天天色| 激情5月婷婷狠狠干| 五月婷婷影院| 色玖玖综合| 免费日本aⅴ中文字幕 | 国产亚洲色婷婷久久99精品91| 狠狠色大香蕉| 人人爱人人草| 538在线精品| 婷婷免费无视频| 久热天堂| 亚洲综合色婷婷文学| 亚洲乱码精品久久久久..| 久久婷五月婷| 操人91| 五月激情影院| 久久婷婷五月综合啪| 丁香五月中文字幕久色| 五月婷婷久久综合| 国产操碰| 久久久18| 久热这里只有精品3| 婷婷丁香花五月天| 激情六月丁香| 超碰91av| 婷婷丁香五月天哟啪| 91碰碰视频| 99热 在线播放| 成人AV片播放| 色综合9| 天天干人人奸97| 亚洲视频一区| 黄色片久久| 性无码专区无码| 99视频自拍| 天天干,天天日| 天天做天天爱天天爽| 色色色色网| 天天日天天摸| 99久久99久久综合| 中国丰满熟女A片免费观| 99热自拍| 屁股翘好撅高迎合跪趴| 婷婷五月丁香综合网| 在线只有精品| 最近中文字幕2019视频1| 99色视频在线| A片试看50分钟做受视频| 欧美黑人巨大性生话| 五月天色色色| 亚洲精品第一色色色色色色| 丁香五月玖玖| 91在线操| 天天肏在线观看| 在线观看亚洲视频影院| 激情婷婷五月久久| 丁香五月天无码| 天天撸夜夜爽| 天天日,天天干,天天操| 99毛片| 91碰在线| 五月丁香综合啪啪| 97色五月婷婷在线| 精品亚洲日韩99欧美片| 久九色| 天天做天天爱天天爽夜夜揉| 色五月丁香激情视频| 久久五月婷婷开心网| 中文字幕色色色| 激情小说视频图片| 久99久在线| 99re6久热只有精品6在线直播| 亚洲色色色| 日产精品一线二线三线芒果| 婷婷性爱五月天丁香网| 日本三级日本三级三级人妇四虎| 久一这里有精品国产| 五月婷婷伦理| 丁香五月六月婷婷殴美综合| 亚洲第一成人无码A片| 91精品久久久久久综合五月天| 日本天天操| 婷婷九月在线| 五月综合激情网| 极品人妻VIDEOSSS人妻| 国产成人一区二区三区在线观看| 伊人成综合五月婷婷| 踪合专区啪啪| 色色色在线免费视频| 色高清无码视频| 可以免费看AV网站| 精品久热| 啪啪日热| 欧美97色| 国产片色| 变态另类9| 色五月亚洲| 91久久久久久久久久18| 99久久97久久欧美综合网| 亚洲AV成人在线| 99热精在线九九久久保| 激情综合网五月| 日本一级一级一级一级| 少妇人妻人伦A片| 狠狠色狠狠操| 中文字幕在线人妻| 色六月天天激情综合网| 伊人五月综合网| 五月天婷婷av| 中文AV网站| 99 re视频一区| www.91.com处女在线直播| 可以免费看AV网站| 亚洲激情综合| 美国不卡视频| 激情六月五月婷婷综合网| 五月婷婷激情视频| 中文字幕无码人妻少妇免费视频 | 六月香五月婷| 五月综合久久| 久久精品一区二区三区四区| 色色免费网站| 婷婷丁香五月综合激情视频| 天天做天天爱天天高潮| 亚洲人妻Av| 亚洲热综合| 看片视频在线免费日产在线看| 99色在线观看视频者| 日本久久超碰| 婷婷五月六月丁香综合| 婷婷丁香熟妇综合网| 在线观看欧美3区| 538午夜激情| 另类综合婷婷五月天欧美视频| 97人妻碰碰中文无码久热丝袜| 久久久99精品免费观看| 国産精品| 久久久久久综合五月婷婷| 日日夜夜狠狠| 99网| 99色视频在线观看最新| 五月婷导航| 久9视频| 婷婷五月综合基地| 五月婷婷六月丁香综合视频在线| 婷婷在线综合| 久久青草国| 色婷网| 免费观看欧美成人AA片爱我多深| 日本色婷婷| 久草五月婷| 99热99在线| 天天干电影| 青青草国产亚洲精品久久| www五月天com| 欧美噜一噜| 亚洲免费看片| 日本丁香久在线| 五月丁香色婷婷基地| 色情五月婷婷| 97超级碰碰碰| 九九久热| 色综啪啪网| 人人爱操| 琪琪色五月天| 99免费偷拍视频| 丁香五月天激情小说| 日日夜夜婷婷| 亚欧州精品视频| 五月丁香做爱视频| 国产黄大片在线观看画质优化| 九九RE视频在线精品| 色婷婷狠狠| 亚洲亚洲人成综合网络| 天天日夜夜高潮| A片一曲| 五月激情综合婷婷| 婷婷丁香基地在线| 免费无码毛片一区二区A片| 五月激情视频| 99久久久久| 操人视频91| 日本欧美国产| www.丁香六月婷婷久久天堂影院.con| 婷婷区日本| 丁香五月五月婷婷| 婷婷在线播放av| 丁香五婷婷| 综合 蜜月 婷婷| 热99只有精品| 日本黄色一级| 九九久久99| 丁香六月综合激情| 这里只有在线精品| 91操碰| 丁香五月激情综合| 色综合久久888| 五月天婷婷免费| 第五色婷婷| 激情五月天久久| 五月熟妇婷婷久久| 风流少妇A片一区二区蜜桃| 五月丁香激情片| 高清无码视频网址| 六月丁香婷婷五月天| 久9视频| 碰97久久| 中美日韩成人在线| 成人av在线电影| 大香蕉婷婷五月| 亚洲色人妻| 激情av在线| 高清 码 免费看片短视频| 五月丁香六月花| 国产性爱在线| 五月天黄色激情小说| 日产精品一线二线三线芒果 | 99精在线| 4399伦理午夜| 内射综合网| 91久久精品无码一区二区三区| 中文激情网| 伊人久久大香线蕉av一区| 国产九九一区二区三区| 日日干天天射| 入口五月婷婷六月香| 综合网五月| 丁香色六月| 99热这里只有精品16| 91久久婷婷| 99热精品免费| 丁香六月高清视频| 久久婷婷原创视频| 五月婷视频| 九九色色色| 久色网址| 中文久久久人妻| 少妇性按摩无码中文A片| 婷婷基地五月色| 婷婷丁香无码专区| 日本五月婷婷| 97色色婷婷五月天| 99热这里只有精| 九九爱这里只有精品| 亚洲V国产V欧美V久久久久久| 99er在线观看| 9 9 9色色| 综合激情在线视频| 婷婷五月丁香六月伊人网| 日本精品久久久久中文字幕| 日日插日日干| 九色91视频| www.色五月| 天天综合天天玩夜夜玩天天玩夜夜玩| 婷婷五月天首页激情| 精品99在线| 开心六月婷| 天天狠天天叉| 九九九色综合| AA片在线观看视频在线播放| 日日爽日日| 亚洲五月激情| 激情99| 六月丁香激情婷婷| 色情婷婷。| 五月色综合| 91人妻视频| 最新日韩久热免费视频看看| 五月色网| 日本操B视频| 玖玖婷婷婷丁香五月| 99色热视频| 亚洲在线激情婷婷五月| 我想看国产大学生口爆吞精的视频| 亚洲天堂啪啪| 美女亚洲五月丁香| 9 大屁股在线视频精品| 狠狠干在线| 天天干天天干天天干天天干天天干天天| 在线观看国产高清视频免费网站| 五月丁香婷婷五月| 五月丁香激情片| 97色综合| 精品久久艹| 欧美97p| 人人操人| 亚洲欧美婷婷五月色综合| 日日激情网| 久久综合中文字幕| 疯狂做受XXXX高潮A片动画| 日日爱激情| 亚洲综合婷婷| 极品人妻VIDEOSSS人妻| 无码色色色色色| 性一交一乱一交A片久| 丁香六月久| 激情文学第四色婷婷丁香五月| 丁香六月综合激情| 五月婷婷啪啪| 五月丁香成人| 亚洲午夜视频| 香蕉久久五月| 五月激情六月丁香| 激情综合五月婷婷| 欧美综合激情五月丁香| 超碰国产AV| 伊人综合网站| 天天操B| 五月婷婷免费视频| 97色婷| 五月刺激丁香月综合| 97干在线| 亚洲美女网Va| 99秘 在线| www.99久| 大香蕉人人网| 四季8848精品成人免费网站| av中文在线| 噜噜久| 狠狠操天天操| 色婷婷五月色| 丁香六月欧美| 国产亚洲精品久久久久久久久动漫| 99热这里只有精品1025| jizzdr| 一本久久亚洲五月婷婷| 激情综合色| 婷婷伊人五月丁香天堂网| 99热超碰在线| 99热老网站| 婷婷色基地| 色国产五月| 五月丁香婷婷综合久久| 精品九九网| 天天操夜夜爽| 99'无码| 久久性刺激| 99热伊人综合| 久久综合99综合| 欧美日韩成人在线| 99精品在线观看视频| 五月丁香狠狠| 热久久66| 亚洲精99| 99re视频在线播放| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 久久婷婷五月综合一| 国产真实乱对白精彩| 五月婷婷啪啪| 国产精品久久久久久白浆色欲| 婷婷五月天激情文学| 99热精这里只有精品| 爱性综合网| 91精品国产99久久久久久天美| 韩日AV片| 婷婷99狠| 91精选国| 亚洲欧美成人在线观看| 丁香婷婷欧美综合| 国产一级视频a| 丁香六月啪| 超碰91人人操| 中文字幕人妻在线| 99操免费视频| 色噜噜狠狠色综无码久久合欧美| 思思热高清在线观看| 久久精品永久免费| 99视频精品全部免费观看| 狠狠人人| 五月天a婷婷伊人| 亚洲丁香婷婷五月天综合色| 久99热| 色五月涩涩婷婷| 色婷亚洲| 婷婷五月AV| 七七九九色色| 玖玖伦理电影| 亚洲亚洲激情| 加勒比色色| www色婷婷久久综合久色| 激情六| 一区色色色色网| 九九99免费视频| 91互操| 国产亚洲99久久| 欧美在线视频9| 99热一本| www.无码com| 99久热精品在线| 97日本在线| 影音先锋男人资源站一区二区| 久久日婷婷| 91制片厂久久久国产电影| 欧美久久九九| 五月综合激情图片| 超碰高清在线| 综合久久影院| 欧美激情丁香五月| 欧洲亚洲免费视频9| 97色色色视屏| 天天操,天天插| 久久这里只有精品1| 亚洲激情97五月天| 色五月天婷婷| 99热在线中文字幕| 99视频| 免费观看的av| 610018岁成人视频| 狠狠色中色| 人妻操日日| 国产亚洲99久久| 亚洲一区国产传媒| 国产欧美日韩综合精品一区二区| 久久婷婷五月综合色区| 美女xx不卡| 亚洲婷婷婷| 婷婷色九月| 婷婷五月天免费小说| 亚州激情网| 亚洲天堂亚洲色色色| 午夜精品777| 国产色五月| 久久激情五月婷婷| 大香蕉av在线| 99爱精品| 91九色 熟| 五月丁香人妻| 99在线精品观看99| 99热这里只有精品13| 天天五月情| 激情网婷婷五月天| 婷婷五月天开心网| 综合色图婷婷| 亚洲色图81p| 九九操操| 亚洲性爱99在线| 五月婷婷六月综合| 99ri精品| 农村熟妇高潮精品A片| 婷婷综合玖玖五月| 97人人操在线| 婷婷色日本| 婷婷精品性视频| 91seav| 亚洲这里只有精品| 琪琪色五月婷婷老师| 婷婷激情五月视频| 五月丁香婷成人网| 久久一热| 精品人妻一区二区三区四区不卡在| 99ER热精品视频| 99人人看| 婷婷免费精品视频 | 五月激情射| 激情综合5| 激情亚洲色图片丁香综合| AV在线资源| 婷婷丁香午夜综合影视| 婷婷五月综合网| 五月丁香香蕉| 九久九精品| 亚洲AV成人无码精品| 91色综合网| 国产精品久久久久久久久久| 狠狠久综合| 丁香婷婷激情综合五月激情| 色操b| 91丁香五月| 亚洲激情在线| 嫩草国产| 91婷婷五月天综合视频| 8区视频在线| 国产午夜成人免费看片无遮挡| 色五月婷婷激情基地| 六月婷婷无码| 五月婷婷视频在线观看| 日本欧美成人片AAAA| 亭亭玉月丁香| 五月丁香综合伦理片| 亚洲综合色网| 热99只有精品| 亚洲热热视频| 欧美日韩国产成人在线| 伊人五月天日日夜夜久久久天天| 新激情五月天天在线网| 国产精品第一国产精品| 久草大| 天天综合天综合| 欧美色色色色色| 日韩AV免费| anquye伊人| 欧美这里只有精品| 国产精品18久久久| 日韩欧美颜射| 欧美黄色韩日网| 五月婷婷色| 欧美色97| 久热网站| http:色情日本com| 91久久99久久91熟女精品| 五月伊人婷婷| 国产亚洲精品久久久久苍井松| 色五婷婷| 五月丁香另类图片| 又大又粗九一在线| 97操操网| 丁香婷婷激情综合五月激情| 天天插天天插| 久9热在线免费观看| 激情五月图| 久久婷婷久久| 婷婷丁香九色| 日本一级一级一级一级| 久久色亭亭五月天| 91色性感五月婷婷丁香| 激情精品久久| 99热精品无码| 激情综合五| 裸体美女丁香五月天。 | 色色a| 亚洲精品a成人在线播放| 婷婷五月天最新综合你懂的 | 五月天深爱激情网| 婷婷爱五月天| 91人人操人人| 欧美色五月| 中文字幕丰满乱孑伦无码专区| 婷婷的五月天另类视频| 色综合激情| 五月婷啪啪| 手机免费福利视频| 久久五月婷天天干| 五月婷婷伊人网| 婷婷五月六月丁香| 久久精品视频99| 日本九九网| 蜜桃婷婷狠狠久久综合| 五月婷婷丁香色播网| 国产精产国品一二三在观看| 激情婷婷五月女| 伊人五月综合网| 色婷婷呢狠禁久禁| 日本婷婷网| 深爱激情五月天| www99热| 亚洲视频操| 久久91久久91色欲精品| 日本色爽| 97干在线看| 51avj视频大全| 深爱激情五月天| AV操一操| 欧美va欧美va差| seuuu婷婷| 五月丁香色婷| 丁香五月婷婷啪啪视频| 丁香六月天婷婷开心综合| 成人片黄网站色大片免费毛片| 99区视频| 日本不卡一区二区三区| 在线五月色播| 777米奇影视第四色| 五月天激情网图片 - 百度| 99色色视频| 九九国产精视频| 久久综合人妻| 天天爽天天爽天天爽天天爽天天爽天天爽天天 | 天天成人五月天| 中文字幕按摩做爰| 天天射射夜| 丁香五月天久久| 丁香五月六月欧美| 亚洲综合色激情色五月| 日本五月天婷婷丁香| 五月天大香蕉AV| 日韩啊啊啊| 亚洲AV第二区国产精品| 久久久99视频| www.99视频| 天天插天天爽| 成人欧美一区二区三区在线观看| 亚洲国产精品VA在线看黑人| 激情亚洲色图片丁香综合| 婷婷中合| 久久久久久久合一狠狠做深爱| 五月婷综合| 五月丁香六月婷婷国产视频| 丁香五月综合久久综合| 五月天激情图片| 青草青草久热这里只有精品| 九九在线视频| 天天色官网| 热996精品在线观看| 激情五月天偷拍综合网| 久久东京热婷婷五月| 九九视频这里只有精品| 亚洲色色图片| 婷婷五月天久草在线| 91干在线| 色婷婷五月天偷拍| 琪琪秋霞| 韩日另类| 狠狠高潮精品亚洲1| 99九精品| 久操人妻| 久久er+| 五月天丁香色色| 婷婷激情丁香六月| 日韩美女羞羞网站在线观看| 97啪啪| 激情99。| www.久操| 婷婷久久五月| 人人爽人人爽人人爽人人爽| 激情婷婷五月天丁香| 99色网站| 伊人在线婷婷草| 九九精品re免费视频| 91婷色| 五月丁香六月日逼| 99热传媒| 婷婷丁香六月天| 色情五月天小说| www.丁香六月婷婷久久天堂影院.con| 亚洲aV写真天天综合网久久| 日韩av在线电影| 色噜噜狠狠色综无码久久合欧美| 99热中文字幕久久| 亚洲午夜AV| 五月婷婷六月激情| 五月天成人在线视频网站| 日本精品在线噜噜噜| 影音 五月 婷婷 久久| 无码髙清| 激情五月开心五月在线视频| 婷婷色色综合| 天天操婷婷| 国产va在线视频| 玖色色综合| 六月婷婷色综合| 丁香激激情网| 丁香色色色| 五月天色色无码| 久久综合婷婷五月| http://www.lingjunshare.com/| 婷婷伊人75| 超碰国产在线| 无码操B| 激情AV| 天天操天天插天天射| 天天激情站| 99成人免费热视频| 五月婷俺去也| 99热全是精品| 香蕉久久国产AV一区二区| 五月天天天色| 久久永久网址| 中文字幕无码成人电影| 天天干天天干天天| 国产.亚洲.欧洲视频在线| 91啪级电影| 9久国产精品| 超碰cap| 国产激情AV| 丁香婷婷六月在线资源观看| 97在线视频观看| 婷香狠狠爱五月| 五月天婷婷综合网| 狠狠干综合网| 日本成人小说婷婷六月| 久久五月婷婷电影| 无码动漫av| 婷婷色五月大香蕉在线| 伊人久久婷婷| 五月天婷婷在线AN| WwW天天干| 99九九在线观看免费| 婷婷色综合中心站| 色婷婷五月天| 精品婷婷| 久久婷婷综合五月趴| 天天草天天爱| 成人亚洲精品| 18久久| 91麻豆国产三级精品福利在线观看| 5月丁香啪啪啪| 五月婷婷视频在线观看| sewuyuejiqingwang| 亚洲色久| 九九99在线| 美女婷婷激情亚洲| 色五月亚洲| 大香蕉久| 天天噜| 久噜久噜| 欧美va视频不用播放器的va视频网| 久久久99免费视频| 久久久久9久无码视频| 五月丁香啪| 99热综合| 九月婷婷色色| 色播五月网| 99热在线观看亚洲区| 婷婷色激情网| 2021日韩无码| 亚州欧美黄色电影| 97在线99| 538在线精品| 人人播| 玖玖99免费视频| 久草五月天| 久久这里只有国产视频| 影音先锋激情网| 中文字幕丰满乱孑伦无码专区| 久久久大香蕉| 黑人熟妇一区二区三区| 六月婷婷AV| 婷婷情色五月| 操B视频在线播放| 免费无码毛片一区二区A片| 天天插天天爽| 婷婷激情五月综合| 大香蕉五月丁香| 婷婷丁香宗合888| 综合五月天| 51国精产品自偷自偷综合| 天天爽免费视频| 色欲日日躁| 婷婷亚洲激情在线观看视频 | 久久女人天堂| 六月丁香色色| 丁香婷婷五月色成人网站| 国产99久9在线| 99色.com| 99视频在线观看网址| 欧美日韩国产日本精品四虎网网站物| 久久182| 黄色毛片精品| 2013AV天堂| www.刺激色网站www.| 9 大屁股在线视频精品| bukadeavzaixian| 97超碰欧美中文字幕| 丁香五月婷婷亚洲激情四射| 97操在线资源| 六月综合婷婷开心伊人| 91婷婷五月丁香碰| 99热99在线| 丁香六月色婷婷| 超碰男人色| 青青草原伊人网| 五月婷婷六月丁香在线| 婷婷六月亚洲综合| 九九精品亚洲| 成人国产综合| 五月婷av| 色999亚洲人成色| 极品少妇XXXX精品少妇偷拍| 中字幕视频在线永久在线观看免费| 中国女人内射6XXXXX| 色婷青青| 免费观看日韩成人av| 99日视频在线| 久久婷婷五月综合成人d啪| 九九99九九99| 九九伊人网| 超黄亚洲瑟瑟网站| 免费久久这里只有精品99| 丁香五月av在线| 亚洲日韩欧美综合VA| 天天操比比| 99这里热| 久热无码| 成人无码髙潮喷水A片| 国产麻豆视频| 超碰永久在线| 久久婷婷综合国产| 91精品久久久久久77777| 激情五月深爱五月| 九九操综合网| 逼里香不卡| 五月婷婷啪啪| 97婷婷色| 精品一二三区久久AAA片| 婷婷丁香激情五月天色色色| 色婷婷啪啪| 婷婷丁香九月| 人人干天天舔| 色婷婷五月婷婷五月婷婷五月| 丁香五月婷中字幕| 午夜成人网站在线观看| 色婷婷五月综合| 亚洲亚洲人成综合网络| 一区=区操屄高清大全av| 99re免费在线视频| 激情五月天色色| 青青草深爱激情网| AAAA网站| 狠狠色婷婷777| 国产精自产拍久久久久久蜜| 婷婷五月天大香蕉在线视频观看| 色婷婷88| 亚洲久久视频| 人妻久久久久久久久久久| 久久五月激情综合| 丁香五月婷婷五月| 五月天丁香啪啪啪啪| 天天操无码| mmm1717.6dbm人人爱人人操| 五月丁香婷婷成人综合网| 激情五月天综合网| 五月激情天| 婷婷六月天| 婷婷综合激情| 天天日婷婷| 久久久久久久久99精品| 色久综合| 日本久久9| 91精品综合久久久久久五月丁香| 亚洲十月婷婷综合| 97丁香五月| 图片区 小说区 区 亚洲五月| 天天综合网色欲香| 日本啪啪视频HD| AVV黄| 五月天激情小说婷婷| 天天爽日日爽夜夜爽| 亚洲另类电影| 欧美黄色一级录像| 伊人久久大香线蕉av一区| 五月丁香六月婷婷在线小说视频| 激情婷婷五月| 色五月激情| 五月丁香另类网| 精品成人在线观看| 日韩精品色| 草草操操| 日本在线观看99| 天天看A片| 丁香五月开心婷婷| 色色日本| 婷婷伊人綜合中文| 天天色·欧美| 天天摸天天透天天舔| 99国产精品白浆在线观看免费| 国产操肏网站| 色五月激情五月丁香五月婷婷啪啪综合| 欧洲色| 色欲一区二区三区精品A片| 五月天婷婷激情网| 婷婷丁香六月影视| 超碰在线超碰| 狠狠色噜噜狠| 丁香五月色| 狠狠干夜夜干| 日韩丰满少妇无码内射| 96精品久久久久久久久| 婷婷激情5月| 综合色播| 丁香六月婷婷色播| 色婷婷五月天成人网| 97操视频| 丁香六月激情国产| 日本熟女三区| 亚州操操| 亚洲黄色操逼| 婷婷五月激情六月丁香| 九九干视频| 91人妻人人操| 五月色丁香综合| 伊人玖玖婷婷| 色日本颜射| 超碰chaompinm| 涩五月色婷婷| WWW.国产| 激情五月天色色网| 丁香五月天激情视频| 夜夜嗨一区二区三区直播内容 | 超碰人人色| www.射伊蕉婷婷| 丁香五月综合网亚洲综合欧美狠狠| 久久婷婷色| 97极品在线| 久久一热| 7EzOBIhNq85TO| 天天狠狠婷婷在线| 丁香五月偷拍| 影音先锋男士资源网一区| 色综合播放| 夜夜夜夜夜操| 香蕉久久六月| 很很干夜夜干| 综合aV在线| 樱花99视频| 六月丁香av| 婷婷中文字幕在线| 狼人婷婷久久| 可似看的AV| 婷婷综合中文| 亚洲激情电影五月天色婷婷丁香一起草| 色婷网| 日韩久综合| 日日操天天| 色婷婷基地 | 色色热99| 久草五月| 情色五月天网站| 能看的AV| 九九热99精品| 国产精品热搜丁香五月婷婷| 久久艹 五月天| 五月丁香好婷婷姑娘综合网| 丁香五月婷婷基地| 色婷婷AAA| 狠狠色狠狠| 五月婷婷丁香啪啪| 日日操夜夜爽| 婷婷五月精品中文| 久久色这里只有精品| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 开心五月深爱婷婷| 99久| 丁香五月网在线观看| 人妻熟人中文字幕一区二区| 久久99热这里| 激情色色色| 91狠狠综合久久久久久| 日本九九九九| 婷婷五月色情天| 久久婷婷成人| 婷婷射综合| 九月激情综合| WWW,五月| 婷婷五月天Av| 婷婷97碰碰| 丁香六月婷婷久久综合| 人妻五月天激情开心网| 亚洲婷婷五月天激情| 97热超碰| 色情五月综合婷婷| 亚洲九九婷婷| 色婷六月| 综合激情在线| 超碰在线视屏| 色色五月丁香| www.天天日| 99久久精| 爱射综合| 色播五月丁香婷婷| 五月网站| 极品五月天| 亚洲一二三网| 国产午夜一区二区三区| 丁香97综合| 久久99热免费最新版| 超碰在线中文字幕| 97色片| 欧美精品99久久久| 色吧综合网| 提提热五月天婷婷| 伊人热在线大香蕉| 婷婷激情五月色综合| 月色色综合婷婷网| www久久艹| 99九色视频在线观看| 一二三区视频韩国| 免费在线观看av网站| 精品无码99| 亚洲视频无| 午夜激情婷婷| 丁香五月亚洲激情婷婷射| www.久久爱| 婷婷婷五月天最新综合你懂的| 99在线资源视频| 韩国激情五月天综合网| 五月丁香六月激情综合| 激情五月综合网| 五月婷婷六月丁香综合视频在线| 五月婷视频| 久久金品黃色| 婷婷午夜丁香| 丁香五月AV| 婷婷五月综合激情小说| 97人人操com| 五月婷婷六月丁香综合| 中文字幕成人| 国产午夜成人AV在线播放| 久久这里只有欧美| 五月开心久久| 人人草人人爱| 久久久久人无码人妻| 中文字幕天天干| 五月丁香久久久久| 久久五月六月| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 黄色成人网站在线播放| 日本女天天爽| 超91热| 久久激情天堂| WWW,五月天| 久久五月天激情| 五月丁香六月综合激情| 天天久久人人| 激情四射亚洲| 亚洲成人中心| 韩国情人在线电视剧免费观看高清版全集| 色婷丁香91| 婷婷亚洲综合| 99爱视频精品在线观看| 大香蕉五月婷婷丁香| 99久热| 亚洲va日| 婷婷六久久| 99热这里只有精品22| 五月婷婷欧美激情| 天堂A∨在线| www.99riav99| 亚洲中文字幕AV| 六月丁香婷婷在线波多 | 色色吧综合| anquye五月| 婷婷五月天影院| 婷婷9月天| 丁香五月天堂| 天天干、天天日日| 五月丁香啪啪综合| 无码激情AAAAA片-区区| 第四色大香蕉| www婷婷亚洲| 五月婷婷狠狠久久| 亚洲综合在线视频| 人人视频色| 国产亚洲在线| 色婷婷av综合网| 久久ww| 欧美啄木乌丝袜人妻系列| 一逼色综合| 日韩一级| 国产色色视频| 五月丁香亚洲婷婷| 色很很96| 黄页免费一级视频懂色| 亚洲精品视频在线| 在线只有精品| 五月婷无码| 97五月久久丁香婷婷| 日韩一本操| 六月婷婷av| 六月丁香婷婷尤物| 九九AV在线| www.99.色| 99热这里只有精品首页| 99热6精品| 六月婷婷狠狠| 五月综合丁香婷婷| 五婷婷综合网| 99re这里| 亚洲情欲| 激情网狠狠干| 91超碰在线观看| www色哟哟| 伊人五月天| 日本色99| WWW,婷婷,COM| 九九九九九无码| 99福利导航| 久热99视频在线观看| 99热这里有精力| 99精品综合视频| 天天操天天谢| 只有精品视频在线观看| 超碰97久久| 丁香婷婷AV| 97综合在线| 丁香六月激情| 欧美国产一区二区三区| 天天色情站| 久久激情五月天| 亚洲激情Av| 欧美顶级少妇做爰HD| 婷婷大香蕉| 99综合网| 99综合免费视频| 五月香蕉婷婷| 91狠狠色| 天天射色五月天| 久草婷婷网| 成人AV在线电影| 日韩久久视频| 99热在线播放| 国语精品探花| 深爱激情五月天色婷婷| 久久久人妻人伦| 国产肏屄大片| 日噜噜色| 99热在线观看| 99久久99九九99九九九| 色婷婷久久久| 97操碰在线视频| 天天色天天爱天天爱天天爱y| 五月婷婷插一插| 亚洲第一色色色色| 五月天啪啪视频| 91九色精品| 伊人热婷婷| 丁香久久九九99| 亚洲国产99| 超碰大香蕉网| 丁香久久综合| 99色在线观看视频| 五月天狠狠| 99热手机在线精品| 亚洲狠狠干| 色99热| 少妇人妻综合色6699| 色综合久久久久久久久五月| 激情五月丁香在线观看直播| 激情五月婷婷在线区| 色婷婷婷婷成人网| 丁香五月色播中文在线播放| 亚洲精品网站色视频| 六月丁香激情综合网| 99精品激情| 久久五月天色婷婷| 久热这里只有精品6官网亚洲| 丁香五月亚洲AV| 色婷婷XXXXX| 久久这里只有国产| 五月网激情| 色色色在线播放| 婷婷区日本| 色情五月天首页| 天天射影视综合网| 综合网五月天123| 丁香五月天视频在线播放| 婷婷五月天另类网站| 五月婷婷丁香狠狠撸久久| 99热在线成人网站| 丁香久久| 五月色综合| 中文字幕人妻在线| 婷婷亚洲天堂| 99热官网| 办公室少妇激情呻吟A片在线观看 白人荫道BBWBBB大荫道 | 婷婷五月电影| 特黄三级片| 激情五月天影院| 婷婷色色五月天| 9色91视频| 色婷婷很很丝袜| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 日韩AV在线电影| 99er热精品视频| 五月天婷婷免费| 狠狠干婷婷| 99色啊| 狠狠狠狠狠操| 五月成人天| 91人碰| 120分钟婬片免费看| 狠狠色婷婷7777久| 秋霞AV吧| av在线不卡播放| 婷婷色色丁香五月天| 激情久久久| 色五月久久成人婷婷| 爱婷婷五月| 日韩啊啊啊| 97超碰综合| 激情五月天网站| 亚洲日比视频| 天天肏高清在线| 久久这里都是精品免费|