欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

MySQL FOR UPDATE實(shí)現(xiàn)分布式鎖的原理與高可用實(shí)踐

MySQL FOR UPDATE實(shí)現(xiàn)分布式鎖的原理與高可用實(shí)踐 1. 為什么“數(shù)據(jù)庫(kù)for update”在分布式鎖場(chǎng)景里既讓人上頭又讓人上癮“Java架構(gòu)直通車”這個(gè)標(biāo)題乍看像培訓(xùn)廣告但真正跑過線上高并發(fā)系統(tǒng)的人都知道——它背后藏著一群在凌晨三點(diǎn)盯著數(shù)據(jù)庫(kù)死鎖日志、一邊灌咖啡一邊改SQL的開發(fā)者。我參與過三個(gè)不同行業(yè)的中臺(tái)系統(tǒng)重構(gòu)從電商秒殺到金融賬戶扣減最后都繞不開一個(gè)樸素得近乎寒酸的方案用MySQL的SELECT ... FOR UPDATE實(shí)現(xiàn)分布式鎖。不是沒試過Redis、ZooKeeper、Etcd而是當(dāng)QPS沖到8000、事務(wù)鏈路橫跨5個(gè)微服務(wù)、回滾代價(jià)動(dòng)輒百萬(wàn)級(jí)時(shí)我們發(fā)現(xiàn)最慢的鎖有時(shí)反而是最穩(wěn)的鎖。關(guān)鍵詞里雖然空著但標(biāo)題本身已經(jīng)把核心要素釘死了Java語(yǔ)言棧、架構(gòu)級(jí)決策不是工具調(diào)用是系統(tǒng)設(shè)計(jì)取舍、數(shù)據(jù)庫(kù)載體、FOR UPDATE核心機(jī)制、分布式鎖目標(biāo)能力。這五個(gè)詞連起來(lái)不是教你怎么寫一行代碼而是在問當(dāng)CAP理論撞上銀行級(jí)一致性要求你敢不敢把鎖的命脈交給事務(wù)日志很多人一聽到“數(shù)據(jù)庫(kù)做分布式鎖”就搖頭理由很充分性能差、單點(diǎn)瓶頸、死鎖風(fēng)險(xiǎn)高。這些都沒錯(cuò)。但問題從來(lái)不是“能不能用”而是“在什么條件下它是唯一能用的”。比如某次支付對(duì)賬系統(tǒng)升級(jí)第三方對(duì)賬平臺(tái)要求T0實(shí)時(shí)核驗(yàn)所有資金流水必須嚴(yán)格按時(shí)間戳順序處理。我們?cè)囘^Redis Lua腳本加鎖結(jié)果在跨機(jī)房網(wǎng)絡(luò)抖動(dòng)時(shí)出現(xiàn)鎖續(xù)期失敗導(dǎo)致重復(fù)處理?yè)Q成ZK臨時(shí)節(jié)點(diǎn)又因會(huì)話超時(shí)誤刪鎖引發(fā)數(shù)據(jù)錯(cuò)亂。最后上線前72小時(shí)團(tuán)隊(duì)咬牙切齒地把鎖邏輯全切回MySQL——用SELECT id FROM t_lock WHERE lock_key account_123456 FOR UPDATE配合唯一索引和超時(shí)重試扛住了連續(xù)48小時(shí)峰值流量零資損。提示這不是技術(shù)懷舊而是對(duì)“鎖的本質(zhì)”的回歸。分布式鎖要解決的從來(lái)不是“怎么搶”而是“搶完之后誰(shuí)說(shuō)了算”。數(shù)據(jù)庫(kù)的ACID保證了只要事務(wù)沒提交鎖就一定不釋放只要鎖沒釋放其他事務(wù)就一定阻塞。這種確定性在網(wǎng)絡(luò)不可靠的分布式環(huán)境中比毫秒級(jí)的性能數(shù)字更珍貴。所以這篇文章不講“如何用for update實(shí)現(xiàn)鎖”而是帶你拆解為什么在特定架構(gòu)水位下它成了不可替代的兜底方案它的能力邊界在哪里踩過的坑比教科書寫的更痛而填坑的方法論恰恰是架構(gòu)師真正的護(hù)城河。2. FOR UPDATE不是語(yǔ)法糖是InnoDB事務(wù)鎖機(jī)制的具象化表達(dá)很多Java開發(fā)者對(duì)SELECT ... FOR UPDATE的理解停留在“加行鎖”三個(gè)字上。但當(dāng)你在生產(chǎn)環(huán)境看到SHOW ENGINE INNODB STATUS里密密麻麻的LOCK WAIT或者information_schema.INNODB_TRX表里卡住的事務(wù)列表時(shí)就會(huì)明白這行SQL背后是InnoDB存儲(chǔ)引擎在內(nèi)存、磁盤、日志三者間精密調(diào)度的鎖管理器在工作。它不是Java代碼調(diào)用的一個(gè)API而是數(shù)據(jù)庫(kù)內(nèi)核對(duì)你業(yè)務(wù)語(yǔ)義的強(qiáng)制約束。2.1 行鎖、間隙鎖、臨鍵鎖FOR UPDATE的三種面孔FOR UPDATE到底鎖什么答案取決于WHERE條件和索引結(jié)構(gòu)。這是絕大多數(shù)分布式鎖失效的根源——你以為鎖住了某條記錄其實(shí)鎖的是整個(gè)索引區(qū)間。精確匹配主鍵或唯一索引SELECT * FROM t_account WHERE id 1001 FOR UPDATE這是最干凈的情況。InnoDB只對(duì)id1001這一行加記錄鎖Record Lock。其他事務(wù)更新id1002完全不受影響。此時(shí)鎖粒度最小性能最好也是我們實(shí)現(xiàn)分布式鎖的黃金場(chǎng)景。范圍查詢或非唯一索引SELECT * FROM t_order WHERE user_id 123 FOR UPDATEuser_id無(wú)唯一索引InnoDB會(huì)升級(jí)為臨鍵鎖Next-Key Lock——即“記錄鎖間隙鎖”的組合。它不僅鎖住所有user_id123的行還鎖住這些行之間的“間隙”。比如表中存在user_id為122、123、124的記錄那么(122,123)、(123,124)這兩個(gè)間隙也被鎖定。這意味著新插入user_id123.5的訂單會(huì)被阻塞。這種鎖的范圍遠(yuǎn)超預(yù)期極易引發(fā)大面積阻塞。WHERE條件不走索引SELECT * FROM t_log WHERE content LIKE %error% FOR UPDATE沒有索引支撐的查詢InnoDB只能走聚簇索引全表掃描。此時(shí)FOR UPDATE會(huì)升級(jí)為表鎖Table Lock。整個(gè)t_log表被鎖死所有DML操作排隊(duì)等待。在高并發(fā)系統(tǒng)中這等于直接宣布服務(wù)不可用。注意分布式鎖的可靠性90%取決于你能否確保FOR UPDATE始終命中唯一索引。這意味著你的鎖key必須映射到數(shù)據(jù)庫(kù)中一條必然存在且唯一的記錄。常見錯(cuò)誤是直接用業(yè)務(wù)ID如訂單號(hào)作為鎖key卻未在鎖表中為其建立唯一索引導(dǎo)致鎖失效。2.2 鎖的生命周期從SQL執(zhí)行到事務(wù)提交的完整鏈路理解鎖何時(shí)加、何時(shí)放是避免死鎖和超時(shí)的關(guān)鍵。FOR UPDATE的鎖行為嚴(yán)格綁定事務(wù)生命周期加鎖時(shí)機(jī)SQL執(zhí)行完成、返回結(jié)果集的瞬間鎖即生效。不是在Java代碼connection.commit()時(shí)才加鎖。持有期間鎖持續(xù)存在于整個(gè)事務(wù)中包括事務(wù)內(nèi)的其他SQL操作、網(wǎng)絡(luò)IO等待、業(yè)務(wù)邏輯計(jì)算耗時(shí)。釋放時(shí)機(jī)僅在事務(wù)顯式提交COMMIT或回滾ROLLBACK時(shí)釋放。注意JDBC默認(rèn)自動(dòng)提交autocommittrue此時(shí)FOR UPDATE變成“查完即放”完全失去鎖意義。必須關(guān)閉自動(dòng)提交connection.setAutoCommit(false)。這就引出一個(gè)致命陷阱業(yè)務(wù)代碼中的try-catch塊如果只捕獲了業(yè)務(wù)異常卻忽略了數(shù)據(jù)庫(kù)連接中斷、網(wǎng)絡(luò)超時(shí)等系統(tǒng)級(jí)異常會(huì)導(dǎo)致事務(wù)長(zhǎng)期掛起鎖永遠(yuǎn)不釋放。我們?cè)诰€上遇到過一個(gè)案例某支付回調(diào)接口在處理成功后調(diào)用第三方通知因?qū)Ψ椒?wù)超時(shí)Java線程卡在httpclient.execute()上長(zhǎng)達(dá)2小時(shí)。由于事務(wù)未提交也未回滾FOR UPDATE鎖一直霸占著賬戶記錄導(dǎo)致該用戶后續(xù)所有交易全部阻塞。2.3 死鎖檢測(cè)與超時(shí)InnoDB給你留的最后退路InnoDB內(nèi)置死鎖檢測(cè)器一旦發(fā)現(xiàn)循環(huán)等待如事務(wù)A鎖了行1等行2事務(wù)B鎖了行2等行1會(huì)立即選擇一個(gè)事務(wù)作為犧牲者victim將其回滾并拋出Deadlock found when trying to get lock異常。這是數(shù)據(jù)庫(kù)層面對(duì)鎖競(jìng)爭(zhēng)的主動(dòng)干預(yù)。但死鎖不是唯一風(fēng)險(xiǎn)。更常見的是鎖等待超時(shí)。InnoDB通過參數(shù)innodb_lock_wait_timeout控制等待上限默認(rèn)50秒。當(dāng)一個(gè)事務(wù)等待鎖的時(shí)間超過此值會(huì)拋出Lock wait timeout exceeded異常。這個(gè)參數(shù)必須與應(yīng)用層的超時(shí)策略對(duì)齊數(shù)據(jù)庫(kù)超時(shí)設(shè)為50秒但Java代碼里Transactional(timeout5)意味著業(yè)務(wù)邏輯5秒沒做完就回滾而鎖還在數(shù)據(jù)庫(kù)里掛著直到50秒后才釋放。這會(huì)造成嚴(yán)重的資源浪費(fèi)。正確的做法是應(yīng)用層超時(shí) 數(shù)據(jù)庫(kù)鎖等待超時(shí) 事務(wù)最大允許耗時(shí)。例如支付扣款業(yè)務(wù)要求1秒內(nèi)返回那么JavaTransactional(timeout1)MySQLSET innodb_lock_wait_timeout3留2秒緩沖同時(shí)在代碼中捕獲LockAcquisitionException快速降級(jí)或重試3. 從“能跑通”到“可運(yùn)維”分布式鎖的七層防御體系用FOR UPDATE寫個(gè)Demo可能10分鐘搞定但要讓它在日均億級(jí)請(qǐng)求的系統(tǒng)里穩(wěn)定運(yùn)行三年需要構(gòu)建一套完整的防御體系。這不是堆砌技術(shù)而是對(duì)每個(gè)環(huán)節(jié)脆弱性的預(yù)判和加固。我把這套體系稱為“七層防御”每一層都對(duì)應(yīng)一個(gè)真實(shí)踩過的坑。3.1 第一層防御鎖表設(shè)計(jì)——唯一性是生命線鎖表絕不能是簡(jiǎn)單的id BIGINT PK, key VARCHAR, expire_time DATETIME。它必須滿足三個(gè)硬性條件鎖key字段必須有唯一索引這是FOR UPDATE精準(zhǔn)加鎖的前提。沒有唯一索引SELECT ... FOR UPDATE會(huì)退化為臨鍵鎖甚至表鎖。鎖表必須是獨(dú)立物理表禁止復(fù)用業(yè)務(wù)表如t_user來(lái)存鎖。業(yè)務(wù)表結(jié)構(gòu)變更、歷史數(shù)據(jù)歸檔、分庫(kù)分表策略都會(huì)直接影響鎖的穩(wěn)定性。鎖記錄必須預(yù)熱初始化不能依賴INSERT IGNORE或ON DUPLICATE KEY UPDATE動(dòng)態(tài)創(chuàng)建鎖記錄。因?yàn)镮NSERT本身可能觸發(fā)間隙鎖且在高并發(fā)下易產(chǎn)生主鍵沖突。我們采用的方案是建一張distributed_lock表結(jié)構(gòu)如下CREATE TABLE distributed_lock ( id bigint(20) NOT NULL AUTO_INCREMENT, lock_key varchar(128) NOT NULL COMMENT 鎖的唯一標(biāo)識(shí)如 account_123456, holder varchar(64) NOT NULL COMMENT 持有者標(biāo)識(shí)如 service-a:pid-12345, acquire_time datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT 獲取時(shí)間, expire_time datetime NOT NULL COMMENT 過期時(shí)間用于被動(dòng)清理, PRIMARY KEY (id), UNIQUE KEY uk_lock_key (lock_key) -- 強(qiáng)制唯一索引 ) ENGINEInnoDB DEFAULT CHARSETutf8mb4 COMMENT分布式鎖表;關(guān)鍵點(diǎn)在于所有鎖key必須在系統(tǒng)啟動(dòng)時(shí)通過腳本批量預(yù)插入到表中。例如針對(duì)100萬(wàn)個(gè)用戶賬戶預(yù)先插入100萬(wàn)條lock_key為account_000001到account_1000000的記錄。這樣FOR UPDATE永遠(yuǎn)只走唯一索引查找鎖粒度嚴(yán)格控制在單行。3.2 第二層防御獲取鎖——原子性與冪等性的雙重保障獲取鎖的SQL必須保證“要么成功拿到鎖要么明確失敗”不能有中間態(tài)。常見的錯(cuò)誤寫法是// ? 危險(xiǎn)兩步操作非原子 boolean exists jdbcTemplate.queryForObject( SELECT COUNT(1) FROM distributed_lock WHERE lock_key ?, Integer.class, lockKey) 0; if (!exists) { jdbcTemplate.update(INSERT INTO distributed_lock (lock_key, holder) VALUES (?, ?), lockKey, holder); } jdbcTemplate.update(SELECT * FROM distributed_lock WHERE lock_key ? FOR UPDATE, lockKey);這段代碼在并發(fā)下會(huì)因“檢查-創(chuàng)建”非原子導(dǎo)致多線程同時(shí)插入違反唯一索引約束拋出DuplicateKeyException。正確姿勢(shì)是利用MySQL的INSERT ... ON DUPLICATE KEY UPDATE特性將“檢查-創(chuàng)建-加鎖”三步合一-- ? 原子操作嘗試插入若已存在則更新holder和時(shí)間 INSERT INTO distributed_lock (lock_key, holder, acquire_time, expire_time) VALUES (?, ?, NOW(), DATE_ADD(NOW(), INTERVAL ? SECOND)) ON DUPLICATE KEY UPDATE holder VALUES(holder), acquire_time VALUES(acquire_time), expire_time VALUES(expire_time); -- 緊接著執(zhí)行FOR UPDATE此時(shí)記錄必然存在 SELECT * FROM distributed_lock WHERE lock_key ? FOR UPDATE;Java代碼中我們封裝了一個(gè)LockResult對(duì)象包含isAcquired(是否成功獲取)、lockId(鎖記錄ID)、holder(持有者)字段。每次獲取鎖后業(yè)務(wù)代碼必須校驗(yàn)isAcquired true才執(zhí)行核心邏輯否則直接返回失敗。3.3 第三層防御鎖續(xù)約——讓長(zhǎng)事務(wù)不“餓死”分布式鎖常用于處理耗時(shí)業(yè)務(wù)如生成復(fù)雜報(bào)表、調(diào)用外部慢接口。如果鎖過期時(shí)間設(shè)為30秒而業(yè)務(wù)邏輯執(zhí)行了45秒鎖會(huì)在中途被其他線程搶走導(dǎo)致數(shù)據(jù)不一致。解決方案是“鎖續(xù)約”Lock Renewal在獲取鎖成功后啟動(dòng)一個(gè)后臺(tái)守護(hù)線程Daemon Thread每隔10秒expire_time/3執(zhí)行一次續(xù)約UPDATE distributed_lock SET expire_time DATE_ADD(NOW(), INTERVAL ? SECOND), holder ? WHERE lock_key ? AND holder ?;續(xù)約必須校驗(yàn)holder防止誤續(xù)其他線程的鎖CAS思想。守護(hù)線程需與業(yè)務(wù)線程強(qiáng)綁定業(yè)務(wù)線程結(jié)束正常完成或異常退出時(shí)必須中斷守護(hù)線程避免僵尸線程持續(xù)續(xù)約。我們?cè)蛲浿袛嗍刈o(hù)線程導(dǎo)致一個(gè)已結(jié)束的報(bào)表任務(wù)其守護(hù)線程仍在給鎖續(xù)期最終鎖表被占滿新請(qǐng)求全部阻塞。后來(lái)在LockResult中增加了close()方法強(qiáng)制在try-with-resources中調(diào)用確保資源及時(shí)釋放。3.4 第四層防御鎖釋放——優(yōu)雅退出的最后一步釋放鎖看似簡(jiǎn)單DELETE FROM distributed_lock WHERE lock_key ? AND holder ?但有兩個(gè)隱藏雷區(qū)釋放操作必須在同一個(gè)數(shù)據(jù)庫(kù)連接中完成FOR UPDATE加的鎖只能由同一個(gè)事務(wù)釋放。如果獲取鎖用Connection A釋放用Connection BDELETE語(yǔ)句不會(huì)釋放鎖只會(huì)刪除記錄導(dǎo)致鎖永久殘留。必須校驗(yàn)holder防止A線程的鎖被B線程誤刪。這是分布式鎖安全的底線。我們的釋放邏輯強(qiáng)制要求傳入lockId獲取鎖時(shí)返回的主鍵ID和holderSQL如下DELETE FROM distributed_lock WHERE id ? AND holder ?;同時(shí)在LockResult.close()中我們加入雙重校驗(yàn)先查SELECT holder FROM distributed_lock WHERE id ?確認(rèn)當(dāng)前持有者仍是自己再執(zhí)行DELETE。若第一步查不到或holder不匹配則拋出IllegalLockReleaseException拒絕釋放。3.5 第五層防御異常熔斷——當(dāng)數(shù)據(jù)庫(kù)失聯(lián)時(shí)的保命機(jī)制數(shù)據(jù)庫(kù)連接池耗盡、主庫(kù)宕機(jī)、網(wǎng)絡(luò)分區(qū)……這些故障下FOR UPDATE會(huì)直接拋出SQLException如果業(yè)務(wù)代碼不做特殊處理整個(gè)服務(wù)會(huì)雪崩。我們的熔斷策略分三級(jí)故障類型熔斷動(dòng)作觸發(fā)條件瞬時(shí)抖動(dòng)快速重試SQLException含Connection refused、Timeout重試2次間隔100ms局部故障降級(jí)為本地鎖檢測(cè)到連續(xù)5次獲取鎖失敗切換為ConcurrentHashMapReentrantLock僅限同JVM內(nèi)互斥標(biāo)記告警全局故障熔斷開關(guān)打開1分鐘內(nèi)失敗率80%自動(dòng)打開熔斷器所有鎖請(qǐng)求直接返回LockUnavailableException業(yè)務(wù)走異步補(bǔ)償這個(gè)熔斷器不是Spring Cloud CircuitBreaker那種通用組件而是專為鎖服務(wù)定制的輕量級(jí)狀態(tài)機(jī)狀態(tài)變更寫入本地AtomicBoolean避免引入額外依賴。3.6 第六層防御監(jiān)控告警——讓鎖的狀態(tài)看得見沒有監(jiān)控的分布式鎖就像蒙眼開車。我們接入了三類核心指標(biāo)鎖獲取成功率success_count / (success_count fail_count)閾值99.5%觸發(fā)告警。平均等待時(shí)間從執(zhí)行FOR UPDATE到返回結(jié)果的P95耗時(shí)超過200ms告警說(shuō)明鎖競(jìng)爭(zhēng)激烈。鎖持有時(shí)間分布統(tǒng)計(jì)acquire_time到commit的時(shí)間繪制直方圖。若大量鎖持有時(shí)間集中在30s過期時(shí)間說(shuō)明業(yè)務(wù)邏輯超時(shí)需優(yōu)化。所有指標(biāo)通過Micrometer上報(bào)到PrometheusGrafana看板實(shí)時(shí)展示。最關(guān)鍵的是一張“鎖熱點(diǎn)圖”橫軸是鎖key的哈希分段如account_000001-010000縱軸是該區(qū)間內(nèi)鎖的平均等待次數(shù)。這張圖能一眼定位出“明星用戶”如某個(gè)大V賬號(hào)被高頻訪問從而指導(dǎo)分庫(kù)分表或緩存預(yù)熱。3.7 第七層防御災(zāi)備清理——鎖表“尸體”的定期掃蕩即使有完善的續(xù)約和釋放機(jī)制極端情況下如JVM進(jìn)程被kill -9仍會(huì)產(chǎn)生“僵尸鎖”——鎖記錄存在但holder對(duì)應(yīng)的進(jìn)程早已消失。我們部署了一個(gè)獨(dú)立的LockCleaner服務(wù)每5分鐘掃描一次SELECT id, lock_key, holder, expire_time FROM distributed_lock WHERE expire_time NOW() - INTERVAL 10 MINUTE; -- 過期10分鐘以上才清理清理前會(huì)調(diào)用注冊(cè)中心如Nacos查詢holder標(biāo)識(shí)的服務(wù)實(shí)例是否存活。只有確認(rèn)實(shí)例已下線才執(zhí)行DELETE。這個(gè)服務(wù)本身也做了高可用多個(gè)實(shí)例通過數(shù)據(jù)庫(kù)SELECT ... FOR UPDATE爭(zhēng)搶清理任務(wù)確保同一時(shí)刻只有一個(gè)實(shí)例在工作。4. 性能壓測(cè)實(shí)錄當(dāng)QPS從100飆到10000鎖的表現(xiàn)曲線理論再完美也要經(jīng)受真實(shí)流量的拷問。我們用JMeter對(duì)鎖服務(wù)進(jìn)行了四輪壓測(cè)環(huán)境為MySQL 5.7雙主讀寫分離、應(yīng)用服務(wù)器4核8G*3、鎖表數(shù)據(jù)量100萬(wàn)。結(jié)果顛覆了很多人的認(rèn)知。4.1 基準(zhǔn)測(cè)試單點(diǎn)MySQL的吞吐天花板第一輪不啟用任何優(yōu)化純FOR UPDATE獲取鎖并發(fā)線程數(shù)QPS平均響應(yīng)時(shí)間(ms)錯(cuò)誤率關(guān)鍵觀察1001200830%表現(xiàn)平穩(wěn)鎖等待幾乎為050021002380.2%出現(xiàn)少量鎖等待平均等待12ms100023004351.8%P95響應(yīng)時(shí)間飆升至1.2s大量請(qǐng)求超時(shí)結(jié)論單點(diǎn)MySQL的FOR UPDATE鎖獲取理論極限約2300 QPS。超過此值InnoDB的鎖隊(duì)列開始積壓響應(yīng)時(shí)間呈指數(shù)增長(zhǎng)。這解釋了為什么所有教程都強(qiáng)調(diào)“鎖要細(xì)粒度”——不是為了性能而是為了把鎖競(jìng)爭(zhēng)控制在可承受范圍內(nèi)。4.2 優(yōu)化一擊唯一索引預(yù)熱性能翻倍第二輪應(yīng)用“七層防御”中的第一、二層唯一索引預(yù)熱初始化并發(fā)線程數(shù)QPS平均響應(yīng)時(shí)間(ms)錯(cuò)誤率提升幅度100048002080%QPS提升109%錯(cuò)誤率歸零200052003850%穩(wěn)定在5000 QPS平臺(tái)期關(guān)鍵變化SHOW PROFILE FOR QUERY N顯示Sending data階段耗時(shí)從320ms降至45ms因?yàn)槲ㄒ凰饕笷OR UPDATE的行查找從O(n)降到O(log n)。這證明鎖性能的瓶頸80%不在鎖機(jī)制本身而在索引設(shè)計(jì)。4.3 優(yōu)化二擊讀寫分離連接池調(diào)優(yōu)突破單庫(kù)瓶頸第三輪引入讀寫分離FOR UPDATE強(qiáng)制走主庫(kù)但鎖表的SELECT如監(jiān)控查詢走從庫(kù)。同時(shí)調(diào)整HikariCP連接池maximumPoolSize50原20→ 主庫(kù)連接更充裕connection-timeout3000原30000→ 避免連接等待過久leak-detection-threshold60000→ 及時(shí)發(fā)現(xiàn)連接泄漏并發(fā)線程數(shù)QPS平均響應(yīng)時(shí)間(ms)錯(cuò)誤率提升幅度200078002560%QPS提升50%響應(yīng)更平穩(wěn)500082006120.1%逼近主庫(kù)CPU 90%紅線此時(shí)瓶頸已從鎖機(jī)制轉(zhuǎn)移到主庫(kù)CPU和網(wǎng)絡(luò)帶寬。我們觀察到SHOW PROCESSLIST中大量Sleep狀態(tài)連接說(shuō)明應(yīng)用層連接復(fù)用不足。4.4 終極優(yōu)化分庫(kù)分表鎖路由支撐萬(wàn)級(jí)QPS第四輪對(duì)鎖表進(jìn)行水平分片。按lock_key哈希如Math.abs(key.hashCode()) % 4分到4個(gè)庫(kù)每個(gè)庫(kù)8張表。應(yīng)用層增加LockRouter組件根據(jù)key自動(dòng)路由到對(duì)應(yīng)庫(kù)表。并發(fā)線程數(shù)QPS平均響應(yīng)時(shí)間(ms)錯(cuò)誤率架構(gòu)變化5000125004100%單庫(kù)壓力下降75%10000138007200.05%P95時(shí)間1.8s仍在業(yè)務(wù)容忍內(nèi)支付場(chǎng)景要求3s壓測(cè)中最大的發(fā)現(xiàn)是當(dāng)QPS超過8000FOR UPDATE的性能曲線不再陡峭上升而是呈現(xiàn)平緩的線性增長(zhǎng)。這意味著通過分庫(kù)分表FOR UPDATE鎖可以線性擴(kuò)展不存在理論上的絕對(duì)瓶頸。某次大促中我們實(shí)際承載了15200 QPS鎖獲取成功率99.97%平均耗時(shí)890ms完全滿足SLA。5. 與Redis鎖的硬剛對(duì)比不是誰(shuí)更好而是誰(shuí)更適合你的戰(zhàn)場(chǎng)社區(qū)里關(guān)于“數(shù)據(jù)庫(kù)鎖 vs Redis鎖”的爭(zhēng)論從未停歇。但作為經(jīng)歷過兩者線上混戰(zhàn)的架構(gòu)師我想說(shuō)脫離具體業(yè)務(wù)場(chǎng)景談技術(shù)選型都是耍流氓。下面這張對(duì)比表不是為了分高下而是幫你畫出決策地圖。維度MySQL FOR UPDATE 鎖Redis SETNX 鎖適用場(chǎng)景判斷依據(jù)一致性保證強(qiáng)一致性ACID事務(wù)提交前鎖絕不釋放最終一致性網(wǎng)絡(luò)分區(qū)時(shí)可能出現(xiàn)腦裂兩個(gè)客戶端同時(shí)認(rèn)為自己持有鎖金融、支付、庫(kù)存扣減等零容忍數(shù)據(jù)錯(cuò)亂的場(chǎng)景必須選MySQL性能上限單庫(kù)約2000-5000 QPS分庫(kù)分表后線性擴(kuò)展單Redis實(shí)例輕松支撐5w QPS集群模式更高日均PV1000萬(wàn)、QPS3000的中小系統(tǒng)Redis更輕量超大規(guī)模且對(duì)一致性要求極高M(jìn)ySQL分片是正解運(yùn)維復(fù)雜度依賴DBA需監(jiān)控鎖等待、死鎖、連接池災(zāi)備需主從切換運(yùn)維簡(jiǎn)單但需關(guān)注Redis持久化、哨兵/集群故障轉(zhuǎn)移、Lua腳本原子性團(tuán)隊(duì)DBA能力強(qiáng)、有成熟MySQL治理平臺(tái)選MySQL若團(tuán)隊(duì)更熟悉Redis且能接受最終一致性Redis更省心鎖粒度控制精確到行但依賴索引設(shè)計(jì)設(shè)計(jì)不當(dāng)易升級(jí)為間隙鎖/表鎖精確到key無(wú)索引概念粒度天然最細(xì)業(yè)務(wù)鎖key天然具備唯一性如用戶ID、訂單號(hào)且能建立唯一索引MySQL優(yōu)勢(shì)明顯若鎖key是動(dòng)態(tài)拼接如cache:user:123:profileRedis更靈活超時(shí)與續(xù)約依賴innodb_lock_wait_timeout續(xù)約需額外UPDATE SQL易出錯(cuò)SET key value EX seconds NX原生支持超時(shí)Lua腳本能安全續(xù)約對(duì)鎖超時(shí)精度要求極高如必須精確到毫秒Redis的EX參數(shù)更可控MySQL的timeout是全局配置不夠靈活故障恢復(fù)主庫(kù)宕機(jī)鎖服務(wù)立即不可用從庫(kù)只讀無(wú)法獲取新鎖Redis Sentinel模式下故障轉(zhuǎn)移約30秒集群模式更快系統(tǒng)SLA要求RTO30秒且能接受短暫鎖不可用Redis更優(yōu)若要求RTO0如核心支付通道MySQL主庫(kù)高可用MHA/PXC是剛需開發(fā)心智負(fù)擔(dān)需深入理解InnoDB鎖機(jī)制、索引原理、事務(wù)傳播學(xué)習(xí)成本高API簡(jiǎn)單setIfAbsent文檔豐富上手快新團(tuán)隊(duì)或項(xiàng)目初期優(yōu)先用Redis快速驗(yàn)證進(jìn)入穩(wěn)定期、追求極致可靠再遷移到MySQL我們的真實(shí)遷移路徑是起步用Redis快中期用MySQL穩(wěn)后期混合智。例如在某電商平臺(tái)商品詳情頁(yè)的緩存更新用Redis鎖QPS高、容忍短暫不一致而下單扣庫(kù)存環(huán)節(jié)強(qiáng)制切到MySQL鎖強(qiáng)一致性。兩個(gè)鎖服務(wù)通過統(tǒng)一的LockFactory接口注入業(yè)務(wù)代碼無(wú)感知。注意不要迷信“銀彈”。我們?cè)谝粋€(gè)內(nèi)容推薦系統(tǒng)中盲目將Redis鎖全換成MySQL鎖結(jié)果因推薦算法耗時(shí)波動(dòng)大100ms~3s導(dǎo)致鎖持有時(shí)間不可控innodb_lock_wait_timeout設(shè)置成3秒太短頻繁超時(shí)設(shè)成10秒又導(dǎo)致鎖堆積。最后的解法是對(duì)耗時(shí)穩(wěn)定的業(yè)務(wù)用MySQL對(duì)耗時(shí)波動(dòng)大的業(yè)務(wù)保留Redis鎖但增加“鎖有效性校驗(yàn)”——在業(yè)務(wù)邏輯執(zhí)行前再次GET鎖key確認(rèn)自己仍是持有者。6. 踩坑實(shí)錄那些讓架構(gòu)師徹夜難眠的鎖相關(guān)故障紙上談兵千遍不如一次真實(shí)故障的教訓(xùn)深刻。我把過去三年處理的5個(gè)典型鎖故障還原成排查鏈路告訴你當(dāng)報(bào)警電話響起時(shí)第一步該看什么。6.1 故障一凌晨2點(diǎn)支付成功率暴跌至30%現(xiàn)象監(jiān)控顯示lock_acquire_success_rate從99.9%驟降至32%大量支付請(qǐng)求卡在FOR UPDATE上P95響應(yīng)時(shí)間從200ms飆升至15s。排查鏈路SHOW PROCESSLIST發(fā)現(xiàn)大量StateUpdating的線程Info列顯示UPDATE distributed_lock SET ... WHERE lock_key account_XXXXXX—— 鎖續(xù)約SQL在執(zhí)行。SELECT * FROM information_schema.INNODB_TRXTRX_STATELOCK WAIT的事務(wù)數(shù)超200TRX_MYSQL_THREAD_ID指向應(yīng)用服務(wù)器PID。登錄對(duì)應(yīng)應(yīng)用服務(wù)器jstack PID | grep -A 20 FOR UPDATE線程堆??ㄔ贖ttpURLConnection.getInputStream()正在調(diào)用一個(gè)外部風(fēng)控接口。查distributed_lock表expire_time字段大量為2023-10-01 02:00:00全是整點(diǎn)時(shí)間說(shuō)明續(xù)約線程在固定時(shí)間點(diǎn)集中觸發(fā)。根因風(fēng)控服務(wù)在凌晨2點(diǎn)進(jìn)行例行維護(hù)所有請(qǐng)求超時(shí)。但我們的鎖續(xù)約線程未設(shè)置超時(shí)導(dǎo)致UPDATE語(yǔ)句在網(wǎng)絡(luò)超時(shí)后仍長(zhǎng)時(shí)間占用數(shù)據(jù)庫(kù)連接阻塞了新的鎖獲取請(qǐng)求。修復(fù)為所有外部HTTP調(diào)用增加connectTimeout3000、readTimeout5000在續(xù)約線程中增加Thread.interrupt()保護(hù)超時(shí)后主動(dòng)中斷將續(xù)約頻率從“固定間隔”改為“基于鎖剩余時(shí)間的動(dòng)態(tài)間隔”剩余時(shí)間10s間隔5s剩余時(shí)間10s間隔1s6.2 故障二用戶投訴“錢被扣了兩次”現(xiàn)象財(cái)務(wù)對(duì)賬發(fā)現(xiàn)同一筆訂單在10分鐘內(nèi)被扣款兩次t_payment表有兩條相同order_id的記錄。排查鏈路查payment_log兩條記錄create_time相差8秒status均為SUCCESS。查distributed_lock對(duì)應(yīng)lock_keyorder_789012的記錄holder字段為payment-service:12345和payment-service:67890兩個(gè)不同PID。SELECT * FROM information_schema.INNODB_LOCK_WAITS空說(shuō)明沒有死鎖是正常獲取。深挖payment-service:12345的日志在FOR UPDATE后執(zhí)行INSERT INTO t_payment前發(fā)生OutOfMemoryErrorJVM崩潰。payment-service:67890的日志在FOR UPDATE后未檢測(cè)到payment-service:12345的鎖持有因進(jìn)程已死連接斷開鎖被InnoDB自動(dòng)釋放成功獲取鎖并扣款。根因JVM崩潰導(dǎo)致事務(wù)未提交鎖被自動(dòng)釋放但業(yè)務(wù)邏輯未做冪等校驗(yàn)第二個(gè)請(qǐng)求進(jìn)來(lái)后認(rèn)為自己是首次處理。修復(fù)所有扣款接口增加冪等key如order_id timestamp在INSERT t_payment前先SELECT COUNT(1) FROM t_payment WHERE order_id ? AND status SUCCESS在LockResult中增加isHeldByCurrentProcess()方法通過SELECT holder FROM distributed_lock WHERE id ?實(shí)時(shí)校驗(yàn)業(yè)務(wù)邏輯執(zhí)行前必須調(diào)用6.3 故障三數(shù)據(jù)庫(kù)CPU 100%SHOW FULL PROCESSLIST全是Sleep現(xiàn)象MySQL CPU持續(xù)100%SHOW PROCESSLIST顯示數(shù)百個(gè)StateSleep的連接Time列顯示連接已空閑3600秒以上。排查鏈路SELECT * FROM information_schema.PROCESSLIST WHERE COMMAND ! Sleep無(wú)活躍連接說(shuō)明問題不在SQL執(zhí)行而在連接管理。SELECT * FROM information_schema.INNODB_TRX空說(shuō)明沒有長(zhǎng)事務(wù)。檢查應(yīng)用服務(wù)器netstat -anp | grep :3306 | wc -l顯示連接數(shù)達(dá)800遠(yuǎn)超HikariCP配置的maximumPoolSize50。jstack PID | grep com.zaxxer.hikari發(fā)現(xiàn)大量線程卡在HikariPool.getConnection()等待連接。根因HikariCP的connection-timeout配置為30秒但應(yīng)用層Transactional的timeout60。當(dāng)數(shù)據(jù)庫(kù)響應(yīng)慢時(shí)連接在池中等待30秒超時(shí)后被丟棄但業(yè)務(wù)線程仍在等待事務(wù)完成導(dǎo)致連接池不斷創(chuàng)建新連接最終耗盡。修復(fù)統(tǒng)一超時(shí)Transactional(timeout25)HikariCP.connection-timeout20000innodb_lock_wait_timeout15增加連接池監(jiān)控HikariCP.getMetricsTrackerFactory()上報(bào)activeConnections,idleConnections6.4 故障四分庫(kù)后部分鎖key總是獲取失敗現(xiàn)象分庫(kù)分表上線后約5%的鎖請(qǐng)求返回LockUnavailableException但lock_key在對(duì)應(yīng)庫(kù)表中確實(shí)存在。排查鏈路抓取失敗的lock_key手動(dòng)計(jì)算哈希Math.abs(account_123456.hashCode()) % 4 2應(yīng)路由到ds_2庫(kù)。登錄ds_2庫(kù)SELECT * FROM distributed_lock_0 WHERE lock_key account_123456記錄存在。EXPLAIN SELECT * FROM distributed_lock_0 WHERE lock_key account_123456 FOR UPDATEtypeALL未走索引查distributed_lock_0表結(jié)構(gòu)lock_key字段為varchar(128)但建表時(shí)未指定字符集MySQL 5.7默認(rèn)utf8而應(yīng)用傳入的key是utf8mb4編碼。根因字符集不匹配導(dǎo)致索引失效。utf8mb4的account_123456在utf8索引中無(wú)法匹配FOR UPDATE退化為全表掃描觸發(fā)臨鍵鎖最終因鎖等待超時(shí)失敗。修復(fù)ALTER TABLE distributed_lock_0 CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci所有分表執(zhí)行ALTER TABLE ... MODIFY COLUMN lock_key VARCHAR(128) CHARACTER SET utf8mb4 NOT NULL6.5 故障五大促期間鎖表被“撐爆”現(xiàn)象大促高峰distributed_lock表數(shù)據(jù)量從100萬(wàn)暴漲到5000萬(wàn)磁盤使用率95%INSERT操作變慢。排查鏈路SELECT table_name, table_rows, data_length FROM information_schema.TABLES WHERE table_schema xxx AND table_name LIKE distributed_lock%單表行數(shù)超600萬(wàn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲午夜AV| 另类综合网| 婷婷五月天亚洲| 9热在线观看| 伊人在线视频| 伊人干综合| 九月激情网| 综合狠狠干| 色婷久| 91天堂网综合| 色欲久久综合| 丁香伊人激情| 99热黄| 久久五月天激情| 爆乳熟女-区二区三区| 丁香五月开心五月激情| 五月丁香六月成人| 五月天久久久| 深夜激情网| 九九精品少妇| 91精品久久久久久77777| 丁香六月婷婷综合| 成人国产欧美大片一区| 26uuu成人网| 99视频日韩| 狠狠做婷婷| 综合激情在线观看| 五月天丁香网| 天天日天天爱天天噪| 日本色色影院| 国产色色视频| 超碰1999| 97人人干| 婷婷97C| 激情视频综合| 亚洲丁香五月天在线视频| 国产真实乱了老女人视频 | AV九九| 色五月婷婷激情综合网| 影音先锋男士资源网一区| 五月天色影院| 丁香五月图片| 啪精品| 91丨九色丨丰满人妖| a在线观看| 天天操夜夜操| 亚洲人成色A777777在线观看| 婷婷久久99| 久操操| www国产亚洲色婷婷com| 女婷久久| 婷婷日本在线| 色播丁香| 成人AV中文字幕| 精品婷婷五| 婷婷大香焦| 婷婷五月色播| 日韩按摩二区| 7超碰自拍| 91丨九色丨国产打屁股| 99ri视频在线播放| 激情五月色综合国产精品| 69精品人人人人人人| 久久性视频| 青草视频在线蜜臀| 人人摸人人操人人爽| 91超级碰碰| 婷婷开心五月| 草草女人亚洲| 精品久久久人妻| 色婷婷网| 91在线视频综合| 六月婷婷激情| 99久热这里只有精品| 99热这里只有精品一区| 丁香婷婷五月天色综合| 五月婷婷久久久| .青娱乐天天操B| 色婷婷激情| 国熟女视频| 人人爽欧美婷婷久久久五月丁香| 久久久久久久11111111111| 色噜噜狠狠色综合成人网| 26UUU在线观看| 婷婷综合色| 五月天社区婷婷| 婷婷五月天激情小说| 一本综合丁香日日狠狠色| www.精品久9| 婷婷五月天基地| XX久久| 天天天天天天天操| 插插网爽妇五月丁香| 久草视频一,二三四| 免费观看全黄做爰的视频 | 2050人人操免费工开爱| 丰满少妇猛烈A片免费看观看| 欧洲一区二区| 成人在线日韩欧美| 青草五月天| 丁香久久五月天视频在线观看| 成人婷99最新| 色婷婷在线播放| 五月婷婷色色网址| 色婷婷第四色| 精品无码片| 免费无码毛片一区二区A片| 99A级片| Www.激情| 欧美日本va| 欧美美女国产日韩一区二区久| 日韩99视频| 丁香婷婷综合色五月激情国产基地| 婷婷五月天在线观看| 99激情网| 思思热在线播放| WWW.17C亚洲精品| 婷婷五月天精品| 九九一综合精品| 婷香五月网在线| 99re热在线视频| 91疯狂操操操操| 射满了还射免费在线观看 -午夜版全集-新视觉影院 | 伊人超碰| 大香蕉久久| 婷婷欧美激情综合| 91色综合| 91精品久久久久久久| 婷婷影院欧美| 99re久热只有精品6在线直播.com| 碰碰碰91| 日本天堂爱爱| 婷婷啪啪| 婷婷五月欧美综合| 婷婷五月骚厕所| 成人午夜视频精品一区| 九九在线视频| 婷婷六月色开| 久久久久亚洲AV综合| 免看黄大片AA | 91热99| 99精品福利视频| 996热| 天天肏高清在线| 人人看人人草人人摸| 丁香六月情| 日本色久| 亚洲无码成人| 黄色五月婷婷| 操久久网| 狠狠爱综合| 五月婷婷婷丁香播| 婷婷狠狠18禁久久| 97资源欧美日韩大香蕉超碰一区| 狠狠色色综合| 婷婷射丁香| 五月婷婷丁香网| 婷婷五月天性| 成人婷婷色综合| 九九视频免费| 欧美性猛交AAAA片黑人 | 欧美 日韩 成人 在线| 色五XX| av大片在线| 爱之国产色情综合| 亚洲视频一区| 色婷婷激情五月天| 九伊人网| 小视频久久久aaa| 六月丁香大香蕉| 91色在线 | 日韩| 色玖玖玖| 91蜜桃婷婷狠狠久久综合9色| 久久99精品久久久久久噜噜| 久久婷五月天| 伊人超碰| 亚洲无码你懂的| 久久99热免费最新版| 国产原创视频91九色| 天天综合影院| 久久99久久99精品免观看粉嫩| 婷婷五月天天爽| 91丁香| WWW.17C亚洲精品| 欧美图片丁香五月天| 人妻久久久久久| 99九九视频| www.五月婷婷久久.com| 丁香六月av| 成人丁香| 亚洲丁香五月| 欧美丁香五月97色| 欧美成人精品三区综合A片| 开心五月天私房婷婷| 亚洲操b| 丁香六月狠狠| 狠狠狠狠青草| 五月丁香啪啪| 激情五月天伊人影院| 丁香熟女乱| 久久五月天色婷婷| 五月天色官网| www.久久久久久久| 成人做爰黄A片免费看直播室男男| 快色t v在线入口| 久久日本wwww色| 玖玖婷婷色五月| 欧美久久婷婷| 色情成人五月天| 色五月婷婷九月| 内射综合网| EEUSS鲁片一区二区三区| 狠狠久综合| 五月婷婷激情久久| yw国产AV| 久99| 婷婷五月丁香91| 金桔一区二区ab地址| 中国无码av| 97色女人在线| 婷婷五月天a| 操人精品| 91色综合网站在线| 综合五月天| www.五月天激情| 色五月婷婷1| 天天天天操| 久久色这里只有精品| 狠狠色丁香| 五月停亭久久电影| 熟妇人妻中文字幕无码老熟妇| 激情噜噜噜| 婷婷色五月亚洲| 日本A片一区| 日日操夜夜撸| 五月色网| 色噜噜狠狠色综合成人99| 这里只有精品99www| 九九亚洲无码| 99热全是精品| 综合久久十| 激情亚洲网| 五月天影院| mmm1717.6dbm人人爱人人操| 丁香婷婷人妻| 久久婷综合| 亚洲欧洲小视频9| 777米奇影视第四色| 久久婷婷网| 欧美日本va| 久热九九| 九九激情网| 亚洲视频在线观看| 国产欧洲欧洲精品久久| 久久五月丁香| 成功精品影院| 激情综合五月婷婷| 国产亚洲成AV人片在线观黄桃 | 爱射综合| 九九家庭影院| 久久久人妻人伦| 五月久久网| 九九中文色色| 色噜久| 日韩欧美成人一区二区三区| 极骚大香蕉伊人| 伊人激情| www婷婷色| 91碰碰碰| 超碰在线免费观看日韩| 日曰躁夜夜躁2026| 天天综合网~91| 90色免费视频| 丁香五月熟女| 乱岳熟女50岁| 丁香五月激情图片婷婷| 超碰在线资源| 五月丁香人妻| 天天射综合网站| 日本在线视频播放91| 狠狠色色综合| 久久婷婷五月天激情四射| WWW、日本色丁香、co m| 激情国产五月| 婷婷激情四射五月天| 色婷婷aV四虎| 色综合网址| 91超级碰| Jh7Uf088VHafNm| 另类综合网| 97五月天婷婷| 99无码| 激情久久综合| 99视频| 91色性感五月婷婷丁香| 天堂久久婷婷| 妻久久久久| 色狠狠六月| 思思久热| www.超碰在线| 亚州欧美黄色电影| 久9视频| 婷婷五月色| 丁香六月婷婷缴情欧美| 99热这里只有精品最新地址获取| 99热99美国在线观看| 超碰人人草| 无码激情AAAAA片-区区| 99日精品视频| 丁香五月天欧美| 婷婷五月18永久免费视频| 日日日日日| 99re这里| 成年视频免费观看| 人人干天天操五月丁香| 99热这里只有精品4| 成人电影在线免费试看| 久操欧美在线观看97| 色色五月天婷婷| 情欲禁地| 99视频久久| 天天人人综合| 丁香五月天婷婷激情| 五月天激情亚洲| 欧洲色色| 曰曰久久| 久热这里只有精品99re| 无码人妻精品一区二区蜜桃色欲| 九九 激情 网| 五月婷婷丁香综合| 六月丁香五月天| 99噜噜噜在线播放| 丁香五月婷婷亚洲人| 99色免费视频| 五月丁香久久网| 香蕉久久国产AV一区二区 | 精品亚洲国产成AV人片传媒 | 婷香五月网在线| 久久久久人妻精选| 日日影院 | 九九综舍久久| 五月综合婷婷五月| 国产精品成av人在线视午夜片| 99精品热| 99在线观看精品| 丁香88AV五月婷婷| 五月婷婷狠天天色综合| 日本丁香五月| 亚洲综合在线视频| 国产精品久久..4399| 亚洲AV无码电影| 99热久只有| 伊人狠狠丁香婷婷综合尤物| 久久9精品视频| 热成人网| 一本婷婷丁香久久| 99精品网站| www狠狠| 日本97在线视频| 丁香六月五月婷婷| 99久久天堂婷婷| 久久婷婷六月综合资源| 97色色视频| 伊人99热| 色综合另类| 久久受www免费人成| 伊人日日干| 婷婷五月天成人网| 色五月婷婷、老熟女| 99久久网站| 大香蕉520| 日韩成人网址| 九九这里只有精品在线视频| 亚洲精品视频在线播放| 国产夫妻操逼内射视频| 激情婷婷丁香| 五月天全国最大成人网| 亚洲黄色网址| 国产永久一二一起草| 五月丁香五月综合欧美| 天天天天天操| 欧美三级韩国三级日本三斤| 99热销国产这里有精品| 97人人干人人操| 91超碰九色| 五月婷婷三级| 丁香无月在线观看| 一级黄色影片| 亚洲精品视频在线播放| 免费观看的av| 五月丁香六月婷婷,婷| 日本三级大片| 欧美英丁香开心快乐六月天网| 91综合视频丁香| 五月激情丁香| 91久久久久久久久久| 婷婷五月天伊人网| 成人亚洲精品| 国产黄色在线观看| 26uuu欧美| 久久视频婷婷视频| 牛牛澡牛牛爽| 五月婷婷丁香狠狠撸久久| 狠狠色丁香久久综合婷婷亚洲成人福利 | 五月丁香婷婷99| 天天操天天插| 激情婷婷五月女| 婷婷色情 | 99国产视频网| 色综天天综合| 九九精品少妇| 99视频自拍| 亚洲色欲AAAAAA| 狠狠久久婷婷| 国产欧美日韩综合精品一区二区| 婷婷五月六月丁香| 国产av影片| 六月丁香五月婷婷| 色女伊人| 久久久色婷婷五月天| 欧美日韩成人综合9| 天堂综合久| 色欲五月天| 色婷婷影视| 99亚州综合精品成人网| 久99热在线观看| 夜精品无码A片一区二区蜜桃| 婷婷五月天六点丁香五月| 十区av| 色色婷婷丁香| 综合五月婷婷| 五月天性色| 中文字幕,综合,91| 五月丁久久| 噜噜噜狠狠色综| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 中文字幕成人| 综合网天天| 国产精品人妻在线网址| 操日本99| 国产成人精品123区免费视频 | 丁香六月婷婷综合啪啪| 四色五月婷婷| 国产午夜精品AV一区二区麻豆| 五月天成人免费视频| 26UUU亚洲欧美| 99干日本| 天堂综合久| 99九九久久| 日日夜夜干| 美女婷婷六月色| 五月婷婷深深爱| 99se丁香| 亚洲国产精品二二三三区| 亚洲成人av在线播放| 99爱免费在线观看| 一区色色色色网| 激情碰碰碰| 久久久天堂国产精品女人| 亚洲99热| 色香欲综合| 97超碰在线免费观看| 六月色日韩| 九九99免费视频| 成人网站高清无码| 午夜理论片最新午夜理论剧 | 99热精品网| 日本人妻伦在线中文字幕| 在线不卡视频| 青青草激情网| 青青草五月天| 97色色视频| 思思热视频在线| 五夜婷婷| 色五月婷婷在线| 97色久| 五月天丁香成人社| 9月色婷婷| 五月激情在线| 五月丁香婷中文| 九九精品视频在线观看| 综合一本道| 99热无码| 丁香五月色五月| 婷婷 丁香 精品| 性综合网| 五月丁香黄色视频| 激情综合五月| 我淫我色婷婷五月天激情四射| 婷婷色五月天在线| 99资源在线视频| 97视频91| 久久99久久99久久99人受| 天天操天天操天天操天天操天天操| 成人免费高清在线播放| 97人人操人人干| 色五月综合| 国产美女无遮挡裸体毛片A片 | 99日本黄站| 国産精品| 少妇2做爰HD韩国电影| 51精品国自产在线| 欧美激情 日韩无码 婷婷 五月天| 在线成人国产| 亚洲色综合| 99超在线| 激情五月丁香亭亭 | 91pornav在线| 综合激情五月四射婷婷| 亚洲婷婷乱乱丁香| 中文AV在线播放| 激情五月婷婷| 亚洲成人AV电影在线| 五月婷婷久久爱| 婷婷久久性爱| 五月天色婷婷视频| 五月天停婷基地| 开心激情网五月天| 嫩草AV久久伊人妇女超级A| 五月婷婷丁香| 四射综合网| 久久婷婷丁香视频网| 久99久视频免费观看| 日日做A爰片久久毛片A片英语| 五月伊人91| 色婷大香蕉| 五月天成人综合| 无码动漫av| 天天搞天天色综合| 婷婷五月偷拍| 九九热在线视频,| 激情精品久久| 狠狠色婷婷7| 99精品国产在热久久 | 激情五月综合六月丁香婷婷狠狠干| 黄色成人网站在线播放| 99九无网码| 婷婷 伊人 久久| 久久婷婷大香蕉| 亚洲亚洲人成综合网络| ..真实国产乱子伦对白在线_欧| 亚洲精品午夜国产va久久成人| 婷婷色在线播放| 日日狠夜夜狠| 99日这里只有精品| 日韩在线婷婷五月天综合| 99热99这里有免费的精品| 色青青五月| 色激情综合狠狠婷婷| 婷婷色婷婷亚洲成人| WWW.99热| 人妻久久做| 久思思久视频| www.狠狠操.com| 色五月天成人在线| 美英法精品无码免费视频| 69er小视频| 99精品无码网站| 嫩草AV久久伊人妇女超级a| 婷婷六月激情丁香| 伊人干练久| 森林影视大全,最好看的2019年视频 | 五月综合婷婷久久在线| 激情五月天色婷婷| 99热无码| 久久婷婷五月综合激情国产 | 婷婷丁香18| 五月天大香蕉| 欧美槡BBBB槡BBB少妇| 欧美三级巜人妻互换| 91久久日日| 色99xx| 日韩在线成人电影| 67194成I人在线观看线路1| 久久久人妻久久久| 日韩婷婷五月天| 色情久久久| 婷婷五月在线播放| 久久五月丁香婷婷| 欧美韩国日本| 操老逼综合网| 日韩三十六页| 五月丁香自拍| 五月色丁香综合| 好好干av| 久久大香蕉同僚| 26uuu成人网| 香蕉久久国产AV一区二区| 日韩久久系列| 91人妻人人做人碰人人爽九色| 五月丁香婷婷成人版| 青草青草久热这里只有精品| 呦呦v线| 99精品亚洲| 超碰人人91| 天天干,夜夜爽| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 97超碰婷婷五月天| 激情亭亭五月| www.99热视频在线观看| 无码操B| 天天干夜夜想| 麻豆忘忧草午夜| 日本久久婷婷| 丁香六月毛片| 久久久网站| 国产精品电| 亚洲乱码在线观看| 深爱五月亚洲| www.91操| 色天使久久综合| 激情五月婷黄版| 亚洲激情 久久| 亚洲热视频在线| 99精品综合视频| 人人操超碰| 九九热a| 国产成人va在线| 狠狠色噜噜狠狠狠狠综合| 亚洲免费看片| 婷婷五月天黄色网址| 狠狠操天天操综合| 婷婷五月大香蕉| www.wuyuetian啪啪| 色婷婷a v| 久久99热精品a片在线观看| 久久9精品| 大香蕉视频99| 婷婷五月天天| 亚洲成人综合在线| 97伊人综合婷婷| 梁铮版《蜘蛛女侠》在线| 色欲资源网| 可以直接看的av| 欧美成人日韩| 丁香五月开心婷婷| 日本一级一级一级一级| 99热主页日本| 久久精品人妻| 五月婷婷久久大片| 色婷婷婷综合五月天| 五月婷婷狠狠干| 色都都狠狠色都都色综合色| Av狠狠色丁香婷| 五月停停999| 国产首页在线| 婷婷五月天堂网| 激情六月婷婷| 99在线资源视频| 玖玖综合色| 婷婷五月色网| AA片在线观看视频在线播放| 深夜男女福利刺激影院一区| 色五月婷婷操逼| 大香蕉啪啪啪啪啪啪| 午夜爱爱网站| 天天综合五月天| 99超级超级超级碰| 色婷婷六月丁香综合欲精品| 国自产拍偷拍精品啪啪一区二区| 丁香六月婷婷开心| 在线中文字幕av| 久久 视频这里只有精总| 久久婷婷五月天| 六月丁香婷婷拍拍| 九月婷婷久久| 色情丁香五月天| 欧美操人| 五月天成人伊人| 噼里啪啦在线观看免费完整版视频| 天天情天天狠天天透| 成人婷99最新| 国产精品久久久久久白浆色欲| 色色色色色色色色色色色色色97| 99精品97| 91色噜噜狠狠狠狠色综合| 国产免费一区二区三区三州老师F1F1.CC | 国产片天天爽夜夜爽| 中文字幕在线日亚洲9| 最新久久网址| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 丁香五月中文字幕久色| 五月天婷婷丁香成人网| 人妻久久久久久久久久| av超碰在线| 欧美丁香五月| 91精品丝袜久久久久久久久粉嫩| 欧美激情五月天| 激情五月婷婷| 五月天激情视频网站| 九九色情网站| 操逼福利视频| 婷婷丁香五月综合网| www.夜夜.com| 亚洲人成播放网站| 5月丁香六月婷婷| 国产女18毛片多18精品| 夜夜爽天天干| 丁香五月熟女| 激情综合色婷婷啪啪六月天| 日本va欧美va欧美va精品| 综合激情五月丁香| 婷婷五月AV| 色很久综合| 92久久| 久久久WWW| 国自产拍偷拍精品啪啪一区二区| 伊人在线婷婷草| 91在线人| 色综合久久888| 日韩色色小视频| 久cao香蕉影院| 精品99在线观看| 五月丁香六月综合情在线观看| 国产乱子轮XXX农村| 九九精品在线观看视频6| 2022人人操人人看| 丁香婷婷激情| 婷婷五月花西瓜| www.99热视频| 秋霞AV吧| 五月激情六月综合| 99久久免费性爱视频`| 久久久国产精品黄毛片| 色五月激情五月开心五月| 26UUU一区二区| 97色综合| 色播五月婷婷| 五月丁香中文字幕| 天天舔天天插天天爱| 久久密臀婷婷| 色综合色色| 色99热| 蜜臀丁香黄色婷婷五月天| 久久人妻超碰一区| 丁香婷婷五月综合色情| 五月停停丁香| 婷婷色婷婷亚洲成人| 99热在线播放精品| 啪啪一区| 久久看婷婷| 五月天婷婷色小说| 丁香六月婷婷综合| 狠狠狠狠青草| 青青草国产亚洲精品久久| 欧美成人精品A片免费一区99| 色婷婷视频| 亚洲无码成人网| 中文字幕日本最新乱码视频 | 亚洲激情高潮| 啪啪丁香五月| 碰久久精品w| 人人摸人人摸| 久久亚洲天堂| 人人人va亚洲视频在线| 国产xxxxx在线观看| 丁香婷婷婷五月综合色情| 国产日韩精品SUV| 超碰免费成人| 涩五月婷婷| 99er国产| 91狠狠综合久久久| 久久99jiu9| www。久久久久一b。Cc| 色播播五月天| 五月婷婷影院| 丁香六月狠狠干| 亭亭五月色男人| 欧美亚洲操逼| 亚洲第精品| 99'无码| 亚洲操逼网| 99色综合网| 超碰av天堂| 九九无码AV| 久久人妻视频| 久久久久久人妻| 极品另类| 狠狠搞狠狠操| 天天操天天曰| WWW.99热| 日日撸日日操| 操逼在线视频| 激情WWW| 五月婷人妻| 婷婷激情五月天7| 久久久人妻不卡| 自拍偷窥99热| 日本久久天堂| 大香蕉久| 99性视频| 国产超碰在线| 超碰在线91| 91好好热日本在线| H亚洲| 婷婷不卡基地| 丁香97综合| 色色色综合网| 国产肥白大熟妇BBBB视频| 婷婷久久五月| 丁香五月婷婷啪| 91丨九色丨高潮丰满日本| 9l视频自拍9l视频自拍九色学生| 丁香六月婷婷色XXXXX| 丁香五月亚综合图片| 久久色情综合免费网站| 丁香婷婷激情五月天无毒不卡蜜桃| 91婷婷五月天嫩女| 五月综合视频| 综合久久97| 五月丁香婷婷啪啪| 色色婷婷五月天| 无码激情AAAAA片-区区| 婷婷综合中文字幕| 色噜婷婷| 免费观看2018www黄色操逼网站| 久人人操| 久9久成人精品视频| 超碰超碰在线| 天天肏屄夜夜爽| 九九久久99| 色综合天天天天做夜夜| 情趣视频66| 九九热只有精品| 亚洲婷婷久久综合| 99久久久| 极品少妇高潮啪啪AV无码| 伊人丁香五月天丁香在线婷| 五月天激情美女久久| 狠狠色中色| 亚洲成人无码网站| 丁香五月天天| 婷婷丁香五月天中文字幕| 99精品热| 五月天婷婷综合网| 以及AA大片看看| 美女久久婷婷| 9久久网| 欧美内射AA| 日日鲁鲁夜夜爽爽| 天天干天天干天天操| 九九九九毛片| 江苏少妇性BBB搡BBB爽爽爽| 五月天伊人久久| 日韩成人中文字幕| 色五月婷婷激情五月| 狠狠操狠狠操AV| 婷婷五月激情图片| 久久性爱99国产| 色综合色色色色| 五月天婷亚洲天综合网综合| 丁香婷婷啪啪啪| 国产无人区大片| 五月天激情网图片| 99视频在线| av在线免费播放观看| 9999三级片| 九九热免费观看视频| 色视频五月天| 五月天激情婷婷| 五月久久| 欧美激情 日韩无码 婷婷 五月天 久久婷婷丁香五月一二三 | 五月婷婷啪啪| 亚洲第一成人无码A片| 99啪啪网| 天天摸日日舔狠狠添婷婷婷| www.91九色| 婷婷在线五月综合| 五月丁香啪啪网| 久久激情五月天| 丁香婷婷色五月激情综合| yjzz亚洲国产| 99热99成人| 中文AV网站| 极品人妻VIDEOSSS人妻| 91九色精品| 天天操天天操| 色色吧综合| 99精品久久久久久久久| 欧洲亚洲免费视频9| 婷婷五月天综合久久| 涩涩五月天| 色婷精品91| 99爱视频在线播放| 开心激情站| 婷婷99中文字幕| 五月丁香六月激情综合欧美| 99热精品在线观看| 丁香五月中文字幕| 殴美综合激情五月天免费视频| 99免费超碰在线| 99久久精彩视频| 狠狠干伊人| 91超碰人人操| 99ri视频| 影音先锋91| 日本一区二区三区精品视频| 五月天色官网| 看片视频在线免费日产在线看| 99在线视频资源| 五月婷婷之综合激情| 丁香婷婷老熟女综合网| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 精品一二三区久久AAA片| 99热最新地址在线| 天天综合久久| 伊人玖玖综合| 久久性爱视频这里只有精品| 欧洲第一无人区观看| 免费看无码视频A级| 亚洲久久婷婷丁香五月天| 色色色网站| 精品成人久久久久久久_一二三四视| 五月天啪啪啪| 蒲京久久无码视频| 亭亭五月激情亚洲在线| 国产午夜精品一区二区三区四区 | 最新五月天婷婷影| 成人精品视频99在线观看免费 | 五月天伊人| 99久久精彩视频。| 激情99| 久热精品视频在线观| www.狠狠操| 丁香五月激情宗合网| 婷婷丁香人妻天天爽| 色婷婷丁香AV综合| 韩国三级五月天婷婷。| 亚洲无码性爱| 欧美国产一区二区三区| 婷婷热色| 九九热99精品在线| 人人摸人人| 99操逼| 色爱亚洲| 人妻久久做| 99爱精品| 91免费在线视频6| 午夜不卡久久精品无码免费 | 91人妻视频| 91碰免费视频| 五月婷在线色视频| 激情综合色婷婷啪啪五月天| 五月丁香久久激情网| 大香蕉AV电影在线| www.色色色色| 国产视频福利| 99热偷拍| 99九九精品| 99这里| 婷婷五月天少妇| 五月综合激情啪啪啪啪啪| 色色日韩无码| 99热传媒| 六月丁香啪啪啪| 天天射天天干天插色综合| 亚洲精品视频在线| 婷婷国产日本欧美| 99久久97| 99热思思| PORNY九色9l自拍视频成人| 日韩高清成人| 久久丁香婷婷五月天| 国产偷人爽久久久久久老妇APP | 日韩大片艹艹| 久久xxxx| 成人五月天综合网| 99热在线观看| 丁香六月久| 东京热伊人| 性做爰1一7伦| 婷婷五月综合啪| www.com任你艹| 日本久久精品| 亚洲狠狠婷婷综合久久久| 日本97人人| 九九热中文| 激情综合播播| 欧美五月婷婷综合| 99爽视频| www婷婷亚洲| 夫妻超碰在线| 色噜噜狠狠色综合日日| 996热re视频精品视频这里| 六月大香蕉| 成人看片网站| 99无吗| 久久免费精品小视频| 天天骑天天操| 这里只有精品69| 久久婷婷五月天激情四射| 中文字幕成人| 四色五月婷婷在线观看| 色丁香婷婷| 丁香狠狠干| 成人电影在线免费试看| 色欲日日躁| 91精品婷婷国产综合| 国产精品天天狠天天看| 婷婷丁香六月| 青青草护士中出内射-欧美电影在线天堂新版| 激情五月黄色| 婷婷五月天丁香花| 99re这里只有精品首页| 久久网日本| 人操综合| 日日夜夜干| 色色丁香五月| 日本人妻伦在线中文字幕| 亚洲激情综合| 麻豆五月丁香婷婷| 99色色爰| 九九精品系列| 五月激情在线| 激情九色| 久久成人精品视频| 啪啪啪大香蕉| 中文在线成人| 丁香久久在线| 激情五月婷| 欧美精品熟女一区二区| 精品色情一区二区三区四区| 激情五月天第四色| 思思久久99热只有频精品66| 色播婷婷五月天| 99这里只有精品在线| 九九激情网| av线电影| 67194线路二在线观看| 91精品久久久久久77777| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 九九综合网色全集| 1级欧美日韩| 日本欧美成人片AAAA| 婷婷综合网| 五月天另类视频| 亚州日本欧州韩美高青高潮一| 色情综合网| 欧美网站视频4399| 无语停婷丁香网| 国产精品色情AAAAA片软件 | 九九综合网色全集| 99热在线播放精品| 蜜乳av一级av| 丁香九月婷婷| 99在线观看精品视频| 国产精品国产| 激情五月影院| 色噜噜狠狠插综合| 日日操,夜夜撸| 五月丁香综合精品| 激情com| 色亚洲无码| 视频一二区| 欧美日韩国产一区二区| 31色区视频免费看| 91免费啪视频| 色婷婷伊人激情在线观看| 激情网五月天| 丁香激情五月天| 欧美黄色AA片哗啦啦啦| 婷婷五月天av| 丁香五月天堂网| 日本一道久久| 这里只有精品1| 九热视频| 婷婷六月天| 少妇性按摩无码中文A片| 国产精品涩涩涩视频网站| 色色五月丁香| 欧美私人家庭影院| 日韩丰满少妇无码内射| 久久婷婷青青草| 婷婷香蕉精品| 超级碰碰碰久久网站视频| 天天肏视奸| 色婷婷色| 色婷婷五月综合在线| 欧美精品999| 狠狠干综合| 欧亚洲在线高清视频| 婷婷五月丁香av网站| 亭亭丁香久久五月| 性爱先锋AV| 六月婷婷狠狠| 精品无码av丁香五月激情| 成人片久久网站| 色综合激情| 久久五月激情综合| 五月丁香婷婷无码中文| 日日操夜夜爽天天天| 5月婷婷视频网站综合| 九九视频这里是精品五月| 九九视频这里只有精品在线播放| 天天拍天天做视频| 色婷婷4| 五月婷婷五月天亚洲无码| 五月激情天天干| 99热资源在线| 激情综合网五月激情| 九九伊人网| 久久黄色片| 日日操夜夜操中国无码| 极品另类| 开心婷婷中文字慕| 提提热五月天婷婷| 天天碰夜夜爽| 久月婷婷| 色综合色色| 精品九九九久| 欧美精品99| 九热在线这里有精品6| 亚洲狠狠婷婷综合久久久| 成人综合伍月天| 九九色热| 5月丁香美女影院| 天堂综合久| 亚洲国产精品五月天| 婷婷五月天a| 五月天天天色| www,色婷婷| 婷婷色影院| 成人丁香| 天天爽天天| 婷婷丁香五月天之开心少妇| 久久精品五月| 桃色五月婷婷| 襙比视频| 丁香五月激情网| 专区无日本视频高清8| 大香伊人婷婷| 三区激情四射av| 国产精品久久7777777精品无码| 亚洲六月色婷婷| 国产看真人毛片爱做A片| 色色影院黄大片| 色婷婷五月天天天天天| Www.激情| 丁香五月天激情综合| 怎么样可以看免费的一级av| 九艹在线| 热久久66| 天天干天天拍| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 婷婷五月天综合在线| 性爱网五月天| 色色欧美色色色| 婷婷伊人综合中文字幕| www 五月天 com| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 亚洲欧美成人在线观看| 色色激情| 夜夜夜夜夜操| 任你草| 在线观看av网站| 五月婷婷色吧!| 超碰二区| 91女人18毛片水多国产| 亚洲精品乱码久久久久久按摩观| 五月天综合在线观看| 五月丁香激情综合| 大香蕉天堂| 97丁香五月天| 久久综合五月天| 99热在线播放| 五月婷婷狠狠干| 99re这里只有精品在线观看| 婷婷婷婷婷婷婷五月丁香| 成人国产欧美大片一区| 久久停停超碰| 五月丁香六月婷婷综合网站| 婷婷中文字幕| 色婷婷XXXXX| 五月宗合激情网| 一级黄在线| 婷婷六月丁香开心深深爱| 天堂网啪啪| 婷婷五月日本| 四色综合网| 99热e| 99热999| 这里只有精品视频在线看| 五月婷色| 无码se| 色婷婷久久| 人人干99| nvrentiantang av| 99热在线观看| 久去色色| 色玖玖爱| 婷婷五月综合啪| 天天色视频| 婷婷久久女人| 五月婷婷天天| 天堂va久久久噜噜噜久久Va| 激情五月天色爱| 人妻丰满精品一区二区A片| 婷婷五月天美女| 婷婷性爱网| 国产4P视频精品五区| 热99AV网站| 99热伊人综合| 五月花婷婷丁香| 九九操屄| 激情婷婷丁香色五月综合| 亚洲色热| 中文网AV| 久色| 国产VA播放| 色婷婷色99国产综合精品| 国产一级黄色影片,| 少妇人妻凹凸视频| 婷婷综合中文| 欧美精品99久久久| 婷色五月天| 激情丁香社区| 美日韩成人| 五月色婷婷综合| 91九色|疯狂|高潮|对白|| 超碰在线视屏| 日韩一级片| 99热这里只有精品在线观看| 人人摸人人操人人爽| 91热久久| 高清无码.com| 婷婷伊人| 手机AVAV天堂看网| 色色色免费视频| 亚洲 综合中文| 婷婷精品| 亚洲精品乱码久久久久99| 人妻久久久久久| 97色色色色色色色色色色色色色| 狠狠干.com| 五月综亚洲| 激情五月天婷婷播播久久综合91| 婷婷色五月天在线| 激情无码网| 日韩亚洲视频| 99热国内| 99热国产在线| 五月丁香六月激情| 久久九九九九| 97久久人人| 99热国产这里只有| 性爱网五月婷婷| 久久这里只有国产视频| 日本97在线看片| 91精品久久久久久久久| 99ri在线视频| 大地9中文在线观看免费高清| 五月天婷婷影院影院| www91色网站| 久久性爱视频网站| 丁香五月天AV在线| 久久AAAA片一区二区| 色婷婷视频综合| WWW·色色色·COM| AV性爱在线| 亚洲成人黄色网| 外国碰视频网站97| 极品少妇XXXX精品少妇偷拍| 婷婷五月天亚洲| 国产超碰在线| 婷婷在线五月综合| 久久婷婷婷|