欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ShardingSphere訂單系統(tǒng)分庫(kù)分表實(shí)戰(zhàn):從分片鍵到擴(kuò)容遷移

ShardingSphere訂單系統(tǒng)分庫(kù)分表實(shí)戰(zhàn):從分片鍵到擴(kuò)容遷移 做分庫(kù)分表這件事我是拖到實(shí)在沒(méi)辦法才動(dòng)的。單庫(kù)單表數(shù)據(jù)量沖上千萬(wàn)、億級(jí)之后慢SQL、鎖競(jìng)爭(zhēng)、備份耗時(shí)、連接數(shù)打滿這些事會(huì)接踵而來(lái)。而ShardingSphere是目前把分庫(kù)分表落地得最順手的中間件之一這篇文章會(huì)圍繞一個(gè)訂單系統(tǒng)把從分片鍵選型、算法配置、項(xiàng)目代碼到生產(chǎn)問(wèn)題排查的完整過(guò)程寫(xiě)清楚都是我在實(shí)際項(xiàng)目里驗(yàn)證過(guò)的方案和踩過(guò)的坑。如果你是數(shù)據(jù)量還沒(méi)到瓶頸、純想了解技術(shù)選型這套拆解同樣值得讀完畢竟分庫(kù)分表最怕的不是不會(huì)用而是用得時(shí)機(jī)不對(duì)、拆得方案不對(duì)后面想回頭都難。1. 為什么我的項(xiàng)目需要分庫(kù)分表一個(gè)真實(shí)的演進(jìn)過(guò)程很多團(tuán)隊(duì)一開(kāi)始并不會(huì)主動(dòng)想拆庫(kù)甚至覺(jué)得這是技術(shù)債。我在的訂單項(xiàng)目也一樣一年多時(shí)間訂單總量到了四千多萬(wàn)單表查詢開(kāi)始明顯變慢加上后臺(tái)要跑各種統(tǒng)計(jì)業(yè)務(wù)側(cè)又不斷加字段單庫(kù)單表的路基本到頭了。1.1 單庫(kù)單表?yè)尾蛔〉哪且豢趟那Ф嗳f(wàn)的數(shù)據(jù)量單表即使建立了合理的索引B樹(shù)深度撐到三層、四層隨機(jī)查詢的代價(jià)其實(shí)還能接受。真正扛不住的問(wèn)題出在幾個(gè)地方寫(xiě)沖突和鎖競(jìng)爭(zhēng)嚴(yán)重。下單高峰時(shí)段同一個(gè)熱點(diǎn)用戶、同一個(gè)商品維度的行鎖競(jìng)爭(zhēng)業(yè)務(wù)接口的P99延遲一路飆升。備份和恢復(fù)時(shí)間越來(lái)越離譜。一張超過(guò)幾十GB的大表每次全量備份要按小時(shí)計(jì)算恢復(fù)演練基本沒(méi)法做。數(shù)據(jù)歸檔困難。想把一年前的數(shù)據(jù)挪到歷史表單庫(kù)單表做起來(lái)要么鎖表要么影響線上。索引和統(tǒng)計(jì)信息失效。大表頻繁更新后執(zhí)行計(jì)劃經(jīng)常出現(xiàn)不穩(wěn)定同樣的查詢時(shí)快時(shí)慢。這些信號(hào)湊齊之后分庫(kù)分表就是必需品而不是炫技。拆分的直接目標(biāo)有兩個(gè)一是把單表數(shù)據(jù)量控制下來(lái)保證索引和查詢穩(wěn)定二是把寫(xiě)入壓力分散到多個(gè)庫(kù)減少單點(diǎn)鎖和連接壓力。1.2 垂直拆分與水平拆分的取舍拆分的思路大體分兩類(lèi)垂直拆分和水平拆分。兩者并不是互斥關(guān)系實(shí)際生產(chǎn)中往往是先垂直后水平。垂直拆分是按業(yè)務(wù)域拆庫(kù)比如訂單庫(kù)、用戶庫(kù)、支付庫(kù)各管各的。垂直拆分的收益是模塊職責(zé)清晰服務(wù)之間互不干擾但局限也很明顯——它解決不了單表數(shù)據(jù)量持續(xù)膨脹的問(wèn)題訂單表該有八千萬(wàn)還是八千萬(wàn)。水平拆分才是本文的核心。它的做法是把同一張表的數(shù)據(jù)按某種規(guī)則分散到多個(gè)庫(kù)、多張表里。以訂單表為例可以按用戶ID取模分成2個(gè)庫(kù)每個(gè)庫(kù)再分成4張表整體形成8張結(jié)構(gòu)完全一樣的表數(shù)據(jù)按分片鍵均勻散落。我建議你在動(dòng)手前先把概念理清楚維度垂直拆分水平拆分拆分對(duì)象按業(yè)務(wù)域拆表/拆庫(kù)按數(shù)據(jù)行拆表/拆庫(kù)解決的問(wèn)題業(yè)務(wù)耦合、單庫(kù)連接壓力單表數(shù)據(jù)量過(guò)大、寫(xiě)入瓶頸實(shí)施難度相對(duì)簡(jiǎn)單主要是應(yīng)用改造涉及路由、擴(kuò)容、數(shù)據(jù)一致性典型場(chǎng)景微服務(wù)化、業(yè)務(wù)模塊解耦千萬(wàn)級(jí)以上的訂單、消息、流水真實(shí)項(xiàng)目里我見(jiàn)過(guò)不少團(tuán)隊(duì)一開(kāi)始只做垂直拆分結(jié)果發(fā)現(xiàn)訂單庫(kù)還是太大于是又重新做水平拆分。所以方案設(shè)計(jì)階段建議把未來(lái)兩年的數(shù)據(jù)增量一并估算進(jìn)去避免重復(fù)改造。1.3 為什么最終選了 ShardingSphere主流的中間件方案有ShardingSphere和MyCat兩類(lèi)。ShardingSphere-JDBC以jar包方式運(yùn)行在應(yīng)用側(cè)相當(dāng)于給應(yīng)用注入了一個(gè)增強(qiáng)的數(shù)據(jù)源ShardingSphere-Proxy則是獨(dú)立部署一個(gè)代理服務(wù)用MySQL協(xié)議對(duì)外提供連接。MyCat偏向Proxy模型但多年的社區(qū)迭代和生態(tài)活躍度其實(shí)不如ShardingSphere。我最終選ShardingSphere理由很直接和Spring Boot集成非常順滑配置文件寫(xiě)好就能用對(duì)已有代碼的侵入性小。分片策略、分布式ID、讀寫(xiě)分離、數(shù)據(jù)加密這些功能是完整的不用自己在外面拼湊。支持標(biāo)準(zhǔn)JDBC接口MyBatis、Spring Data JPA都能無(wú)縫對(duì)接。5.x版本的內(nèi)核做了重寫(xiě)SQL解析和改寫(xiě)能力比4.x時(shí)代強(qiáng)不少。特別說(shuō)明一下這篇文章的示例用的是ShardingSphere 5.x版本配置結(jié)構(gòu)和老版本差異很大如果你搜到的是4.x資料請(qǐng)對(duì)版本保持足夠的警覺(jué)。2. 分片前的準(zhǔn)備工作確定維度與分片算法很多項(xiàng)目翻車(chē)不是中間件用錯(cuò)了而是分片鍵選錯(cuò)了。分片鍵決定了一條SQL會(huì)被路由到哪個(gè)庫(kù)、哪張表如果選得不好后面的查詢復(fù)雜度會(huì)成倍上升。2.1 分片鍵怎么選三個(gè)硬性條件我在訂單項(xiàng)目里選擇分片鍵時(shí)堅(jiān)持三個(gè)條件業(yè)務(wù)高頻使用。分片鍵必須在絕大多數(shù)查詢語(yǔ)句中作為條件出現(xiàn)。用戶端查我的訂單條件必然帶user_id所以u(píng)ser_id就是第一分片鍵。數(shù)據(jù)分布足夠均勻。分片鍵的取值離散程度要高不能讓某個(gè)值的數(shù)據(jù)量占掉半邊天。例如按用戶ID取模活躍用戶和沉默用戶的ID在哈??臻g上分布比較均勻整體是可控的。無(wú)更新或極少更新。分片鍵一旦在業(yè)務(wù)中被更新就會(huì)面臨數(shù)據(jù)搬家、路由失效的問(wèn)題。所以u(píng)ser_id這種穩(wěn)定字段比手機(jī)號(hào)、郵箱這類(lèi)可變字段更適合。訂單表我采用了雙分片鍵的輔助設(shè)計(jì)主分片鍵是user_id用于定位到庫(kù)和表同時(shí)order_id作為分布式主鍵用于單條訂單查詢時(shí)的精準(zhǔn)定位。這里有個(gè)關(guān)鍵經(jīng)驗(yàn)如果你只按order_id路由而沒(méi)有user_id那這條SQL在不知道從哪個(gè)分片找數(shù)據(jù)的情況下只能全庫(kù)全表路由性能直接崩掉。所以在設(shè)計(jì)表結(jié)構(gòu)時(shí)一定把user_id冗余到所有訂單相關(guān)表中并且所有查詢盡量帶上它。2.2 分片算法怎么定取模、哈希還是時(shí)間分片ShardingSphere支持多種分片算法常用的有以下幾種INLINE取模。寫(xiě)法類(lèi)似t_order_$-{user_id % 4}理解成本最低適合數(shù)據(jù)量平穩(wěn)增長(zhǎng)、分片數(shù)穩(wěn)定的場(chǎng)景。HASH_MOD。先將分片鍵做哈希再取模適合字符串類(lèi)型的業(yè)務(wù)字段比如手機(jī)號(hào)、訂單編號(hào)。RANGE時(shí)間范圍。比如按月份拆表適合流水、日志、審計(jì)類(lèi)數(shù)據(jù)。這種方案的好處是擴(kuò)容簡(jiǎn)單按時(shí)間加表就行缺點(diǎn)是可能產(chǎn)生熱點(diǎn)表。CLASS_BASED自定義算法。當(dāng)內(nèi)置算法解決不了業(yè)務(wù)規(guī)則時(shí)自己實(shí)現(xiàn)分片算法類(lèi)。我的訂單場(chǎng)景用的是INLINE取模。計(jì)算公式如下庫(kù)路由user_id % 2結(jié)果0進(jìn)ds01進(jìn)ds1表路由user_id % 4結(jié)果0到3分別進(jìn)t_order_0到t_order_3舉個(gè)例子user_id 10001時(shí)庫(kù)是10001 % 2 1表是10001 % 4 1數(shù)據(jù)落在ds1的t_order_1里。這個(gè)計(jì)算過(guò)程ShardingSphere會(huì)在SQL執(zhí)行前自動(dòng)完成但你要自己能算得出來(lái)否則排查問(wèn)題時(shí)兩眼一抹黑。2.3 分布式ID必須提前換掉自增主鍵分庫(kù)分表之后數(shù)據(jù)庫(kù)自增主鍵就整體失效了因?yàn)槊總€(gè)分片各自維護(hù)一套自增必然產(chǎn)生沖突。我的項(xiàng)目直接用ShardingSphere內(nèi)置的雪花算法SNOWFLAKE生成order_id。雪花算法生成的ID是一個(gè)64位的Long整型由時(shí)間戳、機(jī)器號(hào)、序列號(hào)組成趨勢(shì)遞增、全局唯一。在ShardingSphere里配置非常省事rules: sharding: key-generators: snowflake: type: SNOWFLAKE props: worker-id: 1表的配置里再指定主鍵生成策略key-generate-strategy: column: order_id key-generator-name: snowflake這樣插入時(shí)只需要設(shè)置業(yè)務(wù)字段order_id會(huì)自動(dòng)生成并回填到實(shí)體對(duì)象中。有一點(diǎn)要注意雪花算法強(qiáng)依賴機(jī)器時(shí)鐘如果部署環(huán)境的NTP時(shí)鐘同步出問(wèn)題可能會(huì)出現(xiàn)ID重復(fù)。生產(chǎn)環(huán)境務(wù)必做好時(shí)鐘校驗(yàn)這也是我踩過(guò)一次的坑。3. 項(xiàng)目實(shí)戰(zhàn)訂單系統(tǒng)分庫(kù)分表完整配置前面是理論鋪墊從這節(jié)開(kāi)始進(jìn)入真正的項(xiàng)目實(shí)操。以下配置和應(yīng)用代碼都在訂單項(xiàng)目中驗(yàn)證過(guò)你可以直接作為腳手架參考。3.1 版本選型與工程依賴項(xiàng)目基礎(chǔ)是Spring Boot 2.7JDK 8。ShardingSphere選擇5.3.2版本這個(gè)版本相對(duì)穩(wěn)定API和配置結(jié)構(gòu)清晰。引入依賴時(shí)注意一個(gè)坑ShardingSphere 5.x對(duì)應(yīng)的starter是shardingsphere-jdbc-core-spring-boot-starter不是老版本的sharding-jdbc-spring-boot-starter兩個(gè)名字別搞混。dependency groupIdorg.apache.shardingsphere/groupId artifactIdshardingsphere-jdbc-core-spring-boot-starter/artifactId version5.3.2/version /dependency持久層框架用的是MyBatis Plus。因?yàn)镾hardingSphere對(duì)外暴露的是標(biāo)準(zhǔn)DataSource接口所以MyBatis這套根本感知不到后端有多庫(kù)多表應(yīng)用代碼寫(xiě)起來(lái)和單庫(kù)單表時(shí)幾乎一樣。3.2 數(shù)據(jù)源與分片規(guī)則配置詳解兩個(gè)物理庫(kù)分別叫order_db_0、order_db_1每個(gè)庫(kù)里預(yù)建4張訂單表t_order_0到t_order_3。表結(jié)構(gòu)完全一致DDL需要在每個(gè)庫(kù)里各執(zhí)行一遍。Spring Boot的application.yml配置如下spring: shardingsphere: datasource: names: ds0, ds1 ds0: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.cj.jdbc.Driver jdbc-url: jdbc:mysql://10.1.1.10:3306/order_db_0?useUnicodetruecharacterEncodingutf8serverTimezoneAsia/Shanghai username: root password: xxx maximum-pool-size: 10 minimum-idle: 2 ds1: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.cj.jdbc.Driver jdbc-url: jdbc:mysql://10.1.1.11:3306/order_db_1?useUnicodetruecharacterEncodingutf8serverTimezoneAsia/Shanghai username: root password: xxx maximum-pool-size: 10 minimum-idle: 2 rules: sharding: tables: t_order: actual-data-nodes: ds$-{0..1}.t_order_$-{0..3} database-strategy: standard: sharding-column: user_id sharding-algorithm-name: db_inline table-strategy: standard: sharding-column: user_id sharding-algorithm-name: table_inline key-generate-strategy: column: order_id key-generator-name: snowflake t_order_item: actual-data-nodes: ds$-{0..1}.t_order_item_$-{0..3} database-strategy: standard: sharding-column: user_id sharding-algorithm-name: db_inline table-strategy: standard: sharding-column: user_id sharding-algorithm-name: item_table_inline binding-tables: - t_order, t_order_item sharding-algorithms: db_inline: type: INLINE props: algorithm-expression: ds$-{user_id % 2} table_inline: type: INLINE props: algorithm-expression: t_order_$-{user_id % 4} item_table_inline: type: INLINE props: algorithm-expression: t_order_item_$-{user_id % 4} props: sql-show: true一點(diǎn)一點(diǎn)拆解關(guān)鍵部分actual-data-nodes定義了表實(shí)際分布在哪些數(shù)據(jù)源和物理表中$-{0..1}、$-{0..3}是ShardingSphere的內(nèi)置枚舉表達(dá)式表示區(qū)間展開(kāi)。database-strategy和table-strategy分別負(fù)責(zé)分庫(kù)和分表路由。algorithm-expression里的表達(dá)式是Groovy語(yǔ)法user_id % 2直接對(duì)參數(shù)值計(jì)算。sql-show: true會(huì)在日志里輸出改寫(xiě)后的真實(shí)SQL開(kāi)發(fā)排查時(shí)非常有用生產(chǎn)環(huán)境建議關(guān)閉。3.3 綁定表與廣播表的正確姿勢(shì)訂單表往往還要關(guān)聯(lián)訂單明細(xì)表。如果兩張表都分片連接查詢時(shí)如果沒(méi)有約束會(huì)產(chǎn)生笛卡爾積路由也就是每一個(gè)庫(kù)表組合都會(huì)執(zhí)行一次join性能災(zāi)難。解決方案是配置綁定表讓t_order和t_order_item使用相同的分片鍵和相同的分片算法。這樣關(guān)聯(lián)查詢時(shí)比如t_order o JOIN t_order_item i ON o.order_id i.order_idShardingSphere會(huì)根據(jù)o表的路由結(jié)果直接把i表定位到同一個(gè)分片避免無(wú)效連接。廣播表則相反它代表全庫(kù)復(fù)制的小表比如訂單狀態(tài)字典、配送方式字典。這類(lèi)表在每個(gè)分片庫(kù)都放一份完整數(shù)據(jù)查詢時(shí)直接在當(dāng)前庫(kù)讀取不會(huì)跨庫(kù)。rules: sharding: broadcast-tables: - t_dict注意廣播表適合低頻更新、數(shù)據(jù)量小的字典類(lèi)數(shù)據(jù)千萬(wàn)別把大表配成廣播表否則每個(gè)庫(kù)都存一份巨大的冗余維護(hù)成本極高。3.4 核心業(yè)務(wù)代碼插入與查詢的全鏈路數(shù)據(jù)源和規(guī)則配置好之后業(yè)務(wù)代碼的寫(xiě)法和平時(shí)幾乎一致。插入訂單加明細(xì)整個(gè)鏈路的核心在ShardingSphere的路由改寫(xiě)過(guò)程。我用的Mapper示例Mapper public interface OrderMapper { Insert(INSERT INTO t_order(order_id, user_id, order_amount, status, create_time) VALUES (#{orderId}, #{userId}, #{orderAmount}, #{status}, #{createTime})) int insert(OrderEntity order); Select(SELECT * FROM t_order WHERE user_id #{userId} AND order_id #{orderId}) OrderEntity selectByIdAndUserId(Param(userId) Long userId, Param(orderId) Long orderId); }插入時(shí)如果沒(méi)有顯式給order_id賦值ShardingSphere的key-generator會(huì)自動(dòng)生成并回填。比如userId10001時(shí)ShardingSphere內(nèi)部先計(jì)算路由user_id % 2 1目標(biāo)庫(kù)ds1user_id % 4 1目標(biāo)表t_order_1日志里的sql-show會(huì)打印類(lèi)似這樣的改寫(xiě)結(jié)果INSERT INTO ds1.t_order_1(order_id, user_id, order_amount, status, create_time) VALUES (987654321, 10001, 1999, 1, 2024-06-01 12:00:00)查詢訂單詳情時(shí)SQL里同時(shí)帶上了user_id和order_id路由就能精確定位效率很高。這里提醒一句千萬(wàn)別在Mapper里寫(xiě)不帶user_id的單條件查詢比如WHERE order_id #{orderId}。這條SQL雖然能在單表時(shí)代正確工作在分庫(kù)分表后必然觸發(fā)全庫(kù)全表路由誰(shuí)能堅(jiān)持誰(shuí)后悔。4. 分頁(yè)、排序與跨分片查詢?cè)趺崔k分庫(kù)分表后最麻煩的往往不是簡(jiǎn)單查詢而是跨分片的分頁(yè)排序。這類(lèi)問(wèn)題不做限制后臺(tái)管理頁(yè)面可能直接把數(shù)據(jù)庫(kù)拖垮。4.1 業(yè)務(wù)場(chǎng)景分層用戶端與后臺(tái)端的分野我把業(yè)務(wù)查詢拆成了兩類(lèi)分別設(shè)計(jì)不同策略一種是用戶端查詢條件里一定帶user_id比如“我的訂單列表”。這種查詢天然被分片鍵約束只需要路由到特定分片再在本地分頁(yè)排序性能可控。另一種是后臺(tái)管理端查詢條件可能是下單時(shí)間、訂單狀態(tài)、商品名稱(chēng)就是不帶user_id。這種查詢必須路由到全部分片再把結(jié)果匯總排序風(fēng)險(xiǎn)最大。用戶端接口沒(méi)什么好講的按正常寫(xiě)法就行。后臺(tái)端才是真正的技術(shù)難點(diǎn)我在項(xiàng)目里給后臺(tái)列表單獨(dú)設(shè)計(jì)了一套方案而不是讓運(yùn)營(yíng)同學(xué)直接查業(yè)務(wù)庫(kù)。4.2 跨分片分頁(yè)的原理與優(yōu)化思路當(dāng)一條SQL無(wú)法根據(jù)分片鍵裁剪路由范圍時(shí)ShardingSphere會(huì)把SQL改寫(xiě)后發(fā)送到所有分片執(zhí)行然后對(duì)各個(gè)分片的結(jié)果集做歸并。比如SELECT * FROM t_order WHERE create_time BETWEEN 2024-05-01 AND 2024-05-31 ORDER BY order_amount DESC LIMIT 10, 10這條SQL會(huì)路由到全部8張分表每張表各自查10條最后ShardingSphere在內(nèi)存中匯總排序截取第10到20條。這里有個(gè)搜索引擎和數(shù)據(jù)庫(kù)都會(huì)遇到的經(jīng)典問(wèn)題如果偏移量很大比如LIMIT 100000, 20每個(gè)分片都要把前100020條撈出來(lái)再歸并內(nèi)存和時(shí)間開(kāi)銷(xiāo)都非常嚇人。我實(shí)踐下來(lái)的優(yōu)化手段有三條限制深度分頁(yè)。后臺(tái)列表最多翻到第100頁(yè)超過(guò)就要求運(yùn)營(yíng)人員加篩選條件從產(chǎn)品層面消掉深度分頁(yè)需求這是性價(jià)比最高的手段。游標(biāo)分頁(yè)代替偏移分頁(yè)。用上一頁(yè)的最后一條訂單金額和創(chuàng)建時(shí)間作為下一頁(yè)的查詢條件讓查詢每次都只取固定窗口不隨頁(yè)碼加深而變慢。引入?yún)R總索引存儲(chǔ)。把后臺(tái)所需的查詢字段同步到Elasticsearch或者ClickHouse讓后臺(tái)列表查索引存儲(chǔ)不碰業(yè)務(wù)分片庫(kù)。這實(shí)際上也是我最后真正落地的方案。如果你不想引入新組件還能在數(shù)據(jù)庫(kù)層采取月份分表的策略把時(shí)間范圍條件也作為分片依據(jù)從而把后臺(tái)查詢裁剪到少數(shù)幾個(gè)分片。4.3 讀寫(xiě)分離在分庫(kù)場(chǎng)景中的落地分庫(kù)處理寫(xiě)壓力讀壓力的問(wèn)題則需要讀寫(xiě)分離來(lái)解決。ShardingSphere支持在分片規(guī)則之下配置每個(gè)分片的讀庫(kù)。我當(dāng)時(shí)的配置思路是每個(gè)物理主庫(kù)外掛一主一從主庫(kù)負(fù)責(zé)寫(xiě)從庫(kù)分擔(dān)讀。配置結(jié)構(gòu)如下spring: shardingsphere: datasource: names: ds0_write, ds0_read, ds1_write, ds1_read rules: readwrite-splitting: >HintManager hintManager HintManager.getInstance(); hintManager.setWriteRouteOnly(); try { orderMapper.selectByOrderId(orderId); } finally { hintManager.close(); }主從延遲是這個(gè)方案里最大的變量延遲超過(guò)業(yè)務(wù)容忍閾值時(shí)建議監(jiān)控主從延遲時(shí)間并觸發(fā)降級(jí)把讀流量全部切到主庫(kù)。5. 生產(chǎn)環(huán)境常見(jiàn)問(wèn)題與排查實(shí)錄分庫(kù)分表的報(bào)錯(cuò)往往千奇百怪但歸因之后大多是幾個(gè)固定套路。我把項(xiàng)目上線以來(lái)遇到的高頻問(wèn)題整理成一份速查表再展開(kāi)講幾個(gè)典型的翻車(chē)現(xiàn)場(chǎng)。5.1 高頻異常及解決速查表現(xiàn)象原因解決方法找不到分片目標(biāo)表actual-data-nodes表達(dá)式寫(xiě)錯(cuò)核對(duì)邏輯表名與實(shí)際表名檢查$-{0..3}區(qū)間SQL提示無(wú)法路由SQL里沒(méi)有分片鍵改造SQL帶上分片鍵或使用Hint強(qiáng)制路由join查詢結(jié)果重復(fù)綁定表未配置在binding-tables中聲明關(guān)聯(lián)表插入數(shù)據(jù)報(bào)主鍵沖突應(yīng)用配置了自增或者worker-id沖突改由ShardingSphere生成雪花ID并檢查各節(jié)點(diǎn)worker-id唯一查詢莫名全庫(kù)路由表達(dá)式里的列名和庫(kù)表列名不一致檢查sharding-column和SQL條件里的列名完全一致連接數(shù)耗盡實(shí)例過(guò)多或連接池配置過(guò)大控制maximum-pool-size按分片數(shù)估算總連接數(shù)這幾類(lèi)問(wèn)題里最常見(jiàn)、最隱蔽的是分片列名不匹配。比如sharding-column配置成了大寫(xiě)列名SQL里寫(xiě)的是小寫(xiě)ShardingSphere識(shí)別不了直接把SQL當(dāng)成無(wú)分片鍵處理。5.2 分片不生效的典型翻車(chē)現(xiàn)場(chǎng)有次線上后臺(tái)查詢訂單列表SQL里明明帶了user_id執(zhí)行計(jì)劃卻還是全庫(kù)全表路由。我查了半天最后發(fā)現(xiàn)表里根本沒(méi)有user_id這一列查詢條件里寫(xiě)的是order表的別名而ShardingSphere是根據(jù)邏輯列名去匹配分片鍵的列名對(duì)不上就退化為全路由。還有一個(gè)翻車(chē)案例是綁定表沒(méi)配全。訂單表和訂單明細(xì)表明明配置了綁定表但某個(gè)報(bào)表SQL又加了第三張分片表做join結(jié)果只有前兩張表被綁定路由第三張表全部路由一遍查詢耗時(shí)從幾十毫秒變成幾十秒。排查方式很簡(jiǎn)單把sql-show打開(kāi)看改寫(xiě)SQL凡是出現(xiàn)多組不同分片的SQL就說(shuō)明綁定關(guān)系沒(méi)生效。建議所有分片表的分片鍵列都統(tǒng)一命名為相同名稱(chēng)比如都用user_id這樣配置最省心連接查詢也最容易匹配。不要出現(xiàn)這張表用user_id、那張表用buyer_id的分歧那是給自己埋雷。5.3 連接數(shù)與慢SQL的性能監(jiān)控分庫(kù)分表乍一看每個(gè)庫(kù)連接數(shù)不大但應(yīng)用實(shí)例一多很容易把數(shù)據(jù)庫(kù)連接數(shù)打滿。我算過(guò)一個(gè)公式總連接數(shù)等于應(yīng)用實(shí)例數(shù)乘以每實(shí)例連接池大小再乘以分片庫(kù)數(shù)。如果20個(gè)實(shí)例、每實(shí)例連接池最大20、2個(gè)分片庫(kù)就是800個(gè)數(shù)據(jù)庫(kù)連接。如果數(shù)據(jù)庫(kù)配置的max_connections是1000留下系統(tǒng)和其他服務(wù)余量后已經(jīng)非常危險(xiǎn)。所以我建議每實(shí)例連接池的maximum-pool-size不要拍腦袋亂配5到10是常態(tài)最大不超過(guò)20。連接池不是越大越好大連接池只會(huì)放大單實(shí)例故障時(shí)的雪崩效應(yīng)。慢SQL監(jiān)控這件事在分庫(kù)分表環(huán)境里比單庫(kù)時(shí)代更重要。同一個(gè)慢SQL會(huì)并發(fā)打到多個(gè)分片影響會(huì)被放大數(shù)倍。我不僅收集應(yīng)用側(cè)的執(zhí)行耗時(shí)還會(huì)在數(shù)據(jù)庫(kù)端開(kāi)啟慢查詢?nèi)罩救缓蟀催壿嫳砻S度聚合分析。一旦某張分片表出現(xiàn)熱點(diǎn)數(shù)據(jù)索引優(yōu)化必須馬上跟進(jìn)。6. 擴(kuò)容與數(shù)據(jù)遷移提前規(guī)劃好出路分庫(kù)分表一旦做了擴(kuò)容就是躲不掉的話題。很多人以為拆完就萬(wàn)事大吉結(jié)果數(shù)據(jù)量翻倍后才發(fā)現(xiàn)之前定的2庫(kù)4表不夠用了這才意識(shí)到擴(kuò)容比初次拆分還要痛苦。6.1 從2庫(kù)4表擴(kuò)到4庫(kù)8表會(huì)遇到什么以我的訂單表為例初始設(shè)計(jì)是user_id % 2分庫(kù)、user_id % 4分表。當(dāng)單表數(shù)據(jù)量再次逼近閾值時(shí)我面臨兩個(gè)選項(xiàng)保持邏輯分片規(guī)則不變只擴(kuò)大每個(gè)物理庫(kù)的容量例如換更大的磁盤(pán)、更強(qiáng)的CPU。調(diào)整分片算法比如改為user_id % 4分庫(kù)、user_id % 8分表讓數(shù)據(jù)更分散。第二種方案聽(tīng)上去更“徹底”但代價(jià)非常大。因?yàn)槿∧;鶖?shù)的變化幾乎所有存量數(shù)據(jù)都要重新計(jì)算目標(biāo)分片然后搬運(yùn)。以前user_id 10001在ds1的t_order_1改成% 4和% 8之后它可能被路由到ds3的t_order_7實(shí)際遷移比例接近七成。這就是為什么分片鍵的取?;鶖?shù)要提前規(guī)劃的原因之一。如果你預(yù)估未來(lái)數(shù)據(jù)量可能翻四倍那初始就一步到位拆成4庫(kù)8表而不是2庫(kù)4表。分片數(shù)量太少會(huì)提前觸發(fā)擴(kuò)容分片數(shù)量太多又浪費(fèi)資源和運(yùn)維成本這個(gè)平衡點(diǎn)要靠數(shù)據(jù)增長(zhǎng)模型來(lái)推算。6.2 停機(jī)遷移與在線遷移的選擇擴(kuò)容時(shí)的數(shù)據(jù)遷移行業(yè)里常見(jiàn)方案無(wú)非兩種停機(jī)遷移和在線遷移。停機(jī)能接受的情況下我推薦最樸素的做法提前寫(xiě)好導(dǎo)出工具把所有分片數(shù)據(jù)導(dǎo)出成文件再按新路由規(guī)則計(jì)算目標(biāo)分片逐個(gè)導(dǎo)入新庫(kù)然后做總量核對(duì)和抽樣校驗(yàn)。在線遷移則要復(fù)雜得多大體思路是應(yīng)用層同步雙寫(xiě)新老兩套分片同時(shí)寫(xiě)入。用數(shù)據(jù)同步工具把歷史數(shù)據(jù)從老分片遷移到新分片。校驗(yàn)完成后將應(yīng)用讀流量灰度切到新分片觀察一段時(shí)間。確認(rèn)穩(wěn)定后關(guān)掉老分片寫(xiě)入完成割接。這種方案對(duì)雙寫(xiě)一致性的要求極高事務(wù)邊界稍微處理不當(dāng)就會(huì)出現(xiàn)數(shù)據(jù)漏寫(xiě)或重復(fù)。所以我的實(shí)踐建議是如果業(yè)務(wù)允許停機(jī)維護(hù)盡量停機(jī)遷移把復(fù)雜度降到最低如果一定要在線遷移優(yōu)先考慮引入Canal這類(lèi)binlog訂閱同步工具而不是手動(dòng)在業(yè)務(wù)代碼里雙寫(xiě)。擴(kuò)容和數(shù)據(jù)遷移這件事沒(méi)有一勞永逸的銀彈。真正可靠的辦法是在設(shè)計(jì)階段就留足余量在運(yùn)維階段提前演練遷移流程把最壞情況下的回滾方案也一并驗(yàn)證好。我在實(shí)際項(xiàng)目里反復(fù)確認(rèn)過(guò)一件事分庫(kù)分表絕對(duì)不是把配置寫(xiě)上、數(shù)據(jù)拆開(kāi)就結(jié)束了。它牽涉到緩存設(shè)計(jì)、查詢路由、分布式事務(wù)、數(shù)據(jù)遷移、監(jiān)控告警等一系列配套改造。如果你正準(zhǔn)備上手建議從最簡(jiǎn)單的2庫(kù)分表起步先把鏈路跑通再逐步擴(kuò)展。中間件是工具業(yè)務(wù)量才是決定方案的那把尺子。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月激情综| 久久久久久久久久久44| 五月花激情网| 超碰在线看| 另类激情五月天。| 五月天激情婷婷小说| 可似看的AV| 射区导航| 香蕉AV福利精品导航| 婷婷五月天色色| 六月婷婷色色网| 99婷婷五月天激情| 五月婷婷开心色伊人| 丁香五月天BBw| 色噜噜五月天| 五月丁香成人网| 激情内射人妻1区2区3区| 日韩成人电泉AV| 丁香五月开心亚洲| 人妻五月天激情开心网| 超碰97免费在线| 涩五月婷婷| 97亚洲视频在线| 99色在线视频观看| 精品视频99看在线视频| 99热这里只有精品8| 色噜噜狠狠一区二区三区| 日韩丁香涩| av免费在线观看0| 久久久久久久久久久97| 99视频在线观看欧| 激情九月婷婷| 97伦色婷婷| 在线看黄色| 五月婷婷免费在线| 泰州成人视频| 久久精品无码一区| 欧美噜噜噜草| 五月丁香六月婷婷无码| 综合色五月| 亚洲视频在线观看| 天天看A片| 丁香五月六月激情| 99日韩| 色天使久久综合| 色九月婷婷| 色五月婷婷视频| 久久婷婷五月综合色丁香| 99自拍视频在线观看| 伊人久久大香| 激情五月亚洲综合网| 色婷婷综合网| 大香蕉视频婷婷| 婷婷色在线| 涩五月色婷婷| 久爱综合| 侠女刀之记忆电影在线看免费| 婷婷伊人网| 五月丁香啪啪啪| www.久久久久久| 男人综合网| 九色婷婷| 人人搡人人| 伊人超碰| 久久久GOGO无码啪啪艺术 | 国产亚洲精品久久久久久豆腐| 高清国产一级婬片a免费| 久久小视频免费| 玖玖在线| 成人在线二区| 久久婷婷热| 婷婷亚洲在线| 久久AV无码精品人妻系列试探| 99黄色在线视频精品熟女| 亚洲人成人五月天| 操大屄五月天视频| eeuus五月婷| 超碰97免费在线| 五月天丁香婷婷久久九| 亚洲XX日本| 久久这里有精品| 开心激情站| 精品成人在线| 激情校园 亚洲| 久久九九热视频| 影音先锋 一区| 婷婷深爱五月亚洲综合| 另类少妇人与禽zOZZ0性伦| 九色91国产| 亚洲VA口| 久婷婷色| 激情五月天网| 丁香婷婷色情| 婷婷色色丁香五月天| 日韩欧美性爱| 99热12| 久久激情五月| 婷婷五月大| 超碰在线超碰| yw.av| 青草激情在线| 激情综合网激情五月婷婷| 久久99婷婷| 蜜臀99精品| 亭亭丁香97| WWW.开心五月天.COM| 五月天综合网| 色欲日日躁| 欧美婷婷五月丁香| 婷婷五月天视| 精品夜夜澡人妻无码AV| 久久在这里有精品| 久久AAAA片一区二区| 99视频色在线观看| 97色吧| 激情婷婷内射| 亚洲亚洲人成综合网络| 五月天婷a| 草了bav视频在线观看| 久久五月天黄色五月天色网址| 综合久久99| 婷婷基地成人五月天| 99在线精品观看99| 九九精品这里只有| 中文字幕一色哟哟哟哟| 99视频只有这里精品| 九九爱激情| 婷婷六月天亚州| 久久五月天激情| 操操操97| 欧美婷婷精品激情| 夜夜大香蕉婷婷丁香| 五月婷婷丁香| 五月大香蕉| 色玖玖爱| 丁香五月婷婷少妇| 国产做A爰片毛片A片美国| 国产Va视频| 欧美性猛交XXXX乱大交极品| 五月丁香婷婷开心| 97性视频| 99热精品在线在线| 天天摸夜夜爽天天做| 超碰在线日夜| Www.狠狠| 五月丁香激情综合啪啪| 天天操天天操天天操天天操天天操| 26UUU| 九九热最新| 丁香婷婷六月天| 热久久这里只有精品| 美女要搞搞天天搞搞搞网站| 97操在线资源| 日本久久综合| 久久久月丁香| 综合www色| 九九色图| 五月开心啪啪| 色色婷婷丁香五月天| 激情av在线| 五月丁香影院| 五月精品免费XXX| 九月色婷婷婷| 91狠狠色丁香婷婷综合久久| 五月丁香六月婷婷在线小说视频| 婷婷碰碰| 色爱综合网| 性韩日色婷婷五月天激情啪啪XXX| 无码99| 欧美激情综合色综合色| 91热99| 亚洲精品字幕在线观看| 五月丁香婷婷综合| 五月色丁香成人| 波多野结衣不卡AV| 欧美日韩91| 69婷婷丁香午夜| 婷婷五月精品中文| 丁香六月啪啪| 九九干视频| 五月综合视频在线| 婷婷五月综合色中文字幕| av在线激情| 婷婷六月色丁香视频在线观看| 97操碰日本女人| 开心五月深爱五月| 99视频这里只有久久精品 | 婷婷五月天激情小说| 色五月网址| 最新无毒无码AV| 123草逼网| 久久久久综合激动五月天| 婷婷亚州综合| 天天精品视频在线观看视频| 五月婷婷丁香综合| 99re免费视频| 无遮挡国产高潮视频免费观看| 天堂草在线看www| 久久er视频6| 色插人人| 99热综合| 五月色婷婷综合| 少妇丁香婷婷| 成人在线综合| 五月天婷婷色播综合在线| 色婷婷五月在线| 99热这是里只有精品| 激情性爱网站| 丁香五月天AV在线 | 久久女婷| 色婷婷电影网| 国产精品A片| 久久婷婷热| 91seAV| 婷婷五月影院| 大香蕉99热| 丁香婷婷十月| 五月社区婷婷激情| 婷婷性爱| 情色婷婷五月天| 五月婷护士| 婷婷亚洲综合| 久色网| 天天操人人干| 99操免费视频| 亚洲天堂有码| 东北熟女高潮99综合99| 国产在线aaa片一区二区99| 99热日韩| 成人电影在线免费试看| 99网99热| 夜夜骑天天操| 中文字幕色色色| 亚洲美女婷婷五月天| 人人性久久| 久久激情四射| AV大片在线播放| 久9视频| 9999三级片| 六月婷婷五月天| 男女久久婷婷五月天| 99久热这里只有精品视频删减版| 久久激情网| 9精品视频在线观看| 超碰无码老师| 日韩人人操| 婷色天堂| 青青草伊人婷婷| 九九Av| 大香蕉啪啪啪| 五月天激情网图片| 91色久| 亚洲激情网| 久久婷婷网| 婷婷激情综合| 日熟女| 99精品综合视频| 色五月婷婷在线观看| 亭亭五月天成人| 蜜乳A√| 丁香六月婷婷一区| 色婷婷五月天天天天天天天天天| 色婷婷丁香五月天在线视频| 六月丁香婷婷开心综合基地| 亚洲九九在线| 婷婷激情五月天在线| 五月婷导航| 久久99成人性爱高清视频| 丁香五月天BBw| 婷婷天天综合| 色婷婷激情五月天| 99精品国产热久久91色欲| 先锋资源婷婷| 婷婷五月天Av| 久久er免费视频| 97人人干| www好屌操| www.十八禁不禁AV.com| 亚洲五月天婷婷在线| 色五月婷婷久久| 欧美色色色色色色色| 九九激情视频| 天堂网啪啪| 欧美性猛交99久久久99| 九九热这里只有精品6| 91丨九色丨东北熟女| 五月天桃色深爱网| 大香蕉九九| 五月天另类小说| www激情| 婷婷综合| 碰超亚洲| 婷婷五月丁香花综合| 天天久综合网永久入口17v | 婷婷综合伊人丁香| 久久久无码精品成人A片小说 | 极品 少妇 内射| 99精品在线下载| 欧美色爱五月天| 五月欧美丁香在线观看| 久久女婷| 狠狠色色色| 91人人爽人人操| 99热综合在线| 婷婷五月欧美综合| 日日综合网| 亚洲av成人在线| 五月色婷婷综合| 丰满少妇猛烈A片免费看观看| 欧美三级视频| 亚洲无线视频| 婷婷五月天熟妇| 视频色色色色色色| 五月天啪啪| 性做爰1一7伦| 久久婷婷亚洲无码一起| 亚洲精品久久久无码| 婷婷99综合| 99热99天堂| 五月婷婷av| 色黑鬼导航| 99热精品在线免费观看| 五月丁香成人网| 性按摩玩人妻HD中文字幕| 婷婷五月超碰| 亚洲五月丁香综合网| 婷婷亚洲在线| 色五月婷婷av| 一本色综合色| 久久精品4| 婷婷久久国产视频| 久青操| 99无码视频| 国产真实乱了老女人视频| www.cao.com久久| 青青草原亚洲天堂| 丁香六月亚洲综合| 亚洲av骚货| 伊人网色婷婷五月天| 97婷婷狠狠久久综合9色| 综合激情五月丁香| 国产成人亚洲综合A∨婷婷| 中文字幕在线免费观看视频| 操B视频在线播放| 六月婷久久| 很很干在线视频| 亚洲成人无码网站| 免费超碰在线观看| 伊人久久婷婷| 色狠狠婷婷| 欧美精品999| 97精品综合久久内射| 五月婷婷深深的爱| 看逼中文字幕| 五月婷婷丁香大陆免费| 婷婷91| 香蕉视频性爱BB做爱| 色久女| 丁香五月第四色88| 六月婷婷综合| 久久久久激情网| 丁香婷婷啪啪啪| 久久婷狠狠色| 色综合香蕉视频| 狠狠另类视频| 91精品久久久久| 婷婷五月激情综合啪啪| 99热这里只有精品一| 亚洲九区| aaa9区免费在线观看| 五月天婷婷网站| 色综合久久88色综合天天99| 色婷狠狠| 国色天香伊人狠狠色| 婷婷五月天激情四射| 婷婷99丁香| 丁香六月婷婷综合网| 婷婷久久网| 亚洲视频码| 《战争与艾拉》完整版| 久久六月天| 天堂色色色| 一级二级香港秋霞欧美欧美秋霞| 天天弄天天操| 激情网五夜婷婷| 六月撸婷婷| 超碰碰碰碰| 91美女被操| 操一操干一干| 久久九九亚洲| 色婷婷六月天在线| 色五月天成人| www.99精品日操伊人乱碰在线| 人人操Av| 性爱视频久久| 97人人看| 成人婷99最新| 色色五月婷婷久久| 欧美综合123区| www.久久色.com| 色性日本| 综合久久激情久久| 五月丁香青草综合啪啪| 4399无码视频| 丁香五月婷婷乱| 色综合五月天| 婷婷五月综合色中文字幕| 97干在线| 妇激情基地| 色综合五月| 激情五月天福利| 99re在线这里只有精品视频首页| 电影91久久久| 色狠狠色狠狠| 综合狠久久| 色五月天成人在线| 91919191919久久成人视频| 99在线观看视频精品| 婷婷伊人网| 99视频极品在线香蕉| 久久精品小视频| 五月网站| 五月天婷婷导航| 午夜精品人妻无码一区二区三区| 99在线视频在线观看| 亚洲视频在线观看| 九九九成人在线视频| 粉嫩AV久久一区二区三区| 色欲天天综合| 久热久| 九九九日本熟女| 大香蕉伊人99| 天天玩夜夜操天天爽| 九九视频这里只有精品在线播放| 久久伊人大香蕉| 日日夜夜狠狠婷婷色| 国产伦亲子伦亲子视频观看| 婷婷丁香激情五月| 国精产品一区一区三区免费视频| 丁香婷婷五色月| 激婷网| 婷婷五月色亚洲| 中文字幕人妻一区二区| 久久精品性爱| 97碰超级人人看| www.婷婷| 欧美婷婷五月无砖| 婷婷六月丁综合| 99re8这里只有精品99re8热视频| 久久激丁香| 婷婷丁香五月天中文字幕| 琪琪色网址| 五月天综合视频| 草草影院爱爱| 久机视频这只有精品| 九九热99re8热免费观看 | 狠狠擼综合| 秋霞少妇AV网站| 手机免费福利视频| 久久婷婷丁香| 伊人久久婷婷| 五月花丁香婷婷| AV免费在线网站| 日本天堂免费99| 99综合| 丁香五月天婷婷激情| 插少妇综合网| 婷婷黄色五月| 美女五月天| 99热久只有| 99在线视频网址在线观看| 六月丁香六月婷婷欧美| 激情综合久久| 亚洲色图欧美色图日本视频| 五月婷婷丁香六月在线| 夜夜骑夜夜撸| 狠狠色婷婷| 91九色无码内射| 激情综合网五月在线播放| 好吊丝aV| 久9热在线视频| 成人国产欧美大片一区| AV在线观看网站| 无码人妻丰满熟妇奶水区码| 狼友视频在线观看18| 欧美噜一噜| www.五月婷婷.com| 色婷大香蕉| www.婷婷网| 五月丁香啪啪| 色情激情五月婷婷| 婷婷久久视频| 99re在线观看| caopeng97人人| 日本色婷婷久久99精品91| 99久视频| 婷婷六月天国产综合| 日本 欧美在线| 99成人小视频| 亚洲操b| 欧美月久久| 啪啪婷婷五月天激情| 99爱爱网| 婷婷激情五月天激情小说| aaa丁香五月天| 天天干,天天日| 这里只有精品视频| 久久婷五月| 五月天网站免费欧美| 亚洲精品久久久无码| 中文字幕综合| 99网99热| 婷婷中文字暮| 互月天综合| 激情婷婷五月天| 久久婷婷五月综合成人d啪| 色五月亚洲开心网| 北条麻妃九九九国产精品视频| AA丁香综合激情| 丁香婷婷激情| 国内在线99视频| 操操操操操电影网| 人妻熟女一区二区AV| 深爱婷婷基地| 色婷婷电影网| 五月天色婷婷激情综合| 99热这里只有精品3| 特级操b片| 91精品综合久久久久久五月丁香| www99精品日韩| 丁香五月,开心五月,成人婷婷| 五月丁香综合啪啪| aaaa.黄| 亚洲综合九九| 婷婷射图五月天| 国产精品色情AAAAA片软件| 婷婷丁香九月| 色婷婷色五月天| 99re思思在线视频| 碰97 久| 婷婷天天色| 欧美日韩aaaa| 第二色AⅤ| 九九综合网色全集 | 五月丁香六月欧美综合网站| 亚洲无码成人性爰网| 午夜免费试看| 97碰人人操| 西西4r午夜剧场| 天天日天天色| 性色五月天| 欧美色色色色色色色色色色| 日日做夜夜爱| 清色五月天| 可以免费观看的av网址| 五月天综合久久| 丁香五月大香蕉AV| 丁香五月婷婷少妇| 九色综合五月天婷五月| 国产欧美日韩综合精品一区二区| 国产激情久久久| 久久人妻久久| 99热啪啪| 欧美六月| 香蕉狠狠爱视频| 国产亚洲色婷婷久久99精品91| 婷婷激情啪啪| 天天情色五月天| site:xmssd.com| 婷婷丁香熟妇综合网| 人人插9| 综合 蜜月 婷婷| 超碰免费人人肏| 天天爽天天摸人妻综合网| 久久久久综合激动五月天| 99色在线视频观看| 99热这里只有精品268| 久热9| 婷婷精品免费久久| 日本综合久久| 欧美色图45678| 亚洲精品视频在线| 丁香五月花婷婷开心| 日本色婷婷| 99碰碰| 欧美色图天堂网| 大香蕉五月丁香| 97操在线视频| 五月天激情综合在线| 99色色爰| 伊人久久艹| 人妻av在线| 婷婷永久在线| 天天射影| 日本色婷婷五月天成人电影| 婷婷永久在线| 丁香色五月婷婷91桃色| 欧美人人草| 婷婷操婷婷干婷婷射| 天天插,天天射| 六月婷婷在线视频| 激情视频综合| 91狠狠综合久久| 思思re99视频在线观看| 天天爽夜夜操| 免费无码毛片一区二区A片| 人妻丰满精品一区二区A片| 日本三级日本三级99| 天天射影院| 婷婷五月天基地| 激情五月婷婷| www色哟哟| 成年视频免费观看| 丁香六月啪啪啪| 俺也去婷婷五月天第五色| 26uuu色噜噜精品一区| 另类丁香五月天区图| 九九久久视频| 色五月激情五月开心五月| 伊人www22综合色| 色吧五月| 思思久久99热只有频精品66| 超碰永久在线| 91精品久久久久久久| 这里只有精彩小视频视频网站| 狠狠肏综合网| 2017人人操| 国产成人+综合亚洲+天堂| 亚洲 精品 综合 精品| 丁香激情合作五月| 99热色精品| 五月花激情| 国产伦亲子伦亲子视频观看| 婷婷五月丁香人妻无码高清| 9色视频在线| 日本精品。999| 婷婷爱五月天人人爱| 91人操人人人操人| 婷婷色在线| 男女激情久久| 久热 91| 六月综和久久| 丁香婷婷六月男男| 久久婷婷精品| www色哟哟| 91超碰九色| 青青草搞屄视频网站| 天天日天天日天天搞| 久久五月婷婷丁香| 丁香六月婷婷久久综合| 最新久久99视频网站| 另类图片天天影视在线观看| 婷婷五月天日日日干干干| 丁香五月天婷婷激情| XX色综合| 色婷婷亚洲综合av| 国产伦理精品高清在线观看网站一区二区 | 色婷婷欧美| 五月婷婷久久综合| 五月天婷婷丁香导航| 99久久综合网| 婷婷久久图片| 国产夫妻操逼内射视频| 久久玖玖综合| 欧美A级成人婬片免费看理论| 麻豆雪千夏| 丁香五月狠狠综合欧美| 激情六月天婷婷| 日本少妇裸体做爰高潮片| 成人视频在线免费播放| 人人干人人操人人摸人人做| 国产激情av| A片天天| 色999亚洲人成色| 久久视频在线| 中字幕视频在线永久在线观看免费| 亚州婷婷五月激情综合| 伊人五月婷婷| 91碰| 狠狠色噜噜色狠狠狠综合色| 五月色婷婷影视在线电影| 超碰国产AV| 中日韩美欧成人一区二区精品在线| 九九99九九99九九99视频网| 日日夜夜小色哥| 亚洲 激情 中文| 色婷婷a| 超碰妻人人| 激情婷婷五月天。| 激情网五月天| 99久操视频| 亚洲人成网亚洲欧洲无码久久| 婷婷六月天激情| 疯狂做受XXXX高潮A片| 激情四射五月天| 久久久这里有精品| 丁香五月天成人| 色,激情五月天| 五月天伊人久久久久| 1级欧美日韩| 思思99精品视频在线观看| 欧洲亚洲免费视频9| 99视频日韩| 色五月丁香激情| 色香蕉影院| WWW.久久久久久久久久久久久| 人人射av| 狠狠色综合网| 9999久久久久| 天堂中文国产| 亚洲色图日韩网址| av性爱在线| 香蕉久久国产AV一区二区| 五月婷俺去也| 国产67194| 男人的天堂五月丁香| 激情五月天无人视频在线| 99精品国产乱码久久久人妻| 丁香五月激情天AV无码| 色色五月婷婷| 五月婷网| 五月丁香六月激情综合| 色色色婷婷| 婷婷色五月色| 九九伦子片| 99这里只有免费的精品| 六月激情婷婷| 久9久9久9久9久9久9| 五月激情天| 五月丁香中文婷婷中文| 色欲AV导航| 91丨九色丨首页| 午夜无码精品色综合久久| 噼里啪啦完整版中文在线观看| 久色视频在线| 五月婷在线观看| 在线中文av| 五月色色网| 任我肏| 欧美色色色色色色| 丁香五月天狠狠| 97在线/日本| 亚洲天堂aaa| 亚洲深喉aV| 婷婷五月天伦理| 国产乱子轮XXX农村| 色色啊| 日韩精品AV一区二区三区| 99热欧| 国产全是老熟女太爽了| 99色视频在线观看| 婷婷五月激情基地| 色播五月丁香| 久久综合最新网址| 色色AV色色色东莞| 啪色综合| 丁香婷婷基地| 性韩日色婷婷五月天激情啪啪XXX| 色五月在线观看| 丁香无月在线观看| 色色五月婷婷| 婷婷成人丁香色情基地30 | 精品一二三区久久AAA片| 婷婷丁香五月激情图片| W色综合| 人人人人人人人草| 伊人久久中文网| 五月婷婷丁香大陆免费| 久久亚洲婷婷| 天天插天天射| 五月丁香激情六月| 99色视| 伊人激情啪啪| 另类五月婷婷| 国产精品第一国产精品| 婷婷丁香五月综合激情视频| 91视频免费后入强操| 亚洲啪啪视频| 夜夜躁狠狠 | 人操综合| 婷婷五月天成人网| 91久久婷婷| 亭亭五月色男人| 在线区区区| 在线中文AV| 四色99久久| 丁香五月区| 五月综合视频| 开心五月婷| 欧美婷婷综合网| 色爱五月天| 天天插轮理| 久热天堂| 婷婷五月天久久| 激情五月婷婷在线区| AV中文字幕夜夜操b天天摸bb| 九九热99熟女| 99这里只有精品视频在线| 综合av在线| 5五月综合网亚洲| 日日操天天操| 狠狠色噜噜狠狠| 欧美综合123区| 99热啪啪| 欧美成人精品一区二区| 五月丁香琪琪| 成人美女网| 色综合久久五月天| 丁香亭亭久久| 一区无码| 丁香婷婷色五月| 热99久久这里只有精品| 久久加勒比| 久久丁香| 五月天成人综合| 丁香五月综合色婷婷| 狠狠色噜噜色狠狠狠综合色 | 成人国产欧美大片一区| 久久丁香五月天| 五月丁香久久精品在线观看 | 99九九视频| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 91色五月| 五月天婷婷成人资源站| 1囯产午夜仑鲁鲁| 99热这里都是精品| 婷婷激情五月天激情| aaaaa不卡| 九九精品碰| 午夜天堂啪啪| 五月开心久久| 色婷婷丁香网| 99久久五月婷婷| 五月婷婷色| 天天插天天爽| 丁香六月色情| 五月婷婷熟女| www.韩日视频| 婷婷久久综合| 久色| 五月婷色丁香| 五月丁香婷婷基地| 五月婷av| 国产乱子轮XXX农村| 超碰色色综合| www.av骚货| 国产亚洲99久久精品| 成人精品免费在线观看| 激情五月综合亚洲另类| 久久婷婷六月综合综合色| 日本在线视频手机播放五月婷| 亚洲成人中心| 伊综合蕉| 国产精品涩涩涩视频网站| 婷婷五月综合久久中文字幕| 99综合一区| 婷婷五月天伊人在线| 91精品婷婷国产综合| 黄色AAAA韩国guochansanji | 久久99久久99精品免视看婷婷| 99色精品| 99热最新网址| 日韩色色网| 99狠狠操一| 久草五月丁香婷婷综合| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 丁香亭亭久久| 91干视频| 欧美色碰| 91丁香婷婷综合久久欧美| 俺去也五月| 五月婷婷开心网| 五月天婷婷网站888| 中文国产五月天| 色八月婷婷| 亚洲啪啪视频| 九九99热久久精品66中文字幕| 色色六月| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 超碰97久久| 国产亚洲成人综合| 亚洲亚洲人成综合网络| 超碰成人免费| 99热这里只| 熟女激情网| 色五月大| 国产激情婷婷| 99九九精品| 韩国久久少妇视屏| 99精彩视频在线观看| WWW、日本色丁香co m| 人妻AV在线观看| 午夜成人在线免费视频| 日韩精品呦呦va| 日韩AV免费电影在线播放| 五月丁香成人网| 五月丁香六月| 99色在线视频| 伊人在线视频| 99精品免费视频| 婷婷综合激情| 91啪啪视频| 狠狠色综合网| 五月婷婷av| 国产操碰| 五月丁香综合啪啪| 色综合色色| 大香蕉久艹| 日本精品99| 亚洲中文字幕AV| 色五月综合| 色香蕉影院| 99日本在线| 噜噜干日本| 色五月天丁香| 激情五月丁香五月| 91久久久久久| 99精品综合视频| 丁香色五月 97干| 99色视频| 被强行糟蹋的女人A片| 国产全是老熟女太爽了| 五月天激情小说| 色优久久| 中文字幕无码人妻少妇免费视频| 国产古装妇女野外A片| 无码激情AAAAA片-区区| 秋霞av吧| 日本97在线看片| 日韩成人电影Av| 在线视频激情网站| 免费看成人747474九号视频在线观看| 婷婷五月天丁香社区| 六月婷婷七月丁香| 五月丁香婷婷色色| 五月花婷婷在线精品视频| 天天噜天天爱| 国产精品久久久久久五月天加勒比 | 亚洲精品V天堂中文字幕| 丁香五月五月婷婷欧美大香蕉| 色综合久久久无码中文字幕999| 综合五月激情| 丁香五月婷婷99| 五月综合丁香婷婷| 亚洲综合久| 婷婷激情肏屄网| 婷婷五月天天| 色婷婷五月天不卡| 免费精品99| 99久久久免费| 色99色| 玖玖99婷婷| 开心五月婷婷综合在线精品素人| 国产av基地| 欧美五月丁香啪啪响视频| 五月丁香网站在线播放| 婷婷丁香色情五月天| 婷婷八月丁香激情综合| 五月天婷婷视频| 色色五月天婷婷| 日韩人妻白浆视频系列| 色九九一二| 色婷婷免费观看| 99热在线免费观看精品| 99思思热只有在这里看 | 人人干天天舔| 天天天摸夜夜夜玩| 操逼巨乳91| 天天干天天插| 男人的天堂婷婷色五月| 亚洲AV无码成人精品区电影网| 337p大胆噜噜噜噜噜91Av| 内射激情在线| 人人摸人人澡人人| 99色色网| 九久热| 天天肏视频| 婷婷中文字幕版| 九九热精品| 狠狠色综合网| txt五月激情四射网综合俺也来了 五月天婷婷丁香人人操91 | 五月视频日本免费观看| 五月天婷a| 美女激情综合| 国产婷婷色综合AV蜜臀AV | 日本理论久久| 996er在线观看| 丁香激情综合| 97 A I色色| 丰滿爆乳一区二区三区| 丁香六月婷| site:jszngf.com| 婷婷六月丁| 亚洲色频| 热久久婷婷| 婷婷五月天美女| 日本五月婷| 亚洲另类电影| 久久婷婷草| 日本色婷婷综合| 久草热在线视频| 亚洲视频一区| 一区二区乱视频码| 久久伊人五月天| 久热这里只有精品在线| 99精色| 99久久超级| 日韩色色色色色| 日韩精品无码99| 丁香六月情| 一起草日本| 射琪琪| 97色伦另类图片小说视频 | 99re免费精品视频| 97干婷婷五月天| 婷婷午夜精品久久久| 狠狠婷婷色| 成片免费观看视频大全| 婷婷五月天狠狠搞干| 婷婷色导航| 丁香密臀AV激情网| 婷婷5月开心6月| www.天天干| 丁香五月婷婷欧美性爱| 成人视频一区| 99久在线精品99re8热| 67194国产| 日韩 中文 欧美| WWW,婷婷,COM| 国产成人综合网| 成人网在线视频| sewuyuejiqingwang| 综合婷婷| 亚洲欧美国产A片免费观看| 亚洲爱爱无码婷婷色五月| 久久婷婷视频| 伊人五月天久久| 五月丁香六月婷婷亚洲| www.色婷婷| 91大神操美女| 曰日爽日日操| 中文字幕精品无码一区二区| 九热视频| 色色五月婷婷久久| 色婷婷影视99| 婷婷五月天熟妇| 99色色网| 激情综合五月天| 五月丁香六月婷婷激情视频在线观看免费| 欧美精品在线观看| 婷婷色女| 国产免费一区二区在线A片视频| CAoub青青超碰| 狠狠色激情综合| 亚洲操操操| 日韩色色色色色| 91色涩| 97久久超视频| 丁香五月天五码婷婷| 99激情视频| 婷婷五月丁香综合亚洲 | 99爱视频在线免费观看| 丁香婷婷久久| 色婷婷综合网| 91se在线视频| 91九色 婷婷| 99精品网| 殴美97色| 深爱激情小说五月婷婷| 开心五月婷婷激情| 色三级色三级| 99九无网码| 国产免费av在线| 99热免费在线| 99re资源在线视频导航| 99成人无码| 六月成人网| 色婷婷六月激情| 色播播五月天| 色噜噜狠狠色综| 天天干天天干天天干天天干天| 五月丁香 啪啪| 五月婷婷亚洲| 在线观看免费狠狠色丁香香综合| 婷婷五月天香蕉| 五月天啪啪网| 色婷亚洲| 久久婷婷五月综合网| www.开心激情| 亚洲AV久久久久久久久久久久久久久久 | 五月花婷婷| 另类视频一区| 丁香五月在线| 亚洲综合网区| 亚洲成人网站在线观看| 欧日韩AV| 丰满少妇乱A片无码| 啪啪干伊人婷婷| 精品欧美一区二区三区久久久| 日日干日日色| 伊人色综合网| 538久久| 无码视频国内精品久久久| 六月婷婷国产| 夜色.cnm| www.夜夜操.com| www.久久99热地址发布| 女同激情久久av久久| 国产成人高清| 99精品热视频| 成人五月丁香社区| 天天干夜晚夜操| 这里只有精品,日韩视频| 成人综合网站| 婷婷五月天天aV| 日本玖玖在线| www五月| 91色逼| 色无码| 成人婷婷色五月天| 日本欧美成人片AAAA| 五月天婷a| 成人免费视频一区| 久久婷狠狠色| 五月丁香六月激情综合网| 伊人色综合网| 亚洲色综久久五月| 色婷婷五月影视| 激情综合五月婷婷丁香| 色综合久久久久| 熟妇无码乱子成人精品| AV天堂婷婷五月天| 99噜噜噜| 大香蕉手机视频| 人妻系列久久久久久久久久久| 五月婷婷操操| 色色色色色色色色综合网| 中文精品在| 超碰国产在线| 激情六月一二| 色五月天丁香婷婷| 亚洲天堂99| 日韩精品无码99| 99久久97久久欧美综合网| 色999;丁香五月| 丁香五月婷婷深爱综合激情 | 色婷综合| 99这里只有精品| 激情五月婷黄版| 曰韩五月丁香色婷婷无码| 夜夜撸日日操| 思思色播| 亚洲AV久久久久久久久久久久久久久久 | 无码99| 久久亚洲婷婷| 中文精品在| 欧美大片| 天天插综合网| 色丁香五月婷婷婷| 香蕉久久国产AV一区二区| 欧美噜噜免费观看| 激情五月成年| 色私五月婷婷| 五月丁香六月婷婷在线小说视频| 色婷婷第四色| 五月婷婷综合网| wwW天天干| 97操男人的天堂| 五月天婷婷无码| 五月婷婷五月天亚洲无码| jiuse91在线| 丁香色婷婷| 96五月丁香熟女| 97丁香婷婷| 激情婷婷狠狠干综合| 欧美视频五区| 麻豆123区| 色婷婷丁香综合中文字幕| 午夜成人片400| 五月天婷综合| 四虎婷婷五月天| 日本97在线视频| 中文字幕有多少字| 五月色婷婷亚洲| 亚洲永远av在线播放| 丁香五月性| 天天操天天草天天草天天| 涩九九九九| 婷婷五月天99综合网站| 婷婷九月丁香| 五月天影院| 五月丁香久人妻中文| 综合婷| 国产人妻777人伦精品HD| 久久久久久人妻| 五月天开心色情网| 五月天停停日日| av国产精品| 五月丁香六月激情| 欧美色小说婷婷| 超碰精品在线| 吾爱AV导航| 国产真人做爰视频免费| 人人操AV| 色色AV色色色东莞| 久久五月网| 九九综合| www亚洲无码| 久久视频在线视频| 91操熟女| 丁香六月婷婷色XXXXX| 久久国产性爱A V| 丁香密臀AV激情网| 精品九九九久| 色婷婷久久| 人妻精品在线| 噜噜色婷婷| 思思热性操| 天天爽在线视频| 男人視頻站| 亚洲12p| 亚洲五月天婷婷| 超碰国产在线观看| 久久婷婷五月天激情唯美| 开心婷婷五月激情网小说 | 日本五月婷婷| 玖玖婷婷色五月| 日日操,夜夜爽| 婷婷久久综合久| 色婷婷超碰| 婷婷丁香综合在线| 色色网站毛片| 97人妻碰碰中文无码久热丝袜| 亚洲在线综合| 免费在线观看欧美激情xx小视频| 亚洲男人的天堂婷婷色五月| 狠狠看狠狠| 91日本在线观看| 五月天婷综合| 中文字幕高清av| 精品人妻一区二区三区在| 婷婷五月天成人网| 超碰人人操在线| 这里只有免费精品| 99热黄| 综合aV在线| 极品人妻VIDEOSSS人妻| 日本色五月| 色五月综合网| 亚洲天堂大香蕉| www色五月天| 婷婷伊人久久综合| 久久五月丁香综合17C| 亚洲丁香五月综合| www.天天色综合| 色婷婷五月影院| 超碰AV成人| 91/九色黑人| 激情综合丁香| 色五月丁香91| 人碰人人人玩91| 人人操9| 操B无码视频国语| 五月婷无码| 国产色香蕉精品五夜婷| 99re8热精品免费视频|