欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ShardingProxy從原理到實(shí)戰(zhàn):分庫(kù)分表無(wú)縫接入指南

ShardingProxy從原理到實(shí)戰(zhàn):分庫(kù)分表無(wú)縫接入指南 第一次接觸ShardingProxy的人通常是被一句話吸引過(guò)來(lái)的它能把你拆散在多個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)上的表重新拼成一個(gè)邏輯上的“普通數(shù)據(jù)庫(kù)”業(yè)務(wù)方不用改一行SQL就能繼續(xù)按單庫(kù)的習(xí)慣去讀寫(xiě)。做數(shù)據(jù)庫(kù)中間件這行久了會(huì)發(fā)現(xiàn)很多團(tuán)隊(duì)從單庫(kù)單表演進(jìn)到分庫(kù)分表后卡住的往往不是拆分規(guī)則本身而是“怎么讓一百多個(gè)應(yīng)用實(shí)例無(wú)縫切換到新架構(gòu)”。ShardingProxy正好是解決這個(gè)接入問(wèn)題的關(guān)鍵一環(huán)。這篇文章我從頭講透它的原理、配置、實(shí)戰(zhàn)部署和排坑經(jīng)驗(yàn)全部基于真實(shí)環(huán)境踩過(guò)的坑總結(jié)出來(lái)適合正在做分庫(kù)分表架構(gòu)選型的開(kāi)發(fā)、DBA以及被拆分后的查詢路由搞得頭疼的同學(xué)參考。1. 先搞清楚ShardingProxy到底解決了什么問(wèn)題1.1 從單庫(kù)單表到分庫(kù)分表問(wèn)題從哪來(lái)先聊一個(gè)最常見(jiàn)的演進(jìn)路徑。系統(tǒng)剛開(kāi)始上線時(shí)一張訂單表就夠用后來(lái)業(yè)務(wù)量漲了單表千萬(wàn)級(jí)、上億級(jí)索引深了寫(xiě)并發(fā)高了數(shù)據(jù)庫(kù)的CPU和IO開(kāi)始報(bào)警。于是DBA把訂單表按時(shí)間或者按訂單號(hào)拆成多張表再往后單庫(kù)也扛不住干脆把不同的表散到多個(gè)數(shù)據(jù)庫(kù)實(shí)例上。這個(gè)動(dòng)作做完存儲(chǔ)壓力確實(shí)緩解了但應(yīng)用端的麻煩才剛剛開(kāi)始原來(lái)一條INSERT語(yǔ)句現(xiàn)在要自己算該去哪張表原來(lái)一個(gè)JOIN要跨多個(gè)庫(kù)手工拼數(shù)據(jù)原來(lái)一個(gè)事務(wù)現(xiàn)在要面對(duì)跨庫(kù)事務(wù)的難題。如果這些邏輯全部寫(xiě)死在業(yè)務(wù)代碼里那每接入一個(gè)需求都要重新改一遍SQL拼接邏輯而且不同服務(wù)的分片規(guī)則不一致之后團(tuán)隊(duì)維護(hù)成本會(huì)迅速失控。市面上解決這個(gè)問(wèn)題的方式無(wú)非三種第一種是在應(yīng)用層封裝數(shù)據(jù)訪問(wèn)層把分片路由做在代碼里第二種是引入數(shù)據(jù)庫(kù)中間件讓SQL先經(jīng)過(guò)中間件再路由到后端節(jié)點(diǎn)第三種是把整個(gè)數(shù)據(jù)庫(kù)直接換成一個(gè)原生分布式數(shù)據(jù)庫(kù)。ShardingProxy屬于第二種也是我這些年見(jiàn)過(guò)在兼容性、改造成本和穩(wěn)定性之間平衡得比較好的方案。1.2 ShardingProxy與ShardingSphere生態(tài)的關(guān)系很多人會(huì)把ShardingSphere和ShardingProxy搞混。簡(jiǎn)單說(shuō)ShardingSphere是一套完整的數(shù)據(jù)庫(kù)生態(tài)下面兩條核心產(chǎn)品線一條是ShardingJDBC做成輕量級(jí)Java客戶端以jar包形式嵌入應(yīng)用另一條就是ShardingProxy做成獨(dú)立部署的中間件服務(wù)對(duì)客戶端而言它就是一個(gè)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)服務(wù)端。兩者的定位差異很直觀。ShardingJDBC像是給每個(gè)應(yīng)用請(qǐng)了一位貼身管家它跟著應(yīng)用進(jìn)程走路由規(guī)則直接內(nèi)置在JVM里性能損耗低但每個(gè)應(yīng)用都要引入對(duì)應(yīng)的依賴、配置分片規(guī)則。ShardingProxy則像是樓下的前臺(tái)總機(jī)你只管把SQL交給它它負(fù)責(zé)轉(zhuǎn)給背后各個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)業(yè)務(wù)側(cè)完全感知不到分庫(kù)分表的存在。這種差異決定了它們的適用場(chǎng)景完全不同。新寫(xiě)一個(gè)微服務(wù)明確規(guī)定從零開(kāi)始我傾向于ShardingJDBC因?yàn)榍秩肟煽亍㈡溌范痰绻拥氖谴媪肯到y(tǒng)幾十個(gè)服務(wù)每個(gè)都改JDBC連接方式成本太高或者對(duì)接的是異構(gòu)語(yǔ)言比如PHP、Python、Go沒(méi)辦法直接復(fù)用Java端的ShardingJDBC那ShardingProxy幾乎是唯一現(xiàn)實(shí)的選擇。我實(shí)際遇到過(guò)幾個(gè)項(xiàng)目數(shù)據(jù)庫(kù)表都拆好了但業(yè)務(wù)團(tuán)隊(duì)有Java有Go還有寫(xiě)存儲(chǔ)過(guò)程的最后統(tǒng)一收口到ShardingProxy所有客戶端只改一個(gè)連接地址問(wèn)題立刻變簡(jiǎn)單。1.3 為什么選Proxy而不是JDBC模式每次做技術(shù)選型團(tuán)隊(duì)里都會(huì)有人問(wèn)既然ShardingJDBC性能更好為什么還要引入一個(gè)單獨(dú)的中間層這個(gè)問(wèn)題我一般從三個(gè)維度來(lái)回答。從運(yùn)維視角看ShardingJDBC的分片規(guī)則散落在每個(gè)應(yīng)用進(jìn)程里規(guī)則要調(diào)整時(shí)必須發(fā)版重啟幾十上百個(gè)實(shí)例同時(shí)變更是個(gè)災(zāi)難ShardingProxy把規(guī)則集中在服務(wù)端DBA改配置文件后重啟單點(diǎn)即可控制力強(qiáng)得多。從團(tuán)隊(duì)協(xié)作看分片規(guī)則本質(zhì)上是一種“數(shù)據(jù)基礎(chǔ)設(shè)施約定”放在Proxy層由DBA或基礎(chǔ)架構(gòu)組統(tǒng)一維護(hù)比指望每個(gè)業(yè)務(wù)開(kāi)發(fā)都理解取模算法要可靠。從生態(tài)兼容看Proxy透明地實(shí)現(xiàn)了MySQL和PostgreSQL網(wǎng)絡(luò)協(xié)議意味著任何能用這兩種協(xié)議連接數(shù)據(jù)庫(kù)的客戶端工具、監(jiān)控系統(tǒng)、BI軟件都能直接復(fù)用。當(dāng)然Proxy也有代價(jià)。多一跳網(wǎng)絡(luò)就意味著額外的幾毫秒延遲加上中間件的CPU和內(nèi)存開(kāi)銷對(duì)延遲極端敏感的純交易場(chǎng)景需要壓測(cè)確認(rèn)。我的真實(shí)感受是如果你做的是內(nèi)部系統(tǒng)、報(bào)表平臺(tái)、ToB應(yīng)用或者是存量系統(tǒng)改造Proxy的優(yōu)勢(shì)遠(yuǎn)大于這點(diǎn)性能損耗如果每個(gè)接口對(duì)單次查詢延遲都有硬性要求且團(tuán)隊(duì)全是Java且愿意接受強(qiáng)侵入改造再認(rèn)真考慮ShardingJDBC。沒(méi)有銀彈適合的才是對(duì)的。2. 部署前的關(guān)鍵概念邏輯庫(kù)、物理庫(kù)、綁定表與分片算法2.1 邏輯庫(kù)、邏輯表與物理節(jié)點(diǎn)剛接觸ShardingProxy時(shí)最容易糊涂的就是配置里那一堆“邏輯”和“物理”的概念。我用最簡(jiǎn)單的話解釋邏輯庫(kù)是客戶端看到的庫(kù)邏輯表是客戶端看到的表物理庫(kù)和物理表才是真正存在數(shù)據(jù)庫(kù)里的東西。比如你在Proxy里定義一個(gè)邏輯庫(kù)叫sharding_db客戶端執(zhí)行USE sharding_db然后查詢SELECT * FROM t_order WHERE order_id 1001。Proxy拿到這條SQL后先根據(jù)order_id的分片算法算出這條數(shù)據(jù)在物理表t_order_1上再根據(jù)庫(kù)分片規(guī)則算出它在物理庫(kù)ds0上于是真實(shí)執(zhí)行的是SELECT * FROM ds0.t_order_1 WHERE order_id 1001。整個(gè)過(guò)程對(duì)客戶端完全透明。這個(gè)“邏輯和物理分離”的設(shè)計(jì)價(jià)值在于它解耦了業(yè)務(wù)代碼和存儲(chǔ)拓?fù)?。今天訂單表拆?張明天拆成8張只需要改Proxy的配置業(yè)務(wù)SQL里的表名永遠(yuǎn)叫t_order。我在項(xiàng)目里經(jīng)常開(kāi)玩笑說(shuō)分片規(guī)則是DBA和中間件之間的秘密業(yè)務(wù)開(kāi)發(fā)不該也不需要知道。配置里的actualDataNodes就是用來(lái)告訴Proxy“這實(shí)這些物理表散落在哪里”的字段格式是ds0.t_order_0, ds0.t_order_1...也可以用行表達(dá)式簡(jiǎn)寫(xiě)成ds$-{0..1}.t_order_$-{0..3}。2.2 分片策略標(biāo)準(zhǔn)、復(fù)合與行表達(dá)式的實(shí)際使用分片策略是整個(gè)配置的重頭戲它決定了SQL會(huì)被路由到哪幾張物理表。常見(jiàn)的類型有三種標(biāo)準(zhǔn)分片、復(fù)合分片和HINT分片。標(biāo)準(zhǔn)分片是使用最多的場(chǎng)景它針對(duì)一個(gè)分片鍵做路由比如order_id對(duì)4取?;蛘甙丛路莘直怼E渲脮r(shí)通過(guò)shardingColumn指定分片鍵在shardingAlgorithms里定義算法類型INLINE是最常用的行表達(dá)式算法比如t_order_$-{order_id % 4}表達(dá)的就是按訂單號(hào)對(duì)4取模落到4張表中。復(fù)合分片適合需要用兩個(gè)字段一起決定路由的場(chǎng)景比如先按用戶ID分庫(kù)再按訂單時(shí)間分表這時(shí)候需要實(shí)現(xiàn)一個(gè)自定義的復(fù)合算法類。HINT分片則是在SQL里完全不帶分片鍵時(shí)強(qiáng)制指定走哪個(gè)節(jié)點(diǎn)適合一些特殊的管理查詢。選算法時(shí)我的建議是能用取模就用取模模數(shù)按未來(lái)兩年數(shù)據(jù)增長(zhǎng)預(yù)估再留出一倍余量。按時(shí)間分片適合歸檔類數(shù)據(jù)比如按月分表然后定期把歷史表遷移到冷存儲(chǔ)按用戶維度分片適合C端應(yīng)用因?yàn)榻^大部分查詢都是圍繞某個(gè)用戶展開(kāi)的。記住一個(gè)要點(diǎn)分片鍵的選擇本質(zhì)上是和業(yè)務(wù)查詢模式強(qiáng)綁定的不是DBA隨便拍腦袋定的最忌諱的就是選了一個(gè)業(yè)務(wù)上根本不作為查詢條件的字段結(jié)果每條SQL都變成全路由廣播。2.3 綁定表與廣播表被低估的兩個(gè)配置分庫(kù)分表后跨節(jié)點(diǎn)JOIN是最讓人頭疼的問(wèn)題。比如t_order和t_order_item都按order_id分片如果分片規(guī)則完全一致那么應(yīng)該把兩個(gè)表配置成綁定表。綁定表的意思是兩個(gè)表在路由時(shí)會(huì)強(qiáng)制使用相同的分片路由結(jié)果t_order查了ds0.t_order_1t_order_item也只會(huì)去ds0.t_order_item_1查JOIN變成了單庫(kù)內(nèi)的普通JOIN不需要中間件做內(nèi)存聚合。廣播表則適合那些數(shù)據(jù)量很小、幾乎每個(gè)分片節(jié)點(diǎn)都需要用到的表比如字典表、配置表、省份城市表。這類表在每個(gè)物理庫(kù)里都存一份全量數(shù)據(jù)Proxy在寫(xiě)入時(shí)會(huì)自動(dòng)廣播到所有節(jié)點(diǎn)查詢時(shí)任選一個(gè)節(jié)點(diǎn)即可。配置方式是在rules里用!BROADCAST聲明兩張表之后應(yīng)用完全感知不到它的存在。這兩個(gè)配置看起來(lái)不起眼但在實(shí)際并發(fā)場(chǎng)景里作用極大。我看到過(guò)太多團(tuán)隊(duì)沒(méi)配綁定表結(jié)果一次本來(lái)很簡(jiǎn)單的聯(lián)表查詢被拆成幾十次子查詢中間件內(nèi)存被打爆然后懷疑Proxy性能不行的案例。歸根結(jié)底中間件不是萬(wàn)能加速器它只是在SQL路由上幫你做了正確的事數(shù)據(jù)分布設(shè)計(jì)不合理再好的中間件也救不回來(lái)。3. 實(shí)戰(zhàn)部署從下載到跑通第一條分片查詢3.1 環(huán)境準(zhǔn)備與安裝包選擇說(shuō)再多原理不如親手跑一次。這里我用一個(gè)模擬訂單場(chǎng)景來(lái)做實(shí)戰(zhàn)演示兩個(gè)物理庫(kù)ds0和ds1每個(gè)庫(kù)里有4張訂單表t_order_0到t_order_3通過(guò)Proxy對(duì)外暴露成一個(gè)邏輯庫(kù)sharding_db。操作系統(tǒng)準(zhǔn)備一臺(tái)Linux我這邊測(cè)試用的是CentOS 7其他主流發(fā)行版沒(méi)區(qū)別提前裝好JDK 8。因?yàn)镾hardingProxy本身是JVM進(jìn)程所有數(shù)據(jù)庫(kù)驅(qū)動(dòng)已經(jīng)內(nèi)置不需要額外裝客戶端。從ShardingSphere官網(wǎng)下載頁(yè)找最新穩(wěn)定版二進(jìn)制包如果本地沒(méi)有就直接用內(nèi)網(wǎng)鏡像包名大致是apache-shardingsphere-xxx-bin.tar.gz。這里提供一個(gè)選版本的原則不追求最新選已經(jīng)發(fā)布超過(guò)半年的穩(wěn)定版本社區(qū)的issue和坑基本都被踩平了文檔也最齊。解壓后目錄結(jié)構(gòu)很清晰bin目錄是啟停腳本conf目錄放所有配置lib目錄是各種依賴jar包。整個(gè)中間件的設(shè)計(jì)思路是“配置驅(qū)動(dòng)”你要改的一切都在conf下完成。我第一次部署時(shí)最不適應(yīng)的一點(diǎn)是它沒(méi)有一個(gè)交互式控制臺(tái)讓你敲命令建庫(kù)建表一切都要通過(guò)YAML配置來(lái)聲明改完重啟進(jìn)程生效。理解了這個(gè)模式之后反而覺(jué)得它適合自動(dòng)化運(yùn)維配完直接走配置管理流程發(fā)布即可。3.2 配置server.yaml賬號(hào)權(quán)限與全局參數(shù)conf/server.yaml是Proxy自身的基礎(chǔ)配置相當(dāng)于這個(gè)“虛擬數(shù)據(jù)庫(kù)”的全局總控。最核心的是用戶認(rèn)證信息這里決定了客戶端用哪個(gè)賬號(hào)密碼能連上來(lái)。rules: - !AUTHORITY users: - root%:root - sharding%:sharding provider: type: ALL_PERMISSIONS props: max-connections-size-per-query: 1 sql-show: true check-table-metadata-enabled: falseroot%:root的意思是用戶名root允許任意主機(jī)連接密碼是root。%表示來(lái)源IP不限生產(chǎn)環(huán)境建議改成具體網(wǎng)段。sql-show: true會(huì)把每條經(jīng)過(guò)Proxy的SQL打印到日志里排障時(shí)非常好用但生產(chǎn)環(huán)境建議關(guān)掉否則日志量會(huì)非??捎^。max-connections-size-per-query表示一次查詢最多允許在多少物理庫(kù)上同時(shí)執(zhí)行1表示每個(gè)查詢路由到單庫(kù)執(zhí)行如果路由到多庫(kù)則串行這個(gè)參數(shù)直接關(guān)系到并發(fā)和連接占用后面性能章節(jié)再展開(kāi)講。需要注意一個(gè)容易踩的坑如果下面想配合讀寫(xiě)分離還需要在server.yaml里配置!TRANSACTION類型的全局事務(wù)規(guī)則如果不想用分布式事務(wù)保持默認(rèn)即可。啟動(dòng)前可以先用bin/start.bat這個(gè)腳本在Windows環(huán)境做快速驗(yàn)證線上還是用bin/start.sh。3.3 配置config-sharding.yaml定義數(shù)據(jù)源和分片規(guī)則重頭戲在conf/config-sharding.yaml這里要定義邏輯庫(kù)、物理數(shù)據(jù)源、分片規(guī)則三大部分。先看數(shù)據(jù)源配置databaseName: sharding_db dataSources: ds0: url: jdbc:mysql://127.0.0.1:3306/demo_ds0?serverTimezoneUTCuseSSLfalse username: root password: root ds1: url: jdbc:mysql://127.0.0.1:3307/demo_ds1?serverTimezoneUTCuseSSLfalse username: root password: root注意兩個(gè)細(xì)節(jié)。一是連接串里的serverTimezoneUTC必填否則連接MySQL 8.x的時(shí)候會(huì)報(bào)時(shí)區(qū)錯(cuò)誤二是useSSLfalse內(nèi)網(wǎng)環(huán)境沒(méi)必要做SSL握手加了這個(gè)參數(shù)能省掉一層握手耗時(shí)。模擬環(huán)境里我會(huì)把ds0和ds1配置成兩個(gè)真正的MySQL實(shí)例如果只有一臺(tái)機(jī)器可以用兩個(gè)不同端口模擬。接著是分片規(guī)則這是整個(gè)配置的靈魂rules: - !SHARDING tables: t_order: actualDataNodes: ds$-{0..1}.t_order_$-{0..3} tableStrategy: standard: shardingColumn: order_id shardingAlgorithmName: t_order_inline keyGenerateStrategy: column: order_id keyGeneratorName: snowflake shardingAlgorithms: t_order_inline: type: INLINE props: algorithm-expression: t_order_$-{order_id % 4} ds_inline: type: INLINE props: algorithm-expression: ds$-{user_id % 2} defaultDatabaseStrategy: standard: shardingColumn: user_id shardingAlgorithmName: ds_inline這里解釋一下每一行的作用。actualDataNodes聲明了t_order這個(gè)邏輯表對(duì)應(yīng)的物理表位置ds$-{0..1}表示ds0和ds1兩個(gè)庫(kù)t_order_$-{0..3}表示每個(gè)庫(kù)里的4張物理表一共8張表。tableStrategy配置表級(jí)別的分片策略按order_id對(duì)4取模決定數(shù)據(jù)落在哪張物理表。defaultDatabaseStrategy配置庫(kù)級(jí)別的分片策略按user_id對(duì)2取模決定數(shù)據(jù)落在哪個(gè)物理庫(kù)。有個(gè)設(shè)計(jì)細(xì)節(jié)值得留意庫(kù)分片鍵我選了user_id而不是order_id。因?yàn)橛唵螆?chǎng)景里絕大部分查詢都是“查某個(gè)用戶的訂單”用user_id做庫(kù)分片能讓同一用戶的所有訂單都落在同一個(gè)物理庫(kù)后續(xù)查用戶訂單列表時(shí)只需要路由到一個(gè)庫(kù)不需要跨庫(kù)聚合。這是從業(yè)務(wù)查詢模式反推分片鍵的典型案例遠(yuǎn)比“隨便找個(gè)字段取?!币煽?。3.4 啟動(dòng)、建表、驗(yàn)證查詢配置寫(xiě)完后先確認(rèn)兩個(gè)物理庫(kù)里已經(jīng)建好對(duì)應(yīng)的物理表。ShardingProxy不會(huì)幫你自動(dòng)建表需要你提前在ds0和ds1中分別執(zhí)行建表SQL把所有t_order_0到t_order_3都建出來(lái)。很多新手在這里栽跟頭Proxy配置的是8張實(shí)際表結(jié)果物理庫(kù)里只有一張t_order一查就報(bào)“表不存在”。啟動(dòng)進(jìn)程cd /opt/shardingsphere/bin ./start.sh tail -f ../logs/stdout.log看到類似ShardingSphere-Proxy memory mode started successfully的日志說(shuō)明啟動(dòng)成功。默認(rèn)監(jiān)聽(tīng)3307端口這個(gè)設(shè)計(jì)是故意的就是為了避開(kāi)MySQL默認(rèn)的3306端口防止連錯(cuò)。如果用防火墻記得放行3307。然后用任意MySQL客戶端驗(yàn)證mysql -h127.0.0.1 -P3307 -uroot -proot進(jìn)入后執(zhí)行USE sharding_db再執(zhí)行一條插入和一條查詢。如果開(kāi)啟了sql-show你會(huì)在日志里看到Proxy自動(dòng)改寫(xiě)后的SQL比如INSERT INTO t_order ...被改寫(xiě)成對(duì)ds0下的t_order_1執(zhí)行這就是透明路由生效的證據(jù)。我第一次跑通時(shí)最深的感受是從外部看它就像一個(gè)安裝完就能用的MySQL完全不需要業(yè)務(wù)方理解后臺(tái)的復(fù)雜度。這種“低門檻接入”才是Proxy產(chǎn)品設(shè)計(jì)的核心價(jià)值。4. 讀寫(xiě)分離與分布式事務(wù)讓Proxy更貼近生產(chǎn)4.1 讀寫(xiě)分離配置與主從延遲問(wèn)題真實(shí)的業(yè)務(wù)系統(tǒng)基本不會(huì)只用一臺(tái)數(shù)據(jù)庫(kù)主從架構(gòu)是標(biāo)配。ShardingProxy在同一個(gè)配置體系里支持讀寫(xiě)分離。在config-readwrite-splitting.yaml里定義邏輯數(shù)據(jù)源把寫(xiě)庫(kù)和讀庫(kù)的關(guān)系告訴ProxydatabaseName: readwrite_splitting_db dataSources: write_ds: url: jdbc:mysql://127.0.0.1:3306/write_db username: root password: root read_ds_0: url: jdbc:mysql://127.0.0.1:3307/read_db username: root password: root rules: - !READWRITE_SPLITTING dataSources: readwrite_ds: writeDataSourceName: write_ds readDataSourceNames: - read_ds_0 loadBalancerName: round_robin loadBalancers: round_robin: type: ROUND_ROBIN使用的時(shí)候這個(gè)邏輯數(shù)據(jù)源readwrite_ds本身也可以繼續(xù)參與分片配置也就是說(shuō)讀寫(xiě)分離和分庫(kù)分表可以疊加使用。生產(chǎn)環(huán)境中常見(jiàn)的問(wèn)題是“主從延遲”寫(xiě)完主庫(kù)立刻去查數(shù)據(jù)還沒(méi)同步到從庫(kù)讀到舊數(shù)據(jù)。解決方案通常是在Proxy上層加一個(gè)強(qiáng)制路由提示或者業(yè)務(wù)層對(duì)剛寫(xiě)完的數(shù)據(jù)做特殊處理。ShardingProxy可以通過(guò)Slave選主庫(kù)強(qiáng)制走寫(xiě)庫(kù)執(zhí)行具體實(shí)現(xiàn)依賴SQL解析器的注釋透?jìng)髂芰?。我的建議是對(duì)一致性要求極高的場(chǎng)景不要依賴讀寫(xiě)分離走寫(xiě)庫(kù)最穩(wěn)妥報(bào)表、列表這類讀多寫(xiě)少的業(yè)務(wù)才適合把只讀流量打到從庫(kù)。4.2 分布式事務(wù)類型與取舍分庫(kù)分表之后跨庫(kù)事務(wù)是個(gè)繞不開(kāi)的坎。原來(lái)在單庫(kù)里的一條事務(wù)如果涉及到兩個(gè)物理庫(kù)普通的數(shù)據(jù)庫(kù)事務(wù)已經(jīng)無(wú)能為力了。ShardingProxy提供兩種方案XA事務(wù)和Seata柔性事務(wù)。XA是強(qiáng)一致的典型代表它的思路是事務(wù)管理器統(tǒng)一協(xié)調(diào)所有分片節(jié)點(diǎn)先預(yù)提交再統(tǒng)一提交保證要么全成功要么全失敗。配置方式在server.yaml里聲明事務(wù)類型為XA即可。XA的優(yōu)點(diǎn)是對(duì)業(yè)務(wù)透明接入成本低缺點(diǎn)是并發(fā)性能損耗比較大因?yàn)槭聞?wù)期間所有節(jié)點(diǎn)都要持有鎖等待協(xié)調(diào)者決定最終結(jié)果。Seata柔性事務(wù)則走的是最終一致路線業(yè)務(wù)上先做本地事務(wù)通過(guò)undo_log記錄反向操作遇到異常時(shí)反向補(bǔ)償回滾。Seata方案并發(fā)能力更強(qiáng)但需要額外部署Seata服務(wù)端同時(shí)業(yè)務(wù)代碼中需要引入相應(yīng)的注解配合。我個(gè)人的選型經(jīng)驗(yàn)是金融交易、賬戶類、庫(kù)存類這些強(qiáng)一致場(chǎng)景上XA寧可性能差點(diǎn)也不能出錯(cuò)積分、日志、通知這類可以容忍短暫不一致的場(chǎng)景上Seata吞吐量高得多。最理想的情況是盡量從業(yè)務(wù)設(shè)計(jì)上避免跨庫(kù)事務(wù)比如把強(qiáng)關(guān)聯(lián)的表按照相同分片鍵放在同一物理庫(kù)事務(wù)就退化為單庫(kù)事務(wù)這是最高效的“分布式事務(wù)優(yōu)化方案”。4.3 多分片鍵與自定義算法擴(kuò)展標(biāo)準(zhǔn)取模算法覆蓋了大多數(shù)場(chǎng)景但總有些業(yè)務(wù)需要更復(fù)雜的路由邏輯。比如訂單系統(tǒng)一天的數(shù)據(jù)量差異非常大大促期間可能是平時(shí)的幾十倍單純?nèi)∧?huì)導(dǎo)致每個(gè)分片數(shù)據(jù)不均衡。這時(shí)候可以自定義分片算法。ShardingProxy的擴(kuò)展機(jī)制基于SPI要做的是寫(xiě)一個(gè)Java類實(shí)現(xiàn)對(duì)應(yīng)的分片算法接口打成jar包放到lib目錄然后重啟Proxy。比如我可以實(shí)現(xiàn)一個(gè)結(jié)合“日期用戶ID末位”的復(fù)合分片算法每天的流量先按日分表再按用戶取模散到不同庫(kù)既能應(yīng)對(duì)大促擴(kuò)容單日表又能讓單日內(nèi)的數(shù)據(jù)分布均勻。這里要重點(diǎn)提醒自定義算法一旦上線后續(xù)想改路由邏輯會(huì)極其痛苦因?yàn)槔蠑?shù)據(jù)已經(jīng)按照舊規(guī)則分布了。所以自定義算法在正式啟用前務(wù)必做充分的容量估算和回放測(cè)試。任何分片算法上線后都做“只讀增加、不輕易修改”的原則。5. 性能調(diào)優(yōu)與連接管理心得5.1 連接數(shù)與并發(fā)參數(shù)來(lái)自一場(chǎng)壓測(cè)的教訓(xùn)之前幫一個(gè)團(tuán)隊(duì)做過(guò)一次壓測(cè)場(chǎng)景是模擬1000個(gè)并發(fā)用戶同時(shí)查訂單。上線前測(cè)試環(huán)境一切正常一上生產(chǎn)就頻繁報(bào)Too many connections。查下來(lái)才發(fā)現(xiàn)問(wèn)題出在Proxy和后端數(shù)據(jù)庫(kù)的連接數(shù)量匹配上。ShardingProxy本身面向每一個(gè)客戶端連接它還會(huì)根據(jù)SQL路由結(jié)果向后端數(shù)據(jù)庫(kù)發(fā)起連接。假如前端有100個(gè)連接每一條SQL同時(shí)路由到4個(gè)分片那么后端瞬間要建立400個(gè)連接。如果不限制max-connections-size-per-query后端數(shù)據(jù)庫(kù)的連接池直接被擊穿。我建議壓測(cè)前把max-connections-size-per-query設(shè)成1讓每個(gè)查詢路由到多個(gè)分片時(shí)串行執(zhí)行這樣后端連接數(shù)始終被控制在合理范圍。當(dāng)然這會(huì)犧牲一些查詢速度所以這個(gè)參數(shù)應(yīng)該在理解了“并發(fā)查詢數(shù)×單查詢節(jié)點(diǎn)數(shù)”的關(guān)系后根據(jù)后端數(shù)據(jù)庫(kù)能承受的連接總量來(lái)折中設(shè)置。后端MySQL的max_connections也要同步調(diào)大同時(shí)Proxy的JVM堆內(nèi)存建議至少給4-8G具體取決于路由聚合時(shí)的數(shù)據(jù)量。5.2 SQL解析開(kāi)銷與日志陷阱很多人問(wèn)Proxy會(huì)不會(huì)成為性能瓶頸答案是它確實(shí)有開(kāi)銷但比大多數(shù)人想象的小得多。SQL解析、路由計(jì)算、結(jié)果合并這些操作都是在JVM內(nèi)存中完成的單核處理幾萬(wàn)條簡(jiǎn)單SQL沒(méi)什么問(wèn)題。真正的性能殺手有兩個(gè)一個(gè)是大結(jié)果集跨分片合并另一個(gè)是日志。跨分片聚合排序這種SQL比如LIMIT ORDER BYProxy需要把每個(gè)分片查到的數(shù)據(jù)全部拉到中間件內(nèi)存排序后再返回前端。如果單頁(yè)數(shù)據(jù)量太大內(nèi)存會(huì)直接飆高。我遇到過(guò)一個(gè)案例一張表分片后沒(méi)做任何優(yōu)化前端做分頁(yè)查詢每頁(yè)100條但Proxy內(nèi)存持續(xù)不釋放原因是Proxy為了排序要把所有符合條件的數(shù)據(jù)都加載進(jìn)來(lái)。解決辦法是業(yè)務(wù)SQL加上明確的分片鍵條件讓路由收斂到單分片或者用NoSQL思路做寬表冗余避免跨分片聚合。日志問(wèn)題說(shuō)起來(lái)很基礎(chǔ)但很多人會(huì)中招sql-show: true在生產(chǎn)環(huán)境跑了一周發(fā)現(xiàn)日志文件幾個(gè)GB磁盤滿系統(tǒng)卡死。教訓(xùn)就是這個(gè)參數(shù)只適合聯(lián)調(diào)和測(cè)試環(huán)境生產(chǎn)必須關(guān)掉實(shí)在要監(jiān)控可以通過(guò)接入Prometheus和JMX監(jiān)控指標(biāo)來(lái)做。5.3 減少不必要的路由廣播可能遇到的另一個(gè)性能問(wèn)題是SQL里明明帶了分片鍵但Proxy還是做了全路由。有一次排查慢查詢發(fā)現(xiàn)SQL里的分片鍵被包在函數(shù)里了比如WHERE DATE_FORMAT(create_time, %Y-%m-%d) 2024-01-01雖然create_time是分片鍵但經(jīng)過(guò)函數(shù)處理后Proxy無(wú)法提取分片鍵值只能廣播到所有分片。這不是Proxy的bug而是SQL規(guī)范化帶來(lái)的天然限制。想讓路由精準(zhǔn)命中分片SQL里要“裸用”分片鍵中間不要套函數(shù)、不要做類型轉(zhuǎn)換。這是我多年實(shí)戰(zhàn)排障中反復(fù)驗(yàn)證過(guò)的規(guī)律屬于典型的“中間件替你干活但你得遵守它的規(guī)則”。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 啟動(dòng)失敗類端口、配置、驅(qū)動(dòng)端口被占用是最常見(jiàn)的啟動(dòng)失敗原因。ShardingProxy默認(rèn)3307端口如果被其他進(jìn)程占了啟動(dòng)日志會(huì)報(bào)Address already in use。檢查端口占用后要么殺掉舊進(jìn)程要么修改server.yaml里的port配置。配置語(yǔ)法錯(cuò)誤比端口問(wèn)題更隱蔽。YAML文件對(duì)縮進(jìn)極其敏感尤其是rules節(jié)點(diǎn)下的- !SHARDING這樣的標(biāo)簽少一個(gè)空格都會(huì)導(dǎo)致啟動(dòng)失敗。我習(xí)慣在本地用支持YAML校驗(yàn)的編輯器先格式化一遍再上傳能省下大量排錯(cuò)時(shí)間。MySQL驅(qū)動(dòng)不兼容是另一個(gè)高頻問(wèn)題。如果連的是MySQL 8.xProxy內(nèi)置的驅(qū)動(dòng)版本必須匹配否則會(huì)出現(xiàn)Unable to load authentication plugin caching_sha2_password之類的報(bào)錯(cuò)。解決辦法是把用戶認(rèn)證方式改成mysql_native_password或者升級(jí)Proxy到新版。PostgreSQL場(chǎng)景一般沒(méi)這個(gè)問(wèn)題驅(qū)動(dòng)內(nèi)置得比較完善。6.2 查詢報(bào)錯(cuò)類邏輯庫(kù)不存在、表不存在啟動(dòng)成功后客戶端連不上最常見(jiàn)的原因是連接時(shí)沒(méi)帶邏輯庫(kù)名。如果連接串寫(xiě)的是jdbc:mysql://127.0.0.1:3307/而不是/sharding_dbProxy不知道你要用哪個(gè)邏輯庫(kù)直接報(bào)錯(cuò)。這和原生MySQL不太一樣因?yàn)镻roxy可以同時(shí)掛載多個(gè)邏輯庫(kù)必須明確指定。查詢時(shí)報(bào)“表不存在”先確認(rèn)物理庫(kù)里是否真的建了對(duì)應(yīng)的物理表。Proxy只負(fù)責(zé)路由不負(fù)責(zé)幫你建表。我見(jiàn)過(guò)不止一次配置里寫(xiě)了t_order_$-{0..3}但物理庫(kù)只建了t_order_0一張表業(yè)務(wù)一查就炸。建議寫(xiě)一個(gè)初始化腳本把所有分片表一次性建好順便做一次遍歷校驗(yàn)。6.3 獨(dú)家避坑經(jīng)驗(yàn)配置生命周期與灰度切換最后分享一個(gè)我特別想強(qiáng)調(diào)的經(jīng)驗(yàn)ShardingProxy的配置變更至少在默認(rèn)內(nèi)存模式下是需要重啟進(jìn)程才生效的。重啟意味著所有在線連接會(huì)斷開(kāi)對(duì)生產(chǎn)業(yè)務(wù)來(lái)說(shuō)這是不可接受的。所以我的建議是把Proxy納入配置管理平臺(tái)變更時(shí)間窗選在業(yè)務(wù)低峰同時(shí)準(zhǔn)備好回滾版本。如果項(xiàng)目對(duì)可用性要求極高可以考慮ShardingSphere后續(xù)版本里支持的集群模式把配置放到注冊(cè)中心統(tǒng)一管理配合管理端做動(dòng)態(tài)生效。不過(guò)引入這個(gè)方案本身也增加了部署復(fù)雜度建議在資源允許的前提下再上。另外接入Proxy之前務(wù)必先在測(cè)試環(huán)境做一輪全量SQL兼容性測(cè)試重點(diǎn)覆蓋子查詢、多表JOIN、批量INSERT、分頁(yè)排序這四類SQL。它們是最容易觸發(fā)路由異常和結(jié)果合并bug的場(chǎng)景。把這個(gè)測(cè)試做扎實(shí)上線后至少能躲掉80%的坑。6.4 我常用的排障路徑遇到問(wèn)題我會(huì)按照“連接層→路由層→執(zhí)行層→合并層”的順序來(lái)定位。連接層看端口、賬號(hào)、防火墻路由層開(kāi)sql-show看改寫(xiě)后的SQL是否落在預(yù)期分片執(zhí)行層去物理庫(kù)手動(dòng)執(zhí)行改寫(xiě)后的SQL確認(rèn)物理庫(kù)本身沒(méi)問(wèn)題合并層看返回結(jié)果集是否和預(yù)期一致。這套路徑幫我解決過(guò)幾十個(gè)疑難問(wèn)題比亂猜高效得多。寫(xiě)到最后想補(bǔ)充的一句話ShardingProxy不是那種用完就能立刻感受到“快”的組件它的價(jià)值是讓分庫(kù)分表后的系統(tǒng)依然像一個(gè)普通數(shù)據(jù)庫(kù)一樣可被消費(fèi)。我在多個(gè)項(xiàng)目里體會(huì)最深的一點(diǎn)是中間件只是工具真正決定架構(gòu)成敗的是你對(duì)業(yè)務(wù)查詢模式的理解以及是否提前規(guī)劃好分片鍵、綁定表、廣播表和讀寫(xiě)分離的組合策略。先把這些基礎(chǔ)打牢再上手Proxy你會(huì)發(fā)現(xiàn)很多問(wèn)題不需要靠文檔看一眼配置就能想明白原因。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色色色色色热| 精品色色| 桃色Av色哟哟| 色五月激情五月开心五月| www.婷婷,com| 丁香五月手机在线| 青青草五月天| 热热色色五月天婷婷| 亚洲成人AV电影网| www.色婷婷.com| av在线超清中文| 五月激情综合网| 天天综合91入口| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 婷婷五月天电影在线| 能看的AV网站| 色婷婷88| 精品色情一区二区三区四区| 超碰免费人人| 丁香五月在线自慰| 99热这里只有精品5| 另类国产欧美视频| 欧美五月丁香| 二级黄色毛片| 丁香六月成人| 久热久操久热久草国产91| 婷婷综合色| 天天插天天插| 狠狠高潮精品亚洲1| 1024在线视频| 人人摸人人澡人人| 丁香五月自拍| www色五月天| 丁香六月婷婷社区| 伊人久久五月天综合| 性做久久久久久久免费看| 秋霞三级影视资源| 黄色毛片精品| 亚洲综合九九| 秋霞电影一级黄| 大香蕉九九| 国产日日操夜夜操的肉棒视频| 丁香六月婷婷久久亚洲天堂| 超碰久热| 噜噜狠狠色综无码久久合欧美| 91视频精品99| 丁香婷婷久久综合在线| 午夜九九电影| 成人一区在线观看| 色狠狠色| 丁香六月天婷婷开心综合| 伊人婷婷五月天| 91九色在线| 五月丁香六月情| 久久婷婷丁香六月天| 欧美色九| Aaa久久| 玖玖色综合| 天天摸色吧天天摸色吧| 精a品a视a频| 久久综合久色欧美综合狠狠| 精品99在线| 在线观看玖玖资源免费观看| 久久激情五月| 婷婷色影院| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 91免费看片| 久久小说| 丁香九月婷婷| 婷婷丁香亚洲色综合91| 精品,99| 色婷婷婷av| 成人av在线电影| 影音 五月 婷婷 久久| 亚洲热视频在线| 久久五月网| 丁香五月婷综合网| 99热网站| 丁香五月六月婷婷殴美综合| 狠狠色丁香久久久婷| 波多野结衣AV无码Porn| 色色色色色日韩午夜激情| 五月天婷婷综合| 六月 丁香 视频| 婷婷五月天大香蕉在线视频观看| 超碰97在线观看免费| 夜夜骑夜夜撸| 99无码视频| 亚州操操| 婷婷色五月激情强奸四射| 五月婷婷性爱网| 午夜成人片400| 五月天久久婷婷| 婷婷的色色五月天| 五月天伊人| 天天激情欧美美女| 丁香婷婷在线| 婷婷激情九月| 五月婷婷丁香六月| 九九九九国产| 九九在线这里只有精品视频| jiZZdr| 大香蕉婷婷久久| 激情网婷婷五月天| 97人人干人人操| 激情5月婷婷| 五月天激情小说网| 日日影院 | 伊人成综合五月婷婷| 狠狠色九月| 久久九九免费视频| av在线免费播放观看| 久久99草五月婷婷| 激情五月婷| 狠狠色五月激情| 丁香五月久久| 久热这里只有精品视频6| 天天插AV丝袜中| 久久色五月| 99自拍视频网站| 色播播五月天| www.com任你艹| 情欲综合网| 色五月婷婷影院| 色XX综合网| 夜夜爽天天| 婷婷久久午夜网| va中文资源在线观看| 亚洲久久婷婷丁香五月天| 五月丁香婷婷成人网| 日日夜夜狠狠操| 91九色欧美| 久久久99精品免费观看| 9久9久| 最新午夜理论片| 色播五月婷婷| 91se视频| 婷婷五月蜜桃成人桃色丁香| 亚洲精品大片| 欧美 日韩 人妻 高清 中文 | 五月婷婷六月激情网| 狠狠操性爱av| 狠狠爱综合| 开心五月深爱五月| 欧美久久久中文字幕| 99丁香五月婷| 婷婷六月婷婷| 天天色99| 国产精品视频网| 亚洲射激情| 色五月成人| 丁香五月中文字幕| 国产精品18久久久| 狠狠五月激情在线| 99热国产这里只有精品| 97操操操| 欧洲色色| 青草青草久热这里只有精品| 伊人激情啪啪| 伊人婷婷大香蕉| 色99在线观看| 激情综合九月| 97精品在线| 久操干| 丁香五月天的网址。| 91|疯狂丨高潮丨对白| 激情婷婷五月女| 婷婷五月在线观看| 婷婷五月天无码熟女| 色色色热| 5月丁香综合网| 色色无码| 69五月天视频| 色亭亭九月| 色5在线| 午夜精品久久久久久久爽| 乱女乱妇熟女熟妇综合网站| 色噜噜婷婷| 99热在线里有精品| 婷色五月天| 激情综合综合综合| 熟女人妻视频| 九九99热久久精品66中文字幕| 六月丁丁香| 狠狠色婷婷7777久| 亚洲经典三级| 思思热高清在线观看| 伊人久久综合| 超碰人人操人人干| 久久伊人9| 五月激激激情综合网| 婷婷丁香18| 激情五月色播五月| 欧美久久网| 五月婷婷丁香综合,亚洲天堂| 色婷久久| 色婷婷五月天激情在线播放| 91碰操| 九九热AV| 四月婷婷丁香五月| 熟女五月天久久综合| 久久久性爱视频| 丁香激情五月天| 久久婷婷五月综合色和| 丁香六月婷婷综合激情欧美| 91精品久久久久久久久久久久| 成人综合网站| 99在线观看| 久久丁香五月婷| 热99这里只是精品| 日本色99| 亚洲色图五月丁香| 日本人妻操| av国产精品| 超碰色综合| 天天情色综合网| 婷婷五月 丁香六月| 五月婷婷激情久久| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 香焦网五月天| 丁香五月激情网| 东京热人妻一区二区三区在线| 亚洲精品久久久无码| www.久久久久久久| 五月丁香六月婷婷久久肏| 丁香婷婷五月天网站| 色综合久久综合| 99精品国产在热久久| 色五月天堂| 天天做夜夜爽| 婷婷色五天| 婷婷五月蜜桃成人桃色丁香| 久久视这里只有精品| 九九热re99re6在线精品| 久久婷色| pom538精品视频| 九九色婷婷| 无码髙清| AAA亚洲AV| 五月天婷婷狂暴白浆| 丁香激情婷婷网| 丁香五月婷婷操逼| 五月婷婷激情五月| 夜夜大香蕉婷婷丁香| 噜噜干日本| 天天人人综合| 丰满少妇乱A片无码| 色婷丁香| 9一精品视频观看| 91综合色| 99色热视频| 亚洲四色五月| 久久亚洲婷婷| 午夜婷婷五月天| 丁香狠狠色婷婷| 99色综合| 99这里只有精品99| 99久99热| 色婷婷成人网| 婷婷天堂伊人| 五月天播播| 99热这里只有精品33| 婷婷色基地在线看| 六月婷婷色综合| www久久99com| 精品人妻在线| 超碰啪啪网| 久久机热/这里只有精品| 青青草婷婷久久| 亚洲激情亚洲激情| 天天日天天操天天干| 国产精品岛国片在线观看免费| 中文字幕av在线| 九九亚洲小视频| 色九月欧美| 99这里都是精品6| www.91有码.com| 久久99久久99久久99人受| 六月合五月婷| 婷婷五月视频| 6月丁香婷婷| 色情五月天视频网| 婷婷久久五月天丁香| 777精品久无码人妻蜜桃| ss99热| 人人操五月天| 免费无码毛片一区二区A片| 丁香六月激情| 五月天激情在线视频| 操笔无码| 五月天婷婷Av| site:901-07.com| 激情性爱婷婷| 久久久99精品免费观看| 无码人妻电影| 婷婷五月丁香六月| 色99在线视频| 久久精品亚洲一级牲爱综合| 深爱五月婷婷| 天天操天天操天天操| 日本99视频精品免费播放| 色色综合热| 丁香九色不卡aaa| 婷婷操超碰| 97资源欧美日韩大香蕉超碰一区| 丁香六月婷婷综合| 天天干天天色综合| 丁香婷婷影院| 深爱五月天| 亚洲综合另类| www.五月天| 涩五月婷婷| 丁香五月激情五月| 丁香五月婷婷六月| 久久婷婷视频| 秋霞免费视频| 99啪| 影音先锋女人AA鲁色资源| 亚洲日韩成人三级av| 亚洲成人AV高清字幕| 毛片九九九九九九九九18| 26uuu亚洲欧美| 狠狠色噜噜狠狠| 99精品免费| 色综合五月天| 97操| 嫩草综合网| 欧美亚洲婷婷五月| 久超超碰| 九九九AAA热视频| 97av在线视频| 亚州日本欧州韩美高青高潮一| 婷婷五月天激情综合深爱| AAA亚洲AV| 丁香五月色欲| 欧美激情综合色综合啪啪五月| 超碰精品国产首页| 天天拍夜夜爽日日| 六月丁香色婷婷| 97干97色| 91碰九色| 五月丁香激情深爱婷婷| 丁香九月激情| 正宗黄色毛片| 久久99成人性爱高清视频| 操骚货在线| 久久香蕉影院| 深爱婷婷基地| 激情五月天婷婷激情| 热这里| 91九色精品女同系列| 色婷婷五月综合| 日韩在线一级| 99这里是精品| 五月激情综合网| 国产SUV精品一区二区6| 99在线精品视频| 久99久热只有精品国产99| 99色婷婷视频| 激情五月婷婷丁香六月| 激情五月天婷婷五月天| 午夜成人片400| 91啪啪视频| 综合网啪啪| 色婷婷丁香香香蕉视频| 97碰碰碰免费公开在线视频| 99婷婷五月天| 色爱亚洲| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 九九热免费视频| 超碰男人色| 色 色 色综合com| 五月婷婷丁香网| 亚洲 在线 性爱 | 中文超碰视在线| 五月婷婷在线视频免费观看| 97操在线视频| 97操在线视频| 色99色| 亚洲精| 欧美 日韩 人妻 高清 中文| 成人欧美一区二区三区在线观看| 亚洲色网络| 丁香婷婷六月激情文学 | www.97干视频| 婷婷色五月开心五月| 99九九视频| 久久人人九| 97操在线资源| 97干欧美| 天天爽夜夜爽夜夜爽精| 亚洲午夜国产成人电影VA国产欧…| 激情婷婷六月| 国产亚洲av片| 91一起艹| 五月天快乐开心激情网| 欧美久久一级内射wwwwww.| 色五月视频,小说| 国产色色小草视频| 午夜激情婷婷| 玖玖在线资源视频| 婷婷丁香五月天激情四射| 五月色影院| 碰97久久| 天天日天天久久青青| 久久有码| 婷婷激情人妻| 国产成人精品亚洲线观看| 九九在线免费观看| 亚洲成人网站在线播放| 激情四射五月天| 天天干夜夜b| 五月婷婷综合性爱噜噜| 欧美日韩中文国产一区发布| 亚洲婷婷免费| 婷婷五月天最新综合你懂的 | 丁香六月激情综合| 丁香色婷婷| 蜜桃婷婷丁香| AV大香蕉| 欧美图片丁香五月天| 噜噜在线| 日婷婷| 丁香六月开心| WWW、日本色丁香、co m| caop在线视频| 永久精品| 人妻操在线看| 日本色色色| 日韩熟女啪啪视频| 精品一区二区三区免费毛片爱| 婷婷深爱五月丁香| 五月婷婷和六月| 色播五月天婷婷老师| 中文字幕日产A片在线看| 成人五月天丁香婷| 99热在线观看免费精品| 五月丁香在线国产| 五月丁香综合啪啪| 久久99久久久| 亚洲成人在线观看av| 久久性视频| 久久丁香五月天| 亚洲avjiujiur91| 影视av久久久噜噜噜噜噜三级| 成人做爰A片免费看视频| 色丁香五月| 丁香五月六月综合激情| 青青草视频福利| 思思热久久阴99| 九九干视频| 婷婷色偷拍| 97超级碰人人| 欧美熟女视频 色婷婷| 开心五月婷婷激情| 熟女网站久久| 色婷婷超碰| 97干网站| 色综合丁香婷婷| 激情小说五月欧美亚洲丁香| 丁香五月激情六月综合| www.minyis.com【JT】实力收量可预付TG@LXSPSW8 | 另类天堂| 97干干干丁香| 可以看的av| 丁香婷婷久久 | 久久久久久久久久久月丁| 色网五月婷婷| 婷婷五月精品| 婷婷五月天首页激情| 超碰在线免费观看3 9| 国产精品99久久久久久久女警| 欧美色五月| 九九热在线视频| 五月丁香六月综合激情| 丁香六月天| 91九色PORNY肉丝在线| 一起草AV入口| 亚洲岛国电影| 丁香婷婷性久久| 婷婷激情九月| 五月激情网五月综合网| 久久婷婷五月综合啪| 色婷婷五月综合网| 九九热99热| 热99这就是精品视频| 欧美五月丁香在线| 欧美激情五月天婷婷| 亚洲精品网站色视频| WWW.天天日| 丁香五月冃欧美| 97色色色色色| 久久婷丁香五月| 丁香色五月 97干| 91一起操| 久久婷婷五月天丁香| 久9精品| 大香蕉五月天婷婷| 深爱五月天天| 丁香五月最新地址| 五月婷婷综合在线| 五月天伊人久久| 亚洲综合久| 操笔无码| 成年人丁香五月| 五月天婷婷丁香| 欧美性猛交99久久久久99按摩| 综合久久8| 激情亚洲婷婷| 婷婷另类开心| 97人人操com| 婷婷五月色天| 天天射影院| 久久ri精品| 超碰人人射| 丁香五月,激情五月,深爱五月| 天天爱综合网| 97综合在线| 2015在线中文字幕| 超碰三级秋霞| 五月婷婷啪啪网| 爆乳熟妇一区二区三区四区| 婷婷五月花| 小视频一区| 婷婷五月天综合在线| 色色色在线观看| xxx综合在线| 五月丁香六月情| 一区二区三区四区牛| 婷婷丁香五月天综合网| 久久五月婷| 最近免费中文字幕大全高清大全1| www.99热这里精品| 五月草影视| 五月天激情美女久久| ′久久99一| 欧美va亚洲va在线播放| CHINESE熟女老女人HD视频| 国产精品人妻欲求不满| 狠狠干狠狠干| 91精品国产综合久久蜜芽解析速度| 337p大胆噜噜噜噜噜91Av| 婷婷五月天成人网站| 亚洲精品婷婷| 96精品久久久久久久久| 狠狠五月激情丁香六月| 91碰人人| 色天天综合| 青草视频在线播放| 99熟女| 国产免费一区二区在线A片视频| 一级内射毛片| 色五月五月丁香| 午夜性做爰电影| 天天日日夜夜爽| 天天插天天插天天插天天插| 一逼色综合| 久久婷色| 色婷婷五月天中文字幕| 9l视频自拍9l九色成人| 9 1 A v久久久| 。久久久久久久久久久久久久人妻| 日韩丰满少妇无码内射| 五月丁香亭亭成人电影| 亚洲视频一区| 日屌日日操日日色| 欧美69色| 天天日 天天草| 热婷婷av| 99色中文| 成人五月天综合网| 丁香婷婷色五月| 99久久久久久| 国产亚洲在线| 国产欧美婷婷五月| ..真实国产乱子伦对白在线_欧| 无码九九| 国产精品第一国产精品| www,com,五月色色| 婷婷五月天激情四射五月天激情| 91久久婷婷| 色婷婷五月天亚洲| 国产成人精品一区二三区熟女在线| www.minyis.com【JT】实力收量可预付TG@LXSPSW8 | 色婷婷成人色网| 五月丁香久久久| 欧美69色| 99在线精品免费视频| 五月天激情网址| 精品二区| 激情 婷婷| 这里只有精品99视频| 精品亚洲国产成AV人片传媒| 五月天婷婷永久免费视频| 久久九九激情五月天| 色婷婷久久综合中文久久一本| 99热这里只有精品1025| 午夜亚洲AV日韩无码| 日逼免费视频| 色婷婷www| 婷婷五月激情黄色| 99熟女啪啪视频| 天天干,天天舔| 在线sebiav精品视频| 99爱视频在线观看| 五月丁香色六月激情干大屄| 午夜天堂啪啪| AAA级久久久精品| 另类天堂| 一本色道久久综合狠狠躁小说| 伊人大香蕉在线视频| 国产亚洲在线| 亚洲激情久久| 六月婷婷网站| 超碰三级秋霞| 热五月婷婷| 久久久久五月丁香| 无码人妻AV久久久一区二区三区 | 伊人www22综合色| 国产精品久久在线观看技巧| 日韩啪图| 亚洲午夜在线视频| 亚洲无码99| 五月色综合网| 中文字幕久久一区二区三区| 天天射影| 26.uuu丁香五月婷婷| 色婷小说| 久久婷婷青青| 嫩草AV久久伊人妇女超级A| 欧美影院| 欧美婷婷精品激情| 欧美日韩AAAA| 亚洲综合色丁香婷婷六月| 婷婷五月丁香六月伊人网| 成人在线视频男人的天堂4399| 欧美日韩中文国产一区发布| 操99| 中文字幕视频在线播放| 日本色爽| 丁香 亚洲 久久| 成人开心五月天| 久久五月婷婷开心网| 99精品网站| 综合深爱五月| 五月婷婷狠狠干| 极品少妇婷婷五月| 久久九九免费视频| 99精彩视频| 午夜色丁香| 色婷婷丁香| 天天做天天爱综合| 真实亲子乱子伦高清在线观看| 另类激情五月| 亚洲无码九九| 丁香久久| 午夜五月天| 天天色天天爱天天爽| 五月天综合区| 美女妹子后射视频网站在线观看| 婷婷综合伊人丁香| 中文字幕婷婷五月天在线观看| 热久久国产视频| 综合五月网| α久久| 人色五月天婷婷| 99久热视频在线| 久久五月天激情| 日本97在线看片| 99se丁香| 中文AV在线观看| 六月丁香久久| 99视频这里只有免费精品| 日韩成人AV在线| 丁香五月婷婷啪啪啪| 狠狠做五月婷婷| 婷婷激情六月中文| 狠狠搞狠狠操| 99视频只有精品| 一区二区你懂的| 中文字幕不卡网站| 另类丁香综合| 99综合视频在线| 66精品成人免费网站在线观看| 色综合色综合网| 99热在线播放| www.婷婷六月天| 99婷婷综合| 99热在线网站| 久久婷婷啪啪视频| 天天综合干| 婷婷五月天激情网| 色婷婷亚洲婷婷| 婷婷五月欧美综合| 亚洲99综合| 色欲AV导航| 天天日天天插| 九九99男女视频在线观看| 干亚洲天堂| 啪到高潮激情丁香五月| 色九月婷婷| 伊人久久中文网| 久久人妻情侣| 天天草天天爽| 99国产欧美视频| 丁香五月婷婷性爱| AV网站免费在线| 丁香五月 性爱| 久热久色| 久9无码视频| 超碰在线50| 日本色噜| 久久久性爱视频| 色色色色色色色色色色色色色色,网站| 丁香五月婷婷深爱综合激情| 丁香五月六月激情久久| 亚洲日韩一页精品发布| 成久综合视频| 超碰av在线| 色爱爱综合网| 综合图区激情| 丁香五月手机在线| 激情婷婷五月| www婷婷| 久久99免费视屏| 啪啪激情网站| 99色在线视频| 色一区高清| 996热| 欧美婷婷丁香五月社区| 婷丁香五月天| Caoub青青超碰 | 丁香五月色激情| 偷偷狠狠久久婷婷五月天| 亚洲秘 无码一区二区三区妃光/1| 亚洲99热| 狠狠干狠狠干狠狠干狠狠干| 欧美久久婷婷| 久久大香蕉| 婷婷色九月| 婷婷午夜激情| 亚洲婷婷五月| 婷婷激情五月视频| 成人丁香婷婷| 一区二区三区XXXXXX| 色天五月天在线观看视频| 激情六月婷婷啪啪| 玖玖资源在线视频| 欧美日韩成人在线免费| 婷婷丁香九月| 色色五月天婷婷| 久久久这里有精品| 午夜理论片最新午夜理论剧| 日本va网站| 超碰在线免费观看日韩| 五月天精品综合| 色婷婷亚洲综合网站| 色高清无码视频| 五月天丁香啪啪网| 影音先锋91| 丁香五月天堂| 色婷婷性爱网| 丁香五月欧美| 亚洲国产精品成人免费一区久久久在线观看AAAA | 五月婷婷开心激情六月蜜桃| www.婷婷激情网.com| 国产精品色婷婷AV综合色色| 六月婷婷色色色| 久久久噜噜噜久久人妻| 五月丁香花激情综合网| 成人网站av免费网站推荐| 激情五月综合| 五月婷无码| 五月婷婷很很色| 亚洲久久激情| 九玖视频这里只有精品| 丁香99| 日本女人久久| 婷婷丁香高潮了| 综合激情在线观看| 大香蕉综合| 99热这里只有精品2| 日韩在线视频网站| 无码少妇高潮喷水A片免费| 色婷婷五月天在线观看| 大香蕉啪啪啪| 香蕉AV777XXX色综合一区| 影音先锋777xfplay色资源网站| 99色色爰| 日韩三及成人AV片| 伊人综合网站| 天天干天天干天天操| 天天色天天爱天天爱天天爱y| 九久9精品| 伊人热婷婷| 九九香蕉网| 天天日 天天草| www.日日日.com| 色吧五月婷婷| 天天日日| 天天爱天天做天天操| 久久婷婷五月免费视频| 六月婷婷七月丁香| 色九月| 九九热99视频| 丁香六月综合| 天天爽天天日天天舔| 激情的五月| 99在线精品观看99| 懂色av蜜臀av粉嫩av永陈冠希 | 久久综合婷婷激情| 欧美婷婷日本| AV网站免费在线| 大鸡巴伊人网| 五月丁香激情综合六月涩涩爱| 五月丁香免费视频| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 色碰碰视频| 国内熟女黄色系列| 亚洲亚洲人成综合网络| 久青操| 色色网站| 停停五月天激情网| 3p日韩网站视频| 99色色网| 丁香激情网| www久久99| 五月婷婷六月丁香首页| 成人在线免费网址| 欧美在线视频9| 久草婷| 精品少妇人妻AV无码专区偷人| 很很干天天干| 国外亚洲成AV人片在线观看| 丁香婷婷六月| 五月激情综| 五月激情婷婷丁香天堂| 久久亚洲天堂| 久久xxxx| 综合激情网五月激情| 五月天激日本色情在线| 国产精品久久99| 九九热re99re6在线精品| 亚洲人人操| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 婷婷五月天av小说| 五月婷婷9| 99青青草99| 激情久久网 | 天天免费日日夜夜夜夜| 天天情色五月天| 五月婷婷亚洲| 九热精品| 激情五月丁香五月| 日本黄色一级| 亚洲久久日| 成人精品在线| 久久99热 这里有精品| 久久人妻乱| 色五月91| 97色婷婷| 日本在线视频播放91| 先锋五月婷婷丁香草草| 爱性综合网| 婷婷丁香五月激情中文字幕版| 深爱1激情网| 超碰人人射| 中文字幕成人| 99久操视频| 国产在线黄色| 五月天开心色情网| 天天舔天天操| 任你草| 丁香婷婷综合喷| 九九热精品| 丁香五月欧美激情| 老司机伊人| 丁香五月九九| 深爱五月中文字幕| 人人操插| 丁香婷婷老熟女综合网| 97超碰人人操| 九九爱激情| 五月婷婷,六月丁香| 五月天婷婷丁香人人操91| 婷婷五月综合婷婷| 五月婷婷之婷婷| 狠狠精品干练久久久无码中文字幕| 五月婷婷欧美| 九九精品在线网| 六月婷婷激情| 久久丁香社| 欧美天天五月丁香免费观看| 五月婷婷自拍视频| 色色色com| 91操在线| 亚洲日韩26uuu| 五月婷婷丁香| 成人电影AV在线观看| 天天天添天天操| 99热免费观看| 色情丁香五月婷婷精品| 色五月激情| 婷婷色色亚洲| 夜夜天天天天天干天天爽| 色五月首页| AV动漫不卡无码免费| 婷婷99狠狠| 久久全色| 99热777| 色色综合网站| 婷婷五月四狠狠| 开心网五月色婷婷| 五月婷婷久久网| 狠色狠色综合久久| 亚洲成人AV高清字幕| 日本丁香五月婷婷| 色五月婷婷网| 人妻熟妇六区| 国产内射婷婷| 欧美综合丁香网| 淫视馆aV二区一区| www.婷婷| 五月丁香激情综合网| 色色影院aaaav| 免费做A爰片77777| 开心五月色婷婷综合开心网| 丁香五月婷婷国产av| 国产精品色色色色| 精品久久久久成人码免费动漫| 五月天自拍视频| 欧美婷婷色| 亚洲小说欧美激情| 1024成人免费看| 激情综合国产| 人人摸人人射| 日本3级片一区2区| 国产亚洲精品久久久久久牛牛| www久热com| 色情五月天。| 日本高清久久| 综合激情五月综合激情五月激情1| 五月天社区| 五月婷六月婷婷| 激情99| 丁香五月激情啪啪| 色婷婷六月性| 国内一级片| 亚洲操操操| 日本3级片偷拍网站| www99热| 五月婷婷九| 99热1| 操操操B| 婷婷性色| 最新热中文字幕| 色色丁香婷婷五月天| 日本一道久久| 丁香婷婷色| 久草大| 天天操屄网| 激情婷婷丁香五月天| 亚洲电影在线观看| 色五月激情| 激情五月com| 九热久| 久久久国产精品黄毛片| 日本色五月| 五月丁香六月色婷婷| 97久久久久| 久99在线| 另类视频在线| 五月丁香亚洲婷婷| 国产五月天激情小说| 无码人妻激情| www.wuyuetian啪啪| 亚洲在线综合| 日日夜夜天天爽| 色五月婷婷狠狠撸| 99久久97久久欧美综合网| 欧美婷婷| 五月丁香综合激情网| 婷婷五月六月激情| 国产成人网站在线观看| 91性人人| 超碰免费成人网站| 99视频内射三四| 另类激情首页| 天天日,天天射,天天舔| 激情五月网站| 欧洲不卡视频| 99小视频在线观看| 欧美三级视频| 五月丁香久久| 九九热最新视频| 大香蕉五月天| 91se在线观看| 婷婷激情性爱| 日韩成人影片在线观看| 丁香五月激情图片婷婷| AA片在线观看视频在线播放| 日韩无码成人电影| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 色情丁香五月天| 色狠狠五月天| 综合久久综合| 人人97碰| 狠狠色狠狠| 99久久久久久| 4399成人黄A片| 五月丁香亭亭操逼| 久草A片| 99操久久| 久久精品爱爱| 激情涩涩网| 五月婷婷伊人网| 激情五月天免费视频| 九九热10| 六月伊人婷婷| 六月色色综合| 亚洲性爱干干| 久久精品小视频| 久久成人人妻| 五月婷婷丁香五月 | 色情五月天丁香社区| 99九九在线观看免费| 色播婷婷大香蕉| 九九热精品99| 夜夜做天天爽| 婷婷五月六| 99热伊人| 五月丁香激情综合| 一本到不卡高清DVD| www.色五月| 东北黄色一级| 成人片在线播放| 亚洲色色在线| 婷婷五月天另类网站| 五月激情婷婷综合| 男妓跪趴把舌头伸进我的嘴巴| 久久久亚洲精品一区二区三区浴池| 热99视频精品在线| 久久五月天丁香花| 夜夜躁婷婷AV| 26uuu国产色| 五月天色区| 亚洲激情AV| 激情五月天婷婷播播久久综合91| 五月综合丁| 亚洲五月婷婷在线| 另类激情首页| 99亚州综合精品成人网| 亞洲自怕| 91人人澡人人爽人人看| 九九99精品视频| 午夜 外网 精品 在线| 五月婷婷|欧美| 99久久66综合| 久月婷婷| 99热这里全是精品| 激情五月小说婷婷| 日日操天天操| 久久总和99| 日韩av网址大全| 亚韩在线视频| 婷婷色色综合| 97人妻碰碰中文无码久热丝袜| 五月丁六月婷| 中文字幕在线日亚州9| 综合性爱网| 99免费视频网| 亚洲成人影视在线| 欧美又粗又大一区二区在线观看| 视频色色色色色色| 色婷婷先锋| 琪琪色五月婷婷老师| 五月丁香婷婷综合在线| 久久香蕉丁香| 婷婷新网址| 婷婷综合网在线| 五月婷婷色播| 黄色片精品| 六月婷婷在线视频| 欧美槡BBBB槡BBB少妇| 丁香五月婷婷AV| 色婷婷亚洲五月天| 99热传媒| 婷婷五月俺要去| 极品少妇XXXX精品少妇偷拍| 五月婷婷六月丁香免费| 99熟女视频| 91啪啪网| 五月 成人 婷婷| 亚洲碰碰碰| www热久久yy9| 亚洲欧美综合7777色亭亭| 99re在线这里只有精品视频首页| 精品国产AV色一区二区深夜久久| 狠狠干狠狠色| 伊人久久婷| 色九九丁香九月色九九色| 久久99免费视频| 97亚洲精品| 欧美激情综合色综合| 高清资源站日A美A欧亚…| 美女五月天婷婷| 99爱视频在线观看这里只有精品| 成人在线不卡| 色欲丁香| 97av在线视频| 久婷五月| 91chinese在线| 92久久| 91人人澡人人爽人人看| 五月天婷婷色色网| 视频一二区| 久色网址| 亚洲另类电影| 婷婷91| Av性爱网站| 99精品视频在线观看| 色天天综合色| 91操黄| WWW激情五月天| 激情婷婷激情在线不卡| 在热视频精品| 91九色无码内射| 99这里热| www.久久久久| 色色色热热热| 日本九九视频| 天天插夜夜爽| 婷婷桃色网| 香蕉综合在线| 丁香六月婷婷综合色| 99精品偷自拍| 婷婷六月视频| 亚洲网站999| 操操碰| www、色色色| AV网站免费在线| 欧美经典片免费观看大全| 乱色色色| 99婷五月| 婷婷视频网| Www.婷婷五月| 色优久久| 高清免费在线视频| 丁香九月婷婷| 丁香五月天天高清在线| 欧美噜噜噜草| 天天久久九九| 激情丁香五月| 欧美这里只有精品| 能看的av片| 天天色月| 高清国产一级婬片a免费| 天天日天天爽| 中文AV在线观看| 久热网站| 五月天天丁香婷婷在线中| 老师把我爽高潮了免费A片| 丁香五月激情五月| 97婷婷狠狠| 噜噜久| 亚洲狠狠婷婷综合久久久| 日韩狠狠色| 色播色丁香五月| 欧美成人猛片AAAAAAA| 99热手机在线精品| 草一草avb| 久色国产| 伊人国产婷婷五月天| 中文字幕成人| 日本色色网站| 亚洲正能量欧美| 亚洲视频一区| 91Chinese在线| 丁香六月婷婷久久综合| 俺去也五月| 天天视频亚洲| 日韩欧美一级大黄网站| 99久久精彩视频。| 欧韩性爱| 337p大胆噜噜噜噜噜91Av| 女高怪谈在线观看| 天天情色综合网| 欧美亚洲操逼| 六月天丁婷婷| 日本人妻丁香婷婷久久寝取熟女五月| 青青夜夜狠狠夜夜狠狠| 丁香婷婷六月激情文学 | 99热网精品| 婷婷五月天性色| 国产在线网| 婷婷五月在线观看| 任你草| 天天爽天天| 五月婷婷久久综合| 超碰在线免费| 97色色色| 婷婷中文字幕| 激情AV网| 丁香狠狠色婷婷久久无码视频| 骚逼视频一区2区| 9 9 9色色| 91视频精品99| 日韩婷婷五月| 婷婷五月天AV激情| 日日夜夜噜噜爽爽| 色五月丁香伊人五月| 天天爽天天爽| 色综合久| 男女啪啪做爰高潮无遮挡| 偷拍丁香九月激情| 欧美A片在线视频免费观看| 熟妇天天综合| 99免费偷拍视频| 在线资源av-超碰中文在线-成人AV| 在线另类视频| 天天日夜夜高潮| 日韩人妻操逼视频| 午夜电影网VA内射| 丁香婷婷色色| 久久爱婷婷| 久久激情视频| 伊人热在线大香蕉| 久热亚洲| 亚洲色爽| 色99网站| 在线观看av网站| 亚洲狠狠色丁香婷婷综合久久| www. 五月. com| wuyuedingxiang99| 婷婷五月综合激情免费视频| 日韩人妻在线观看| 粉嫩AV久久一区二区三区| 五月婷婷深深爱| 五月天停停成人网| 婷婷九九| 人操综合| 91操人视频| 久热这里只有精品在线观看 | 人人爽天天莫| 久狠日av| 欧美人妻一区二区| 国产精品久久久久久喷浆| 丁香五月婷婷偷拍| 五月天激情国产综合AV| 婷婷五月天久久久| 碰碰操91| 久久久五月婷婷| 五月婷婷激情综合| 五月婷天堂视频| 天天爽夜夜爽夜夜爽精| 久久五月婷婷丁香| 丁香五月婷婷高清| 五月丁香激情综合六月涩涩爱| 欧美六月| 日熟女| 99热官网精品在线| 五月久久丁香| 丁香五月婷婷色综合基地| 综合久久综合久久| 加勒比久热| 色五月婷婷啪啪五月|