欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

ClickHouse分布式查詢性能優(yōu)化:分片策略與集群配置實(shí)戰(zhàn)

ClickHouse分布式查詢性能優(yōu)化:分片策略與集群配置實(shí)戰(zhàn) 做ClickHouse運(yùn)維和開發(fā)這些年最常被問的問題不是“怎么安裝”而是“為什么我上了集群查詢反而變慢了”。明明節(jié)點(diǎn)一堆數(shù)據(jù)也放進(jìn)去了分布式查詢一跑就是幾秒甚至幾十秒排查到最后十有八九問題出在數(shù)據(jù)分片策略上。ClickHouse的分片設(shè)計(jì)直接影響分布式查詢能不能命中更少的節(jié)點(diǎn)、能不能減少網(wǎng)絡(luò)傳輸而這恰恰是很多人剛接觸集群時(shí)最容易忽略的部分。這篇文章就圍繞數(shù)據(jù)分片怎么定、分布式表怎么查、集群怎么配、坑怎么踩把ClickHouse分布式查詢性能這攤事講透。內(nèi)容適合正在規(guī)劃ClickHouse集群的架構(gòu)師、被線上慢查詢折磨的DBA也適合想系統(tǒng)理解分布式表原理的開發(fā)者。全文基于我實(shí)際運(yùn)維和壓測過的生產(chǎn)環(huán)境經(jīng)驗(yàn)給出的配置和排查思路都可以直接參考。1. 分片策略設(shè)計(jì)性能在寫入那一刻就決定了1.1 分片鍵選擇是分布式查詢性能的分水嶺很多人以為ClickHouse集群就是把數(shù)據(jù)均勻撒到每臺機(jī)器上查詢時(shí)全部節(jié)點(diǎn)一起算肯定比單機(jī)快。這個(gè)想法對了一半分布式查詢確實(shí)會(huì)并行下發(fā)到所有分片但“一起算”不代表“快”。查詢能不能裁剪到更少的分片取決于分片鍵和查詢條件的匹配程度。ClickHouse分片的原理很簡單寫入時(shí)按分片鍵的哈希值路由到某個(gè)分片查詢時(shí)分布式表會(huì)把SQL發(fā)到每個(gè)分片各分片算完一部分結(jié)果再匯總起來。如果分片鍵選得好查詢條件里帶了分片鍵那么查詢就可以只路由到少數(shù)幾個(gè)分片其他節(jié)點(diǎn)完全不參與速度自然快。如果分片鍵跟查詢條件對不上那就只能全量廣播到所有分片每個(gè)節(jié)點(diǎn)都掃一遍自己的數(shù)據(jù)中間結(jié)果還要通過網(wǎng)絡(luò)匯總性能必然暴跌。我見過一個(gè)典型案例一張用戶行為表按device_id做了哈希分片線上查詢卻幾乎都按app_version過濾結(jié)果每次查詢都廣播到全集群20個(gè)分片單次查詢掃描的數(shù)據(jù)量是實(shí)際需要的十幾倍。后來重建表的時(shí)候把分片鍵換成了app_version相關(guān)的字段雖然單個(gè)分片內(nèi)部的數(shù)據(jù)量不均衡了但查詢裁剪效果極其明顯P99延遲從3秒降到200毫秒。所以選擇分片鍵的第一原則盡量選擇高頻查詢條件里的等值過濾字段讓查詢能夠命中盡量少的分片。常見的可選方案有三種分片鍵方式數(shù)據(jù)分布查詢裁剪能力適用場景rand()最均勻冷熱均衡幾乎無法裁剪日志、事件流水等全量分析場景業(yè)務(wù)鍵哈希均勻可控按該鍵過濾時(shí)能裁剪用戶ID、訂單ID等強(qiáng)業(yè)務(wù)標(biāo)識低基數(shù)字段直接分片極不均勻按該字段過濾時(shí)命中精準(zhǔn)租戶、地域等隔離查詢場景有一類典型陷阱是用低基數(shù)字段直接做分片鍵比如按省份、按機(jī)房分片。表面上看每個(gè)分片對應(yīng)一個(gè)省份查詢單個(gè)省份時(shí)很爽但只要有一個(gè)省份的數(shù)據(jù)量是別的省份的十倍這個(gè)節(jié)點(diǎn)就會(huì)成為熱節(jié)點(diǎn)其他節(jié)點(diǎn)閑著它自己被拖垮。低基數(shù)字段更適合做WHERE里的過濾條件而不是分片鍵。如果業(yè)務(wù)查詢確實(shí)沒有固定維度比如純?nèi)罩痉治瞿怯胷and()也沒問題至少數(shù)據(jù)分布均勻。但這時(shí)候就要接受所有查詢都是全分片掃描集群的優(yōu)勢主要體現(xiàn)在CPU和磁盤并行上而不是智能裁剪上。1.2 分片數(shù)量與副本數(shù)量怎么定分片數(shù)量決定集群的擴(kuò)展粒度和查詢并行度。在ClickHouse里一個(gè)分片可以理解為一份數(shù)據(jù)的一個(gè)物理副本集合分片之間數(shù)據(jù)不重疊。分片數(shù)量通常由數(shù)據(jù)總量和單機(jī)處理能力決定。經(jīng)驗(yàn)值上單個(gè)副本的服務(wù)器建議配置不低于16核CPU、64GB內(nèi)存數(shù)據(jù)量在單機(jī)1TB到5TB之間比較舒服。如果總數(shù)據(jù)量是20TB那8個(gè)分片左右是底線加上磁盤冗余和查詢并發(fā)10到12個(gè)分片更穩(wěn)妥。分片太少會(huì)導(dǎo)致單節(jié)點(diǎn)壓力大分片太多則協(xié)調(diào)節(jié)點(diǎn)合并結(jié)果的開銷變大小查詢也可能被放大成大規(guī)模并行任務(wù)。副本數(shù)量的選擇也很關(guān)鍵。ClickHouse的副本默認(rèn)依賴ZooKeeper或ClickHouse Keeper進(jìn)行元數(shù)據(jù)同步副本不是越多越好。生產(chǎn)環(huán)境我一般建議一個(gè)分片至少2個(gè)副本保證節(jié)點(diǎn)宕機(jī)時(shí)查詢不受影響。副本數(shù)量超過3個(gè)后收益會(huì)明顯遞減反而增加了ZooKeeper的通信壓力。如果一個(gè)分片的副本間數(shù)據(jù)完全一樣寫入時(shí)需要注意internal_replication這個(gè)配置它設(shè)置為true時(shí)分布式表只向該分片的一個(gè)副本寫入由集群內(nèi)部同步到其他副本設(shè)置為false時(shí)分布式表會(huì)向該分片的所有副本各自寫入適合底層存儲不支持自動(dòng)復(fù)制的場景。從性能角度說查詢時(shí)分布式表會(huì)優(yōu)先選擇一個(gè)本地副本prefer_localhost_replica默認(rèn)開啟這樣當(dāng)前節(jié)點(diǎn)如果正好持有數(shù)據(jù)就不用走網(wǎng)絡(luò)。對多副本集群這個(gè)默認(rèn)行為能省不少內(nèi)網(wǎng)帶寬。1.3 分區(qū)和分片不是一回事別再搞混這是新手最容易混淆的兩個(gè)概念。分片解決的是“數(shù)據(jù)存在哪臺機(jī)器上”的問題分區(qū)解決的是“一塊數(shù)據(jù)在單臺機(jī)器內(nèi)怎么組織”的問題。分片是集群維度分區(qū)是表內(nèi)維度。比如說一張訂單表按order_id哈希分片到3臺機(jī)器每臺機(jī)器上的本地表又按toYYYYMM(create_time)做了月度分區(qū)。查詢的時(shí)候分布式表先通過分片鍵裁剪到命中節(jié)點(diǎn)節(jié)點(diǎn)內(nèi)部再通過分區(qū)裁剪跳過無關(guān)月份的數(shù)據(jù)。兩套機(jī)制是疊加生效的缺一不可。很多慢查詢優(yōu)化的第一刀不是加索引而是核對分片和分區(qū)是否都做到了裁剪。著名的經(jīng)驗(yàn)法則是如果查詢掃描的分區(qū)數(shù)量從12個(gè)降到1個(gè)往往比加索引更有效。分區(qū)字段一般選擇時(shí)間天、月、年配合TTL還能自動(dòng)清理過期數(shù)據(jù)這屬于另一塊大話題但和分片策略是配合使用的。2. 分布式表查詢機(jī)制與性能要點(diǎn)2.1 Distributed表引擎的寫入與查詢路徑分布式表引擎為Distributed本身不存儲任何數(shù)據(jù)它只是一個(gè)路由層。寫入時(shí)分布式表根據(jù)分片鍵計(jì)算出目標(biāo)分片把數(shù)據(jù)異步轉(zhuǎn)發(fā)給對應(yīng)節(jié)點(diǎn)上的本地表。查詢時(shí)分布式表把SQL改寫后下發(fā)到所有需要參與的分片各分片的本地表執(zhí)行完局部查詢再把結(jié)果返回給發(fā)起節(jié)點(diǎn)由發(fā)起節(jié)點(diǎn)做最終聚合、排序、LIMIT等操作。這套機(jī)制決定了分布式查詢的性能瓶頸通常不在計(jì)算而在兩個(gè)地方一是網(wǎng)絡(luò)傳輸量二是發(fā)起節(jié)點(diǎn)的合并開銷。比如一個(gè)大查詢每個(gè)分片返回幾百萬行中間結(jié)果匯聚節(jié)點(diǎn)要先把這些結(jié)果全部收進(jìn)來再排序內(nèi)存壓力極大。理解這個(gè)路徑之后很多優(yōu)化手段就順理成章了。首先盡量讓W(xué)HERE條件能夠下推到分片內(nèi)部執(zhí)行不要等所有數(shù)據(jù)匯到協(xié)調(diào)節(jié)點(diǎn)再做過濾其次LIMIT條件也會(huì)下推分片內(nèi)先各自截?cái)嗫梢源蠓鶞p少傳輸量再次ORDER BY同樣會(huì)下推各分片局部排序后再合并協(xié)調(diào)節(jié)點(diǎn)的壓力會(huì)小很多。還有一點(diǎn)容易被忽略分布式表查詢每個(gè)分片使用的連接數(shù)默認(rèn)是max_threads如果查詢并發(fā)高每個(gè)節(jié)點(diǎn)打開的連接數(shù)會(huì)非常多。適當(dāng)控制查詢并發(fā)和分片數(shù)比盲目擴(kuò)容分片更實(shí)際。2.2 GLOBAL JOIN為什么能救命又能害人分布式表上做JOIN是ClickHouse的經(jīng)典痛點(diǎn)。普通JOIN在分布式表上的行為是每個(gè)分片執(zhí)行查詢時(shí)發(fā)現(xiàn)自己需要關(guān)聯(lián)的數(shù)據(jù)在別的分片就會(huì)去遠(yuǎn)端拉取結(jié)果產(chǎn)生近似于NMFN倍網(wǎng)絡(luò)放大的效果。分片越多放大越嚴(yán)重很多分布式慢查詢就是這么來的。GLOBAL JOIN的原理是先把右表的數(shù)據(jù)全部拉到協(xié)調(diào)節(jié)點(diǎn)做成一個(gè)全局哈希表再把這個(gè)哈希表分發(fā)到每個(gè)參與查詢的分片。這樣每個(gè)分片只需要一次本地哈希查找網(wǎng)絡(luò)傳輸次數(shù)被限制住了。GLOBAL JOIN不是銀彈。它要求右表數(shù)據(jù)量足夠小能放進(jìn)內(nèi)存哈希表。如果右表是幾億行的分布式大表做GLOBAL JOIN會(huì)把協(xié)調(diào)節(jié)點(diǎn)直接打爆。更合理的做法是先把右表在本地節(jié)點(diǎn)物化成一張聚合后的緊湊表再用于關(guān)聯(lián)?;蛘呤褂肎LOBAL IN加子查詢配合子查詢內(nèi)的聚合減少數(shù)據(jù)傳輸量。實(shí)際經(jīng)驗(yàn)在千萬級用戶維表關(guān)聯(lián)場景下GLOBAL JOIN配合右表按分片鍵預(yù)先分布能獲得接近單機(jī)的性能但如果右表數(shù)據(jù)量過億就必須考慮改用字典表或者預(yù)聚合純SQL層面的JOIN優(yōu)化空間已經(jīng)不大了。2.3 分布式查詢的幾個(gè)關(guān)鍵參數(shù)參數(shù)作用我的建議prefer_localhost_replica查詢優(yōu)先命中本機(jī)副本默認(rèn)開啟不要關(guān)optimize_skip_unused_shards對分片鍵做等值過濾時(shí)跳過無關(guān)分片建議開啟前提是分片鍵與查詢條件匹配load_balancing多副本時(shí)選擇查詢副本的策略random或nearest_hostname均可max_threads單查詢并發(fā)線程數(shù)根據(jù)CPU核數(shù)調(diào)整不要盲目拉高max_memory_usage單查詢最大內(nèi)存分布式聚合場景務(wù)必設(shè)置合理上限optimize_skip_unused_shards這個(gè)參數(shù)很多人不知道。它開啟后如果查詢的WHERE條件里包含了分片鍵的等值表達(dá)式協(xié)調(diào)節(jié)點(diǎn)可以在下發(fā)查詢前就判斷出只需要訪問哪幾個(gè)分片其他分片完全不喚醒。對分片數(shù)量多的集群這個(gè)優(yōu)化效果非常明顯。還有個(gè)小技巧如果集群里所有節(jié)點(diǎn)查詢都會(huì)命中本地副本可以開啟allow_experimental_parallel_reading_from_replicas新版中已經(jīng)改名或成為默認(rèn)讓一個(gè)查詢同時(shí)并發(fā)讀取同一個(gè)分片的多個(gè)副本每個(gè)副本只讀一部分?jǐn)?shù)據(jù)這個(gè)特性在單分片性能吃緊時(shí)很管用。3. 從零搭一個(gè)三節(jié)點(diǎn)ClickHouse集群并驗(yàn)證分片效果3.1 配置文件與網(wǎng)絡(luò)規(guī)劃紙上談兵說再多不如跑一個(gè)最小集群。我用三個(gè)節(jié)點(diǎn)ch01、ch02、ch03搭建一個(gè)3分片集群每節(jié)點(diǎn)只部署一個(gè)分片的一個(gè)副本總分片3總副本3。這套方案足夠驗(yàn)證分片策略對查詢性能的影響也方便后續(xù)擴(kuò)展。ClickHouse的集群定義在config.xml的remote_servers段生產(chǎn)環(huán)境一般單獨(dú)抽成metrika.xml引入。關(guān)鍵配置如下clickhouse remote_servers clickhouse_cluster shard replica hostch01/host port9000/port /replica /shard shard replica hostch02/host port9000/port /replica /shard shard replica hostch03/host port9000/port /replica /shard /clickhouse_cluster /remote_servers macros shard01/shard replicach01/replica /macros /clickhousemacros段非常重要它讓分布式DDL可以在所有節(jié)點(diǎn)上自動(dòng)替換成對應(yīng)的本地宏變量建表、刪表就不需要逐節(jié)點(diǎn)手工執(zhí)行了。三個(gè)節(jié)點(diǎn)的macros分別寫成01/ch01、02/ch02、03/ch03。集群建好后用一條SQL確認(rèn)連通性SELECT hostName() AS node, count() FROM cluster(clickhouse_cluster, system.one) GROUP BY node;能返回三條記錄說明集群網(wǎng)絡(luò)層已經(jīng)打通。3.2 建表與分片效果驗(yàn)證建一張分布式表和對應(yīng)的本地表。本地表負(fù)責(zé)實(shí)際存儲分布式表用來路由。兩條DDL都通過ON CLUSTER下發(fā)保證集群內(nèi)所有節(jié)點(diǎn)執(zhí)行一致。-- 本地表 CREATE TABLE user_events_local ON CLUSTER clickhouse_cluster ( user_id UInt64, event_time DateTime, event_type String, amount Decimal(18,2) ) ENGINE MergeTree() PARTITION BY toYYYYMM(event_time) ORDER BY (user_id, event_time); -- 分布式表 CREATE TABLE user_events_dist ON CLUSTER clickhouse_cluster AS user_events_local ENGINE Distributed( clickhouse_cluster, default, user_events_local, cityHash64(user_id) );寫入測試數(shù)據(jù)時(shí)分布式表會(huì)自動(dòng)根據(jù)cityHash64(user_id)分流到對應(yīng)分片。如果想驗(yàn)證數(shù)據(jù)分布是否均勻可以用下面的SQL查看每個(gè)節(jié)點(diǎn)各自處理的行數(shù)SELECT hostName() AS node, count() AS rows FROM user_events_dist GROUP BY node ORDER BY node;由于user_id本身是一個(gè)分布均勻的字段三個(gè)節(jié)點(diǎn)的行數(shù)應(yīng)該非常接近。再看另一種情況如果把分片鍵換成event_type這種基數(shù)很低的字段三者行數(shù)就可能出現(xiàn)嚴(yán)重傾斜。實(shí)際測試時(shí)我曾經(jīng)往一張按月份字符串分片的表里灌數(shù)據(jù)結(jié)果70%的數(shù)據(jù)全落在同一個(gè)節(jié)點(diǎn)上分布式集群活生生用成了單機(jī)。建表之后建議順手驗(yàn)證一下optimize_skip_unused_shards的效果把三層配置文件里optimize_skip_unused_shards1/optimize_skip_unused_shards打開然后分別執(zhí)行不帶分片鍵過濾和帶分片鍵過濾的同一條聚合查詢觀察system.query_log里的read_rows和read_bytes。帶分片鍵過濾的查詢掃描行數(shù)應(yīng)該會(huì)明顯下降這驗(yàn)證了分片裁剪在實(shí)際查詢中確實(shí)生效。3.3 性能驗(yàn)證思路單節(jié)點(diǎn) vs 分布式我在驗(yàn)證分片效果時(shí)通常會(huì)在同一份數(shù)據(jù)上做三組對比本地表查詢、分布式表全掃描、分布式表按分片鍵裁剪。對比指標(biāo)只看兩個(gè)掃描行數(shù)read_rows和總耗時(shí)。一組典型的對比結(jié)果是這樣的10億行數(shù)據(jù)3節(jié)點(diǎn)集群查詢方式掃描行數(shù)耗時(shí)單節(jié)點(diǎn)本地表全表聚合10億8.2s分布式表全分片聚合10億2.9s分布式表按分片鍵過濾聚合約333萬0.4s分布式表全分片聚合只比單節(jié)點(diǎn)快約三倍這符合三節(jié)點(diǎn)并行的預(yù)期。按分片鍵過濾后由于裁剪掉兩個(gè)分片掃描量下降兩個(gè)數(shù)量級耗時(shí)自然大幅縮短。這說明分片鍵和查詢條件的匹配程度對性能影響遠(yuǎn)比“集群多不多”更大。如果手里沒有現(xiàn)成的ClickHouse環(huán)境可以用以下方式模擬在本地寫一個(gè)簡單的Python腳本插入100萬行user_id均勻的測試數(shù)據(jù)然后用三種不同的分片鍵分別建表對比。實(shí)踐下來這個(gè)過程中的體驗(yàn)比看任何文檔都深刻。4. 典型故障排查與部署經(jīng)驗(yàn)4.1 重啟報(bào)錯(cuò)“failed to flush system log already exists”怎么辦這個(gè)話題在社區(qū)里搜的人非常多幾乎每個(gè)經(jīng)歷過ClickHouse異常重啟的人都見過類似日志。報(bào)錯(cuò)原因是ClickHouse重啟時(shí)需要把系統(tǒng)日志表system.query_log、system.query_thread_log等flush到磁盤但元數(shù)據(jù)發(fā)現(xiàn)某些日志表已經(jīng)存在發(fā)生沖突導(dǎo)致啟動(dòng)流程中斷。常見誘因有三個(gè)異常kill導(dǎo)致日志表數(shù)據(jù)文件不完整、多副本節(jié)點(diǎn)同時(shí)操作了系統(tǒng)表、或者手動(dòng)改過system庫的表結(jié)構(gòu)。處理思路分為兩步。第一步嘗試通過SQL清理日志表前提是實(shí)例能起來SYSTEM FLUSH LOGS; TRUNCATE TABLE system.query_log; TRUNCATE TABLE system.query_thread_log; TRUNCATE TABLE system.trace_log;如果實(shí)例已經(jīng)起不來可以先用臨時(shí)配置禁用系統(tǒng)日志表把query_log、trace_log、query_thread_log等配置項(xiàng)臨時(shí)置為removetrue/remove或用空配置覆蓋讓實(shí)例跳過系統(tǒng)表的初始化直接啟動(dòng)然后清理舊日志表再恢復(fù)原配置重啟。更穩(wěn)妥的做法是在config.xml里對系統(tǒng)日志表加上engineEngine MergeTree/engine或使用Buffer時(shí)注意刷盤策略減少異常重啟時(shí)日志表文件損壞的概率。關(guān)鍵教訓(xùn)是不要隨意DROPsystem庫下的表這些表和系統(tǒng)表引擎強(qiáng)關(guān)聯(lián)處理不當(dāng)會(huì)導(dǎo)致更多元數(shù)據(jù)不一致問題。還有一個(gè)容易被忽略的點(diǎn)如果集群里多副本共用同一個(gè)system.path也就是數(shù)據(jù)目錄被多個(gè)實(shí)例共享也會(huì)觸發(fā)類似報(bào)錯(cuò)。確認(rèn)每個(gè)節(jié)點(diǎn)數(shù)據(jù)目錄獨(dú)立是避免這類問題的基礎(chǔ)前提。4.2 Windows、銀河麒麟等環(huán)境下的部署體驗(yàn)說到部署很多人會(huì)在Windows上想當(dāng)然地跑ClickHouse服務(wù)端。官方長期并不提供Windows原生服務(wù)端支持Windows下常見的做法是WSL2或Docker。WSL2跑ClickHouse做學(xué)習(xí)驗(yàn)證是沒問題的但性能損失明顯而且Windows文件系統(tǒng)和Linux文件系統(tǒng)之間的IO語義差異可能導(dǎo)致意外損壞生產(chǎn)環(huán)境千萬不要這么干。銀河麒麟這類國產(chǎn)系統(tǒng)上部署ClickHouse思路和CentOS/RHEL類似核心是離線安裝包。ClickHouse官方提供tgz離線包解壓后配置好環(huán)境變量和systemd服務(wù)即可。有幾個(gè)細(xì)節(jié)需要注意下載包時(shí)選擇與操作系統(tǒng)架構(gòu)匹配的版本x86和ARM的二進(jìn)制不能混用離線安裝時(shí)提前準(zhǔn)備好libicu等動(dòng)態(tài)庫依賴另外單機(jī)二進(jìn)制方式啟動(dòng)時(shí)clickhouse-server會(huì)自動(dòng)探測CPU指令集個(gè)別老CPU上啟動(dòng)會(huì)報(bào)非法指令解決辦法是換用兼容版本或在編譯參數(shù)上調(diào)整。銀河麒麟上部署我還踩過一個(gè)包管理器源沖突的坑卸載舊版本時(shí)殘留了/etc/clickhouse-server下的配置目錄導(dǎo)致新版本起不來。卸載后務(wù)必確認(rèn)配置目錄和/var/lib/clickhouse數(shù)據(jù)目錄完全清理干凈再重裝。4.3 數(shù)據(jù)傾斜的發(fā)現(xiàn)與緩解分片數(shù)據(jù)傾斜是分布式集群的頭號性能殺手。傾斜的發(fā)現(xiàn)辦法很簡單用分布式表按節(jié)點(diǎn)分組統(tǒng)計(jì)行數(shù)、字節(jié)數(shù)、分區(qū)數(shù)對比差異。也可以在system.parts表上按hostName()和partition_id聚合看得更細(xì)。SELECT hostName() AS node, sum(bytes_on_disk) AS total_bytes FROM cluster(clickhouse_cluster, system.parts) WHERE active 1 GROUP BY node ORDER BY total_bytes DESC;如果某個(gè)節(jié)點(diǎn)的磁盤用量是其他節(jié)點(diǎn)的兩倍以上基本可以斷定分片鍵選擇存在傾斜問題。緩解傾斜需要區(qū)分是“鍵本身傾斜”還是“數(shù)據(jù)隨時(shí)間自然傾斜”。鍵本身傾斜比如按租戶ID分片但租戶體量差異巨大最有效的手段是引入復(fù)合分片鍵。生產(chǎn)上我常用的一種方案是cityHash64(concat(tenant_id, _, cityHash64(user_id))) % shards_num這樣既保留租戶維度的部分親和性又避免單個(gè)租戶壓垮單個(gè)節(jié)點(diǎn)。如果業(yè)務(wù)上做不到可以在應(yīng)用層按租戶大小打散后再寫入。數(shù)據(jù)隨時(shí)間自然傾斜例如歷史數(shù)據(jù)集中在一段時(shí)間段跨節(jié)點(diǎn)后某些分片存儲被塞滿這種情況更適合用ALTER TABLE ... MOVE PARTITION把部分分區(qū)從熱節(jié)點(diǎn)遷移到冷節(jié)點(diǎn)。ClickHouse支持跨分片移動(dòng)分區(qū)到任意節(jié)點(diǎn)的本地表實(shí)現(xiàn)手工再平衡。不過要提醒一句傾斜一旦寫入就很難自動(dòng)恢復(fù)重建表是成本最低的糾正手段。在數(shù)據(jù)量可控的時(shí)候重新建表、分片鍵優(yōu)化、重新灌數(shù)往往比重做搬遷邏輯更省心。最后分享兩個(gè)實(shí)操體會(huì)第一個(gè)體會(huì)是分片鍵和查詢條件的匹配比集群規(guī)模重要得多。一個(gè)分片鍵設(shè)計(jì)合理的3節(jié)點(diǎn)集群性能往往好過一個(gè)分片鍵糟糕的10節(jié)點(diǎn)集群。規(guī)劃ClickHouse集群時(shí)先想清楚線上查詢會(huì)按什么字段過濾再?zèng)Q定怎么分片順序不要反。第二個(gè)體會(huì)是分布式查詢性能瓶頸多數(shù)在網(wǎng)絡(luò)傳輸和匯總開銷而不是單節(jié)點(diǎn)計(jì)算能力。所以做性能測試時(shí)不要只盯單條SQL的執(zhí)行計(jì)劃還要觀察system.query_log里的read_bytes、memory_usage、result_rows這三個(gè)字段它們能直觀反映查詢是否走了最優(yōu)路徑。ClickHouse這種工具配置項(xiàng)再多也不可怕關(guān)鍵是找到真正影響性命的那幾個(gè)開關(guān)然后持續(xù)用數(shù)據(jù)說話。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月综合激情网| 99久.| 色色色.COM| 亚洲第二AV| 亚洲第一黄网| 日日天天干| 五月丁香久久网| 伊人婷婷五月天| 99热在线观看免费| j久久性爱视频| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 97在线视频人妻九色| 亚洲99综合| 天天爽天天爽| 中文字幕 中文字幕明步| 五月婷综合性中心| 五月丁香婷婷爱激情综合网| 五月丁香六月婷婷视频| 婷婷激情肏屄网| 婷婷六月成人| 大香蕉220| 婷婷午夜精品久久久| 国产日批视频| 凹凸7777操操操| 182tv992tv人之初午夜免费观看| 国产精品第一国产精品| 99热久| 人人噜天天上| 日本九九热| 婷婷九九视频| 日韩一级淫乱片一区二区三区| 成人 视频免费观看网站| 婷婷中文字幕版| 国产44页| 最新日韩久热免费视频看看| 香蕉99网| 久久五月婷综合网| 丁香,开心成人,久久| 91一起操| 五月丁香六月在线| 91超级碰碰碰| 最近中文字幕在线中文视频| 成人精品视频99在线观看免费| 久久99精品久久久久久三级| 久久久免费精彩视频| 五月色丁香国产在线视频| 色欲九区| 桃色五月婷婷| 在线VA视频| 亚洲区,视频区,视频区免费| 99视频久久免费视频| 91啪啪啪啪| 亚洲中文字幕在线观看| 黄桃AV无码免费一区二区三区| 另类在线| 色五月天综合网| 六月丁香av| 五月婷婷综合精品| 丁香久月| 亚洲操操| 国产成人精品一区二区三区视频| 99视频| 久久五月天婷婷| 亚洲综合九九| 久九男女天堂| 秋霞丝袜啪啪啪| 91干在线视频| 色情久久久| 综合激情在线观看| 五月香婷婷| 久久九九玖玖| 亚洲婷婷月丁香五月| 久久这里只有国产| 开心五月深爱五月丁香五月激情五月 | 午夜少妇在线观看视频| 婷婷丁香五月社区亚洲| 97超级碰碰碰| 婷婷午夜精品久久久| 色五月婷婷操逼| 四色五月视频| 五月婷丁香| 成人精品一区二区三区四区五区| 五月丁香狠狠| 狠狠色狠狠| 丁香花色色网| 色综合久久久无码中文字幕999| 日本人妻伦在线中文字幕 | 色五月激情五月| 人妻内射一区二区在线视频| 性爱人人网| 99欧州偷拍视频| 中文字幕丰满人妻无码专区| 激情婷婷亚洲五月| 色婷婷亚洲婷婷| 站长推荐无码播放| 婷婷五月丁香成人网| 踪合专区啪啪| 桔色成人官方网站| 婷婷六月综合基地| .青娱乐天天操B| 丁香五月婷婷久久久| 操逼五月婷婷| 97人人操人人爽| 九九99视频精品| 国产激情综合| 99干日日干| 色爱爱综合网| 国产六月婷婷| 欧美狠狠色| 五月天六月婷婷电影| 啄木鸟黑丝一区二区| 婷婷爱五月天人人爱| 久久婷婷五月综合色丁香| 丁香色五月天| 青青草轻轻操| 丁香六月婷婷综合欧美| 91九九| 国产婷婷婷| 国产性爱一级| 久色五月| 婷婷深爱五月天| 婷婷丁香精品视频在线观看| 日韩狠狠色婷婷| 五月久久丁香| 亚洲激情四射色| 亚洲另类AV| 婷婷五月天国产精品| 丁香婷婷色情社区成人小说| 亚洲综合在线视频| 91AV婷婷| 丁香五月激情无码视频| 大伊香蕉精品视频在线| 婷婷五月天视| 久99视频| 香蕉综合网| 99视频只有这里精品| 五月天色不卡| 五月婷婷在线短视频| 5月婷婷6月六月丁香| 99啪啪| 色婷婷很很十八禁| 丁香色啪综合| 亚洲无AV在线中文字幕| 亚洲精品网站色视频| 国产成人99久久亚洲综合精品| 丁香五月在线播放| 天天综合色丁香| 亚洲操精品| AV在线收看| 狠狠干思思热| 丁香花五月天社区| 色婷婷的五月天| 99热免费| 欧美色色色| 日日夜夜天天| 五月丁香成人| 色婷婷色综合| 色激情五月天| 国内自拍97在线| 五月婷婷视频啪啪美女| 影音先锋日本三级资源| 色综合天天天天做夜夜| 五月丁香婷婷激情爱爱| 人人摸人人摸| 久久婷婷五月天激情四射| 99热精品在这里| 春色激情| 99毛片| 日本啪啪网| 97色色色| 欧美性二区| 色婷婷综合视频| 狠狠久久婷五月| 在线视频99| 久久99免费视屏| 少妇达人正片在线播放_ikun_福利吧| 五月婷婷日| 五月婷婷六月天| CAOBIBI| 欧美丁香婷婷五月天| 97超碰色| 日韩成人AV在线| 久婷| 亚洲12p| 亚洲色综久久五月| 亚洲一区二区无遮挡A片| 99精彩视频| 激情国产五月| 色五月五月婷婷| 色色九九五月天 | 婷婷五月色丁香在线看| jiujiujiuwuyuetian| 久久狠狠干| 中文字幕婷婷五月天在线观看| 五月天开心网| 丁香五月激情啪啪| 99热新网址| 怡红院视频| 成人视频九九| 人妻激情在线| 五月丁香啪啪啪| 色五月色综合| 激情综合网婷婷五夜| 五月激情网综合| 综合福利网| 婷婷六月久久综合导航| 夜夜资源站| www久| 99热精地址| 美女伊人久久| www.久久爱| 五月天综合婷婷| 精品九九久久| 另类少妇人与禽zOZZ0性伦| 999热在线视频| 欧日韩成人| 亚州美女| 97人人干| 综合性爱网| 六月亚洲婷婷6月中文字幕| 伊人久久婷婷五月综合97色| caop在线| 狠狠干在线| 9+1视频网址| 久久久久9久无码视频| 五月天激情视频| 包操45分钟网站| 久久婷婷的综合色丁香五月| 免费无码毛片一区二区A片| 日韩色五月| 在线观看熟女少妇| 婷婷在线综合| 五月香婷婷| 激情小说视频图片| 丁香五月婷婷综合网| 婷婷五月天综合激情| 亚洲av电影网站| 五月婷婷啪啪| 六月婷婷综合| 日本九九热| 91久久1118| 久久受www免费人成| 激情婷婷丁香五月天| 久久久区区一久久久久久| 七七色综合| 丁香婷婷久久 | 五月天婷婷狂暴白浆| 婷婷午夜天| 丁香婷婷五月天在线视频| 欧美日韩大黄| 好好日激情五月天| 97人妻碰碰碰久| 综合久久狠狠| 办公室少妇激情呻吟A片在线观看| 26uuu另类| 任我肏| 91精品91久久久久77777| 99A片| 99热精品在线播放观看| 五月丁香激情综合啪| 9 1超碰九色| 色娸娸综合网| 牛牛色av| 九九XX视频| 中文成人在线| www,天天干| 婷婷五月婷婷五月天| av婷婷丁香 六月| 色综合网上班开心婷婷久久| 色婷丁香五月| 婷婷丁香社区网| 91九色|疯狂|高潮|对白|| 欧美婷婷精品激| 精品操逼一区二区| 丁香五月激情综合婷综| 91操在线视频| 99热这里只有在线播放| 天天做天天干天天综合网| 特黄三级片| 丁香五月色色| 日本五月丁香| 天天色亚洲| 欧美黄色韩日网| 欧美色五月天| 五月天激情四射网站| www.9797国产| 日本狠狠色| 狠狠操天天干| 五月丁香久久综合91| 色婷丁香91| WWW久久99久久99久久| 99re8热精品免费视频| 十二区无码| 五月色丁香婷婷综合| 色五月婷婷青娱乐| 人妻性爱av网站| 五月天激日本色情在线| 丁香六月婷婷姐网| www,超碰| 疯狂做受XXXX高潮A片| 日本熟妇乱妇熟色A片蜜桃| 久久婷婷五月综合| AV中文字幕夜夜操b天天摸bb| 99色在线| 色狠狠999综合| 欧美成人性爱网| 国产成人精品亚洲线观看| 超碰在线人妻| 五月丁香婷婷综合在线| 五月丁香龟婷婷| 婷婷五月色综合| www超碰| 天天色综网| 日韩操人| 丁香 亚洲 久久| 人人人操Av| 五月婷婷开心亚州在线| 开心五月激情网| ..真实国产乱子伦对白在线_欧| 五月激情婷婷偷拍| 91一起操| 凹凸探花电影| 中文不卡一二区| 开心激情播播五月天| 99国产精品久久久久久久久久久 | 插插五月天| 久久婷婷内射| 五月丁香婷婷伊人日韩| 精品激情| 91精品久久久久、久五月天| 婷婷丁香九色| 色五月婷婷激情综合网| 可以免费看AV网站| AV五月丁香| 亚洲乱码日产精品BD| 国产a视频| 九九人人精品| 色五月婷婷五月| 超碰99热精品| 天天综合色99| 九九九日本熟女| 丁香五月天五码婷婷| 色婷婷五月天天天干天天操天天爽| 婷婷五月天色色| 色综合9| 在线观看中文字幕亚洲| 激情五月天综合婷婷网| 精品一二三区久久AAA片| 日韩 mm 不卡| 婷婷色丁香六月| 99re6在线视频精品免费| 天堂色婷婷| 色五月婷婷啪啪五月| 日本色五月| 亚洲碰碰碰| 婷婷草| 日韩AV免费电影在线播放| 五月天婷婷色在线视频免费观看 | se99视频| 久久久久久综合88| 日本啪啪天堂| 九九 激情 网| 99精品在线| 狠狠狠狠青草| 五月天激情无码| 欧美性生交XXXXX无码小说| 婷婷成人综合| 日韩操逼大片| 亚洲国产成人在线| 丁香五月性爱| 婷婷五月天堂网| 五月天成人免费视频| 丁香五月玖玖| 丁香涩涩爱| 色五月色五天色情网址| 欧美色性色好| 久久东京热婷婷五月| 丁香激激情网| 色五月色情| 婷婷五月视频| 五月婷免费视频| 99这里只有精品|v| 天天肏高清在线| 亚洲精品国产精品乱码视99| 亚洲天堂AV综合网| 9九色首页| 99五月婷| 色婷婷小说网| 三区激情四射av| 一起草av| 色色色色色色色色色色色色色色,网站| 激情操逼婷婷| 伊人五月天| 爱iii做iiii日| 丁香五月激情图片| 色婷婷玖玖影院| 思思久久精品| 99热精品在线| 色色五月婷婷狠狠| 激情中文在线| 色波激情五月天| 疯狂做受XXXX高潮A片| 一二三区视频韩国| 亚洲va久久久噜噜噜久久天堂| 人人看人人草人人摸| 久久久婷| 五月丁香综合网| 色狠狠色狠狠| 婷婷五月丁香花综合| 99日本精品视频热| 五月丁香六月婷婷不卡免费无码 | 无码任你操| 日韩色久| 大陆极品少妇内射AAAAAA| 69激情小说| 丁香九月综合在线| 亚洲五月天激情| 久久机只有这里精品| 九 九九九AV| 99精品在线观看视频| 开心 五月 综合| 9精品国产在热久久| 色99热| 婷婷五月天改成什么了| 亚洲 欧洲 国产 伦综合| 日本色色图| 五月婷婷六月爱| 色婷婷瘦婷婷日韩| 精品成人在线| 五月丁香久久综合| 99热精品中文字幕| 五月综合亚洲| 大香蕉人人人| 91se视频| av在线观看网站| 伊人五月久久| 丁香久月婷| 色婷婷色99国产综合精品| 婷婷五月色情天| 网色99| 日韩啪啪视品| 色婷婷五月天| 26uuu| 五月婷婷插一插| 67194中文字幕| 婷婷激情五月天小说校园| 91久久久久久久久18| 亚洲欧美成人在线观看| 亚洲视频在线观看| 97人妻碰碰中文无码久热丝袜| 五月婷婷花| 日本精品在线噜噜噜| 丁香五月www| 国产又色又爽又黄又免费| 停停五月色宗合| 米奇影视资源777狠狠色婷婷五月天激情网 | 激情五月久久| 婷婷丁香在线播放| 九九热视频免费的| 日韩成人综合| 99热综合| 九九在线视频| 99热在线观看亚洲区| 天天做天天爰天天爽天天无遮挡| 99热免费精品| 色综合大香蕉| 91综合色| 大香蕉伊人99| 久久综合五月天| 激情五月天第四色| 无码字幕中文| 日本情色一区二区| se99热久久一本| 激情五月天福利| 婷婷丁香18| 国产午夜精品一区二区三区嫩草| 99噜噜噜在线播放| 亚洲精品久久久无码| 在线只有精品| 久久免费精彩视频| 少妇性BBB搡BBB爽爽爽电影| 国产精品扒开腿做爽爽爽A片唱戏| 狠狠综合网| 五月综合激情| 99热手机在线精品| 综合色图区| h在线看免费版在线看| 久久只有18视频| 久久久中文| 亚洲操逼网| 天天色宗合| 天天插天天插天天插天天插| 99爱爱| 五月天另类视频| 色综合五月| 久久久五月天| 9色婷婷| αV电影| 奇米网大香蕉| site:hcxsz888.com| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 丁香六月 婷婷六月| 五月天亚洲最大成人| 颜射 精品性爱av| 色婷婷五月影视| 婷婷她六月天| 激情综合五月激情17| 久久婷婷激情五月天一区二区| 日本色频| 天天谢天天操| 久9视频| 99视频自拍| 7EzOBIhNq85TO| 综合久久综合综合| 婷婷四月 成人 狠狠干| 日本操逼九九九九58日本操逼| 久久这里只有精品热在99| 日韩久久视频| 婷婷五月丁香亚洲| 91视频一起草| 丁香婷婷色五月合集| wwwxxx五月婷婷小说| 99操逼| 色五月婷婷久久| 99热在线观看| 国内久久亭亭| 精品九九视频| 9+1视频网址| 色综合99无码| 色丁香五月天射婷婷爱婷婷| www激情五月天| 精品久久艹| 一本到不卡高清DVD| 亚洲人妻Av| 久婷婷久草| 五月天婷婷基地| 五月丁香在线| 91精品国产综合久久蜜芽解析速度| 五夜婷婷| 99爱视频在线播放| 香蕉久久国产AV一区二区| 欧美日本97| 天堂爱爱| 亚洲va综合va国产va中文| 色激情五月天| 人人97碰| www.99热| 影音先锋五月天婷婷丁香在线观看| 久久婷婷伊人| 五月丁香婷婷视频| 91狼友视频网页更新| 婷婷六月丁香激情| 激情综合网激情五月天| 亚洲正能量欧美| 亚洲va日| 婷婷五月天av| 久久婷婷色综合| 五月天激情美女久久| 激情深爱五月天| 狠狠色婷婷丁香五月| 插插插丁香五月婷婷| 操日视频| 亚洲婷婷激情综合激情999精品| 丁香五月网| 九九热在线视频| 伊人激情网| 丁香五月在线观看综合| 中文字幕在线免费观看视频| 99在线视频免费| 丁香婷婷五月基地| 激情五月天天| 国产 亚洲 在线| 天天影院色| 69人人操人人爽| 色综合网综合| 五月丁香六月婷综合成人综合| av国产精品偷| 深夜男女福利刺激影院一区| 国产伊人大香蕉| 欧美激情综合色综合色| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 99A片| 综合色五月亭亭| 天天摸夜夜爽天天做| 九九热AV| 激情丁香五月激情婷婷| 色色五月婷婷狠狠| 丁香六月无码播放| 久久久人人操A V| 99热亚洲精品| 久久婷婷五月综合成人d啪| 乱色色色| 五月天之色情综合网| 久热这里| 九九久久综合| 最近中文字幕大全免费版在线| 色久婷婷网| 日本久久99| 久久久人妻久久久| 精品国产乱码久久久久久免费| 2015好吊操| 丁香久月| 只有精品视频在线观看| 免费无码毛片一区二区A片 | 无码色色色| 影音先锋噜一噜| 精品色色| 五月婷婷伊人在线| www一起操| AV色婷婷| 婷婷五月天激情综合| 亚洲成人影视在线| 综合网五月天123| 久艹伊| 色五月丁香五月| 日韩成人网站精品久久大全| 日逼影音先锋男人资源站| 五月丁香婷婷中文网| 日本V在线观看不卡视频网站| 操逼福利视频| 六月激情网| 26UUU欧美| 黄网在线免费观看| 五月丁香婷婷伊人| 久草视频一,二三四| 婷婷性爱影院| ztEJj| 五月综合激情| 蜜臀av无码久久久久久久久| av大片在线| 色情一区二区播放| 中文字幕成| 色色色色色色色色五月先| 精品视频这里只有精品| 久久久久久久久久久久久久久久久精典| 九九一综合精品| 五月开心久久| 色色色色丁香| 九九99视频精品| 色五月天成人| 思思视频久久| 一操久久| 九九九九精品精| 欧美色99| 开心五月深爱五月丁香五月激情五月| 五月激情啪啪啪| 热久久999| 99久久性爱| 丁香婷婷六月激情综合| 97人人做| 狠干综合| 五月婷婷综合在线亚洲视频| 色色色色色色色色五月先| 久久精品66| 99成人网一区| 2017人人操| 丁香五月激情综合| 五月丁香| 九色91国产| 夜夜操,天天撸| site:jszngf.com| 91婷婷色 | 丁香六月视频| WWW,激情五月天,COM| 热久69| 天堂美国久久| 激情内射人妻1区2区3区| 91成人品| 另类激情五月| 天天天天天久久久久久| 婷婷中文字幕版| 五月久久五月激情| 超碰碰碰碰| 国产97色在线 | 日韩| 亚洲成人日韩无码精品| 日本强伦片中文字幕免费看| 五月丁香| 另类小说五月天| 色噜噜狠狠色综合日日| 东京热伊人| 婷婷狠狠操| 五月丁香婷婷欧美| 婷婷五月婷婷| 天天干天天射色综合| 五月丁香色五月| 一区二区中文字幕| 五月天激情网图片 - 百度| 婷婷综合久久| 狠狠干综合| 婷婷五月色情天| 婷婷丁香97| 91日本在线免费| 久久这里只有精品视频15| 婷婷五月天 丁香五月天 裸体| 六月婷婷综合| 蜜桃人妻无码AV天堂三区| 亚洲操操| 岛国在线观看91| 五月婷婷六月色| 九九av| 超碰v| 91919191919久久成人视频| 开心五月激情网| 国产亚洲精品AAAAAAA片| 国产欧美日韩综合精品一区二区| 99精品在线播放| 色婷婷成人做爰A片免费看网站| 国产肥白大熟妇BBBB视频| 国产AV熟妇人震精品一品二区| 中国女人内射6XXXXX| 丁香五月影院| 午夜在线成人网站免费观看| 五月天丁香色色| 麻豆忘忧草午夜| 婷婷激情四射五月天| 色综合久久88色综合天天看| 色5月婷婷色| 日本九九视频| 五月婷婷六月天| 亚洲综合色婷婷| 亚洲午夜成人av电影网| 97在线日本| 99久久婷婷国产综合| 婷婷色无码| 五月婷婷激情久久| 玖玖婷婷五月天| 最近中文字幕大全免费版在线 | 97在线观视频免费观看| 三级av在线| av成人在线播放| 性色欲情 网站| 西瓜美女a片| 99热亚洲| 国产精品久久久久久久久久免费| 五月天天综合网色婷婷| 久久久久五月丁香| 激情 五月 婷婷 丁香| 婷婷六月天激情影院| 成人网在线视频| 成人精品一区日本无码网 | 成人精品视频99在线观看免费 | 99国产精品久久久久久久久久久| 综合九九久久| 99区视频| www.思思99热| 婷婷午夜天| 日本色综合| 久久久天堂国产精品女人| 久久性都花花世界成人免费视频| caop在线| 丁香婷婷成人在线播放| 婷婷丁香十月| 丁香五月婷婷婷桃花影院| 99热这里都是精品| 99re热精品在线视频| 26uuu| 五月丁香婷婷在线| 五月婷婷激情四季| 婷婷五月天色| 激情五月天综合婷婷网| 天天插轮理| 久久色情| 人人操av| 色五月婷婷激情综合网| 啪啪 综合网| 亚洲99一级无嗎特制在线| 99在线观看| 久久99美女精彩视频| 午夜理论片最新午夜理论剧| 偷拍九九五月丁香婷婷| 久久综合55| 人人艹艹艹| 激情五月综合网| 天天看A片| 99热免费| www.成人婷婷综合| 久热只有这里精品| 久久久er热| 五月婷婷黄色| 久久婷婷网站| 91麻豆国产三级精品福利在线观看| 五月婷婷色色| 六月婷婷啪啪| 免费精品99| 五月在线| 最新丁香六月婷婷| 婷婷五月天成人网站| 99视频精品全部免费观看| 色色色综合视频| 玖月婷婷爱丁香| 免费观看亚洲AV片| 亚洲AV网站| 久久网日本| 色情丁香五月婷婷精品| 9999三级片| 狠狠色婷婷色| 91av视频| 色色色色色日韩午夜激情 | 综合网网欲色| 日韩AV中文字幕在线| 久久九九热re6这里有精品| 激情小说色五月| 精品99*| www.ywav| 久久全色| 超级碰碰碰碰视频| 欧美日本国产欧美日本韩国99| 精品人妻在线| www.婷婷五月天,com| 99在线爽| 1024操逼视频| 日本人人干| 丁香婷婷五月天激情四射| 综合久| 色五月涩涩婷婷蜜桃| 天天色亚洲| 久久久网站| 99熟女| 丁香六月婷婷综合| 99人碰碰碰| 99综合| AV九九| 激情综合久久| 婷婷五月天社区| 五月丁香啪啪激情| 99热精品在线| 亚洲日韩一页精品发布| 99久久久久| 丰满少妇乱A片无码| 国产看真人毛片爱做A片| 成人做爰A片免费看视频| 337久久| 久久亚洲天堂| 婷婷丁香五月天影院| 九九国产视频| 丁香久久五月天视频在线观看| 人人操人人爱丁香五月| 欧美婷婷五月天综合| 天天干天天干天天干天天干天天干| 亚洲 视频 导航 一区| 狼人狠狠操| 激情婷婷五月天| 五月丁香六月| 免费在线a| 综合久久六月| 成人精品人妻| 蜜乳.comcom| 五月丁香婷婷成人网| 99狠狠色| 91人久| www.com.色色| 丁香五月激情宗合网| 天天综合色综合| 亚洲第一第二网站| 久久人人妻| 大香蕉视频婷婷| 激情综合网址| 婷婷五月丁香在线观看| 婷婷五月丁香六月| 99久在线精品99re8热| 欧美性猛交99久久久久99按摩| 丁香花操逼| 五月婷婷激情综合在线| 亚洲99精品欧美一区| 久久综合婷婷| 超碰自拍天堂| 日韩啪啪视频| 中文国产五月天| 五月丁香人妻| 久久婷婷五| 色色色色综合网| 欧洲第一久色| 99视频精品| 大香蕉大香蕉在线影院| 色婷婷色五月色丁香| 激情av在线| 性日本激情| 婷婷久久色| 免费看欧美成人A片无码| 无码动漫AV| 手机AVAV天堂看网| 99热综合在线| 91主播在线| 五月婷婷色综图片| 日笨久久网| 韩日另类| 丁香六月激| 五月婷婷激情| 91色综合网站在线| 天天插天天插天天日| 色综合丁香婷婷| 97操碰日本女人| 丁香六月婷婷高清| 亚洲人妻av| 熟女色色一区二区| 国产精品在线视频| 五月天精品视频| 色综合久久中文| 精品五月天| 五月天丁香色色| 激情婷婷五六月天| 狠狠草狠狠草| 五月婷婷综合影院| 免费播放99性爱视频| 最近韩国日本免费高清观看| 婷婷综合| 色婷婷欧美| 99精品久久久久久久| 99色视频在线观看| 欧美交换配乱吟粗大25P| 玖玖视频福利| 综合色99| 91人人网| 天堂中文国产| 丁香婷婷色情| 六月丁香五月婷婷| 5五月综合网亚洲| 国语精品探花| 天天射天天操天天干| 久操操| 97久久超碰| 五月婷婷啪啪啪| 久久伦乱| 五月婷婷激情性爱| 大香蕉久久久久| 色综合中文色综合网| 久婷婷色| 超碰成人av| 激情五月天啪啪| 丁香五月最新地址| 日本婷久久| 六月婷婷综合久久| 生活片五区| 碰超99| 成人丁香五月天| 五月天婷婷基地综合网| 成人 视频免费观看网站| 激情丁香六月| 91久久久久久久久| 182TV大香蕉| 美欧日韩国产成人在战| 狠狠久久婷五月| 五月天婷婷在线AN| 五月天婷婷基地| 伊人青草成人| 这里只有精品视频在线| 亚洲永久免费| 丁香五月天电影| 五月天开心成人网| 欧美槡BBBB槡BBB少妇| 婷婷之六月丁香| 九月停停| 天天干天天做| 久久五月婷| 大香蕉AV在线| 天天爽天天透天天爱| 五月丁香激情综合网官网| 99久在线精品99re8热| 伊人成综合五月婷婷| 日韩黄色电影| 超碰人人在线| 日本欧美成人片AAAA| 久久99美女精彩视频| 77777亚洲午夜久久| 亚洲另类电影| 丁香六月婷婷高清| 991自拍视频| 六月丁香综合| av在线超清中文| 久热re视频在线观看网站| 亚洲国产99| www.yw尤物| 激情综合丁香六| 伊人玖玖婷婷| 日本女天天爽| 丁香深五月婷婷| 激情六月婷婷| 久婷婷色| 特级西西4444www无码| 婷婷一本和五月丁香| 九月停停| 婷婷激情综合网| 99精品在线| 最近中文字幕2019视频1| 97色五月天| 九九伦子片| 婷婷天堂综合| 激情开心五月亚洲| 青996青| 色狠狠综合| 婷婷五月综合在线视频| jiuse91在线| av网址在线| 五月天婷婷永久免费视频| 激情电影五月婷婷| 停停五月色宗合| 综合激情五月四射婷婷| 蜜臀久久99精品久久久久久酒店| 99成人| 久久九九怡红院| 日韩无码AV电影网站| 国产97色在线| 国产另类综合| 狠狠操狠狠爱| 国产XXXX搡XXXXX搡麻豆| 色婷婷AV在线| 久1色色| 九色无码| 亚洲狠狠丁香婷婷香蕉| 激情五月天视频| 五月激情天天干| 色色成人網| xx久久| 狠狠色噜噜狠狠狠777奇米| 狠狠干婷婷| 色五婷婷| 丁香月五月天婷婷久久| 丁香五月情| 亚洲综合色婷婷文学| 日本婷婷五月天| 丁香五月婷婷五月天| 人人爽人人爽人人爽人人爽| 99热碰碰| 99久久97| 欧美人与性动交CCOO| 91大神操美女| 丁香六月色婷婷| 超碰久热| 婷婷激情人妻| 人人操人| 人妻第九页| 丁香五月综合婷婷| 久久九九热视频| 婷婷五月丁香伊人网| 婷婷五月天美女| 日本97在线视频| av一区二区电影免费在线观看| 五月丁香激情综合| AV九九| 9有码中文| 色色AV色色色东莞| aaa日韩| www.狠狠干| 影音先锋女人av鲁色资源网小说免费| 亚洲AV综合在线观看| 日日噜噜久久婷婷五月天| 色色综合网www| 国产亚洲精品久久久久久牛牛| 91久久久久久久久| 日亚二欧美| 五月婷婷丁香伦理网| 伊人婷婷五月天| 五月综合丁| 亚洲午夜国产成人电影VA国产欧…| 欧美顶级少妇做爰HD| 五月激情综合网| 婷婷激情小说| 欧美丁香婷婷五月| 97干97色| 噜噜噜久久| 成功精品影院| 狠狠色综合精品视频在线| 午夜婷婷五月天| 亚洲人人操BD| 丁香婷婷十月| 婷婷丁香五月激情中文字幕版| www.久久久久| 大香蕉天堂| 五月丁香婷婷深深爱| 99视频在线观看网址| 亚洲操B| 久青草影院| www.婷婷.com| 9 1超碰九色| 五月天久久网站| 亚洲综合无码| 91狠狠色| 开心激情网五月天| 欧美99热| 丁香五月五月婷婷| 天天日天天色| 亚洲精品无人区| 这里只有精品96| 日本性视频| 亚洲欧洲小视频9| 综合色七七| 九月婷婷在线观看| 99视频91| 色婷婷久久综合久色综| 五月天久久久| 98毛片| 天天日,夜夜爽| 婷婷六月天精品| 天天干天天色天天干| av中文网站| 丁香六月婷婷| 五月婷婷欧美| 婷婷五月天成人网| 亚洲日韩操B| 婷婷不卡基地| 久久玖玖综合| 亚洲小视频免费播放| 国产夫妻操逼内射视频| 五月天成人伊人| 婷婷亚洲在线| 亚洲狠狠干| 婷婷六月丁| 五月天婷婷高清无码| 天天操综合网| 欧洲亚洲免费视频9| 99热只有| 这里只有精品视频在线| 性av| Av在线不卡一区| 久久一级免费黄色片| 五月丁香网站| 五月婷婷综合激情网| 五月社区丁香| 99亚洲精品视频| 男女99免费视频| 中国女人做爰A片| 亚洲天堂色| 亚洲视频二区| 天天射射夜| 五月天天天天天天天天天天天婷婷婷| 亚洲操b| 2018夜夜草| 亚洲小电影在线观看黄999| 91丨九色丨熟女| 天天综合天天做天天综合| 丁香六月婷婷色XXXXX| www夜夜操| yw.av| www.狠狠| 天天爽天天摸人妻综合网| 99人人干| 久草x色在线观看99| 亚洲综合视频网| 成人操呦av| 婷婷六月啪啪| 久久99综合| 色五月婷婷激情基地| 欧美va国产va| 天天日天天舔| 国产精品久久久久久久久久免费| 99婷婷五月天激情| 婷婷六月丁香久| 97五月久久丁香婷婷| 99热热热99精品婷婷| 人人人操| 婷婷五月天BBw| 96丁香六月婷婷蜜桃综合久久| 天天综合网色欲香| 综合99在线| 久久色9| 狠狠婷婷色| 综合激情五月丁香| 人人做人人看人人摸| 婷婷五月噜噜| 狼友视频在线观看18| 99久久超级| 99草视频在线观看| 色五月婷婷五月久久| 色婷婷精品视频| 综合色七七| 色五月丁香六月资源站| 开心深爱激情网| 色播五月天激情| 九九99九九99偷拍视频免费看| 开心五月色婷婷综合开心网| 婷婷久久五月天| 97亚洲精品| 五月丁香五月激情综合色综合| 丁香婷婷啪啪| 日本操B片| 丁香网五月网| 九九伊人网| www.五月婷婷久久.com| 日韩无码色色| W色综合| 久热这里只有精品在线观看| 超碰超碰在线| 色九九九九| 操一操| 色婷婷久久| 91九色中文| 色噜噜在线| 久99久精品视频| 五月亭久久无码视频| 我爱va亚洲va52| 91激情五月开心| 久久视9精| 天天拍久久| 国产乱妇乱子在线播视频播放网站 | 97色啪| 色五月综合激情| 色999亚洲人成色| 色七七九九| 五月丁香在线国产| 色五月天堂| 精品久久婷婷| 丁香五月偷拍| 综合激情sV| 五月婷婷激情五月| 亚洲国产另类av| 丁香五月婷婷俺也要去| 天天弄天天操| 怡红院99| 成人做爰A片免费看网站找不到了| 色婷婷XXXXX| 久久99久久99精品免视看婷婷| 色婷| 1024日韩| 色久女| 婷婷丁香久久| 色婷婷影视| 五月婷婷深深爱| 五月色丁香综合| 九九在线视频| 久久九九网| 色播五月网| 操碰97| WWW.桔色成人.COM| 99r这里只有精品哦| 丁香六月激情综合| 亚洲第一色色色| 日本人妻伦在线中文字幕| 丁香久久| 538在线精品| 五月丁香久久呀| 免费观看欧美成人AA片爱我多深| 啪啪啪五月天| 色综合婷婷99| 伊人激情影院| 九热...av| 在线综合网| 久久亚洲婷婷综合色五月| 农村熟妇高潮精品A片| 99热九九这里只有精品10| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 插插插色综合网| 综合色在线| 99精品在线下载| 色青青电影色五月| 五月天婷网| 九月丁香八月婷婷久久综合久97| 久热99热| 亚洲精品色色| 少妇水多A片太爽了| 亚洲九九在线| 五月婷婷 自拍| 91要啪| 操笔无码| 亚洲成人av中文| 韩国激情五月天综合网| 婷婷天堂综合| 色色色99| 婷婷之六月丁香| 色九月国产| 另类小说色婷婷| 婷婷丁香五月天中文字幕| 国产精品国产| AV在线大香蕉| 日日天天天| 99精品手机在线视频| 婷婷天堂综合|