欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

TimescaleDB高可用實(shí)踐:Docker Compose部署PostgreSQL流復(fù)制集群

TimescaleDB高可用實(shí)踐:Docker Compose部署PostgreSQL流復(fù)制集群 之前幫一個(gè)監(jiān)控平臺(tái)搭時(shí)序存儲(chǔ)單節(jié)點(diǎn)TimescaleDB跑得挺好查詢響應(yīng)都在毫秒級(jí)??僧?dāng)業(yè)務(wù)提出要加一套只讀副本做實(shí)時(shí)看板、同時(shí)防止宿主機(jī)宕機(jī)導(dǎo)致數(shù)據(jù)不可用時(shí)我就意識(shí)到不能再靠單庫硬扛了。TimescaleDB雖然強(qiáng)在時(shí)序壓縮和超表能力但它底子還是PostgreSQL要做副本、做容災(zāi)走的還是PostgreSQL流復(fù)制Streaming Replication這條路。但很多人對(duì)流復(fù)制的經(jīng)驗(yàn)停留在裸機(jī)手工部署換到docker-compose之后配置文件、權(quán)限、初始化順序到處是坑一個(gè)不小心從庫就起不來。這篇文章把我實(shí)際跑通的TimescaleDB(PostgreSQL)流復(fù)制集群容器化部署方案完整拆一遍從WAL同步原理、主從配置、pg_basebackup初始化到故障切換和踩坑細(xì)節(jié)都會(huì)講到。適合已經(jīng)在用TimescaleDB但沒有HA經(jīng)驗(yàn)、或者想用docker-compose快速搭一套本地時(shí)序集群的團(tuán)隊(duì)參考。方案不追求復(fù)雜架構(gòu)一主一從最常規(guī)跑通之后再加只讀節(jié)點(diǎn)、做讀寫分離都很容易。1. 時(shí)序數(shù)據(jù)場(chǎng)景下為什么我不建議繼續(xù)用單機(jī)TimescaleDB1.1 單機(jī)在監(jiān)控?cái)?shù)據(jù)面前的兩個(gè)真實(shí)瓶頸很多團(tuán)隊(duì)最開始用TimescaleDB都是看中它的超表Hypertable能力。一張表按時(shí)間自動(dòng)分chunk冷熱數(shù)據(jù)自動(dòng)管理時(shí)序聚合查詢比原生PostgreSQL順手很多。單節(jié)點(diǎn)在數(shù)據(jù)量幾千萬、上億的時(shí)候依然能跑這也是TimescaleDB的賣點(diǎn)。但單節(jié)點(diǎn)的瓶頸不只在數(shù)據(jù)量而在“可用性”和“業(yè)務(wù)架構(gòu)”兩個(gè)層面。第一宿主機(jī)一掛整個(gè)監(jiān)控大盤就沒數(shù)據(jù)了對(duì)線上業(yè)務(wù)來說這是不可接受的第二業(yè)務(wù)想看板、要做報(bào)表、要做一些偏重的分析查詢這些查詢會(huì)和寫入搶CPU、搶IO單庫扛不住。流復(fù)制集群解決不了性能橫向擴(kuò)展的全部問題但能解決“只讀流量分離”和“故障時(shí)快速切換”這兩個(gè)最剛需的問題。所以我的建議很清楚TimescaleDB做主寫節(jié)點(diǎn)一臺(tái)從庫專門扛讀查詢和看板日常還能拿從庫做數(shù)據(jù)分析這是一套性價(jià)比很高的架構(gòu)。1.2 流復(fù)制解決的是可用性問題不是性能擴(kuò)展這里必須把預(yù)期放正。很多文章會(huì)把流復(fù)制描述成“集群”實(shí)際上它本質(zhì)上是“主庫持續(xù)把WAL日志送到備庫并重放”的數(shù)據(jù)保護(hù)機(jī)制。從庫不是負(fù)載均衡集群里的worker而是一份完整的數(shù)據(jù)副本。所以它解決的是主庫宕機(jī)后數(shù)據(jù)不丟、業(yè)務(wù)能切到從庫繼續(xù)跑讀請(qǐng)求可以從從庫走減輕主庫壓力。如果你的目標(biāo)是寫性能水平擴(kuò)展那需要的是讀寫中間件分片或TimescaleDB分布式版而不是流復(fù)制。這個(gè)邊界搞清楚后面遇到問題才不會(huì)慌。1.3 為什么復(fù)制節(jié)點(diǎn)也必須加載TimescaleDB擴(kuò)展這是大家最容易忽略的點(diǎn)。TimescaleDB不只是幾張表它通過shared_preload_libraries在PostgreSQL啟動(dòng)時(shí)加載鉤子函數(shù)在后臺(tái)維護(hù)chunk、壓縮、連續(xù)聚合等一系列邏輯。從庫通過WAL重放拿到的是物理數(shù)據(jù)塊不是邏輯SQL。也就是說從庫如果沒加載TimescaleDB擴(kuò)展數(shù)據(jù)文件雖然都在但查詢超表時(shí)數(shù)據(jù)庫根本不知道這張表是超表也無法正確路由到對(duì)應(yīng)chunk。我見過有人從庫配好后SELECT * FROM sensor_data直接報(bào)錯(cuò)或者查不到數(shù)據(jù)最后發(fā)現(xiàn)就是擴(kuò)展沒加載。2. 流復(fù)制鏈路里WAL是怎么從主庫“流”到從庫的2.1 從walsender到walreceiver的完整鏈路理解流復(fù)制不需要把源碼讀完但幾個(gè)關(guān)鍵角色必須知道。主庫側(cè)有一個(gè)walsender進(jìn)程負(fù)責(zé)把WAL數(shù)據(jù)通過網(wǎng)絡(luò)傳給備庫。備庫側(cè)有兩個(gè)關(guān)鍵進(jìn)程walreceiver負(fù)責(zé)接收WAL流startup進(jìn)程負(fù)責(zé)把收到的WAL重放到數(shù)據(jù)文件里。整個(gè)鏈路是異步的備庫時(shí)刻追著主庫的WAL末尾跑。PostgreSQL 15之后流復(fù)制相關(guān)的函數(shù)和視圖名字有些變化。比如pg_stat_wal_receiver是備庫視角查的是接收狀態(tài)pg_stat_replication是主庫視角查的是每個(gè)walsender連接的復(fù)制狀態(tài)。部署完成后我習(xí)慣在主庫和備庫各查一次這兩個(gè)視圖能快速判斷鏈路是否正常。2.2 復(fù)制槽不是可有可無的復(fù)制槽Replication Slot是流復(fù)制里的一個(gè)關(guān)鍵設(shè)計(jì)。主庫的WAL文件是循環(huán)使用的如果備庫斷了一會(huì)兒主庫可能已經(jīng)把備庫還沒拿走的WAL覆蓋了那備庫重新連上時(shí)就沒法繼續(xù)同步只能重新全量初始化。復(fù)制槽會(huì)讓主庫保留從庫還沒消費(fèi)的WAL保護(hù)備庫追上來。代價(jià)是如果備庫掛了很久沒消費(fèi)主庫的WAL會(huì)一直累積磁盤會(huì)被撐爆。所以復(fù)制槽設(shè)計(jì)是個(gè)雙刃劍要么做好監(jiān)控要么用wal_keep_size加物理保留策略配合使用。在pg_basebackup初始化從庫時(shí)指定一個(gè)永久復(fù)制槽是最穩(wěn)妥的這也是我下面腳本里的做法。2.3 同步提交與異步復(fù)制的選擇流復(fù)制默認(rèn)是異步的主庫提交事務(wù)后不需要等備庫確認(rèn)性能損耗極小。異步復(fù)制的風(fēng)險(xiǎn)是主庫宕機(jī)瞬間最后少量已提交事務(wù)可能還沒到備庫切換后會(huì)有數(shù)據(jù)丟失。PostgreSQL的同步復(fù)制通過synchronous_commit控制備庫確認(rèn)方式可以是remote_write、remote_apply等。同步復(fù)制能保證主備數(shù)據(jù)一致但每次寫入都要等網(wǎng)絡(luò)往返寫入性能明顯下降。時(shí)序場(chǎng)景寫入頻繁一審量級(jí)的數(shù)據(jù)同步流量非常大我日常部署默認(rèn)用異步業(yè)務(wù)方如果明確要求RPO0再單獨(dú)討論同步方案。這里給一個(gè)經(jīng)驗(yàn)值單機(jī)寫入10000條/秒左右的監(jiān)控?cái)?shù)據(jù)內(nèi)網(wǎng)環(huán)境下異步流復(fù)制的延遲通常在幾十毫秒以內(nèi)肉眼幾乎看不出差異。3. 部署前必須定下的版本、目錄和網(wǎng)絡(luò)規(guī)劃3.1 鏡像版本如何鎖TimescaleDB tag與PG主版本的綁定關(guān)系TimescaleDB鏡像的tag很有講究它是和PostgreSQL主版本綁定的。比如timescale/timescaledb:latest-pg16最后的pg16表示基礎(chǔ)鏡像的PostgreSQL大版本。你不能只看TimescaleDB版本而忽略PG版本因?yàn)閮蓚€(gè)節(jié)點(diǎn)如果PG主版本不一致pg_basebackup拉過來的數(shù)據(jù)目錄根本沒法啟動(dòng)。我的建議是開發(fā)環(huán)境可以用latest-pg16圖省事生產(chǎn)環(huán)境一定要鎖具體版本。比如timescale/timescaledb:2.17.2-pg16這樣鏡像拉取、重建、回滾都可控。鏡像tag一變一旦TimescaleDB做了兼容性調(diào)整主從兩個(gè)節(jié)點(diǎn)版本不一致重放WAL時(shí)很容易報(bào)FATAL: could not start WAL stream。為了統(tǒng)一管理版本我用一個(gè).env文件放在項(xiàng)目根目錄POSTGRES_MAJOR16 TIMESCALEDB_TAG2.17.2-pg16 POSTGRES_USERpostgres POSTGRES_PASSWORDpostgres123 REPLICATION_USERreplicator REPLICATION_PASSWORDreplicator123 REPLICATION_SLOTreplica_slot3.2 目錄結(jié)構(gòu)與配置掛載方案整個(gè)項(xiàng)目目錄我習(xí)慣這樣組織timescaledb-cluster/ ├── .env ├── docker-compose.yml ├── master/ │ ├── postgresql.conf │ ├── pg_hba.conf │ └── init/ │ └── 01-create-replication-user.sql ├── replica/ │ ├── postgresql.conf │ ├── pg_hba.conf │ └── init-replica.sh └── data/ ├── master/ └── replica/主庫和從庫的配置文件一定要分開不要共用一份。原因有兩個(gè)第一從庫的primary_conninfo、primary_slot_name這些連接主庫的參數(shù)主庫配置里不該有第二主庫和從庫雖然大部分參數(shù)一致但將來你很可能需要給從庫調(diào)不同的work_mem、max_connections共用一份文件會(huì)讓兩個(gè)節(jié)點(diǎn)互相污染。數(shù)據(jù)目錄用bind mount掛到宿主機(jī)data/下方便排查問題。但要注意權(quán)限容器內(nèi)postgres用戶默認(rèn)uid是999掛載目錄后宿主機(jī)目錄歸屬如果不是999容器啟動(dòng)時(shí)會(huì)遇到權(quán)限拒絕。一個(gè)簡(jiǎn)單的辦法是創(chuàng)建目錄后執(zhí)行mkdir -p data/master data/replica chown -R 999:999 data3.3 自定義網(wǎng)絡(luò)與固定IPdocker-compose默認(rèn)會(huì)創(chuàng)建一個(gè)網(wǎng)絡(luò)但容器重啟后IP可能變化。流復(fù)制場(chǎng)景下primary_conninfo里寫的主庫host建議用服務(wù)名timescaledb-masterdocker內(nèi)部DNS會(huì)自動(dòng)解析IP變不變其實(shí)問題不大。但我還是習(xí)慣給集群指定一個(gè)獨(dú)立網(wǎng)段和固定IP理由有兩點(diǎn)一是pg_hba.conf里如果要按IP限制訪問固定IP可以精確控制二是后續(xù)如果有其他中間件容器要接入這個(gè)集群固定IP比容器名更好排查網(wǎng)絡(luò)鏈路。網(wǎng)絡(luò)規(guī)劃如下networks: cluster: driver: bridge ipam: config: - subnet: 172.28.0.0/24主庫分配172.28.0.10從庫分配172.28.0.11端口映射上主庫映射宿主機(jī)5432從庫映射5433這樣宿主機(jī)上兩個(gè)庫都能訪問只讀流量走5433寫流量走5432。4. 主庫配置和初始化復(fù)制用戶、hba與復(fù)制槽4.1 主庫postgresql.conf的關(guān)鍵參數(shù)主庫的postgresql.conf不需要面面俱到但和流復(fù)制相關(guān)的參數(shù)必須正確。下面是完整配置listen_addresses * hba_file /etc/postgresql/pg_hba.conf wal_level replica max_wal_senders 4 max_replication_slots 4 wal_keep_size 512MB shared_preload_libraries timescaledb synchronous_commit off wal_log_hints on逐個(gè)說明一下。wal_level replica是流復(fù)制的最低要求它保證WAL里包含足夠的信息供備庫重放。max_wal_senders和max_replication_slots決定了最多能連接幾個(gè)備庫一主一從設(shè)4足夠如果你以后想加到3個(gè)從庫也能扛住。wal_keep_size 512MB是PG15之后的參數(shù)相當(dāng)于給主庫額外保留512MB的WAL防止備庫短暫斷開后因?yàn)閺?fù)制槽沒建好導(dǎo)致追不上。wal_log_hints on是為將來可能用pg_rewind做時(shí)間線回退準(zhǔn)備的現(xiàn)在不開啟以后想開還需要重啟。最后一行shared_preload_libraries timescaledb是整個(gè)方案的核心。主庫靠它加載TimescaleDB從庫的配置文件里也必須有一模一樣的配置。4.2 pg_hba.conf里replication條目為什么單獨(dú)寫pg_hba.conf是很多人的盲區(qū)。流復(fù)制連接走的是replication偽數(shù)據(jù)庫它在pg_hba.conf里不是普通數(shù)據(jù)庫條目必須單獨(dú)寫。我的配置如下local all all trust host all all 0.0.0.0/0 md5 local replication all trust host replication replicator 0.0.0.0/0 md5注意最后一行我限定只有replicator用戶允許從任意IP發(fā)起復(fù)制連接而且只能用md5密碼認(rèn)證。不要用trust去放行replication否則任何能連通5432端口的人都能拖走你全庫數(shù)據(jù)。這里如果配置漏了從庫pg_basebackup時(shí)會(huì)直接報(bào)FATAL: no pg_hba.conf entry for replication connection from host。4.3 復(fù)制用戶與物理復(fù)制槽的創(chuàng)建主庫第一次啟動(dòng)時(shí)官方鏡像會(huì)執(zhí)行/docker-entrypoint-initdb.d/目錄下的所有.sql和.sh腳本。我利用這個(gè)機(jī)制創(chuàng)建復(fù)制用戶-- master/init/01-create-replication-user.sql CREATE ROLE replicator WITH REPLICATION LOGIN PASSWORD replicator123;這里給replicator角色加了REPLICATION權(quán)限這是它執(zhí)行pg_basebackup和建立復(fù)制流的必要條件。物理復(fù)制槽我選擇放在從庫初始化腳本里動(dòng)態(tài)創(chuàng)建而不是寫死在主庫的init目錄。原因很直接如果從庫數(shù)據(jù)卷被我清掉重新初始化腳本可以在不手動(dòng)登錄主庫的情況下自動(dòng)補(bǔ)建slot省去一次人工操作。主庫的init目錄只需要保證復(fù)制用戶存在slot由從庫腳本用SQL檢查后再創(chuàng)建。5. 從庫初始化腳本pg_basebackup拉取與自動(dòng)拉起5.1 官方entrypoint沒法直接干這件事docker官方postgres鏡像有一個(gè)特點(diǎn)如果容器啟動(dòng)命令不是postgres它不會(huì)自動(dòng)執(zhí)行initdb。這個(gè)特性正好可以被我們用來做自定義從庫初始化但也意味著我們需要自己處理數(shù)據(jù)目錄的創(chuàng)建、權(quán)限、初始化這三件事。很多人一開始的思路是給從庫也掛docker-entrypoint-initdb.d指望鏡像幫你把pg_basebackup跑了。這個(gè)思路有一個(gè)致命問題官方entrypoint在跑initdb.d腳本之前已經(jīng)執(zhí)行了initdb數(shù)據(jù)目錄里已經(jīng)生成了一套完整數(shù)據(jù)這時(shí)候你再pg_basebackup去覆蓋它容易留下臟文件而且腳本執(zhí)行環(huán)境也別扭。我的做法更干凈從庫啟動(dòng)命令直接指向一個(gè)自定義腳本數(shù)據(jù)目錄為空時(shí)跑pg_basebackup非空時(shí)直接正常啟動(dòng)。5.2 init-replica.sh完整腳本拆解先看完整腳本再逐步解釋#!/bin/bash set -e MASTER_HOSTtimescaledb-master MASTER_PORT5432 REPLICATION_USER${REPLICATION_USER:-replicator} REPLICATION_PASSWORD${REPLICATION_PASSWORD:-replicator123} REPLICATION_SLOT${REPLICATION_SLOT:-replica_slot} export PGPASSWORD${POSTGRES_PASSWORD} # 1. 等待主庫復(fù)制用戶創(chuàng)建完成 echo [replica] waiting for master replication user... until psql -h $MASTER_HOST -p $MASTER_PORT -U $POSTGRES_USER -d postgres -tAc \ SELECT 1 FROM pg_roles WHERE rolname${REPLICATION_USER} 2/dev/null | grep -q 1; do sleep 2 done echo [replica] creating replication slot if not exists psql -h $MASTER_HOST -p $MASTER_PORT -U $POSTGRES_USER -d postgres -tAc \ SELECT 1 FROM pg_replication_slots WHERE slot_name${REPLICATION_SLOT} | grep -q 1 || \ psql -h $MASTER_HOST -p $MASTER_PORT -U $POSTGRES_USER -d postgres -c \ SELECT pg_create_physical_replication_slot(${REPLICATION_SLOT}); # 2. 準(zhǔn)備數(shù)據(jù)目錄 mkdir -p $PGDATA chown postgres:postgres $PGDATA chmod 700 $PGDATA # 3. 寫.pgpass供后續(xù)流復(fù)制連接認(rèn)證使用 cat /var/lib/postgresql/.pgpass EOF ${MASTER_HOST}:${MASTER_PORT}:replication:${REPLICATION_USER}:${REPLICATION_PASSWORD} EOF chown postgres:postgres /var/lib/postgresql/.pgpass chmod 600 /var/lib/postgresql/.pgpass # 4. 如果數(shù)據(jù)目錄還沒有PG_VERSION就全量拉取主庫數(shù)據(jù) if [ ! -s $PGDATA/PG_VERSION ]; then echo [replica] running pg_basebackup from master... export PGPASSWORD${REPLICATION_PASSWORD} gosu postgres pg_basebackup -h $MASTER_HOST -p $MASTER_PORT -U $REPLICATION_USER \ -D $PGDATA -R -X stream -S $REPLICATION_SLOT -P -v rm -f $PGDATA/postmaster.pid echo [replica] basebackup done else echo [replica] data directory already exists, skip basebackup fi # 5. 進(jìn)入正常啟動(dòng)流程 exec docker-entrypoint.sh postgres -c config_file/etc/postgresql/postgresql.conf幾個(gè)關(guān)鍵點(diǎn)展開說。等待循環(huán)為什么不用pg_isready而用psql查角色表因?yàn)閜g_isready只能判斷端口通沒通而主庫容器首次啟動(dòng)時(shí)會(huì)先跑一個(gè)臨時(shí)postgres執(zhí)行initdb.d腳本這時(shí)候端口已經(jīng)通了但復(fù)制用戶還沒創(chuàng)建完。如果從庫在這個(gè)時(shí)候發(fā)起pg_basebackup會(huì)因角色不存在失敗。所以必須等到pg_roles里能查到replicator。.pgpass是libpq的密碼文件。pg_basebackup用-R參數(shù)生成postgresql.auto.conf時(shí)不會(huì)把密碼明文寫進(jìn)去而是記錄passfile/var/lib/postgresql/.pgpass。如果不提前創(chuàng)建這個(gè)文件從庫容器重啟后流復(fù)制連接會(huì)因?yàn)槟貌坏矫艽a而反復(fù)失敗主庫pg_stat_replication里能看到state一直是startup。很多從庫“莫名其妙連不上”的問題根子都在這里。-X stream表示W(wǎng)AL通過復(fù)制流直接傳輸-S指定復(fù)制槽-R會(huì)生成從庫所需的postgresql.auto.conf里面自動(dòng)寫好primary_conninfo和primary_slot_name。整個(gè)腳本是冪等的。數(shù)據(jù)目錄已經(jīng)有PG_VERSION時(shí)它跳過basebackup直接啟動(dòng)postgres所以從庫容器重啟不會(huì)重復(fù)初始化。5.3 postgresql.auto.conf里的連接信息與同步參數(shù)pg_basebackup執(zhí)行完后從庫數(shù)據(jù)目錄下會(huì)生成一個(gè)postgresql.auto.conf內(nèi)容類似primary_conninfo userreplicator passfile/var/lib/postgresql/.pgpass channel_bindingprefer hosttimescaledb-master port5432 sslmodeprefer sslcompression0 sslcertmodeallow sslsni1 ssl_min_protocol_versionTLSv1.2 gssencmodeprefer krbsrvnamepostgres target_session_attrsany primary_slot_name replica_slot這里要提醒一句primary_conninfo不要手工寫進(jìn)從庫的postgresql.conf因?yàn)閜ostgresql.auto.conf的優(yōu)先級(jí)更高你寫半天最后會(huì)被auto.conf覆蓋容易產(chǎn)生“我明明改了為什么沒生效”的困惑。連接信息全權(quán)交給-R生成的auto.conf即可。如果你要啟用同步復(fù)制需要確保primary_conninfo里有application_name并且和主庫配置的synchronous_standby_names對(duì)應(yīng)。auto.conf默認(rèn)不帶application_name你可以在pg_basebackup完成后追加一行覆蓋或者在從庫啟動(dòng)前改掉auto.conf里的內(nèi)容。6. docker-compose.yml完整編排與健康檢查設(shè)計(jì)6.1 兩個(gè)service的配置要點(diǎn)docker-compose.yml是全流程的樞紐完整內(nèi)容如下version: 3.9 services: master: image: timescale/timescaledb:${TIMESCALEDB_TAG} container_name: timescaledb-master environment: POSTGRES_USER: ${POSTGRES_USER} POSTGRES_PASSWORD: ${POSTGRES_PASSWORD} PGDATA: /var/lib/postgresql/data volumes: - ./data/master:/var/lib/postgresql/data - ./master/postgresql.conf:/etc/postgresql/postgresql.conf:ro - ./master/pg_hba.conf:/etc/postgresql/pg_hba.conf:ro - ./master/init:/docker-entrypoint-initdb.d:ro command: [postgres, -c, config_file/etc/postgresql/postgresql.conf] healthcheck: test: [CMD-SHELL, pg_isready -U ${POSTGRES_USER} -d postgres] interval: 5s timeout: 3s retries: 20 start_period: 10s networks: cluster: ipv4_address: 172.28.0.10 ports: - 5432:5432 replica: image: timescale/timescaledb:${TIMESCALEDB_TAG} container_name: timescaledb-replica environment: POSTGRES_USER: ${POSTGRES_USER} POSTGRES_PASSWORD: ${POSTGRES_PASSWORD} REPLICATION_USER: ${REPLICATION_USER} REPLICATION_PASSWORD: ${REPLICATION_PASSWORD} REPLICATION_SLOT: ${REPLICATION_SLOT} PGDATA: /var/lib/postgresql/data volumes: - ./data/replica:/var/lib/postgresql/data - ./replica/postgresql.conf:/etc/postgresql/postgresql.conf:ro - ./replica/pg_hba.conf:/etc/postgresql/pg_hba.conf:ro - ./replica/init-replica.sh:/init-replica.sh:ro command: [bash, /init-replica.sh] depends_on: master: condition: service_healthy networks: cluster: ipv4_address: 172.28.0.11 ports: - 5433:5432 healthcheck: test: [CMD-SHELL, pg_isready -U ${POSTGRES_USER} -d postgres] interval: 5s timeout: 3s retries: 20 start_period: 20s networks: cluster: driver: bridge ipam: config: - subnet: 172.28.0.0/24主庫的command用-c config_file/etc/postgresql/postgresql.conf指定我們掛載的配置文件避免用到數(shù)據(jù)目錄里的默認(rèn)配置。從庫因?yàn)橐茏远x初始化腳本command直接指向bash /init-replica.sh。腳本最后會(huì)調(diào)用docker-entrypoint.sh postgres -c config_file...進(jìn)入正常啟動(dòng)流程。6.2 depends_on為什么不夠healthcheck才是關(guān)鍵docker-compose里depends_on默認(rèn)只控制容器啟動(dòng)順序不等應(yīng)用就緒。也就是說從庫容器啟動(dòng)時(shí)主庫可能還在跑initdb復(fù)制用戶都還沒創(chuàng)建。depends_on加condition: service_healthy之后compose會(huì)等主庫healthcheck通過才啟動(dòng)從庫。主庫的healthcheck用了pg_isready這是在dokcer層面做的一次“端口可用性”檢查。但如前面說的主庫臨時(shí)postgres階段端口也是通的所以從庫腳本內(nèi)部還做了一層角色等待。這兩層配合才能保證從庫初始化時(shí)主庫真正可服務(wù)。6.3 啟動(dòng)順序與冪等性設(shè)計(jì)整個(gè)編排有一個(gè)隱藏優(yōu)點(diǎn)從庫腳本天然冪等。docker compose down之后再up從庫數(shù)據(jù)目錄已經(jīng)有了PG_VERSION腳本會(huì)跳過pg_basebackup直接啟動(dòng)從庫復(fù)制鏈路自動(dòng)恢復(fù)。真正需要警惕的是如果你手動(dòng)清掉了從庫數(shù)據(jù)目錄腳本會(huì)重新全量拉數(shù)據(jù)。拉數(shù)據(jù)期間主庫的WAL必須保留足夠多否則pg_basebackup會(huì)報(bào)requested WAL segment has already been removed。復(fù)制槽就是用來解決這個(gè)問題的所以腳本里先確保slot存在再執(zhí)行basebackup是有講究的。7. 部署后的驗(yàn)證復(fù)制狀態(tài)、超表查詢與延遲觀測(cè)7.1 復(fù)制狀態(tài)SQL判讀部署完成后第一步不是急著造數(shù)據(jù)而是確認(rèn)復(fù)制鏈路狀態(tài)。在主庫執(zhí)行SELECT pid, application_name, state, sync_state, replay_lag FROM pg_stat_replication;能看到一行記錄state為streamingsync_state為async因?yàn)槲覀儧]開同步復(fù)制說明從庫已經(jīng)追著主庫走了。如果state一直是startup或catchup說明從庫還在初始化或追趕中。從庫上執(zhí)行SELECT pg_is_in_recovery();返回t說明當(dāng)前是備庫處于只讀熱備狀態(tài)。再查SELECT pg_last_wal_receive_lsn(), pg_last_wal_replay_lsn();兩個(gè)值應(yīng)該非常接近甚至完全相等。receive_lsn是從庫已經(jīng)接收到的WAL位置replay_lsn是已經(jīng)重放的位置如果差距持續(xù)增大說明從庫重放速度跟不上寫入速度。7.2 在主庫建超表并寫入從庫同步查詢驗(yàn)證復(fù)制鏈路只是第一步還要驗(yàn)證TimescaleDB擴(kuò)展在主從兩個(gè)節(jié)點(diǎn)都正常工作。在主庫執(zhí)行CREATE TABLE sensor_data ( time TIMESTAMPTZ NOT NULL, device_id INTEGER, temperature DOUBLE PRECISION ); SELECT create_hypertable(sensor_data, time);然后寫入一批測(cè)試數(shù)據(jù)INSERT INTO sensor_data SELECT now() - (i || minutes)::interval, i % 10, random() * 30 15 FROM generate_series(1, 10000) i;到從庫上執(zhí)行SELECT time_bucket(1 minute, time) AS bucket, avg(temperature) FROM sensor_data GROUP BY bucket ORDER BY bucket LIMIT 10;能正常返回結(jié)果且數(shù)據(jù)量和主庫一致說明從庫已經(jīng)成功加載TimescaleDB擴(kuò)展WAL重放也正常。如果從庫沒加載擴(kuò)展這一步大概率會(huì)報(bào)錯(cuò)或者只能查到部分?jǐn)?shù)據(jù)這時(shí)回到配置文件檢查shared_preload_libraries。7.3 replay_lag觀測(cè)與從庫只讀約束從庫畢竟是只讀節(jié)點(diǎn)如果業(yè)務(wù)誤把寫請(qǐng)求發(fā)到5433端口會(huì)收到明確的報(bào)錯(cuò)ERROR: cannot execute INSERT in a read-only transaction這是預(yù)期行為不用慌。但如果你的應(yīng)用需要從庫提供強(qiáng)一致的讀要注意從庫默認(rèn)存在復(fù)制延遲。時(shí)序場(chǎng)景一般幾毫秒到幾十毫秒可接受。如果延遲突然飆升優(yōu)先看主庫的WAL生成量和從庫的磁盤IO大概率是從庫重放瓶頸。8. 故障切換實(shí)驗(yàn)與把原主庫拉回新從庫8.1 手動(dòng)提升從庫的操作與驗(yàn)證流復(fù)制本身沒有自動(dòng)故障轉(zhuǎn)移能力這一點(diǎn)必須提前跟團(tuán)隊(duì)講清楚。但人工切換很簡(jiǎn)單模擬主庫宕機(jī)docker stop timescaledb-master然后進(jìn)入從庫容器提升它docker exec -it timescaledb-replica psql -U postgres -c SELECT pg_promote();再驗(yàn)證SELECT pg_is_in_recovery();返回f從庫已經(jīng)變成新的主庫可以正常接收寫入了。此時(shí)應(yīng)用連接需要切到5433端口也就是從庫映射出來的端口。如果有負(fù)載均衡器把后端摘掉故障主庫即可。8.2 原主庫恢復(fù)為從庫的完整步驟原主庫因?yàn)橹笆侵鲙鞌?shù)據(jù)已經(jīng)和新的主庫分叉了直接啟動(dòng)繼續(xù)跑流復(fù)制是行不通的?;謴?fù)思路只有一個(gè)把它當(dāng)作一個(gè)全新的從庫重新初始化。具體操作是清空原主庫數(shù)據(jù)目錄讓init-replica.sh邏輯重新在新主庫上做一次pg_basebackup。這里有個(gè)細(xì)節(jié)原主庫容器還掛著master/init目錄第一次啟動(dòng)時(shí)會(huì)重復(fù)執(zhí)行01-create-replication-user.sql這會(huì)導(dǎo)致創(chuàng)建角色報(bào)錯(cuò)“already exists”。我在實(shí)際恢復(fù)時(shí)會(huì)把master目錄臨時(shí)改一個(gè)名字或者把它從docker-compose的正常啟動(dòng)流程里摘出來用一個(gè)一次性的初始化容器執(zhí)行從庫腳本再改回配置正常啟動(dòng)。如果你不想動(dòng)目錄結(jié)構(gòu)也可以用另一個(gè)更簡(jiǎn)單的思路保留init-replica.sh腳本修改MASTER_HOST為新主庫然后把原主庫的volumes臨時(shí)改成從庫數(shù)據(jù)卷讓它按從庫方式初始化一次再改回來??傊诵氖恰叭恐亟ā辈灰竿鲙炷茉貜?fù)活成從庫。8.3 自動(dòng)故障切換的邊界如果業(yè)務(wù)要求“主庫掛了自動(dòng)切換應(yīng)用無感知”那需要引入Patroni、repmgr或pg_auto_failover這類外部工具。TimescaleDB和PostgreSQL在這件事上一樣流復(fù)制只負(fù)責(zé)數(shù)據(jù)同步不負(fù)責(zé)選主、不負(fù)責(zé)VIP漂移、不負(fù)責(zé)應(yīng)用端連接切換。docker-compose方案最適合的場(chǎng)景是開發(fā)環(huán)境、預(yù)發(fā)環(huán)境、或者人力可以7x24響應(yīng)的小規(guī)模生產(chǎn)環(huán)境。真要做自動(dòng)HA建議在流復(fù)制基礎(chǔ)上疊加Patroni那是另一個(gè)更復(fù)雜的架構(gòu)話題本篇不再展開。9. 實(shí)際運(yùn)維中容易翻車的四個(gè)細(xì)節(jié)9.1 復(fù)制槽殘留導(dǎo)致主庫WAL膨脹這是流復(fù)制集群最高頻的故障。從庫如果被刪除或者長(zhǎng)時(shí)間離線主庫上的物理復(fù)制槽還掛著WAL就一直累積不清理最后磁盤寫滿主庫直接宕機(jī)。對(duì)策是定期監(jiān)控SELECT slot_name, active, pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn)) AS lag_bytes FROM pg_replication_slots;如果發(fā)現(xiàn)某個(gè)slot已經(jīng)不active了確認(rèn)對(duì)應(yīng)從庫不會(huì)回來后第一時(shí)間手動(dòng)刪除SELECT pg_drop_replication_slot(replica_slot);這個(gè)操作要謹(jǐn)慎刪早了從庫會(huì)失去WAL保護(hù)。我的習(xí)慣是先看從庫的pg_stat_wal_receiver狀態(tài)確定它真的失聯(lián)了再刪。9.2 同步復(fù)制的APPLICATION_NAME必須匹配如果你啟用了同步復(fù)制主庫參數(shù)變成synchronous_standby_names replica1 synchronous_commit remote_apply那從庫的primary_conninfo里必須帶application_namereplica1。如果名字對(duì)不上主庫沒有可用的同步備庫事務(wù)提交會(huì)一直等待你看到的現(xiàn)象就是“寫入hang住”但日志里沒有任何明顯報(bào)錯(cuò)。排查這類問題看pg_stat_replication里的application_name和synchronous_standby_names是否匹配就行。9.3 腳本CRLF和權(quán)限問題從庫初始化腳本是在宿主機(jī)上編輯再掛載進(jìn)Linux容器的。如果你在Windows上編輯過腳本會(huì)帶CRLF換行容器里執(zhí)行會(huì)報(bào)/bin/bash^M: bad interpreter。解決方式很簡(jiǎn)單sed -i s/\r$// replica/init-replica.sh另外腳本掛載進(jìn)容器后需要可執(zhí)行權(quán)限在宿主機(jī)上執(zhí)行chmod x replica/init-replica.sh即使compose里的command是bash /init-replica.sh沒有執(zhí)行權(quán)限也能跑但如果有人在容器里想直接執(zhí)行腳本就會(huì)卡住。權(quán)限問題不是大坑但很煩人。9.4 流復(fù)制副本不等于備份最后說一個(gè)很多人容易混淆的概念從庫是實(shí)時(shí)副本但它不是備份。如果主庫上有人執(zhí)行了誤刪除操作這個(gè)刪除會(huì)瞬間同步到從庫兩份數(shù)據(jù)一起丟。流復(fù)制解決的是硬件故障不是邏輯錯(cuò)誤。我現(xiàn)在的習(xí)慣是在流復(fù)制集群之外再定期用pg_dump做邏輯備份或者引入pgBackRest做物理備份。docker-compose方案里可以加一個(gè)定時(shí)任務(wù)容器每天凌晨從從庫那邊做全量備份既不影響主庫業(yè)務(wù)又能在邏輯誤刪時(shí)派上用場(chǎng)。我自己在實(shí)際操作中還有一個(gè)小偏好所有配置文件盡量用LF換行、盡量用latest-pg16跑通后再鎖版本。這套集群我已經(jīng)在不同環(huán)境重復(fù)部署過多次每次踩坑基本都集中在復(fù)制槽殘留、.pgpass文件和healthcheck等待這三個(gè)點(diǎn)上。如果按照上面的步驟從零走一遍大概率能一次跑通。后續(xù)如果你想在這個(gè)基礎(chǔ)上加只讀節(jié)點(diǎn)把replica服務(wù)復(fù)制一份改容器名、IP、端口和slot名就行原理完全一樣。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天碰夜夜爽| 99精品热| AV成人在线播放| 天天色激情| 99超碰欧美| 天天射天天射一道本日本社区| 精品一二三区久久AAA片| 午夜色色色极品视频| av人人干| 久久在线人妻| 亚洲成人影视在线| 久久婷婷五月免费视频| 综合视频久久| 五月天偷拍| 丁香六月婷婷缴情欧美| 五月婷婷 婷婷五月 一区二区 久久久| 天天日天天摸天天| 99玖玖视频| 这里只有精品视频在线看| 91919191919久久成人视频| 狠狠搞综合色| 日韩无码性爱| 新99色色色色色色| 色99久草在线| 99精品久久久久| 超碰九色| 99色免费观看全部| 日本啪啪天堂| 九九视频精品在线免费| www91精品| 91九色在线| 久青青久| 91操黄| 五月网在线| 99精品偷拍视频| 97超碰在线免费观看| 丁香六月啪| 97人人草| 丁香五月影院| 丁香综合伊人AV| 九九久久腿| 久99久99精品免| 久久久www| 色色色色色色色色综合网| 色五月丁香总合网| 九九久久免费视频44| 久久精品五月天| 天天骑日日爽| 一级AV片| 婷婷丁香熟妇综合网| 日本精品人妻无码77777| 婷婷五月激情在线| 91丨九色丨熟女高潮| 国产肥白大熟妇BBBB视频| 久久久精品色| 丁香五月综合色婷婷| 国产成人精品亚洲线观看| 五月天深爱激情网| 99这里有精品免费| 91狠狠色色丁香婷婷综合久久| 久久HD| 激情五月天婷婷视频| 亚洲碰碰碰| 涩五月婷婷| 深爱激情六月天| 99无码超碰| 黑人巨粗进入警花疼哭A片| 亚艹艹| 五月天综合在线| 婷婷五月丁香青青草在线| 激情五月婷黄版| 丁香五月天激情四射网| 丁香五月天成人| 国产精品爽爽久久久久久| 激情五月综亚网| 天堂久久婷婷| 国产a视频| 少妇人妻人伦A片| 色婷婷成人| 在线五月色播| 婷婷丁香六月| 国产精品电影网| www婷婷色| 久/久精品99看9| 五月丁香婷婷综合激情基地| 色五月婷婷中文字幕在线观看| 丁香五月激情啪啪综合| 中文幕无线码中文字蜜桃| 日日干日日| 伊人丁香婷婷东京| 99热精品10| av无码电影| 色色色色丁香| 亚洲日韩一页精品发布| 操一区| 色色com| 免费观看的AV| 婷婷亚洲丁香五月| 婷婷午夜| 91九九| 91婷婷五月丁香碰| 丁香五月WWW| 99精品偷自拍| 日本不卡高字幕在线2019| 色玖玖综合| 亚洲 五月 婷婷 成人| 久青青久| 婷婷五月激情六月丁香| 亚洲人成网亚洲欧洲无码久久| 五月天社区婷婷丁香社区| 夜色五月天| 成人做爰高潮A片免费视频| 狠狠久久婷五月| 五月天网站免费欧美| 三十路磁力链接| 9色在线| 色欲婷婷五月天丁香| 亚洲精品字幕| 天天操天天插| 超碰在线综合| 婷婷五月天激情综合| 夜夜骑天天操| 狠狠爱婷婷| 噜噜狠狠色综无码久久合欧美| 热99热9| 日日鲁鲁夜夜爽爽| 日逼免费视频| 一级A片天天操夜夜操| 九九综合网色全集 | 婷婷五月在线视频| 中文字幕日本最新乱码视频| 亚洲日韩一页精品发布| www色婷婷| 色五月综合网| 色婷婷丁香五月| www.婷婷| 免费看欧美成人A片无码| 日本人妻伦在线中文字幕| 97色在线| 五月婷婷av在线| 九日日夜夜69| 婷婷五月综合啪| 91丨九色丨老熟女激情| 91婷婷视频| 久久er99热精品一区二区| 色色色综合| 9久热| 99爱精品| 亚洲在线免费成人| 国产AV网页| www.一起草av| 九九色综合网| 激情婷婷五月天伊人在线观看| 管管補管管紱| 九九热思思| 人人摸人人澡人人| 久久思思热| 色噜噜狠狠色综无码久久合欧美| 日本波多野结衣视频| 双性美人被调教到喷水A片| 丰满少妇乱A片无码| 啪啪日本欧美| 97久操| 超碰97久久| 大香蕉九操| 色婷婷丁香网| 色综合久久88色综合天天| 夜夜骑天天玩天天日| 天天综合网亚洲网站| 五月天六月色| 丁香激情五月天| 丁香五月天之婷婷影院| 婷婷五月五月丁香| 丁香五月综合婷婷| 亚洲激情区| 九九热精品视频| 中文字幕AV在线| 激情五月丁香五月| 青青草视频免费观看| 亚洲色99综合天堂| 婷婷色色五月天| 天天射射夜| 99思思热只有在这里看 | 婷婷丁香六月激情综合| 亚洲婷婷欧美婷婷| 国产肥白大熟妇BBBB视频 | 天天干天天做| 玖玖精品婷婷| 天天操夜夜爽天天操| 视频这里只有精品16| 九九热这里只有精品6| 欧美影院婷婷| 色婷婷丁香AV综合| 玖玖99福利| 99这里只有精品在线| 色色AV色色色东莞| 成人无码精品1区2区3区免费看| 成人VAV视频在线观看| 婷婷色综合| 色五月婷婷久久大| 人人操AV| 大香av| 二人电影免费版在线观看| www夜夜操com| 99国产精品久久久久久久久久久| 热99精品视频五月| 色综合久久88色综合天天| 婷婷丁香在线| 丁香九月激情久久| 99在线国| 少妇高潮A片无套内谢麻豆传| 影音先锋91视频| 99热18| 色婷婷视频综合| 色五月色五天色情网| 国产精品VIDEOSSEX久久发布| 亚洲天堂九九九| 二人电影免费版在线观看| 婷婷开心五月| 久久综合五月天激情小说网站 | 思思热在线视频精品| 丁香青青五月天| 激情久久四色| 91碰碰| 另类图片五月天激情| 五月婷丁香花| 婷综合| 五月婷婷久久爱| 视频综合网| www.99精品在线| 久操乱| 国产亚洲精品人人| 丁香大香蕉| 日韩AV在线免费| 狠狠夜夜五月丁香| 亚洲男女激情| 91精品久久久久久综合五月天| 狠狠草狠狠草| 操日本色| 五月成人天| 超碰97在线操| 超碰操日| 五月天成人在线视频丁香| 一起草性爱不卡视频| 亚洲日韩一页精品发布| 丁香五月亚洲AV| 丁香五月激情五月| 日本WWW九九九| 六月丁香婷婷天堂| 国产欧美日韩综合精品一区二区| 最新日本A片| 综合久久综合久久| 久久3p| 欧美成人色婷婷| 国产性av| 99色一| 国产va视频| 久久久久久9热不雅视频| 中国AV性爱观看| 久热伊人| 激情五月天之五月婷婷| 五月天婷婷丁香| 97碰碰在线看视频免费| 婷婷伊人久久| 99色在线观看| 九九色热| 五月狠狠| 丁香五月成人婷婷| 天天拍夜夜爽| 亚洲、欧美、国产另类笫二区| 夜夜谢天天干| 五月色情婷婷| 婷婷丁香五月,狠狠综合| 丁香五月激情澎湃一区| 丁香五月先锋| 99热免费看| 五月婷婷九九久久| 五月六月婷婷| 丁香五月婷婷激情中文| 天天插天天爽| h亚洲| 天天人人人人人人人人人人人| 蜜桃婷婷狠狠久久综合| 玖玖在线视| 狠狠色五月| 日韩精品一区二区亚洲AV观看 | 99色干| 精典久久| www.色99| Www.婷婷五月| www.精品久9| 日本九九视频| 丁香六月婷婷久久综合八月| 人人色人人弄人人操| 色色网站免费观看| 888久久久| www.亭亭五月天| 五月丁香色停停啪啪啪| www.夜夜操| 9 99免费视频| 色五月av| 激情深愛五月視頻| 色婷小说| 亚洲99综合| 69热在线| 偷拍九九热| 俺去也五月| 欧美在线视频9| 强伦轩人妻一区二区电影| 97碰久久| 风流少妇A片一区二区蜜桃| 色在线五月天免费| www:99热视频| 色五月亚洲| 丁香五月激情欧欧美| 婷婷五月天桃花网| 99免费热视频在线| 久久婷出差欧美色两性综合网| 97色五月丁香婷婷| 久热九九| 激情五月婷婷综合色播小说| 婷婷黄色| 日碰日| 俺去也婷婷| 久久爱综合| 五月花婷婷| 日韩不卡DvD| 欧美性生交A片免费看| 国产精品视频久久99| 狠狠色 综合色区| 久久丁香五月天| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 五月婷婷黄色| 99超碰欧美| 久久婷婷人人| 天天操天天日天天爽| 激情五月丁香色色去久久| 天天玩夜夜操| 狠狠色综合精品视频在线| 亚洲一级AV在线免费播放| 天天插天天爽| 天天日日夜夜| 狠色狠色综合久久| 99免费成人网| 视频1区2区| 五月婷婷在线视频| 色婷婷亚洲婷婷在线观看| 丁香五月婷婷亚洲人| 依人大香蕉在钱1| 中文资源在线a| 九九操综合网| 天天狠天天狠| 玖玖99精品视频| 性无码专区无码| 久久婷婷欧美| 色婷婷亚洲婷婷| www.色欲丁香婷婷| 性色五月天| 国产精品VA在线| 婷婷丁香高潮了| 色娸娸综合网| 婷婷五月激情综合啪啪| 亚洲精品国产熟女久久久| 91久久九久久九久久九久久九久久| 色五月婷婷五月久久| 97性视频| 久热re在线视频| 色色五月婷婷| 九九碰九九爱97| 婷婷五月六月丁香| 丁香美女主播视频在线观看 | 日本V在线观看不卡视频网站| 91九色精品女同系列| 精品五月天| 狠狠 久久| 无码少妇高潮喷水A片免费| 六月婷婷综合激情| 精品无吗va视频免费观看| 超碰精品手机在线| 午夜青草资源| 九九热10| 国产日比| 丁香九月婷| 91综合在线观看| 一二线视频 另类| 五月天婷婷久久| www色五月| 久久久久久久人妻| 色色性爱视频| 五月丁香人妻| 五月婷六月丁香| 久久这里只精品66| 97丁香婷婷| 婷婷亚洲久久| 欧美成人日韩| 4399高清无码视频| 五月天婷婷情色| 热久久这里只有三级视频| 玖玖在线视频| 亚洲va综合va国产va中文| 99久久6| 婷婷五月天激情小说| 欧美激情综合色综合啪啪五月| 久久这里只有欧美| 丁香婷婷婷五月| 婷婷五月免费在线| 天天天摸夜夜夜玩| 九热视频这里只有精品| 久久九九大香蕉电院| 视频这里只有精品16| 婷五月丁香| 精品无码av丁香五月激情| 五月激情丁香五月| 涩五月婷婷| 九九热黄色| 香蕉久久六月| 操一区| wWwCom夜操wwW| 久久性刺激| 九九热视频99| 五月花综合| 6月丁香婷婷| 色欲影香| 开心久久xxx色| 五月丁香婷婷综合在线| 伦99热| 伊人色欲五月天| 中文字幕乱轮| 伊人久久大香线蕉av一区| av免费在线网站| 色婷婷色情| 狠狠色综合网| 婷五月丁香| 国产美女最新VA在线免费观看| 大香蕉伊人久久| 婷婷五月天改成什么了| 99.色| 天天色综合图片| 丁香五月欧美| www.五月天婷婷| 97精品人人A片免费看| 超碰只有精品在线| 成人网页在线观看| 久久免费精品小视频| 99区视频| 丁香五月av在线| 五月婷婷六月丁香综合| 色伊人婷婷| 婷婷五月天成人| 五月婷网站| 久久婷婷综合五月趴| 在线观看欧美| 国产av天堂| 天天射网站| 五月丁香综合久久夜夜| 这里只有精品免费在线视频| 婷婷日| 婷婷五月色網站| 97碰碰在线看视频免费| 99ER热精品视频| 国产欧美大香蕉一区| 色99色| 色停停香蕉视频| 人人澡天天色天天做| 激情五月婷婷综合网| 人人妻久久妻| 五月天婷婷在线播放| 乱乱av| 91chinese 在线| 婷婷免费精品视频| 丁香婷婷视频在线| 久久五月综合| AV在线不卡网站| 午夜免费试看| 狠狠色噜噜色狠狠狠综合久久成人波 | 婷婷五月久久| 亚洲中文字幕av| 婷婷五月开心中文字幕在线| 黄色五月婷婷| 9久热在线视频| 亚洲综合色婷婷| 色色婷婷综合网| 丁香五月激情五月| 人人摸人人操人人爱| 九9九9无码| 大香蕉九操| 丁香五月婷婷亚洲另类| 99超级碰免费视频| 精品色色| 生活片五区| 亚洲丁香网| 久久激情网| 亚洲精品V天堂中文字幕| 超碰A V在线| 99亚洲综合| 丁香五月婷婷基地| 亚洲成人免费在线| 六月丁香婷婷大香蕉| 欧洲亚洲最新精品| www.久久久久| 婷婷色色丁香| 五月情四婷婷| 婷婷五月激情的图片| 日韩综合成人| 天天综合激情| 欧美婷婷日本| 日本 色综合| 综合五月亭亭9| 中文字幕综合网| 亚洲国产精品VA在线看黑人| 狠狠色丁香久久久婷| 色色亚洲五月天| 风流少妇A片一区二区蜜桃| 色色热日| 99这里是99在线视频| 五月婷婷在线视频观看| 97碰碰免费.视频| 另类色视频| 九九99精品| 婷婷中文字幕网| 青青草原99热| 91超碰人人操| 26uuu青青| 丁香婷婷五月基地| 久久涩视频| ji'qing'luan'ren'lun| 亚洲激情四射| 好色婷婷| 日本色色视频| 1024在线视频| 性生活久久人妻| 这里只有精品偷拍| 九九婷婷网五月天| 欧美三日本三级少妇三99| 成人丁香婷婷| 日笨久久网| 五月天色导航| 少妇搡BBBB搡BBB搡毛茸茸| 深爱激情网五月| 大香蕉婷婷丁香天堂AV| 色射7856五月天激情四射| 五月婷婷福利| 丁香五月婷婷影视先锋| 婷婷五月天日本无码| 97人人草| 婷婷5月开心6月| 思思热在线观看| 激情婷婷内射| 大香蕉久久婷婷| 九九www| 5五月综合网亚洲| 久久aaaaa| 精品人妻一区二区三区四区不卡在| 182无码| 国产日日夜夜操| 国产亚洲精品AAAAAAA片| 操人91| 成人短视频在线| 五月婷婷激情久久| 亚洲精品国产setv| 噜噜噜噜噜在线| 亚洲日日日| 亚洲综合视频在线| 99热这里只有精彩| 亚色网站小视频| 嫩草AV久久伊人妇女超级A| 无码se| 丁香五月影院| 玖玖资源网站最新站| 国产肥白大熟妇BBBB视频| 久久婷婷五月天激情| 超碰在线免费观看日韩| 色五月婷婷很很操| 99热 在线播放| 日本色99| 五月天久久婷婷| 七七九九色色| 天天日,天天插| 欧美激情五月综合| 色色欧美色色色| 深爱激情六月天| 五月丁香激情综合六月涩涩爱| 天天操无码| 就是色婷婷五月亚洲色| 婷婷五月久久| 五月天婷婷综合网| 日韩欧美一级大黄网站| 99热成人| 亚洲激情网站| 中文精品在| 五月天激情综合| 日夜夜天天| 超碰啪啪网| 狼人狠狠操| 久久久精品99亚洲综合| 伦乱天堂| 丁香五月婷婷88在线| 久久全色| 九九精品热| 日韩av干| 亚洲AV永久无码影院黑人 | 综合超碰熟| 久久久中文| 影音先锋女人av鲁色资源网小说免费| 久久38视频| 五月天五月天激情网| 色碰碰| 欧美人与性动交CCOO| 激情六月天婷婷| 九九国产视频| 亚洲精品V天堂中文字幕| 五月丁香婷婷激情视频| AA丁香综合激情| 91av视频| 天天射影院| 中文字幕色色| 丁香婷婷五月激情| 这里只有精品96| 日本啪啪网| 激情综合婷婷| 丁香五月日韩| 色婷婷狠狠久久综合五月| 丁香六月婷婷综合激情欧美| 日本人人超碰| 9色视频在线| 人人天堂操| 啪啪操操| 成人超碰网| 婷婷五月天黄色| www.俺去也com| 噜噜噜狠狠色综合| 久久人妻熟女一区二区| 九热精品| 婷婷精品综合| 337p大胆噜噜噜噜噜91Av| 91精品刘玥| 99热这里都是精品| 婷婷操婷婷干婷婷射| 婷婷爱综合| 婷婷五月天大香蕉| 五月丁香色综合| 亚洲婷婷激情888精品久| 五月丁香精品| 色五月婷婷91在线| 日韩中文字幕| 五月丁香婷婷六月| 美欧成人视频| 午夜做爱影院| 亚洲色小说在线综合| 久99久视频| 久久婷婷草| 国产成人网| 丁香狠狠色婷婷| 婷婷丁香五月高清| 色 五月婷婷基地| 久99久在线观看| 亚洲精品久久久久久久久久飞鱼| 婷婷五月情| 噜噜国产| 人妻精品久久久久久| 亚洲色激婷| 激情久久丁香| 久久一级免费黄色片| 午夜伊人大香蕉| 丁香六月综合激情| 这里只有精品在线观看视频| 婷婷五月天天天| 五月激情综合深爱| 激情婷婷人妻| 色99亚洲| 梁铮版蜘蛛女在线观看| 久久久久久xxxxx| 97人人干人人操| 久久婷婷丁香| 99人人操人人爱久久久| 欧美激情久| 成人精品网站在线观看| 久久婷婷原创视频| 精品热九九| 日韩婷婷| 色啪网| 狠狠五月激情丁香六月| 夜色综合网| 久久婷婷亚洲| 99视频网| 丁香婷婷影院| www,五月天激情| AV天堂婷婷五月天| 丁香六月五月婷婷| 五月激情日本在线| 婷婷五月综合色中文字幕| 五月天激情小说| 伊人五月天综合网| 综合五月草 | 婷婷丁香色五月| 五月天婷婷导航| 婷婷综合激情五月综合| 成人五月天在线视频在线观看| 亚州激情网站无码| 夜夜做天天爽| 日韩色情亚洲五月天婷婷| aaa日韩| 婷婷色激情五月天| 天天爱天天做天天操| 婷婷色五月天在线观看| 99热66| 五月天婷婷乱论小说| 色色com| 中文AV在线播放| 九九色色网| 日韩视频99| 狠狠五月天| 色婷婷视频| 熟女人妻视频| 97超碰在线观看免费| av成人在线播放| 婷婷月综合| 性色欲情 网站| 五月天婷婷爱丁香中文字幕| 最新精品视频99| 五月综合色播播丁香婷婷| 激情六月婷| 丁香五月天视频| 人人操人人干AV| 亚洲日日操| 丰满少妇猛烈A片免费看观看| 91呦呦呦| 开心五月婷婷婷美女| 久久欧洲久久| 亚洲色综久久五月| 久狠狠| 亚洲精品午夜国产va久久成人| 色墦五月丁香| Y11111111111少妇电影院| 一本色道久久88加勒比—| 2015好吊操| 天天干天天色天天干| 噜噜狠狠色| 九九99久久| av大片在线| 丁香久久激情俄| 久久久18| 激情婷婷五月亚洲| 婷婷日日夜夜| www.婷婷五月| 欧美日本国产| 操人无码| 99热99热不卡| 久久婷婷影院| 亚洲成人影视在线| 国产激情av| 深爱五月中文字幕| 色噜噜五月天| 少妇搡BBBB搡BBB搡毛茸茸| 五月花激情网| 色八月婷婷| 激情五月丁香六月综合AVXXXX| 亚洲婷婷91丁香| 在线视频区| 久久久久亚洲AV成人无码电影| 天天日天天摸天天| 色色五月婷婷久久| tingtingcaobi| 婷婷五月丁香A∨| 亚洲欧洲色色| 丁香五月色网| 91午夜婷婷狠狠久久综合9色| 97在线刺激| 五月亭亭六月激情| 99热这里只有精品1025| 久久婷婷五月天大香蕉| 婷婷97| 丁香六月成人| 国产成人精品亚洲线观看| 亚洲AV第二区国产精品| 婷婷五月天激情小说网站| 婷婷中文字幕| 九九一区| 五月丁香六月色婷| 色五月综合激情| 亚洲色色色| 五月丁香久| 国产日韩亚洲欧美在线观看| 丁香六月婷| 久久婷婷大香蕉| 午夜美女人啪最红院| 色玖玖导航| 婷婷综合玖玖五月| 亚洲综合网激情小说| 思思精品视频| 五月婷视频| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 久久黄A片| 丁香五月av| 精品一区二区三区四区五区六区| 51成人| 五月丁香六月婷婷激情视频在线观看免费 | 丁香色六月| 十月色综合| 亚洲V国产V欧美V久久久久久| 天天色播| 日韩超碰在线| 亚州精品成人片| 婷婷五月天亚洲图片| 综合五月天| 五月丁香久久网| 噜噜色com| 色综合激情图区| www.色婷婷。com| 日本狠狠色| 亚洲中文字幕av| 天天操加勒比| 9热在线观看| 日日干天天爽| 超碰免费电影| 婷婷五月激情丁香激情| 国产成人精品一区二三区熟女在线 | 天天做夜夜爽| 久久97久久99久久综合欧美| 有码人妻久久| 五月激情视频| 丁香五月天欧美成人| AV操逼网| 色婷天天| 97九色| 婷婷久月| 丁香五月婷婷六月| 欧美日韩91| 丁香九月激情| 日韩av在线电影| 色域五月婷婷丁香| 91丨九色丨白浆| 六月撸婷婷| 久久99激情| 色呦呦美女| 丁香蜜臀黄色婷婷五月天| 激情丁香五月| 97色在线观看视频| 91精品在线看| 九九色人| 深爱激情五月网| 亚洲操B视频| 99色色| 99日精品视频| 97干网站| 久久久婷婷婷| 久久婷婷影院| 丁香八月综合激情| 欧美黄色一级录像| 俺也去综合| www超碰com| 五月丁香六月婷婷在线观看| 色99免费视频中文| 999久久久国产精品| 久操激情| 激情AV| 天天搞夜夜叫| 日本视频不卡123区| 人人色AV| 丁香五月婷婷久久久| 欧洲亚洲免费视频9| 久久AAAA片一区二区| 日日操,夜夜爽| 免费看片在线观看| 97极品在线| www,色婷婷| 五月丁香五月综合欧美| 狠狠色激情在线| 超碰69天堂| 亚洲国产精品VA在线看黑人| 99久在线观看| 婷婷五月天成人网| 久热这里只有精品在线| 偷拍九九五月丁香婷婷| 五月天综合婷婷| 五月天成人伊人| 狠狠色狠狠色综合日日91| 狠狠色五月| 久久久久久xxxxx| 婷婷五月天VI| 99.N在线视频| 深爱婷婷基地| 不卡成人免费| 婷婷九月激情| 五月天综合区| 3p久久| 9久热| 天天做天天爱天天高潮| 婷婷五月激情六月| 色五月婷婷基地| 风流少妇A片一区二区蜜桃 | 色99在线观看| 开心五月婷婷五月| 九九99在线视频| 色五月成人| 在线理论片| 色玖玖综合| 日日婷婷不卡| 99成人在线观看| 国产九月婷婷| 这里只有九九精品| 第五色婷婷| 日本啪啪天堂| 婷婷五月蜜桃成人桃色丁香| 免费视频WWW在线观看网站| 久久久国产精品黄毛片 | 99久久久免费| 色五月丁香婷婷久草| 综合激情伊人影视在线| 99热传媒| 色婷婷丁香五月| 五月丁香狠狠| 婷婷色色网| 67194线路二在线观看| 99A片| 五月天婷婷激情网| 激情五月婷色| 婷婷激情五月综合| 精品爆操| 亚洲成人乱码av网站| 9久久久久| 一本到不卡高清DVD| 99精品热| 99在线精品在线视频| 狠狠艹狠狠艹| 亚洲精品在线视频| 新激情五月天| 色爱综合网| 婷婷十月激情综合网| 日本女va| 久久看婷婷| 情欲禁地| 五月天婷婷视频| 一起草av在线观看| 人与禽A片啪啪| 91一起操| 丁香五月婷婷六月丁香| 五月天色在线| 久鲁鲁色网 | 99色最新在线视频| 97干在线播放| 色综合9| 国产成人精品亚洲线观看| 亚洲熟女色| 九热视频| 五月天婷婷丁香蜜桃91| 狠狠综合| 欧美视频五区| 色色色色色色五月婷婷| www.99视频| 9|无码久久久久久| 五月婷婷色播| 五月丁香综合啪啪対白| 丁香五月在线人妻| 91日日日| 另类丁香综合| 免费看欧美成人A片无码| 九九热免费| 激情综合五月天| 婷婷中文字幕| 婷婷播5月| 色区域网站视频| 一起草无码视频| 日韩久久色| 九九综合网色全集 | 99国产精品久久久久久久久久久| www.91.com黄| 婷婷五月色综合| 天天爱天天吃狠天天透| 五月天综合影院| jiujiu无码五区| wWwCom夜操wwW| 欧美日韩99| 五月亭大香蕉| 最新AV在线观看| 超级碰碰碰久久网站| 婷婷五月天A V| 午夜精品久久久久久久爽| 五月丁香六月| 久久精品99国产精品日本| 91碰碰碰| 五月丁香成人网| 大香蕉手机视频| 99色综合| 日本久久网| 久久免费精彩视频| 91狠狠综合久久久| 玖玖资源网站最新站| 91丨九色丨丰满人妖| 色综合视频| 色色综合激情| 永久天堂日本| 一区=区操屄高清大全av| A短视频免费在线观看| 免费观看全黄做爰的视频| 少妇水多A片太爽了| 成人片黄网站色大片免费毛片| 亚洲日韩一页精品发布| 99色综合| 99热在线播放| 亚州美女| 亚洲第一成人无码A片| 五月天激情图片| 狠狠穞A片一區二區三區| 开心激情婷婷| 国产成人精品一区二区三区视频| 熟女激情五月天| 99爱视频在线观看| 六月天婷婷| 国产FREESEXVIDEOS性中国| 色婷婷8| 爱久久小说下载网| 七月丁香婷婷 色色| 婷婷黄色网| 五月丁香偷拍| 国产精品视频网| 婷婷久久精品| 丁香婷婷大香蕉| 91碰视频| 免费视频舔| 色五月丁香婷婷综合| 五月婷婷色激情| 久久少妇视频| www.五月天婷婷| www.99热视频| 青青草国产亚洲精品久久| 果冻传媒A片一二三区| 天啪色| 日本啪啪网| 丁香六月婷婷久久综合八月| 五月激情视频网| 亚洲成人婷婷| 激情久久久久久| 日本天天操| 久操欧美在线观看97| 超碰五月婷婷五月天| 欧美日比视频| 亚洲激情无码久久| 快色t v在线入口| 泰州成人视频| 五月天丁香综合| 久久激情五月| 任我干视频在线观看| 九九九九九九综合| 做爰丰满少妇1313| 久热AⅤ| 九九热黄色| 五月天影院婷婷在线观看| 深爱激清网| 欧美内射AA| 丁香激情综合| 五月丁香激| 思思网站| 五月丁香另类图片| 深爱激情丁香| 日本nghangse中文字幕| 丁香玖玖视频大全| 六月丁香婷婷综合色播| 99青青草| 996er热| 99ER热精品视频| 日韩黄色电影| 婷婷久久视频| 人妻久久久久久| 国产精品久久久久久妇女6080| 变态另类色图| 欧美日韩国产一区| 九九视频精品在线免费| 六月丁香网| 国产毛片精品一区二区色欲黄A片 欧美交换配乱吟粗大25P | 天天操综合网| 久久曰曰| 99re青青草| 夜夜 操无码| 久久狠狠色| 91人人爽久久涩噜噜噜| 伊人激情| 熟女91九色| 亚洲瑟瑟精品在线| 久久婷五月婷| 色www99| 国产xxxxx在线观看| 九九视频在线| 色婷婷基地 | www.99婷婷| www开心激情网| 午夜丁香| 99久久五月丁香野外| 婷婷伊人激情婷婷| 亚洲AV综合网| 蜜乳av一级av| 噜综合| 婷婷五月天在线观看| 中文字幕日产A片在线看| 激情黄色小说色五月| 思思热精品在线观看| 熟妇无码乱子成人精品| 国産精品| 丁香五月婷婷影院| 欧美性色A片免费免费观看的| 日本免费91| 玖玖资源天天无码| 午夜69成人做爰视频| 98色花堂98t.R| 精品草原久久视频| 激情久久久| 蜜乳AV成人| 天天久久综合| 狠狠综合网| 97热九九| 99热这里只有精品1998| 丁香久久| 亚洲婷婷91丁香| 亚洲99精品欧美一区| 96丁香婷婷九月蜜桃综合久久| 韩日在线熟女| 99自拍视频网站| 大香蕉Av在线| 亚洲精品性色| 99网| 日韩无码一区二区三区四区| 无码人妻一区二区三区免费九色| 色综合久| 噜综合| 色婷婷免费观看| 激情久久 婷婷| 五月婷婷综合久久| 婷婷色导航| 噜噜狠狠| 九九九九国产| yazhochengrenavwang| 丁香激情网| 色色免费网站| AV网在线| 青青草六月丁香| 久久精品99国产精品日本| 伊人干综合| 99久久婷婷五月综合| 丁香九月激情久久| 天天夜天天色天天| 国产3p露脸普通话对白| 99 色色吧| 成人丁香五月天| 草一草avb| 玖玖爱综合网| 九九九色综合| 久久久久久激情| 久热99热| 国产在这里只有精品| 久婷视频| 99精品视频网| 久草狼人| 久狠狠狠| 激情九九六月激情免费视频| 九九婷婷网五月天| 国产婷婷久久| AV成人在线播放| 色婷婷综合久久久久| 久久人人超| 99碰碰| 激情五月婷婷五月| 一起草Av| 色情五月天se| 高清资源站日A美A欧亚…| 天天久久综合| 综合久久狠狠| 五月丁香激情综合六月涩涩爱| 亚洲视频一区| 五月天黄色激情小说| 亚洲成人日韩无码精品| 丁香午夜天| 久久在线大香蕉| 91成人视频| 99欧美| 久久激情视频| 色婷婷丁香五月天在线视频| 丁香五月狠狠在线观看| 丁香花五月天| 伊人爱爱日本| 网站免费一站二站| 9l视频自拍九色9l视频自拍九色9l社区 | 九九精品在线视频观看| 六月丁香啪啪| 五月天色狠狠| 狠狠爱深色婷婷综合| 天天草比天天爽| 特级操b片| 伊人久久婷婷| 日本五月丁香| 十二区无码| 久re热视频| 丁香婷婷精品视频| 一本大道熟女人妻中文字幕在线| 久久久久久综合五月婷婷| 亚洲色图81p| 九九aV| 狠狠干伊人| 91精品久久久久久久久久久久| 色五月婷婷五月天| 久久之人妻| 日韩国产在线精品| 这里只有精品视频在线| 在线播放成人网站| 大战熟女丰满人妻AV| 色婷婷婷婷| 色综合com| 青青草视频免费观看| 丁香午夜天| 天天爽人人综合免费7799| 激情5月婷婷| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 色久激情在线| 99精品偷自拍| 999影院成人在线影院| 色婷久九| 婷婷五月色| www.五月瑟| 99精品激情| 九九综合影音先锋| 天天爽夜夜爽夜夜爽精品视频| 久久久久婷婷| 国产视频色色色色色色色| 丁XX 成人| 99热这里只有精品10| 九九99在线| 九月婷婷久久| 综合网五月| 免费国产VA国产免费| 7777久久亚洲中文字幕| 深夜男女福利刺激影院一区完整| www.久久五月天.com| 色五月激情综合| 天天干电影| 99久久综合| 亚洲国产精品五月天| 97婷婷丁香五月天激情图片| 婷婷五月丁香五月| 色婷婷色婷婷五月| 美女va| 欧洲区自拍| 九九碰九九爱97超碰| 天天天天天天操| 婷婷六月插屄激情| 五月婷婷日本| www久久久久久久久久久| 操九色| 成人婷婷桔色| 五月婷婷九| 日本乱子人伦在线视频| 成人 在线 日韩| 乱色色色| 欧美成人Va| 青青日韩| 免费观看全黄做爰的视频| 色色色网站| 99在线视频精品| 综合久久影院| 婷婷综合国产| 99九九精品| 婷婷性福五月天| 五月天色婷婷图片| 色欲人妻综合aaaaaaaa网| 亚洲丁香花五月丁香花| 色五月五月婷婷| 成人在线视频网| 色五月丁香婷婷久草|