欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

分布式唯一ID生成方案全解析:原理、痛點與選型

分布式唯一ID生成方案全解析:原理、痛點與選型 分布式系統(tǒng)里唯一ID生成幾乎是每個后端開發(fā)都要正面碰一回的問題。不管你是做訂單系統(tǒng)、IM消息、日志追蹤還是優(yōu)惠券發(fā)放只要上了微服務(wù)、做了分庫分表就會突然發(fā)現(xiàn)原來單庫自增主鍵那套玩法徹底失靈了。這篇文章我把這些年折騰過的方案一次性拿出來做個匯總從最簡單的UUID到大數(shù)據(jù)量下的號段、增強(qiáng)雪花算法都捋一遍每個方案的原理、坑點、適用場景都會展開講也會給出我的真實選型建議希望能幫你在做技術(shù)選型時少走幾條彎路。1. 為什么分布式系統(tǒng)需要唯一ID核心痛點和設(shè)計約束1.1 從兩個經(jīng)典業(yè)務(wù)場景說起先聊一個最常見的場景訂單號。早期單體應(yīng)用訂單表就用數(shù)據(jù)庫自增主鍵一張表搞定邏輯簡單查詢也快。但等單量漲到一定程度單表扛不住了你開始分庫分表。這時候問題來了——兩個庫各自維護(hù)自增IDA庫生成了1001B庫也可能生成1001訂單號就沖突了。即便你把自增值改掉設(shè)成不同的初始值等數(shù)據(jù)量再上漲、需要擴(kuò)容分庫時這種手工分片的方式也會變成噩夢。再看日志追蹤場景。一次用戶請求經(jīng)過網(wǎng)關(guān)、多個微服務(wù)、緩存、消息隊列每個環(huán)節(jié)都會打印日志。排障的時候你需要把這次請求的所有日志串起來唯一的辦法就是給整個請求鏈路的每一行日志都帶上同一個traceId。這個ID必須在所有服務(wù)節(jié)點上是全局唯一的而且要盡可能生成得快因為每次請求都會用到性能多一點延遲都能被放大成巨大的開銷。這兩個場景背后有一個共同的技術(shù)需求在一個沒有全局時鐘、沒有單點數(shù)據(jù)庫、節(jié)點隨時可能擴(kuò)容縮容的分布式環(huán)境里要生成一個不重復(fù)的ID還要滿足業(yè)務(wù)對趨勢遞增、安全隱藏等額外要求。這就是分布式唯一ID要解決的完整命題。1.2 唯一ID的四層核心訴求拋開具體方案先梳理清楚分布式唯一ID的設(shè)計約束后續(xù)看任何方案都能一眼判斷它合不合適。全局唯一性不用多說這是底線。任何時刻、任何節(jié)點生成的ID都不能重復(fù)否則直接導(dǎo)致主鍵沖突、數(shù)據(jù)覆蓋輕則臟數(shù)據(jù)重則線上事故。趨勢遞增性。數(shù)據(jù)庫的B樹索引對有序數(shù)據(jù)最友好。如果ID完全隨機(jī)插入時索引頁會頻繁分裂產(chǎn)生大量隨機(jī)IO寫入性能會急劇下降。這也是UUID做主鍵被人詬病的核心原因——它唯一但索引不友好。高可用低延遲。ID生成器是所有依賴它的業(yè)務(wù)的前置依賴。它掛一秒訂單就下不了消息就發(fā)不出去。生成時間通常在毫秒級甚至微秒級而且必須做高可用部署不能存在單點。信息安全性。訂單ID暗示著業(yè)務(wù)量用戶ID可以被遍歷猜測這些在有些業(yè)務(wù)里是安全風(fēng)險。如果生成規(guī)則里直接拼接時間戳、業(yè)務(wù)類型外部很容易推算出發(fā)貨量、用戶規(guī)模等敏感數(shù)據(jù)需要做防推算設(shè)計。這四層訴求不是每個場景都需要全部滿足但你在選型時必須逐條對照把需求優(yōu)先級排清楚才能選出最合適的方案。2. 六種主流ID生成方案逐一點評2.1 UUID最省事但陷阱很多UUIDUniversally Unique Identifier是很多新手的第一個選擇因為它在任何語言里幾乎都有現(xiàn)成的庫一行代碼就能生成。標(biāo)準(zhǔn)的UUID是128位的十六進(jìn)制字符串基于時間、節(jié)點標(biāo)識、隨機(jī)數(shù)等要素生成理論上全球唯一。用UUID做業(yè)務(wù)主鍵最大的好處是徹底去中心化本機(jī)生成不需要任何網(wǎng)絡(luò)請求性能極高擴(kuò)展性無限。但這東西的生產(chǎn)環(huán)境口碑并不好主要問題有三個第一太長。128位轉(zhuǎn)成字符串是36個字符含連字符如果直接作為數(shù)據(jù)庫主鍵一個二級索引就會多占用不少空間數(shù)據(jù)量大時存儲成本明顯上升。第二完全無序。上文說過隨機(jī)性極強(qiáng)的值寫入B樹時會造成頁分裂寫入性能相比自增ID會有明顯下降這在寫密集場景下是硬傷。第三不具備任何業(yè)務(wù)含義排障時肉眼完全讀不出任何信息。不過UUID也不是一無是處。在不需要排序、沒有趨勢遞增要求、并發(fā)量極大、且ID只作唯一標(biāo)識的場景比如消息中間件里的消息ID、異步任務(wù)的任務(wù)ID它仍然是很實用的選擇。2.2 數(shù)據(jù)庫自增ID最原始單點和性能是硬傷單庫時代的經(jīng)典方案。在MySQL里設(shè)置主鍵自增AUTO_INCREMENT每次插入數(shù)據(jù)時自動生成一個順序遞增的ID簡單可靠索引友好對DBA和經(jīng)驗型程序員來說最直觀。但一旦進(jìn)入分布式環(huán)境自增ID的問題立刻暴露。最明顯的是單點問題——所有節(jié)點都到一個數(shù)據(jù)庫實例取ID這個庫就是整個系統(tǒng)的瓶頸一旦它出問題所有依賴ID的服務(wù)全部癱瘓。而且單庫的寫入吞吐量有限通常每秒幾千到幾萬扛不住大流量的沖擊。解決沖突的辦法是把自增起始值按節(jié)點錯開比如A庫從1開始自增B庫從10001開始自增步長都設(shè)為10000但這只是權(quán)宜之計后續(xù)擴(kuò)容、節(jié)點數(shù)量變化時起始值和步長都需要重新規(guī)劃工程復(fù)雜度很高。這個方案如今只適合兩類場景系統(tǒng)規(guī)模極小、并發(fā)量很低的內(nèi)部工具以及遷移期的過渡方案。真正核心的交易鏈路不建議直接用數(shù)據(jù)庫自增做主鏈路ID生成。2.3 數(shù)據(jù)庫號段模式批量取號的進(jìn)階玩法號段模式也叫segment模式是對數(shù)據(jù)庫自增的改良思路非常巧妙。與其每生成一個ID就去數(shù)據(jù)庫查一次不如一次從數(shù)據(jù)庫取一批號段放在本地內(nèi)存里業(yè)務(wù)用完了再去取下一批。具體做法是在數(shù)據(jù)庫里建一張專門的號段分配表維護(hù)每個業(yè)務(wù)線的當(dāng)前最大ID和步長。比如步長設(shè)為1000某服務(wù)啟動后去數(shù)據(jù)庫執(zhí)行一次更新把當(dāng)前值從1改成1001然后這1000個號段就歸這個服務(wù)獨占內(nèi)存里依次派發(fā)用完了再來取一次號。這個方案把對數(shù)據(jù)庫的訪問頻率降低了幾個數(shù)量級。原來每秒生成一萬個ID需要一萬次數(shù)據(jù)庫操作用了號段模式之后步長足夠大的話數(shù)據(jù)庫的壓力可以忽略不計整體吞吐量能做到幾萬甚至十幾萬每秒。而且ID是趨勢遞增的對索引非常友好。它的代價是什么呢首先是依賴數(shù)據(jù)庫的可用性數(shù)據(jù)庫掛了號段耗盡后就無法生成新ID了需要配合數(shù)據(jù)庫高可用方案才能保證穩(wěn)定其次每個節(jié)點會存在號段浪費某個服務(wù)申請了1000個號但只用掉100個就重啟了剩余的900個就作廢了好在號段資源本身不貴這個損耗可以接受。另外因為每個服務(wù)在本地按號段派發(fā)多節(jié)點生成的ID區(qū)間是錯開的從整體看全局趨勢遞增但嚴(yán)格意義上它不是完全全局有序的對于不需要絕對排序的場景完全沒問題。號段模式在業(yè)界應(yīng)用非常廣泛很多互聯(lián)網(wǎng)公司早期的分布式ID組件都是基于這個思路做的優(yōu)點是實現(xiàn)門檻低、擴(kuò)展容易只要加號段步長就能線性提升性能。2.4 緩存中間件INCR高性能與持久化隱患很多團(tuán)隊用過緩存中間件的原子自增命令比如INCR命令來生成ID。這個操作本身是原子的能夠保證并發(fā)環(huán)境下的唯一性加上中間件本身的高性能可以獲得很高的吞吐量。實現(xiàn)思路也簡單在內(nèi)存里維護(hù)一個全局key每次請求執(zhí)行一次自增并返回??梢杂靡惶煲粋€key的方式實現(xiàn)日期前綴加序號這樣生成的ID還能自帶時間信息也方便按天重置。這個方案的優(yōu)點是性能高、延遲低、實現(xiàn)極簡幾行代碼就能搞定。但它的隱患同樣明顯依賴中間件的持久化機(jī)制如果中間件做了RDB快照和AOF日志配置得當(dāng)?shù)脑捒煽啃赃€湊合但如果用的是純內(nèi)存模式或者持久化策略保守一旦中間件異常重啟自增計數(shù)就可能回退從而產(chǎn)生ID重復(fù)后果非常嚴(yán)重。另外即使中間件本身是高可用的在故障切換時新的主節(jié)點如果沒有完全同步舊主節(jié)點的自增值同樣可能生成重復(fù)ID。需要做帶寬外的補(bǔ)償處理比如把最終ID拼上一個節(jié)點標(biāo)識位來避免沖突。所以我對這個方案的態(tài)度是它能用但要想清楚能不能接受底層依賴的風(fēng)險。在一般性業(yè)務(wù)里做個排他鎖、計數(shù)器還行如果做交易主鍵這類核心鏈路不推薦。2.5 雪花算法Snowflake時間戳機(jī)器位序列號雪花算法可以說是目前分布式唯一ID方案里的主流方案Twitter開源盡管我不建議直接點名公司這里就以這個概念來說明核心思想是把64位二進(jìn)制拆成時間戳、機(jī)器ID、序列號三個部分在單機(jī)內(nèi)通過序列號保證每毫秒內(nèi)生成的ID唯一在全局通過時間戳和機(jī)器ID保證跨節(jié)點唯一。64位的分配通常是這樣的第1位是符號位固定為0保證ID為正數(shù)接下來41位是毫秒時間戳可以支撐大約69年的使用然后10位是機(jī)器ID可以表示1024臺機(jī)器最后12位是每毫秒內(nèi)的序列號范圍是0到4095。也就是說單臺機(jī)器每毫秒最多能生成4096個ID單機(jī)每秒約400萬這個性能非??捎^。雪花算法的優(yōu)勢很明顯ID是趨勢遞增的時間戳本身就是排序依據(jù)索引友好單機(jī)純內(nèi)存運算不需要網(wǎng)絡(luò)IO生成速度快結(jié)構(gòu)上含有時間戳和機(jī)器信息能反推生成時間方便問題排查部署上每個節(jié)點獨立計算不存在中心化依賴高可用性非常好。它也有麻煩。最大的挑戰(zhàn)是時鐘回?fù)軉栴}。系統(tǒng)時間如果因為NTP校準(zhǔn)、運維操作被人為調(diào)回去那么生成的ID時間戳部分就可能小于之前的值同一毫秒序列號就算不一樣也會出現(xiàn)同一臺機(jī)器在時間戳倒退區(qū)間內(nèi)生成重復(fù)ID這是絕對不能接受的。這個問題我會在下面專門花一節(jié)講清楚。2.6 增強(qiáng)版開源方案易用性與運維成本針對原生雪花算法的時鐘回?fù)軉栴}、以及機(jī)器ID分配繁瑣的問題業(yè)界出現(xiàn)了很多增強(qiáng)方案。思路大致上是用數(shù)據(jù)庫或協(xié)調(diào)服務(wù)來自動管理機(jī)器ID在時鐘回?fù)軙r采用等待時間追平、或者借用未來時間戳等策略還有一些方案把ID的位數(shù)結(jié)構(gòu)做了調(diào)整比如縮短時間戳位數(shù)、增加秒級單位、把序列號位數(shù)加大來提升單秒容量。這類增強(qiáng)型組件的使用體驗通常比純自研好很多集成SDK后業(yè)務(wù)只需要調(diào)用一個接口就能拿到ID幾乎不需要關(guān)心底層細(xì)節(jié)。但代價是引入了一個新的基礎(chǔ)設(shè)施組件需要單獨部署、配置高可用、監(jiān)控告警一個組件從上線到穩(wěn)定運行往往要投入不少人力和運維精力。選型建議是這樣的如果你的系統(tǒng)規(guī)模還不大但已經(jīng)確定會走向分布式優(yōu)先選擇號段模式或者自研一個簡單的增強(qiáng)雪花算法不要一上來就引入重型組件。只有你的ID生成量級已經(jīng)到了每秒數(shù)萬甚至幾十萬、業(yè)務(wù)對ID穩(wěn)定性的要求極高、團(tuán)隊也有足夠的技術(shù)能力去維護(hù)才適合把某個成熟的增強(qiáng)組件作為公司級的基礎(chǔ)設(shè)施來做。3. 雪花算法深挖位結(jié)構(gòu)、時鐘回?fù)芘c代碼實現(xiàn)3.1 64位結(jié)構(gòu)拆解每個bit都不能亂挪雪花算法的魅力在于64個bit沒有一個是浪費的當(dāng)前通用的位分配如下第1位符號位固定為0。因為Java里的long是有符號整數(shù)如果第一位是1整個數(shù)變成負(fù)數(shù)會給后續(xù)使用帶來麻煩。第2到42位時間戳共41位記錄從某個自定義起始時間到當(dāng)前時間的毫秒數(shù)可以表示約69年。注意這個時間戳不是Unix紀(jì)元而是你自己定義的業(yè)務(wù)起始時間設(shè)計上通常取固定日期這樣同等位數(shù)能表達(dá)更長的時間范圍。第43到52位機(jī)器ID共10位可以表示0到1023共1024個節(jié)點。部分實現(xiàn)里會拆成5位數(shù)據(jù)中心ID加5位機(jī)器ID。第53到64位序列號共12位每毫秒內(nèi)的并發(fā)序列取值范圍0到4095。達(dá)到4096后就要等待下一毫秒。理解了位結(jié)構(gòu)你就能明白任何偏移都是可以定制和擴(kuò)展的。如果你的業(yè)務(wù)并發(fā)量沒那么高可以把序列號位數(shù)調(diào)少一點把時間戳位數(shù)調(diào)多一點延長可用年限如果你的機(jī)房數(shù)量少而單機(jī)并發(fā)高可以調(diào)整數(shù)據(jù)中心位和機(jī)器位的比例。這種按需裁剪的能力是雪花算法能長期流行的底層原因。3.2 核心代碼實現(xiàn)一個可用的Java參考版本下面給出一份我自己維護(hù)的精簡版雪花算法Java實現(xiàn)你可以直接在項目里參考使用。它主要實現(xiàn)了時間戳拼接、序列號遞增、時鐘回?fù)軝z測這幾個核心邏輯。public class SnowflakeIdGenerator { // 分別定義位數(shù) private static final long START_TIMESTAMP 1700000000000L; // 自定義起始時間戳 private static final long MACHINE_ID_BITS 10L; private static final long MAX_MACHINE_ID (1L MACHINE_ID_BITS) - 1; private static final long SEQUENCE_BITS 12L; private static final long SEQUENCE_MASK (1L SEQUENCE_BITS) - 1; private static final long MACHINE_ID_SHIFT SEQUENCE_BITS; private static final long TIMESTAMP_SHIFT SEQUENCE_BITS MACHINE_ID_BITS; private final long machineId; private long sequence 0L; private long lastTimestamp -1L; public SnowflakeIdGenerator(long machineId) { if (machineId 0 || machineId MAX_MACHINE_ID) { throw new IllegalArgumentException(非法機(jī)器ID); } this.machineId machineId; } public synchronized long nextId() { long currentTimestamp System.currentTimeMillis(); // 時鐘回?fù)軝z測 if (currentTimestamp lastTimestamp) { long offset lastTimestamp - currentTimestamp; if (offset 5) { // 回?fù)艹^閾值直接拋異常等運維介入 throw new IllegalStateException(時鐘回?fù)車?yán)重拒絕生成ID回?fù)懿钪? offset); } // 回?fù)茌^小等待原時間追上 while (currentTimestamp lastTimestamp) { currentTimestamp System.currentTimeMillis(); } } if (currentTimestamp lastTimestamp) { sequence (sequence 1) SEQUENCE_MASK; if (sequence 0) { // 當(dāng)前毫秒序列號用盡自旋等待下一毫秒 currentTimestamp waitNextMillis(lastTimestamp); } } else { // 新的一毫秒開始序列號歸零 sequence 0; } lastTimestamp currentTimestamp; return ((currentTimestamp - START_TIMESTAMP) TIMESTAMP_SHIFT) | (machineId MACHINE_ID_SHIFT) | sequence; } private long waitNextMillis(long lastTimestamp) { long currentTimestamp System.currentTimeMillis(); while (currentTimestamp lastTimestamp) { currentTimestamp System.currentTimeMillis(); } return currentTimestamp; } }這段代碼有幾個關(guān)鍵細(xì)節(jié)生成方法必須加synchronized否則多線程并發(fā)下序列號會沖突序列號用位運算保證在0到4095之間循環(huán)超過4095自動清零配合等下一毫秒的邏輯就堵住了溢出的可能性時間戳起始值務(wù)必設(shè)置為某一天不要從1970年開始否則同樣表示69年從2024年算起就遠(yuǎn)夠用了但數(shù)字太大會讓ID暴長起始值靠前的話ID數(shù)值小看起來更清爽。3.3 時鐘回?fù)軉栴}三種處理策略時鐘回?fù)苁茄┗ㄋ惴▽崙?zhàn)中遇到概率最高的坑也是生產(chǎn)事故的高發(fā)點。服務(wù)器時間被人為調(diào)整、NTP同步跳變、虛擬機(jī)時鐘漂移都可能導(dǎo)致當(dāng)前系統(tǒng)時間小于上一次生成ID時的時間。回?fù)芷陂g時間戳部分變小序列號必須從0開始這就很容易生成一個比之前更小、甚至完全一樣的ID。業(yè)界常見的處理策略有三種你可以根據(jù)自己業(yè)務(wù)的容忍度來選策略一是等待追平。檢測到回?fù)芎笞尵€程自旋等待直到系統(tǒng)時間追平上次生成時間。這個策略最簡單回?fù)芊刃资撩雰?nèi)的時候體驗很好但如果回?fù)艹^幾秒所有請求都會阻塞服務(wù)就會明顯卡頓不適合高并發(fā)場景。策略二是強(qiáng)校驗失敗?;?fù)芤坏┌l(fā)生直接拋出異常讓請求失敗、走熔斷降級由運維檢查恢復(fù)。這個策略最安全適合回?fù)軜O罕見且業(yè)務(wù)不能容忍錯誤ID的場景代價是一小段時間內(nèi)產(chǎn)生異常率。策略三是借用未來時間戳。把序列號空間擴(kuò)展一些當(dāng)回?fù)馨l(fā)生時用上一個ID的序列號加一個大偏移來遞增直到追平正常時間。這個策略能保證連續(xù)性但會導(dǎo)致一段時間內(nèi)的ID時間戳是跳躍的如果業(yè)務(wù)有嚴(yán)格的時間維度統(tǒng)計需要格外注意。我的建議是主默認(rèn)用等待追平加一個閾值判斷回?fù)艹^閾值就拋異常。這里的閾值可以設(shè)成5毫秒既能處理輕微的時鐘抖動又不會讓系統(tǒng)默默錯誤運行。3.4 機(jī)房隔離與機(jī)器號分配機(jī)器ID的分配如果全靠手工配置在上千臺機(jī)器的規(guī)模下會讓人崩潰。常見的做法有三個層次一是純配置文件管理適合機(jī)器數(shù)量少、變動不頻繁的團(tuán)隊。每個服務(wù)實例的配置中心里寫死一個machineId注意保證唯一性。這個方案實現(xiàn)成本最低但出現(xiàn)重復(fù)機(jī)器ID時會直接導(dǎo)致ID沖突后果是災(zāi)難性的。二是基于數(shù)據(jù)庫分配。建一張機(jī)器ID分配表服務(wù)啟動時向數(shù)據(jù)庫注冊獲取一個未使用的機(jī)器ID并做有效期管理服務(wù)失聯(lián)后可以回收。這個方案比較可靠但引入了一次注冊依賴。三是基于協(xié)調(diào)服務(wù)自動分配。利用協(xié)調(diào)組的臨時節(jié)點特性服務(wù)啟動時創(chuàng)建臨時節(jié)點申請ID斷開連接后臨時節(jié)點自動刪除ID自動釋放。這個方案最自動化比較適合大規(guī)模集群但引入了一個新的基礎(chǔ)組件。實操中還有一種偷懶但有效的辦法不顯式管理機(jī)器ID而是把機(jī)器ID替換成隨機(jī)啟動值每次啟動隨機(jī)生成一個0到1023之間的數(shù)字。這種方案在節(jié)點數(shù)很少個位數(shù)時利用率極高但節(jié)點多了之后碰撞概率會不可控不建議正式環(huán)境這么干。4. 方案落地與選型建議不同業(yè)務(wù)場景怎么選4.1 選型決策的核心維度先把各維度的權(quán)重在你的團(tuán)隊里排清楚。我一般按下面幾個順序詢問業(yè)務(wù)方是否需要趨勢遞增每秒的峰值QPS大概多少ID里能否包含明確的時間信息外部能否通過ID推測業(yè)務(wù)量對底層基礎(chǔ)設(shè)施的運維能力到什么水平這五個問題問完方案的邊界基本就清晰了。比如高并發(fā)、強(qiáng)遞增、低延遲的交易系統(tǒng)基本直接鎖定雪花鏈路中小規(guī)模、希望簡單可控的內(nèi)容系統(tǒng)號段模式反而比架構(gòu)更重的方案好用日志系統(tǒng)只要能快速出ID、不需要關(guān)心順序UUID也能勝任。4.2 偏向趨勢遞增的訂單場景典型的訂單服務(wù)對ID有三個要求絕對全局唯一很強(qiáng)的趨勢遞增性因為訂單表經(jīng)常按時間排序或者使用時間范圍查詢整體延遲要低不能因為ID生成拖慢下單鏈路。在單機(jī)性能要求不是特別夸張的情況下我傾向選號段模式。原因很簡單號段模式實現(xiàn)直觀、故障點少一個數(shù)據(jù)庫高可用就能覆蓋整個ID服務(wù)的可用性ID的連續(xù)性和遞增性也符合訂單系統(tǒng)的語義。很多訂單號看起來就是幾個數(shù)字在漲運營和客服肉眼就能排序這種可解釋性是雪花ID不具備的。如果訂單量極大、單機(jī)號段的頻率還是太高可以加一層本地緩存、調(diào)大步長。記得步長不要設(shè)成某個固定值就完事建議做成可配置的能根據(jù)業(yè)務(wù)峰值動態(tài)調(diào)整。4.3 強(qiáng)性能的日志場景日志鏈路traceId的生成環(huán)境比較惡劣——每個服務(wù)節(jié)點每處理一次請求都可能要生成一個ID全鏈路上每秒累計可能要生成幾百萬個ID。此時對ID元信息的關(guān)注度極低排序要求也不高但性能要求極高。這時候UUID反而可能比雪花算法更合適。因為沒有時間戳和機(jī)器位的組裝邏輯上只需要生成隨機(jī)數(shù)和格式化字符串單次生成的CPU開銷很小。擴(kuò)展方面也簡單每臺機(jī)器是獨立的系統(tǒng)擴(kuò)容無需協(xié)調(diào)機(jī)器ID分配。日志的存儲可以按天分目錄、用搜索引擎建索引無序問題在日志場景里并不突出。如果追求ID里能看出生成時間可以用日期前綴加一段隨機(jī)數(shù)或者直接用60位壓縮版的雪花算法但去掉機(jī)器ID位讓時間戳和序列號做主結(jié)構(gòu)。這需要在性能和信息量之間做個取舍。4.4 多機(jī)房部署的全局協(xié)調(diào)多機(jī)房部署是所有方案都要面對的特殊場景。如果兩個機(jī)房各跑一套ID服務(wù)它們之間的ID必須保持全局唯一不能因為機(jī)房間網(wǎng)絡(luò)分區(qū)而導(dǎo)致重復(fù)。雪花算法天生適合多機(jī)房機(jī)器ID的10位里拆分出數(shù)據(jù)中心ID就是干這個的。不同機(jī)房分配不同的數(shù)據(jù)中心ID段機(jī)房間不需要任何通信就能保證全局唯一這條特性讓它成為多機(jī)房場景的首選。號段模式在多機(jī)房場景下則需要額外設(shè)計。不能讓兩個機(jī)房同時從同一個號段表取號否則會產(chǎn)生相同號段正確做法是按機(jī)房設(shè)置不同的步長和分區(qū)規(guī)則或者給最終ID拼上機(jī)房標(biāo)識位。相比之下改造工作量和踩坑成本都比雪花算法要高一些。5. 實戰(zhàn)避坑我在生產(chǎn)環(huán)境踩過的七個坑5.1 時鐘回?fù)軐?dǎo)致ID重復(fù)這是最典型的線上事故我遇到過某臺宿主機(jī)因為NTP校準(zhǔn)導(dǎo)致時鐘回跳了幾十毫秒ID服務(wù)直接生成了重復(fù)的ID寫入數(shù)據(jù)庫時拋主鍵沖突接口報錯持續(xù)了幾分鐘。復(fù)盤發(fā)現(xiàn)回?fù)芷陂g組件用的是簡單等待策略但等待邏輯沒有結(jié)合閾值判斷回?fù)芰?0毫秒它就直接用了回?fù)芎蟮男聲r間戳導(dǎo)致時間戳倒退后序列號歸零。修復(fù)方案就是我在上面3.3節(jié)提到的等待加閾值、超閾值就快速失敗兩條路線都配上告警。現(xiàn)在這套雙保險上線后再沒有出現(xiàn)過重復(fù)ID。5.2 序列號溢出單機(jī)高并發(fā)加單毫秒內(nèi)序列號超過4095時代碼會自旋等待下一毫秒??此茻o害但如果業(yè)務(wù)高峰期同一毫秒的并發(fā)請求超過4096個所有請求都會卡住延遲飆到幾毫秒甚至幾十毫秒。更隱蔽的是如果并發(fā)量再高一點有些實現(xiàn)的序列號位直接溢出丟棄造成ID重復(fù)。這個問題的應(yīng)對是監(jiān)控序列號使用率在壓測時就把單機(jī)QPS摸清一旦超過設(shè)計上限就得擴(kuò)容機(jī)器或者調(diào)小機(jī)器位位數(shù)、放大序列號位。別迷信4096這個數(shù)看起來很大在某些高峰集中、批量調(diào)用的鏈路里一毫秒幾千并發(fā)完全可能。5.3 機(jī)器ID分配失誤有次某兩個實例的機(jī)器ID被配成了同一個數(shù)結(jié)果一個集群里兩個節(jié)點生成的ID偶爾出現(xiàn)重復(fù)。這種問題最詭異問題只出現(xiàn)在兩個節(jié)點同時生成、且毫秒內(nèi)序列號也相同的極小概率窗口里初期壓測未必能發(fā)現(xiàn)上線后才偶然觸發(fā)。從那以后我強(qiáng)烈建議所有雪花算法生產(chǎn)環(huán)境必須有機(jī)器ID注冊和沖突檢測機(jī)制。如果是純配置文件管理的每次發(fā)布前做一次全量巡檢如果用了協(xié)調(diào)服務(wù)自動分配也要檢查節(jié)點重啟時ID是否被正確釋放否則會積累出一堆“僵尸ID”。5.4 UUID做主鍵的索引問題這不是一個必踩的坑但會讓你在性能測試時懷疑人生。早期某個日志表用了UUID做主鍵數(shù)據(jù)量到了千萬級之后插入速率明顯下滑從每小時幾百萬降到幾萬。DBA排查出索引碎片率極高葉子節(jié)點頻繁分裂最后重建表、把主鍵改成自增代理主鍵UUID放到底層唯一索引里做邏輯唯一校驗才算正常。如果你的表數(shù)據(jù)量巨大且寫入很頻繁不要拿UUID直接做聚簇索引主鍵這是血的教訓(xùn)。5.5 號段模式申請后重啟導(dǎo)致號段浪費號段模式的浪費其實是可以接受的但有一種情況會讓你肉疼步長設(shè)得太長比如一次取10萬個號某個服務(wù)剛?cè)⊥晏柧椭貑⒕幊淌皆俜峙溆值弥貑⒁淮?0萬個ID瞬間打水漂。如果步長過大加上頻繁重啟浪費率可以達(dá)到30%以上。我的經(jīng)驗是把步長設(shè)為正常高峰期10分鐘的消耗量既保證數(shù)據(jù)庫訪問頻率低又最大限度降低浪費率。同時把“重啟后號段扔棄”的行為記進(jìn)日志便于統(tǒng)計浪費率。5.6 ID信息泄露風(fēng)險有段時間我們的訂單號直接用了時間戳加序號的拼接方式結(jié)果外部可以從訂單號推算出每日訂單量和商家分布。后來安全團(tuán)隊要求整改把所有外部可感知的ID改成隨機(jī)性更高的方案在序列號部分引入一定的隨機(jī)偏移或在ID外層做混淆映射內(nèi)部存儲仍用原始ID。做交易、營銷這類對外系統(tǒng)的同學(xué)請?zhí)貏e注意ID即信息的方案一定要慎重。寧可損失一部分趨勢遞增性也要保證外部不可猜測。5.7 監(jiān)控缺失很多組件在故障初期是沒有明顯表象的時鐘回?fù)?、序列號溢出等問題在發(fā)生之前會有各種征兆——生成耗時增加、重復(fù)請求比例上升、告警閾值波動等。如果你的ID生成器沒有獨立的監(jiān)控指標(biāo)這些問題點只能靠業(yè)務(wù)報障來被動發(fā)現(xiàn)。我給ID服務(wù)加的監(jiān)控指標(biāo)有生成耗時P99、每秒生成量、時鐘回?fù)艽螖?shù)、序列號溢出次數(shù)、機(jī)器ID沖突檢測結(jié)果。每天看一眼這些指標(biāo)就能把絕大多數(shù)隱患消滅在爆發(fā)之前。6. 方案綜合對比與性能參考6.1 六大方案橫向?qū)Ρ缺矸桨溉治ㄒ悔厔葸f增單機(jī)性能依賴組件實現(xiàn)復(fù)雜度推薦程度UUID高否極高無極低日志/消息ID數(shù)據(jù)庫自增高是低單庫/集群低小系統(tǒng)過渡數(shù)據(jù)庫號段高是高數(shù)據(jù)庫中中小規(guī)模業(yè)務(wù)緩存中間件INCR高是高緩存持久化低中低并發(fā)場景原生雪花算法高是極高無需配機(jī)器ID中大規(guī)模默認(rèn)選擇增強(qiáng)雪花組件高是極高協(xié)調(diào)服務(wù)自身集群高大型基礎(chǔ)設(shè)施6.2 大規(guī)模壓力測試結(jié)果參考我以標(biāo)準(zhǔn)8核16GB機(jī)器做過的實測數(shù)據(jù)供參考UUID生成單線程約100萬/秒無網(wǎng)絡(luò)開銷但存儲負(fù)擔(dān)大。數(shù)據(jù)庫號段模式步長1000單機(jī)約8萬/秒數(shù)據(jù)庫側(cè)每秒只有約20次更新集群整體性能取決于節(jié)點數(shù)。原生雪花算法單機(jī)約38萬/秒P99延遲0.2毫秒以內(nèi)主要瓶頸在synchronized和內(nèi)存分配。增強(qiáng)雪花組件在加入集群銷毀舊ID、分配新ID的網(wǎng)絡(luò)調(diào)度后單機(jī)約27萬/秒但勝在自動化和全局管理能力。這些數(shù)字只能在選型時做個量級參考不能作為絕對標(biāo)準(zhǔn)。實際數(shù)值和應(yīng)用所在語言、GC參數(shù)、服務(wù)器配置、并發(fā)模型都有關(guān)系請務(wù)必以你們自己的壓測環(huán)境為準(zhǔn)。6.3 高可用部署的小結(jié)方案的高可用性本質(zhì)上取決于它的最小依賴集。UUID沒有依賴天然高可用雪花算法依賴本機(jī)時間和機(jī)器ID分配多跑幾個節(jié)點就行號段模式依賴數(shù)據(jù)庫需要數(shù)據(jù)庫高可用來支撐緩存中間件方案對持久化和故障切換要求最高需要仔細(xì)驗證切換場景。架構(gòu)上的通用建議是ID生成器獨立部署成一個小服務(wù)而不是嵌在每個業(yè)務(wù)服務(wù)里。這樣雖然多了一層網(wǎng)絡(luò)調(diào)用但可以集中做監(jiān)控、限流和容災(zāi)切換底層方案時也不需要改動業(yè)務(wù)代碼。等量級再大再加一層本地緩存批量取號就能覆蓋絕大多數(shù)場景了。最后再分享一個實戰(zhàn)中很有效的細(xì)節(jié)不論最終選了哪個方案都要在ID里至少保留一部分時間信息。這樣排障時可以快速判斷一條數(shù)據(jù)是什么時候生成的壓縮日志、冷熱數(shù)據(jù)分離都會方便很多。分布式唯一ID看似是基礎(chǔ)小事但它直接影響著整個系統(tǒng)的穩(wěn)定性和運維體驗別在這上面省事。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠做婷婷| 国产伦亲子伦亲子视频观看| 婷婷综合网站| 欧美99| 六月 丁香 视频| 操操操操操电影网| 玖玖在线| www.cao.com久久| 97人人看| 九九这里只有精品| 97色色在线视频| 91精品久久久久久| 五月天久久网站| AV在线资源| 伊人五月网| 久久总和99| 中文成人在线| www久久99| 人妻啪啪啪| 深爱五月中文字幕| 精品视频这里只有精品| 五月天综合久久| 大香蕉啪啪啪| 玖久久网站| 97人人超| 91中文在线| 五月婷综合| 立川无码av| 日本三级网址| 综合爱久久| 免费视频WWW在线观看网站| 另类视频五月天| 美女100%露全身无挡网站| 九月av在线| 中国丰满熟女A片免费观| 99操逼| 色五月丁香五月天| 色婷婷AV久久久久久久| 久久激情五月天| 五月丁香| 国产亚洲色婷婷99精品| eeuss人妻| 欧美天堂久久| 色综合久久天天综合网| 婷婷丁香激情综合色情| 久久性爱视频| 97色色色色色色色| 这里只有精品视频在线观看免费| 婷婷 久综合| 色婷婷激情| 五月色婷婷综合丁香精品无遮挡| 五月伊人综合| 色欲丁香久久| 婷婷丁香五月天小说| AA丁香综合激情| 狼友超碰| 亭亭五月丁香综合欧美| 色10月婷婷视频| 丁香玖玖| 午夜九九九九九九九九九九九九九| 白度黄视频| 97人碰人操| 性av| 久久爱综合| 亚洲成人av中文| www.91热久久| 99在线看片| 91性交在线播放| 精品人妻伦九区久久AAA片| 99久视频| 99精品视频在线观看| 国产激情久久| 狼人伊人干| 色色色五月天婷婷| 人人搡人人| 久久婷婷资源| 婷婷酒色网| 色99网站| 色噜噜综合网| 五月天丁香婷婷网| 九九精彩久久| 婷婷五月天最新综合你懂的 | 婷综合六月| ou洲色吧| 婷婷六月色| 色五月之第四色| 五月丁香久久久久| 99 这里只有精品| 狠狠干伊人| 丁香六月在线| 97人人操人人| 日本欧美成人片AAAA| 国产偷人爽久久久久久老妇APP| 久久性爱视频| 大鸡巴伊人网| 成久综合视频| 五月天激情丁香| 熟女激情五月天| 国产探花AV在线| 无码髙清| 丁香五月激情五月| 丁香婷婷久| 玖玖精品婷婷| 亚洲avjiujiur91| 玖玖色资源| 亚洲亚洲激情| 99玖玖人人| 婷婷色色欧美| 五月天播播综合| AV在线观看网站| 五月天狠狠色| 五月丁香婷婷激情影院欧美| 久久激情综合| 丁香五月天在线观看| 九九久久99| 色色色色热| 久久久天堂国产精品女人| 啪精品| 日本三级大片| 日韩av在线播放综合网| 伊人久久激情图区五月| 超碰99久久| 日日色综合| 五月天色色无码| www91精品| 六月丁香基地| 亚洲综合五月天婷婷丁香| 九九热超碰| 免费观看日韩成人av| 亚洲色夜| 直接看的AV网站| 久久综合性| 狠狠色噜噜狠| 激情五月婷婷欧美极品| 天天插天天插天天插天天插 | 日本系列_4页_777FP| 99精品无码| 91在线观看www| 大香蕉视频婷婷| 120分钟婬片免费看| 中文字幕婷婷五月天在线观看| 久久六月天| 欧美日本不卡黄色片| 婷婷久久性爱| 26uuu欧美| 中文字幕无码人妻少妇免费视频| www.天天色综合| 丁香婷婷老司机久操| 九九激情综合| 欧美激情综合色综合啪啪五月| 激情亚洲五月| 久久网思思| 91超级碰在线视频| 日韩无码人妻一区二区| 天天激情| 伊人影院久久网| 伊人五月久久| 国产又色又爽又黄又免费| 亚洲旡码| 色99视频| 久xxxx| 思思热在线视频99| 91re色综合视频| 思思99热这里只有精品| 亚洲综合在线视频| 丁香五月婷婷深爱综合激情 | 天天免费日日夜夜夜夜| av在线婷婷| 亚洲综合视频天天精品| 涩五月婷婷| 99热这里只有精品1025| 丁香六月综合激情| 久色网| 五月婷激情影院| 伊人影院久久网| 色情一区二区播放| 婷婷综合国产| 五月丁花六月丁香综合| 色欲久久99精品久久久久久| 99热在线观看精品| 99九九在线观看免费| 婷婷六久久| 五月天婷婷色小说| 丁香五月婷婷国产在线| 俺去也婷婷| 久久久久久久久久婷婷| 人人摸人人| 日本久久极品| 五月婷六月| 另类视在线| 久久婷婷丁香| 日日爱678| 超碰av在线| av大香蕉| 中文字幕无码人妻少妇免费视频| 色欲五月婷婷| 99久在线精品99re5热视频| AVDV久久| 五月久久五月激情| 综合AV网| 99色视频| 成人va在线观看视频| 五月天另类激情在线| 丁香五月天色综合| 久久五月天影院| 五月激情天天干| 九九美女视频| www.久热| 亚洲性爱区无码区| 久久婷婷丁香五月宗合| 99热这里有精品| 国产日韩精品SUV| 69色婷婷| 色六月婷婷| 91色操| 99久久激情视频| 五月丁香| 欧美黄色一级| 五月丁香婷婷综合网| 久久这里只精品66| 亚洲区1| 99热1| 欧日美女Va| 免费黄网不卡AV| www.99视频| 九九色欲网| 久久久激情| 婷婷五月丁香综合激情小说| 青996青| 五月婷综合| 五月婷婷插一插| 久久久久久9热不雅视频| www.婷婷.com| 婷婷五月天成人基地| 久久天堂婷婷五月| 99精品无码| 高清无码中文字幕aVDV| www.色99| 欧美婷婷丁香五月| www.婷婷| 超碰免费99| 欧美五月丁香在线观看| 99精品97| 99视频在线9| 亚洲成人影视在线观看| 草草夜夜操| 99热精品观看| 色五月婷婷激情| 婷婷午夜| 日韩欧美性爱| 精品亚洲国产成AV人片传媒| 九九AV| 色性五月天| 色综合综合色| 九热电影av| 国产精品久久久久久久久久| 日夜操B| 九九九九这里只有精品| 激情 婷婷 丁香五月天| 色天天综合天天综合频道。 | 亚洲区视频| 青青青在线视频国产| 五月天激情AV| 久久机只有这里精品| 久久久18| 久久激情五月天| 婷婷97C| 精品久热| 久久五月天婷婷| 天天日本夜夜谢| 亚洲人人干| 99这里只有精品视频免费| 婷婷 丁香 久久| 日韩AV无码影片| 99色在线观看视频| 激情五月婷婷综合| 99在线视频女女视频| 99啪啪| 天天精品视频免费观看| 九九免费精品| 欧美VA在线观看| 人妻操逼视频。| 久草a片| 一区二区无码视频| 国产成人精品亚洲线观看| 久久激情五月婷婷| 中文AV在线播放| 色婷婷五月天天天干天天操天天爽| 狠狠色婷婷7| 色色色国产| 日亚二欧美| 日噜噜色| 日本一级大片| 丁香花五月天婷婷成人社区| 国产精产国品一二三在观看| 国产精品久久久久久亚洲毛片| av九九| 精品99在线| 精品人妻一区二区三区四区不卡在| 99色热视频| 亚洲综合网激情五月天| www久| 99操视频| 成人片久久网站| 99在线观看亚洲| 久热久| 九九激情综合| 婷婷激情五月天天天开心| 色五月天丁香| 99在线免费视| 亚洲黄网在线| 超碰人人妻| 大香人妻| 国产精品操| 色你久久| 只有精品视频在线观看| 婷婷中文字幕版| 青青草护士中出内射-欧美电影在线天堂新版 | 天天躁日日躁狠狠躁日日躁2022年5月9日| 99久久婷婷| 天天插天天射| 国产性爱大片久久| 色五月婷婷自拍| 七七九色| 91超级碰| 五月婷婷就去色| 六月天无码网址| 丁香久色| 激情欧美五月丁香| 97福利视频| 五月天激情四射| 99久视频| 激情色情五月天| 成人网页在线观看| 激情网五夜婷婷| 99热这里只有精品50| 婷婷五月综合视频免费播放| 狠狠丁香| 99热草草| 五月天综合在线| 99热6这里之有精品| 79色色免费| 丁香五月五婷| 婷婷五月色综合| 天天开心天天色| 成人婷婷色五月天| 丁香六月婷婷综合| 一区二区三区视频| 亚洲免费电影2| 人妻九九九九| 狠狠五月天婷婷激情网。| 色色色色色色色色色色色色色色,网站| 成人丁香| 丰满少妇乱A片无码| 综合网网欲色| 婷婷丁香五| 直接看的AV| 婷婷五月天综合网| 五月天久久小说| 99热综合网| 日韩AAA| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | WWW.五月天9999| www.成人婷婷综合| 99热9| 99丝袜精品视频网站| 狠狠舔| 久久九九视频| 开心五月婷婷| 久久性视频| 视色综合| 少妇高潮呻吟A片免费看软件| 日韩AV一区二区三区| 欧亚洲在线高清视频| 激情五月天www| 丁香六月婷婷色XXXXX| 日韩AAAAA| 五月天色丁香| 大香蕉欧美在线| 六月丁香激情最新更新| 五月激情小说网| 九月婷婷在线观看| 久久这里只有精品无码| 欧洲亚洲精品| 五月综合激情| 日日操夜夜爽| 五月天大香焦| 99热日本| 粉嫩AV久久一区二区三区| 五月丁香婷婷综合视频| 六月 丁香 视频| 国产亚洲精品久久久久苍井松| 91丨九色丨熟女| 这里只有精品免费视频在线观看| 国产欧美熟妇另类久久久| 9热在线视频| 激情综合五月.....| 婷色五月| 激情综合网五月| 久久爱婷婷| 成人草榴视频| 99精品视频在线| 大香蕉综合在线| 婷婷六月激情| 日韩黄色电影| 亚洲精品成人片在线播| 国内外色色色色色成人视频| 激情丁香五月AV| 婷婷五月天综合色| 97人碰人操| 五月丁香婷婷五月色| 色色亚洲视频| 天堂婷婷五月在线| 就99这里只有精品| 久草热8精品视频在线观看| 综合啪啪| 五月婷婷性爱| 婷婷五月激情热播| av大香蕉| 99热这里有精品24| 五月停停大香蕉| 五月丁香综合精品| 欧美婷婷丁香社区在线播放| 五月天婷婷永久免费视频| 精品欧美一区二区三区久久久| 色六月天天激情综合网| 免费观看欧美成人AA片爱我多深| hd五月婷婷在线| 嫩草AV久久伊人妇女超级A| 亚洲色婷婷色| 少妇性按摩无码中文A片| 五月丁香天天| 99日热在线视频| 五月香六月婷| 天堂网色色| 婷婷五月色色| AV九九| 99爱爱| 婷婷五月天va| 三日本无码| 九九精品视频在线观看| 五月天婷婷久草丁香| 色综合五月| 丁香婷婷五月六月久久| 丁香在线视频| 日日爱699| 成人短视频免费观看| 久久婷婷五月综合啪| 日本视频99| 夜夜操天天干| 超碰妻人人| 色深爱五月| 青青日韩| 五月丁香六月婷婷啪啪| 婷婷五月色亚洲| 激情骚五月| 久操福利| 五月丁香婷婷综合激情基地| 区啪精品| 亚洲精品99| 色婷婷六月综合| 成人精品免费在线观看| 国产成人av在线播放| 五月天婷婷色五月天| 日韩成人中文| 五月天激情四射网站| 深爱激情中文五月天av| 色五月综合网站| 色婷婷888| 草操网| 中文字幕 中文字幕明步| 婷婷五月视频| 99操逼| 韩日另类| 色久九| 国产夫妻操逼内射视频| 婷婷成人在线| 国产成人亚洲综合A∨婷婷| 五月婷婷激情色情网| 91热久| 久久久噜噜噜久久人妻| 综合久久人妻| 天天日综合网射| 久久综合9| AV人人操| 色屌丝中文字幕| 梁铮版蜘蛛女在线观看| 另类激情四射| 97成人在线视频| 天天摸天天舔在线视频| 丁香五月婷婷国产在线| 天天弄天天操| 六月丁香网| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 亚洲另类婷婷综合| 亚洲aV写真天天综合网久久| 亚洲夜五月| 五月婷综合| 狼人久草| 99碰碰视频| 五月中旬婷婷丁香六| 婷婷伊人| 98永久精品| 亚洲三A| 日本综合色图| 五月婷婷丁香啪啪| 五月天综合婷婷| 丁香五月色| 色播五月丁香综合| 久99久视频精品| 婷婷开心激情| 日本在线视频播放91| 色情五月天A片| 婷婷综合| 超碰操网| 日本一毛片| 开心婷婷五月综合| 久九男女天堂| 天天操夜夜操| 人人操五月天| 亚洲色另类| 欧美激情-区二区三区| 激情六月下句是什么| 日本黄色精品| 日噜噜色| 亚州欧美黄色电影| 五月天色五月天| 色噜噜狠狠色综合成人网| 中文字幕欧美精品久久| www.婷婷com| 2018国产大陆天天弄| 综合色图区| 久久婷婷五月天| se99视频| 丁香婷婷深情五月亚洲| 久久性爱视频久久性爱视频| 五月丁香另类网| 丁香五月天婷婷久久综合| www98日本小时间到了| 9色在线视频精品观看| 香港九九六区八区99| 97超碰婷婷五月天| 影音先锋日本三级资源| 再綫Av免费視品| 大香蕉啪啪啪| 人人爱操| 另类在线| 国产伦亲子伦亲子视频观看| 日日躁夜夜躁狠狠久久AV| 99热99在线| 综合久久婷婷| 丁香五月影院| 欧美成人AAA片一区国产精品| 少妇性BBB搡BBB爽爽爽视頻 | 26uuu欧美亚洲日韩| 亚洲综合网激情小说| 久久AAAA片一区二区| 久久亚洲网| 五月停停直播| 日逼免费视频| 五月丁香六月婷婷国产视频| 五月丁香影院| 五月丁香六月在线| 午夜天堂一区人妻| 丁香五月婷婷国产在线| 超级碰碰碰91| 大伊香蕉玖玖爱| 五月 成人 婷婷| 99精品热视频| 丁香五月欧美激情| 精品色情一区二区三区四区| 五月丁婷婷| 五月激情网综合| 很很干夜夜干| 色五月琪琪| 六月丁香五月婷婷| Www.sesese丁香| 大香婷婷| 久久这里只精品66| 噜噜噜色噜噜| 99久久大片| 五月激情天| 超碰99在线| 久久久国产精品黄毛片| 39视频第二区| 亚洲另类在线观看| 婷婷丁香激情| 色玖玖导航| 色狠狠色| 九九色情网五月天| 国产 码在线成人网站| 天天操天天操| 99超级碰碰| 五月丁香久久| 色综合色婷色基地| 综合五月丁香久久| 五月婷婷丁香色吧网| 亚洲欧美婷婷五月色综合| 思思久久99| www.com久久久久久久久久久久久久久久久| 婷婷五月天性爱视频| 色九九七七| 亚洲欧洲色色| 青青草五月天| 五月天婷婷综合网| 久久伊人婷| AV伊人青草丁香六月| 婷婷五月天天aV| 中文字幕成人| 亚洲国产成人AV在线 | 色婷久久| 成人网在线观看视频| 久久综合影院| 丁香五月,激情五月,深爱五月| 国产无人区大片| 国产99久久久国产精品免费看| 九九九九九九九九九九九九九国产精品| 啊v视频在线观看| 婷婷六月伊人| 91丨九色丨国产打屁股| 国产综合丁香五月天| 五月婷婷丁香啪啪| 强伦轩人妻一区二区电影| 色五月激情五月| 人妻久热| 开心五月深爱五月婷| 超碰91人人操| 亚洲成人无码免费| 夜夜操狠狠操天天操| 伊人久久婷婷| 99狠狠操一| 日本熟女一区二区| 激情网五月天| 久久ww| 亚洲99热| www,黄色在线,con| 人人爱干人人爱草| 久婷婷| 99久高清视频| 婷婷五月天激情综合深爱| 五月婷婷中文| 丁香五月综合激情性爱| 亚洲日韩欧美综合VA| 狠狠精品干练久久久无码中文字幕| 久久久久8888| 五月花婷婷| 婷婷五月天综合久久日美女| 亚洲看av的网站| 激情丁香五月| 精品五月视频婷婷在线观看| 天天肏在线观看| 超级97碰碰| 综合激情深爱| 99热综合在线观看| 色狠狠色噜噜噜a天堂一区| 国产精品色色| 激情影院内射| 79精品视频在线观看,| 97人妻碰碰碰久久香蕉| 综合久久高清| 亚洲一区国产传媒| 色婷久| 五月丁香综合中文| 日日操夜夜撸| 玖玖婷婷婷丁香五月| 丁香五月成人社区| 婷婷激情四射五月天| 激情五月丁香六月综合AVXXXX| 丁香综合日产精品久久| 色丁香久久久| 另类图片五月天激情| 激情五月四色| 99精品网址| 天天狠狠夜夜狠狠2023| 五月婷婷丁香网| 天天色天天日天天舔| 久99精品视频| 涩综合网| 婷婷五月天最新综合你懂的| 婷婷五月天小说| 激情小说五月丁香在线视频观看视频 | 久久99婷婷| 日本色色色| 亚洲va欧美| 99精品在线播放| 五月婷婷激情四季| 亚州在线中文字幕| 五月丁香色婷| 无码人妻一区二区一牛影视| 色婷婷电影网| 99热偷拍| 五月婷婷激情| 亚洲综合婷婷六月丁香五月| 婷婷综合偷拍| 九九综合伊人| 天天拍夜夜撸| yw国产AV| 婷婷色啪| 亚洲俩性性爱图片久久第六页| 精品国产乱码久久久久久免费| 五月丁香久久丝袜啪啪| 97碰成超视频免费视频| 国产激情久久久| 五月婷婷六月激情在线| 丁香99| 亚洲在线资源| 色天天久婷婷| 婷婷五月天毛片| 中文字幕黄色片| 色五月xxx| 色五月色综合| 亚洲男女激情| 天天摸天天舔在线视频| 91a片爽| 九热免费视频| 开心五激情网| 99色在线观看视频| 内射爽无广熟女亚洲| 五月婷婷综合久久| 久久久精品99| 在线sebiav精品视频| 丁香久久九九99| 99热无码精品| 亚洲射激情| 激情深爱五月天| 色情五月天A片| 婷婷五月综合免费在线| 激情婷婷。| 超碰在线超碰| 激情五月天激情小说| 五月丁香六月婷精品视频| 色综合久久久久久久久五月| 五月婷婷丁香大陆免费| 97婷婷色| 久久婷婷国产| 在线99精品| 丁香五月婷婷香| 婷婷色五月激情| 久久久婷婷五月亚洲97号色| 丁五月激情视频免费| 五月婷婷手机在线| 五月丁香日本一抹本| 98色丁香五月婷婷综合网| 免费看成人AA片无码视频吃奶| 99热这里只有精品青草| 蜜桃婷婷丁香| www.六月丁香看AV| 久色中文| 在线观看熟女少妇| 婷婷激情五月天网站| 色五月欧美| 手机在线日韩视频中文字幕| 丁香五月花| 五月丁香啪啪网| 亚洲成人五月天| 乱码操操| 欧美日韩99| 久久婷婷五月综合| 婷婷九月| 丁香五月婷婷激情四射深爱激情| 9久热精品在线视频| 日本视频不卡123区| 中文成人在线| 91在线观看www| 怡春院天天干| 五月婷婷综合影院| 日本久久婷| 大香蕉五月婷婷| 色五月开心开心五月激情五月| 亚亚州久久高潮| 亚洲99视频| 天天拍夜夜爽| 天天色视频| 婷婷娌伦网| 天天艹夜夜艹| 久草A片| 五月丁香啪啪综合| 97资源碰碰| 六月婷婷激情| 婷婷丁香十月| 丰满人妻一区二区三区| 久热免费| 日本99视频| 色欲色香综合网站| 婷婷99热| 这里只有精品9| 色情久久久| 五月丁香激情综合网| 婷婷婷婷婷开心无码播放| 亚洲激情av| 丁香婷婷综合激情五月色| 91趴趴| 99久久综合网| 亚洲狠狠狠| 91热网址| 激情五月婷婷| 4399欧美另类视频| 婷婷五月天亚洲激情戏精品| 久久天堂| 蒲京久久无码视频| 色婷婷XXXXX| 99精品视频在线免费观看| 99这里只有精品视频| 操一操干一干| 碰97久久| 天天爽天天摸| 91操人| www.无码com| 丁香六月激情综合网| 99综合| 丁香影院五月综合| 99性感视频| 这里只有精品免费视频| 丁香五月综合色婷婷| 五月天激情四射网站| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 久热超碰91| 在线国产精品色| 五月天丁香成人社| 一月婷婷色色| 五月婷婷五月色| 婷婷丁香91| 五月丁香色婷婷综合| 亚洲无AV在线中文字幕| 久久99免费视屏| 丁香色婷婷五月天| 91久久婷婷| 欧美啄木乌丝袜人妻系列| 无码人妻一区二区一牛影视| 丁香六月成人网| 涩丁香| 激情五月视频在线婷婷| 丁香五月婷婷五月| 久热超碰91| 99九九在线观看免费| 日韩欧美颜射| 噜综合| 日本精品久久久久中文字幕| 激情网第九色| 在线观看免费人成视频无码| 天天擼久久擼在线| 67久久| 婷婷伊人网| 婷婷综合亚洲| 中文字幕在线aⅴ免费观看| 亚洲婷婷激情五月天| 色色综合激情| 丁香六月婷婷综合| 色婷婷五月天在线| 操操自拍| 国产AV一区二区三区最新精品| 精品福利911| 青青草深爱激情网| 五月天开心激情综合网| 五月婷婷伊人网| 色色色色色九九九九九| 九九re精品视频在线观看| 能看的av片| 成人短视频在线免费观看| www.国产色| 99热这里只有精品2016| 91人碰| 亚洲欧美综合7777色婷婷| 99在线视频精品| 婷婷新网址| 激情五月丁香五月| 俺也去综合| 91操人| 国产五月视频| 久99热| 六月婷婷亚洲| 五月激情丁香五月宗合| 99热www| 丁香激情五月天| 日韩1区2区| 人妻内射麻豆视频| 免费观看日韩成人av| 免费观看的av| 色五月丁香婷婷| 亚洲va在线| 色九月欧美| 91聚色综合网| 免费视频无码| 六月婷久久| 99久.| 伊人深爱综合| 人妻乱码久久久| 久久五月视频| 超碰色婷婷| 色色丁香婷婷五月天| 日本99久久| 99操无码视频观看| 六月丁香网| 原琪琪色影院| 色五开心五月五月深深爱| 99re热精品在线视频| 99久久終合| 日本久久激情| 国产成人AV| 国产67194| 色优久久| 五月婷婷中文字幕| 97色永久免费视频| 亚洲AV综合在线观看| 俺去也综合| anquye五月| 久久久区区一久久久久久| 少妇久久诱惑视频| 亚洲爱爱无码婷婷色五月| 天天天天天操| 婷婷五月综合婷婷| 2015好吊操| 国产欧美婷婷| 久久精品国产色| 玖玖色资源站| 人人视频色| 久久五月天激情| 丁香五月影院| 天天弄天天操| 99日在线视频| 99热精品在线| 五月激情小说| 91色色五月天| 激情宗合 激情宗合| 婷婷色五月91啪啪| 人人操人人添人人摸97| 久热久操久热久草国产91| 香蕉乱插| 五月婷成人网| www色综合| 99在线观看精品| 婷婷啪啪| 天天操天天曰| 丁香五月五月婷婷| 色哟呦av| 婷婷免费精品视频| 丁香色五月AV在线| www.久久综合| 五月天成人网婷婷| 庭庭久久内射| 国产特级毛片AAAAAAA高清| 99re在线精品视频| 亚洲亚洲人成综合网络| Av免费网站在线| 五月丁香久人妻中文| 99久久66| 婷婷五月天免费| 五月天狠狠| 色婷婷综合网| 99九九热在线观看| 婷婷五月天黄色小说| 丁香五月天社区| 婷婷五月天99综合网站| 色丁香五月天射婷婷爱婷婷| 日日操,夜夜爽| 这里只有精品视频在线| 丁香婷婷影院| 丁香五月婷婷无码AV| 婷婷五月天激情开心网| 无码少妇高潮喷水A片免费| 色欲色香,www,com| 我要看激情五月天| 婷香五月激情视频| 色青五月天| w婷婷五月婷婷w| 色婷婷久久综合| 黄色AAAA韩国guochansanji| 性色播| 亚洲国产成人在线| 五月天综合色| 青青草原99热| 五月激情啪啪| 五月婷婷六月天| 婷婷色五月天在线观看| 亚洲情综合五月天| 无码地址| 伊人婷婷五月天| 色婷亚洲五月丁香| 丁香六月婷婷综合缴| 亚洲综合色婷| 91久久久久久| 夜夜综合色| 久久九九激情五月天 | 五月婷婷激情网| 久青草影院| 激情婷婷网| 天天干天天日天天操| 欧美A级成人婬片免费看理论| 操操碰| 丁香激情婷婷网| 色婷婷五月天在线观看| 国产VA播放| 丁香五月激情啪啪| 无码G高清天| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 五月婷婷五月天| 狠狠色狠狠色综合日日91| 99re这里只有精品视频了| 六月婷婷激情| 婷婷激情六月中文| 久久九九Com| 思思热在线视频99| 97人妻人人| 日韩乱玛久久| 热婷婷av| 91超碰九色| 丁香婷婷久久 | 91啪级电影| 青柠影视免费高清电视剧| 那里有AV网址| 伊人在线视频| 亚洲国产色色| 欧美日韩成人在线观看| 99热精品在线播放| 入口五月婷婷六月香| 人妻熟人中文字幕一区二区| 开心激情婷婷| 色玖玖玖| WWW.17C亚洲精品| 亚洲国产婷婷色五月| 涩五月婷婷| 99在线观看这里都是精品| 久99| 99热这里只有精品最新| 丁香婷婷久久综合在线| 丁香六月婷婷| 色色丁香| 成人无码精品1区2区3区免费看| 思思热在线视频99| 五月天婷婷激情在线色图| 五月婷免费视频| 五月婷婷激情综合| 五月丁香六月婷婷在线观看| 热久国产| 免费黄色视频网址| 99热只有这里才是精品| 九月婷婷色色| 色婷五月天| 怡红院院久久| 98色花堂98t.R| 3DAV亚洲香蕉久久 一区二区| 婷婷久久丁香五月| 天天摸天天舔天天爽| 激情五月婷婷视频一区二区三区| 日日夜夜狠狠| 四色五月婷婷| 九九成人精品| 在线视频99| 天啪天啪天啪天啪| 九九精品自拍| 五月婷婷六月天| 超碰九九热| 综合久久激情久久| 激情五月综合网最新| 久久精品视频在这里有| 五月天婷婷丁香蜜桃91| www超碰| 亚洲另类av| 欧美日韩婷婷五月天| 五月天伊人网| AV在线免费播放| 天天五月情| 国产精品电影| 日本人妻操| 91 影音先锋| 成人做爰A片免费看视频| 五月丁香六月婷婷成人电影| 激情综合网婷婷五夜| 婷婷五月草| 天天日天天狠狠操| 9伊人网| 精品国产a| 亚洲激情久久| 任你艹| 亚洲综合草草| 婷婷五月电影| 婷婷九月在线| 欧美五月丁香| 亚洲九九99精品视频在线播放| 综合激情开心五月| 婷婷色九月| 超碰国产在线观看| 久久99精品日本| 五月婷久久久| 中文字幕av网站| 99热观看| 天天色综| 免费一区二区三区| 丁香五月婷婷少妇| 亚洲四色五月| 狠狠久久婷婷| 久久婷婷婷| 91久久久久久久久久久| 、激情六月天| WWW.桔色成人.COM入口| 六月伊人婷婷| 色婷婷丁香五月天在线视频| 五月婷婷视频啪啪美女| 婷婷伊人激情婷婷| 亚洲无码九九| 99在线精品视频在线观看| 久久作爱| 婷婷亚洲色| 爱操天堂| 热99玖玖99玖玖99九九| 色九九丁香九月色九九色| 在线色婷婷| 伊人久久大香线蕉av一区| 99人碰碰碰| 先锋资源 996| 色五月婷激情| 色五月婷婷大香蕉| 狠狠丁香| 免费无码毛片一区二区A片| 久久婷五月婷| 欧美69久成人做爰视频| 超碰97色| 秋霞三级色戒| 丁香五月亚洲天堂| 婷婷五月六| 色情综合网| 色综合网页| 99色热| 五月天综合婷婷| www.色五月| 日韩av手机在线观看| 超碰在线94| 九九热av| www狠狠| 日韩淑女人妻luan伦激情精品一区二| 久草大| 久久九九网| 丁香五月综合福利视频导航| 99热久| 精品久热| 成人五月丁香社区| 亚洲激情综合五月婷婷啪啪| 日亚二欧美| 亚洲爆乳无码精品AAA片蜜桃| 丁香五月欧美色综合| 欧美熟女乱又伦| 九九热在线视频| 99九九在线视频| 五月丁香六月激情狠狠| 这里只有精品免费| 成人免费在线电影| 五月丁香激情综合六月涩涩爱| 欧美成人五月天| 91人妻九色大屁股| 激情婷婷五月女| 婷香五月| 97操碰在线视频| 亚洲人人操| 狠狠久久婷五月综合色| 色高清无码视频| 在线婷婷| 五月丁香五月丁香五月丁香五月丁香91| 丁香五月天无码| 亚洲激情综合| 五月丁香婷婷爱激情综合网| 色五月婷婷基地| 五月婷婷丁香网| 人妻久久人妻久久第一区| 2017狠狠干| 丁香九月综合| 久久久婷婷五月亚洲97号色| 97干视频| 大香AV| 五月婷婷狠狠干| 婷婷六月激情综合| 五月丁香六月欧美| 日操熟女| 91精品国产综合久久密臀| 亚洲网在线观看| 五月丁香亚洲综合网| 久久九九99.www| 月婷婷亚洲| 思思久久精品| 欧美日韩成人在线| 亭亭玉月丁香| 久久99热这里只有精品23| 五月婷婷深深爱| 99视频这里只有免费精品| 色色五月婷婷网| 人人摸人人干人人做| 久久99精品久久久久久三级| 久久五月天视频| 亚洲丁香五月深爱五月| 国产99久| 丁香五月另类小说| 另类图片五月天激情| 六月丁香激情| 9精品在线| 丁香五月婷婷社区| 五月丁香婷婷色色色| 婷婷五月天丁香社区| 啪啪综合| 亚洲V国产V欧美V久久久久久| 色色永久| 办公室少妇激情呻吟A片在线观看| 少妇人妻综合色6699| 91seav| 日本乱子人伦在线视频| 激情五月丁香色婷婷| 婷综合六月| 亚洲热视频在线| 一区操| 91超碰人人操| 亚洲综合婷婷| 五月丁香六月综合基地| 97久久久| 丁香婷婷六月| WWW五月天| 五月黄色婷婷| 国产精品成人在线| 日本99在线视频| 激情五月伊人婷婷| 另类 在线| 久久se 综合网| av色婷婷| 激情五月天小说| 丁香五月婷婷啪啪啪| 色婷婷丁香AV综合| 日韩人妻无码专区| 丁香五月AV综合激情| 永久思思热在线| 五月丁香色色网| 久久婷中文字幕| 五月天婷婷Av| 五月丁香婷婷六月| 五月婷婷啪啪网| 九月婷婷色色| 开心五月综合激情综合五月| 九九操操| 99干日本| 亚洲成人网站在线| www网站在线观看| 五月天色丁香| 思思热在线播放| 丁香久久| 伊人网大香| 婷婷六月激情| 色婷婷电影网| 中文字幕色色| 思思99精品视频在线观看| 久久婷婷网| 999激情视频| 丁香五月婷婷超碰在线| 4399在线日本A片| 色欲久久久久久综合网综合网| 99在线免费视频| 九九成人视频| 色婷婷狠| 激情小说五月天| www.国产色| 丁香婷婷社区| 欧美黑人巨大性生话| 啪啪啪综合网| 精品人妻伦一二三区久久| 青草视频在线播放| 成人AV在线中文版| 国产综合丁香五月天| 99热99re6国产在线播放| 玖玖在线视频| 丁香五月婷婷激情123| 五月丁香花开综合网|