欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

BqLog為什么快?從環(huán)形隊(duì)列到自適應(yīng)數(shù)據(jù)總線的演進(jìn)

BqLog為什么快?從環(huán)形隊(duì)列到自適應(yīng)數(shù)據(jù)總線的演進(jìn) 做了這么多年客戶端性能和基礎(chǔ)組件優(yōu)化BqLog這個(gè)名字我最初是在關(guān)注王者榮耀技術(shù)分享時(shí)看到的。一個(gè)游戲日志組件為什么值得專(zhuān)門(mén)開(kāi)一個(gè)系列來(lái)講“為什么快”因?yàn)楝F(xiàn)代游戲里日志根本不是“打幾行字”那么輕巧——一場(chǎng)5v5團(tuán)戰(zhàn)碰撞檢測(cè)、技能結(jié)算、網(wǎng)絡(luò)同步、AI決策一秒內(nèi)可能產(chǎn)生幾十萬(wàn)甚至上百萬(wàn)條日志。如果每條日志都老老實(shí)實(shí)走一遍鎖、系統(tǒng)調(diào)用、內(nèi)存分配那日志系統(tǒng)自己就會(huì)變成團(tuán)戰(zhàn)里的“演員”直接拖垮幀率。BqLog是騰訊開(kāi)源的日志組件源自王者榮耀項(xiàng)目組的真實(shí)需求主打的性能指標(biāo)非常夸張單線程場(chǎng)景下千萬(wàn)級(jí)每秒的日志寫(xiě)入。而這個(gè)性能傳奇的起點(diǎn)就是我們熟悉到不能再熟悉的環(huán)形隊(duì)列但真正讓它拉開(kāi)差距的是環(huán)形隊(duì)列盡頭的那套“自適應(yīng)數(shù)據(jù)總線”設(shè)計(jì)。這篇文章是系列的第2篇我會(huì)沿著這條主線把從隊(duì)列到總線的演進(jìn)邏輯拆開(kāi)講清楚。1. 日志性能的三座大山為什么“換一個(gè)隊(duì)列”解決不了問(wèn)題很多團(tuán)隊(duì)遇到日志性能差第一反應(yīng)是“換一個(gè)更快的隊(duì)列”然后發(fā)現(xiàn)從互斥鎖換成讀寫(xiě)鎖好一點(diǎn)換成無(wú)鎖隊(duì)列又好一點(diǎn)但整體還是不夠。這個(gè)直覺(jué)是錯(cuò)的因?yàn)槿罩韭母驹虿辉陉?duì)列本身而在整條鏈路上有三個(gè)真正的瓶頸點(diǎn)。1.1 鎖看不見(jiàn)的上下文切換和緩存行顛簸多線程打日志必須保護(hù)日志緩沖區(qū)的狀態(tài)。傳統(tǒng)做法是給整個(gè)寫(xiě)入路徑加一把互斥鎖鎖住、拼接字符串、寫(xiě)入緩沖、解鎖。在低競(jìng)爭(zhēng)場(chǎng)景下互斥鎖的代價(jià)沒(méi)有想象中大但在王者榮耀這種客戶端里日志的調(diào)用來(lái)自渲染線程、邏輯線程、網(wǎng)絡(luò)線程、音頻線程多個(gè)線程同時(shí)搶一把鎖后果就是鎖的等待和上下文切換。一次上下文切換消耗大約1~2微秒而一條簡(jiǎn)單日志的處理時(shí)間通常也就幾百納秒到一微秒。也就是說(shuō)一旦發(fā)生鎖競(jìng)爭(zhēng)處理一條日志的時(shí)間可能翻了十倍。更隱蔽的是緩存行顛簸。多個(gè)線程反復(fù)修改同一個(gè)受鎖保護(hù)的內(nèi)存區(qū)域會(huì)導(dǎo)致這塊內(nèi)存所在的緩存行在多個(gè)CPU核心之間來(lái)回失效也就是常說(shuō)的cache line bouncing。這個(gè)開(kāi)銷(xiāo)不是按“次”算的而是按“緩存行失效次數(shù)”算的在日志高頻場(chǎng)景下會(huì)放大得非常明顯。1.2 系統(tǒng)調(diào)用每條日志都跟內(nèi)核打交道傳統(tǒng)日志庫(kù)最常見(jiàn)的寫(xiě)法是每條日志直接寫(xiě)文件fprintf、fwrite或者更早期的write。每次文件寫(xiě)入都是一次系統(tǒng)調(diào)用要從用戶態(tài)切到內(nèi)核態(tài)再切回來(lái)。即便文件系統(tǒng)有頁(yè)緩存這種用戶態(tài)/內(nèi)核態(tài)的模式切換依然要付出微秒級(jí)的固定成本。假設(shè)一條日志的系統(tǒng)調(diào)用開(kāi)銷(xiāo)是1微秒單線程一秒鐘最多也就做100萬(wàn)次系統(tǒng)調(diào)用。如果日志量是千萬(wàn)級(jí)每秒光是系統(tǒng)調(diào)用這一項(xiàng)就把性能腰斬再腰斬了。1.3 內(nèi)存分配malloc不會(huì)寫(xiě)在性能預(yù)算里很多人在估算日志性能時(shí)習(xí)慣性忽略字符串拼接和動(dòng)態(tài)內(nèi)存分配。寫(xiě)一條日志至少要構(gòu)造一個(gè)std::string可能還要做數(shù)字轉(zhuǎn)字符串、時(shí)間格式化最后再拷貝到文件緩沖。這些操作里堆分配是最容易被低估的。高頻下頻繁的malloc/free不僅帶來(lái)單次幾十到幾百納秒的成本還會(huì)造成堆碎片拖慢整個(gè)進(jìn)程的分配器性能。所以在深入BqLog之前要明確一個(gè)判斷如果這三個(gè)問(wèn)題沒(méi)有被系統(tǒng)性處理那么無(wú)論在前端加什么樣的無(wú)鎖隊(duì)列性能都會(huì)被鏈路后半段的瓶頸卡死。BqLog的思路不是修修補(bǔ)補(bǔ)而是把整條日志鏈路重新設(shè)計(jì)了一遍從內(nèi)存布局到線程模型再到IO出口全都圍繞“減少瓶頸”來(lái)組織。2. 環(huán)形隊(duì)列為什么是塊好地基無(wú)鎖、緩存友好、兩段式提交講BqLog的自適應(yīng)數(shù)據(jù)總線之前一定要先理解它的地基——環(huán)形隊(duì)列。很多人一聽(tīng)到環(huán)形隊(duì)列就以為是個(gè)簡(jiǎn)單的“數(shù)組兩個(gè)下標(biāo)”但真正工程級(jí)的無(wú)鎖環(huán)形隊(duì)列細(xì)節(jié)比想象中多得多。2.1 為什么選環(huán)形不選鏈表日志緩沖的選擇上鏈?zhǔn)疥?duì)列看似靈活但有兩個(gè)天然缺陷第一每次寫(xiě)入都要分配新節(jié)點(diǎn)這又回到了第1章說(shuō)的堆分配問(wèn)題第二鏈表節(jié)點(diǎn)在內(nèi)存里不連續(xù)遍歷和訪問(wèn)時(shí)緩存命中率低而日志系統(tǒng)恰恰是高頻順序訪問(wèn)的典型場(chǎng)景。環(huán)形隊(duì)列用一段預(yù)分配的連續(xù)內(nèi)存配合兩個(gè)游標(biāo)來(lái)表示“寫(xiě)過(guò)哪里”和“讀到哪了”。寫(xiě)入時(shí)移動(dòng)生產(chǎn)游標(biāo)讀取時(shí)移動(dòng)消費(fèi)游標(biāo)當(dāng)頭尾相接就說(shuō)明緩沖區(qū)滿了。它的好處非常直接零動(dòng)態(tài)分配內(nèi)存一次性分配完運(yùn)行期不再碰堆分配器。緩存友好數(shù)組是連續(xù)內(nèi)存CPU預(yù)取能生效生產(chǎn)者和消費(fèi)者訪問(wèn)的都是一片連續(xù)區(qū)域。空間固定內(nèi)存占用可預(yù)測(cè)不隨日志峰值無(wú)限膨脹。2.2 無(wú)鎖背后的內(nèi)存序問(wèn)題無(wú)鎖隊(duì)列的本質(zhì)不是“不允許排隊(duì)”而是“不讓線程在鎖上休眠等待”。生產(chǎn)者和消費(fèi)者之間的同步靠原子操作完成。BqLog這種多生產(chǎn)單消費(fèi)場(chǎng)景MPSC一個(gè)關(guān)鍵點(diǎn)是每個(gè)原子操作的內(nèi)存序。簡(jiǎn)單說(shuō)普通賦值只保證當(dāng)前核心能看到不保證其他核心立刻看到原子操作則附帶內(nèi)存序約束。BqLog里生產(chǎn)者寫(xiě)數(shù)據(jù)時(shí)需要保證先寫(xiě)數(shù)據(jù)再發(fā)布“我寫(xiě)完了”的標(biāo)記。這要求發(fā)布標(biāo)記時(shí)使用release語(yǔ)義消費(fèi)者看到標(biāo)記后用acquire語(yǔ)義去讀數(shù)據(jù)。兩次操作合起來(lái)就能保證消費(fèi)者絕不會(huì)讀到半截?cái)?shù)據(jù)。這正是無(wú)鎖隊(duì)列最容易翻車(chē)的地方——內(nèi)存序?qū)戝e(cuò)在低負(fù)載時(shí)可能跑很久都發(fā)現(xiàn)不了問(wèn)題一旦壓到高頻就會(huì)出現(xiàn)詭異的數(shù)據(jù)錯(cuò)亂。2.3 兩段式提交占領(lǐng)槽位再寫(xiě)數(shù)據(jù)BqLog的環(huán)形隊(duì)列在實(shí)現(xiàn)上采用了兩段式提交模型這也是無(wú)鎖MPSC隊(duì)列里最經(jīng)典的做法。整個(gè)流程可以拆成兩個(gè)階段占領(lǐng)階段Occupy生產(chǎn)者通過(guò)原子操作在環(huán)形隊(duì)列里拿下一段連續(xù)槽位。這個(gè)操作通常用fetch_add或CAS完成一次可以占領(lǐng)一批槽位而不是一個(gè)。提交階段Commit生產(chǎn)者往占領(lǐng)的槽位里寫(xiě)入日志數(shù)據(jù)寫(xiě)完后通過(guò)release操作把槽位狀態(tài)從“正在寫(xiě)”標(biāo)記為“就緒”。消費(fèi)者一側(cè)只看“就緒”狀態(tài)的槽位一旦發(fā)現(xiàn)連續(xù)的“就緒”槽位達(dá)到一定數(shù)量就批量取走進(jìn)行后續(xù)處理處理完再把槽位重置為“空閑”。這個(gè)模型的好處是生產(chǎn)者之間完全無(wú)鎖。多個(gè)生產(chǎn)者只會(huì)通過(guò)原子fetch_add競(jìng)爭(zhēng)“拿槽位編號(hào)”拿到之后就各寫(xiě)各的互不干擾消費(fèi)者也不會(huì)跟正在寫(xiě)數(shù)據(jù)的生產(chǎn)者發(fā)生沖突因?yàn)樯a(chǎn)者在提交前槽位對(duì)消費(fèi)者是不可見(jiàn)的。2.4 偽共享處理別讓無(wú)關(guān)線程互相拖累寫(xiě)過(guò)高性能隊(duì)列的人都知道生產(chǎn)游標(biāo)和消費(fèi)游標(biāo)絕對(duì)不能放在同一個(gè)緩存行里。一個(gè)緩存行通常是64字節(jié)如果生產(chǎn)游標(biāo)和消費(fèi)游標(biāo)恰好擠在同一個(gè)64字節(jié)里消費(fèi)者每次更新游標(biāo)都會(huì)讓生產(chǎn)者的游標(biāo)緩存失效生產(chǎn)者每次更新又反過(guò)來(lái)讓消費(fèi)者失效。兩個(gè)線程明明在協(xié)作結(jié)果互相拖累性能直接斷崖。BqLog對(duì)這類(lèi)敏感變量會(huì)做緩存行對(duì)齊常見(jiàn)的做法是alignas(64)確保每個(gè)原子變量獨(dú)占緩存行。這個(gè)細(xì)節(jié)平時(shí)不起眼但在千萬(wàn)級(jí)日志吞吐下它就是生死線。3. 環(huán)形隊(duì)列的天花板消費(fèi)端跟不上前面再快也白搭環(huán)形隊(duì)列解決的是“數(shù)據(jù)怎么安全高效地進(jìn)去”但它沒(méi)法解決“數(shù)據(jù)怎么出來(lái)”。這是我從實(shí)際項(xiàng)目中體會(huì)最深的一點(diǎn)——生產(chǎn)端再快只要消費(fèi)端是瓶頸整個(gè)系統(tǒng)的吞吐就會(huì)被鎖死在慢的那一端。3.1 數(shù)量級(jí)不匹配內(nèi)存搬運(yùn)和磁盤(pán)IO是兩回事假設(shè)生產(chǎn)者已經(jīng)優(yōu)化到一秒寫(xiě)入1000萬(wàn)條日志每條日志平均256字節(jié)。那這1000萬(wàn)條日志就是2.5GB的數(shù)據(jù)量。這個(gè)數(shù)據(jù)靠隊(duì)列搬運(yùn)完全沒(méi)問(wèn)題內(nèi)存復(fù)制加原子操作幾百納秒就能搞定一條。但消費(fèi)端如果要把它寫(xiě)進(jìn)磁盤(pán)問(wèn)題就來(lái)了普通SSD的持續(xù)寫(xiě)帶寬在1GB/s到3GB/s之間機(jī)械硬盤(pán)更慢即使按2GB/s算寫(xiě)完這2.5GB也要超過(guò)一秒鐘。也就是說(shuō)消費(fèi)端的磁盤(pán)帶寬決定了系統(tǒng)吞吐的天花板環(huán)形隊(duì)列再快也突破不了物理限制。3.2 三種常見(jiàn)錯(cuò)誤應(yīng)對(duì)方式全都不可取消費(fèi)端跟不上時(shí)最直覺(jué)的三種應(yīng)對(duì)都各有致命傷消費(fèi)者拼命追消費(fèi)線程滿負(fù)荷運(yùn)轉(zhuǎn)CPU占用沖到100%。在游戲客戶端里這等于拿寶貴的幀時(shí)間換日志團(tuán)戰(zhàn)一開(kāi)主線程性能就崩了。無(wú)限加緩沖區(qū)隊(duì)列不夠就加深日志峰值時(shí)內(nèi)存不斷上漲延遲也在上漲。最極端情況下緩沖吃滿整個(gè)內(nèi)存預(yù)算觸發(fā)系統(tǒng)層面的OOM。生產(chǎn)者阻塞隊(duì)列滿就讓生產(chǎn)線程等著。這在服務(wù)端還能接受但在游戲客戶端等于把日志系統(tǒng)變成了業(yè)務(wù)邏輯的一部分——打日志都能卡幀這是絕對(duì)不能容忍的。這些方案沒(méi)有處理問(wèn)題的本質(zhì)生產(chǎn)速度和消費(fèi)速度不匹配的時(shí)候必須有一個(gè)機(jī)制來(lái)動(dòng)態(tài)調(diào)節(jié)兩端的節(jié)奏而不是讓其中一端傻等或者硬扛。3.3 批量是唯一的正解第1章說(shuō)過(guò)系統(tǒng)調(diào)用開(kāi)銷(xiāo)大這里批量就是解藥。一次寫(xiě)入盡可能多的數(shù)據(jù)讓固定成本被攤薄到足夠多的日志上。假設(shè)一次writev系統(tǒng)調(diào)用能攜帶1024條日志那么每條日志攤到的系統(tǒng)調(diào)用成本就是原來(lái)的1/1024。實(shí)現(xiàn)上消費(fèi)端不會(huì)再“來(lái)一條處理一條”而是攢夠一批再出一次IO。批多大最合適這沒(méi)有固定答案因?yàn)樘偛槐¢_(kāi)銷(xiāo)太大又增加延遲。理想的方案是讓批次大小根據(jù)當(dāng)前壓力動(dòng)態(tài)變化——這個(gè)思路正是從“隊(duì)列”走向“總線”的橋梁。4. 自適應(yīng)數(shù)據(jù)總線通道、反饋與控制環(huán)BqLog真正有設(shè)計(jì)含量、也最值得研究的部分就是它從環(huán)形隊(duì)列進(jìn)化出的自適應(yīng)數(shù)據(jù)總線。我第一次讀相關(guān)源碼和注釋時(shí)最大的感受是團(tuán)隊(duì)沒(méi)有把環(huán)形隊(duì)列當(dāng)成一個(gè)孤立的數(shù)據(jù)結(jié)構(gòu)而是把它當(dāng)成整條數(shù)據(jù)管道的調(diào)度服務(wù)器。4.1 從“兩端獨(dú)立”到“按需調(diào)度”的視角轉(zhuǎn)換傳統(tǒng)隊(duì)列模型里生產(chǎn)者和消費(fèi)者各干各的生產(chǎn)者有數(shù)據(jù)就丟進(jìn)隊(duì)列消費(fèi)者有精力就從隊(duì)列取。這樣的模型隱含假設(shè)是“兩端速度天然匹配”但現(xiàn)實(shí)中根本不成立。BqLog的“總線”視角完全不同它把生產(chǎn)者、隊(duì)列、消費(fèi)者看作一條數(shù)據(jù)總線上的三個(gè)節(jié)點(diǎn)。日志從生產(chǎn)者投遞到總線上后總線會(huì)根據(jù)當(dāng)前負(fù)載情況決定由哪個(gè)處理節(jié)點(diǎn)、以什么節(jié)奏、按多大的批次來(lái)搬運(yùn)數(shù)據(jù)。換句話說(shuō)消費(fèi)行為不再是消費(fèi)者單方面“來(lái)拿”而是總線在“調(diào)度”。這個(gè)視角轉(zhuǎn)換帶來(lái)了三個(gè)直接好處。第一消費(fèi)端可以按批次處理IO效率最大化第二總線的水位可以被實(shí)時(shí)監(jiān)測(cè)作為反饋信號(hào)第三生產(chǎn)者不需要感知消費(fèi)端狀態(tài)寫(xiě)日志的代碼路徑保持異常簡(jiǎn)單和快速。4.2 自適應(yīng)到底調(diào)了什么五個(gè)關(guān)鍵維度把“自適應(yīng)”落到具體工程上我覺(jué)得主要就是下面這張表的五個(gè)維度調(diào)節(jié)維度固定策略的問(wèn)題自適應(yīng)策略批次大小固定256條低負(fù)載時(shí)延遲浪費(fèi)高負(fù)載時(shí)吞吐不足根據(jù)隊(duì)列水位和消費(fèi)速率在64~4096條之間動(dòng)態(tài)調(diào)整休眠策略固定休眠1毫秒空閑時(shí)浪費(fèi)忙碌時(shí)增加延遲空閑時(shí)指數(shù)退避水位回升立即喚醒背壓反饋消費(fèi)者不感知生產(chǎn)壓力隊(duì)列持續(xù)堆積當(dāng)隊(duì)列水位超過(guò)閾值消費(fèi)端自動(dòng)加大處理批次IO合并固定每小時(shí)寫(xiě)一次或每條日志寫(xiě)一次根據(jù)IO設(shè)備能力和當(dāng)前緩沖量動(dòng)態(tài)決定合并窗口緩沖水位隊(duì)列接近滿時(shí)無(wú)預(yù)警通過(guò)水位分級(jí)在高水位和低水位分別觸發(fā)不同策略這五個(gè)維度不是獨(dú)立工作的它們共享一套反饋控制邏輯。每一輪消費(fèi)結(jié)束后會(huì)計(jì)算三個(gè)信號(hào)隊(duì)列當(dāng)前水位、單位時(shí)間消費(fèi)條數(shù)、目標(biāo)延遲余量。三個(gè)信號(hào)合成一個(gè)控制指令決定下一輪這批要取多少、取完是否休眠、休眠多久。舉一個(gè)最直觀的例子。當(dāng)游戲平靜的時(shí)候日志量每秒可能只有幾百條如果消費(fèi)者仍然每1毫秒醒一次去檢查隊(duì)列那CPU的空轉(zhuǎn)開(kāi)銷(xiāo)看起來(lái)占比不大但累積在移動(dòng)端上就會(huì)轉(zhuǎn)化成功耗浪費(fèi)。自適應(yīng)策略會(huì)讓消費(fèi)者在連續(xù)幾次“空手而歸”后逐步增大休眠時(shí)間比如從1毫秒退避到4毫秒、16毫秒最多到幾十毫秒這樣空閑時(shí)的CPU占用趨近于零。反過(guò)來(lái)一旦團(tuán)戰(zhàn)開(kāi)始隊(duì)列水位快速上漲消費(fèi)者會(huì)根據(jù)水位信號(hào)立刻“醒來(lái)”并且把批次大小從幾百條直接拉高到幾千條用最大的吞吐去搬運(yùn)積壓的日志。這個(gè)機(jī)制用一個(gè)生活化類(lèi)比特別好懂它就像高速公路收費(fèi)站的動(dòng)態(tài)放行。車(chē)少時(shí)收費(fèi)口開(kāi)一個(gè)就夠甚至可以讓工作人員休息車(chē)多時(shí)自動(dòng)多開(kāi)窗口、加快放行節(jié)奏。收費(fèi)站不會(huì)讓所有車(chē)都堵死在入口也不會(huì)在沒(méi)車(chē)的時(shí)候空轉(zhuǎn)設(shè)備。4.3 批量提交與IO合并自適應(yīng)總線的落地形態(tài)自適應(yīng)總線在消費(fèi)端的最終表現(xiàn)是批量提交和IO合并的結(jié)合。消費(fèi)者每次從環(huán)形隊(duì)列里拉取的日志不是一個(gè)點(diǎn)而是一段連續(xù)的大塊數(shù)據(jù)寫(xiě)文件時(shí)使用的是writev這類(lèi)批量接口一次把多個(gè)緩沖區(qū)的內(nèi)容寫(xiě)到底層。IO合并進(jìn)一步把多次小寫(xiě)入合并成一次大寫(xiě)入最大化利用磁盤(pán)帶寬。這里有個(gè)關(guān)鍵權(quán)衡批次越大IO效率越高但日志落盤(pán)的延遲也越大。如果某條日志寫(xiě)完就想立刻看到比如線上排障大批次會(huì)讓人等到難受。自適應(yīng)總線會(huì)根據(jù)水位來(lái)調(diào)節(jié)這個(gè)平衡點(diǎn)水位低、日志量少時(shí)批次縮小保證日志能較快落盤(pán)水位高、積壓嚴(yán)重時(shí)批次擴(kuò)大優(yōu)先保證吞吐和不過(guò)度丟日志。5. 實(shí)測(cè)數(shù)據(jù)與對(duì)比從固定隊(duì)列到自適應(yīng)總線差距到底有多大說(shuō)了這么多設(shè)計(jì)思路還是上一組實(shí)測(cè)數(shù)據(jù)最直觀。我在自己的測(cè)試環(huán)境i7-12700DDR4 3200NVMe SSD單生產(chǎn)者線程里用三種方案做了對(duì)比傳統(tǒng)互斥鎖加文件直寫(xiě)、固定批次的環(huán)形隊(duì)列、BqLog風(fēng)格的自適應(yīng)數(shù)據(jù)總線。測(cè)試的日志內(nèi)容統(tǒng)一為一條帶時(shí)間戳和數(shù)字字段的文本約200字節(jié)。5.1 吞吐對(duì)比一個(gè)數(shù)量級(jí)的差異方案單線程吞吐多線程4線程吞吐P99延遲傳統(tǒng)方案mutex fwrite約7萬(wàn)條/秒約5萬(wàn)條/秒3.2毫秒固定批次環(huán)形隊(duì)列約110萬(wàn)條/秒約200萬(wàn)條/秒0.8毫秒自適應(yīng)數(shù)據(jù)總線約420萬(wàn)條/秒約700萬(wàn)條/秒0.6毫秒最明顯的是傳統(tǒng)方案在4線程時(shí)吞吐反而下降降到了5萬(wàn)條/秒。原因就是鎖競(jìng)爭(zhēng)多線程搶一把鎖等待和緩存行顛簸直接把收益吃干抹凈。固定批次環(huán)形隊(duì)列靠無(wú)鎖和批量IO已經(jīng)能到百萬(wàn)級(jí)說(shuō)明無(wú)鎖隊(duì)列確實(shí)打好了底子。自適應(yīng)總線在這個(gè)基礎(chǔ)又把吞吐往上抬了三四倍靠的正是批次動(dòng)態(tài)放大和IO合并。5.2 CPU占用與延遲抖動(dòng)同一個(gè)性能指標(biāo)兩個(gè)面孔只比吞吐不公平日志系統(tǒng)更大的隱形成本是CPU占用和延遲抖動(dòng)。傳統(tǒng)方案在4線程測(cè)試時(shí)消費(fèi)者線程的CPU占用達(dá)到95%而且因?yàn)殒i競(jìng)爭(zhēng)延遲分布極不穩(wěn)定P99動(dòng)不動(dòng)跳到幾毫秒。固定批次環(huán)形隊(duì)列的CPU占用在50%左右延遲比較穩(wěn)定但空閑時(shí)依然有固定休眠周期帶來(lái)的空轉(zhuǎn)。自適應(yīng)總線方案在空閑時(shí)CPU占用幾乎為0測(cè)試機(jī)測(cè)出來(lái)是0.3%在峰值日志期間消費(fèi)線程CPU占用能沖到85%但延遲抖動(dòng)很小因?yàn)闆](méi)有鎖競(jìng)爭(zhēng)所有等待都在批量邊界上發(fā)生。5.3 內(nèi)存表現(xiàn)固定預(yù)算不亂漲三種方案里自適應(yīng)總線和固定批次隊(duì)列的內(nèi)存都是預(yù)分配的測(cè)試期間內(nèi)存曲線是一條直線不隨日志峰值上漲。傳統(tǒng)方案不一樣每條日志都走堆分配內(nèi)存曲線在看短視頻一樣上下亂跳。如果線上環(huán)境有內(nèi)存限制傳統(tǒng)方案在高負(fù)載下很容易觸發(fā)OOM而無(wú)鎖加預(yù)分配的方案則穩(wěn)得多。這些數(shù)字在不同機(jī)器上會(huì)有浮動(dòng)但量級(jí)上的差距是穩(wěn)定可復(fù)現(xiàn)的。核心結(jié)論就一句話無(wú)鎖環(huán)形隊(duì)列解決生產(chǎn)端瓶頸自適應(yīng)調(diào)度解決消費(fèi)端瓶頸兩者合在一起才可能支撐千萬(wàn)級(jí)日志吞吐。6. 借鑒思路不用做游戲也能抄走的四個(gè)設(shè)計(jì)BqLog是游戲場(chǎng)景驅(qū)動(dòng)的方案但它背后的工程思想是通用的。我做過(guò)的很多非游戲項(xiàng)目里其實(shí)也用到了同一套思路效果同樣很好。6.1 第一刀先砍系統(tǒng)調(diào)用和堆分配如果項(xiàng)目里的日志系統(tǒng)還是一條日志一次write那不管用什么隊(duì)列性能都救不回來(lái)。最優(yōu)先的改造是引入批量緩沖先把日志寫(xiě)進(jìn)一塊預(yù)分配的環(huán)形緩沖再由一個(gè)專(zhuān)門(mén)線程批量落地。這一刀就能把吞吐提升一到兩個(gè)數(shù)量級(jí)。同樣道理日志對(duì)象盡量用固定大小塊或復(fù)用內(nèi)存避免每條日志都觸發(fā)malloc。6.2 第二刀消費(fèi)者一定要有背壓意識(shí)無(wú)鎖隊(duì)列不是萬(wàn)能的。很多團(tuán)隊(duì)做了無(wú)鎖隊(duì)列之后發(fā)現(xiàn)消費(fèi)者慢隊(duì)列積壓最后生產(chǎn)線程還是會(huì)卡。正確的做法是給消費(fèi)者加“背壓反饋”通過(guò)監(jiān)測(cè)隊(duì)列水位來(lái)判斷生產(chǎn)壓力的高低——高水位時(shí)加大處理批次低水位時(shí)減少喚醒頻率。這個(gè)水位閾值不是拍腦袋定的可以通過(guò)在測(cè)試環(huán)境里壓測(cè)得出通常我會(huì)把高水位閾值設(shè)在隊(duì)列容量的60%到80%之間。6.3 第三刀把“休眠策略”做成指數(shù)退避消費(fèi)者沒(méi)有數(shù)據(jù)時(shí)如果永遠(yuǎn)按固定頻率醒來(lái)檢查空閑時(shí)的CPU功耗就很浪費(fèi)如果永遠(yuǎn)沉睡新的日志到達(dá)又不能及時(shí)處理。實(shí)際工程里最穩(wěn)的方案是指數(shù)退避連續(xù)N次沒(méi)有數(shù)據(jù)就逐漸增加休眠時(shí)間一旦有數(shù)據(jù)立刻回到短休眠或零休眠。這個(gè)策略在低頻日志場(chǎng)景能把空轉(zhuǎn)功耗降低一個(gè)量級(jí)以上。6.4 第四刀性能測(cè)試要看P99更要看空閑CPU我看過(guò)不少項(xiàng)目的日志性能測(cè)試報(bào)告只關(guān)注“每秒能打多少條”完全不看P99延遲和CPU占用率。這兩個(gè)指標(biāo)恰恰是日志系統(tǒng)最容易埋雷的地方一個(gè)日志系統(tǒng)在峰值時(shí)CPU占用率過(guò)高會(huì)直接擠占業(yè)務(wù)線程的時(shí)間片。所以我的習(xí)慣是做日志性能測(cè)試一定同時(shí)記錄三組數(shù)據(jù)吞吐、P99延遲、空閑和峰值兩種狀態(tài)下的CPU占用率。只盯著吞吐做優(yōu)化遲早會(huì)在線上被延遲抖動(dòng)上課。6.5 一個(gè)最簡(jiǎn)可用的“兩段式環(huán)形隊(duì)列”骨架如果你覺(jué)得自己寫(xiě)一個(gè)無(wú)鎖環(huán)形隊(duì)列很復(fù)雜其實(shí)核心骨架并不長(zhǎng)。下面這個(gè)簡(jiǎn)化版可以幫你建立直覺(jué)真正的工程實(shí)現(xiàn)還要處理邊界和內(nèi)存序但大框架就是這兩段。enum SlotState : uint32_t { EMPTY, FILLING, READY, DRAINING }; struct Slot { alignas(64) std::atomicuint32_t state; char data[256]; }; // 生產(chǎn)者占領(lǐng)槽位 - 寫(xiě)數(shù)據(jù) - release提交 uint32_t idx writeIndex.fetch_add(1, std::memory_order_relaxed); Slot s slots[idx mask]; // 等待或者CAS確認(rèn)該槽位可寫(xiě) s.state.store(FILLING, std::memory_order_relaxed); write_log_into(s.data); s.state.store(READY, std::memory_order_release); // 消費(fèi)者批量找到READY槽位 - 取走 - 標(biāo)記EMPTY while (s.state.load(std::memory_order_acquire) READY) { consume(s.data); s.state.store(EMPTY, std::memory_order_release); }這段代碼放到真實(shí)環(huán)境里還需要考慮“生產(chǎn)者和消費(fèi)者之間的槽位分配競(jìng)爭(zhēng)”“多個(gè)生產(chǎn)者搶占同一段槽位”“消費(fèi)端怎么高效批量掃描READY狀態(tài)”等問(wèn)題。BqLog在工程上把這些細(xì)節(jié)做扎實(shí)了才會(huì)呈現(xiàn)為源碼里那些看著簡(jiǎn)單、跑起來(lái)卻很快的樣子。我自己在實(shí)際項(xiàng)目里的體會(huì)是日志這種“看不見(jiàn)的基礎(chǔ)設(shè)施”恰恰是最難做快的——因?yàn)樗幵诟哳l調(diào)用和低存在感的矛盾里。每次調(diào)優(yōu)日志系統(tǒng)做完之后表面上看業(yè)務(wù)邏輯沒(méi)什么變化但壓力測(cè)試?yán)锬切┫У匿忼X和平穩(wěn)的曲線都在默默證明一切值得。如果你手頭也有一個(gè)飽受鎖和系統(tǒng)調(diào)用折磨的日志模塊不妨從這四點(diǎn)開(kāi)始動(dòng)手換成批量落地加上無(wú)鎖隊(duì)列給消費(fèi)者加一個(gè)會(huì)自我調(diào)節(jié)的調(diào)度環(huán)最后用吞吐和P99一起驗(yàn)收。這套從環(huán)形隊(duì)列到自適應(yīng)總線的路確實(shí)走得通。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情五月丁香六月婷婷| 超碰精品手机在线| 色婷婷网大全在线| 激情六月丁| 九色无码| 五月天婷婷综合色| 操人91| 激情婷婷五月久久| 久久九九re热| 亚洲精品一二三| 婷婷五月免费视频| 伊人五月成人| 女人天堂av| 久久婷婷五月综合色区| 思思re99视频在线观看| 色综合另类| 99热99ai| 五月丁香五月丁香五月丁香五月丁香91| 色婷婷丁香五月| 久久伊人大香蕉| 超喷97免费在线视频| 色婷五月天| 久久婷婷五月天激情新地址| 五月婷婷六月丁香首页| 97偷拍对白视频| 另类视频综合| 亚洲精品视频在线| 婷婷六月久久综合导航| 五月丁香好婷婷A片网| 久操人| 99久久久久| 六月综合婷婷开心伊人| 99热九九在线| 99re热视频| 激情综合99| 无码人妻精品一区二区蜜桃色欲| 97五月天| 色色色9| 夜夜撸天天操| www一区二区三区| 国产亚洲在线| 天天爽夜夜爽夜夜爽精品| 五月精品99综合| 99爱视频在线观看| 日本天天操| 欧美婷婷成人| 色色色com| 色国产五月| 婷婷va| 碰99在线| 一本大道嫩草AV无码专区| 91视频一起草| 日韩成人中文字幕| 综合99久久天天综合| 色婷婷五月天| 亚洲日本韩国| 伊人喵咪a V| 婷婷五月影院| 成人午夜视频精品一区| 综合aV在线| 色墦五月丁香| 麻豆WWWCOM内射软件| 97色碰| 色九亚洲| 天天插天天射| 国产成人综合电影| 超碰在线日夜| 天天肏天天肏| 五月婷婷丁香网| 亚洲狠狠色丁香婷婷综合久久| 噼里啪啦完整版中文在线观看| 丁香六月婷婷| 国产精品第一国产精品| 五月丁香久久久| 国产又粗又大又爽又黄| 亚洲六月色| www.91五月| 婷婷五月天综合亚洲| 久九男女天堂| 丁香五月天堂网AV| 综合色播| 五月天激情久久| 亭亭社区五月天| 五月天激情Av| 天天插天天射| 久操热线| 91伦| 色五月色五天色情网| 九九综合伊人| 秋霞电影理论| 亚洲色夜| 99精彩视频网站在线| 五月婷婷爽爽爽| 久久91久久精品久久| 亚洲美女裸体被操在线观看| 丁香婷婷大香蕉| 性日本激情| 思思久久精品视频| 亚洲综合另类| 白人荫道BBWBBB大荫道| 99热欧美精品| 99色最新在线视频| 婷婷五月婷婷| 成人无码髙潮喷水A片| 日韩三十六页| 热的国产99热| 激情综合网色播五月| 五月婷婷色综图片| 九九婷婷五月天| 超碰色人妾| 在线看片av| 欧美婷婷五月丁香| 中文字幕天天干| 7超碰自拍| 激情综合网,婷婷| 亚洲精品午夜国产va久久成人| 五月婷婷九九热| 婷婷网五月天| 婷婷丁香九月| 五月丁香婷婷免费视频| 99国产精品白浆在线观看免费| 久777| 超碰高清在线| 婷婷六月插屄激情| 天天干天天干天天干天天干天| 性av| 91蜜桃婷婷狠狠久久综合9色| 99热骚货| av中文在线| 97偷拍对白视频| 五月激情丁香五月| 丁香九月激情| 色噜噜夜夜夜综合网| 狠狠色丁香婷婷基地| 九九人人精品| 97人妻碰碰碰碰碰久久久久久| 99re热精品视频国| 亚洲网视屏| 丰滿爆乳一区二区三区| 婷婷的激情五月| 亚洲国产精品VA在线看黑人| 操逼六区| 99热手机在线精品| www.丁香六月婷婷久久天堂影院.con| 日本精品在线噜噜噜| AAAA网站| 韩国不卡AC视频| av九九| 四色五月婷婷| 丁香五月天堂网AV| 99热这里只有精品免费观看| 99国产在线精品视频| 国产片天天爽夜夜爽| 国产精品五月天婷婷| 大香蕉中文| 精品综合网在线| 婷婷在线五月天观看| 伊人玖玖网| 在线播放 精品| 丁香六月视频| www.五月天| 婷婷丁香视频在线观看免费| 天天插综合网| 色婷婷综合五月| 精品人妻伦一二三区久| 插插插丁香五月婷婷| 99在线视频播放| 久久久色情| 战争与艾拉电影免费观看| 欧美日韩AAAAA| 久久婷婷内射| 久久婷婷五月天懂色| 激情亭亭五月| 99热只有精品在线播放| 国产肥白大熟妇BBBB视频| 婷婷五月天在线看| 国产肥白大熟妇BBBB视频 | 久久小片| 99热很操老逼| 任你日视频| 丁香六月啪啪啪| 天堂网啪啪| 97碰碰在线观看视频| 夜夜操天天干| 国产av基地| 综合激情在线视频| 亚洲人人96@| 亚洲妇女熟BBW| 99er免费在线观看| 五月黄色婷婷| 99热18| 99在线观看亚洲| 婷婷五月天AV| 婷婷情色激情| 激情五月天色网站| 国产午夜成人AV在线播放| 激情涩涩网| 99热综合| 综合成人小说婷婷| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 五月丁香综合网| 九九婷婷五月天| 久99精品视频| 激情婷婷五月天| 天天干夜夜b| 中文字幕无线久必| 九九香蕉网| 激情精品久久| 亚洲成人九九九| 成人AV在线电影| 色婷婷在线视频久| 亚洲AV第二区国产精品| 久久精品凹凸分类| 五月天播播| 五月开心啪啪| 开心五月婷婷激情| 国洲夜色亚热在线久久| 丁香五月色| 婷婷五点亚洲| 五月激情婷婷开心五月| 99日逼视频| 亚洲精品又粗又大又爽A片| 这里只有精彩亚洲视频推荐| Xx色综合| 婷婷六月啪啪| 综合精品啪啪| www婷婷色| 久久久久久久久久久月丁| 九九99久久| 天天橾日日橾夜夜橾17| 开心深爱五月天| 婷婷五月天性爱视频| 色啪网| 精品久久久久久久久久久久人妻| 玖玖资源站国产| 91VIP在线观看| 久久性爱视频网站| 91啪啪视频| 天天舔天天摸天天透| 亚洲99综合| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 久久性操| 久久免费试看120秒| 99re久久| 噜噜视频| 激情第四色| 无人精品在线视频| 天天综合亚洲| 丁香五月色五月婷婷宗合| Av大香蕉| 欧美性爱五月天| 九热av| 亚洲欧洲中文日韩久久AV乱码| 色婷婷综合影院| 婷婷丁香五月天狠狠| 99热这里只有精品98| 日本理论久久| 99热久久日本| 婷婷婷久久久| 9久热在线视频精品| 91精选国| 九月婷婷在线观看| 99久久終合| 538在线精品| 亚洲黄色影视| www.99热| 丁香婷婷五月份| 成片免费观看视频大全| 粉嫩AV久久一区二区三区| 久久久18| 狠狠干综合| 婷婷网五月天| 人妻熟女一区二区AV| 婷婷在线播放| 国产成人精品一区二区三区视频| 鲁鲁色五月| 在线日韩视频| 色综合视频在线| 三级毛片视频| 久久爱综合| 视频一区二区在线| 一起草av在线观看| 丁香婷婷五月综合色情| 99热日韩这里只有精品| 五月天婷婷开心| 丁香五月天在线直播观看| 婷婷久久视频| 人草人人| 91婷婷色| 色婷婷五月天中文字幕| 亚洲久久视频| 深夜A片| 亚洲色无码| 亚洲色A| 五月丁香婷婷综合网| jiZZdr| 96丁香六月婷婷蜜桃综合久久| 五月六月丁香激情| 99精品热| 婷婷五月天免费99| 激情五月综合第一页| 黄久久久| 日本va网站| 九月色婷婷综合| 婷婷五月天电影在线| 九九视频这里只有精品| 九九色综合九九色| www,99热在线观看| 九九热超碰| 在线色五月婷婷| 五月之婷婷| 丁香五月婷婷av| 色综合天天| 99国产精品久久久久久久久久久| 99色| 天天艹夜夜爽| 色欲婷婷五月天丁香| 久热九九| 极品少妇婷婷五月| 六月色伊人婷婷| 五月丁香婷婷中文网| 一点色成人网| 操日视频| 99热久草| 99热线观看9| 五月天狠狠| 精品久久久久成人码免费动漫| 国产av网| 丁香五月天在线视频| 婷婷综合伊人丁香| 性综合网| 九九热99熟女| 日韩欧美骚货| 欧美操人| 婷婷性爱网| 99亚洲大片精品永久在线观看| 噜噜狠狠色| 欧美性爱五月天| 婷婷五月中文字幕| 色婷婷精品| 婷婷社区五月天| 91seAV| 亚洲 激情 中文| 天天综合 99久久婷婷| 少妇人妻人伦A片| www色婷婷com| 狠狠色综合五月| 超碰成人在线观看| 久久天堂婷婷五月| 久久人妻www| 亚洲无码色| 国产激情av| 五月亭亭综合五码| 成人超碰网| 日本色婷婷| 亚洲综合热| 亚洲视频在线观看99| 狠狠操狠狠操| 久99久视频精选| 丁香五月宝贝激情网| 99视频久久| 九九热99在线视频| 九九精品视频在线观看| 色婷婷综合久久| 午夜理论片最新午夜理论剧| 中文字幕 码精品视频网站| 日本一毛片| 怡红院一二三| 99热999| 夜夜撸天天日| 伊人激情网| 六月婷婷狠狠做| 欧美激情VA永久在线播放| 色五月激情综合| 天天日,天天射,天天舔| 久久久久视剧HD| 婷婷开心综合人妻小说网址| 中文成人在线| 777精品成人a v久久| 欧美韩国日本| 99爱最新免费视频在线观看| 91午夜婷婷狠狠久久综合9色| 精品久久人妻热| 99热日本| 蜜臀av在线成人电影| 久久久GOGO无码啪啪艺术 | 婷婷中文综合网| 操熟女成人网| 99色.com| 久久五月丁香| 热热久久精品视频| 日韩AV片| 久久九九网| 麻豆雪千夏| 色婷婷六月天| 色综合久久五月| WWW.国产| 欧美一级操逼视频| 色综合丁香婷婷| 99精品久久久| 五月天免费色| 婷婷五月开心六月AV| 精品久久这里热66| 九九热精品| 五月婷婷激情综合| 天天插天天插天天插| 久久色吧| 五月丁香偷拍| 99爱视频免费看| 久久sp免费视频| 五月天成人综合| 婷婷丁香在线| 99色嘟嘟精品网站| 色五月天丁香| 五月丁香青草综合啪啪| 色综合大香蕉| 玖玖99婷婷| 人妻少妇色综合| 99精品自拍| 国产伦亲子伦亲子视频观看| 婷婷 伊人 久久| 婷婷色五月婷婷姐妹| 中文字幕在线aⅴ免费观看| 色 色 色综合com| 五月婷六月| 国产成人精品亚洲线观看| 天天操天天草天天草天天| 玖玖爱导航| 亚洲综合激情五月久久| 久久精品无码一区| 日韩九九| 五月婷婷丁香网| www九九热| 日韩无码AV电影网站| 丝袜激情网| 色五月天综合| 99ri国产| 婷婷五月天综合AV| 欧美婷婷色| 日韩在线视频中文字幕| 5月婷婷激情网| 嫩草AV久久伊人妇女超级A| www.91热久久| 激情小说五月天| 色婷婷五月天视频网站| 色婷婷五月网| 操操操av| wwwss在线观看| 六月色 亚洲| 午夜色婷婷| 狠狠搞狠狠操| 夜丁香五月婷婷| 丁香五月丐人妻| 国产激情av| 久久99大| 激情五月综合网丁| 国产精品一区在线观看你懂的| 综合伊人久久| 天天色视频| 五月天成人手机在线视频| 国产欧美日韩性爱| 成人在线视频网| 射区导航| www一起操| 九九美女视频| 日本97人人| 成人一区在线观看| 亚洲人人艹| 久久综合五月天激情小说网站| 色五月av| 色优久久| 国产日韩精品SUV| 亚洲精品婷婷| 国产成人亚洲综合A∨婷婷| www.99成人视频| 天天操夜夜啊| 影音先锋女人av鲁色资源网小说免费 | 超碰国产AV| 91在线资源| 天天躁日日躁狠狠躁日日躁2022年5月9日| 性爱视频久久| 狠狠干在线| 不卡影院午夜理论片| 婷婷丁香人妻| 欧美色小说婷婷| 婷婷丁香成人在线视频| 无码激情精品色婷婷久久久久| 亚洲中文丁香| 日本特黄aaaaa| 久久五月婷综合网| 婷婷精品性性性性性性性| 亚洲男人的天堂婷婷色五月| 久热这里只有精品在线观看| 九九这里有精品视频| 高潮毛片遮挡费高一百度| 4399在线观看免费高清黄色视频| 99热1| 99久久99久久| 玖玖在线视频| 综合色天天| 先锋男人99资源| 激情五月婷婷综合视频| 日本久久爱| 亚洲久久激情| 成人 在线 日韩| 开心五月网 | 五月婷婷啪| www、丁香五月天| 伦乱天堂| 色天天综合天天综合频道。| 午夜丁香六月婷| 五月色丁香婷婷中文字幕| 五月天成人在线| 2025年最新亚洲在线欧美| 欧美色婷婷| 色婷婷综合久久久久| 五月婷av| 五月天丁香婷婷网| 久久婷婷综合国产| 久久在这里有精品| 激情丁香五月天图片| 色噜噜狠狠色综合成人网| www.日日夜夜.com| 丁香五月婷婷操逼| 色婷婷电影| 亚洲mm色| 九九九九综合| 影音先锋秋秋五月婷婷| 色色色综合色| 婷婷激情丁五月| 久久人人九| 婷婷五月天综合网| 超碰99资源站| 99亚洲欧洲| 色丁香五月婷婷| 国产激情久久久| www狠狠爱com| 99热这里只有精品亚洲| 婷婷六月天激情| 狠狠爱综合网| 色婷婷AV在线| 久久A区B区| 99精品久久| 丁香99| 99在线观看亚洲| 99这里只有| 国产成人+综合亚洲+天堂| 日韩成人无码片| 国产婷婷色五月| 夜夜综合色| 五月综合激情网| 日韩美女羞羞网站在线观看| 69激情小说| 激情婷婷| 人人性久久| 这里只有精品在线免费视频| 五月天婷婷基地| 精品久久婷婷| 情久久综合五月天| 久久99热网| 亚州精品色情无码A片| 色五月婷婷亚洲| 国产亚洲精品久久久久苍井松| 五月天婷婷香蕉狠狠超碰综合| 丁香五月欧美色综合| 精品乱码久久久久| 久久色天堂| 丁香五月天成人网站| 五月天综合| 丁香婷婷六月天| 婷婷六月丁香欧美视频在线| 婷婷中文字幕欧美| 这里只有精品视频看看| 午夜少妇在线观看视频| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 婷婷色婷婷亚洲成人| 色五月成人| 国产精品黑丝| 五月天精品视频| 久久AAAA片一区二区| 6月丁香婷婷| 五月婷婷偷拍| 97人人做| 欧美内射AA| 激情婷婷五月| 啪啪操超碰| 五月婷综合| 色狠狠色噜噜AV天堂五区消防| 婷婷免费视频| 色八月婷婷| 久久激情综合| www。88热在线视频免费观看| 九九热只有精品| 成人一级片| 婷婷五月激情欧美| 亚洲欧洲另类| 99热免费| Va另类视频| 色欧美一级| 午夜电影网VA内射| 六月丁香婷婷大香蕉| 色爱亚洲| 99激情网| 操91| 婷婷丁香五月天中文字幕| 亚洲天堂色| 欧美婷婷五月天| 激情综合色婷婷啪啪六月天| 91久久久久久久| 激情五月天啪啪视频| 少妇高潮A片无套内谢麻豆传| 婷婷色五月亚洲| 亚洲黄色网址| 欧美丁香五月夫妻天| 97色色婷婷五月天| 五月丁香网站| 超碰熟女拍拍| 色丁香久久| 亚洲成人免费在线| 色99热| 91色干| 99国产在线| 色狠狠六月| www.色情五月天.com| 五月婷婷激情综合av| 夜色综合网| 99色热| 色六月天| 日本三级中文字幕| 欧类av怡春院| 激情亭亭五月| caopeng97日韩| 99日本视频| 深爱综合网| 亚洲激情免费视频| 亚洲中文字幕AV| 少妇性BBB搡BBB爽爽爽电影| 五月婷婷中文字幕| 99热久只有| 婷婷五月天AV在| 九九热精品视频在线观看| 天天干天天叉| 丁香婷婷激情综合五月激情| 超碰京东热av男人的天堂| 99精品在线| WWW.99热| 丁香午月AV中文字幕| 涩婷婷视频快播人妻| 99激情视频| 五月天开心激情综合网| 韩国情人在线电视剧免费观看高清版全集 | 丁香 亚洲 久久| 天天色五月| 色婷婷久久天天性爱| 婷婷色色综合| 日本色婷婷| 天天骑天天操| 另类激情五月| 丁香综合伊人| 五月丁香久久久久| 伊人激情网| 99热这里有精品| 99色中文| 久久久精品色| www.五月天婷婷姐姐| 亚洲无码播放| 99在线热视频| 久久精品日| 日韩黄色中文字幕| 成人午夜无码视频| 99久久99久久综合| 激情六月天婷婷| 六月丁香社区| 五月成人综合| 99思思热只有在这里看| 天天拍夜夜爽日日| 欧美激情 日韩无码 婷婷 五月天| 久色88| 婷婷婷久久| 国产又爽又猛又粗的视频A片| 色情五月综合婷婷| 狠狠爱婷婷爱| 五月婷激情影院| 激情丁香五月天| 热成人网| 色婷婷丁香五月综合| 丁香五月骚喷水视频| 激情com| 亚州精品色情无码A片| 丁香五月区| 激情综合国产| 色五月婷婷综合| AV在线大香蕉| 91在线日| 丁香五月色情| 欧美噜噜免费观看| 久热人妻| 色五月婷婷婷婷婷婷婷婷婷婷| 97干网站| 色综天天综合| 婷婷97狠狠干| 26uuu国产色| 婷婷五月天激情偷拍| 五月天免费色| 开心五月色婷| 色噜综| 精品色色色| 五月天另类图片| 婷婷五月18永久免费视频| 天天综合网网欲色| 天天爽天天日| 91精品无码| 99精品在线观看视频| 丁香九月激情| 激情五月天。| 亚洲色图81p| 91久久婷婷| 久久黄色网扯| 婷婷五月天论坛| 狠狠干天天日| 国产激情久久| 欧美成人猛片AAAAAAA| 五月丁香婷婷激情图片| 九色 在线| 激情小说五月天社区丁香 | 色婷婷久综合久久一本国产AV| 精品久久99码| 91凹凸在线| 九九在线精点品| 极品人妻VIDEOSSS人妻| 国产精品成av人在线视午夜片| 丁香狠狠操| 亚洲综合色婷婷| 能看的AV网站| 久色激情| 激情内射人妻1区2区3区| 成人在线免费网址| 天天情天天狠天天透| 久久婷婷五月天激情| 开心五月网| 色色五月天激情| 五月婷婷综合成人| 亚州色婷婷| 色色色色色色综合| 99操久久| 色婷婷四虎| 9久精品| 色99热| 丁香五月天综合| 激情婷婷五月社区| 丁香五月天欧美成人| 精品51XX| 九九久久精品| 热99免费在线| 色爱终和网| 天天狠狠夜夜狠狠2023| 婷婷新网址| 丁香五月天色综合| 免费视频无码| 亚洲岛国电影| 激情五月天啪啪视频| 操骚货在线| 苗黎美女四级成人版一级二级毛片| 日韩高清成人| 久久五月丁香综合17C| 99啪啪网| 久久六月婷婷| 人人人人人人人人人草| 婷婷综合亚洲| 色婷婷综合在线| 五月天婷婷激情干干| 亚洲综合激情五月久久| 97久久久免费福利网址| 青草激情在线| 色婷婷成人做爰A片免费看网站| 五月婷婷深深爱| 五月丁香色婷婷综合| 五月天婷婷成人网| 亚洲综合色婷婷| 伊人色综合网| 超级碰碰视频无码| 这里只有精彩亚洲视频推荐| 99国产精品白浆在线观看免费| 色丁香五月天| 五月激情综合网| 狠狠狠狠青草| 五月婷婷二月丁香| 9视频在线成人网站| 丁香五月大片| 天天日日夜夜| 亚洲AV激情五月综合网| 亚洲人妻av| 青青草原中文字幕| 久久六月综合| 99亚色色色| 丁香婷婷五月| 婷婷色网| 丁香五月婷婷基地| 91碰超| 久久婷婷综合基地| 国产精品操| www.av骚货| 欧美五月丁香啪啪响视频| 久久久香| 亚洲综合无码| 日韩操人| 五月婷婷综合激情网| 色丁香五月婷婷| 青青草成人网| 97福利视频| 婷婷五月花| 日韩精品无码一区二区| 亚洲视频在线网站| 婷婷激情97| 香蕉伊人综合| 五月婷婷熟女| 99精品热视频只有精品10| 丁香五月六月久久综合 | 九九热手机在线视频| 五月婷AV| 天天做天天爱天天爽综合网| 天天做天天爱天天高潮| 九九色色网| 婷婷丁香人妻天天爽| 桃色五月天| 开心婷婷五月| 午夜不卡久久精品无码免费| www.丁香六月婷婷久久天堂影院.con| httpwww色com日本| 五月天婷婷Av| 嫩草视频观看| 久9视频| 婷婷久久免费看| 人妻操操色| 六月丁香六月婷婷欧美| 色九月婷婷综合| 丁香六月啪| 五月天天丁香婷婷| 99热一本久道| 久久伊人大香蕉| 久久视频婷婷视频| 婷婷五月丁香伊人| 五月丁香久人妻中文| 日日干夜夜干| 91黄色五月天视频| 九九青草热| 在线va网站| 婷婷五月精品中文字幕| 欧美大道不卡| AV九九| 99精品久| 亚洲激情av| 99精品久久久久久久婷婷久久| 俺去也五月天| 九九热视频在线观看| 五月婷婷黄色网址| 97资源欧美日韩大香蕉超碰一区| 久久这里只有国产| 2025中文在线视频字幕免费观看| 狠狠激情五月天| 婷婷色九月| 草草夜夜操| 五月天丁香综合久久国产| 久久这有这里精品| 99视频在线| 天天日夜夜爽| 久久久噜噜噜www成人| 色婷婷影视| 岛国av电影网站| 成人国产综合| 操操综合网婷婷| 99久久婷婷国产综合精品草原| 天天干天天色天天干| 国产免费AV在线| 丁香六月婷婷操逼网| 久久九色| 色丁香影院| 亚洲婷婷五月天| 东北黄色一级| 六月婷五月丁香| 操九色| 五月天大香蕉av| 婷婷色中文字幕| 婷婷五月天开心激情网| 五月婷婷综合在线| 丁香五月婷婷AV| 青青草视频福利| 99久久99九九99九九九| 97五月婷| 综合欧美五月婷婷| www.99精品在线| 超碰人人摸人人操| AV伊人青草丁香六月| 91精品久久久久、久五月天| 少妇被躁爽到高潮无码文| 五月婷六月| 天天摸人人摸| 国产无套精品一区二区| 欧美精品999| 狠狠综合网| 久久久全国免费视频| 日本a片网址| 成人网在线视频| av五月天婷婷丁香| 精品无码色欲AV| 久热婷婷| 91久久综合亚洲噜噜成人在线| 五月婷婷色情| 疯狂做受XXXX高潮A片动画| 五月色婷婷中文字幕| 五月婷婷免费看| 天天日天天爽| 婷婷丁香五月天婷婷| 久久伦乱| 99精品视频推荐| 欧美VA在线| 久久ri精品| 四五月婷婷| 激情小说五月天| 九九热这里只有精品5| 婷婷五月丁香欧洲| 停停五月色宗合| 老司机伊人| 婷婷五月丁香成人网| 超碰renrenai| 日本人妻伦在线中文字幕| 婷婷伊人网| 黄网免费观看| 久久狠狠干| 婷丁香五月天| 看全色黄大色大片| 99只有这里有精品在线视频| 一级黄色操B| 色婷婷狠狠18| 自拍视频99| 五月激情天天干| 禁片二区| 色五月在线播放| 91综合网| 五月婷婷亚洲| 探花搜索结果 - 黄上黄| 丁香婷婷视频| 婷婷五月丁香99| 情婷婷五月天| 五月 婷 久| 。久久久久久久久久久久久久人妻| 色色欧美色色| 天天爽夜夜爽| 丁香9月婷婷| 色五月婷婷亚洲| www.久久婷婷| 人妻AV在线观看| 日韩性视频| 亚洲操B| 五月激情丁香久久综合网| 天天干天天干天天| 69er小视频| 欧美A片在线视频免费观看| 激情五月综合网最新 | 日日综合网| 婷婷综合九月| 五月婷婷啪啪网| 深爱激情中文五月天av| 亚洲色五月| 狠狠色婷婷丁香六月| 色色色综合| 日日做夜夜爱| 综合亚洲AV| 91久久1118| 综合激情网五月激情| 男女啪啪做爰高潮无遮挡| 26UUU亚洲欧美| 中文字幕91,综合| 2017人人操| 丁香五月婷婷色| 欧美 日韩 人妻 高清 中文| 天天热夜夜操| 99久久.www| 中文AV网站| 人人干Av| 五月丁香综合成人社区| 99欧美| 99re这里只有精品视频6| 婷婷色色网站| 丁香五月天亚洲视频| 新97人人上人人| 欧美成人猛片AAAAAAA| 一级操逼内射在线视频| 中文字幕日韩成人| 97在线精品| 五月婷婷自拍| 午夜天堂啪啪| 九九婷婷五月天| 天天干天天干天天| 亚洲成人免费电影| 婷婷的五月天另类视频| 91综合色| 婷婷丁香五另类网站| 成人短视频免费观看| 天天做夜夜爽| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 天天射影院| 色色色色热| www.天天色综合| 免费色婷婷| 五月大香蕉| 99热99热| 九九色精品| 婷婷五月综合中文字幕| 99热人人| 五月丁香六月婷婷亚洲视频| 色婷网| www.夜夜爱.com| 色婷婷综合久久久久| 婷婷五月天com| 黄色一级影片| 香蕉久久国产AV一区二区| www.色婷婷| 开心五月婷婷在线视频免费观看| 99久超碰| 日韩啪啪视品| 天天爱天天爽| 丁香六月婷| www.伊人天堂偷偷婷婷| 人人操插| 一本狠婷婷综合| 亚洲亚洲人成综合网络| 久久狠狠干| 婷婷久久亚洲| 在线五月色播| 97久久五月丁香婷婷| 综合婷婷| 中文字幕,综合,91| 色婷婷狠狠干芒果TV| 五月丁香六月婷婷啪啪综合| 免费AV在线| 国产女18毛片多18精品| 99热在线播放| 久久久com| 天天操婷婷| 丁香五月欧美色综合| 26uuu国产色| 久久婷婷精品| 91互操| 91精品视频男人的天堂| 色色欧美色色| 丁香五月伊人| 色色色色色色色色色色色色色97| 5月丁香六月婷婷| 色久在| 天天色综和网| 亚洲激情综合网| 99人人操人人爱久久久| av不卡网站| www久久久久久久久久久| 激情五月天网站| 久热9| 亚欧州精品视频| 日本色狠狠| 五月丁香激情六月| 色五月久久成人婷婷| 五月丁香啪啪网| 9999三级片| 五月天婷婷社区久久综合| www.九九婷婷| 最熟少妇乱码| 欧美一黄一色一乱一伦| 精品日本视频444| 超碰人妻公开在线| 97夫妻超碰| 日韩黄色中文字幕| 天天干天天插| 久热超碰| 在线另类视频| 色五月婷婷av| 日本人妻A片成人免费看片| 人人97碰| 狠狠爱激情网| 欧美久久婷婷| 午夜丁香婷婷| 色噜噜婷婷| www.久久99| 天天艹夜夜艹| 综合久久婷婷| 最近中文字幕在线中文视频| 精品亚洲国产成人A片在线鸭王 | 久艹大香蕉| 亚洲无aV在线中文字幕| 光棍影院日韩精品| 91久久综合| 大香蕉久艹| 天天干,天天舔| 国产裸舞福利资源在线视频| 丁香婷婷激情五月色| 天色综合网站| 激情久久综合网| 久久五月天色| 婷婷综合成人| 久久久97| 丁香五月综合| 久久激情五月| 日本啪啪视频HD| 国内久久婷婷| 久久WW| 操91| 98毛片| 人人色性网| www色五月天| AA丁香综合激情| 在线99热| 高清无码网址| 超碰一区二区| 欧洲S级在线观看| 亚洲五月婷婷| 26UUU亚洲欧美| 五月婷六月| 综合啪啪| 五月丁香啪啪网| 无码激情AAAAA片-区区| 中文字幕婷婷9月天| 久久女人九九| 亚洲最大在线| 天天插天天很| 99精品免费欧美小视频| 久久久99免费视频| 丁香五月社区| 91色欲综合| 久久作爱| 东北婷婷五月天| 日日爽日日| 激情综合99| 五月天激情网图片| 婷婷激情四射五月天| 五月天婷亚洲综合在线嫩草网| 日日色综合| 国自产拍偷拍精品啪啪一区二区| 亚洲色婷婷五月天| 天天拍夜夜爽日日| 超碰操网| 欧美一级毛卡片无码| 丁香婷婷六月激情文学 | www.久久婷婷| 再次出发二| 激情五月综合| 性爱五月婷| ay2区| 婷婷婷婷婷开心无码播放| 九九热在线精品| 91干在线视频| 爱久综合| 深爱激情AV| 久久九九国产精品怡红院| 色5月婷婷| 色综合偷拍| 欧美黑人巨大猛烈cuckold| 五月婷婷六月丁香| 中文字幕日产A片在线看| 丁香五月婷婷Av| 色五月丁香婷婷综合| 色色色婷婷五月| 日本三级99人妇网站| 97超碰人人操| 99久久九九| 五月丁香影院| 超碰京东热av男人的天堂| 综合激情啪啪| 另类 在线| 综合久久婷婷99| 色五月xxx| 婷婷五月天天爽| 日韩欧美成人一区二区三区| www九九热| 亚洲综合激情五月久久| 少妇水多A片太爽了| 大香蕉五月天婷婷| 婷婷五月天在线观看第二页| 99这里只有精品|v| 激情五月天99色| 久久人妻系列| 狠狠狠狠狠狠| 99热免费精品| 婷婷色五月天在线观看| 国产亚洲精品久久久久苍井松 | 国产五月视频| 亚洲AV综合网| 色婷婷久久综合中文久久一本| 国产成人AV| 久久综合九九| 色婷婷超碰| 人人爽欧美婷婷久久久五月丁香| 丁香婷婷六月激情综合| 夜夜夜夜夜骑撸| 九九操屄| 色色啊| 99热国产这里只有精品| 久久人人九| 欧美激情综合五月色丁香| 丁香五月大香蕉在线99| 人妻性爱| 五月综合在线| 91久久久久| 久久久精久人妻| 少妇高潮呻吟A片免费看软件 | 亚洲第79页| 超碰cap| 激情婷婷五月天在线观看| 婷婷91| 97婷婷在线视频| 五月婷婷天| 大香蕉视频99| 婷婷五月骚厕所| 久久久天堂国产精品女人| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 激情综合激情综合| 亚洲a片免费观看| 天天干天天色天天干| 六月丁香五月婷婷| 蜜桃婷婷五月| 丁香六月综合激情| 亚洲激情淫网| 六月天婷婷| 欧美日韩大黄| 午夜不卡久久精品无码免费| 狠狠夜夜五月丁香| 开心五月激情网| 色色热99| 人人操av| 管管補管管紱| 91打屁股免费看| 婷婷五月天日日日干干干| 国产偷人爽久久久久久老妇APP| 婷婷五月天激情综合婷婷五月天激情综合| 中文字幕在线观看视频www| 色色色色色热| 久久丁香| 五月婷婷精品视频| 182tv992tv人之初午夜免费观看| 久久激情五月网| 俺去婷婷 丁香| h在线看免费版在线看| 久久最新色| 久久久97| 色五月成人婷婷| 激情五月天。| 久9无码视频| 天天爱天天日| 久久久久九九九九视屏小说88| 五月婷婷日| 这里只有视频精品| www.婷婷久久五月天| 狠狠狠狠狠狠色| 日韩抽插操逼| 丁香五月ⅤA久久久| 日韩性视频| 日本精品99网站| 99久久国产成人精品| 丁香花狠狠婷婷亚洲中文字幕| 五月婷婷深深爱| 天天爱天天做天天舔| www.一起草av| 五月天伊人网| 一级二级香港秋霞欧美欧美秋霞| 丁香六月婷婷综合欧美| 国产毛片精品一区二区色欲黄A片| 五月婷婷综合在线视频小说| 久久五月婷婷电影|