欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

雙緩沖隊(duì)列異步日志系統(tǒng):高并發(fā)場(chǎng)景下徹底解決同步日志阻塞問(wèn)題

雙緩沖隊(duì)列異步日志系統(tǒng):高并發(fā)場(chǎng)景下徹底解決同步日志阻塞問(wèn)題 1. 先別急著一股腦寫(xiě)文件同步日志為什么扛不住生產(chǎn)環(huán)境先說(shuō)結(jié)論再聊細(xì)節(jié)日志系統(tǒng)最容易被低估也最容易被埋雷。很多項(xiàng)目剛開(kāi)始的時(shí)候日志就是到處printf或者更“規(guī)范”一點(diǎn)接個(gè)log4j、spdlog級(jí)別的庫(kù)線上跑一跑也沒(méi)覺(jué)得有什么問(wèn)題。但等流量上來(lái)高并發(fā)場(chǎng)景一壓第一塊倒下的往往不是業(yè)務(wù)代碼而是看似人畜無(wú)害的日志鏈路。我們做雙緩沖隊(duì)列異步日志系統(tǒng)要解決的核心痛點(diǎn)很簡(jiǎn)單日志寫(xiě)入不再阻塞業(yè)務(wù)線程。同步日志為什么會(huì)阻塞因?yàn)閣rite()到磁盤(pán)并不便宜。一個(gè)日志條目看起來(lái)只是一行字符串但這條字符串從用戶態(tài)的日志緩沖區(qū)到內(nèi)核的文件系統(tǒng)緩存再到真正的磁盤(pán)設(shè)備中間隔著至少兩道拷貝還伴隨一次系統(tǒng)調(diào)用。生產(chǎn)環(huán)境里無(wú)論是機(jī)械硬盤(pán)還是 SSD單次寫(xiě)入的小 IO 都遠(yuǎn)沒(méi)有想象中的快。日志一多、高頻一寫(xiě)業(yè)務(wù)線程就被迫排隊(duì)等磁盤(pán)。我舉個(gè)真實(shí)場(chǎng)景某線上服務(wù)需要記錄每次請(qǐng)求的完整參數(shù)和響應(yīng)體單個(gè)請(qǐng)求撐死幾十行日志但 QPS 上了幾千之后同步日志的磁盤(pán)寫(xiě)壓力瞬間拉滿接口平均耗時(shí)從 2ms 漲到了 40ms最夸張的時(shí)候業(yè)務(wù)線程被日志卡的連心跳包都發(fā)不出去。后來(lái)把策略改成“攢一批再寫(xiě)”問(wèn)題才算緩解。這就是異步日志的核心思路把日志寫(xiě)入從業(yè)務(wù)線程上搬走交給專門(mén)的線程去處理。業(yè)務(wù)線程只負(fù)責(zé)把日志內(nèi)容往內(nèi)存里一放就返回磁盤(pán)寫(xiě)入由后臺(tái)線程異步完成。聽(tīng)起來(lái)簡(jiǎn)單但實(shí)現(xiàn)上有很多講究尤其是“怎么把日志內(nèi)容安全高效地交到后臺(tái)線程”這一步選型不同效果天差地別。雙緩沖隊(duì)列就是這條鏈路里比較經(jīng)典、也比較容易理解的一種實(shí)現(xiàn)方案。如果你現(xiàn)在正被“日志寫(xiě)入拖慢接口”“日志一多系統(tǒng)就卡頓”“日志模塊與業(yè)務(wù)模塊共用鎖導(dǎo)致死等”這些問(wèn)題困擾這篇文章適合你。我會(huì)從設(shè)計(jì)思路講到接口封裝再到部署使用把雙緩沖日志系統(tǒng)的“上半場(chǎng)”講透。2. 雙緩沖隊(duì)列的工作機(jī)制把“寫(xiě)日志”和“寫(xiě)磁盤(pán)”拆開(kāi)2.1 兩段式緩沖一個(gè)正寫(xiě)一個(gè)在刷雙緩沖隊(duì)列這個(gè)名字關(guān)鍵在于“雙”和“隊(duì)列”?!熬彌_”比較好理解就是一塊預(yù)先分配好的內(nèi)存。日志內(nèi)容先落在這塊內(nèi)存里攢多了再一次性寫(xiě)入磁盤(pán)。為什么要攢因?yàn)橐淮蝫rite()寫(xiě)入 1MB 數(shù)據(jù)和分 1 萬(wàn)次每次寫(xiě) 100 字節(jié)兩者的 IO 效率完全是兩個(gè)量級(jí)。批量寫(xiě)不僅能大大減少系統(tǒng)調(diào)用的次數(shù)還能讓磁盤(pán)的寫(xiě)模式更規(guī)整性能提升非常明顯。“雙緩沖”指的是這塊預(yù)分配內(nèi)存有兩份。一份被業(yè)務(wù)線程用來(lái)寫(xiě)入日志稱為“待寫(xiě)緩沖區(qū)”或“當(dāng)前緩沖區(qū)”另一份被后臺(tái)線程用來(lái)讀取并刷入磁盤(pán)稱為“待刷緩沖區(qū)”。當(dāng)“當(dāng)前緩沖區(qū)”寫(xiě)滿了或者到了固定時(shí)間系統(tǒng)會(huì)執(zhí)行一次緩沖區(qū)交換swap把業(yè)務(wù)線程寫(xiě)滿的這塊換成后臺(tái)線程手里的那塊。交換之后業(yè)務(wù)線程繼續(xù)往新?lián)Q來(lái)的空緩沖區(qū)里寫(xiě)后臺(tái)線程則拿著裝滿日志的緩沖區(qū)去刷磁盤(pán)。圖景大概是這樣業(yè)務(wù)線程 后臺(tái)線程 | | | 寫(xiě)入Buffer A | |-------------| | Buffer A滿 | | 交換 | |-------------| | 寫(xiě)入Buffer B | | | 刷Buffer A到磁盤(pán) | |------------- Disk簡(jiǎn)化成文字描述就是業(yè)務(wù)線程永遠(yuǎn)只面對(duì)一塊“可以寫(xiě)”的內(nèi)存寫(xiě)完一塊就換一塊完全不碰磁盤(pán) IO。后臺(tái)線程永遠(yuǎn)只面對(duì)一塊“已經(jīng)寫(xiě)滿”的內(nèi)存刷完一塊就換一塊完全不阻塞業(yè)務(wù)線程。兩者之間只有一次極短的交換操作需要同步。2.2 為什么是“雙”緩沖而不是單緩沖或多緩沖單緩沖的方案看起來(lái)也能用一塊緩沖區(qū)寫(xiě)滿了就刷盤(pán)刷盤(pán)期間業(yè)務(wù)線程等著。但問(wèn)題在于“寫(xiě)滿后刷盤(pán)”這個(gè)動(dòng)作是阻塞的而且刷盤(pán)耗時(shí)不定。一旦磁盤(pán)繁忙業(yè)務(wù)線程就卡住了和同步日志沒(méi)有本質(zhì)區(qū)別只是把fprintf換成了memcpy仍然治標(biāo)不治本。多緩沖方案呢理論上可以準(zhǔn)備 N 塊緩沖區(qū)寫(xiě)滿一塊就換下一塊后臺(tái)線程依次刷。這能進(jìn)一步降低交換頻率內(nèi)存占用也更高。但在大部分場(chǎng)景下兩塊緩沖區(qū)已經(jīng)足夠只要后臺(tái)線程刷盤(pán)的平均速度大于業(yè)務(wù)線程寫(xiě)入的平均速度兩塊就能循環(huán)起來(lái)。如果后臺(tái)線程的消費(fèi)速度跟不上說(shuō)明系統(tǒng)已經(jīng)到了日志量過(guò)載的狀態(tài)即使準(zhǔn)備更多緩沖區(qū)也只是延緩問(wèn)題并不能消除問(wèn)題。這里有個(gè)很多人會(huì)忽略的點(diǎn)雙緩沖系統(tǒng)里的交換是“一次性”完成的。生產(chǎn)線程與消費(fèi)線程之間只共享一個(gè)狀態(tài)指針一次 swap 操作只需要幾納秒到幾十納秒的臨界區(qū)保護(hù)。對(duì)比直接用std::queue存日志的逐條入隊(duì)方案雙緩沖避免了高頻的鎖競(jìng)爭(zhēng)把鎖的粒度從“每條日志”降到了“每批日志”這是它能扛高吞吐的根本原因。另外雙緩沖天然支持延遲刷新。很多時(shí)候日志峰值只出現(xiàn)在一秒內(nèi)的某幾百毫秒中其他時(shí)間業(yè)務(wù)線程并不忙。如果每寫(xiě)一條就通知后臺(tái)線程來(lái)取線程喚醒、上下文切換的成本反而會(huì)拖垮性能。雙緩沖方案可以設(shè)定“緩沖區(qū)未滿就定時(shí)刷”比如每 1 秒強(qiáng)制交換一次保證日志延遲可控且不會(huì)出現(xiàn)長(zhǎng)時(shí)間無(wú)輸出。2.3 雙緩沖的兩個(gè)隱藏風(fēng)險(xiǎn)設(shè)計(jì)時(shí)繞不開(kāi)第一個(gè)風(fēng)險(xiǎn)是日志丟失。異步意味著業(yè)務(wù)線程返回時(shí)日志還沒(méi)落盤(pán)如果此時(shí)進(jìn)程崩潰或者被kill -9最后一段還在內(nèi)存里的日志就沒(méi)了。這個(gè)問(wèn)題沒(méi)法完全規(guī)避只能降低損失。常見(jiàn)做法是后臺(tái)線程定期刷盤(pán)并且支持外部顯式調(diào)用Flush()在需要保命的關(guān)鍵節(jié)點(diǎn)比如服務(wù)收到終止信號(hào)后強(qiáng)制把所有緩沖數(shù)據(jù)落盤(pán)。第二個(gè)風(fēng)險(xiǎn)是背壓?jiǎn)栴}。如果日志生產(chǎn)速度長(zhǎng)期超過(guò)消費(fèi)速度緩沖區(qū)很快會(huì)處于“寫(xiě)滿-交換-刷盤(pán)-再寫(xiě)滿”的循環(huán)表現(xiàn)為磁盤(pán)持續(xù)高負(fù)載系統(tǒng)整體性能下降。此時(shí)不能無(wú)限等下去常見(jiàn)策略是當(dāng)兩緩沖都占滿且后臺(tái)線程來(lái)不及刷時(shí)要么直接丟棄未來(lái)日志并按計(jì)數(shù)報(bào)錯(cuò)要么將當(dāng)前緩沖區(qū)擴(kuò)容一擋臨時(shí)救急。我一般推薦前者因?yàn)槿罩玖窟^(guò)載時(shí)保留完整性的優(yōu)先級(jí)低于保證業(yè)務(wù)可用性而且丟失提示本身也是重要日志。3. 核心接口設(shè)計(jì)Buffer、隊(duì)列交換與 AsyncLogger設(shè)計(jì)雙緩沖日志系統(tǒng)時(shí)最重要的是把三個(gè)角色拆清楚Buffer負(fù)責(zé)存儲(chǔ)字節(jié)流BufferQueue負(fù)責(zé)管理兩個(gè) Buffer 的交換與調(diào)度AsyncLogger負(fù)責(zé)向上層業(yè)務(wù)提供日志寫(xiě)入 API同時(shí)管理后臺(tái)線程的生命周期。3.1 Buffer 的核心字段與內(nèi)存使用Buffer本質(zhì)是一塊預(yù)分配內(nèi)存加上讀寫(xiě)游標(biāo)。我常用的定義大概是class Buffer { public: explicit Buffer(size_t capacity) { data_.reserve(capacity); } void Append(const char* log, size_t len) { if (len WritableBytes()) { return; // 或觸發(fā)擴(kuò)容 / 丟棄策略 } data_.insert(data_.end(), log, log len); } void Reset() { data_.clear(); } bool Empty() { return data_.empty(); } size_t WritableBytes() { return data_.capacity() - data_.size(); } const char* Data() { return data_.data(); } size_t Size() { return data_.size(); } private: std::vectorchar data_; };注意這里我用的是std::vector而不是裸指針加char[]。生產(chǎn)級(jí)日志系統(tǒng)對(duì)性能苛刻通常會(huì)直接用預(yù)分配的char[]配合size_t游標(biāo)甚至用mmap映射文件。但std::vector足夠滿足絕大多數(shù)業(yè)務(wù)系統(tǒng)的日志壓力而且內(nèi)存管理更安全。真正要緊的是讓 Buffer 的容量在初始化時(shí)一次定好盡量避免運(yùn)行期擴(kuò)容——擴(kuò)容可能觸發(fā)內(nèi)存搬移而且擴(kuò)容期間的操作會(huì)引入額外的不確定性。Buffer 容量取多大這個(gè)沒(méi)有標(biāo)準(zhǔn)答案。我個(gè)人的經(jīng)驗(yàn)值是單條日志平均長(zhǎng)度按 256 字節(jié)估如果 QPS 峰值為 1 萬(wàn)每秒日志量約為 2.5MB那么每塊 Buffer 設(shè)為 8MB 左右比較合適兩塊就是 16MB。日志量小的服務(wù)4MB 也已經(jīng)足夠了。內(nèi)存是便宜的資源不必太摳但也不要拍腦袋選個(gè) 1GB —— 那會(huì)讓緩存的優(yōu)勢(shì)變成內(nèi)存的壓力。3.2 BufferQueue 的交換邏輯BufferQueue是雙緩沖結(jié)構(gòu)的中樞。它內(nèi)部維護(hù)兩個(gè) Buffer 指針并在合適的時(shí)機(jī)執(zhí)行交換。class BufferQueue { public: explicit BufferQueue(size_t buffer_capacity) : buffer_capacity_(buffer_capacity), current_(new Buffer(buffer_capacity)), next_(new Buffer(buffer_capacity)) {} void Append(const char* data, size_t len) { std::lock_guardstd::mutex lock(mutex_); if (current_-WritableBytes() len) { Swap(); } current_-Append(data, len); } std::shared_ptrBuffer TakeForFlush() { std::lock_guardstd::mutex lock(mutex_); if (current_-Empty() next_-Empty()) { return nullptr; } Swap(); return std::shared_ptrBuffer swap_result_; } private: void Swap() { std::swap(current_, next_); // 這里同時(shí)喚醒消費(fèi)線程 } size_t buffer_capacity_; std::unique_ptrBuffer current_; std::unique_ptrBuffer next_; std::mutex mutex_; std::condition_variable cond_; };這段邏輯里有幾個(gè)微妙的地方第一Append時(shí)發(fā)現(xiàn)當(dāng)前緩沖區(qū)寫(xiě)不下一條日志立刻交換然后把日志寫(xiě)到新緩沖區(qū)上。這意味著next_可能已經(jīng)在積累數(shù)據(jù)了交換前它會(huì)被重置。這里有一個(gè)取舍如果next_里還有沒(méi)來(lái)得及被后臺(tái)線程刷盤(pán)的數(shù)據(jù)交換會(huì)造成日志順序錯(cuò)亂或數(shù)據(jù)覆蓋。所以更嚴(yán)謹(jǐn)?shù)膶?xiě)法是當(dāng)Append時(shí)current_寫(xiě)不下且next_非空即后臺(tái)線程還沒(méi)取走過(guò)要介入“等待消費(fèi)線程完成一次 flush”的流程。我在實(shí)現(xiàn)時(shí)通過(guò)條件變量控制保證交換發(fā)生時(shí)next_一定是已經(jīng)刷完的空 Buffer。第二條件變量的喚醒時(shí)機(jī)。最直接的邏輯是Swap()之后立刻喚醒后臺(tái)線程。但如果每次Append都喚醒日志量一高線程頻繁被喚醒上下文切換成本就上去了。我的做法是只有滿足“當(dāng)前緩沖區(qū)由空變?yōu)榉强铡被颉敖粨Q發(fā)生時(shí)next_中有數(shù)據(jù)”這兩個(gè)條件才喚醒。這能把線程喚醒次數(shù)與日志寫(xiě)入頻率解耦后臺(tái)線程還可以配合定時(shí)策略每 100ms 檢查一次。3.3 AsyncLogger 的對(duì)外接口設(shè)計(jì)對(duì)外接口是我的原則是極簡(jiǎn)。業(yè)務(wù)方不需要理解雙緩沖內(nèi)部機(jī)制他們只需要“初始化、寫(xiě)日志、關(guān)閉”這三個(gè)動(dòng)作。class AsyncLogger { public: static AsyncLogger* Instance(); bool Init(const LogConfig config); void Write(LogLevel level, const char* fmt, ...); void Flush(); void Shutdown(); private: AsyncLogger(); ~AsyncLogger(); void WriteToBuffer(const char* line, size_t len); void FlushThread(); std::unique_ptrBufferQueue queue_; std::thread background_thread_; std::atomicbool running_{false}; LogLevel level_{LOG_INFO}; };Init()初始化配置啟動(dòng)后臺(tái)線程Write()格式化日志寫(xiě)入 BufferQueue返回即代表日志“已受理”Flush()強(qiáng)制刷新緩沖區(qū)用于關(guān)鍵節(jié)點(diǎn)Shutdown()停止后臺(tái)線程刷完所有遺留數(shù)據(jù)安全退出Write()為什么設(shè)計(jì)成可變參數(shù)因?yàn)槲蚁M罩菊{(diào)用點(diǎn)在形式上盡可能接近原生的printf。業(yè)務(wù)側(cè)配合宏定義使用體驗(yàn)上就像寫(xiě)printf一樣自然#define LOG_DEBUG(...) AsyncLogger::Instance()-Write(LOG_DEBUG, __VA_ARGS__) #define LOG_INFO(...) AsyncLogger::Instance()-Write(LOG_INFO, __VA_ARGS__) #define LOG_ERROR(...) AsyncLogger::Instance()-Write(LOG_ERROR, __VA_ARGS__)在Write()內(nèi)部格式化日志用vsnprintf完成這是一個(gè)常見(jiàn)的性能熱區(qū)。vsnprintf本身不慢但如果每條日志都調(diào)用在超高并發(fā)場(chǎng)景下仍會(huì)占用大量 CPU。優(yōu)化的思路是把格式化拆成兩步先在生產(chǎn)線程上完成字符串拼接雙緩沖只負(fù)責(zé)搬運(yùn)已經(jīng)成型的字節(jié)流。后臺(tái)線程不能再做格式化否則格式化開(kāi)銷(xiāo)就從業(yè)務(wù)線轉(zhuǎn)移到了后臺(tái)很快會(huì)成為新的瓶頸。4. 部署與使用指南從配置到線上切換的完整流程4.1 配置項(xiàng)的選擇與建議初始化日志系統(tǒng)時(shí)我給LogConfig設(shè)計(jì)了四個(gè)最關(guān)鍵的配置項(xiàng)日志文件路徑前綴、單塊緩沖區(qū)大小、日志級(jí)別、刷新間隔。配置項(xiàng)推薦值說(shuō)明base_filename日志目錄 文件名前綴例如/var/log/app/server_buffer_capacity4MB ~ 16MB根據(jù) QPS 估算內(nèi)存緊張可降到 1MBlog_levelLOG_INFO或LOG_WARN生產(chǎn)環(huán)境不建議開(kāi) DEBUGflush_interval100ms ~ 1000ms越小日志越實(shí)時(shí)但刷盤(pán)越頻繁這里的核心原則是緩沖容量不是越大越好刷新間隔也不是越小越好。容量太大內(nèi)存里堆積的日志變多一旦崩潰丟的就多刷新間隔太小疊加的批量寫(xiě)效果被削弱。線上我常用的組合是8MB 緩沖區(qū)、200ms 刷新間隔、LOG_INFO級(jí)別。這個(gè)組合在各種服務(wù)上表現(xiàn)都比較均衡。文件切分也建議在設(shè)計(jì)時(shí)就考慮進(jìn)去。日志系統(tǒng)跑久了單個(gè)日志文件無(wú)限增長(zhǎng)是災(zāi)難。我通常會(huì)再提供兩個(gè)參數(shù)max_file_size和max_file_count。當(dāng)單文件超過(guò)max_file_size寫(xiě)入切換到下一個(gè)文件當(dāng)文件數(shù)量超過(guò)max_file_count刪除最老的文件。這樣磁盤(pán)占用能被嚴(yán)格限制在可控范圍內(nèi)。4.2 初始化到寫(xiě)日志的代碼示例以一個(gè)典型服務(wù)的主程序?yàn)槔齣nt main() { LogConfig cfg; cfg.base_filename /var/log/app/order_; cfg.buffer_capacity 8 * 1024 * 1024; // 8MB cfg.log_level LogLevel::LOG_INFO; cfg.flush_interval_ms 200; cfg.max_file_size 512 * 1024 * 1024; // 512MB滾動(dòng) cfg.max_file_count 10; if (!AsyncLogger::Instance()-Init(cfg)) { std::cerr init logger failed std::endl; return 1; } LOG_INFO(server started, enabled modules: %s, core,order,pay); // 業(yè)務(wù)邏輯... LOG_DEBUG(request%s, response%s, req_str, resp_str); // 程序退出前 AsyncLogger::Instance()-Shutdown(); return 0; }注意Shutdown()之間的業(yè)務(wù)邏輯如果存在長(zhǎng)期運(yùn)行的線程日志系統(tǒng)必須是線程安全的。我在Write()內(nèi)部用了BufferQueue::Append()上的鎖所以多線程寫(xiě)日志不會(huì)互相干擾。對(duì)于日志順序要求很高的場(chǎng)景順序僅由鎖獲取的順序決定——大多數(shù)業(yè)務(wù)場(chǎng)景不需要關(guān)心這一點(diǎn)。有個(gè)體驗(yàn)上的細(xì)節(jié)日志文件里的時(shí)間戳格式。建議輸出格式帶上精確到毫秒的時(shí)間戳、線程 ID 和日志級(jí)別。后臺(tái)服務(wù)排查問(wèn)題特別是偶發(fā)問(wèn)題缺少線程 ID 會(huì)讓上下文追蹤變得非常痛苦。格式類似2025-01-18 14:23:45.678 [12345] INFO request accepted, traceabc1234.3 進(jìn)程優(yōu)雅退出時(shí)的日志處理進(jìn)程退出時(shí)的日志處理是最容易被忽略的坑。如果直接調(diào)用exit()后臺(tái)線程可能才格式化完一半日志進(jìn)程就沒(méi)了。正確順序是通知所有業(yè)務(wù)線程不再寫(xiě)日志或至少保證寫(xiě)日志操作已經(jīng)返回調(diào)用Shutdown()在Shutdown()內(nèi)部停止后臺(tái)刷新線程并把隊(duì)列里剩余的所有 Buffer 全部刷盤(pán)最后進(jìn)程退出為什么必須在Shutdown()里“清空所有 Buffer”因?yàn)槊r(shí)可能有兩個(gè)非空 Buffer一個(gè)是正在寫(xiě)入還沒(méi)滿的一個(gè)是交換后還沒(méi)被后臺(tái)線程取走的。如果只刷了當(dāng)前移交的那個(gè) Buffer另一個(gè)殘留的數(shù)據(jù)就丟了。測(cè)試中就很容易出現(xiàn)一種情況平時(shí)日志正常但進(jìn)程退出瞬間最后幾十條日志神秘失蹤根源就在這里。4.4 信號(hào)處理與崩潰保底線上服務(wù)被kill是常事。比如SIGTERM時(shí)一般會(huì)希望優(yōu)雅退出。我的做法是注冊(cè)了信號(hào)處理器在捕捉到SIGTERM和SIGINT后調(diào)用Shutdown()再退出。但對(duì)于SIGKILL和段錯(cuò)誤SIGSEGV進(jìn)程瞬間死亡任何代碼都來(lái)不及執(zhí)行此時(shí)只能依賴“日志文件最近一次 flush 之后的內(nèi)容未丟失”這一保證。有個(gè)小技巧可以降低崩潰恢復(fù)的代價(jià)日志系統(tǒng)的后臺(tái)線程每次寫(xiě)完一個(gè) Buffer就執(zhí)行一次fdatasync()或者至少是flush()而不是等到文件關(guān)閉時(shí)再刷。這樣崩潰后最多丟失的就是上一次 flush 之后的數(shù)據(jù)。代價(jià)是磁盤(pán) IO 頻率上升但換來(lái)的是日志可靠性。5. 高頻日志場(chǎng)景下最容易踩的坑和調(diào)優(yōu)路徑5.1 問(wèn)題一日志大量丟失而且丟得沒(méi)有規(guī)律很多第一次用異步日志的團(tuán)隊(duì)上線后發(fā)現(xiàn)日志有缺口第一個(gè)懷疑是磁盤(pán) IO 不夠但實(shí)際上經(jīng)常是Buffer 容量太小 生產(chǎn)速度大于消費(fèi)速度的組合。排查思路在Append()里加一個(gè)丟棄計(jì)數(shù)當(dāng)出現(xiàn)“當(dāng)前緩沖區(qū)寫(xiě)不下且next_也沒(méi)法交換”的情況時(shí)直接丟棄該條日志并累計(jì)計(jì)數(shù)。日志系統(tǒng)可以每秒打印一次這個(gè)計(jì)數(shù)到標(biāo)準(zhǔn)輸出或單獨(dú)的文件。如果丟包率持續(xù)增長(zhǎng)說(shuō)明日志量與 Buffer 容量不匹配。調(diào)優(yōu)手段有兩個(gè)方向增大單塊 Buffer 容量讓攢批的窗口更長(zhǎng)增加后臺(tái)刷新線程數(shù)量或提高刷新頻率注意方向 2 有一個(gè)副作用線程數(shù)量增加意味著刷新更頻繁可能削弱批量寫(xiě)效果。我個(gè)人的經(jīng)驗(yàn)是先嘗試把刷新間隔從 200ms 調(diào)整到 100ms如果還不夠再考慮擴(kuò)容 Buffer一般不推薦加第二個(gè)后臺(tái)線程除非數(shù)據(jù)量真的到了單線程刷盤(pán)上限。5.2 問(wèn)題二雙緩沖交換時(shí)鎖競(jìng)爭(zhēng)激烈日志線程本身成為瓶頸業(yè)務(wù)線程在調(diào)用Write()時(shí)最終都會(huì)進(jìn)入BufferQueue::Append()。當(dāng)日志量大時(shí)這把鎖就成了高頻熱點(diǎn)。雖然我的設(shè)計(jì)里鎖只保護(hù)了一次 append 加一次可能的 swap但 QPS 極高的服務(wù)依然能把這把鎖的競(jìng)爭(zhēng)壓力拉滿。應(yīng)對(duì)辦法有幾個(gè)按性價(jià)比排序用更精細(xì)的鎖替代std::mutex比如std::shared_mutex在日志量極高時(shí)寫(xiě)鎖其實(shí)不多只在交換的時(shí)候大部分是讀鎖。每個(gè)業(yè)務(wù)線程獨(dú)立的小 Buffer先寫(xiě)入線程本地緩沖積攢到一定閾值再合并到主雙緩沖隊(duì)列。這個(gè)方案稍微復(fù)雜但能大幅降低鎖競(jìng)爭(zhēng)。接受現(xiàn)狀只把日志級(jí)別開(kāi)關(guān)在生產(chǎn)環(huán)境關(guān)掉80% 的日志量來(lái)自 DEBUG生產(chǎn)環(huán)境把級(jí)別調(diào)到 INFO 以上絕大部分性能問(wèn)題自然消失我推薦從第 3 步開(kāi)始。很多團(tuán)隊(duì)上線時(shí)忘了關(guān) DEBUG日志量爆炸式增長(zhǎng)最后怪異步日志系統(tǒng)不行。實(shí)際上把 DEBUG 一關(guān)系統(tǒng)壓力立減 80%。5.3 問(wèn)題三日志內(nèi)容里包含二進(jìn)制、亂碼或超長(zhǎng)行日志系統(tǒng)最常見(jiàn)的使用誤區(qū)是把任意二進(jìn)制數(shù)據(jù)塞進(jìn)日志文本。比如記錄網(wǎng)絡(luò)上報(bào)文的原始字節(jié)或者記錄一個(gè)包含\n的字符串。這些數(shù)據(jù)會(huì)導(dǎo)致日志文件結(jié)構(gòu)被破壞后續(xù)按行解析時(shí)自然錯(cuò)亂。我的做法是在Write()時(shí)對(duì)非打印字符做轉(zhuǎn)義處理。尤其注意\n、\r、\0這幾個(gè)字符轉(zhuǎn)成\\n、\\r之類的可見(jiàn)文本。如果業(yè)務(wù)確實(shí)需要記錄完整的二進(jìn)制 dump建議單獨(dú)設(shè)計(jì)一個(gè)WriteBinary()接口走十六進(jìn)制編碼再寫(xiě)文本日志而不是硬塞。另外設(shè)置單條日志的最大長(zhǎng)度。通常一條日志超過(guò) 4KB 就已經(jīng)很夸張了遇到超長(zhǎng)內(nèi)容寧可截?cái)嘁膊荒苋嗡鼡伪?Buffer。vsnprintf本身就支持傳入長(zhǎng)度上限超出部分返回的長(zhǎng)度大于實(shí)際寫(xiě)入長(zhǎng)度你可以據(jù)此判斷是否發(fā)生截?cái)嗖⒀a(bǔ)一個(gè)“日志超長(zhǎng)截?cái)唷钡臉?biāo)記。5.4 問(wèn)題四日志線程退出時(shí)隊(duì)列里還有數(shù)據(jù)沒(méi)來(lái)得及寫(xiě)這個(gè)問(wèn)題在“4.3 進(jìn)程優(yōu)雅退出”里提過(guò)。但還有一種特殊情況后臺(tái)線程在刷最后一個(gè) Buffer 時(shí)業(yè)務(wù)線程仍然在搶鎖寫(xiě)日志兩者互相等待甚至死鎖。我處理的辦法是Shutdown()先把running_原子變量置為false這樣業(yè)務(wù)線程再調(diào)用Write()時(shí)直接放棄寫(xiě)入并返回。接著后臺(tái)線程拿到隊(duì)列鎖把剩下的 Buffer 全部刷盤(pán)。這樣保證了退出路徑上沒(méi)有新的數(shù)據(jù)生成也不會(huì)卡住主程序。5.5 性能數(shù)據(jù)參考與容量估算在常見(jiàn)的高配服務(wù)器上普通 SSD 磁盤(pán)雙緩沖異步日志能實(shí)現(xiàn)百萬(wàn)級(jí)日志行每秒的寫(xiě)入能力。更保守地講和同步日志相比任何一條fprintf直接落盤(pán)的方案切換到雙緩沖異步方案后日志側(cè)性能都能提升一到兩個(gè)數(shù)量級(jí)。給一個(gè)我實(shí)際線上服務(wù)的配置參考業(yè)務(wù)HTTP 網(wǎng)關(guān)高峰期 QPS 1.2 萬(wàn)每請(qǐng)求約產(chǎn)生 8 條日志日志寫(xiě)入峰值約 10 萬(wàn)條/秒文本量約 30~40 MB/s配置雙緩沖各 16MB刷新間隔 100ms日志等級(jí) INFO實(shí)測(cè)結(jié)果業(yè)務(wù)接口 P99 耗時(shí)波動(dòng)小于 1ms日志線程 CPU 占用約 12%這組數(shù)據(jù)可以當(dāng)作一個(gè)估算基線如果你們的日志量是這個(gè)規(guī)模的 5 到 10 倍就該考慮引入多級(jí)緩沖或者直接上專業(yè)的日志采集框架了。5.6 快速故障排查表現(xiàn)象可能原因排查手段日志文件出現(xiàn)缺口Buffer 容量不足 / 刷新線程未跟上檢查丟棄計(jì)數(shù)擴(kuò)容 Buffer 或調(diào)短刷新間隔日志線程 CPU 過(guò)高格式化在后臺(tái)線程執(zhí)行 / 鎖競(jìng)爭(zhēng)嚴(yán)重確保格式化在生產(chǎn)線程完成關(guān) DEBUG 日志日志亂碼或錯(cuò)行二進(jìn)制數(shù)據(jù)未轉(zhuǎn)義在 Write() 中加入轉(zhuǎn)義邏輯限制單條長(zhǎng)度退出時(shí)最后日志丟失Shutdown 未清空剩余 Buffer檢查 Shutdown 實(shí)現(xiàn)確保刷完所有 Buffer日志按小時(shí)延遲刷新間隔過(guò)大 / 文件緩存未刷調(diào)小 flush_interval 或加入定時(shí) flush6. 用了一段時(shí)間之后的幾點(diǎn)體會(huì)雙緩沖日志系統(tǒng)已經(jīng)在我們這邊服務(wù)里平穩(wěn)跑了挺長(zhǎng)時(shí)間最大的感受是“日志”和“業(yè)務(wù)”終于不再互相牽扯。以前同步日志時(shí)代每次線上問(wèn)題排查都要祈禱日志別把系統(tǒng)拖慢切到異步之后日志只是安靜地把該記的記下來(lái)業(yè)務(wù)線程完全不用關(guān)心磁盤(pán)的脾氣。如果只看設(shè)計(jì)雙緩沖方案的代碼量并不大核心邏輯可能兩三百行就能寫(xiě)完。但真正值錢(qián)的不是代碼而是對(duì)邊角情況的處理。比如交換時(shí) Buffer 的狀態(tài)判斷、Shutdown 時(shí)清理隊(duì)列的邏輯、超長(zhǎng)日志的截?cái)嗯c轉(zhuǎn)義這些細(xì)節(jié)決定了系統(tǒng)在線上是否可靠。文檔里不會(huì)告訴你這些坑只有實(shí)際踩過(guò)才知道。還有一點(diǎn)個(gè)人建議日志系統(tǒng)的代碼最好保持簡(jiǎn)單、可讀、少依賴。它不像業(yè)務(wù)模塊那樣圍繞架構(gòu)演進(jìn)穩(wěn)定和可靠永遠(yuǎn)排在第一位。就算將來(lái)要升級(jí)也盡量在現(xiàn)有接口上做增量改動(dòng)而不是推倒重來(lái)。下一篇文章我會(huì)把雙緩沖隊(duì)列日志系統(tǒng)的完整實(shí)現(xiàn)代碼展開(kāi)講包括后臺(tái)線程的調(diào)度細(xì)節(jié)、文件滾動(dòng)策略的具體寫(xiě)法以及如何把日志量級(jí)擴(kuò)展到更高。如果你現(xiàn)在遇到日志性能上的問(wèn)題建議先按這篇文章的設(shè)計(jì)思路把手里的同步日志替換成異步雙緩沖版親身體會(huì)一下“日志不再拖后腿”的差別。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香婷婷五月| 99视频色在线观看| 高清无码网址| 色停停五月,在线观看| 嫩草视频观看| 99九九精品| 人妻系列久久久久久久久久久 | 久久最新色色色| 国产AV影片| 狠狠五月激情丁香六月| 成人九九视频| 99re在线观看视频| 色一情一乱一乱一区91| 玖色色综合| 色色激情五月天| www,99热| 五月丁香狠狠爱婷婷综合| 五月黄色婷婷| 亚洲传媒在线观看| 日本欧美成人片AAAA| 色屌丝中文字幕| 丁香五月婷婷香| 97干在线| 成人国产综合| 天天综合五月天| 久99999热视频在线观看免费| 天天狠狠干| 91丨九色丨熟女|老版| 99精彩视频| 草综合14| www,天天干| 狠狠人人| 5月婷婷综合| 99噜噜噜| 四季AV综合网| 71在线精品视频一区| 直接看的av| 人人摸人人搞| 99在这里有精品| 超碰女人天堂| 91色在线/日韩| 激情婷| 中文字幕人妻熟女在线| 婷婷五月天影院| 五月天激情视频| 99热精品9| 五月婷婷亚洲天堂激情在线| 五月色婷婷在线观看| 99热亚洲综合| 999久久久国产精品| 超碰熟女农村在线69| 99热这里只有精| 婷婷99狠狠躁天天躁中| 99热费观看| 久久se 综合网| 26uuu国产| 九九视频在线观看| 天天射影院| 欧美Va日本Va| 五月天丁香成人| 五月丁香六月情| 日日插日日干| 99激情| 久色中文| 天堂草在线看www| 国产片色| 99精品综合视频| 色综合色综合网| 五月天婷婷网站| 色一情一乱一乱一区91| 激情综合网络插| 色色综合成人网| 色婷婷免费观看| 日韩精品无码AV| 一本色道久久88加勒比| 99热黄| 97人碰人操| 色婷婷六月| 欧美色图片88| www.刺激色网站www.| 丁香五月婷婷社区| 射琪琪| 人妻人人操| 99er精品| 深夜A片| 色综色五月天婷婷| 久久婷婷五月天激情| www.狠狠| 色婷婷激情| 无遮羞AV| 国产成人在线不卡AV| 成人色图情色成人网 www.5b5b5bcom 五月天 | 久久人人九| av在线激情| 激情视频网址| 99riAV成人在线视频| 欧美槡BBBB槡BBB少妇| 操老逼综合网| 五月丁香色综合| 色色五月天激情| 婷婷综合另类小说| 曰日爽日日操| 99热免费在线| 97人碰人操| 97成人在线视频精品| 国产操B视频| 超碰免费在线| www激情com| 婷婷五月综合网| 五月丁香成人视频| 日本丁香五月| 色五月丁香六月婷婷| 丁香五月天激情综合网| 激情五月婷| 亚洲最大视频| 成人无码中文| 伊人五月天男人的天堂在线| 激情网五月天| 九九婷婷五月天| 五月花激情网| 色色色色色色色色色999| 激情综合五月开心狠狠| 无码少妇高潮喷水A片免费| 婷婷五月娱乐在线| 久久婷婷精品| 丁香狠狠色婷婷久久无码视频| 色婷婷a v| 婷婷五月天综合网| 亚洲AV网址| 婷婷综合成人五月天| 日本高清综合网五月丁香| 欧美人妻一区二区| 猫咪伊人AV| 爱操人妻| 性综合网| 欧美三级视频| 五月丁香激情综合网官网| 色色无码| 婷婷伊人视婷婷婷| 这里只有精品在线免费视频| 五月丁香啪啪网| 丁香五月婷中字在线| 五月天激情网址| 五月丁香五月综合欧美| 激情综合丁香| 亚洲中文丁香| 成人丁香五月| 久艹大香蕉| 婷婷丁香综合成人| 九九九九操逼| 欧美久久五月婷婷| 色五月天在线观看| 伊人婷婷大香蕉| 五月丁香综合久久| 另类在线| 婷婷激情五月天网站| www.开心激情| 国产肥白大熟妇BBBB视频| 国产色网站| 亚洲 日韩色色| 欧美25p| 人妻丰满精品一区二区A片| 99这里有精品视频| 婷婷久久五月丁香| 亚洲成人av在线| 丁香六月视频免费观看| av大片在线| 99er这里只有精品| 无码99| 美女黄频aⅴ视频| 色七七色九九| 97久久五月丁香婷婷| 婷婷成人小说综合| 五月天色色无码| 99视频色在线观看| 五月亭亭直播| 第四色五月激情网| 丁香五月影院| 麻豆科斗777| 狠狠草狠狠草| 久久久久久草黄色片AV在线观看| 亚洲中文字幕av| 日撸夜撸日操| 婷久久高清| 天天艹天天色| 婷婷综合久久综合| 五月丁香综合激情| 九九综合图片网| 六月丁AV| 久在线综合69| 日韩在线五月天婷婷| 香蕉曰比| 秋霞学生妹一二级| 久久草人妻| 六月丁香深深爱| 五月激情六月综合| 久久爱综合| 亚洲无码另类| 欧美丁香婷婷天天操| 色九网| 色丁香五月| 婷婷六月久久综合导航| 婷婷色吧| 久久婷婷激情| 五月激情丁香久久综合网| 强伦轩人妻一区二区电影| 丁香婷婷精品视频| 九九婷婷激情综合网| 伊人超碰| 噜噜狠狠色综合久| 九九婷婷网五月天| 色五月综合网| 先锋资源婷婷| 激情网色五月| 久久大香蕉同僚| 九色综合五月天婷五月| site:pnnrt.com| 伊人在线视频| 亚洲人人操| www.婷婷,com| 99色在线| 天天干天天做| 六月婷婷视频| 激情丁香久久久久久| av在线激情| 99久久精彩视频。| 香蕉AV福利精品导航| 欧美激情2025| 五月丁香激| 无码髙清| 激情五月五月五月婷婷| 婷婷六月综合| 高潮毛片又色又爽免费| 五月天激情亚洲| 丁香五月日韩| Aaa久久| 婷婷在线视频| 另类图片 五月激情| 天啪天啪天啪天啪| 丝袜人妻| 丁香亚洲婷婷五月| 9久热在线视频精品| 九九色逼| 婷婷五月天亚洲综合| 婷五月天| 久久99国产综合精品免费| 五月婷婷免费| 色999五月色| 操老逼综合网| 99婷婷| 亚洲 五月 婷婷 成人| 午夜丁香综合婷婷| 色www99| 九九青草热| 天天玩夜夜操| 婷婷五月天黄色小说| 99久热| 精品国产AV色一区二区深夜久久| 国产精品久久..4399| 激情综合婷婷| 男人的天堂999| 五月停亭久久电影| 中文幕无线码中文字蜜桃| 人妻久久久| 激情婷婷丁香色五月综合| 超碰啪啪网| 九九黄色网| 色五月婷婷大| 亚洲va日| 天天久综合网永久入口17v| 99国产精品白浆在线观看免费| 九九人人精品| 九九99一区| 久久婷婷六月天| 五月天丁香花婷婷| 国产人妻777人伦精品HD| www.91在线观看| 中文不卡一二区| 六月丁香激情综合网| 九九激情| 另类国产欧美视频| 另类丁香五月天区图| 六月丁香啪啪啪| 99热这里只有精品最新网址| 激情五月婷婷欧美极品| 永久思思热在线| h亚洲| 亚洲12p| 亚洲综合九九| 97色欧美| 久久狼人天堂| 这里只有精品2| 欧美毛片www| 热99国产精品| 亚洲五月天色| 婷婷免费精品视频| 99视频在线| 色爽九九| 久热黄色| 亚州操逼网| 丁J香六月首页| 五月天婷婷综合| 五月婷婷在线免费| 婷婷成人视频| 九月激情综合| 九九热av| 色色色9| 超碰人人艹| 亚洲精品午夜国产va久久成人| 第四色婷婷色五月| 99re这里只有精品视频了| 婷婷丁香五月天小说| 一根材五月婷成人| 我要射综合| 婷婷六月天亚州| 色婷婷丁香AV综合| 丁香色五月婷婷91桃色| 色色网站在线| 日韩人妻在线观看| 天天插天天爽| 久久婷婷色| 色婷网| 六月激情网| 天堂网啪啪| 色婷婷69| 日本婷婷在线| 免费视频99| 99热这里只有精品2| 婷婷金品综合视频| 9热网站| 天海翼中文字幕高| 欧美碰碰| 亚洲在线成人| 深夜男女福利刺激影院一区完整| 小视频在线亚洲| 五月婷婷综合网在线播放| 激情综合色五月六月婷婷| 婷婷五月天视频在线观看| 婷婷六月天激情影院| 成人性爱精品视频| 五月丁香久久| 青青青在线视频国产| 99热66| 激情99| 在线看片h站| www99精品亚| 五月香蕉婷婷| 色婷婷丁香五月高清在线| 六月丁香婷啪射| 五月成人综合| 激情久久久| 久青草影院| 五月丁香婷婷五月色| 草久私拍| 九九激情综合| 色人妻五月| 热99在线| 99精彩视频| 人妻丰满精品一区二区A片| 伊大人久久| 中文久久婷婷| 国内婷婷丁香社区在线播放| 亚洲精品色| 人人摸人人| 久久99人人| 婷婷综合影院| 色青五月天| 五月天丁香成人社| WWW.桔色成人.COM| 色色激情五月| 久久婷婷色五月| 午夜成人AV在线| 国产熟妇的荡欲午夜视频| 丁香五月天激情四射网络不好| 九九RE视频在线精品| 四川BBB搡BBB爽爽视频| 99ri视频在线观看| 2020夜夜操天天爽| 六月婷婷色综合| 五月丁香| 91九色国产| 丁香五月激情六月| site:pnnrt.com| 激情骚五月| wuyuedingxiang99| 无码色色色| 少妇高潮呻吟A片免费看软件 | 亚洲激情综合| 日本色爽| 五月婷婷欧洲| 深爱开心激情网| 天天天天天天操| 亚洲精品99| 日本天堂爱爱| 丁香婷婷月| 国产肥白大熟妇BBBB视频| 99亚洲精品视频| 偷拍视频五月天| 色域五月婷婷丁香| 久久精品五月| 婷婷激情蜜桃玖玖丁香| 丁香五月中文字幕| 婷婷五月天毛片| 久久有码| 色激情五月| 99色久| 五月天婷婷青青| 日本片日本片祼观看网站在线看中文版网页在线看 | 婷婷丁香五月激情图片| 91精品丝袜久久久久久| 五月天婷婷久久| 天天操天天操天天操天天操天天操 | WWW.桔色成人.COM| 无码激情AAAAA片-区区| 人人人人人人人人人草| 97操碰| 一月婷婷色色| 97超碰在线免费观看| 最熟少妇乱码| 婷婷五月天激情AV影院| 日本在线播放97| 久热这里只有精品66| 超碰二区| 97人人搞| 九月丁香| 亚洲无码成人网| 欧美操人| 日韩免费乱轮网站| www色色com| 99riAv1国产在线观看| 色色日本| 伊人色综合久久久| 高清不卡一区| 五月婷婷三级| 五月天激情国产综合婷婷| AAA久久久| 婷婷五月AV| 996黄色片| 狠狠干综合网| 大香伊人婷婷| 综合99综合久久久久久久| 婷婷刺激综合| 亚洲成人无码网站| 色狠狠色| 婷婷五月天网| 九九热手机在线视频| 美女久久婷婷| 日日夜夜天天综合| 91色色色18| 日韩 中文 欧美| 综合网啪啪| 日韩亚洲视频| 91超级碰在线视频| 色情五月综合婷婷| 六月色五月天天婷婷| 天堂在线观看视频| 亚洲最大激情无码| 激情五月综合网| 99操逼视频| 日本九九视频| 婷婷丁香人妻天天爽| 狠狠爱婷婷爱| 99精彩视频| 久久久月丁香| 殴美97色| 91久久久久久久久久久| 中文字幕丁香五月| 91久久九九| 九九热啪啪| 婷婷丁香六月综合激情站| 丁香五月AV| 狠狠狠激情网| 色综合av超碰| 日日夜夜干| 五月丁香久久激情网| 9色在线视频精品观看| 久久青草国| 色色性爱视频| 91艹人| 狠狠综合久久综合| 五月婷婷狠狠干| 日本欧美在线| 九九久久偷拍| 天天色天天日| 亭亭五月色男人| 无码A片一区二区免费| 婷婷色五月天在线观看| 国产丁香五月天婷婷| 国产精品成人网站| 国产激情在线| 日逼免费视频| 日本高清久久| 九九九九九九九九九九九九九国产精品| 五月天婷婷综合免费| 五月婷婷综合激情网| 日韩AV无码影片| 69久久99精品久久久久婷婷| 99热综合在线观看| 五月丁香啪啪激情| 草榴成人影片| 1024日韩| www99热| 开心五月婷婷五月| 五月婷婷六月丁香玖玖玫瑰91| 综合婷婷五月天| 99热20| 色综合久久综合| 国产精产国品一二三在观看| 超碰成人电影| 色婷婷久久综合中文久久一本| 这里只有精9| 丁香花狠狠婷婷亚洲中文字幕| 色综合久久久久| 玖玖精品视频99| 99啪在线| 91碰免费视频| 国产人妻人伦精品一区二区| 久久激情五月| 久久综合九色综合97婷婷| 色婷婷先锋| 中文中文在线| 婷久久| 综合五月天天天天天五月| 五月天综合婷婷| 色色a| 婷婷色网址| 天天艹天天综合网| 丁香五月激情啪啪| 色综合色综合色综合| 99免费在线视频| 色婷婷电影| 久热超碰| 99热在线资源| 99热偷拍| 日本VA视频| 五月天婷婷午夜丁香| 2020日日干| 色婷网站| 亚洲成人AV电影在线| 在线播放成人网站| 久久精品4| 深爱激情五月网| 五月丁香花开综合网| www色色com| 色综合久久无码| 99精品偷自拍| 日韩欧美成人片| 这里只精品热在线18| 襙比视频| 五月丁香亚洲综合网| 天天插天天草人人玩| 日韩无码一区二区三区四区| 婷婷五月AV| 久久婷婷亚洲| 丁香婷婷十月| 婷婷五月天高清无码| 色99热| 深爱婷婷基地| 青青操avbb| 99热国产这里只有| 99re热久久| 成年人99热| 99.色| 操你av| 亚洲久热无码| 色婷婷五月天偷拍| 日本啪啪天堂| 婷婷爱五月| www.99色| 色欲天天综合网| 丁香五月a| 五月婷婷丁香啪啪| 综合网啪| 91色婷婷综合久久中文字幕二区| www.超碰在线| 91婷婷丁香五月天免费视频网站| 九九综合| 爱爱色五月天| 激情第四色| 五月天激情国产综合婷婷婷| 婷婷成人五月天成人文学| 五月丁香啪啪啪| 一起草AV| 超碰人人摸人人操| 综合XX网| 色狠狠综合| 欧美在线视频99| 色色欧美。| 五月丁香婷婷爱激情综合网| 丁香婷婷综合五月天| 久久五月婷| 婷婷五月天视频在线观看| 五月婷婷激情啪啪| 婷婷五月激情图片| 久久五月婷天天干| 丁香五月影视| 狠狠精品干练久久久无码中文字幕 | 99色在线视频| 免费观看高清无码| 91精品久久久久久久| 欧洲色| 色婷婷综合网站| 色婷婷小视频| 生活片五区| www.9797国产| 五月婷免费视频久久久| 丁香五月婷老师| 4399在线日本A片| 色爱综合网| 男人視頻站| 永久思思热在线| 九九精品视频在线6| 日韩操逼大片| 五月丁香婷婷欧美色图视频五月丁香777电影 | www.婷婷五月.com| 日本色频| 婷婷五月天美女21p| 五月天色色色| 2015WWW永久免费观看播放| 久久亚洲A| 这里只有久久精99| 丰满人妻一区二区三区| 五月天激情四射网站| 婷婷五月综合欧美在线播放| 欧美乱码国产一级A片| 国产精品一区在线观看你懂的| 欧美精品久| www.99热视频在线观看| 日韩AV片| 丁香六月激情国产| 永久思思热在线| 丁香五月五月婷婷| 婷色五月天| 偷拍91九色| 久久婷婷五月草视频| a网站免费观看| 婷婷碰碰| 亚洲婷婷五月草久| 九九热99视频| 五月激情综合性爱| 精品无码色| 久久婷婷网| 丁香五月婷婷av影院| 99er这里只有精品| 激情六月丁香| 成人小说色图婷婷五月| 亚洲射激情| 久久久久亚洲AV成人无码电影| 日本一级| 99视频内射三四| 91干在线| 久久性视频| 99国产小视频| 九九视频在线观看视频6 | 成人网站免费在线播放| 色播五月婷婷| 国内熟女黄色系列| 思思热在线视频99| 曰韩少妇内射免费播放| 亚洲五月婷婷| 成人欧美日韩| 77777亚洲午夜久久| 天天肏天天爽夜夜爽| 熟女人妻一区二区三区免费看| 草草视频91| 欧洲亚洲免费视频9| 久/久精品99看9| 这里只有精品久久| 丁香五月性爱爱五月| 日日狠狠久久偷偷四色综合免费 | 成人综合网站| 婷婷激情蜜桃玖玖丁香| 精品久久久久成人码免费动漫| 亚洲一个色| 91操操| 97人妻碰碰碰久| 色婷婷操逼| 九九热av| 婷婷五月天网| 丁香六月 婷婷六月| 综合激情五月丁香| 开心四月婷婷在线色播播| 成人午夜视频精品一区| 天天添天天摸天天天天做| 大地资源色婷婷视频在线| 天干干夜夜操| 99热这里是精品| 日本婷婷网| 国产精品99久久久久久久女警| 天天爱天天做天天舔| 99re6在线视频精品免费| 桃色伊人在线| 操逼亚洲天堂| 婷婷丁香六月天| 五月丁香婷草| 小视频久久久aaa| 婷婷色色狠狠| 热思思九九| 成人综合伍月天| 日韩一级网站| 色婷婷丁香五月| 亚洲精品乱码久久久久99| 久久小说网| 韩国三级五月天婷婷。| 欧美精品A片一区在线观看| www.精品99| 五月丁香久久网| www.激情| 色婷婷六月丁香综合欲精品| www98日本小时间到了| 亚洲AV日韩无码| 六月亚洲婷婷6月中文字幕| 日本视频久久| 国产九九一区二区三区| 久热视频A.| 五月婷婷玖玖综合玖玖爱| 一区二区传媒视频| 五月综合色| 99热九九这里只有精品| 激情综合丁香六| 五月天激情综合| 99九九99九九九视频精品| 午夜九九九九九九九九九九九九九| 久久婷婷五月综合| 四色五月婷婷| 五月丁香婷草| 97成人丁香婷婷| 婷婷五月天视频免费在线观看| 激情综合九| 国产精品久久99| 日本狠狠色| 有码一区二区三区| 五月婷婷丁香色吧网| 国产欧美精品AAAAAA片| 五月色精品| 日韩三及成人AV片| 99日这里只有精品| 五月色婷婷综合| 婷婷六月丁香五月| WWW99视频| 五月婷深深爱激情网| 丁香六月高清视频| 亚洲成色综合网站免费观看| 久久丁香五月婷婷| 99爱视频免费| 丁香婷婷人妻综合网| 免费超碰在线| 欧洲色区| 色婷婷伊人| 色久综合天天做视频| 中美日韩成人在线| 丁香综合| 亚洲六月婷婷| 台湾无码A片一区二区| 中出内射的人妻视频| 操一区| 99ri视频在线观看| 欧美性生交XXXXX无码小说| 五月婷婷成人| 色婷婷视频在线| 五月婷婷成人网首页| 九九热99免费视频| 9久热视频| 五月丁香影院| 五月丁香色婷婷久久| 不卡影院午夜理论片| 五月天丁香啪啪综合| 五月丁香A片| 国产精品国产成人国产三级| 伊人久久99| 激情丁香五月婷婷| 五月天深爱激情网| 色五月天中文字幕| 秋霞电影一级黄| 丁香五月婷婷操逼| 色99在线| 99操逼| 99色在线观看| 香蕉操亚洲| 久久婷婷久久| 久久激情五月| 26uuu在线观看| 婷婷丁香成人五月天| 婷激情五月| 丁香五月激情六月综合| 婷婷开心深爱五月天| 91色婷婷综合久久中文字幕二区| 黑人无码一区| 熟妇人妻中文字幕无码老熟妇| 婷婷开心久久| 丁香五月天导航| 九九久久久综合| 九九热在线精品视频| 久草狼人| www.开心激情| 精品国产人人爱人人| caopeng97人人| 婷婷91视频| 人人爽天天爽| CAOBIBI| 婷婷欧美| 91精品电影18T| 日本V在线观看不卡视频网站| 激情五月综合网| 少妇搡BBBB搡BBB搡毛茸茸 | 色播六月| 色综合色五月| 啪啪啪综合网| 97干在线| 99 热| 欧美va精品va老师va| 天天操B| 五月丁香婷婷中文网| 五月丁香精品| 色婷婷久久视屏| 九色porny在线观看激情四射| 五月天丁香久久综合| 成 人片 黄 色 大 片| 久久久亚洲精品一区二区三区浴池 | 天天操婷婷| 97婷婷五月天| 97色啪| 99色婷婷| 玖玖婷婷视频| 开心五月网| 国产做A爰片毛片A片美国| www.五月天| 婷婷色五月天综合网| 久久99这里只有精品| 婷婷激情五月天色| 五月天精品综合| 激情五月天婷婷五月天| 成人视频一区| .精品久久久麻豆国产精品| 婷婷碰碰| www.久久爱.com| 亚洲激情99| 深爱五月最新网址| 天天肏天天肏天天肏| 色色网站| 20253AV| 国产肏屄大片| 日日夜夜狠狠婷婷色| 五月天久久综合婷婷丁香| 免费看欧美成人A片无码| 色婷婷免费视频| 永久精品| 婷婷五月丁香色色| 中文字幕在线免费| 婷婷 亚洲图片 丁香| WWW.桔色成人.COM| 亚洲精品久久久久AV无码| 东北熟女视频99| 五月天激情综合首页| 久久久久久五月天| 婷婷久久网| 五月婷婷丁香日韩在线| 五月婷婷影| 69午夜成人影片| 五月激情在线| 极品少妇XXXX精品少妇偷拍| 激情五月天婷婷色色色色色色色色色色色 | 国产五月丁香在线| 中文字幕 中文字幕明步| 欧美色色色色色| 超碰自拍天堂| 狠狠色性| 五月丁香久| 五月天婷婷色播综合在线| 99热综合在线| 99er精品视频| 91超级碰碰| 一级二级色大片| 五月婷婷开心六月激情小说| 久久久WWW| 狠狠狠狠草草| 五月丁香怕怕综合| 天堂五月婷婷| 在线成人va| 青草网在线观看| www.夜夜操| 国产69精品久久久久999小说| 99精品久久久久久久| 色日本网| 蜜臀AV在线观看| 99热9999| 婷婷色情五月| 亚洲乱码日产精品BD| 大香蕉网站,大香蕉综合| 天天操屄网| 丰满少妇猛烈A片免费看观看| 丁香婷色| 五月天婷婷激情在线色图| 91性交在线播放| 亚洲艹网| 另类激情五月| 九色1区视频在线| 色高清无码视频| 夜夜躁爽日日| 色碰干| 五月丁香激情综合久久| 综合久久五| 在线五月色播| 欧美一级色| 五月丁香婷婷中文| 婷婷激情六月视频| 色婷婷操逼网| 五月伊人婷婷| 99天堂在线观看免费视频| 五月丁香网站在线播放| 99无码精品| PORNY九色9l自拍视频成人| 午夜婷婷五月天| 99热亚洲只有色| 色五月五月丁香| 99亚洲精品| 99热在线免费观看精品| 51国精产品自偷自偷综合| 高清不卡一区| 婷婷激情综合网| 日韩人妻在线观看| 超碰成人av| 五月婷婷偷拍| 99热碰碰热| 中文字幕av在线播放| 超碰在线观看9| 天天插天天射天天干| 激情五月天婷婷在线网址发给我 | 2025天天爽天天摸| 99精品成人无码A片观看金桔| 99er免费在线观看| 免费观看的av| 五月色婷婷影视在线电影| 欧美肉大捧一进一出免费视频| 人人干天天舔| 亚洲综合成人网| 亚洲五月六丁香激情| 丁香网站| 五月丁花色综合网| 五月婷婷久久爱| 欧洲激情精品婷婷| 2015WWW永久免费观看播放| 丁香五月情| 日韩啪啪视频| 99在线免费观看| 色五月丁香婷婷综合| 91妻人人爽人人看片| 丁香五月亚洲综合| 欧洲区自拍| 日亚二欧美| 婷香五月| av亚洲国产小电影| wwwwww.色| 日韩成人电影av| 日韩欧洲亚洲| 九九热这里精品| 黄网在线免费观| 丁香桃色网| 久久婷婷五月丁香网| 另类小说五月天| 色婷婷五月天天天做| 玖玖九九超碰| 天天爽天天| 好好干Av| 亚洲网站观看视频| 欧美婷婷五月天| 欧美在线视频99| 熟妇内谢69XXXXXA片| 五月天六月婷| 九九操操| 欧美成人AAA片一区国产精品| 亚洲激情综合免费| 99久久99九九九99九他书对| 99热久久这里只有精品| 婷婷五点亚洲| 色婷婷导航| 九九九九精品精| 91无码高清| 怕怕av| 色婷婷AV久久| 狠狠干天天日| 五月成人综合| 色色五月丁香婷婷| 天天色中文字幕女优AV| 六月婷婷综合激情| 天天网站天天爽| 伊人玖玖网| 色色激情五月天| 色五月在线观看| 丁香五月AV在线| 激情淫乱男女| 国产亚洲99久久精品| 九色色| 久久久18| 欧美日本不卡黄色片| 久久9久| 99久久综合精品五月天| 五月婷婷六月天| 久久久宗合视频88| 97干在线视频| 久久久久久人妻久久久久久久久久人妻久久久 | 久久久人妻久久久| 玖玖婷婷五月天毛片| 六月婷婷色综合| 天天五月天综合网址| 天天日夜夜高潮| 婷婷激情在线| 99久久婷婷精品视频| 综合色播| 色婷婷色99国产综合精品| 66久久视频在线| 3p久久| 综合AV网| 婷婷色五月天在线| 激情第四色| 色婷婷亚洲在线| 色婷婷五月天av在线| 情一色一乱一伦一91A| 极品少妇XXXX精品少妇偷拍| 天天弄天天操| 俺去啦综合网| 亚洲欧洲色色| 五月天婷婷色色| 美腿丝袜AV天堂网| 婷婷中合| 久热这里| 啪啪色区| http://www.sd-xiangsu.com/| 欧美日韩大黄| 色丁香五月天| 另类图片五月天激情| 99久久国产宗和精品1上映| 婷婷午夜激情| 99色视频| 久久激情五月网| 色五月丁香激情视频| 思恩热国产视频右线观看| 五月婷婷色啪| 欧美啪啪网| 成人精品免费在线观看| 丁香五月电影| 天天综合色| 色情五月婷婷| 久操97| 欧美色色色色色色| 人。妻久久| 中文在线视频久1| 欧美日本一区二区三区| 日日噜噜久久婷婷五月天| 欧美五月丁香啪啪响视频| 无码人妻激情| 97操操操| 久婷婷婷| 久久伦乱| 欧美丁香五月97色| 我去色色网五雨天| 97碰人人操| 亚洲第一av| 区啪精品| 国产4P视频精品五区| 成人在线免费网址| 六月婷婷操逼| 丁香五月婷婷亚洲天堂| 久热精彩视频98| 99久久高清视频| 久色大香蕉| 狠狠久久婷婷| 五月婷婷黄| 激情AV中文| 欧美图片丁香五月天| …亚洲黄色在线播放日韩、av中文a…| 综合色网站| 超碰在线中文字幕| 色综合中文色综合网| 成人在线精品| 97精品综合久久| 激情五月开心五月在线视频| 天天日天天狠狠操| 丁香六月中文| 激情五月婷在线精品| 久色国产| 亚洲操B| 五月天操逼网| 成人片在线播放| 丁香五月色情| 国产精产国品一二三在观看| 丁香五月瑟瑟| 综合激情sV| 成人av在线网址| 久热精品视频在线观| 激情综合网五月天天| 激情五月婷婷中文字幕| 色色综合色| 国产在这里只有精品| 超碰人人99| 亚洲色啪| 五月色情| 一区操| 97碰在线| 久久亚洲色导航| 第六色在线| 婷婷色丁香六月| 69色婷婷| 色婷久久| 91无码一起草| www..999热久| 狠狠色噜噜狠狠色噜噜噜999| 五月丁香婷婷啪啪综合网| 丁香涩涩爱| 超碰日日操| 国产亚洲精品久久久久久郑州| 色五月婷婷在线观看第一页舔| 久久五月天网| 五月丁香激情五月天| 五月天婷婷深深爱| 另类图片五月天| 婷婷导航| 变态另类色图 | 色婷婷综合在线| 久久婷婷五月综合97色一本| 五月婷在线色视频| www夜夜操com| 五月婷婷六月丁香在线| 操操操97| 丁香久久五月婷综合| 成人五月天色天堂| 色五月人妻| 狠狠狠狠狠干| 秋霞av不能| 伊人春天av| 五月天激情子轮| 99热在线精品观看| 久久5 9视频免费观看| 欧洲亚洲免费视频9| 热久久66| 五月天开心色情网| 91人久| 91黄址| 狠狠干 狠狠操| 天天综合五月| 婷婷五月丁香基| 超碰在线精品| 成人超碰Av| 婷婷五月天开心网| 丁香五月婷婷综合91| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 欧美日韩AAAA| 99热综合| 婷婷伊人75| 先锋资源 996| 色99在线视频| 9色在线视频精品观看| 激情五月婷婷网在线观看| 免费看欧美成人A片无码 | 内射干少妇亚洲69XXX| 成人视屏在线观看| 色婷婷色五月天| 日本人妻伦在线中文字幕 | 中文字幕九九九九| 久久人妻久久| 亚洲精品国产熟女久久久| 91人人操人人| 激情综合丁香五月| 久久久天堂国产精品女人| 99久视频| 天天爽天天干| 91热在线观看视频| 99高级会所久久| 日本色色网| 丁香五月天激情四射网| 99综合激情久久精品久久| 五月天激情四射| 久草大| 九九这里只有精品| 婷婷五月丁香激情图片| 伊人狠狠狠综合| 五月丁香啪啪网| 五月丁香婷婷综合久久| 五月丁香成人网| 99在线视频操999| 色色精品色| 色五月首页| 91热视频色网站| 五月天婷婷久久视频| 日本eVa一区=区视频| 亚洲色婷婷网站| 极品人妻VideOssS人妻| 色射影院| 久操97| 超碰国产AV| 夜夜操天天干| 婷色综合| 五月婷婷色吧!| 婷婷无五月无码视频| 五月婷高清视频| 五月婷视频| 99亚色色色| 人人摸人人| 99色激| 99在线观看精品视频| 欧美久久婷婷| 伊人久久五月天| 91凹凸在线| 五月天最新网| 精品自拍97| 丁香五月a| 精品九九久久| 色五月丁香五月天| 潘金莲AAAAAAAAAA| 欧洲一区二区| 五月丁香激情婷婷| 五月天久久网站| 亚洲视频操| 99热久草| 色婷婷www| 天天射影| 中文字幕丰满孑伦无码专区| 操人妻90p| 亚洲色无码A片一区二区麻豆| 激情综合网亚洲色图| 91在线操逼视频| 久久久精品人妻录| 五月Huangsewang| 九九视频这里有精品| 五月天丁香婷婷久久九| 五月丁香六月综合基地| 爱爱网址9| 色五月影视| 日美三级| 日韩色色视频| 久久久久久久97| 日本三级韩三级99久久| 99色这里| 色狠狠色噜噜AV天堂五区| 亚洲性爱日韩无码| 国内久久婷婷| 99热在线观看| 9 1超碰九色| 蜜桃人妻无码AV天堂三区 | 99热免费在线| 蜜桃婷婷五月| 亚洲中文字幕AV在线| 欧州色色| 91热久久| 国产欧美日韩综合精品一区二区| www.日日日.com| 久草婷婷视频| 久久婷五月婷| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网| 极品少妇XXXX精品少妇偷拍| 婷婷五月婷婷五月| 小色小蛇伊人婷婷色香五月| 亚洲精品99| 一二三区视频韩国| 日韩无码亚欧无码| 日韩一级片| 日本www五月婷婷| 99啪啪骑| www激情| www,五月丁,com| 综久久久| www.婷婷.com| 五月婷婷人妻| 久久婷狠狠色| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 色婷婷五月天在线|