欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

日志存儲優(yōu)化實戰(zhàn):從容量規(guī)劃到分層存儲的降本增效方案

日志存儲優(yōu)化實戰(zhàn):從容量規(guī)劃到分層存儲的降本增效方案 去年接手一個內(nèi)部系統(tǒng)的運維時最先崩潰的不是代碼是磁盤。生產(chǎn)環(huán)境的機器半夜連續(xù)報警登錄一看/data分區(qū)已經(jīng)被日志文件吃滿du查了一圈某個服務(wù)的app.log單文件已經(jīng)膨脹到 28GB里面密密麻麻全是重復(fù)的報錯堆棧。那次事故之后我才真正下決心做一次系統(tǒng)的日志存儲優(yōu)化。說實話日志存儲這個詞聽起來不像什么高技術(shù)含量的事但真正亂起來的時候它能把整個業(yè)務(wù)的穩(wěn)定性拖垮。排查問題找不到日志、日志文件把磁盤寫滿導(dǎo)致服務(wù)宕機、檢索一條錯誤要翻十幾個文件、存儲成本月底賬單翻倍——這些都是我親眼見過的場景。這套優(yōu)化方案做完之后我們的日志體量從每天約 1.2TB 降到了約 180GB查詢耗時從分鐘級降到秒級磁盤告警基本絕跡。這篇文章就把整個過程拆開講透從亂象分析、容量規(guī)劃、分層存儲落地到壓縮采樣、配額熔斷、輪轉(zhuǎn)巡檢以及我踩過的那些坑一次性說清楚。適合正在被日志體量困擾的運維、后端開發(fā)和 SRE 朋友參考。1. 先從一團亂麻說起那些差點把磁盤寫滿的日志們1.1 典型的亂象現(xiàn)場任何一次優(yōu)化前提都是先搞清楚亂在哪里。我接手這套系統(tǒng)時日志相關(guān)的亂象可以歸納成四類估計你們團隊里多少也能對上一兩條。第一種是格式嚴重不統(tǒng)一。有的服務(wù)用純文本輸出形如2024-08-11 10:22:31 ERROR user login failed有的服務(wù)輸出的是keyvalue形式的字符串還有的服務(wù)直接打 JSON 嵌套結(jié)構(gòu)。結(jié)果就是同一個平臺上不同應(yīng)用的日志長得完全不像一家人。我專門統(tǒng)計過全公司跑著的核心服務(wù)里日志格式超過 7 種有的是直接print出來的連時間戳都沒有。第二種是日志級別全面失控。團隊里很多人把logger.error當(dāng)成普通輸出工具來用業(yè)務(wù)上用戶取消訂單緩存未命中這種完全正常的流程也要打一條 error 日志。最后監(jiān)控告警平臺里 error 級別的日志刷屏真正關(guān)鍵的故障反而被淹沒在噪聲里值班同學(xué)練就了一身無視告警的絕技。第三種是重復(fù)日志大量堆積。某個服務(wù)在一個循環(huán)任務(wù)里打了日志一次調(diào)度產(chǎn)生幾十萬條相同的輸出還有個極端案例某個異常分支在死循環(huán)里反復(fù)執(zhí)行短短十幾分鐘寫了幾 GB 的日志全部是同一個堆棧。這類日志對排查毫無幫助純粹是存儲負擔(dān)。第四種是存儲策略基本靠玄學(xué)。有的服務(wù)把日志寫到本地磁盤從不輪轉(zhuǎn)直到磁盤寫滿才人工介入有的服務(wù)把日志寫進 MySQL 表每行數(shù)據(jù)幾 KB查詢慢得要命還有的服務(wù)在 ES 集群里瘋狂創(chuàng)建索引一個 app 索引一天一個分片幾千個小分片把集群性能拖垮。整個日志體系處于一種各寫各的、誰也不管的狀態(tài)。1.2 亂象帶來的連鎖反應(yīng)這些亂象疊加在一起后果比我預(yù)想的更嚴重。最直接的體現(xiàn)就是磁盤告警常態(tài)化好幾個應(yīng)用因為日志把盤打滿進程直接掛掉重啟之后又是新一輪的日志洪峰形成惡性循環(huán)。其次是排障效率低到讓人崩潰出問題時你根本不知道日志在哪臺機器、哪個文件、什么格式運氣好找到一條相關(guān)日志前后文還不完整。更隱性的一點是日志成為了系統(tǒng)性能的隱形殺手。應(yīng)用打印日志本身就有開銷尤其在高并發(fā)情況下大量字符串拼接、序列化、IO 寫入會把 CPU 和時間線拖住。有一個壓測數(shù)據(jù)顯示某些打印密集的服務(wù)日志開銷占到了總 CPU 的 15% 左右——這部分本來可以省下來。還有一個容易被忽視的問題是合規(guī)與審計風(fēng)險。業(yè)務(wù)日志里往往包含用戶行為數(shù)據(jù)這些數(shù)據(jù)需要按照企業(yè)安全規(guī)范保留特定周期但因為日志散落在各處沒有統(tǒng)一的歸檔機制很多過期數(shù)據(jù)既沒刪除也沒歸檔真要審查的時候拿不出完整記錄該保護的隱私數(shù)據(jù)反倒裸露在本地磁盤上??吹竭@些連鎖反應(yīng)后我心里很清楚這已經(jīng)不是調(diào)整一下配置能解決的事必須從存儲架構(gòu)和管理機制兩個層面徹底重構(gòu)。2. 治本之前先算賬日志的容量規(guī)劃與預(yù)算制管理2.1 日志的真實成本拆解很多團隊對日志的態(tài)度是能打就打多了擴容但實際上日志從來不是免費的。我在做優(yōu)化之前先把成本模型認真算了一遍這一步幫了大忙因為只有把賬算清楚技術(shù)方案才有目標。日志的真實成本包括三塊。第一是寫入成本日志輸出要經(jīng)過日志框架格式化、磁盤 IO 寫入、采集器讀取、發(fā)送到消息隊列、寫入存儲引擎這一整條鏈路每一跳都在消耗 CPU、內(nèi)存和帶寬。第二是存儲成本按當(dāng)時的量估算每天產(chǎn)生約 1.2TB 日志如果保留 30 天就是 36TB這還不算副本如果副本數(shù)是 2實際占用 72TB 左右。第三是檢索成本日志可用的前提是能查但數(shù)據(jù)量越大檢索性能越差ES 集群的 CPU、內(nèi)存開銷會跟著日志量水漲船高。我把成本量化成了一張表方便跟團隊對齊成本項來源估算方式寫入開銷應(yīng)用打印 采集傳輸單條日志平均耗時 0.5ms日 100 億條約消耗 14% 單機 CPU存儲占用日志實際落盤日均 1.2TB30 天保留 雙副本 ≈ 72TB檢索開銷查詢與索引資源日志量每翻一倍查詢 P99 延遲約增加 60%維護開銷故障排查、磁盤清理每周約 3 人天用于與日志相關(guān)的排障這些數(shù)字只是根據(jù)我們系統(tǒng)的實際采樣估算出來的不同業(yè)務(wù)會有差異但量級感受是準確的——日志絕對不是無所謂的數(shù)據(jù)它是需要認真規(guī)劃的系統(tǒng)資源。2.2 預(yù)算制設(shè)計給日志上配額算清楚成本之后我定了一個核心思路把日志當(dāng)成資金來管理給每個服務(wù)發(fā)日志預(yù)算。具體來說就是為每個服務(wù)設(shè)定每日日志寫入量的配額限額之內(nèi)自由使用超出配額的部分可以選擇丟棄或降級處理。這個思路需要一個前提支撐——先給日志分等級。我把日志分成三類第一類是排障日志用于運行時問題定位保留周期短但需要快速檢索第二類是業(yè)務(wù)審計日志記錄關(guān)鍵業(yè)務(wù)動作保留周期長用于合規(guī)追溯第三類是監(jiān)控指標日志用于系統(tǒng)健康觀測通常采樣保留即可。三類日志的價值完全不同對應(yīng)的存儲策略也完全不同不能一視同仁地往 ES 里灌。配額制實施后團隊考慮問題的角度發(fā)生了變化。以前研發(fā)同學(xué)寫日志時想的是打上去就完事現(xiàn)在要先想一想這個日志是什么級別有沒有人看能不能不打這個思維轉(zhuǎn)變非常關(guān)鍵它讓日志從無限免費資源變成了需要審慎使用的成本資源所有后續(xù)的存儲優(yōu)化動作都是建立在這一層認知之上的。配額的具體數(shù)值怎么定我的經(jīng)驗是不要拍腦袋。先連續(xù)觀測一周算出每個服務(wù)每天的日志量基線和峰值然后在此基礎(chǔ)上給一個夠用但不奢侈的額度比如基線量的 80% 作為日常配額峰值的 120% 作為短時突發(fā)額度。運營一段時間后根據(jù)實際使用情況動態(tài)調(diào)整不用一次到位。3. 落地分層的存儲架構(gòu)熱、溫、冷三條流水線怎么搭3.1 為什么要做分層而不是一味擴容賬算清楚了接下來就是架構(gòu)設(shè)計。我最開始直接照著市面上常見的方案做——把日志全量送入 ES然后用 ES 的索引生命周期管理做冷熱分層。做了一半發(fā)現(xiàn)不對ES 的冷熱分層本質(zhì)還是在 ES 集群內(nèi)部打轉(zhuǎn)存儲成本依然受限于集群節(jié)點的磁盤規(guī)格數(shù)據(jù)量一上來還是要燒錢擴容。真正合理的思路是熱溫冷三層物理分離熱層用于近期數(shù)據(jù)實時檢索溫層用于中期數(shù)據(jù)低頻查詢冷層用于長期數(shù)據(jù)合規(guī)歸檔。每一層用不同的存儲引擎、不同的數(shù)據(jù)格式、不同的壓縮策略這樣每一層都能按自己的用途做到最優(yōu)整體成本才能大幅下降。分層之后的數(shù)據(jù)流長這樣應(yīng)用日志先統(tǒng)一進入消息隊列再由消費程序同時把數(shù)據(jù)寫入熱存儲和對象存儲。熱存儲保留最近 7 天溫存儲保留 90 天冷存儲按合規(guī)要求保留 180 天或更長。查詢時按時間范圍自動路由到不同存儲業(yè)務(wù)側(cè)無感知。這里補充一句具體保留周期取決于你們的合規(guī)要求和排障需求不是固定的我們是因為業(yè)務(wù)審計要求 180 天所以就定了這個值。3.2 熱層選型ES 還是 ClickHouse熱層的特點是寫入量大、查詢頻繁、要求秒級響應(yīng)。我在 ES 和 ClickHouse 之間糾結(jié)過一輪后來根據(jù)自己的場景做了取舍。如果你們的日志查詢模式高度依賴全文搜索、模糊匹配或者已經(jīng)在用 Kibana 做可視化分析那 ES 仍然是首選生態(tài)成熟、上手快。如果你們的關(guān)鍵字查詢比較結(jié)構(gòu)化團隊也有 SQL 基礎(chǔ)ClickHouse 在同等數(shù)據(jù)量下查詢性能和壓縮率通常會更好。我們是兩個都用過最后保留了 ES。原因是團隊對 ES 的運維經(jīng)驗更足而且很多排障場景確實需要全文檢索能力ClickHouse 雖然快但在靈活搜索和生態(tài)工具上還是差一些。ES 側(cè)的關(guān)鍵配置包括分片大小控制在 30-50GB 一個防止分片過多導(dǎo)致集群狀態(tài)更新變慢。副本數(shù)根據(jù)冗余要求設(shè) 1不要貪多讀性能可以通過調(diào)預(yù)熱緩存來解決。索引模板統(tǒng)一配置按天建索引并配上 ILM 策略hot階段保留 7 天warm階段 30 天cold階段 90 天之后刪除或歸檔。ILM 策略是 ES 降本的核心不用手動管理索引系統(tǒng)自動把數(shù)據(jù)從熱節(jié)點遷移到冷節(jié)點。有些團隊配置了 ILM 但實際上架構(gòu)上沒有區(qū)分節(jié)點類型結(jié)果數(shù)據(jù)還是落在同一批機器的同一塊盤上冷熱分層形同虛設(shè)。這個要注意熱節(jié)點用 SSD冷節(jié)點用機械盤或大容量盤才能真正拉開成本差距。3.3 溫層和冷層對象存儲是主角溫層和冷層我統(tǒng)一放在了對象存儲上區(qū)別僅在于數(shù)據(jù)格式和壓縮策略。為什么用對象存儲因為它的單位存儲成本大約是本地盤的十分之一而且容量無限擴展、無需運維機器。把日志以列式格式寫入對象存儲既保留了查詢可能性又把存儲成本壓到了最低。溫層的格式我選了 Parquet。列式存儲天生適合日志這種按字段查詢的場景查詢時可以只讀需要的列而不像文本格式那樣必須把整行讀一遍。同時 Parquet 配合壓縮存儲體積大概只有原始文本的 10%-15%。簡單說同樣數(shù)據(jù)量文本要 100GBParquet 壓縮后可能只要 15GB。冷層則直接用壓縮后的原始格式歸檔不再關(guān)心查詢能力。合規(guī)場景下大多只是能拿出來即可所以用高壓縮率的算法把體積壓到極致就好不需要額外格式轉(zhuǎn)換減少處理鏈路。兩層的自動流轉(zhuǎn)通過對象存儲的生命周期規(guī)則完成到了保留時間就自動刪除不會留下忘了清理的死角。3.4 采集鏈路的整體改造架構(gòu)確定后采集鏈路也要跟著統(tǒng)一。之前的亂象有一部分就是因為采集方式五花八門有的直接推 ES有的寫本地文件等定時任務(wù)掃有的自己封裝 HTTP 上報。我統(tǒng)一收斂成一條標準鏈路應(yīng)用日志 - 本地文件 - 采集器 - 消息隊列 - 消費程序 - 熱存儲/對象存儲。采集器用的是 Filebeat 和 Fluent Bit 的組合前者用于常規(guī)服務(wù)的日志采集后者用在容器環(huán)境里。采集器只負責(zé)讀文件、解析字段、轉(zhuǎn)發(fā)不做過多邏輯保證輕量可靠。消息隊列承擔(dān)削峰填谷的職責(zé)日志寫入量往往有很明顯的毛刺比如凌晨定時任務(wù)啟動時瞬間飆升如果沒有隊列緩沖存儲集群會被突發(fā)流量打掛。消費程序是鏈路的大腦負責(zé)把隊列里的日志做格式規(guī)范化、字段裁剪、路由分發(fā)。這一步我放在 Kafka 的消費端不用 Logstash因為 Logstash 在數(shù)據(jù)量大時資源開銷偏高而且配置維護也麻煩。自研消費端的好處是可以精確控制批量大小和寫入節(jié)奏后續(xù)我會專門講批量參數(shù)的調(diào)優(yōu)經(jīng)驗。4. 控量三板斧壓縮、采樣與字段裁剪的實操參數(shù)4.1 壓縮策略選對算法成本直接減半架構(gòu)搭好只是第一步真正把日志體量降下來靠的是壓縮、采樣、字段裁剪這套組合拳。先說壓縮這是性價比最高的手段幾乎不損失任何信息但存儲空間能大幅縮減。文本日志的冗余度極高同一格式的日志時間戳、日志級別、服務(wù)名、類名這些字段反復(fù)出現(xiàn)壓縮率非??捎^。我實測了幾種算法壓縮算法原始大小壓縮后壓縮率壓縮速度解壓速度Gzip100GB10GB約 90%慢快Zstd100GB12GB約 88%快很快LZ4100GB20GB約 80%很快很快在線寫入熱存儲時不建議啟用壓縮率最高的算法因為寫入鏈路里壓縮會消耗 CPU反而拖慢寫入性能。熱層更建議用 LZ4 走快速壓縮而對象存儲里的 Parquet 文件統(tǒng)一用 Zstd因為寫入是一次性批量任務(wù)對壓縮速度不敏感但要盡量把體積壓小。還有一個細節(jié)同一份日志在熱層和溫層可能是雙份存儲的所以要在寫入時就決定好壓縮策略否則后面做數(shù)據(jù)遷移時還得重新壓縮一遍白耗資源。我們后來是直接把消費端的壓縮邏輯做成了策略配置按目標存儲自動選擇算法省掉了中間的重復(fù)折騰。4.2 采樣策略分場景決定采樣率采樣是爭議最大的一項優(yōu)化因為做不好確實會丟關(guān)鍵信息。我的原則是不同級別的日志用完全不同的采樣策略絕不能一刀切。對于 DEBUG 和 INFO 級別的日志它們是典型的量大價值低。我建議先做容量分析算出這些日志占總量的比例通常會有 60%-80% 的體量來自這兩個級別而真正被查詢的占比可能不到 1%。對它們可以按需采樣比如 1% 或 0.1%因為一旦出了線上問題大家查日志時主要看 ERROR不太會去逐條翻 DEBUG 日志。對于 WARN 級別建議全量保留但要記錄到獨立索引或獨立目錄。WARN 的語義是需要留意但不影響功能這類日志往往是排查隱性問題的線索全量保留成本可控。對于 ERROR 級別及以上必須全量保留、零采樣而且要單獨設(shè)置告警規(guī)則。ERROR 日志是排障的主戰(zhàn)場任何一條都不能丟丟了就是事故。采樣策略里有幾個容易踩的雷。一是不要在應(yīng)用端采樣而要在采集端做因為應(yīng)用端采樣會影響錯誤日志的連續(xù)性。二是在設(shè)置采樣率時要考慮到流量低峰期沒有足夠日志份額的問題如果一天只打了幾百條 DEBUG全量也不過幾百條沒必要采樣。三是故障演練或大促前建議臨時把采樣關(guān)閉一段時間保命要緊。4.3 字段裁剪去蕪存菁刪掉不用的包袱字段裁剪是我個人認為最容易被忽略、但收益非??捎^的一項優(yōu)化。絕大多數(shù)日志框架在輸出時默認帶了一堆上下文——線程名、類全名、方法名、行號、進程 ID、主機名等等但真正排障時用到的不超過三分之一。我做了個詳細分析發(fā)現(xiàn)我們服務(wù)的日志里平均有 30% 的內(nèi)容是根本沒人在查的冗余字段。這些字段既增加了存儲體積也拖慢了采集解析速度。裁剪思路很簡單保留必查字段包括時間戳、服務(wù)名、日志級別、追蹤 ID、業(yè)務(wù)業(yè)務(wù)碼、消息主體按需保留字段包括主機 IP、應(yīng)用版本、用戶 ID注意脫敏直接刪除字段包括無意義的線程名、重復(fù)的進程 ID 以及打印時間早于日志時間的進程啟動參數(shù)。字段裁剪還有一層價值是降低敏感數(shù)據(jù)暴露面。日志里不應(yīng)該出現(xiàn)完整的用戶手機號、身份證號、支付憑證等信息裁掉或脫敏這些字段既減小了存儲量也降低了安全合規(guī)風(fēng)險。這個點在日常排障里往往沒人提但一旦出了數(shù)據(jù)泄露事件日志亂存的問題就會被無限放大。5. 讓秩序可持續(xù)格式規(guī)范、配額熔斷與輪轉(zhuǎn)巡檢5.1 統(tǒng)一日志格式規(guī)范天下大同的第一步光靠架構(gòu)和降本手段還不夠如果沒有一個所有人都遵守的秩序日志亂象遲早會反彈。秩序的第一條是統(tǒng)一格式規(guī)范。我們最終統(tǒng)一的規(guī)范是 JSON 單行輸出固定包含timestamp、level、service、trace_id、message五個字段業(yè)務(wù)上下文統(tǒng)一放在context子對象里。為什么強調(diào) JSON因為結(jié)構(gòu)化日志才是檢索友好的純文本格式到了存儲端還要再解析一遍效率低而且容易出錯。單行輸出是為了避免多行日志在采集時被拆碎缺失上下文。推行規(guī)范的時候要給出配套工具否則研發(fā)同學(xué)不知道怎么寫才符合規(guī)范。我們做了一個官方日志 SDK 的包裝層內(nèi)部封裝了統(tǒng)一的初始化邏輯、格式器和采樣配置。業(yè)務(wù)方引入 SDK 之后什么都不用改打日志的姿勢就自動符合規(guī)范了。落地效果比發(fā)文檔好十倍。同時還要清理歷史存量。存量日志在采集端做一次格式兼容轉(zhuǎn)換不要指望業(yè)務(wù)方去改代碼。這個過程要小步快跑先處理體量最大的幾個服務(wù)驗證鏈路穩(wěn)定后再推全量避免一次性切換引入大量未知故障。5.2 配額熔斷超量日志自動降級有了規(guī)范還要有強制手段。配額熔斷機制是整個體系的安全閥確保任何異常情況下日志都不會打爆存儲資源。具體實現(xiàn)不復(fù)雜在消費端統(tǒng)計每個服務(wù)的實時日志速率與預(yù)設(shè)配額做比較超過配額后執(zhí)行降級策略低級別日志直接丟棄高級別日志保留但降低傳輸優(yōu)先級同時發(fā)出告警通知到研發(fā)負責(zé)人。我這里特別說明一下——降級只針對日志采集絕不能影響業(yè)務(wù)本身。比如某個服務(wù)日志量瞬時沖到配額的五倍我們選擇丟日志而不是讓消息隊列阻塞進而把業(yè)務(wù)進程拖死那個成本差距是天壤之別。配額熔斷實施后效果立竿見影。以前有個服務(wù)隔三差五就沖上來幾百 GB 日志熔斷后第一次觸發(fā)就自動完成了削峰研發(fā)同學(xué)收到告警后去查代碼結(jié)果發(fā)現(xiàn)是一個循環(huán)里日志打錯了位置幾行代碼就解決了問題。熔斷不是目的讓寫日志的人意識到超量了并且去排查根因才是最終價值。5.3 輪轉(zhuǎn)與巡檢把清理動作自動化最后一個秩序機制是輪轉(zhuǎn)與巡檢。日志文件不能無限增長這個道理人人都懂但真的能做好的隊伍不多。輪轉(zhuǎn)策略要同時管好兩層本地文件的輪轉(zhuǎn)和存儲端數(shù)據(jù)的生命周期。本地文件建議按大小輪轉(zhuǎn)單文件 500MB-1GB保留最近 5 個文件超過即清理。這個策略能保證磁盤上永遠只保留夠排障用的少量近期日志不會把磁盤寫滿。對象存儲和 ES 側(cè)的生命周期策略前面已經(jīng)提過核心是形成制度化不要每次都靠人工去確認哪些該刪了。巡檢機制我更推薦做成自動化。我們搭建了一套簡單的數(shù)據(jù)量巡檢任務(wù)每天生成日志存儲情況報表包含各服務(wù)配額使用率、存儲增長趨勢、采樣率執(zhí)行情況、刪除任務(wù)是否正常執(zhí)行。有報表之后管理就不再是出了問題去救火而是每周花十分鐘看趨勢提前預(yù)防。這套機制現(xiàn)在還跑著基本每個月能為團隊省下不少救火時間。6. 優(yōu)化過程中踩過的坑從檢索變慢到歸檔恢復(fù)超時6.1 ES 檢索變慢分片過多只是表象優(yōu)化過程遠不是一路順風(fēng)我踩了不少坑這里挑幾個有代表性的說說。第一個坑發(fā)生在熱層做分層之后ES 集群的檢索延遲突然升高一開始我懷疑是數(shù)據(jù)量太大了后來排查下來發(fā)現(xiàn)根因在于分片數(shù)量失控。原因是早期索引一直按天建很規(guī)范但每個索引默認分片數(shù)是 5每天的日志索引就有 5 個分片30 天下來就是 150 個分片。分片本身不占多少存儲但每個分片都有自己的段和元數(shù)據(jù)查詢時協(xié)調(diào)節(jié)點要向全部分片分發(fā)請求分片越多協(xié)調(diào)開銷越大查詢自然變慢。解決方法是收小分片策略把單索引分片數(shù)改成 1 或 2讓每個分片大小落在 30-50GB 區(qū)間同時開啟 ES 的_rollover策略按分片大小滾動創(chuàng)建新索引。改完后檢索延遲恢復(fù)了這個問題提醒我架構(gòu)分層和索引治理必須同步做否則滿盤皆輸。6.2 消費端背壓隊列堆積導(dǎo)致日志延遲第二個坑出在 Kafka 消費端。鏈路剛上線時出現(xiàn)過日志延遲數(shù)小時才寫入查詢系統(tǒng)的情況。一開始隊列本身沒有堆積最終發(fā)現(xiàn)是消費端的批量寫入?yún)?shù)配置不合理。批量寫的bulk_size設(shè)得太小flush_interval又太長導(dǎo)致消費速度跟不上生產(chǎn)速度。調(diào)整的思路是先把單批次大小上調(diào)到 5000 條或 5MB先到先發(fā)再把flush_interval壓縮到 1 秒內(nèi)保證延遲可控同時給消費端增加了動態(tài)反饋機制如果對象存儲寫入出現(xiàn)抖動自動降低批量大小避免超時重試。這套參數(shù)調(diào)完之后消費延遲穩(wěn)定在秒級。實測下來批量參數(shù)對日志鏈路的影響遠大于想象值得多花時間做壓測。6.3 歸檔恢復(fù)耗時長冷層的坑最隱蔽第三個坑在冷層歸檔。我們剛開始做冷層時把日志簡單壓縮后往對象存儲一扔就完事了。結(jié)果真到了需要查一條三個月前的日志時團隊成員花了將近十分鐘才拿到數(shù)據(jù)差點耽誤線上問題復(fù)盤。原因很簡單冷層數(shù)據(jù)量大單文件壓縮包幾十 GB直接讀回來解壓根本扛不住。后來我調(diào)整了冷層的存放結(jié)構(gòu)先按天、小時分目錄再把文件切成更小的壓縮塊每個約 50MB同時在對象存儲里額外維護一個記錄索引包含時間、服務(wù)名、壓縮塊路徑的映射關(guān)系。查詢時先查索引定位到具體壓縮塊再單獨拉取對應(yīng)塊解壓整體耗時從十分鐘縮到十秒級別。冷層雖然不常查但設(shè)計時一定要考慮偶爾查一次不能太痛苦。6.4 幾個容易忽略的運維瑣事最后聊幾個零散但重要的瑣碎經(jīng)驗。第一是時區(qū)統(tǒng)一日志時間戳必須統(tǒng)一成 UTC 存儲展示層再轉(zhuǎn)換成當(dāng)?shù)貢r區(qū)。曾經(jīng)就鬧過因為各機器時區(qū)不一致排查問題時時間線對不上白白浪費半天。第二是采樣率不能設(shè)成固定值要通過配置中心動態(tài)下發(fā)。大促前把 DEBUG 采樣臨時調(diào)滿活動結(jié)束后恢復(fù)這些操作如果靠改代碼再發(fā)布上線說實話效率太低而且容易忘記回滾。第三是關(guān)于零日志的監(jiān)測。如果某個服務(wù)日志量突然斷崖式下降這不一定是好事很可能業(yè)務(wù)功能出問題了或者采集器掛了。在告警體系里要加一個日志量異常下降的監(jiān)控項和日志洪峰告警同等重要。整個日志存儲優(yōu)化做下來我最大的體會是這事的核心在于全鏈路思維日志從應(yīng)用打出到最終歸檔檢索是一條完整的流水線任何一環(huán)只管自己都會出問題。先把賬算清楚、把機制立起來再去做具體的壓縮和采樣方向才不會跑偏。那些細節(jié)參數(shù)比如批量大小、分片數(shù)量、壓縮算法說穿了都是可以不斷調(diào)優(yōu)的術(shù)而日志要按價值管理這句話才是真正讓系統(tǒng)長期保持整潔的道。如果你正被日志存儲成本或混亂的日志管理困擾希望這篇實際項目里的折騰記錄能給你省點彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日本天堂网站99| 俺也去色| 五月婷婷五月天| 五月婷婷啪| 婷婷五月天天爽| 婷婷五月天网| 色丁香婷婷| 狠狠色综合网站久久久久| 丁香五月天网友自拍啪啪啪视频| 亚洲婷婷免费| 免费AV在线| 色五月大| 99爱在线精品视频免费观看| 婷婷五月天激情网| 五月婷婷久草| 伊人五月婷婷国产视频| 色99日韩| 激情com| 激情综合自拍五月婷婷色五月| 亚洲国产精品五月天| 色婷婷综合久色AV五色最新| 亚洲五月天综合| 久久五月婷婷开心网| 精品五月视频婷婷在线观看| 婷婷六月综合在线| 色色网站免费| 97人人干| 久久黄色片| 99国产精品久久久久久久久久久| 九九综合影音先锋| 天天肏天天肏| 日韩成人AV在线| 丁香五月天欧美成人| 婷婷五月天激情文学小说| 99视频精品视频| 婷婷五月天激情综合深爱| 996日日爱| 丁香婷婷九月| 五月天综合在线| 热思思九九| www99精品日韩| 欧美日韩精品一区二区三区钱| 久色88| av在线免费播放| 五月久久五月激情| 婷婷五月噜噜| 婷婷色操| 四色永久成人网站| 4399精品一区二区| 91狠狠综合久久久| 99久久精品网| 色婷婷综合久久久久| 日本狠狠干| 亚洲黄网AV| 综合激情sV| 91在线日| 五月花婷婷丁香| 婷婷五月激情中文字幕| 婷婷五月色色| 国色天香成人网| 中文不卡av| 天堂爱啪啪| 99久久精| 99狠狠色| 99久久99热| 亚洲精品性色| 最新色色五月天| 婷色五月| 99热日本精品| 五月丁香婷婷福利| 丁香桃色网| 色播六月| 西西4r午夜剧场| 日本久久性| 国产精品久久在线观看技巧| 欧洲激情精品婷婷| 五月天激情综合| 五月婷婷香蕉| 婷婷综合激情| 99无码视频| 日本va欧美va精品发布视频| 欧美性爱五月天| 五月婷中文字幕| 欧美性生交XXXXX无码小说| 97男人天堂| 无码激情| 婷婷丁香成人五月天| 91碰碰| 色婷青青| 快乐激情五月色婷婷| www.思思99热| 欧美精品999| 天天插天天干| 丁香六月激情| 热99只有里视频| 色欲丁香| 五月天婷婷激情四射综合| 97碰久久| 丁香五月天AV| 中字幕视频在线永久在线观看免费| 久久久五月天网站| 狠狠色无码| 久热超碰91| 另类少妇人与禽zOZZ0性伦| 久艹伊| 77799热| 婷婷亚洲五月| 9色91视频| 超碰97干| 五月婷婷开心丁香| 国产真人做爰视频免费| 碰碰91| 97五月天婷婷| 婷婷五月影院| 色欲av伊人久久大香线蕉影院| www.日韩艹| 国产在线黄色| 97日本在线播放| 婷婷色综合| 丁香六月无码播放| 成人免费黄色短视频| 亚洲啪啪啪啪| 五月天综合网| 超级碰 久久9| 先锋男人99资源| 五月婷婷影院| 色色色色色日韩午夜激情 | 99久热这里只有精品视频删减版| 色久丁香五| 人妻熟人中文字幕一区二区| 久热 91| 天天操天天日天天操| 精品久久人妻| 色色免费网站| 五月天激情啪啪| 大地9中文在线观看免费高清| caopeng97人人| 无码天天操| 五月婷婷亚洲| 97久久精品视频| 国内婷婷丁香社区在线播放| 日本丁香五月| 婷婷五月激情图片| 色噜噜狠狠色综合日日| 婷婷丁香五月基地| 婷婷丁香五月亚洲综合网在线视频观看| 色色吧综合| 超碰人人在线观看| 男女久久婷婷五月天| 色色色色综合网| 色婷婷超碰| 在线可以看的av网址| 色999亚洲人成色| 91操片| 五月丁香香蕉| 1024在线观看免费视频| 久久婷婷色五月| 北京熟妇搡BBBB搡BBBB| 丁香六月 婷婷六月| 日日夜夜狠狠| 亚洲热久| 婷婷欧美| 色播五月天婷婷老师| 五月婷在线视频免费看| 欧美日韩国产一二区| 天天日夜夜夜操操操操| 少妇高潮呻吟A片免费看软件| 色之综合网| 9色在线| 久久综合首页| WWW99热| 丁香五月婷婷激情完整版| 色五月婷婷婷婷| 国产精品久久久久久久久久久久| 人人爱天天摸摸天天爱| 色99在线视频| 99色最新在线视频| 涩五月婷婷| a网站免费观看| 亚洲色综合| 天堂色色色| 五月婷婷丁香婷婷| 五月丁香在线观看99| 五月天六月色| www.99热在线| 婷婷午夜丁香| 久久综合干| 色三级色三级| 97人凄人人操人人爽| 国产资源91在线| 99福利视频导航| 99色免费视频| 色吧网综合| 五月婷在线色视频| 国产人妻777人伦精品HD| 99成人网站| 丁香五月色| 色色色色色色色综合| 色色婷婷丁香| 亚洲综合干| 国产亚洲精品AAAA片APP| 97激情五月天| 99视频综合| 伊人婷婷五月天av| 激情婷婷黄色五月| 色五月五月婷婷| 欧美日本国产欧美日本韩国99| 色99在线观看| 99免费视频久久| 天天做夜夜爽| 综合激情五月综合激情五月激情1| 五月色综合| 五月婷婷六月丁| 欧美交换配乱吟粗大25P| 91精品久久久久久久| 超碰在线国产| 婷婷九月激情| 黄色高清无码| 9久热在线视频精品| 婷婷99中文字幕| 另类天堂| 五月丁香婷婷婷婷综合网| 碰99在线| 久久这里只有精品热在99| 五月天婷综合| 色综合五月天| 久久婷婷一级片| 97碰操| 丁香五月天社区| 任你爽精品免费视频6| 啪啪综合网| 99区视频| 一级韩国产精品毛| 伊人干综合| 丁香色色网| 成功精品影院| 亚洲综合激情五月| 色噜噜婷婷| 天天婷婷| 超碰超碰在线| 国产黄大片在线观看画质优化| 丁香六月亚洲综合| 婷婷五月天精品| 久久九九综合| 深爱激情av| 香蕉色色网| 婷婷五月AV| 五月天婷婷午夜丁香| 激情涩播| 成人五月天丁香| 国产成人AV人人爽人人澡Va| 97干在线视频精品店| 天天摸天天舔天天天天爽| 性爱网五月天| 思思9久久| 天天狠狠六月婷丁香影院| 丁香六月婷| 99成人| 五月丁六月婷| 99精品久久久久久久| 婷婷视频网| 欧美VA在线观看| 色婷婷啪啪啪啪啪啪| 久久九九99| 五月丁香婷婷激情视频| 婷婷五月天堂网| 91九色超碰| 色婷婷亚洲六月婷婷中文字幕| 久久精品99| 亚洲网站观看视频| 婷婷九九| 另类视频丁香五月| 99精品在线观看| 亚洲黄网在线| 丁香激情五月天| 丁香六月激情网C0W| 婷婷色啪| 日本综合九九| 人妻精品一区二区三区| 色色色色av色色色色| 91碰碰碰| 久久密臀婷婷| 思思99热| 俺去也综合| 再次出发二| 丁香五月瑟瑟| 欧美日韩aaa| 99精品免费欧美小视频 | 欧洲一区二区| 婷婷五月五月丁香| www.天天干| 99热.com| 色狠狠伊人久久五月丁香| 色色五月天婷婷丁香| 国产精品a无线| 天天综合精品| 777精品成人a v久久| 五月婷在线影院| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 成人色站,在线视频,看片-SS1AV| 99免费青青蜜臀| 国产激情视频在线观看| 色九九九九| 99热日本| 久久婷婷色情7777网站| 日韩AV免费| 色999亚洲人成色| 五月婷婷激情综合av| 99综合婷婷五月| 亚洲天堂大香蕉| 射婷婷中文字幕| 五月丁香婷婷色| 五月天啪啪| 99热这里只有精品国产免费| 久热中文字幕| 色婷婷最新域名| 欧美黑人巨大性生话| 久久婷婷色色| 夜夜撸日日操| 天天射色五月天| 色色亚洲无码| 色情五月丁香| 亚洲综合999| 色综色网| 大地资源色婷婷视频在线| 亚洲综合另类| 婷婷伊人网| 色婷婷色久综| 丁香六月天婷婷在线| 在线观看996精品| 99在线看视频| 五月婷婷色欲| 五月天激情国产综合婷婷婷| 色综合久久888| 人人播| 五月丁香少妇A| 五月天丁香六月综合| 婷婷激情五月天激情小说| 九九视频在线观看视频6| 99久热这里只有精品| 亚洲va综合va国产va中文| 婷婷五月丁香色情| www婷婷亚洲| 狠狠色色| 91超碰九色| 丁香五月综合久久综合| 9 大屁股在线视频精品| 岛囯综合激情网| 国产伦亲子伦亲子视频观看| 久久久精品人妻| 丁香大香蕉| 五月天婷婷影院影院观看| 五月婷深深爱激情网| WWW.夜夜操.com| 欧美激情综合| 色欲久久综合| 99精品视频偷拍| 99久在线精品99re5热视频| 婷婷五月日本| 99精品丰满| 亚洲无码 图片区| 丁香六月激情| 亚洲激情综合| 丁香网站| 亚洲字幕AV一区二区三区四区| 婷婷激情小说| 婷婷综合五月| 色色色色色色色色网站| 天天干夜晚夜操| 影音先锋噜一噜| 另类 在线| 欧美色五月| 人人爱国产| 丁香五月天天高清在线| 丁香 婷婷 亚洲 熟女| 亚洲综合婷婷| 婷婷五月综合啪| 色青五月天| 五月天色婷婷图片| 日日肏夜夜干| 欧美色爱五月天| 夜丁香综合| 五月天婷婷青青草| 婷婷丁香五月在线播放| 国产欧美va| 欧美日本另类| 综合网啪| 欧美精品999| www.久久99| 丁香五月电影| 婷婷色色网| 99网| 国产亚洲成AV人片在线观黄桃| 五月天综合| 婷婷五月影院| 色色色五月天婷婷| 玖玖热99| 熟女网站久久| 欧美99热| 天天综合激情| 天天干天天干天天干天天干天天干天天| 这里只有精品,日韩视频| 亚洲俩性性爱图片久久第六页| 99热这里只有精品手机在线观看| 五月天婷婷色小说| 婷婷五月丁香手机在线视频| 色色五月天婷婷丁香| 久久久久亚洲AV无码网影音先锋| 中文字幕成人| 中国女人做爰A片| 色婷婷成人做爰A片免费看网站| 亚洲精品V天堂中文字幕| 九九综合| 欧美日本不卡黄色片| 综合另类激情| 91久久综合| 天天爽人人综合免费7799| 婷婷丁香五月天哟啪| 大香蕉婷婷| 79精品在线视频| 开心五月深爱五月婷| www.亚洲激情| h亚洲| 97精品欧美91久久久久久久| 国产亚洲在线| 久久XX日本综合| 99视频在线看| 久久九九网| 婷婷第六色| 亚洲综合另类| 影音先锋一区二区三区| 精品视频99看在线视频| 看久久性爱视频| 婷婷五月色色| 丁香五月性爱| 9精品国产在热久久| 婷婷色在线播放| 亚洲五月天,激情视频| 婷婷丁香五月激情中文字幕版| 激情六| 天天舔天天插天天干| 婷婷五月丁香伊人| 五月天婷婷久久| 色欲一区二区三区精品A片| 久久成人亚洲欧美电影| 久久一级片| 九九热a| 五月丁花色综合网| 六月婷婷色色色| 99爱精品| 99久久終合| 在线综合91| www色色com| 五月婷婷无码专区| 九九精品自拍| 超碰成人公开| 91一起艹| 射久久丁香五月| 99啪99| 另类图片五月天| 免费V片在线| 成人永久免费视频在线观看| 婷婷五月天亚洲天堂| 色综合天天综合成人网| 婷婷91| 色yeye欧美| 在线视频另类| 精品九九视频| 亚洲美女高潮久久久久久69| 欧美成人在线观看| 久久作爱| 99免费视频在线观看爱| 一起草性爱不卡视频| 伊人爱爱日本| 久久久精品AV| 国语精品探花| 激情六月婷婷| 超碰成人AV| 97丁香花五月天激情小说| 色五狠狠| 五月天大香蕉| 99热插| 丁香五月瑟瑟| 天堂久久婷婷| 五月婷无码| 可以免费观看的av网址| 色五月丁香五月天| 天天爽天天| 九九精品热播| 狠狠干狠狠干狠狠干狠狠干| 丁香九月激情| 一区二区三区XXXXXX| 可以免费看av网站| 国产婷婷五月天| 成人国产欧美大片一区| 亚洲综合99| 天天狠狠色| 97久久久| 成人人操| 婷婷五月天少妇| 亚洲最大在线| 丁香五月久久社区| 丁香综合伊人| 欧美大香蕉视频| 欧美性生交XXXXX无码小说| 久久性刺激| 五月天婷婷青青草| 综合网激情| 99丁香五月婷婷在线| 91啪级电影| 五月丁香色色网| 亚洲激情| 天天射天天射一道本日本社区 | WWW、日本色丁香、co m| 六月欧美综合色情| 婷婷久久综合| 色五月激情图片| 久久亚洲色导航| 五月丁香婷婷在线| 操操精品| wwwwww.色| 欧美成人精品A片免费一区99| 激情四射婷婷| 婷婷网五月天| 丁香五月色情av| 婷婷五月天va| 婷婷五月激情网| 99久久五月天| 亚美欧色影院| 日本久久九| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 欧美日韩成人高清在线| 亚洲狠9| 嫩草综合网| 伊人五月天在线| 激情亭亭五月| 亚洲va在线∨a天堂va欧美va| 中日韩美欧成人一区二区精品在线| 丁香五月综合高清在线| 六月丁香五月激情亚洲AV| 五月丁香久久色| 五月天成人网在线观看| 无码一区精品一区视频| 丁香五月图片| 激情五月激情综合网| 99视频35精品视频在线观看| 五月丁香六月婷婷姐| 国内熟女黄色系列| 五月天激情Av| 亚洲国产精品VA在线看黑人| 激情婷婷五月女| 成人在线网| www久久艹| 欧美丁香五月夫妻天| 狠狠色狠狠色综合日日91| 五月婷婷视频ab| 免费看欧美成人A片无码| 五月天国产成人| 激情99热| 久久免费9| 久久狠狠干| 综合五月丁香六月婷婷| 丁香六月婷婷色XXXXX| 婷婷五月丁香基| 99亚洲大片精品永久在线观看| 国产精品扒开腿做爽爽爽A片唱戏| 香蕉久久国产AV一区二区| 影音先锋一区| 影音先锋一区二区三区| 伊人久久婷婷| 五月激情网站| 色综合婷婷| 五月丁香婷婷久久| 激情五月天色色网| 五月天综合网| 狠狠做深爱婷婷久久综合一区| 成人丁香五月| 丁香色婷婷| 91操人| 精品人妻久久久久久| 超碰人人操人人干| 婷婷狠狠操| 99小视频| 99综合网| 夜夜天天天天天干天天爽| 91男女视频在线观看| tingting五月天亚洲| 六月丁香婷| 色婷婷91激情小说| 五月丁香成人网| 色狠狠伊人久久五月丁香| 少妇大叫太大太粗太爽了A片| 色播五月天天| 99re8热精品免费视频| 亚洲色A| 久久久色情| 日本五月天网站| 亚洲情色一区| 亚洲a色| 99草在线免费观看视频| 五月丁香六月婷婷视频| 无码A片一区二区免费| 五月婷激情影院| 99久久久免费| 国产这里只有精品| www.俺去也com| 欧美日韩精品一区二区三区钱| 日本天天色| 色婷婷色情| 色婷婷视频在线| 99亚洲综合| 色和综合网| 另类激情五月天| 亚洲午夜一区二区| 在线成人网站| 久久黄色网扯| 丁香婷婷五月天成人| 九九亚洲| av九九| 风流少妇A片一区二区蜜桃| 俺去啦综合网| 综合性爱网| 亚洲精品亚洲人成人网| 婷婷丁香六月影视| 五月婷婷av| 成人必爱视| 五月激情四射网站| 久久九九色| 亚洲免费99| 九九色精品| www.色五月天.com| 婷婷六月视频| 色综合天天| 五月天久久综合婷婷丁香| 人人叉久| 开心婷婷五月| 99色 色| 国产午夜精品一区二区| 激情五月天婷婷| 国色天香伊人狠狠色| 日熟女| 9久热| 久久色这里只有精品| av激情在线| 另类天堂| 天天干天天日天天操| 91久久婷婷| 色婷婷六月| 色噜噜五月天| 99在线观看视频精品| 韩国97天堂| 色五月婷婷久久| 精品成人无码A片观看香草视频| 欧美色色色色色色| 丁香网站| 五月天婷婷激情| 丁香婷婷激情综合五月激情 | 天天爽天天日| 婷婷五月情天| 99re这里只有精品9| 激情五月最新网址| 欧洲色| 色狠久| 五月丁香六月久久| 葵花AV在线| 婷婷五月天视频| 99久久玖玖| 色色色色欧洲| 九九热青青草| www.色五月| 丁香婷婷情色五月天| 六月婷婷俺也去| 伊人超碰在线| 久久久97| 91九色中文| 天天在线天天综合网色| 婷婷五月天综合AV| 搡BBBB搡BBB搡五十| 少妇人妻人伦A片| 激情黄色五月天| 亚洲婷婷久久综合| 国产毛片操B| 操碰99| 成人九九视频| 色频玖玖五月天| 色婷婷瘦婷婷日韩| 搡BBBB搡BBB搡五十| 狠狠色五月| 热99re| 狠狠搞五月天| 久久亚洲天堂| 影音 五月 婷婷 久久| 99热在线精品观看| 色色色色热| 五月色婷婷AV| 五月婷婷激情综合| 丁香五月九九| .青娱乐天天操B| 五月丁香天堂网| 久草热在线视频| 五月天婷婷成人资源站| 六月亚洲婷婷6月中文字幕| 97色啪| 91狼友视频在线观看| 成人av免费观看| 丁香婷婷情色五月天| www.五月激情红色| 欧美狠狠草| 婷婷操超碰| 九九九九无码| 亚洲狠狠终合停停终合| 色色操| 六月五月久久丁香| 色婷婷影视| 超碰在线9| 色丁香五月婷婷综合久久| 91 影音先锋| 激情综合婷婷| 精品久久艹| 超碰资源在线| 性综合网| 五月婷婷丁香社区| 丁香五月天激情网| 五月天婷婷色播在线网| 99精品视频在线6| 婷婷丁香熟妇综合网| 精品人妻在线| 丁香六月综合激| 在线免费观看激情视频| www.婷婷com| 99精品偷自拍| 天天做天天爱| 任你草| 狠狠草在线观看| 91操片| 色色99| 亚洲国产精品VA在线看黑人| 色五月色五天色情网| 5月丁香婷婷| 久久精品爱爱| 青草青草久热这里只有精品| 大香蕉久| 99人人干| 久久久久久综合88| 久久婷婷成人| 91婷婷在线| 色狠狠色综合久久久绯色AⅤ影视| www.99热这里精品 | 99在线亚洲| 亚洲精品性色| 五月综合777| 婷久看人爽| 五月天激情在线视频| 五月天婷亚洲天综合网综合 | 五月激情网五月综合网| 婷婷五月天影视网址| 亚洲色色在线| 久久99热只有精品| 九九日本视频| 婷婷丁香五月天色播网站| 大香蕉婷婷五月天| 久久久久9| 中文激情网| 婷婷丁香五月天哟啪| 婷婷亚洲色| 日韩无码专区| 爆乳熟妇一区二区三区爆乳| 五月婷在线影院| 91干视频| 国产91视频| 国产做爰视频免费播放| 被男人添B超爽视频| 亚洲人妻av伦理| 丁香六月天| 五月天婷婷成人网| 粉嫩AV久久一区二区三区| 五月丁香六月婷| 欧美人与性动交CCOO| 国产偷人爽久久久久久老妇APP| 色狠狠色噜噜AV天堂五区| 人妻熟女一区二区AV| 岛国在线观看91| 色狠狠婷婷| 日日操夜夜操中国无码| 丁香五月天天| 99热在线观看精品| 99热超碰| 一根材五月婷成人| 99性感视频| 99久久玖玖| 欧美精品18| 国产9色在线/日韩| 91精品综合久久久久久五月丁香| 91丨九色丨熟女高潮| 日韩精品无码一区二区| 婷婷五月天成人视频| av一区二区电影免费在线观看| 狠狠婷婷日韩| 午夜丁香六月婷| 丁香六月啪啪啪| 婷婷五月播| 亚洲婷婷月丁香五月| 丁香婷婷久久老熟女综合网| 噜噜色com| 国产精品色婷婷99久久精品| 激情亚洲网| 日本人妻伦在线中文字幕| 色狠狠色综合久久久绯色aⅴ影视| 中文婷婷狠狠| 欧美性爱中文字幕| 婷婷五月天色色| 色小说婷婷五月天天天| 亚艹艹| 激情图片婷婷| 天天干,天天日| 欧美内射AAAAAAXXXXX| www网站在线观看| 亚洲小电影在线观看黄999| 天天综合情| 亚洲VA在线| 婷婷丁香五月天激情| 色色色五月婷婷| 99网| 综合精品99| 婷婷激情综合网| 伊人六月无码视频| 天天爽天天摸天天爱| 在线播放成人网站| 精品一二三区久久AAA片| 五月婷婷啪啪啪| 99只有精品| 色婷网站| 色五月婷婷91| 狠狠狠婷婷五月综合| 天天干天天射色综合| 99毛片| 免费视频无码| 天堂网色婷婷| 看黄的网站18禁| 激情五月,深深爱五月| 任你操精品免费| 北京熟妇搡BBBB搡BBBB | 婷婷五月天少妇| 激情五月天开心总和网| 色婷婷基地| 日本二级毛片二级毛片| 人妻激情视频| 五月天综合缴情网网站0| 色色色色色色97| 五月天丁香成人社| 色99在线| 久久午夜丁香| 热的国产99热| 四色五月婷婷| 激情五月影院| 操骚货在线| 亚洲成人av在线播放| 婷婷五月天激情综合深爱激情| 国产一级婬片毛片| 99人人操人人摸| 色婷婷五月网| 国产精品激情五月天色婷婷| 丁香五月日本| 午夜性爱影视一区77| 深爱激情九九五月天| 久狠日av| 天天色,天天日,天天做| 99 这里只有精品| 丁香五月天啪啪| 蜜桃婷婷狠狠久久综合| 久久激情五月天| 99热这里| 婷婷综合激情五月综合| 欧美va视频| 九九亚洲天堂| 五月丁香婷婷在线| 天天色,天天日,天天做| 色婷婷激情| 国产永久一黄| 五月天成人网婷婷| 精品国产人人爱人人| 亚洲这里只有精品| 天天干天天拍| 国产综合婷婷| 五月天婷婷五月| 欧美va在线| 五月天激情图片网| 白天AV月月| 久久婷婷综合网| 五月婷婷黄网站大全| 久久亚洲A| 婷婷五月婷婷| 99热这里只有精品9| 激情丁香五月AV| 亚洲色欲欧美一区二区三区| 99热播放| 亚洲五月天色色| 天天色,天天操,天天射| 久久丁香五月婷婷| 无语停婷丁香网| 激情综合网五月天天| av在线免费网站 | 五月综合久久| 亚洲第一成人AV| 五月网激情| 久9无码视频| 亚洲综合碰| 狠狠色丁香婷婷基地| 色色婷婷五月天| 激情婷婷五月在线合集| 南京搡BBBB搡BBBB| 婷婷五月丁香基地| 欧美日韩成人高清在线| 岛国AV网站| 三十熟女| 久久色五月天| 国产亚洲在线| 久久99看免费| 99热这里只有精品18| 影音先锋男人女人| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 高清无码一区二区三区四区| 欧美日韩一区二区三区四区| 吊色AV男人的天堂| 婷婷五月色網站| 国产肥白大熟妇BBBB视频| 天天做天天爱高潮片| 久久久久网站| 在线观看免费狠狠色丁香香综合| 色播色丁香五月| 亚洲成人乱码av网站| 双性美人被调教到喷水A片| 另类图片五月天激情| 久久五月天精品视频| 人妻久久人妻久久第一区| 亚洲精品又粗又大又爽A片| 大香蕉婷婷五月| 激情色中文| 一起草av在线观看| www.伊人天堂偷偷婷婷| 97综合在线| 色九九综合| 久久久91| 4399亚洲视频| 99色视频| 色黄啪啪| 99re最新地址| 一二线视频 另类| 成人羞羞啪啪 全 视频| 久久99热这里只频精品6学生| 色99视频| 丁香色五月 97干| 婷婷五月激情图片| 99色| www色综合亚洲92| 婷婷色色网| 天天看A片| 任你干线上免费视频有3吗| 久久九九怡红院| 色五月婷婷亚洲最大| 久久九九99.www| 99色热视频| 9l视频自拍9l视频自拍九色学生| se.久久视频在线观看| 视频色色色色色色| 91在线观看www| 五月丁香六月婷婷视频| 波多婷婷久久| 色五月成人在线| 成人婷婷色综合| 国产视频久色| 日韩成人电影AV| 亚洲激情网| 91久久久久久| 婷五月丁香俺| 婷婷亚洲综合| 亚洲婷婷丁香五月在线| 精品色色| 五月天婷婷网站| A片试看50分钟做受视频| 99精品在| 大香蕉五月天| 久久综合热17c| 免费视频WWW在线观看网站| 99热在线免费观看精品| 亚洲精品又粗又大又爽A片| 婷婷五月天AV激情| 亚洲亚洲人成综合网络| 五月婷婷丁香五月婷婷| 97超碰9久热婷婷热| 99操逼| 久婷视频| 九九色综合网| 色www久视频| 亚州日本欧州韩美高青高潮一| 丰滿爆乳一区二区三区| 九九热精品6| 丁香五月玖玖| 99国产这里只有精品| 亚洲图色五月天| 激情五月婷婷开心网| 丁香五月很很肏| 婷婷五月天网| 色噜噜狠狠色综合网| 久久 婷婷 五月天| 久久xx| 99九九视频| 9精品在线| 五月天精品视频| 99国产小视频免费观看| 久草婷婷网| 终合激情网| se.久久视频在线观看| 日本色99| 五月婷婷色播视频| 性色做爰片在线观看WW| 五月婷婷丁香色吧网| 9 大屁股在线视频精品| 久久99热这里只频精品6学生| 五月丁香啪啪啪综合网| 97人人射| 亚洲男人的天堂婷婷色五月| 碰久久精品w| 91大屁股精品| 色五月色五天色情网| 色色操| 五月丁香六月婷| 日本99视频| 激情综合网,婷婷| 亚洲色就是色色色| 婷婷丁香五月在线播放| 九九久久玖玖爱| 在线网黄| 久月丁香爱婷婷综合| 97人人干| 九九在线这里只有精品视频| 91九色中文字幕女在线观看| 丁香五月欧美激情| 啪啪婷婷五月天激情| 另类国产欧美视频| 99视频九九热| 安息电影在线观看完整版| 九九精品大香蕉| 婷婷五月天小说| 婷香五月网在线| 骚逼视频一区2区| 婷婷色综合| www久久99com| 婷婷中文字幕网站| 婷婷五月天基地| 婷五月天天| 亚洲成人av在线观看 | 欧美性猛交99久久久久99按摩| 久久婷婷六月综合| 五月丁香六月成人| 青青青在线视频国产| 丁香五月成人社区| 丁香婷婷五月综合色情| 牛色色碰| 久久9精品视频| 草操网| 中文字幕五月久久婷婷| 天天干天天操天天拍| 开心四月婷婷在线色播播| 新男人天堂人妻| 99热免费观看| 天天色天天色天天色天天色天天色| 丁香婷婷色九月| 4438亚洲欧美| 成人免费高清在线播放| www.狠狠操.co m| 欧美色色色色色色色色| 午夜色婷婷| 26uuu另类| 亚洲思思热久| 九久久九精品视频| 色色五月丁香婷婷| 亚洲精品国产精品乱码不99| 男人的天堂五月丁香| 六月丁香激情网| 五月天日日操夜夜操 | www.开心激情| 99亚洲精品视频在线观看| 激婷网| 97色热| 这里只有精品在线播放| 91九色视频在线观看| 免费无码毛片一区二区A片 | 久久久99日本大片| AA片在线观看视频在线播放| 狠狠高潮精品亚洲1| 五月丁香婷婷综合在线| 五月狠狠| 国产乱子轮XXX农村| 五月丁香激情综合网| 丁香五月第九色| 99热在线播放| 亚洲色亚洲精品| 婷婷五月69| 日亚二欧美| 五月婷婷色| 丁香婷婷基地| 九九热只有精品| 思思热在线视频观看精品| 91天堂网综合| 九九综合九| 操操啪| 丁香五月天的网址。| 日日日,com| 色综合偷拍| 欧美成人AAA片一区国产精品| 色婷婷97| 天天爽天天日天天舔| 婷色五月| 五月天婷婷色色首页| 色www久视频| 六月丁香久久| 久久机热/这里只有精品| 婷婷六月插屄激情| 91ncom.色| 97偷拍在线视频| 国产偷人爽久久久久久老妇APP| 欧美日综合| 五月婷婷六月丁香色| 狠狠看狠狠| 婷婷伊人久久| 天天干天天av天天射| 狠狠狠狠狠狠| 人人操插| 五月丁香啪啪网| 丁香色播五月天| 欧亚洲在线高清视频| 91精品综合久久婷婷九色| AV网在线| 六月婷婷五月丁香| 日韩黄黄| AV成人在线播放| 国产精品久久久久久五月天加勒比| 99人人干人人| 丁香五月伊人| 成人综合网站| 九月丁香| 久久久这里有精品| 五月婷婷欧美激情| 国产精品五月丁香| 九九热色视频| 91丨九色丨熟女|老版| 亚洲综合成人网站| 日韩AC在线免费观看| 99精品久久| 丁香综合网| 99色色网| 色综合综合色| 久久性刺激| 91啦丨九色丨刺激中文| 欧美色色色色色色色色色色| 久久视频这里99| 久久五月天激情视频| 五月丁香亭亭成人电影| 97精品综合| 超碰9在| 婷婷亚州综合| 影音先锋男人av资源站| 亚洲天堂婷婷丁香| 婷婷久草| 婷婷丁香十月| 婷婷在线视频| 激情综合网激情五月天| 26uuu| 999影院成人在线影院| 伊人午夜综合色啪| 色婷婷国色天香综合| 超碰在线观看成人视| 99人人干| 色婷婷综合视频| 四虎成人精品永久免费AV九九| 狠狠xx| 色婷婷六月性| 五月婷婷另类| 九九中文字幕九| 冬月かえでAV无码播放| 亚洲传媒在线观看| 久热99狠| 熟惀91九色在线| 丁香狠狠干| 99热99艹在线观看| 中文字幕视频色婷婷| 国产真人做爰视频免费| 成熟妇人A片免费看网站| 日本天天操| 亚洲成人乱码av网站| 天堂婷婷丁香六月网| 狠狠色丁香婷婷综合久久97AV| 五月婷婷开心亚洲无| 国产精品电影| 五月婷婷黄色| 996er在线观看| 亚洲激情校园| 亚州精品色情在线观看| 午夜丁香六月婷| 午夜 外网 精品 在线| 无码激情精品色婷婷久久久久| 玖玖色资源站| 亚洲AV无码久久精品色欲| 日本无va视频| 亚洲精品视频在线| 激情五月天久久丁香| 激情涩涩网| 人人舔人人色人人高潮| 成人小说 五月天 婷婷| 丁香六月色情| 伊人狠狠干| 婷婷丁香五月高清| 婷婷射丁香| 激情综合五| 色婷婷激情| 91干| 91久久婷婷| A久久| 麻豆WWWCOM内射软件| 国产精品91抖高| 涩丁香| 在线日本www| 婷婷色色欧美| av在线观看网站| 大香蕉人人网| 国产精品视频| 激情五月天久久丁香| 精品无码av丁香五月激情| 深爱婷婷基地| 欧美综合激情五月丁香| 丁香五月色五月婷婷宗合| 99热日韩| 五月天激情小说婷婷基地| 激情五月婷婷老师| 亚洲VA口| 久久HD| 久久这里都是精品| 777精品久无码人妻蜜桃| 97色射| 99ri国产精品| 激情五月婷婷综合网| 黄色AAAAAAA| 美女黄频aⅴ视频| 婷婷香蕉| 猫咪伊人AV| 婷婷五月天丁香成人社区| 久色激情| 永久的网站AAAA| 日韩久久这里只有精品| 婷婷丁香人妻天天久久| 美女激情综合| 亚洲中文字幕av| 九色成人AV在线| 婷婷丁香五月天熟女丝袜| 久久东京热婷婷五月| 五月综合激情久久| 美英法精品无码免费视频| 五月婷婷说| 久色大| 99热这里只有精品首页| 天堂伊人干| 五月婷综合激情| 五月丁香花激情综合网| 婷婷久久亚洲| 婷婷中文字幕版|