欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

數(shù)據(jù)服務(wù)監(jiān)控運(yùn)維實(shí)戰(zhàn):從指標(biāo)體系到告警治理與故障排查

數(shù)據(jù)服務(wù)監(jiān)控運(yùn)維實(shí)戰(zhàn):從指標(biāo)體系到告警治理與故障排查 周末凌晨?jī)牲c(diǎn)手機(jī)震了。第一反應(yīng)是“數(shù)據(jù)服務(wù)掛了”。打開(kāi)電腦看了下果然某張核心報(bào)表的數(shù)據(jù)產(chǎn)出時(shí)間已經(jīng)超過(guò)SLA兩小時(shí)下游三個(gè)業(yè)務(wù)方連著發(fā)來(lái)問(wèn)詢。這種場(chǎng)景做過(guò)大數(shù)據(jù)運(yùn)維的人都不會(huì)陌生。數(shù)據(jù)服務(wù)的監(jiān)控與運(yùn)維平時(shí)看著不起眼一出問(wèn)題就是大事。我寫這篇東西是把這幾年在“大數(shù)據(jù)數(shù)據(jù)服務(wù)監(jiān)控與運(yùn)維”上踩過(guò)的坑、總結(jié)出來(lái)的套路整體梳理一遍。不是講某個(gè)具體平臺(tái)怎么用而是講清楚一套從指標(biāo)設(shè)計(jì)、監(jiān)控搭建、告警治理到故障排查、日常運(yùn)維的完整方法論。適合剛接手?jǐn)?shù)據(jù)平臺(tái)的同學(xué)也適合已經(jīng)寫了幾年監(jiān)控規(guī)則但總覺(jué)得“告警一堆、有效沒(méi)幾個(gè)”的團(tuán)隊(duì)參考。你不需要照著某個(gè)工具一步步操作但看完應(yīng)該能知道自己團(tuán)隊(duì)缺什么、該補(bǔ)什么、為什么那么做。1. 先搞清楚數(shù)據(jù)服務(wù)監(jiān)控運(yùn)維到底在管什么1.1 數(shù)據(jù)服務(wù)不等于數(shù)據(jù)平臺(tái)很多團(tuán)隊(duì)把“大數(shù)據(jù)運(yùn)維”等同于“看著HDFS容量、YARN資源、節(jié)點(diǎn)心跳”這個(gè)認(rèn)知在早期沒(méi)問(wèn)題但一旦數(shù)據(jù)開(kāi)始對(duì)外提供服務(wù)監(jiān)控的視角就完全不一樣了。數(shù)據(jù)服務(wù)這個(gè)概念往寬了說(shuō)包括對(duì)外提供查詢的API接口比如訂單查詢、用戶畫像查詢支撐BI報(bào)表的離線表與實(shí)時(shí)表比如經(jīng)營(yíng)看板、大屏展示定時(shí)或?qū)崟r(shí)的數(shù)據(jù)同步任務(wù)比如從業(yè)務(wù)庫(kù)同步到數(shù)倉(cāng)、從數(shù)倉(cāng)導(dǎo)出到業(yè)務(wù)系統(tǒng)數(shù)據(jù)推送服務(wù)指把計(jì)算結(jié)果推送到下游消息隊(duì)列或業(yè)務(wù)數(shù)據(jù)庫(kù)。這些服務(wù)共同的特點(diǎn)是它們直接面對(duì)業(yè)務(wù)方有明確的SLA要求出問(wèn)題會(huì)立刻被感知。而數(shù)據(jù)平臺(tái)本身Hadoop、Spark、Flink、Kafka這些只是支撐這些服務(wù)的底層設(shè)施。所以監(jiān)控運(yùn)維的對(duì)象要分兩層看底層是平臺(tái)與任務(wù)上層是服務(wù)與數(shù)據(jù)。底層掛了未必影響業(yè)務(wù)但數(shù)據(jù)服務(wù)的可用性和數(shù)據(jù)質(zhì)量出問(wèn)題那就是事故。反過(guò)來(lái)底層沒(méi)掛但數(shù)據(jù)沒(méi)產(chǎn)出一樣是事故。這就是為什么很多團(tuán)隊(duì)“監(jiān)控很全、告警很多”卻依然出事——監(jiān)控對(duì)象選錯(cuò)了全監(jiān)控的是底層上層的數(shù)據(jù)產(chǎn)出和質(zhì)量反而沒(méi)人盯。1.2 監(jiān)控與運(yùn)維的兩個(gè)真實(shí)目標(biāo)把目標(biāo)說(shuō)清楚后面所有設(shè)計(jì)才有依據(jù)。我總結(jié)下來(lái)就兩條第一保證數(shù)據(jù)“按時(shí)、按質(zhì)、可用”。“按時(shí)”指數(shù)據(jù)產(chǎn)出時(shí)間要滿足SLA比如每天8點(diǎn)前今天的報(bào)表必須能查到“按質(zhì)”指數(shù)據(jù)是對(duì)的不能出現(xiàn)空值、重復(fù)、明顯波動(dòng)異常“可用”指查詢服務(wù)不掛接口響應(yīng)在合理范圍內(nèi)。**第二故障時(shí)能快速定位、快速恢復(fù)。**沒(méi)有什么監(jiān)控能保證不出故障監(jiān)控的價(jià)值在于出問(wèn)題時(shí)盡可能縮小排查范圍減少?gòu)摹皥?bào)警”到“找到根因”的時(shí)間。理想狀態(tài)是告警里直接告訴你是哪個(gè)任務(wù)、哪個(gè)分區(qū)、哪個(gè)環(huán)節(jié)出了問(wèn)題而不是讓你對(duì)著幾十臺(tái)機(jī)器挨個(gè)翻日志。這兩條目標(biāo)決定了監(jiān)控設(shè)計(jì)的優(yōu)先級(jí)。第一優(yōu)先級(jí)永遠(yuǎn)是數(shù)據(jù)產(chǎn)出鏈路本身也就是調(diào)度、任務(wù)、數(shù)據(jù)分區(qū)、表新鮮度。第二優(yōu)先級(jí)才是機(jī)器資源、組件狀態(tài)。別把順序搞反了。注意這里說(shuō)的“數(shù)據(jù)質(zhì)量”不是BI分析里數(shù)據(jù)質(zhì)量治理那么大而全的概念而是運(yùn)維視角下最基本的數(shù)據(jù)正確性保障比如關(guān)鍵字段不能為空、主鍵不能重復(fù)、數(shù)值波動(dòng)不能異常。這兩者覆蓋范圍有重疊但實(shí)踐上完全不是一個(gè)團(tuán)隊(duì)在推動(dòng)。2. 監(jiān)控指標(biāo)體系怎么搭才算完整2.1 從用戶視角倒推服務(wù)可用性與數(shù)據(jù)新鮮度設(shè)計(jì)監(jiān)控指標(biāo)最常見(jiàn)的錯(cuò)誤是“有什么監(jiān)控什么”——內(nèi)存、CPU、磁盤用滿了就報(bào)警聽(tīng)起來(lái)很穩(wěn)但業(yè)務(wù)方根本不關(guān)心你磁盤剩多少他們只關(guān)心“報(bào)表能不能查到”“接口返回正不正?!?。所以我的做法是反著來(lái)先問(wèn)業(yè)務(wù)方感知到什么才算“好”匯總下來(lái)就三個(gè)詞查得到、出得快、數(shù)據(jù)對(duì)。對(duì)應(yīng)的指標(biāo)是查詢成功率單位時(shí)間內(nèi)數(shù)據(jù)服務(wù)接口或報(bào)表查詢的成功次數(shù)占總請(qǐng)求次數(shù)的比例。一般要求99.9%以上低于99.5%就需要關(guān)注查詢響應(yīng)時(shí)間用TP99而不是平均值。平均值最容易被極端值拉高或拉低TP99才能反映絕大多數(shù)用戶體驗(yàn)數(shù)據(jù)新鮮度指的是數(shù)據(jù)產(chǎn)出時(shí)間與業(yè)務(wù)時(shí)間的差距。小時(shí)級(jí)任務(wù)看分鐘級(jí)延遲天級(jí)任務(wù)看產(chǎn)出時(shí)間點(diǎn)是否晚于SLA約定時(shí)間數(shù)據(jù)產(chǎn)出完整性今天的分區(qū)是否齊全表行數(shù)與昨日對(duì)比是否異常波動(dòng)。換個(gè)角度看業(yè)務(wù)方感知到“服務(wù)掛了”往往是間接的——他們查不到數(shù)據(jù)或者打開(kāi)報(bào)表看到“暫無(wú)數(shù)據(jù)”。而底層的表現(xiàn)可能是某個(gè)任務(wù)失敗重試后成功了或者調(diào)度隊(duì)列里積壓了任務(wù)或者某個(gè)分區(qū)遲遲沒(méi)有生成。監(jiān)控體系設(shè)計(jì)的第一原則就是從用戶可感知的問(wèn)題出發(fā)向下拆解到具體可定位的監(jiān)控點(diǎn)。2.2 系統(tǒng)資源與任務(wù)運(yùn)行的雙層指標(biāo)有了用戶視角的指標(biāo)還需要一層支撐性的指標(biāo)池。我習(xí)慣分成三個(gè)層級(jí)層級(jí)典型指標(biāo)作用服務(wù)層接口成功率、調(diào)用量、TP99、數(shù)據(jù)新鮮度反映用戶實(shí)際體驗(yàn)是告警的第一觸發(fā)點(diǎn)任務(wù)層調(diào)度成功率、任務(wù)耗時(shí)、重試次數(shù)、失敗原因、Checkpoint狀態(tài)快速定位是哪個(gè)數(shù)據(jù)加工環(huán)節(jié)出了問(wèn)題資源層CPU、內(nèi)存、磁盤IO、GC時(shí)間、連接數(shù)、隊(duì)列積壓提供根因線索一般不直接告警業(yè)務(wù)方為什么要分三層因?yàn)楦婢仨殢姆?wù)層往下穿透。比如“報(bào)表查不到”這個(gè)服務(wù)層告警觸發(fā)了值班同學(xué)需要一層層往下看先看數(shù)據(jù)更新任務(wù)是否成功任務(wù)層不成功再看任務(wù)所在機(jī)器資源是否異常資源層資源沒(méi)問(wèn)題再看日志具體報(bào)錯(cuò)。這個(gè)順序就是標(biāo)準(zhǔn)的定位路徑。在這三層之上實(shí)時(shí)鏈路還要單獨(dú)補(bǔ)充幾個(gè)指標(biāo)消費(fèi)延遲消費(fèi)者處理到的最新消息時(shí)間與最新生產(chǎn)消息時(shí)間之差單位毫秒。實(shí)時(shí)鏈路85%的故障都表現(xiàn)在這個(gè)指標(biāo)上消息積壓量Topic或ConsumerGroup中未消費(fèi)的消息數(shù)Checkpoint失敗次數(shù)與耗時(shí)Flink任務(wù)健康度的晴雨表連續(xù)多次Checkpoint失敗基本意味著任務(wù)即將重啟。我見(jiàn)過(guò)不少團(tuán)隊(duì)實(shí)時(shí)鏈路掛了半小時(shí)告警是“Kafka消費(fèi)者線程數(shù)下降”這種告警太底層了等值班同學(xué)反應(yīng)過(guò)來(lái)業(yè)務(wù)方已經(jīng)排隊(duì)來(lái)問(wèn)了。直接監(jiān)控“消費(fèi)延遲”和“負(fù)投產(chǎn)周期”這類服務(wù)層指標(biāo)才是有效的方式。2.3 閾值怎么定從靜態(tài)閾值到動(dòng)態(tài)基線指標(biāo)有了閾值怎么定這是監(jiān)控體系里爭(zhēng)議最多的地方。拍腦袋定一個(gè)“CPU超過(guò)80%報(bào)警”的規(guī)則實(shí)際運(yùn)行中你會(huì)發(fā)現(xiàn)兩種問(wèn)題一種是CPU長(zhǎng)期維持在85%但業(yè)務(wù)完全正常告警發(fā)多了沒(méi)人看另一種是內(nèi)存從2G漲到4G雖然絕對(duì)值不高但已經(jīng)翻倍靜態(tài)閾值根本不會(huì)觸發(fā)——結(jié)果OOM了才發(fā)現(xiàn)。我的經(jīng)驗(yàn)是分三步走**第一步先按經(jīng)驗(yàn)定靜態(tài)保守閾值。**比如接口成功率低于99.5%告警、消費(fèi)延遲超過(guò)5分鐘告警、存儲(chǔ)空間使用率超過(guò)85%告警。這些值不用太準(zhǔn)目的是兜底防止“什么都沒(méi)監(jiān)控”的空白期。**第二步觀察2到4周用歷史數(shù)據(jù)校準(zhǔn)。**把監(jiān)控指標(biāo)保存下來(lái)看指標(biāo)在正常周期內(nèi)的波動(dòng)范圍和基線。比如接口調(diào)用量每天早高峰是低峰的10倍晚高峰TP99天然比白天高那閾值就必須按不同時(shí)段分別設(shè)定。**第三步引入動(dòng)態(tài)基線檢測(cè)。**正經(jīng)的做法是基于時(shí)間序列做周期性預(yù)測(cè)比如歷史30天同周期數(shù)據(jù)做滑動(dòng)平均當(dāng)前值與預(yù)測(cè)值偏差超過(guò)一定倍數(shù)比如3倍標(biāo)準(zhǔn)差或50%偏差才告警。這樣既能捕捉“絕對(duì)值不大但趨勢(shì)異?!钡膯?wèn)題也能減少靜態(tài)閾值導(dǎo)致的誤報(bào)。提示動(dòng)態(tài)基線不是越復(fù)雜越好。剛開(kāi)始做用“同比昨天的同一時(shí)刻、環(huán)比上周同一天”這兩個(gè)維度做簡(jiǎn)單的偏差檢測(cè)準(zhǔn)確率已經(jīng)相當(dāng)高了。直接上機(jī)器學(xué)習(xí)模型反而會(huì)因?yàn)闃颖静蛔愫吞卣麟s亂搞出更多誤報(bào)。2.4 告警分級(jí)不區(qū)分級(jí)別的告警等于沒(méi)告警最后再說(shuō)告警分級(jí)。沒(méi)有分級(jí)的告警體系值班同學(xué)會(huì)被拖垮。我的團(tuán)隊(duì)把告警分成三級(jí)級(jí)別定義響應(yīng)要求通知方式P1核心服務(wù)不可用影響面覆蓋多個(gè)業(yè)務(wù)方或核心報(bào)表立即響應(yīng)15分鐘內(nèi)介入電話短信群所有人P2非核心服務(wù)異常單一任務(wù)失敗影響單業(yè)務(wù)方30分鐘內(nèi)響應(yīng)工作時(shí)間立即處理短信群消息P3潛在風(fēng)險(xiǎn)資源水位偏高任務(wù)重試成功當(dāng)天處理值班同學(xué)視情況處理群消息靜默通知次日跟進(jìn)P1一定是服務(wù)層指標(biāo)觸發(fā)的不允許出現(xiàn)“資源層指標(biāo)直接報(bào)P1”的情況——除非你已經(jīng)確認(rèn)資源問(wèn)題正在壓垮業(yè)務(wù)。分級(jí)規(guī)則寫進(jìn)告警引擎配置里而不是靠值班同學(xué)自己判斷這很重要。3. 監(jiān)控工具選型與告警體系搭建3.1 開(kāi)源監(jiān)控棧從指標(biāo)采集到告警觸達(dá)工具選型上大多數(shù)團(tuán)隊(duì)會(huì)走同一條路先用開(kāi)源組合搭起一套能用的體系跑一段時(shí)間后再?zèng)Q定要不要自研。這個(gè)路線沒(méi)問(wèn)題我建議的黃金組合是指標(biāo)采集與存儲(chǔ)Prometheus 各類Exporter。Prometheus生態(tài)對(duì)大數(shù)據(jù)組件非常友好Node Exporter看機(jī)器指標(biāo)JMX Exporter看Java進(jìn)程還有現(xiàn)成的Kafka Exporter、Flink Exporter。配置不算復(fù)雜收益立竿見(jiàn)影可視化Grafana。主要的用途不是做漂亮的大屏而是把“服務(wù)層指標(biāo)任務(wù)層指標(biāo)資源層指標(biāo)”放在同一張圖里故障定位時(shí)一眼看到全鏈路狀態(tài)告警引擎AlertManager。負(fù)責(zé)把Prometheus的告警規(guī)則按照分組、抑制、靜默策略發(fā)送出去同時(shí)做好路由讓告警只發(fā)到該看的人日志聚合主流的日志平臺(tái)方案或者輕量級(jí)的 Loki。日志平臺(tái)吃資源但大數(shù)據(jù)場(chǎng)景排查問(wèn)題離不開(kāi)全文檢索和上下文日志這一塊至少要有一套任務(wù)調(diào)度監(jiān)控針對(duì)實(shí)際使用的調(diào)度平臺(tái)或自研監(jiān)控腳本。核心是拿到每個(gè)任務(wù)的狀態(tài)、耗時(shí)、失敗原因。這套組合完整跑通之后大概能覆蓋80%的監(jiān)控需求。剩下的20%需求比如自定義數(shù)據(jù)質(zhì)量校驗(yàn)、全鏈路血緣告警往往需要結(jié)合自己的數(shù)據(jù)平臺(tái)現(xiàn)狀寫一些腳本服務(wù)。不要一開(kāi)始就追求自研統(tǒng)一監(jiān)控平臺(tái)那是個(gè)無(wú)底洞。先把開(kāi)源工具用好讓數(shù)據(jù)沉淀下來(lái)后面整理成平臺(tái)才有依據(jù)。3.2 主動(dòng)撥測(cè)與被動(dòng)監(jiān)控相結(jié)合被動(dòng)監(jiān)控指的是數(shù)據(jù)服務(wù)被調(diào)用時(shí)產(chǎn)生的指標(biāo)比如接口成功率、響應(yīng)耗時(shí)。被動(dòng)監(jiān)控有個(gè)盲區(qū)如果沒(méi)人調(diào)用接口掛了也不知道。所以必須有主動(dòng)探測(cè)來(lái)兜底。主動(dòng)探測(cè)分兩種形態(tài)第一種是黑盒撥測(cè)。用一個(gè)獨(dú)立的探測(cè)程序不依賴業(yè)務(wù)服務(wù)的代碼定時(shí)模擬用戶行為比如每小時(shí)調(diào)用一次核心查詢API、每5分鐘請(qǐng)求一次報(bào)表數(shù)據(jù)接口檢查返回狀態(tài)碼、響應(yīng)耗時(shí)和結(jié)果內(nèi)容。一旦連續(xù)失敗N次直接報(bào)P1。這相當(dāng)于給服務(wù)層指標(biāo)加了一份“體外保險(xiǎn)”尤其適合核心鏈路。第二種是數(shù)據(jù)質(zhì)量探針。在數(shù)據(jù)產(chǎn)出后通過(guò)SQL或腳本掃描目標(biāo)表的關(guān)鍵規(guī)則比如主鍵是否重復(fù)關(guān)鍵字段空值率是否超過(guò)閾值關(guān)鍵指標(biāo)的今日值與歷史同期相比是否有異常波動(dòng)分區(qū)數(shù)據(jù)量是否滿足最小行數(shù)要求。探針結(jié)果可以寫成自定義指標(biāo)發(fā)到Prometheus再走告警體系。這樣就能監(jiān)控到“數(shù)據(jù)雖然產(chǎn)出了但數(shù)據(jù)本身有問(wèn)題”這種最隱蔽的事故。我在實(shí)際落地時(shí)通常的做法是每天數(shù)據(jù)產(chǎn)出后半小時(shí)對(duì)核心報(bào)表表跑一組完整性校驗(yàn)。AI場(chǎng)景下單表數(shù)據(jù)量減少30%以上直接觸發(fā)P2告警。這套機(jī)制已經(jīng)幫我們提前攔截過(guò)好幾次“上游同步漏數(shù)據(jù)”的問(wèn)題。3.3 告警通知與值班流程的銜接告警發(fā)出去只是開(kāi)始真正的閉環(huán)是要有人響應(yīng)、有人處理、有人跟進(jìn)。這個(gè)銜接環(huán)節(jié)掉鏈子比監(jiān)控缺失更嚴(yán)重。我建議先設(shè)定幾個(gè)簡(jiǎn)單規(guī)則認(rèn)領(lǐng)機(jī)制群里收到告警后必須有人回復(fù)“處理中”否則定時(shí)器會(huì)在5分鐘后再次提醒15分鐘后仍未認(rèn)領(lǐng)則自動(dòng)通過(guò)電話通知當(dāng)班值班人升級(jí)機(jī)制P1告警15分鐘內(nèi)無(wú)人有效處理升級(jí)到值班主管30分鐘內(nèi)升級(jí)到團(tuán)隊(duì)負(fù)責(zé)人保證緊急時(shí)有人拍板而不是大家集體沉默恢復(fù)確認(rèn)告警恢復(fù)后不能直接關(guān)閉還要等待至少10分鐘觀察期確認(rèn)服務(wù)穩(wěn)定、數(shù)據(jù)補(bǔ)跑成功才算真正閉環(huán)每日告警回顧第二天早上花10分鐘過(guò)前一天的告警記錄分一下類有效告警、誤報(bào)、可避免告警。這個(gè)動(dòng)作看著簡(jiǎn)單卻是整個(gè)告警體系優(yōu)化的關(guān)鍵數(shù)據(jù)來(lái)源。認(rèn)領(lǐng)和升級(jí)機(jī)制可以通過(guò)企業(yè)微信或釘釘機(jī)器人配合簡(jiǎn)單的后端邏輯實(shí)現(xiàn)也可以直接用現(xiàn)成的告警協(xié)同平臺(tái)。核心是讓人知道“這條告警現(xiàn)在到底有沒(méi)有人管”而不是發(fā)了就完事。4. 常見(jiàn)故障排查與實(shí)戰(zhàn)記錄4.1 數(shù)據(jù)延遲類故障任務(wù)顯示成功但數(shù)據(jù)就是沒(méi)出來(lái)數(shù)據(jù)延遲是數(shù)據(jù)服務(wù)運(yùn)維里出現(xiàn)概率最高的一類問(wèn)題。它最讓人頭疼的地方在于很多情況下任務(wù)沒(méi)有失敗狀態(tài)顯示“成功”但下游就是查不到新數(shù)據(jù)。我遇到過(guò)一次典型的案例。某核心離線任務(wù)每天凌晨2點(diǎn)調(diào)度運(yùn)行時(shí)長(zhǎng)一般40分鐘有一天早上到點(diǎn)后下游報(bào)表沒(méi)有更新。檢查調(diào)度平臺(tái)任務(wù)狀態(tài)是成功的查看任務(wù)日志最后幾行沒(méi)有明顯報(bào)錯(cuò)。問(wèn)題出在哪兒后來(lái)按這條路徑找到根因先看任務(wù)運(yùn)行時(shí)長(zhǎng)曲線發(fā)現(xiàn)當(dāng)天運(yùn)行時(shí)間比平常多了一個(gè)半小時(shí)再看具體的階段耗時(shí)定位到某個(gè)數(shù)據(jù)清洗SQL的reduce階段異常緩慢。進(jìn)入檢查模式后發(fā)現(xiàn)某個(gè)上游表在當(dāng)天產(chǎn)生了大量重復(fù)數(shù)據(jù)導(dǎo)致join的中間結(jié)果膨脹了一百多倍。任務(wù)雖然跑完了但因?yàn)檫\(yùn)行超時(shí)數(shù)據(jù)寫入分區(qū)的時(shí)間晚于下游報(bào)表的讀取時(shí)機(jī)報(bào)表任務(wù)沒(méi)有讀取到最新分區(qū)。這個(gè)案例能給幾個(gè)排查套路這類定位思路最早來(lái)自對(duì)“調(diào)度、計(jì)算、寫入”三個(gè)環(huán)節(jié)的逐一排查遇到延遲問(wèn)題不要只盯任務(wù)是否成功還要關(guān)注運(yùn)行時(shí)長(zhǎng)曲線有沒(méi)有異常。定期繪制任務(wù)運(yùn)行時(shí)長(zhǎng)曲線能幫你一眼看出“今天慢”是偶發(fā)問(wèn)題還是趨勢(shì)性問(wèn)題。**第二步通過(guò)數(shù)據(jù)血緣或任務(wù)依賴關(guān)系向下游擴(kuò)散查詢。**比如從報(bào)表往前回溯上游表是哪個(gè)任務(wù)產(chǎn)出的那個(gè)任務(wù)的調(diào)度時(shí)間是否正常。大數(shù)據(jù)平臺(tái)的血緣關(guān)系在這一刻的價(jià)值真的比任何監(jiān)控面板都大。**第三步看運(yùn)行日志和資源監(jiān)控的交叉點(diǎn)。**如果任務(wù)慢是因?yàn)橘Y源競(jìng)爭(zhēng)——同隊(duì)列的另一個(gè)大任務(wù)搶占了CPU或內(nèi)存——資源監(jiān)控里會(huì)看到明顯的資源水位上升這時(shí)候直接去調(diào)隊(duì)列配置比優(yōu)化代碼要快得多。4.2 服務(wù)OOM與GC問(wèn)題接口突然變慢隨后開(kāi)始報(bào)錯(cuò)數(shù)據(jù)服務(wù)的實(shí)時(shí)查詢進(jìn)程出現(xiàn)內(nèi)存問(wèn)題也很常見(jiàn)?,F(xiàn)象是接口從“偶爾慢”到“頻繁超時(shí)”再到“開(kāi)始返回500”。排查思路要形成肌肉記憶先看監(jiān)控面板的JVM內(nèi)存曲線和GC頻率再分析堆內(nèi)存中緩存的數(shù)據(jù)結(jié)構(gòu)。我遇到過(guò)的一個(gè)案例是某個(gè)服務(wù)為了提升查詢性能啟動(dòng)時(shí)把一張配置表全量加載到內(nèi)存里。平時(shí)這張表只有幾萬(wàn)行完全沒(méi)問(wèn)題。后來(lái)上游數(shù)據(jù)量增長(zhǎng)這張表一天之內(nèi)漲到了幾百萬(wàn)行服務(wù)啟動(dòng)加載時(shí)直接把堆內(nèi)存撐爆真正可怕的還是區(qū)間峰值——在數(shù)據(jù)量增長(zhǎng)的過(guò)程中好幾次GC把偶發(fā)流量頂住了看著沒(méi)掛但響應(yīng)時(shí)間已經(jīng)劣化了三四倍。生產(chǎn)上到中午流量高峰直接OOM。這類問(wèn)題的排查有幾個(gè)關(guān)鍵點(diǎn)看GC日志是最直接的。通過(guò)GCViewer這類工具分析回收類型和頻率可以基本確定是“內(nèi)存分配過(guò)快”還是“存在大對(duì)象堆積”?!癎C較為頻繁但整體內(nèi)存曲線平緩”和“內(nèi)存曲線持續(xù)爬升、回收后回落不明顯”分別對(duì)應(yīng)兩種不同方向做堆轉(zhuǎn)儲(chǔ)快照Heap Dump分析可以搭配內(nèi)存分析工具查看大對(duì)象分布確認(rèn)是否有過(guò)量緩存或數(shù)據(jù)集合沒(méi)有得到釋放看監(jiān)控中的線程池排隊(duì)情況如果接口線程池滿請(qǐng)求會(huì)長(zhǎng)期堆積最終觸發(fā)超時(shí)——這個(gè)現(xiàn)象也經(jīng)常被誤判為“服務(wù)負(fù)載高”實(shí)際是內(nèi)存問(wèn)題間接拖累了線程處理。經(jīng)驗(yàn)給查詢服務(wù)加內(nèi)存緩存時(shí)必須設(shè)置最大容量上限和過(guò)期時(shí)間絕對(duì)不能“無(wú)界緩存”。數(shù)據(jù)量不可控是常態(tài)如果你不限制緩存緩存遲早會(huì)限制你。4.3 數(shù)據(jù)質(zhì)量異常監(jiān)控怎么發(fā)現(xiàn)“數(shù)據(jù)不對(duì)勁”還有一種故障最難防服務(wù)沒(méi)掛、任務(wù)沒(méi)失敗、數(shù)據(jù)也產(chǎn)出了但數(shù)據(jù)本身是錯(cuò)的。比如某報(bào)表今天銷量比昨天低了60%某張用戶表出現(xiàn)了大量負(fù)數(shù)某個(gè)維度的匯總值比前一天翻了好幾倍。這些問(wèn)題的共性在于從系統(tǒng)和任務(wù)指標(biāo)上完全看不出來(lái)必須靠數(shù)據(jù)內(nèi)容本身的校驗(yàn)。我的做法是建立一張“核心數(shù)據(jù)質(zhì)量規(guī)則表”對(duì)最重要的幾十張表配置規(guī)則。每張表至少覆蓋四類檢查檢查類型規(guī)則示例告警級(jí)別完整性今日分區(qū)行數(shù)不低于昨日50%不高于昨日200%P2唯一性主鍵重復(fù)數(shù)為0P2有效性金額字段不允許負(fù)數(shù)狀態(tài)字段必須在約定枚舉值內(nèi)P3波動(dòng)性核心指標(biāo)日環(huán)比變化不超過(guò)30%業(yè)務(wù)波動(dòng)大時(shí)可放寬到50%P2還有一種常見(jiàn)情況是上游同步延遲導(dǎo)致“數(shù)據(jù)補(bǔ)寫”——今天的分區(qū)一開(kāi)始沒(méi)數(shù)據(jù)幾小時(shí)后才補(bǔ)上。你的檢查任務(wù)如果是數(shù)據(jù)產(chǎn)出半小時(shí)后跑的很可能誤報(bào)。所以質(zhì)量探測(cè)任務(wù)必須和調(diào)度SLA對(duì)齊要么在SLA時(shí)間之后運(yùn)行要么在規(guī)則里跳過(guò)“未產(chǎn)出分區(qū)”的情況。我踩過(guò)的一個(gè)坑規(guī)則配好了但只用一個(gè)固定閾值“環(huán)比波動(dòng)不能超過(guò)30%”。某天上線了大促活動(dòng)銷量直接從5000漲到30000規(guī)則立刻誤報(bào)。后來(lái)改成“周日與上周日對(duì)比、工作日與昨日對(duì)比”這類更貼合業(yè)務(wù)周期的規(guī)則誤報(bào)率才降下來(lái)。做數(shù)據(jù)質(zhì)量規(guī)則天然地要理解業(yè)務(wù)節(jié)奏這是繞不過(guò)去的。4.4 慢查詢與性能瓶頸API服務(wù)變慢的排查路徑數(shù)據(jù)服務(wù)接口變慢是另一類高頻問(wèn)題?,F(xiàn)象清晰但根因往往五花八門。排查時(shí)建議按這個(gè)順序快速排除先看數(shù)據(jù)庫(kù)或OLAP引擎?zhèn)鹊穆樵?。大多?shù)“接口慢”本質(zhì)是“查詢慢”把服務(wù)端的慢查詢?nèi)罩敬蜷_(kāi)找到耗時(shí)最高的SQL看執(zhí)行計(jì)劃是否合理、是否缺少分區(qū)裁剪、是否在大表上做了無(wú)過(guò)濾條件的全表掃描再看服務(wù)端是否有跨服務(wù)調(diào)用比如API接口內(nèi)部還依賴另一個(gè)用戶系統(tǒng)或數(shù)據(jù)服務(wù)。鏈路追蹤里看下游調(diào)用耗時(shí)占比如果有外部調(diào)用占比極高問(wèn)題大概率在下游曾經(jīng)排查過(guò)一個(gè)“接口偶爾超時(shí)”的工單最后定位到原因是該接口內(nèi)部調(diào)用的下游服務(wù)每10分鐘觸發(fā)一次Full GC那段時(shí)間接口響應(yīng)就變慢全鏈路追蹤的耗時(shí)分析幫了大忙查緩存是否生效。如果命中率低于90%你可能需要調(diào)整緩存key的設(shè)計(jì)或緩存粒度的策略最后看是否出現(xiàn)“熱點(diǎn)查詢”或“大查詢互斥”。數(shù)據(jù)服務(wù)場(chǎng)景里高并發(fā)下某些大查詢會(huì)互相搶占CPU和IO導(dǎo)致所有查詢集體退化。這時(shí)優(yōu)先做的是資源隊(duì)列隔離把大查詢和小查詢分開(kāi)。**分級(jí)響應(yīng)**在壓測(cè)階段就把大查詢和小查詢分配到不同資源隊(duì)列是一種性價(jià)比很高的容量治理手段能在流量高峰期避免“一條大查詢拖垮全鏈路”的情況。5. 日常運(yùn)維規(guī)范與自動(dòng)化實(shí)踐5.1 變更管理大多數(shù)故障的根源是“改動(dòng)了什么”如果統(tǒng)計(jì)故障來(lái)源“變更”會(huì)排在第一位不管是配置修改、版本升級(jí)還是表結(jié)構(gòu)調(diào)整。數(shù)據(jù)服務(wù)的運(yùn)維要做到“變更可追蹤、發(fā)布可回滾”。我的團(tuán)隊(duì)內(nèi)部有一套簡(jiǎn)單但有效的變更規(guī)范變更窗口核心鏈路的變更集中在每周固定的時(shí)間窗口比如周二和周四下午窗口內(nèi)禁止隨意發(fā)布窗口外有緊急發(fā)布需求必須經(jīng)過(guò)審批灰度發(fā)布新版本先發(fā)布到單臺(tái)實(shí)例或給部分流量比如先切5%的流量觀察10分鐘核心指標(biāo)無(wú)異常后逐步放量全量發(fā)布前不允許直接替換所有節(jié)點(diǎn)表結(jié)構(gòu)變更上線前必須跑兼容性檢查確認(rèn)下游查詢SQL不依賴被刪除的字段避免上游刪列后下游任務(wù)大面積失敗。表字段修改是數(shù)據(jù)服務(wù)變更里最容易“踩雷”的回滾預(yù)案每次變更前必須明確回滾方案比如配置項(xiàng)的舊值備份、版本的保留、數(shù)據(jù)同步任務(wù)的重跑策略。沒(méi)有回滾預(yù)案的變更等到出問(wèn)題時(shí)現(xiàn)場(chǎng)才想方案代價(jià)極其昂貴。這些規(guī)范聽(tīng)起來(lái)都是常識(shí)但執(zhí)行起來(lái)最難的是“堅(jiān)持”。團(tuán)隊(duì)里總會(huì)有聲音說(shuō)“這個(gè)改動(dòng)很小不用走流程”而絕大多數(shù)事故就出在這種地方。我的態(tài)度就一條沒(méi)有記錄就沒(méi)有變更沒(méi)有回滾方案的變更不允許執(zhí)行。5.2 容量管理與成本優(yōu)化別等磁盤滿了才行動(dòng)容量問(wèn)題不像故障那么緊急但每個(gè)月都會(huì)來(lái)找你。存儲(chǔ)滿了、任務(wù)隊(duì)列積壓、成本超預(yù)算這些都是運(yùn)維團(tuán)隊(duì)日常要處理的“大問(wèn)題”。存儲(chǔ)治理方面最有效的四板斧冷熱分層把超過(guò)一定時(shí)間未被訪問(wèn)的數(shù)據(jù)移到冷存儲(chǔ)查詢不常用這是性價(jià)比最高的一步TTL生命周期管理給ODS層明細(xì)數(shù)據(jù)設(shè)置明確的保留周期默認(rèn)情況滾動(dòng)保留有特殊需求再單獨(dú)申請(qǐng)延長(zhǎng)定期清理臨時(shí)表和后綴表很多任務(wù)運(yùn)行過(guò)程中會(huì)生成中間表任務(wù)結(jié)束不清理日積月累就是幾百GB甚至TB級(jí)別的垃圾小文件治理小文件多會(huì)導(dǎo)致NameNode壓力大、查詢變慢定期對(duì)產(chǎn)生大量小文件的分區(qū)執(zhí)行合并操作。計(jì)算成本方面主要抓兩點(diǎn)一是任務(wù)運(yùn)行時(shí)長(zhǎng)TOP排名每周看一次把耗時(shí)異常的任務(wù)挑出來(lái)專項(xiàng)優(yōu)化二是空閑資源池把夜間不用的計(jì)算隊(duì)列縮容跑批高峰再擴(kuò)容。容量管理不是“爆掉再處理”而是“按水位線預(yù)警”。建議對(duì)存儲(chǔ)使用率、任務(wù)積壓數(shù)量、消費(fèi)延遲等建立趨勢(shì)監(jiān)控每周做一次容量趨勢(shì)評(píng)估提前規(guī)劃擴(kuò)容申請(qǐng)和清理任務(wù)。5.3 自動(dòng)化運(yùn)維從“人肉巡檢”到“自愈腳本”日常運(yùn)維里有大量重復(fù)勞動(dòng)檢查任務(wù)是否失敗、檢查分區(qū)是否產(chǎn)出、檢查磁盤水位、重啟掛掉的服務(wù)。這些都應(yīng)該自動(dòng)化。我先說(shuō)一個(gè)最基礎(chǔ)的巡檢腳本思路用Shell或Python都能實(shí)現(xiàn)。核心做法是把巡檢項(xiàng)寫成腳本每天定時(shí)執(zhí)行輸出結(jié)果發(fā)到群里。#!/bin/bash # 簡(jiǎn)單巡檢腳本示例檢查關(guān)鍵分區(qū)是否產(chǎn)出 TODAY$(date %Y%m%d) TABLE_PATH/user/hive/warehouse/dws_summary/ds$TODAY if [ -d $TABLE_PATH ]; then ROW_COUNT$(hive -S -e SELECT count(*) FROM dws_summary WHERE ds$TODAY) echo 分區(qū)存在行數(shù): $ROW_COUNT if [ $ROW_COUNT -lt 1000 ]; then echo 數(shù)據(jù)異常行數(shù)過(guò)少 # 發(fā)送告警到群機(jī)器人 fi else echo 分區(qū)不存在 # 發(fā)送告警 fi自動(dòng)化的更高階段是“自愈”也就是發(fā)現(xiàn)問(wèn)題后自動(dòng)處理。我看到比較值得借鑒的實(shí)踐包括任務(wù)失敗后自動(dòng)重試兩次并等待一段時(shí)間再判斷規(guī)避偶發(fā)的資源抖動(dòng)重試仍失敗再觸發(fā)人工告警服務(wù)實(shí)例異常退出后由健康檢查自動(dòng)拉起消費(fèi)延遲超過(guò)閾值時(shí)自動(dòng)對(duì)消費(fèi)任務(wù)擴(kuò)容并行度或增加Topic分區(qū)。自愈腳本能減少一些重復(fù)性值班壓力但必須設(shè)置“熔斷開(kāi)關(guān)”——自愈動(dòng)作連續(xù)失敗N次后必須停止轉(zhuǎn)入人工處理避免自愈機(jī)器人和問(wèn)題互相拉扯產(chǎn)生更大的混亂。在實(shí)際落地過(guò)程中建議從“重試機(jī)制”開(kāi)始做。任務(wù)失敗自動(dòng)重試這個(gè)改動(dòng)不大但至少能把一半的非核心告警過(guò)濾掉給值班同學(xué)贏得寶貴的處理時(shí)間。6. 值班體系與故障應(yīng)急流程6.1 故障分級(jí)和響應(yīng)機(jī)制技術(shù)工作做久了你會(huì)發(fā)現(xiàn)監(jiān)控和工具只解決“發(fā)現(xiàn)”的問(wèn)題響應(yīng)效率始終取決于流程和人的因素。值班體系設(shè)計(jì)得好不好直接影響故障時(shí)長(zhǎng)。我建議按影響面而不是技術(shù)原因來(lái)分級(jí)故障級(jí)別判定標(biāo)準(zhǔn)處理要求P0核心數(shù)據(jù)服務(wù)完全不可用影響所有業(yè)務(wù)方或涉及核心資金鏈路立即響應(yīng)故障期間全團(tuán)隊(duì)投入每30分鐘同步一次進(jìn)展P1核心服務(wù)部分不可用影響單業(yè)務(wù)方或非核心服務(wù)全掛15分鐘內(nèi)響應(yīng)持續(xù)跟進(jìn)直至恢復(fù)P2服務(wù)可用但存在異常單任務(wù)失敗、SLA延遲在2小時(shí)內(nèi)當(dāng)班處理即可工作時(shí)間內(nèi)解決P3潛在隱患不影響當(dāng)前服務(wù)記錄跟蹤定期處理值班安排上注意兩點(diǎn)主備雙人制避免單人值班睡覺(jué)或開(kāi)會(huì)時(shí)錯(cuò)過(guò)告警。主值班處理備值班兜底P0/P1升級(jí)時(shí)兩個(gè)人可以并行排查交接班清單交班時(shí)同步當(dāng)前未恢復(fù)的告警、正在處理的變更、當(dāng)天已知的異常避免“上一班沒(méi)處理完、下一班不知道”的斷檔。6.2 故障復(fù)盤復(fù)盤的價(jià)值不在追責(zé)在改進(jìn)每次P0/P1故障必須做復(fù)盤。復(fù)盤模板固定下來(lái)可以減少情緒化討論把重心放在改進(jìn)上。我的復(fù)盤模板基本包含六項(xiàng)故障時(shí)間線什么時(shí)候開(kāi)始、什么時(shí)候發(fā)現(xiàn)、什么時(shí)候定位、什么時(shí)候恢復(fù)影響面哪些服務(wù)不可用、哪些業(yè)務(wù)受影響、影響時(shí)長(zhǎng)多久直接原因根本原因是什么觸發(fā)鏈路和觸發(fā)條件是怎樣的為什么監(jiān)控沒(méi)提前發(fā)現(xiàn)這是最核心的問(wèn)題是沒(méi)配指標(biāo)還是配了沒(méi)告警還是告警發(fā)了沒(méi)人處理改進(jìn)項(xiàng)清單每條改進(jìn)必須指定負(fù)責(zé)人和完成時(shí)間經(jīng)驗(yàn)沉淀更新操作手冊(cè)、告警規(guī)則和監(jiān)控面板。復(fù)盤最忌諱的是寫成一紙檢討書把重點(diǎn)放在“誰(shuí)操作失誤”上。我更關(guān)心的是“為什么這個(gè)失誤沒(méi)有被系統(tǒng)識(shí)別和攔截”。每次復(fù)盤都應(yīng)該推動(dòng)監(jiān)控體系的進(jìn)化——下次同樣的問(wèn)題發(fā)生能否在用戶發(fā)現(xiàn)之前就觸發(fā)告警能否在告警時(shí)直接給出更精確的定位信息復(fù)盤產(chǎn)生的改進(jìn)項(xiàng)要進(jìn)入任務(wù)跟蹤列表下次復(fù)盤時(shí)先過(guò)一遍上次改進(jìn)項(xiàng)的完成情況。如果監(jiān)控系統(tǒng)上線半年、復(fù)盤做了五次但告警規(guī)則沒(méi)有任何新增說(shuō)明復(fù)盤流于形式了。寫在最后做數(shù)據(jù)服務(wù)監(jiān)控與運(yùn)維這些年我最深的體會(huì)是能用工具解決的就不要靠人盯能靠流程預(yù)防的就不要等故障發(fā)生后再補(bǔ)救。再好的監(jiān)控面板和告警規(guī)則如果不配合有效的值班響應(yīng)流程也只是“看起來(lái)專業(yè)”的擺設(shè)。反過(guò)來(lái)也成立團(tuán)隊(duì)響應(yīng)能力和故障處理素質(zhì)再高如果沒(méi)有指標(biāo)體系和數(shù)據(jù)血緣這種基礎(chǔ)設(shè)施支撐也很難做到快速定位。最后分享一個(gè)小技巧每季度統(tǒng)計(jì)一次“告警命中率”——真正有效告警占全部告警的比例。這個(gè)數(shù)字是監(jiān)控體系健康度的晴雨表如果低于30%說(shuō)明告警規(guī)則已經(jīng)把團(tuán)隊(duì)折騰得麻木了再重要的告警也會(huì)被淹沒(méi)。這時(shí)候最該做的不是加更多規(guī)則而是主動(dòng)砍掉一半誤報(bào)、合并重復(fù)告警、提高觸發(fā)門檻把告警的“信噪比”做上去。少而準(zhǔn)的告警遠(yuǎn)比多而全的告警有價(jià)值。數(shù)據(jù)服務(wù)的監(jiān)控運(yùn)維沒(méi)有終點(diǎn)它能保持穩(wěn)定靠的不是某一次大改造而是每天削減誤報(bào)、每月補(bǔ)一條有效規(guī)則、每次故障后把教訓(xùn)沉淀下來(lái)就是這樣不斷迭代。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
视频这里只有精品| 日韩啪啪自拍| 丁香六月婷婷综合在线| 五月丁香婷婷综合网色欲| 狠狠色精品综合| 五月丁香啪啪| 激情亚洲五月| 性爱激情久久| 久青操| 免费国产视频| 激情五月婷| 678五月丁香亚洲综合| 久久艹 五月天| 久久久久人妻中文| 国产操B视频| 四色永久成人网站| 三十路磁力链接| 亚洲成人AV一区在线观看| 激情五月激情综合网| 成人五月天丁香婷| 熟女人妻一区二区三区免费看| 色爱综合视频| 四色五月婷婷| 久久久久久97| 日日夜夜狠狠婷婷色| 国产精品第一国产精品| 欧洲色色| 九九激情网| 日韩AC在线免费观看| 五月丁香六月激情在线| 这里都是精品99| 国产肥白大熟妇BBBB视频| 伊人五月丁香| 婷婷综合久久| 在线五月婷| 99激情视频| 久热无码| 五月婷狠狠| 五月天激情网站| 色色综合成人网| 亚洲亚洲人成综合网络| 五月婷婷丁香婷婷| 十月丁香婷婷| 亚洲超级碰| 五月丁香亭亭| www.婷婷五月| 日本的α片xxxwww| 99伊人婷婷在线| 深爱激情丁香| 五月天色社区| 99er精品| 成人在线高清| 欧美槡BBBB槡BBB少妇| 色色色色色网站| 婷婷99中文字幕| 狠狠狠狠狠狠| 深爱激情丁香| 99色这里| 99干在线| www久久99| 96五月丁香熟女| 97色婷婷成人综合在线观看| 综合久久婷婷99| 色色激情五月| 五月丁香六月婷婷在线播放| 夜夜躁婷婷AV| 7777国产盗摄农村女人| www.狠狠| 丁香五月天成人网站| 五月婷婷六月丁香免费| 久久精品五月| www久久久久久久久久久| 一区二区乱码视频| 婷婷丁香五月,狠狠综合| 色哟哟精品| 狠狠精品干练久久久无码中文字幕| 中文字幕成人影视| 成人丁香婷婷五月天| 99久久精品色老| 人人插操| 婷婷激情小说| 五月婷婷视频| 丁香五月网在线观看| 亚洲综合1024| 激情五月天福利| a在线观看| 人妻久久久久久久| 人人天堂操| 91avse| 影音先锋秋秋五月婷婷| 另类小说五月天| 五月天婷婷婷| 婷婷成人丁香色情基地30 | 成人色五月天| 色区久久| 无码髙清| 东北熟女高潮99综合99| 久久在线视频免费观看| AV人人操| 99热在线精品观看| 色小说五月天| 国产精品色一哟哟| 国产伦理精品高清在线观看网站一区二区 | 丁香激情四射| 五月婷婷免费在线观看视频| 婷婷五月天深爱| 五月婷网| 国产免费av在线| 婷婷激情五月呦呦| 午夜不卡久久精品无码免费| 欧美婷婷五月丁香| 九九视屏| www.99成人视频| 国产伊人五月天| 日韩精品999| 婷婷五月丁香成人网| 99热一区| 91精品久久久久久| 日韩综合久| 丁香五月五婷| 噜噜噜噜在线| 天天综合插插| 69堂午夜视频最新地址| 五月天天堂久久| 五月色亭丁香| 久久女伦| 国产伦亲子伦亲子视频观看| 可以免费观看的AV| 久久五月丁香| 大香蕉网站,大香蕉综合| 婷婷五月天亚洲| 热99只有精品| 激情丁香网| 久久er这里只有精品| 九九激情视频| www.com在线操视频免费观看| 国产精品a无线| 亚洲激情综合| 激情婷婷色色| 翔田千里 50岁 无码| 婷婷深爱网| 五月天伊人av| 午夜色色色极品视频| 婷婷五月花| 婷婷久久婷婷色五月| 怡红院AV亚洲一区二区三区H| 欧美天天爽| 9九九久久精品无码专区| 欧洲亚洲精品| 国产成人+综合亚洲+天堂| 色爱亚洲| 五月婷婷丁香俺日污视频| 人人视频色| 呦呦AV| 99国产小视频免费观看| 九九热亚洲中文在线观看免费| 五月丁香六月激情综合| 99男人的天堂| www.91.com黄| 婷婷色丁香五月| 婷婷五月综合啪| 99色在线视频观看| 人妻激情网| 日韩久久日| 五月天丁香久久综合| 99噜噜噜在线播放| av大片在线| 伊人无码高清| 国产成人精品一区二三区熟女在线| 五月丁香激情综合| 丁香网站| 国产精品第一国产精品| 国产无遮挡又黄又爽免费网站| 色色99| 亚洲九九夜夜| 久久精品一区二区三区四区| 精品香蕉99久久久久网站 | 色逼综合网| 欧美槡BBBB槡BBB少妇| 99热久久这里只有精品| 久草热8精品视频在线观看| 久久视频在线视频| 可以免费观看的AV| 99免费在线视频| 色五月婷婷久久| 99热最新| 超碰在线caop| 丁香花综合永久入口| 欧美性爱专区| 人妻操日日| 人妻操日日| www.久9| 婷婷自拍| 综合激情在线| 激情五月天在线观看婷婷| 99色在线观看免费| 青青热久精品视频在线观看| 国产又黄又爽又激情不遮挡视频在线观看| wwccc久久久| 性小说五月天| 丁香激情合作五月| 五月丁香色婷婷综合| 999影院成人在线影院| 99在线亚洲| 天天爽天天摸天天爱| 五月天婷婷社区| 七七色色综合| se99视频| 狠狠CAO日日穞夜夜穞AV | 狠狠色婷婷| 五月婷婷丁香六月| 婷婷五月花.97| 国产乱轮一区二区三区| 99热99操| 五月总合激情网| 可以免费看av网站| 五月婷婷丁香色吧网| 这里只有精品免费视频| 五月婷中文字幕| 九九性视频| 色啪网| 搡BBBB搡BBB搡18| www.金莲av| 九 九九九AV| 九九视屏| 五月丁香久人妻中文| 99色啊| caopeng97日韩| 五月婷婷六月丁香在线视频| 色99在线观看| 五月激情在线| 五月婷婷综合色啪首页| 人妻九九九九| 性 色 婷婷| 开心五月激情五月丁香五月婷婷| 橾逼网| 日本精品99网站| 亚洲丁香花色| 人妻丰满精品一区二区A片| 大香蕉婷婷婷| 国产9色在线/日韩| 色婷婷丁香五月丁香| 天天综合影院| 婷婷射丁香| 91九色在线| 亚洲午夜在线视频| 狠狠色97| 丁香五月aV| 五月天激情www| 91九色国产在线| 九九无码| 久热re在线视频| 婷婷五月天影院| 丁香六月色情| 五月婷婷 激情五月| 69久久99精品久久久久婷婷| 人人摸人人干| 亚洲婷婷丁香五月| 欧亚色色| 99久久6| 啊V视频在线观看| 国产欧美熟妇另类久久久| 丁香五月色激情| 视频一二区| 另类五月婷婷| 五月天网站免费欧美| 丁香五月天网站| 狠狠色丁香| 亚洲人成网站999综合| www.97碰碰com| 久久精品国产色| 婷婷丁香成人五月天| 欧美色99| 九九九九操逼| 丁香婷婷五月色成人网站| 日本婷婷综合精品| 丁香五月婷婷大香蕉| 另类图片天天影视在线观看| 99热草草| 婷婷五月色播网| 久久99美女精彩视频| 五月丁香六月激情综合| 欧美A级成人婬片免费看理论| 亚洲99在线| 凹凸探花电影| 超碰97免费在线| 日本久久99| 日韩无码性爱| 2025中文在线视频字幕免费观看| 亚洲熟妇无码乱子AV电影| 成人看片网站| 另类激情码| 激情五月天之六月婷婷| 激情综合99| 少妇伦子伦精品无吗| 91激情五月开心| 欧洲激情五月天| 97干综合网| 欧美三级巜人妻互换| 九九精彩久久| 婷婷五月天色综合| 狠狠色噜噜狠狠狠888| 久久婷婷网址| 99热国产这里只有| 玖玖五月| 婷婷六月香| 色婷婷久久| 天天操天天操天天操天天操天天操天天操| 五月丁香色婷婷| 97色97干| 久久 视频这里只有精总| 久机视频这只有精品| www狠狠爱com| 26uuu四色| 五月丁香激情综合啪啪| 91丨九色丨首页| 色噜噜狠狠色综| 天天爱天天做天天操| 国产成人精品一区二三区熟女在线| www.婷婷,com| 99热中文字幕久久| 粉嫩AV久久一区二区三区| www.99热精品99.com| 综合激情网| 亚洲不卡| 超碰在线网站| 五月婷婷激清网| 五月丁香六月激情在线| 久久九九中文字幕| 日本VA视频| 久久久天堂国产精品女人| 欧美日比视频| 色色色综合色| 亚洲AV日韩在线观看| 六月丁香婷婷拍拍| 色五月天激情| 久久五月天网| 天天橾日日橾夜夜橾17| 久久五月天婷婷| 91婷婷色| 色色色热热热| 狠狠爱婷婷五月天| 久久婷婷五月激情网站| 亚洲激情久久| 婷婷成人综合| 丁香激情久久| 综合激情肏逼网| 丁香五月中文字幕久色| 午夜无码熟熟妇丰满人妻| 久er免费视频| 人人操日| 久久九九@| 五月丁香淫淫婷婷婷| 图片区 小说区 区 亚洲五月 | 激情婷婷网| 大香蕉九九| 国产成人网站在线观看| 久草五月婷婷| www热久久yy9| 国产婷婷五月在线视频| 热久久999| 亚洲综合网激情小说| 日韩欧美一级大黄网站| 欧美天堂久久| 久久人人九| 日本久久极品| 成人视频婷婷| 亚洲啪啪自拍| 99爱免费视频| 久久久精品婷婷五月天| 小视频一区| 欧美人与性动交CCOO| 色综合网上班开心婷婷久久| 婷婷操逼| 337p大胆噜噜噜噜噜91Av| 久久天堂| 欧美婷婷丁香五月| 橾逼网| 成人免费超碰| 综合激情网五月激情 | 色 五月俺去也| 激情五月天婷婷| 另类激情五月天。| 色五月在线观看| 激情99| 97色天堂| 五月婷婷久久大香蕉| 色五月激情| www色哟哟| 五月婷婷丁香综合网| 丁香五月激情图片婷婷| 狠狠干 狠狠操| 综合色图婷婷| 五月婷婷花| 婷婷综合中文| 六月丁香激情综合| 99久久97| 噜噜噜噜噜色| 51精品国内探花| 婷婷色情小说| 婷婷五月丁香亚洲| 久久婷婷色五月| 色综合色香蕉网| 五月婷婷婷自由综合| 七月丁香五月婷婷在线| 婷婷五月天成人综合网| 热久久这里只有三级视频| 思思久久99热只有频精品66| 91久久九| 色五月五月婷婷| 99热销国产这里有精品| AV在线免费网站| 成人电影在线免费试看| 丁香五月综合| 九九热这里有精品视频| 亚洲乱码日产精品BD| 亚洲视频色色| 色婷婷性爱网| 久久丁香五月婷| 综合精品99| 爱婷婷都市激情| 99久操| 九九热自拍| 亚洲五月婷| 婷婷综合网| 色色综合色视频| 大香网伊人久久综合| 天天爱天天做天天舔| 六月丁香网| 五月色丁香婷婷中文字幕| 五月丁香色停停啪啪啪| 婷婷五月天激情诱惑| 麻豆精品| 色综合com| 婷婷五月小说色综合| 久色激情| 天天色天天干天天插| 激情五月丁香五月色| 丁香五月天天高清在线| 久久久久激情网| 六月色播| 五月丁香婷婷无码中文| 99视频这里有精品| 五月婷婷在线综合| 91婷婷搞| www色色色com| 天天射天天射一道本日本社区| 色情婷婷久久五月天| 激情六月天婷婷| 婷婷激情在线| 91精品91久久久中77777| 婷婷丁香五月六月激情| 亚洲成人中文字幕| 琪琪色五月天| 久久性爱视频免费| 色五月综合网站| 开心五月婷婷| 久久五月天激情美女| 精品一二三区久久AAA片| 婷婷丁香五月,狠狠综合| 婷婷六月久久| 97人人超| 99在线视频在线观看| 热久久这里只有三级视频| 五月色天情| 日熟女| 色吧五月婷婷| 五月深爱婷婷| 日韩精品一区二区刘| 97狠狠色| 成人色色综合| 色色性爱视频| 69er小视频| 日都一级A片| 欧美日韩91| 婷婷五月天伦理| 久久青草国| 色五月琪琪| 日本婷婷丁香五月| 日韩美女在线视频19| 日韩综合久久| 五月丁激情| 欧美久人人| 亚州操人在线视频| 五月丁香成人版| 狠干综合| 伊人久久婷婷| 久久婷婷色五月| 人人插9| 久久久中文| av中文网站| 日韩成人电影在线播放| 中文字幕人妻熟女在线| 天天天天天天操| 六月丁香婷婷五月天| 婷婷五月天桃花网| 婷久久| 婷婷五月丁香激情色情| 五月丁香成年黄色| 91精品91久久久中77777| 久久这里有精品视频| 色综合久久天天综合网| 婷婷五月天97干| 久婷婷婷| 狠狠狠狠狠操| 日韩无码成人电影| 久久久全国免费视频| 丁香久久五月婷综合| 五月激情综合婷婷| 国产中文字幕在线视频免费观看| 九九这里是免费的视频5| aaaaaa片| 久婷婷五月综合欧美| 99热免费| 久久婷婷五月天| www.刺激色网站www.| 超碰人人在线| 色停停五月天| 六月丁香成人| 1234操逼网| 色婷婷色综合| 五月天婷婷网站888| 日日爱699| 久久久区区一久久久久久| 久久精品无码一区| 色色五月婷婷久久| www.99热最新视频8| 碰人人97| 亚洲欧美成人在线| 激情六月天婷婷| 五婷婷六月合| 91视频一起草| 99九九精品视频推荐| www夜夜| 婷婷五月无码| 狠狠色婷婷丁香六月| 婷婷综合色图| 91综合网| 久久er99热精品一区二区| 色婷婷精品视频| 五月婷婷影视| 色 免费网站视频| www,久久久人人| 六月激情婷婷| 日本一级一片免费视频| 丁香色综合| 久久99这里| www.97碰碰com| 亚洲AV成人无码精品| 99A片| 丁香五月婷婷香| 九九热区一区二区三区| 国产激情AV| 九月婷婷激情久久| 日本色色色色色色色色一色二色| 五月丁香六月激情欧美综合| 综合网视频| 天天色,天天操,天天射| 九九色精品| 超碰网站在线观看| 婷色天堂| 天天日天天爽| 久热 91| 啪到高潮激情丁香五月| 极品 少妇 内射| 色五月婷婷久久| 国产一区18| 久久九九热re6这里有精品| 丁香久久| 激情丁香婷婷| 人人干女人| 这里只有久久精99| 九九热这里只有国产精品| 人妻久久久久久久久妻久久久久久久久| www.99热在线| 婷婷五月在线| 丁香六月婷婷基地| 日产精品久久久久久久蜜臀| 午夜五月天| 狠狠爱五月婷婷| 思思精品热在线| 激情久久五月网| wwW天天干| 99re久久| 久久综合综合久久| 久久婷婷综合国产| 99在线看片| 超碰免费成人网站| 中文字幕在线免费看线人| 久久激情五月天| 五月天婷婷7米| 激情五月综合网最新 | 丁香五月天欧美| 婷婷欧美激情综合| www99热| 97视频久久| www一起操| 9热在线视频| 玖玖伊人网| 美女婷婷激情亚洲| 国产精品色情AAAAA片软件| 色情五月综合婷婷| 亚洲1区| 欧美久久网| 婷婷五月婷婷| 婷婷丁香五月亚洲17cao| 激情网综合| 丁香婷婷啪啪啪| 在线综合婷婷| 婷婷第六色| 99久久综合| 大香蕉婷婷五月天| 激情AV在线| 六月丁香婷婷综合影院| 香蕉中文在线| 久久丁香婷| 97操碰98| 欧美日本不卡黄色片| 婷婷色色网站| 色五月色综合| 人妻内射一区二区在线视频| 亚洲精品V天堂中文字幕 | 国产成人精品123区免费视频| 99爱爱| 激情五月天丁香| 粉嫩av懂色av蜜臀av熟妇| 色综合九九色综合88| 91久久色| 免费婷婷| www.婷婷五月天.com| 中文字幕不卡+婷婷五月| 99日本在线| 97人人操在线| 五月丁香婷婷色| 久久机热/这里只有精品| 97人人操人人爽| 婷婷丁香五月麻豆| 开心激情综合| 99操| 大伊香蕉精品视频在线| 大香蕉AV电影在线| Www.久久| 婷婷五月无码| 99热费观看| 婷婷丁香五月社区亚洲| 在线色婷婷| 99操不停| 日韩成人电影Av| 国产超碰人人| 婷婷九月激情| 26uuu青青| www.99热国产| renre人人操国产超碰在线| 色综合天天网| 九九热这里只有精品一| 婷婷五月天激情五月天深爱五月天| 这里只有精品在线观看视频| 狠狠色噜噜狠狠| 亚洲av成人在线| 777色色色| 性爱视频久久| 在线播放人妻| 五月丁香花激情啪啪网| 青青草99热久久精品国| 9热视频在线观看| 五月婷婷无码| 五月丁香婷婷AV天堂| 色天天狠狠干| 人人人人人人人草| 色婷久久| 色五月婷婷久久| 丁香五月偷拍| 9色婷婷| 九月婷婷在线视频| 九九激情视频| 狼人婷婷久久| 欧美激情五月综合| 久久九九99亚洲国产久精综合| 五月婷婷啪啪啪啪| 色婷婷五月在线| 婷婷丁香五月亚洲| 天天插天天干| 97caop| 葵花AV在线| 99热线观看9| 欧美久久婷婷| 色。 婷婷婷| 五月婷婷人妻| 婷婷刺激综合| 五月天婷婷久久| 爱99干99| 丁香五月大香蕉AV| 就是色婷婷五月亚洲色| 婷婷五月激情欧美大胆视频| 99色网站| 深爱激情综合网| 97干干干丁香| 欧美日本高清视频99| 亚洲天堂热| 成人AV在线网站| 成人丁香五月| 久机视频这只有精品| 成人精品视频99在线观看免费| 婷婷色狠狠| 99久在线观看| 五五月五月| 久热这里只有精品6| 综合色色网| 国产FREESEXVIDEOS性中国| 亚洲天堂色| 综合激情专区| 六月亚洲婷婷6月中文字幕| 久热这里只有精品在线| 婷婷五月天堂| 丰满少妇猛烈A片免费看观看| 综合一啪| 激情综合女人网五月播播| 。久久久久久久久久久久久久人妻| 九色无码| 色久综合| 五月黄色婷婷| 99色6爱9热| 夜夜操天天爽| 91九色精品熟女内射| 又大又粗九一在线| 91亚洲天堂| 噜噜色五月| 色色丁香激情五月| 色综合色五月| 激情小说色五月| 日本婷久久| 思思热在线精品视频网站| 思思99热| 国产精自产拍久久久久久蜜 | 久久久久久久五月| 色婷婷五月天激情| 婷婷五月天精品| 99热激情| 99ri视频在线观看| 九九蜜臀精品| 日韩五月丁香| www.色婷婷| www五月天com| 五月激情另类| 色色色地址| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 可以免费观看的AV| 99re热视频这里只精品| 婷婷射综合| 婷婷中文字幕版| 一区二区免费看| av网站不卡在线| 超碰超碰在线| 99热在线观看精品免费| 色综合婷婷| 久久丁香九| 深爱激情小说五月婷婷| 99精品在线观看视频| 超碰免费人人| www.9797国产| www,婷婷五月天,com| 色婷婷99| www.99免费视频| www.日日日.com| 狼人婷婷综合| 五月天丁香久久综合| 婷婷五月天电影网| 九九色影院| 99riav 亚洲| 中文字幕丰满乱孑伦无码专区| 久久性爱激情| 99日精品视频| 丁香五月综合高清在线| 99热首页在线30| WWW,激情五月天,COM| 97狠狠色| 久久久亚洲成人无码A片| 九一九九黄色| 伊人大香蕉在线视频| 免费看片操逼| 色婷婷综合综合网| 极品人妻VIDEOSSS人妻| 激情小说五月天| 亚洲AV影片在线观看| 玖玖婷婷婷丁香五月| 丁香亭亭久久| 天天做好综合色| 综合一本道| 日日日日操| 情趣视频66| 丁香五月欧美色综合| 日本天天操| 成人在线观看国产| www色五月| 色五月天天| 一级性爱视频| 99人人操人人操人人精| 天天色天天色天天色天天色天天色| 99久久6| 大香蕉Av在线| 婷婷五月天日本无码| 日日夜夜干| 国产在线黄色| 九九精品免费| 好叼操在线观看| 激情丁香婷婷五月天| 超碰九九热| www.com色播五月天| 天天插天天| 青柠影视免费高清电视剧| 99热9| 亚洲熟女色| 久99精品视频| 深爱激情网五月天| 色噜噜狠狠色综无码久久合欧美| 超碰人人99| 99久久玖玖| 五月天丁香婷婷网| 色婷五月天亚洲| 丁香五月天社区| 97在线精品视频| 成人在线日韩欧美| 人碰91| 六月丁香婷婷在线波多| 亚洲精品久久久无码| 激情久久四色| 五月色影院| 91操网| 色呦呦美女| 婷婷色五月天色色| 人人看人人要| 极品人妻VIDEOSSS人妻| 婷婷五月天改成什么了| 五月天综合视频| 五月天成人综合| 婷婷激情六月综合| 日韩在线成人电影| 深爱激情丁香| 丁香五月婷婷少妇| 伊人五月网| 日本不卡一区二区三区| ...婷婷国产成人亚洲日韩| 成人丁香婷婷五月天| 日本欧美成人片AAAA| 精品婷婷五月天| 九九色色| 九九精品片一| 五月综合视频| 激情综合播播| 亚洲综合色网| 99色婷婷视频| 九九av| 五月丁香婷婷中文| 久久精品婷婷| 任我鲁这里有精品视频| 天天久综合| 九九精品婷| 婷婷激情五月色综合| 五月婷婷久久爱| 婷婷六月天亚州| 3p九色在线| 色色色国产| yw.av| 丁香五月天欧美在线| 69凹凸成人综合网| 婷婷激情五月综合在线视频| 97在线观视频免费观看| 久久99最新| 嫩BBB槡BBBB搡BBBB| 色。 日日日| 国产偷人爽久久久久久老妇APP| 开心久久爱五月天| 五月丁香啪啪| 亚洲色婷婷99一9|| 亚洲中文字幕在线观看| 九九九九九无码| 99色视频| 狠狠狠狠狠狠狠狠草| 一区二区三区四日本| 婷婷五月天亚洲色| 深夜婷婷 丁香| 色婷婷色人人射| 996re热精品视频| 女高怪谈在线观看| 一区中文字幕电影| 免费视频无码| 久热黄色| 99在线小视频| 青青草a在线| 国产AV一区二区三区最新精品| 婷婷中文字幕版| 九久久婷婷| 色婷婷在线视频综合| 伊人喵咪a V| 九热视频| 丁香五月综合激情性爱| 日本高清久| 97av在线视频| 色综合色综合网| 五月丁香婷婷六月天| 亚洲欧美成人在线观看| 天天干天干| 久久婷婷内射| 综合色久| 日韩成人中文字幕| 九九亚洲| 丁香色六月| 国产亚洲精品久久久久苍井松| 久久精品小视频| 任我干视频在线观看| 婷婷综合爱| 97伊人综合婷婷| 色五月成人| 99在线资源| 日本天天色| 六月丁香婷婷尤物| 色婷婷aV四虎| 色婷婷88| 激情综合色| 婷婷伊人网| 97亚洲色 torrent magnet| 专区无日本视频高清8| 婷婷五月伦理| 九九九九九九综合| 丁香五月性爱| 成人小说 五月天 婷婷| 国产成人综合亚洲| 丁香五月婷婷香| 久久婷五月婷| 色婷婷成人做爰A片免费看网站| 天天射综合网夜夜操| 9超碰在线| www久久久| 色五月丁香五月激情五月激情| 婷婷五月激情四射手| 五月丁香性| 91热爆在线| 亚洲无AV在线中文字幕| 色五月天综合网| 久婷婷五月天影院| 大香蕉五月丁香| 99激| 色婷综合| 久久网日本| 天天噜天天爱| 葵花AV在线| 久久HD| 丁香五月婷婷成人综合| bukadeavzaixian| www999日韩精品| 久热这里只有精品在线观看 | 激情久久丁香| 久久综合五月| 婷婷亚洲在线| 99ri视频在线播放| 午夜色婷婷| 五月丁香六月婷婷的女人| 成人网站av免费网站推荐| 五月天色区| 九九热视频思思| 99资源人人| 激情AV| 2w在线视频| 亚洲视频操| 乱岳熟女50岁| 精品人妻一区| 影音先锋xfplay资源男人网| 久9热在线免费观看| 色婷婷AAA| 综合久久五月| 五月丁香久| 无遮羞AV| 99热一区| 欧美成性色| 丁香97综合| 欧美色婷婷| www激情五月天| 久热9| 成人国产网| 亚洲欧美成人在线| 99热99热| 激情综合色| 99精彩视频在线观看| 丁香五月在线| 这里只有精品视频在线看| 色色狼人综合| 淫五月停停| 丁香九月久久| 伦99热| 久99综合婷婷| 欧美婷婷丁香社区在线播放| 久久久久久97| 五月欧美色播| 久久一级免费黄色片| 丁香五月色| 99色精品| 亚洲婷婷开心五月| pom538精品视频| 国产午夜伦鲁鲁| 激情久久肏屄视频| 婷婷综合网站| 麻豆雪千夏| 日韩乱轮AV| 五月天婷婷爱| 琪琪秋霞| 99re视频在线| 婷婷五月影院| 五月婷婷丁香五月婷婷丁香| 天天天天天操| 亚洲人妻Av| 99久久99综合| 五月激情视频| 五月婷婷丁香网| 五月久久噜噜| 91婷婷伊人牛牛| 欧美色激情四射| 九热精品| 亚洲亚洲亚洲AAAAAA| 婷五月丁香俺| 色五月婷婷激情基地| AA片在线观看视频在线播放| 天天摸天天肏| 婷婷五月花西瓜| 丁香婷婷五月天色综合| caopeng97人人| 丁香五月av| 人妻激情综合| 逼里香不卡| 五月婷丁香花| 97色婷婷在线观看| 亚洲成人网址在线观看| 亚洲丁香花色| 丁香蜜臀黄色婷婷五月天| av人人操| 激情五月天综合网站网站网站| 丁香六月婷| 亚洲精级| 国外亚洲成AV人片在线观看| 久热综合| 国产欧洲欧洲精品久久| 色婷婷五月婷婷五月婷婷五月| 婷婷和五月天| 99热官网精品在线| 日韩黄在免| 色五月成人| 这里有精品| 久久人妻高清中文| 有码人妻久久| 超碰亚洲天堂| 久久加勒比| 伊人在线视频| 五月激情婷婷在线| 可以看的av| 丁香五月婷婷在线视频| 五月色婷婷影视在线电影| 婷婷五月天av| 超碰a女人的天堂| 色综合播放| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 91九色在线| 草综合14| 99色热视频| 狠狠做五月婷婷| 玖玖在线视频福利| 99在线免费视频| 色综合色婷色基地| 婷婷五月精品| 狠狠插.com| 国产乱妇无乱码大黄AA片| 亚洲AV日韩无码| 五月丁香六月婷婷激情视频在线观看免费 | 99操视频| 色色色地址| 99久久免费精品| 天天天久久久| 婷婷综合色色| 超碰97干| 色九九九综合| 九色在线五月婷婷网址| 99色在线| 九九热精品| 99久久9| 天天肏天天肏天天肏| 色婷婷视频在线| 婷婷激情五月天小说| 久久综合中文| 色噜噜97视频在线观看| 9999热在线观看| 婷婷五月综合中文字幕| 婷婷欠久少妇| 乱精品一区字幕二区| 国产肥白大熟妇BBBB视频| 婷婷成人视频| 婷婷久久丁香| 日本久久爱| 欧美激情综合色综合色| 天天成人综合视频| 99色热视频| 天天成人综合| 久久6这里只有精品| 樱花99视频| 99久久精| 武则天精品久久| AV动漫不卡无码免费| 91操在线观看| 99玖玖人人| 一区二区三区XXXXXX| 免费观看2018www黄色操逼网站| 久久99免费视频网站| 一起草AV入口| 国产乱妇无乱码大黄AA片| 色丁香久久| 久久婷婷伊人| www.99色| 五月丁香狠狠爱| 99操99| 99精品在线观看| 久久五月综合| 日韩操人| 五月丁香啪啪啪| 婷婷激情五月综合| 激情五月丁香五月| 国产这里只有精品| 99网| 亚洲亚洲人成综合网络| 五月婷婷久久综合| 99热这里都是精品| 色99视频| 夜精品无码A片一区二区蜜桃| 成人做爰高潮A片免费视频| 曰韩少妇内射免费播放| 老师的粉嫩小又紧水又多A片视频| 国产亚洲成AV人片在线观黄桃| 色婷婷小说| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 2015好吊操| 久久婷婷五月综合97色一本| 五月色婷婷亚洲| 国产成人AV人人爽人人澡Va| 激情五月综合色婷婷| 99秘 在线| 操一操插一插| 婷婷五月天香蕉| 常久最新免费的色吊丝| 99热无码| A久久| 91凹凸在线| www.91.com黄| 五月天激情亚洲| 日韩成人网址| 久久小视频| 激情AV网| 欧美三级A做爰在线观看| 婷婷五月天小说| 天天碰夜夜操| 久久激情四射| 色色色色色五月| 99热网址| 婷婷九九| 99re热视频这里只有综合亚洲| 五月激情丁香五月| 人人舔人人色人人高潮| 亚州日本欧州韩美高青高潮一| 激情综合五月色丁香婷婷 | 五月丁香六月婷婷a v| 99re热免费观看视频精品| 开心激情综合| 91九色视频在线观看| www婷婷| 97av在线视频| 无码激情AAAAA片-区区| 国产视频色色色色色色色 | 色啪久 | 中文字幕成| 激情久久肏屄视频| 99热精品在线播放| site:xiongshengzz.com| 99er6| 色丁香五月婷婷在线| 六月婷婷色综合| 国产激情AV| 五月婷婷啪啪| 五月日韩中文字幕| 久久九九囯产| 五月丁香亭亭操逼| sS丁香五月婷婷| 丁香六月成人网| 丁香五月婷婷日本| 色综合久久88色综合天天看| 尔尔AV一区| 午夜天堂一区人妻| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月色丁香| 五月天另类小说| 92久久精品一区二区| 婷婷丁香激情综合色情| 99国产视频网| 五月天婷婷视频30| 精品人妻一区| 五月丁香成人网| 色五月激情五月| 丁香婷婷五月综合欧美另类| www.综合久久.com| 99色这里| 日韩av干| 99在热线免费视频| 日韩成人网址| 内射干少妇亚洲69XXX| 丁香五月色色婷| 9久精品视频| 性小说五月天| 思思精品热在线| 五月婷婷色影院| 强壮的公次次弄得我高潮A片日本 | 亚洲 成人 电影av在线观看| 欧美熟女99| 久色中文| 五月丁香六月婷婷激情网| 色五月婷婷五月| 无码碰碰| 99日精品视频| 99热在线99| 久久思思热视频| 国产在线中文字幕| 国产欧美精品AAAAAA片| 97成人在线视频精品| 这里只有精彩小视频视频网站| 九九热视频免费| 五月婷婷三级| 99久久人妻精品无码二区| 老师把我爽高潮了免费A片| 丁香五月天无码AV| 久久精品亚洲热| 九九热九九| 日本乱子人伦在线视频| 五月丁香五月丁香五月丁香五月丁香91| 激情小说五月天社区丁香| 色婷婷在线视频综合| 丁香五月在线自慰| 风流少妇A片一区二区蜜桃| 色玖玖玖| 五婷婷六月合| 色5月丁香婷婷| 婷婷在线播放| 九九精品碰| 噜噜干日本| 久久丁香五月婷婷| 午夜免费试看| 久久艹 五月天| 丁香密臀AV激情网| www.sd-xiangsu.cpm| 五月婷婷六月激情| 成人精品视频99在线观看免费| 五月天另类图片区99| 深爱激情AV| 丁香六月激情四射| 国产日产亚系列精品版优势| 国产精品视频| 亚洲色情激情丁香五月| 九九热re99re6在线精品| 超碰在线caop| 91大神操美女| 丁香五月骚喷水视频| 五月丁香欧美综合| 色色色九九九五月婷婷| 色婷婷丁香五月天|