欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

監(jiān)控告警聯(lián)動(dòng)自動(dòng)化測(cè)試:Prometheus+Alertmanager實(shí)戰(zhàn)

監(jiān)控告警聯(lián)動(dòng)自動(dòng)化測(cè)試:Prometheus+Alertmanager實(shí)戰(zhàn) 做監(jiān)控的同學(xué)大多有這種經(jīng)歷凌晨三點(diǎn)手機(jī)震醒群里炸鍋說線上掛了你爬起來翻了半天日志最后發(fā)現(xiàn)只是某個(gè)指標(biāo)抖動(dòng)了一下觸發(fā)了閾值虛驚一場(chǎng)。真正出問題的時(shí)候警報(bào)又可能被誤報(bào)刷屏淹沒了。這套“安全監(jiān)控集成實(shí)時(shí)警報(bào)與測(cè)試聯(lián)動(dòng)”的方案解決的就是這個(gè)痛點(diǎn)——把監(jiān)控告警和自動(dòng)化測(cè)試串成一條完整的處理鏈路讓警報(bào)響的時(shí)候系統(tǒng)自動(dòng)跑測(cè)試驗(yàn)證問題真假把確認(rèn)環(huán)節(jié)從“人肉排查”變成“機(jī)器自動(dòng)驗(yàn)證”。這個(gè)方案適合正在做監(jiān)控體系建設(shè)的運(yùn)維、負(fù)責(zé)質(zhì)量保障的測(cè)試開發(fā)、以及被告警誤報(bào)折磨到想砸手機(jī)的研發(fā)同學(xué)參考。整套思路不依賴特定平臺(tái)用的是Prometheus加Alertmanager加Webhook加測(cè)試服務(wù)這套通用組合你可以直接照搬落地。做這件事之前我先把核心邏輯說清楚為什么要讓監(jiān)控和測(cè)試聯(lián)動(dòng)而不是繼續(xù)沿用“監(jiān)控發(fā)現(xiàn)告警人收到通知再手動(dòng)驗(yàn)證”的老路。原因很簡(jiǎn)單——人在告警鏈路上是最慢的一環(huán)也是出錯(cuò)率最高的一環(huán)。半夜收到告警腦子是懵的手是抖的登錄環(huán)境查日志的效率極低而且不同人的排查水平還不一樣。如果讓機(jī)器在告警觸發(fā)的瞬間自動(dòng)拉起一輪定向測(cè)試去驗(yàn)證關(guān)鍵接口是否真的異常、數(shù)據(jù)庫是否真的超時(shí)、核心鏈路是否真的降級(jí)那告警的真?zhèn)卧趲资雰?nèi)就能有結(jié)論。真報(bào)警帶著測(cè)試報(bào)告去定位效率高一個(gè)量級(jí)假警報(bào)測(cè)試結(jié)果會(huì)告訴你一切正常安心睡你的覺。這套聯(lián)動(dòng)機(jī)制的本質(zhì)是把“發(fā)現(xiàn)問題”和“驗(yàn)證問題”兩個(gè)動(dòng)作之間的時(shí)間差壓縮到極致。接下來我把這套方案的完整設(shè)計(jì)、核心細(xì)節(jié)、落地代碼和踩坑記錄全部攤開講。1. 整體思路為什么監(jiān)控警報(bào)要跟測(cè)試聯(lián)動(dòng)監(jiān)控告警和自動(dòng)化測(cè)試在很多團(tuán)隊(duì)里是兩套獨(dú)立體系各玩各的。監(jiān)控歸運(yùn)維管測(cè)試歸QA管中間隔著一道墻。監(jiān)控每周報(bào)幾百個(gè)告警運(yùn)維挨個(gè)排查確認(rèn)其中真正需要處理的可能不到十分之一。測(cè)試環(huán)境每天跑幾千條用例但跑完的結(jié)果和線上實(shí)時(shí)狀態(tài)完全沒關(guān)系。這兩套體系浪費(fèi)了大量人力在做“確認(rèn)”這件事上。我做的這套聯(lián)動(dòng)方案核心思路就一句話把告警觸發(fā)的瞬間變成一個(gè)自動(dòng)化的驗(yàn)證動(dòng)作起點(diǎn)。具體來說告警觸發(fā)后不再直接、盲目地發(fā)給值班人而是先進(jìn)一個(gè)聯(lián)動(dòng)邏輯層這個(gè)層會(huì)根據(jù)告警的類型、涉及的組件、影響的范圍自動(dòng)選擇要執(zhí)行的測(cè)試集。比如Redis延遲告警觸發(fā)就自動(dòng)跑緩存讀寫和Key過期策略的測(cè)試訂單接口超時(shí)告警觸發(fā)就自動(dòng)跑訂單鏈路的核心接口和數(shù)據(jù)庫連接池測(cè)試服務(wù)器負(fù)載過高告警觸發(fā)就自動(dòng)跑基礎(chǔ)健康檢查和最近變更涉及的功能回歸。測(cè)試跑完后結(jié)果會(huì)被打成一個(gè)驗(yàn)證標(biāo)簽連同告警信息一起發(fā)送給值班人。值班人收到的不是一條干巴巴的告警而是一份帶驗(yàn)證結(jié)論的處置建議。這套設(shè)計(jì)的優(yōu)勢(shì)在于整個(gè)流程形成了一個(gè)閉環(huán)監(jiān)控發(fā)現(xiàn)問題測(cè)試驗(yàn)證問題結(jié)果輔助決策。告警不再是一個(gè)“需要人去查”的信號(hào)而是“系統(tǒng)已經(jīng)替你查過一遍”的報(bào)告。能自動(dòng)確認(rèn)的告警直接進(jìn)入待處理隊(duì)列確認(rèn)不了的高危告警才會(huì)真正打擾到人。這個(gè)方案適合什么規(guī)模什么場(chǎng)景我認(rèn)為從幾十臺(tái)服務(wù)器的中小團(tuán)隊(duì)到上千臺(tái)機(jī)器的大廠都適用。中小團(tuán)隊(duì)通常人少活多能減少半夜被誤報(bào)叫醒的次數(shù)就是勝利。大廠系統(tǒng)復(fù)雜告警量大通過聯(lián)動(dòng)先把明顯的假警報(bào)過濾掉能大幅降低值班同學(xué)的認(rèn)知負(fù)擔(dān)。我自己是從三套業(yè)務(wù)系統(tǒng)接入開始的跑順了擴(kuò)展到全量系統(tǒng)整個(gè)過程大概用了兩個(gè)迭代周期。1.1 告警鏈路的三個(gè)關(guān)鍵環(huán)節(jié)整套聯(lián)動(dòng)鏈路可以抽象成三個(gè)環(huán)節(jié)監(jiān)控采集與規(guī)則判定、告警路由與聯(lián)動(dòng)決策、測(cè)試執(zhí)行與結(jié)果回寫。每個(gè)環(huán)節(jié)都有獨(dú)立的設(shè)計(jì)要點(diǎn)但也有很強(qiáng)的先后依賴關(guān)系。先看監(jiān)控采集與規(guī)則判定。這一層是源頭采集數(shù)據(jù)的準(zhǔn)確性和規(guī)則設(shè)置的合理性直接決定后面是否會(huì)產(chǎn)生有效聯(lián)動(dòng)。用Prometheus做采集規(guī)則用PromQL寫關(guān)鍵是指標(biāo)設(shè)計(jì)要對(duì)齊業(yè)務(wù)語義比如訂單成功率這個(gè)指標(biāo)不能只看接口返回的HTTP狀態(tài)碼還要把業(yè)務(wù)返回碼里的失敗情況算進(jìn)去否則接口狀態(tài)200但業(yè)務(wù)全失敗監(jiān)控完全無感知。再看告警路由與聯(lián)動(dòng)決策。Alertmanager收到告警后執(zhí)行路由分發(fā)這一步的關(guān)鍵是給告警打標(biāo)簽、分級(jí)。我這邊設(shè)置了三檔P0代表核心鏈路完全不可用直接全渠道轟炸加電話P1代表核心功能受損但有降級(jí)方案發(fā)短信和IMP2代表非核心模塊異常或者指標(biāo)抖動(dòng)只發(fā)IM不打電話。測(cè)試聯(lián)動(dòng)這個(gè)動(dòng)作掛在路由的下一跳不同級(jí)別的告警觸發(fā)不同范圍的測(cè)試驗(yàn)證。最后是測(cè)試執(zhí)行與結(jié)果回寫。測(cè)試框架我選了既支持HTTP接口級(jí)測(cè)試也能做數(shù)據(jù)庫和緩存驗(yàn)證的Pytest加上Requests和Redis的客戶端庫。測(cè)試執(zhí)行完會(huì)把結(jié)果寫回Alertmanager自定義的Webhook通知里帶上驗(yàn)證結(jié)論。下面給一個(gè)最簡(jiǎn)化的聯(lián)動(dòng)流程圖版文字描述Prometheus告警 - Alertmanager路由 - 判斷是否需要聯(lián)動(dòng)測(cè)試 - 觸發(fā)測(cè)試服務(wù)執(zhí)行用例 - 收集結(jié)果 - 組裝報(bào)告 - 發(fā)送通知。整個(gè)過程不需要人工參與從告警到測(cè)試結(jié)果返回的過程控制在三分鐘以內(nèi)。1.2 這套方案的三個(gè)適用場(chǎng)景場(chǎng)景一是線上問題真?zhèn)舞b定。這是用得最多也最見效的場(chǎng)景。某指標(biāo)觸發(fā)告警后系統(tǒng)自動(dòng)跑相關(guān)用例如果測(cè)試通過告警自動(dòng)降級(jí)為低優(yōu)先級(jí)值班人起來看一眼測(cè)試報(bào)告就能繼續(xù)睡不用登錄服務(wù)器排查。如果測(cè)試失敗測(cè)試報(bào)告會(huì)直接指出失敗的具體接口和錯(cuò)誤信息定位范圍能縮小到具體的模塊。場(chǎng)景二是發(fā)布前后的回歸驗(yàn)證。發(fā)布的動(dòng)作會(huì)觸發(fā)監(jiān)控比如發(fā)布新版本后錯(cuò)誤率指標(biāo)出現(xiàn)波動(dòng)聯(lián)動(dòng)機(jī)制會(huì)自動(dòng)對(duì)發(fā)布涉及的核心鏈路跑一輪冒煙測(cè)試。這個(gè)場(chǎng)景的價(jià)值在于回滾決策有數(shù)據(jù)支撐語義明確、不靠猜。如果新舊接口行為不一致在測(cè)試中直接暴露發(fā)布審批人可以直接叫停比等用戶報(bào)障快得多。場(chǎng)景三是故障處理過程中的實(shí)時(shí)驗(yàn)證。當(dāng)值班人定位到一個(gè)疑似根因并嘗試修復(fù)時(shí)修復(fù)動(dòng)作完成后可以通過聯(lián)動(dòng)機(jī)制手動(dòng)觸發(fā)一次驗(yàn)證立即確認(rèn)是否恢復(fù)。這個(gè)場(chǎng)景把測(cè)試從“發(fā)布前把關(guān)”擴(kuò)展到了“故障處理過程”讓驗(yàn)證動(dòng)作隨時(shí)隨地可以進(jìn)行減少來回溝通和等待。2. 核心細(xì)節(jié)警報(bào)規(guī)則設(shè)計(jì)與聯(lián)動(dòng)觸發(fā)策略方案落地能不能跑得穩(wěn)警報(bào)規(guī)則的制定占比七成以上。規(guī)則設(shè)置不合理聯(lián)動(dòng)機(jī)制不但起不到過濾誤報(bào)的作用反而會(huì)因?yàn)檎`報(bào)太多觸發(fā)大量測(cè)試把測(cè)試資源耗盡制造出新的故障。2.1 閾值不拍腦袋三檔設(shè)計(jì)與動(dòng)態(tài)基準(zhǔn)閾值設(shè)計(jì)最忌拍腦袋拍個(gè)“錯(cuò)誤率超過5%就報(bào)警”這種值純屬給自己挖坑。做閾值我推薦三檔設(shè)計(jì)第一檔是警告線標(biāo)記指標(biāo)異常先通知不打擾第二檔是嚴(yán)重線標(biāo)記功能受損升級(jí)通知第三檔是緊急線標(biāo)記核心服務(wù)不可用全渠道轟炸。對(duì)應(yīng)的告警規(guī)則在Prometheus里用三個(gè)獨(dú)立的規(guī)則來表達(dá)每一檔的閾值和持續(xù)時(shí)間參數(shù)各不相同。具體到錯(cuò)誤率這個(gè)指標(biāo)三檔閾值如何計(jì)算才有依據(jù)呢我用了最近14天同時(shí)段的歷史數(shù)據(jù)做分位數(shù)統(tǒng)計(jì)以P95作為警告線P99作為嚴(yán)重線P99.9作為緊急線。這樣做的好處是閾值會(huì)跟隨業(yè)務(wù)周期自動(dòng)變化——比如每天的流量高峰和低谷期的正常錯(cuò)誤率差異很大用固定閾值必然誤報(bào)。把歷史數(shù)據(jù)跑個(gè)分位數(shù)得出這個(gè)業(yè)務(wù)在同時(shí)段95%的時(shí)間內(nèi)錯(cuò)誤率都低于某個(gè)值那這個(gè)值就比拍腦袋可靠得多。給一個(gè)真實(shí)例子。某個(gè)核心接口的正常錯(cuò)誤率大部分時(shí)間在0.5%以下但每天凌晨的批處理任務(wù)會(huì)導(dǎo)致短時(shí)錯(cuò)誤率沖到3%這是正?,F(xiàn)象。如果閾值設(shè)成2%就天天半夜誤報(bào)設(shè)成5%又會(huì)在真正的故障到來時(shí)失靈。后來我引入分位數(shù)動(dòng)態(tài)基準(zhǔn)后凌晨時(shí)段的告警線自動(dòng)上調(diào)到4%白天的告警線維持在1%誤報(bào)率一下降低了80%。2.2 告警去重與靜默窗口防止風(fēng)暴淹沒聯(lián)動(dòng)告警風(fēng)暴是監(jiān)控體系里最頭疼的問題也是聯(lián)動(dòng)方案的潛在風(fēng)險(xiǎn)點(diǎn)。一個(gè)下游服務(wù)抖動(dòng)可能同時(shí)觸發(fā)幾十個(gè)上游接口的告警如果每個(gè)告警都觸發(fā)一輪測(cè)試瞬間涌進(jìn)來的測(cè)試請(qǐng)求會(huì)把原本就緊張的測(cè)試資源壓垮整個(gè)環(huán)境雪崩。解決這個(gè)問題的核心是靜默窗口機(jī)制。在Alertmanager里配置路由分組把同一個(gè)時(shí)間段內(nèi)、同一類資源的告警合并成一條通知然后再統(tǒng)一觸發(fā)一次測(cè)試聯(lián)動(dòng)。比如某接口響應(yīng)時(shí)間告警觸發(fā)后五分鐘內(nèi)這個(gè)接口相關(guān)的超時(shí)類告警自動(dòng)合并不再重復(fù)觸發(fā)測(cè)試。這個(gè)五分鐘窗口就是我做的一個(gè)標(biāo)準(zhǔn)配置。抑制規(guī)則同樣重要。當(dāng)父級(jí)告警存在時(shí)子級(jí)告警自動(dòng)被抑制不打擾人。比如數(shù)據(jù)庫掛了所有業(yè)務(wù)接口都會(huì)報(bào)錯(cuò)這時(shí)候業(yè)務(wù)接口的告警就是噪音。我在Alertmanager里配了一條規(guī)則當(dāng)MySQL不可用告警存在時(shí)所有依賴MySQL的業(yè)務(wù)告警在恢復(fù)前自動(dòng)抑制。這條規(guī)則配上之后告警量直接下降了60%。2.3 聯(lián)動(dòng)測(cè)試觸發(fā)條件過濾噪音只測(cè)關(guān)鍵不是所有告警都需要聯(lián)動(dòng)測(cè)試。無效的聯(lián)動(dòng)比沒有聯(lián)動(dòng)更糟糕因?yàn)闀?huì)浪費(fèi)資源并且模糊重點(diǎn)。我給聯(lián)動(dòng)觸發(fā)設(shè)了三個(gè)前置條件告警持續(xù)時(shí)間超過閾值設(shè)定的持續(xù)時(shí)間比如持續(xù)兩分鐘以上才觸發(fā)聯(lián)動(dòng)指標(biāo)抖動(dòng)一下只會(huì)進(jìn)入觀察狀態(tài)。告警附帶明確的組件標(biāo)簽?zāi)軌蛴成涞骄唧w的測(cè)試集。沒有測(cè)試覆蓋的組件聯(lián)動(dòng)只會(huì)提示“該組件無對(duì)應(yīng)測(cè)試用例”不會(huì)盲目去跑不相干的測(cè)試。當(dāng)前不在靜默維護(hù)窗口內(nèi)。凌晨有大版本發(fā)布或者批量數(shù)據(jù)遷移時(shí)會(huì)提前設(shè)置維護(hù)窗口避免聯(lián)動(dòng)測(cè)試影響正在進(jìn)行的變更。前兩個(gè)條件在Alertmanager配置階段就能過濾掉大部分無效告警第三個(gè)條件需要結(jié)合運(yùn)維日歷做判斷。這套組合下來真正觸發(fā)聯(lián)動(dòng)測(cè)試的告警只占原始告警量的15%左右而留下的這15%基本都是值得關(guān)注的真實(shí)信息。3. 實(shí)操過程Prometheus加Alertmanager加測(cè)試服務(wù)完整落地說完了思路進(jìn)入實(shí)操環(huán)節(jié)。我按真實(shí)的搭建順序展開你可以照著一步步做。環(huán)境假設(shè)是Linux服務(wù)器已安裝好Docker和Python 3.9以上環(huán)境服務(wù)組件包括Prometheus、Alertmanager、測(cè)試執(zhí)行服務(wù)、Webhook接收器。3.1 監(jiān)控告警規(guī)則配置Prometheus規(guī)則文件先看Prometheus告警規(guī)則的配置方式。這部分的關(guān)鍵是每個(gè)告警規(guī)則都定義清楚告警名、觸發(fā)的PromQL表達(dá)式、告警持續(xù)時(shí)間、嚴(yán)重級(jí)別、關(guān)聯(lián)的組件標(biāo)簽。組件標(biāo)簽是后面做測(cè)試聯(lián)動(dòng)映射的依據(jù)必須做好規(guī)范。groups: - name: core-api-alerts rules: - alert: CoreApiErrorRateHigh expr: | sum(rate(http_requests_total{jobcore-api, code~5..}[5m])) / sum(rate(http_requests_total{jobcore-api}[5m])) 0.05 for: 2m labels: severity: P1 component: core-api alert_type: error-rate annotations: summary: 核心接口錯(cuò)誤率超過5% description: 核心接口最近5分鐘錯(cuò)誤率達(dá)到{{ $value | humanizePercentage }}持續(xù)時(shí)間超過2分鐘這個(gè)規(guī)則里有兩個(gè)細(xì)節(jié)要注意。一個(gè)是for: 2m意思是表達(dá)式持續(xù)為真兩分鐘才觸發(fā)告警短時(shí)抖動(dòng)不會(huì)報(bào)警。另一個(gè)是labels里帶了component: core-api和alert_type: error-rate兩個(gè)標(biāo)簽測(cè)試聯(lián)動(dòng)就是靠這兩個(gè)標(biāo)簽找到對(duì)應(yīng)的測(cè)試集。告警觸發(fā)后Alertmanager根據(jù)標(biāo)簽路由到對(duì)應(yīng)接收器。3.2 Alertmanager路由與抑制配置Alertmanager的核心配置是路由樹。我按告警級(jí)別和組件兩個(gè)維度分配P0級(jí)別的告警走緊急通道直接觸發(fā)聯(lián)動(dòng)測(cè)試并全渠道通知P1級(jí)告警走常規(guī)通道觸發(fā)聯(lián)動(dòng)測(cè)試后只在IM群通知P2級(jí)別告警默認(rèn)不聯(lián)動(dòng)只發(fā)到低優(yōu)先級(jí)頻道留待第二天處理。route: receiver: default group_by: [alertname, component] group_wait: 30s group_interval: 5m repeat_interval: 4h routes: - match: severity: P0 receiver: critical-webhook continue: true - match_re: severity: P1|P2 receiver: info-webhook continue: true receivers: - name: critical-webhook webhook_configs: - url: http://test-runner.internal:8080/webhook/alert send_resolved: true - name: info-webhook webhook_configs: - url: http://test-runner.internal:8080/webhook/alert send_resolved: true inhibit_rules: - source_matchers: - severityP0 - componentmysql target_matchers: - component!mysql equal: [component]group_by在這里把同一組件、同時(shí)段產(chǎn)生的同類告警合并成一條這個(gè)配置直接決定了告警風(fēng)暴時(shí)你不會(huì)收到幾十條轟炸信息。repeat_interval設(shè)置了四小時(shí)意思是同一條告警如果一直未恢復(fù)四小時(shí)后才重復(fù)提醒一次避免持續(xù)騷擾。3.3 測(cè)試聯(lián)動(dòng)服務(wù)Webhook接收器與用例觸發(fā)Alertmanager的Webhook會(huì)POST一條JSON格式的告警數(shù)據(jù)到我寫的聯(lián)動(dòng)服務(wù)服務(wù)解析數(shù)據(jù)后根據(jù)標(biāo)簽映射測(cè)試集并觸發(fā)執(zhí)行。下面這個(gè)Python服務(wù)是整個(gè)聯(lián)動(dòng)機(jī)制的中樞核心部分是解析告警、匹配測(cè)試集、執(zhí)行用例、回寫結(jié)果這幾個(gè)動(dòng)作。# test_runner_service.py from flask import Flask, request, jsonify import subprocess import time import requests import redis app Flask(__name__) r redis.Redis(hostlocalhost, port6379, db0) # 維護(hù)一個(gè)從告警標(biāo)簽到測(cè)試命令的映射表 TEST_MAP { core-api:error-rate: pytest tests/core_api/test_error_rate.py, core-api:latency: pytest tests/core_api/test_latency_slo.py, mysql:slow-query: pytest tests/middleware/test_mysql_slow_query.py, redis:high-latency: pytest tests/middleware/test_redis_latency.py, order-service:error: pytest tests/order_service/test_trade_flow.py, } app.route(/webhook/alert, methods[POST]) def handle_alert(): data request.json alerts data.get(alerts, []) for alert in alerts: labels alert.get(labels, {}) alert_name labels.get(alertname, ) component labels.get(component, ) severity labels.get(severity, P2) status alert.get(status, firing) key f{component}:{alert_name} # 只處理firing狀態(tài)resolved狀態(tài)直接跳過 if status ! firing: continue # 去重檢查一小時(shí)內(nèi)同類型告警只聯(lián)動(dòng)一次 dedup_key fdedup:{component}:{alert_name} if r.exists(dedup_key): continue r.setex(dedup_key, 3600, 1) # 根據(jù)嚴(yán)重級(jí)決定是否聯(lián)動(dòng)測(cè)試 if severity P2: send_notification(labels, P2告警不觸發(fā)聯(lián)動(dòng)測(cè)試) continue test_cmd TEST_MAP.get(key) if not test_cmd: # 有告警但沒有對(duì)應(yīng)測(cè)試發(fā)通知讓人注意 send_notification(labels, 無對(duì)應(yīng)測(cè)試集需要人工核查) continue # 執(zhí)行測(cè)試 test_result run_test(test_cmd) report build_report(labels, test_result) send_notification(labels, report) # 如果測(cè)試失敗升級(jí)告警渠道 if test_result.returncode ! 0: escalate_alert(labels, report) return jsonify({status: ok}) def run_test(test_cmd): start time.time() proc subprocess.run( test_cmd.split(), capture_outputTrue, textTrue, timeout180 ) return { returncode: proc.returncode, stdout: proc.stdout[-2000:], stderr: proc.stderr[-2000:], duration: time.time() - start }這個(gè)服務(wù)里我加了兩個(gè)安全機(jī)制。一個(gè)是去重檢查通過Redis記錄一小時(shí)內(nèi)同類告警只觸發(fā)一次聯(lián)動(dòng)防止同一故障反復(fù)觸發(fā)測(cè)試。另一個(gè)是超時(shí)限制測(cè)試執(zhí)行超過三分鐘直接殺掉進(jìn)程返回超時(shí)結(jié)果防止某個(gè)用例卡住導(dǎo)致后續(xù)聯(lián)動(dòng)全部阻塞。3.4 測(cè)試報(bào)告與通知組裝測(cè)試跑完后生成的通知模板是關(guān)鍵體驗(yàn)點(diǎn)。收到通知的人需要在十秒內(nèi)判斷這個(gè)告警是否需要處理所以信息必須結(jié)構(gòu)清晰。我用的模板分三段第一段是告警基本信息哪臺(tái)機(jī)器、什么指標(biāo)、嚴(yán)重級(jí)別第二段是自動(dòng)驗(yàn)證結(jié)果跑了哪些用例、通過與否、關(guān)鍵請(qǐng)求的響應(yīng)時(shí)間第三段是結(jié)論建議明確告訴值班人“無需處理”或“立即介入”。def build_report(labels, test_result): passed test_result[returncode] 0 status_text 驗(yàn)證通過無需處理 if passed else 驗(yàn)證失敗需要立即介入 return f 【告警聯(lián)動(dòng)報(bào)告】 告警名稱: {labels.get(alertname)} 組件: {labels.get(component)} 嚴(yán)重級(jí)別: {labels.get(severity)} 觸發(fā)時(shí)間: {time.strftime(%Y-%m-%d %H:%M:%S)} 自動(dòng)驗(yàn)證結(jié)果: {status_text} 測(cè)試執(zhí)行耗時(shí): {test_result[duration]:.2f}s 用例輸出摘要: {test_result[stdout][:500] if test_result[stdout] else (無輸出)} 處理建議: {status_text} 通知渠道我按嚴(yán)重級(jí)別做了區(qū)分。P0和驗(yàn)證失敗的告警發(fā)到釘釘/企業(yè)微信機(jī)器人并同步電話報(bào)警驗(yàn)證通過的告警只發(fā)到IM群不打電話。這樣值班人收到的每條高優(yōu)通知背后都有測(cè)試驗(yàn)證數(shù)據(jù)支撐可信度遠(yuǎn)高于裸告警。3.5 告警恢復(fù)通知關(guān)閉環(huán)的最后一環(huán)很多人搭建監(jiān)控體系時(shí)會(huì)忽略恢復(fù)通知導(dǎo)致的問題是故障早就解決了告警還掛在那里值班人不敢解除運(yùn)維也不知道是否全部恢復(fù)。我在Alertmanager里配置了send_resolved: true意味著當(dāng)指標(biāo)恢復(fù)到正常區(qū)間時(shí)Prometheus會(huì)發(fā)送一條resolved狀態(tài)的告警到Webhook聯(lián)動(dòng)服務(wù)收到后會(huì)把故障從處理列表中標(biāo)記完成?;謴?fù)通知的關(guān)聯(lián)邏輯也需要設(shè)計(jì)。我在聯(lián)動(dòng)服務(wù)的全局狀態(tài)里維護(hù)了一個(gè)“活躍告警映射表”包含告警的唯一識(shí)別鍵、聯(lián)動(dòng)測(cè)試的任務(wù)ID、觸發(fā)時(shí)間、當(dāng)前狀態(tài)。收到resolved通知后服務(wù)根據(jù)告警鍵找到對(duì)應(yīng)記錄把狀態(tài)改成已恢復(fù)并在通知群里發(fā)一條“已恢復(fù)”的消息。這保證了整個(gè)故障周期的信息閉環(huán)從告警觸發(fā)、自動(dòng)驗(yàn)證、人工處置到恢復(fù)確認(rèn)每一步都有記錄可追溯。4. 常見問題與排查技巧實(shí)錄這套方案跑了我接近一年該踩的坑都踩得差不多了。每個(gè)坑背后都對(duì)應(yīng)一個(gè)機(jī)制優(yōu)化我挑最典型的五個(gè)問題整理成速查表按照優(yōu)先級(jí)排序。4.1 告警風(fēng)暴差點(diǎn)把測(cè)試資源打滿第一次全量接入時(shí)遇到最猛的問題就是告警風(fēng)暴引發(fā)的測(cè)試雪崩。某個(gè)核心數(shù)據(jù)庫短時(shí)抖動(dòng)觸發(fā)了所有依賴它的業(yè)務(wù)線告警每個(gè)告警都觸發(fā)一輪測(cè)試測(cè)試集群瞬間被打滿其他正常業(yè)務(wù)的測(cè)試任務(wù)全部排隊(duì)等待最后把整個(gè)CI資源耗盡。后續(xù)加的防護(hù)機(jī)制有兩層。第一層是Alertmanager路由里的group_by配置把相同組件的告警合并成一條通知意味著即使幾十條業(yè)務(wù)告警同時(shí)進(jìn)來一個(gè)組件只會(huì)觸發(fā)一次聯(lián)動(dòng)測(cè)試。第二層是聯(lián)動(dòng)服務(wù)里Redis去重鎖同類告警一小時(shí)只能觸發(fā)一次徹底堵住了重復(fù)觸發(fā)的路。4.2 閾值設(shè)置不當(dāng)導(dǎo)致告警跟實(shí)際情況脫節(jié)閾值設(shè)置太靈敏每天被P2垃圾告警淹沒設(shè)置太遲鈍故障來了半天不觸發(fā)。第三種情況更隱蔽——凌晨和白天業(yè)務(wù)形態(tài)差異太大統(tǒng)一閾值必然失靈。我的解法是分時(shí)段和分位數(shù)結(jié)合。先按時(shí)間把一天劃分成業(yè)務(wù)高峰段、平峰段、低谷段每段獨(dú)立跑歷史數(shù)據(jù)的分位數(shù)統(tǒng)計(jì)以P95/P99/P99.9作為三檔閾值參考值。這個(gè)邏輯用一個(gè)Python腳本定時(shí)更新Prometheus規(guī)則每天凌晨計(jì)算一次并自動(dòng)滾入生效。另外在Prometheus的告警規(guī)則里用了特殊的記錄規(guī)則先把分位數(shù)存成指標(biāo)再用指標(biāo)做閾值比較閾值變成動(dòng)態(tài)值而不是硬編碼。4.3 生成式錯(cuò)誤率指標(biāo)為什么不準(zhǔn)確監(jiān)控指標(biāo)本身的設(shè)計(jì)很容易出問題。最常見的坑是把錯(cuò)誤率的分子和分母定義得不一致。分子是5分鐘內(nèi)的5xx錯(cuò)誤數(shù)分母卻是1分鐘內(nèi)的請(qǐng)求總數(shù)算出來的錯(cuò)誤率隨著時(shí)間窗口變化而失真。我最后的定義方式是把分子分母統(tǒng)一放在同一個(gè)五分鐘窗口內(nèi)并且明確統(tǒng)計(jì)維度是全部請(qǐng)求數(shù)不剔除重試和健康檢查請(qǐng)求。另外把錯(cuò)誤判定從只看HTTP狀態(tài)碼改為結(jié)合業(yè)務(wù)返回碼因?yàn)楹芏嘟涌诜祷?00但業(yè)務(wù)邏輯其實(shí)是失敗的只看狀態(tài)碼會(huì)漏報(bào)。4.4 測(cè)試聯(lián)動(dòng)反而拖慢了恢復(fù)過程有的運(yùn)維同學(xué)反饋說測(cè)試聯(lián)動(dòng)消耗的時(shí)間比人工手動(dòng)驗(yàn)證還慢主要原因是測(cè)試用例設(shè)計(jì)不合理跑一個(gè)全量回歸要半小時(shí)而不是針對(duì)告警組件做定向小驗(yàn)證。這里的原則是用例要足夠輕量。為聯(lián)動(dòng)場(chǎng)景單獨(dú)設(shè)計(jì)一組快速用例每條用例的預(yù)期耗時(shí)控制在10秒以內(nèi)整個(gè)測(cè)試集不超過三分鐘。高耗時(shí)用例劃分到獨(dú)立的全量回歸集需要時(shí)手動(dòng)調(diào)用不參與自動(dòng)聯(lián)動(dòng)。我把這個(gè)原則稱為“告警場(chǎng)景五分鐘驗(yàn)證閉環(huán)”如果五分鐘內(nèi)得不到測(cè)試結(jié)果聯(lián)動(dòng)機(jī)制的意義就打了折扣。4.5 告警升級(jí)后找不到對(duì)應(yīng)處理人聯(lián)動(dòng)跑完發(fā)現(xiàn)是嚴(yán)重問題需要升級(jí)到核心負(fù)責(zé)人但有些告警發(fā)到了過期的通知接收人那里沒人響應(yīng)。這是人和流程的問題但可以通過系統(tǒng)緩解。我維護(hù)了一份責(zé)任人映射表每個(gè)組件都有主備兩個(gè)負(fù)責(zé)人組件告警連續(xù)三次升級(jí)后會(huì)直接電話主備負(fù)責(zé)人。每周一這個(gè)映射表會(huì)通過腳本自動(dòng)同步一次訂餐管理系統(tǒng)的組織架構(gòu)接口保證人員變動(dòng)后第二天就生效。這套機(jī)制運(yùn)行下來線上嚴(yán)重問題的響應(yīng)中位數(shù)從最初的11分鐘降到了4分鐘。以下是我整理的問題速查表排查時(shí)按優(yōu)先級(jí)從上往下看問題現(xiàn)象可能原因排查思路解決方案告警風(fēng)暴后測(cè)試資源耗盡去重未生效檢查Redis中dedup鍵是否存在確認(rèn)Alertmanager的group_by配置和聯(lián)動(dòng)服務(wù)的去重邏輯P1告警反復(fù)觸發(fā)但測(cè)試未執(zhí)行告警名稱與測(cè)試映射鍵不匹配檢查告警labels里的component和alertname加入映射表缺失時(shí)的默認(rèn)通知邏輯測(cè)試執(zhí)行超時(shí)導(dǎo)致后續(xù)聯(lián)動(dòng)阻塞單條用例執(zhí)行過久檢查Pytest的超時(shí)插件配置在runner層增加kill邏輯告警恢復(fù)后通知混亂未開啟send_resolved檢查Alertmanager配置開啟恢復(fù)通知并關(guān)聯(lián)映射表半夜被P2垃圾警報(bào)叫醒閾值太靈敏查看歷史分位數(shù)分布引入動(dòng)態(tài)分位數(shù)基準(zhǔn)聯(lián)動(dòng)測(cè)試跑完但群消息未發(fā)出Webhook機(jī)器人配置異常檢查通知服務(wù)日志添加通知失敗的重試隊(duì)列4.6 兩個(gè)容易被忽略的細(xì)節(jié)時(shí)間同步與重試機(jī)制時(shí)間同步問題是我在排查一次“告警時(shí)間和測(cè)試時(shí)間對(duì)不上”的詭異問題時(shí)發(fā)現(xiàn)的。監(jiān)控服務(wù)所在機(jī)器和測(cè)試執(zhí)行機(jī)器的系統(tǒng)時(shí)間差了四十秒導(dǎo)致測(cè)試報(bào)告里的執(zhí)行時(shí)間戳和告警觸發(fā)時(shí)間錯(cuò)位人工核對(duì)時(shí)總以為是兩個(gè)獨(dú)立事件。后來我在所有涉及告警的機(jī)器上統(tǒng)一啟用了NTP時(shí)間同步并且在測(cè)試報(bào)告里同時(shí)輸出告警觸發(fā)時(shí)間和測(cè)試開始時(shí)間方便核對(duì)。重試機(jī)制主要針對(duì)測(cè)試執(zhí)行過程中的偶發(fā)失敗。比如網(wǎng)絡(luò)抖動(dòng)導(dǎo)致測(cè)試環(huán)境調(diào)用超時(shí)或者被測(cè)服務(wù)剛好在發(fā)布窗口導(dǎo)致用例失敗。但不能盲目重試所有失敗用例因?yàn)橛行┦∈钦鎸?shí)問題重試只會(huì)掩蓋問題。我的做法是只對(duì)“環(huán)境錯(cuò)誤”類失敗進(jìn)行重試比如連接超時(shí)、DNS解析失敗、資源不可用對(duì)斷言失敗、邏輯錯(cuò)誤這類“代碼錯(cuò)誤”不重試。這個(gè)邏輯在測(cè)試代碼里通過自定義異常分類實(shí)現(xiàn)。5. 這套方案的后續(xù)擴(kuò)展方向方案跑穩(wěn)定之后可以往兩個(gè)方向擴(kuò)展。一個(gè)方向是異常根因定位的延伸。當(dāng)前聯(lián)動(dòng)測(cè)試只能判斷“是否有問題”但無法定位“問題出在哪里”??梢曰诿總€(gè)測(cè)試用例的輸出設(shè)計(jì)一套自動(dòng)根因樹把失敗用例關(guān)聯(lián)到具體的依賴組件。比如訂單接口的測(cè)試失敗了系統(tǒng)自動(dòng)檢查Redis讀取耗時(shí)、數(shù)據(jù)庫連接池狀態(tài)、下游支付接口響應(yīng)時(shí)間三個(gè)指標(biāo)把最異常的指標(biāo)標(biāo)紅放到報(bào)告頂部。這套邏輯目前處于半自動(dòng)化狀態(tài)實(shí)現(xiàn)難度不高關(guān)鍵是建立好指標(biāo)與組件的關(guān)系矩陣。另一個(gè)方向是自動(dòng)恢復(fù)動(dòng)作的引入。測(cè)試驗(yàn)證通過但指標(biāo)確實(shí)異常時(shí)可以嘗試執(zhí)行預(yù)定義的安全恢復(fù)操作比如重啟異常進(jìn)程、切換流量到備用節(jié)點(diǎn)、清除堆積的任務(wù)隊(duì)列。但自動(dòng)恢復(fù)動(dòng)作有兩個(gè)前置要求操作必須可回滾且必須留下完整的操作日志。我目前只對(duì)幾個(gè)非核心的冪等操作開放了自動(dòng)恢復(fù)試驗(yàn)核心系統(tǒng)還是保留人工確認(rèn)環(huán)節(jié)。自動(dòng)恢復(fù)的風(fēng)險(xiǎn)遠(yuǎn)高于自動(dòng)驗(yàn)證必須做好充分的演練才能放開。我在實(shí)際使用中的體會(huì)是這套聯(lián)動(dòng)機(jī)制最有價(jià)值的不是省了多少人力而是把團(tuán)隊(duì)成員從“天天被警報(bào)追著跑”的被動(dòng)狀態(tài)中解放出來。警報(bào)響的時(shí)候系統(tǒng)已經(jīng)完成了一輪初步診斷人要做的是基于診斷報(bào)告做決策而不是從零開始排查。穩(wěn)定運(yùn)行之后值班同學(xué)重新敢在晚上十一點(diǎn)之后放下手機(jī)睡覺了這種體驗(yàn)上的改善是我覺得最有成就感的地方。最后再分享一個(gè)小技巧整套聯(lián)動(dòng)機(jī)制搭好后一定要安排一次真實(shí)的故障演練來檢驗(yàn)閉環(huán)的有效性。我在上線后的第二個(gè)星期主動(dòng)在預(yù)發(fā)環(huán)境注入了一個(gè)SQL慢查詢故障觀察從告警觸發(fā)到測(cè)試聯(lián)動(dòng)再到值班人收到帶結(jié)論報(bào)告的全過程第一次演練就發(fā)現(xiàn)測(cè)試映射表漏了兩個(gè)組件問題在造成實(shí)際影響前就被修掉了。故障演練看似浪費(fèi)時(shí)間其實(shí)是檢驗(yàn)整個(gè)鏈路最有效的方式建議每個(gè)月至少做一次。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色噜噜狠噜噜视频| 国产亚洲色婷婷久久99精品9j| 亚洲精品性色| 亚洲成人网在线观看| 九月丁香婷婷基地| 性爱久久| 色婷婷av在线| 偷偷狠狠久久婷婷五月天| 国产精品久久久久久久久久久久| 色综合久久天天综合网| 可以免费看AV网站| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 伊人久久大香天蕉亚洲特级| 超碰人妻公开在线| av国产精品| 激情影院69| 99热费观看| 丁香五月婷婷五月| 欧美在线视频99| 婷婷五月天成人网| 五月婷婷草| 五月丁香狠狠地噜噜噜噜| 久热久re| 成人网在线视频| 婷婷五月乱交换| 亚洲日日操| 天天拍久久| 热99国产精品| 9久操| 丁香婷婷五月色综合| 伊人婷婷色| 伊人网大香| 日本成人噜噜噜噜噜| 亚洲精品网站色视频| 色色色丁香| 婷婷五月AV| 少妇性按摩无码中文A片| 色色色成人网| se99在线| 六月五月婷婷| 婷婷五月天综合在线| 五月婷婷在线视频观看| 婷婷开心久久| 色五月婷婷基地| 婷婷丁香五月综合免费视频百花| 超级碰碰碰碰视频| 久久婷婷五月综合色丁香| 丁香五月在线自慰| 另类亚洲电影| 色婷婷激情| www.久久爱.com| 无码毛片992367| 五月美女婷婷风骚| 韩国真做片在线观看| PORNY九色9l自拍视频成人| 婷婷五月天六月| 五月天色导航| www.久久66| 欧美一级色| 九九精品碰| 色情综合网| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月六月播婷婷| 亚洲欧美国产A片免费观看| 色色欧美色色色| 人妻AV在线| www99热| 日日干天天爽| 婷婷丁香五月综合激情小说| 国产裸舞表演WWWW| 超碰99热精品| 亚洲AV色婷婷人禽五月天| 丁香五月激情性色郤| 99这里只有精品国产| 欧美日本国产欧美日本韩国99| 久久久A级视频| 97碰久久| 九九激情| 亞洲自怕| 日熟女| 日本色色网站| 五月丁香激情综合啪| 日韩五月婷婷| 色狠狠色噜噜噜a天堂一区| 久久婷婷五月综合色播| 色爱终和网| 丁香五月成人| 丁香六月综合| www.夜夜爱.com| 热九九在线| 色亚洲视频| 色爱综合网| 国产99久久久国产精品免费看| 久色婷婷200| 久久99综合网| 日韩色色色色| 1024手机在线观看看片_日韩精品| 好吊操这里只有精品| 成人网站免费sxj| 成人丁香五月天Av| 亚洲综合网在线| 五月婷婷综合色啪首页| www.97碰碰com| 欧美又粗又大一区二区在线观看| 亭亭玉月丁香| 色播激情| caopeng97日韩| 色狠狠综合入口| 五月天激情四射| 综合五月天完整| 色偷偷色婷婷| 狠狠色综合久久久久| wWwCom夜操wwW| 天天透天天爱| 国产精品18久久久| 色很很96| 五月婷婷中文字幕| 久久婷婷夜| 开心五月丁香啪| 五月色网| 五月天堂婷婷| 婷婷五月天久久| 亚洲精品大片| www.婷婷| 丁香五月婷婷动漫视频| 亚洲欧洲午夜成人精品av| 亚洲国产色婷婷| 五月丁香欧美在线| 日韩一级片| 婷婷久久综合| 成 人片 黄 色 大 片| 91好好热日本在线| 精品久久久人妻| 99亚洲精美视频在线观看| www.俺去也com| 六月激情综合| 九九精品在线网| 一本九九色| 丁香色综合| 五月婷婷丁香六月| 色综合色综合网| 天天上天天爽| 操91| 久久黄色片| 67194线路二在线观看| 六月婷婷狠狠色在线观看| 人妻熟妇国产精品| 婷婷深爱五月丁香网| ..真实国产乱子伦对白在线_欧| 国产成人va在线| 亚洲综合网在线| 婷婷五月激情图片| 五月婷婷激情| 久久ri精品| 五月激情网站| 99久久久久| 夜夜爽77777妓女免费下载| 婷婷五月中文在线| 亚洲天堂99| 99热精品在线播放观看| 91日精品| 激情综合网五月婷婷| 九九99久久| 天天激情站| 9久精品视频| 亚洲欧美婷婷五月色综合| 久久五月天婷婷| 综合激情五月丁香| 五月丁香综合精品欧美| 色狠久| 久久久宗合| 色婷婷久久| 婷婷娱乐丁香综合网| 色操综合| www久| 激情欧美五月丁香| 亚洲久久婷婷| 天天 日综合| 香蕉五月婷婷| 色图亚洲91| 97干在线视频| 六月丁香五月天| 天天色天天操天天射| 99热99色| 久久婷五月影院| 丁香五月天堂网| 成人在线精品| 六月婷婷亚洲| 亚洲在线资源| 一本色道久久88加勒比| 五月婷啪啪| 玖玖热视频| 这里只有精品视频在线观看免费| 91女人18毛片水多国产| 九九九九综合| 激情小说视频图片网| 婷婷色五月激情| 噼里啪啦在线观看免费完整版视频 | 久热婷婷| 日韩中文字幕| 香蕉久久五月| 97久久久| 久久综合五月| 综合婷婷| 亚洲高清在线| 日本人妻A片成人免费看片| 开心激情站| 另类激情中文| 激情综合婷婷| 丁香五月天堂网| 丁香六月婷婷色XXXXX| 五月 婷 久| 在线网黄| 都市激情久久| 玖玖视频福利| 97超级碰| 婷婷99视频在线| 色综合婷婷| 五月丁香婷婷色| 黄网在线免费| 米奇激情婷婷| 79亚洲精品少妇| 日本婷婷在线| 久99| 国产看真人毛片爱做A片| 激情五月综合网| 天天热夜夜操| www.久久综合| av九九| 粉嫩AV久久一区二区三区| 丁香五月欧美激情| 激情人妻综合| 国产精品色色| 婷婷综合在线视频| 久久一级片| 五月综合亚洲色| 欧美婷婷五月| 亚洲综合激情五月久久| 丁香六月综合激情| 欧美激情五月天| 狠狠搞狠狠操| 日韩中文字幕| 九九无码AV| 狠狠色五月| 激情亚洲婷婷| 色综合色综合网| 天天干天天射综合网| 丁香五月综合亚洲| 亚洲激情免费视频观看| 五月丁香六月婷婷亚洲综合| 26uuu国产| 97一区二区| 久久久99久久| 99热这里只有在线播放| 久久免片| 九九aV| www.久久| 丁香丁婷五月激情| 亚洲成人在线综合| 午夜精品人妻无码一区二区三区| 91vip在线观看| 玖玖热视频| 六月丁香五月天| www.精品久9| 五月天电影网| 色婷婷丁香AV综合| www.热99热| 色播五月天激情| 欧美三级韩国三级日本三斤| 五月丁香综合久久| 五月婷在线| 九月婷婷综合| 夜夜骑天天玩天天日| 国产乱妇无乱码大黄AA片| 国产67194| 久久婷婷五月综合色播| 五月天天天天天天天天天天天天天天天婷婷婷 | 六月丁香啪啪| 欧美色色色色色色色色色色影视| 99这里只有精品在线观看| 超碰人人操在线| 伊人大香蕉在线视频| 亚洲AV成人在线| 8区视频在线| 六月丁香啪| www.夜夜操| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 色噜噜五月天| 色色网站日本91| 五月婷婷久久开心网| 人妻精品一区二区三区| 五月婷婷啪啪啪| AV五月婷婷露脸| 五月婷婷和六月| 丁香花五月天婷婷成人社区| 婷婷丁香六月天激情四射网| 九九99免费理论| 日本美女天天日天天爽| 天天肏天天肏| 2014天天爽| 都市激情五月婷婷综合| 五月婷婷在线观看黄| 婷婷五月天精品| WwW色婷婷| 日本97在线视频| 婷婷五月丁香狠狠| 丁香五月欧美激情| 超碰人人操人人9| 色色色777| 99精品在线| 国产精品日本一区二区在线播放 | 精品一二三区视频立| 天天爽天天透天天爱| 欧美丁香五月| 大香蕉色婷婷伊人在线| 九九99视频精品| 色五月婷婷小说亚洲中文字幕组| 亚洲第一成人无码A片| 琪琪色热色色| 天天插天天| 区区欧美你爱| 亚洲第一综合| 丁香婷婷五月天校园春色| 99热只有| 五月婷婷丁香综合,亚洲天堂| 91操人| 亚洲婷婷丁香| AA久久| 婷婷久久亚洲| 操b视频在线观看一区二区| 色综合天天网| 超喷97免费在线视频| 色五月激情视频在线综合| 国产性爱一级| 成人啪啪色婷婷久| 婷婷丁香小说| 强奸幻女毛片| 热久精品| 九九热精品99| 亚洲视频五区| 国产免费一区二区三州老师F1F1……| 亚洲激情网站| 果冻传媒A片一二三区| 天天噜天天爱| 99热这里只有的精品视| 久久久网站| 天天搞夜夜爽夜夜爽| 五月综合久久| 亚洲五月天伊人| 激情99| 丁香五月婷婷六月婷| 天天插天天插| 激情网婷婷婷| 九月色婷婷婷| 国产精品色色| 成久综合视频| 中文字幕视频色婷婷| 亚洲天堂aaa| 欧美婷婷综合| 婷婷五月花| 九九热这里只有精品7| 久久人妻久久| 求可以看的AV网址| 大香久久综合网| 久久婷婷网| www.激情| 99国产小视频| 超碰国产av| 在线播放中文字幕| 激情网婷婷婷| 亚洲小视频免费播放| 天天操夜夜操| 五月精品免费XXX| 成人综合视频在线| 91操人人操| www.久久99热地址发布| 伊人狠狠狠综合| 97婷婷久久丁香| 五月婷av| 色噜噜狠噜噜视频| 99热精这里只有精品| 久婷首页| 丰满人妻一区二区三区| yellow视频在线观看91| 婷婷五月天激情综合深爱| 色播五月丁香| 成人五月天综合网| 婷婷六月色情| 伊人在线大香蕉网| 另类激情综合| 五月天色综合| 天天狠狠干| 狠狠狠狠狠狠草| 久久婷婷五月天激情| 综合色播| 泰州成人视频| 99久在线精品99re8热| 五月天婷婷丁香社区| 俺来也综合网精品一区| 色情五月天导航| 99热成人| 成人综合网站| 九九碰九九爱97超碰| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 影音先锋色色色资源色资源色| 任我干视频在线观看| 三级三久久线久久99久目本WW| 久久性刺激| WWW、日本色丁香、co m| 国产激情在线| 久久9RE热视频精品98| 亚洲乱码日产精品BD| 人妻少妇色综合| 丁香婷婷五月天在线视频| 伊人久久五月天| Va另类视频| 成人电影一区| 色 免费网站视频| 九色91国产| 五月婷婷丁香| 99热这里都是精品| 色综合五月天| 丁香六月婷婷久久综合| AV性爱网| 五月丁香影视| AA片在线观看视频在线播放| 久久久久久久久久久-久五月天婷婷| se99视频| 中文幕无线码中文字蜜桃| 99综合一区| 色婷丁香五月| 五月婷无码| 丁香五月冃欧美| 婷婷六月花| 丁香五月激情在线| 亚洲国产99| 97碰碰视频在线观看免费| 9久视频| 亚洲综合激情五月久久| 婷婷丁香五月综合| 99年操人人爽| 天堂久久大香蕉| 91人人爽人人操| 亚洲狠狠狠色婷婷综合激情久久久| 激情综合网五月丁香| 青草青草久9视频在线视频| 99热在线观看| 亚洲成av人影院| 亚洲色频| 青草激情综合| 五月丁香激情四射| 99热综合色图| 在线观看av网站| 欧美丁香五月夫妻天| 91精品久久久久久| 国精产品一区一区三区免费视频 | 两性婷婷丁香五月| 少妇AB又爽又紧无码网站| 六月丁香五月天| 99热在线观看| 激情综合播播| 激情五月天婷婷五月天| 五月婷婷六月丁香| 中文字幕精品推荐免费在线观| 91人人妻人人操| 高清激情av在线观看| 天天日综合| 99热这里有精品| 欧美激情伊人| 5月丁香六月婷婷| 丁香婷婷久久| 中文资源在线a| 五月天婷婷在线啪啪视频| 丁香五月综合婷婷| 激情五月天在线观看色婷婷| 久久人妻高清中文| 5月婷婷五月天| 婷婷五月视屏| www.夜夜夜| 狠色狠色狠狠色综合网| 久久只这里有精品| 韩国激情五月天综合网| 免费观看亚洲AV片| 另类图片天天影视在线观看| 欧美成人性爱网| 久久性爱视频| 4438全国最大视频成人网站在线观看| 日笨久久网| 丁香久久五月婷综合| 色丁香婷婷| 大香蕉五月| 婷婷九月丁香| 欧美啪啪五月天| 啪到高潮激情丁香五月| 九月丁香网婷婷| 五月丁香花伦理电影| 婷婷色影院| 黄色99视频| 亚洲日日日| 丁香五月婷婷黑人妻黄色电影院| 色综合中文| 亚洲综合视频网| 五月丁香婷婷爱| 丁香婷婷婷五月综合色情| 天天爽天天| 97性高潮久久久| 丁香五月激情在线| 亚洲啪啪精品| 综合激情五月丁香| 亚洲人成色A777777在线观看| 91精品丝袜久久久久久久久粉嫩| 青青草五月天| 91丨九色丨熟女|老版| 91视频精品99| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 亚洲无码www| 大香蕉婷婷五月天| 99热国产在| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 大地资源色婷婷视频在线| 亚色网站小视频| 国产精品久久久久久久久久免费| 青青草六月丁香| WwW色婷婷| 国产操B视频| 五月丁香性爱| 五月丁香在线偷拍视频| 91色欲综合| 婷婷丁香花五月天| 色婷婷黄色网络| 99精品22| 麻豆观看夏晴子| 亚洲人人96@| 五月婷婷五月天| 99偷拍视频在线日本| α久久| 99久久婷婷国产综合精品草原| 五月亭亭欧美女人| 久久这里只有精品8| 91丁香色| 开心色播色五月婷婷| 免费无码毛片一区二区A片| 精品九九久久| 少妇AB又爽又紧无码网站| 五月婷婷官网色| www.91婷婷| www.yw色| 中文字幕在线免费观看视频| 久久香蕉丁香| 五月激情丁香久久综合网| 久久精品噜噜噜成人A∨色欲| 国产 码在线成人网站| 天堂综合久| 七七色综合| 丁香五月婷久久| 婷婷五月天激情基地| 婷婷六月丁香开心深深爱| 日本99婷婷| 香蕉久久av一区二区三区| 秋霞AV淫| 五月天com| 久久AV电影| 蜜臀A∨在线水帘洞| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 激情五月色婷婷| 色婷婷yy久| 欧美叉叉叉BBB网站| 激情色色| 自拍偷窥99热| 天天操人人干| 狠狠色噜噜狠狠狠888| 人人干Av| 激情校园 亚洲| 色色99| 婷婷精品视频| AA丁香综合激情| 欧美婷婷丁香五月社区| 婷婷色综合av| 开心五月激情网| 超碰成人av| 精品人妻一区二区三区四区不卡在| 亚洲 精品 综合 精品| 91九色精品熟女内射| 丁香久久五月婷综合| 久久综合首页| 色婷| 99热最新| 天天久久66xxx| 婷婷免费精品视频| 天天噪夜夜爽| 五月丁香婷婷六月天| 丁香五月激情月| 久久这里只有精品无码| 99热a片免| 99er久久| 在线观看婷婷5月| 人妻久久人妻久久第一区| 婷婷性色| 婷婷五月丁香基地在线视频官网| 狠狠擼综合| 五月丁香色婷| 激情丁香六月| 久久机热思思热| 色综合中文色综合网| 99精品热视频| 五月丁香怕怕综合| 五月色婷婷影视在线电影| 婷婷丁香水多多视频| 深爱开心激情网| 久久这里有精品视频在线免费观看| 嫩草AV久久伊人妇女超级a| 婷婷五月丁香六月天亚洲综合| 激情五月丁香综合网站 | 婷婷五月亚洲激情| 丁香五月天的网址。| 九月婷婷激情| 色色无码| 91丁香五月| 日本ww亚洲| 激情六月婷婷| 狠狠精品干练久久久无码中文字幕| 色色亚洲99com| 亚洲av成人在线| 黄色av高清| 亚洲视频二区| 亚洲亚洲亚洲AAAAAA| 99热精品在这里| 欧美性爱专区| 狠狠色五月激情| 人妻久久久久久久 | 丁香五月婷婷网| 国产SUV精品一区二区6| 色久九| 欧美性丁香色色五月天综合爱爱| 五月婷婷视频在线观看| 亚洲精品无码A片一区二区| 97狠狠色| 五月丁香婷婷婷激情爱爱| 大香蕉婷婷婷| 开心色播色五月婷婷| 久久九九色| 日韩一级A片黄色| 色久丁香五| 日日影院 | 色色成人網| 色99色| 五月天丁香婷婷社区| 另类激情五月天| 97操碰视频| 亚洲AV网址| 91久久久久久| 国产成人网| 五月婷六月丁香| 五月天色婷婷激情| 丁香五月综合激情性爱| 日日.c| 爱狠射| 激情丁香六月| 91人碰| 亚洲色碰| www98日本小时间到了| 五月激情婷婷播播开心| 五月丁香综合影院| 日本久热| 蜜臀AV在线成人| 99无码精品| 99re这里只有精品国产99| AA丁香综合激情| 色婷婷最爱五月| 97亚洲视频在线| 婷婷六月丁香综合| 色六月 婷婷| 欧美日韩AAA| 久草五月婷| 婷婷五月电影| 亚洲五月天,激情视频| 丰满人妻妇伦又伦精品国产 | 婷婷综合性爱网| 色在线视频网2025| 91九色首页| 天堂成人A片永久免费网站 | www九九| 蜜乳9188| 激情综合网激情五月婷婷| 亚洲色频| 欧美又粗又大一区二区在线观看| 六月丁香AV| 久久色婷婷| 色婷婷欧美在线| 五月激情婷婷偷拍| 免费观看大片视频 丁香婷婷 六月欧美| 亚洲视频五区| av五月天婷婷丁香| 99热精品在线播放| 99re热视频这里只精品5| 婷婷五月天在线看| 大香蕉在线99热| 26uuu欧美日本| 婷婷五月激情四月综合| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 99爱视频| 99精品久久久久久久婷婷| 国产毛片欧美毛片久久久| 天天综合网在线| 婷婷激情综合无月| 亚洲成人网站在线| 国产特黄色精品一区二区三区精品无广告| 在线成人网站| 丁香五月天激情视频| 九九热在线亚洲免费视频| 激情五月婷婷色色| 人妻熟女一区二区AV| 五月天色图| 日日夜夜狠狠| 日本成人小说婷婷六月| av中文在线| 久久综合综合综合| 天天日天天色| 色色色成人网| 色热久| 欧美色婷婷| 九九视频这里有精品| 成人色色视频| 婷婷五月丁香激情色情| 中文字幕成人| 百度4399有码精品V在线观看| 国产高潮A片羞羞视频涩涩| 色中色综合| 激情五月丁香婷婷| 伊人婷婷五月天| AV成人在线播放| 久久久这里有精品| 五月丁香婷婷俺| 97亚洲色 torrent magnet| 久热九九| 国产亚洲99| 久热这里只有精品3| 99久久精彩视频。| 高清国产AV| 日日干日日| 色综合另类| 久久视频婷婷| 99re8在这里只有精品| 无码任你操| 婷婷五月天欧美| 精品五月天| 国产精品香蕉| 五月花在线观看视频| 天天天日天天天干| 色爱亚洲| 91狠狠综合网| 欧美日韩999| 亚洲激情四射色| 99热99日天天干| 99爱爱网| 爱爱色五月天| 狠狠干在线| 狠狠色婷婷| 五月色综合| 大香蕉懂9| 91色色色18| 五月婷高清视频| 中文乱子伦视频| 欧美久久婷婷| 五月天福利影院导航| 涩涩婷婷五月| www.激情五月天.com| 99九九视屏| 狠狠操狠狠操AV| 日日干日日| 超级碰碰视频无码| 综合在线网| 国色天香成人网| 久久九九爽| WWW、99热| 99综合视频一体| 色区域网站视频| 丁香五月欧美激情| 久超免费视频| 色综合天天网| 五月天激情四射| 成人 AV播放| 开心深爱五月天| 久久婷婷五月综合啪| 老美AA片| 激情深爱综合| 超碰成人在线观看| 日韩啪图| 久久网思思| 五月色网| 中文字幕在线不卡| 九九热在线精品视频| 婷婷丁香激情五月天色色色| 97色色-99久久| 丁香婷婷五月六月久久| se影音资源在线观看| 亚洲人人操| 亚洲小视频免费播放| 热久精品| 婷婷五月丁香综合桃花色网| 五月天激情网页| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 午夜丁香丁香婷婷| 97碰啪啪| 九九人人操| 天天爽天天爽视频| 日逼影音先锋AV男人资源站| 六月丁香五月激情网| 成人无码髙潮喷水A片| 五月婷亚洲精品AV天堂| 五月婷婷啪啪啪| 日韩色五月| 操操国产| 久久激情网| 久久9热| 人人人操| 99热精品中文字幕| 五月丁香久| 亚洲久热| 婷婷久久午夜网| 天堂成人A片永久免费网站| 激情五月天在线观看婷婷| 99热国产这里只有精品| 五月婷成人| 激情小说五月天| 婷婷玉月丁香五月在线视频| 欧美综合激情| 色婷婷小说网| 91操碰| 综合欧美五月婷婷| 五月激情小说| 丁香五月六月婷婷殴美综合| 亚洲无aV在线中文字幕| 9精品在线| 天天天操天天天爰| 99人人爽| 91啪啪视频| 色播丁香婷婷五月激情| 日韩二区搞逼插逼毛片| 在线99热| 色婷婷9| 天堂亚洲 在线| 涩五月色婷婷| 久久久久98| 国产成人va在线| 婷婷丁香五月天操逼| 97五月天婷婷| 人人操 色| 五月天成人综合| 久99视频在线观看| 丁香五月影院| 色五月丁香激情视频| 久久精品凹凸分类| 丁香五月播播| 五月天婷婷操逼视频| 五月天激情久久| 久久久www| 日本爆乳片手机在线播放| 午夜成人AV在线| 色五月综合在线| 亚洲精品久久久久久久久久吃药| 婷婷五月综合色小姐小说| 五月天社区| 丁香六月婷婷| 欧美五月婷婷| 99高级会所久久| 少妇2做爰HD韩国电影| 99热久久这里只有精品| 日韩AV免费电影在线播放| 亚洲五月色| 在线99精品| 国产精品人成A片一区二区| 五月情婷婷| 丁香六月婷婷高清| 国产精品视频| 国产精品人成A片一区二区| av在线色五月丁香婷区久| 91人人澡人人爽人人看| 久草五月天| 九九综合久久| 亚洲色啪| 久久久五月天网站| 中文婷婷狠狠| 中文字幕婷婷| 婷婷五月天久久| 天天摸天天肏| 五月天婷婷激情四射综合| 婷婷亚洲综合| jiZZdr| 99色性爰网络| 五月天网站亭亭| 丁香六月婷婷综合色| 九月久久婷婷| 久久大国产香蕉| 欧美交换配乱吟粗大25P| 国产.亚洲.欧洲视频在线| 丁香五月天欧美成人| 色婷婷在线视频综合| 婷婷九月狠狠色| 欧美三级大片AA在线看| 亚洲综合五月天婷婷丁香| 99热这里| 婷婷久久久久| 激情图片久久| 一区二区免费看| www夜夜操wwwcon| 亭亭丁香aV| 婷婷五月播| 99精品激情| 天天激情5月天亚洲| 97久人人| 精品人妻在线| 久久在线大香蕉| 岛国午夜视频| 婷婷激情综合色五月久久图片| 狠狠色噜噜狠狠| 婷婷五月综合基地| 啪啪视频99| 久久玖玖99| 九九九九中文字幕| 亚洲成人无码免费| 99欧美热| 色色九九五月天 | 97av在线视频| 99热免费| 97亚洲视频在线| 热91久| 久久曰9| 色播婷婷大香蕉| 日本69日人视频| 久热这里只有精品在线观看| 色婷婷国色天香综合| 五月丁香综合久久| 热久久999| 亚洲区在线| 噜噜噜噜噜在线| 婷婷五月天无码视频| 99久久a线观| 99热精品6| 亚洲熟女色| 大香蕉啪啪啪| 色色欧美色色| 日本97在线| 亚洲精品亚洲人成人网| 色播五月丁香婷婷| 婷婷丁香人妻天天爽| 影音先锋91资源站| 国产精品久久久久9999小说| 2018国产大陆天天弄| 色五月开心久久网| 7777激情基地| 五月婷婷视频ab| 色色色婷婷五月| 99燥99日| 色丁香五月| 伊人久久五月天| 久/久精品99看9| www.第四色99| 色五月丁香总合网| 五月丁香六月| 91色五月在线观看| 九九热AV| 国产精品色婷婷99久久精品| 嫩BBB搡BBBB榛BBBB| 色色五月婷婷久久| 国产无套精品一区二区| 国产肥白大熟妇BBBB视频| 99精品视频偷拍| 色综合久久88色综合中文字幕| 狠狠色噜噜狠狠狠狠综合| 一本久婷婷综合| 无码地址| 五月天伊人综合| 亚洲精品小视频| 色色色热热热| 97碰在线免费观看| 婷婷激情综合色五月久久91| 五月丁香六月激情网| 亚洲成人在线免费| 亚洲AV无码影院| 丁香五月偷拍| 激情久久婷婷| 五月丁香五月婷婷| 极品嫩草| 色婷婷五月婷婷五月婷婷五月| 99啪99| 91视频久久久| 69色婷婷| 国产无遮挡又黄又爽免费网站| 91操色| 超碰在线视屏| 天天综合久久| 国产欧美第五十五页| 91xxxx九色| 五月婷婷免费在线视频| 91av无码| 久狠日av| 婷婷五月色惰| 伊人久久婷婷| 日本va欧美va欧美va精品| 色五月婷婷中文字幕| 亚洲激情亚洲激情| 亚洲无AV在线中文字幕| 色婷婷AV五月天| .精品久久久麻豆国产精品| 婷婷五月天激情影片| 日本99婷婷| 激情五月天激情五月天| 久草嫩草在线观看| 99精品在线观看视频| 丁香五月天亚洲综合| 丁香婷婷九月| 99在线观看视频| 涩涩五月天| 婷婷五月天激情丁香| 日本视频欧美观看免费| 久月婷婷| 99精品国产在热久久| 五月天艹天天| 婷婷丁香黄色| 欧美影院婷婷| 亚洲激情区| AA丁香综合激情| 人妻 性久久久久久| 1024AV视频| 粉嫩av懂色av蜜臀av熟妇| 桃色激情婷婷伊人网| 亚洲视频另类| 久久性爱视频| 婷婷五月天干干| 偷拍91九色| 狠狠操狠狠| 天天爱综合网| 夜夜骑操AV| 888久久久| 亚州美女| 97碰碰视频| 色激情综合狠狠婷婷| 4399高清无码视频| 久久精品99| 青草五月天| 国产阿姨日皮艹逼内射视频| 99久免费视频| 丁香婷婷大香蕉| 色色五月天网站| 久色网五月| 色婷婷国色天香综合| 欧美久久久久久久久中文字幕| 9色在线| 超碰99热| 深爱婷婷丁香五月激情| 久久久久久久综合狠狠综合| 亚洲九九婷婷| 狠狠狠狠青草| 人妻无码视频网| 超碰女人天堂| 成人丁香婷婷| 天天干、天天日日| 狠狠看狠狠| 91婷婷丁香| 色婷婷五月色| 婷婷五月天无码| 婷丁五月| 亚洲日韩人妻操逼| 91欧美| 免费观看亚洲AV片| 人人操人人看97干| 色站9/| 久草婷婷网| 色爆五月| 97操在线| 午夜亚洲AV日韩无码| 日韩啪啪视品| 99在线看视频| 天天日日| 五月色情婷婷| 一区二区aV电影免费看| 婷婷综合玖玖五月| 99ri国产精品| 亚洲亚洲人成综合网络| 国产伦亲子伦亲子视频观看| 99热最新国内| 香蕉97碰碰碰超视精品| 国产精品A片在线| 视频久久9| 操婷婷久久| 色婷婷AV久久| 色吧99| 九九热91| 97人人爱人人操| 天天性视频| 人妻五月天激情开心网| 一本伊人色婷| 激情性爱五月| 日日综合网| 国产成人精品一区二三区熟女在线| 国产小精品| 五月天久久小说| 久久性刺激| 成人婷婷五月天| 天天射天天射一道本日本社区 | 99精品视频免费观看近期发布| 色吊丝中文字幕| 大香蕉网站,大香蕉综合| 色综合久久天天综合网| 久久婷色| 久久九九热re6这里有精品| 丁香婷婷综合影院| 激情丁香图片| 2017狠狠干| 一区二区三区四日本| 踪合专区啪啪| 五月丁香久久综合精品| 五月天婷婷7米| 天天躁日日躁狠狠躁日日躁2022年5月9日| 婷婷丁香大香蕉| 99亚洲天堂| 九九婷婷五月天| 久久伊人大香蕉| 九九超碰人人| 天天插天天草人人玩| 九九性爱网| 婷婷情色开心五月天99| 六月丁香av| 婷婷十月激情综合网| 91中文在线| www.com在线操视频免费观看| 日韩无码一区二区三区四区| 色五月播五月| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 婷婷久久五月| 五月婷婷官网色| 男同91 | 久久一伦| 天天插天天很| 欧美色色色色色色色色色色| 99se丁香| 久久亚洲色导航| 99自拍视频| 青996青| 国语精品探花| A片试看120分钟做受图片| 影音先锋色色色资源色资源色| 久久大香蕉同僚| 国产操B| 五月丁香欧美综合免费视频| 色婷婷久久| 大香蕉久艹| 五月色婷婷影院| 欧美日韩成人在线观看| 激情综合五月开心狠狠| 9久热在线视频| 色色综合网络| 99色色热热| 日本99视频| 888精品福利地址| 五月天开心网| 久久婷婷五月国产色综合激情| 26uuu精品国产| 99热精在线九九久久保| 噜噜噜久久| 国产99精品免费视频| 亚洲欧洲另类| 色婷婷五月综合在线| 九九爱激情| 五月天停停成人网| 精品久久久久成人码免费动漫| 久草五月天电影网| 九九精品丁香花| 99这里有精品视频视频| 啪色综合| 26uuu成人网| 丁香婷婷激情五月| ..真实国产乱子伦毛片| 97婷婷五月| 欧美在线看| 久久精品这里只有精品免费首页| 五月色情婷婷| 日本黄色三级片内射| 丁香五月婷婷激情蜜桃| 亚洲人人操| 丁香五月天之婷婷影院| 中文网AV| 色.五月综合网| 久久丁香综合| 亚洲视频在线观看99| 中文字幕乱码亚洲精品一区| 五月天开心激情综合网| 成人婷99最新| 中文字幕 中文字幕明步| 婷婷色六月| 五月丁香亭亭成人电影| 久久九九囯产| 五月婷婷丁香六月| 久久激情五月网| 丁香五月中文字幕| 青青久久五月| 91ncom.色| 能直接看的AV网站| 精品激情| 久久爱综合| 99只有精品| 亚洲午夜电影| 五月丁香激情在线| 7月婷婷六月丁香| 久久狠婷婷| 婷婷在线中文字幕| 久久婷婷五月综合激情国产 | 五月丁香婷婷久久| sewuyuejiqingwang| 五月天久久久| 色婷另类| 狠狠色丁香久久婷婷综合五月| 丁香五月综合久久| 香蕉网婷婷| 99热国产精品| 婷婷五月天电影网| 狠狠五月天婷婷激情网。| 超碰亚洲天堂| 黄网在线免费播放| WWW.五月com| 日本不卡高字幕在线2019| 丁香色婷婷| www.henhenl| 五月丁香婷婷六月| 99久久99视频只有精品| 狠狠第四色| 超碰97干| 日本一级特黄大片AAAAA级| 久月久在线视频| 欧洲色色| 婷婷另类小说| 综合激情婷婷| WWW.99热| 99久久精品国产色欲| 伊人婷婷福利网| 日日干夜夜干| 天天日天天摸| 欧美成人va| 欧美日韩精品人妻狠狠躁免费视频| 激情第四色| 粉嫩AV久久一区二区三区| 操逼五月婷婷| 亚洲丁香婷婷| 五月婷婷色色爱| 1级欧美日韩| 97婷婷丁香五月天激情图片| 成人午夜免费电影| 五月色婷婷影院| 五月丁香久人妻中文| 激情九月天天天天婷婷| 欧美日韩成人免费在线| 丁香婷婷五月综合影院| 午夜激情婷婷| 五月婷婷伦理| 99色丁香婷婷综合网| 这里只有精品在线免费视频| 亚洲日日操| 五月天淫乱视频| 狠狠操狠狠操AV| 丁香五月天激情综合| 日本色99| 精品一二三区久久AAA片| 激情超碰网| 91九色精品熟女内射| 天插天啪天啪天啪|