欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

Kubernetes Pod 重啟排查全流程:狀態(tài)、事件、日志與根因定位

Kubernetes Pod 重啟排查全流程:狀態(tài)、事件、日志與根因定位 搞 Kubernetes 的誰(shuí)還沒(méi)被 Pod 重啟折磨過(guò)尤其是在線(xiàn)上環(huán)境上一小時(shí)告警還風(fēng)平浪靜下一秒突然彈出通知Pod 頻繁重啟、服務(wù)間歇性不可用甚至直接 CrashLoopBackOff。十次有八次大家第一反應(yīng)是趕緊看日志結(jié)果日志一片正常越查越懵最后只能重啟大法把 Pod 刪了讓 Deployment 重新拉一個(gè)看似好了但過(guò)幾個(gè)小時(shí)又復(fù)發(fā)。以我排查過(guò)幾十個(gè) Pod 重啟問(wèn)題的經(jīng)驗(yàn)來(lái)看這類(lèi)問(wèn)題真正難的地方不是“查不到”而是“查的先后順序不對(duì)”。狀態(tài)、事件、日志、節(jié)點(diǎn)這四層信息必須按順序看順序一亂很容易被表象帶偏。這篇文章就把我平時(shí)排查 POD 重啟問(wèn)題的一套完整流程拆開(kāi)講清楚包括怎么看狀態(tài)、怎么讀事件、什么時(shí)候才輪到日志以及最常見(jiàn)的幾個(gè)根因和那些容易誤判的干擾項(xiàng)。不管你是剛?cè)腴T(mén) Kubernetes 的運(yùn)維還是天天跟 Deployment、ConfigMap、探針打交道的開(kāi)發(fā)這套思路應(yīng)該都能幫你少走不少?gòu)澛贰?. 先從現(xiàn)象說(shuō)起Pod 重啟并不都是 CrashLoopBackOff很多人一看到 Pod 重啟腦子里自動(dòng)就蹦出“CrashLoopBackOff”這個(gè)詞但實(shí)際上“重啟”這兩個(gè)字在 Kubernetes 里對(duì)應(yīng)著好幾種完全不同的現(xiàn)象每種現(xiàn)象的排查入口完全不一樣。如果連現(xiàn)象都沒(méi)分清楚就開(kāi)始查日志大概率會(huì)被帶進(jìn)死胡同。1.1 Pod “重啟”的三個(gè)層面先別混為一談第一層是容器內(nèi)進(jìn)程退出后被殺掉重啟。這個(gè)層面下Pod 本身沒(méi)有消失Running 狀態(tài)還在但容器里的主進(jìn)程曾經(jīng)退出過(guò)Kubelet 按照重啟策略把它重新拉起來(lái)了。表現(xiàn)是RESTARTS這個(gè)字段在漲但 Pod 的名字、UID 都沒(méi)變。第二層是 Pod 被刪除后重建。這種情況常見(jiàn)于 Deployment 滾動(dòng)更新、節(jié)點(diǎn)故障、Pod 被驅(qū)逐Evicted。表現(xiàn)是 Pod 的名字變了比如帶了一串-xxxxx的 hash 后綴或者 AGE 突然變成幾秒鐘。這其實(shí)不是“容器重啟”而是“整個(gè) Pod 生命周期重建”。第三層是節(jié)點(diǎn)重啟導(dǎo)致所有 Pod 重新調(diào)度。節(jié)點(diǎn)宕機(jī)、系統(tǒng)維護(hù)、硬件故障等情況上面所有 Pod 都會(huì)被迫遷移到其他節(jié)點(diǎn)甚至直接失聯(lián)后重建。這時(shí)候你會(huì)看到一批 Pod 的 AGE 幾乎在同一時(shí)間重置而且分布在不同節(jié)點(diǎn)上。這三層我習(xí)慣用一個(gè)生活類(lèi)比來(lái)理解容器重啟等于餐廳廚房里某個(gè)廚師干得好好的突然被換掉餐廳本身還在營(yíng)業(yè)Pod 重建等于整個(gè)店重新裝修了桌子和菜單全部換新節(jié)點(diǎn)重啟等于整棟樓斷電里面所有店鋪都得重新開(kāi)張。排查入口完全不同所以開(kāi)工第一步一定是先確認(rèn)“你遇到的到底是哪一層”。實(shí)際操作中用一條kubectl get pods -n namespace -o wide就能看出不少信息如果 Pod NAME 后綴變了說(shuō)明 Pod 被重建過(guò)如果 NAME 沒(méi)變但 RESTARTS 在漲說(shuō)明是容器反復(fù)重啟再配合 NODE 字段和 AGE節(jié)點(diǎn)層面的干擾也有跡可循。1.2 STATUS 和 RESTARTS 里藏著最直接的線(xiàn)索kubectl get pods的結(jié)果里有幾個(gè)字段非常容易被忽略但其實(shí)信息量很大。STATUS 是你最先應(yīng)該看的它告訴你 Pod 處于什么階段RESTARTS 告訴你當(dāng)前容器重啟了多少次AGE 告訴你這個(gè) Pod 已經(jīng)存活了多久。這里有個(gè)很關(guān)鍵的細(xì)節(jié)如果 Pod 曾經(jīng)被刪除重建RESTARTS 會(huì)歸零因?yàn)樾碌?Pod 里容器是全新啟動(dòng)的。所以你如果看到一個(gè) Pod 的 AGE 只有幾分鐘但 RESTARTS 顯示 10 次說(shuō)明這個(gè) Pod 很穩(wěn)定地“活著”但沒(méi)有“活得健康”容器一直在被殺又重啟卻沒(méi)觸發(fā) Pod 重建——這種通常和探針有關(guān)。反過(guò)來(lái)如果看到一批 Pod 的 AGE 都只有幾秒RESTARTS 也是 0那大概率是 Deployment 滾動(dòng)更新或者節(jié)點(diǎn)故障觸發(fā)了整體重建根本不是“某個(gè)應(yīng)用崩了”而是上層動(dòng)作導(dǎo)致的。STATUS 的值也分好幾種CrashLoopBackOff表示容器啟動(dòng)后反復(fù)退出Kubelet 用了指數(shù)退避策略重啟間隔會(huì)越來(lái)越長(zhǎng)Running表示容器正在運(yùn)行但如果 RESTARTS 一直在漲說(shuō)明有探針在殺它Error通常是容器執(zhí)行完但退出時(shí)出錯(cuò)Completed是正常執(zhí)行完就退出常用于一次性任務(wù)Evicted則是被節(jié)點(diǎn)驅(qū)逐這個(gè)后面會(huì)專(zhuān)門(mén)說(shuō)。先把這個(gè)表格刻在腦子里看到什么狀態(tài)就知道往哪個(gè)方向查。STATUS含義優(yōu)先排查方向CrashLoopBackOff容器反復(fù)啟動(dòng)即退出退避重啟退出碼、啟動(dòng)命令、配置掛載Running RESTARTS 漲容器活著但被健康檢查殺掉Liveness/Readiness 探針配置OOMKilled容器內(nèi)存超過(guò) limits 被內(nèi)核殺死內(nèi)存配額、應(yīng)用內(nèi)存占用EvictedPod 被節(jié)點(diǎn)驅(qū)逐節(jié)點(diǎn)磁盤(pán)/內(nèi)存壓力Error容器異常退出退出碼、應(yīng)用日志Completed正常退出一次性任務(wù)一般無(wú)需處理2. 排查第一件事先分清是誰(shuí)在重啟當(dāng)你確定 “Pod 確實(shí)在重啟” 之后第一件事不是抓日志而是用kubectl describe看清楚這輪重啟的“案發(fā)現(xiàn)場(chǎng)”。我會(huì)把這步叫作“看尸檢報(bào)告”因?yàn)槿萜鞅恢貑⒑笊弦惠嗊M(jìn)程的狀態(tài)、退出時(shí)間、退出碼、被誰(shuí)殺掉的這些都記錄在 Pod 的狀態(tài)里不先看這些就直接翻日志等于跳過(guò)報(bào)告去猜死因非常容易漏掉關(guān)鍵信息。2.1 用 kubectl describe pod 讀重啟的“尸檢報(bào)告”kubectl describe pod pod-name -n namespace輸出的內(nèi)容很長(zhǎng)但核心就幾個(gè)區(qū)域。最上面是 Pod 基本信息包括 Node、IP、QoS 等級(jí)中間的 Conditions 反映 Ready、PodScheduled、Initialized 等狀態(tài)再往下是容器列表每個(gè)容器下面有 State、Last State、Exit Code、Reason 和 Started/Finished 時(shí)間最后是滾動(dòng)的 Events 時(shí)間線(xiàn)。我重點(diǎn)看的是 Last State 那一塊。Last State 里會(huì)記錄上一個(gè)容器的終止時(shí)間和退出碼如果顯示 TerminatedReason 是 Completed 還是 ErrorExit Code 是多少這決定了排查方向。舉個(gè)例子如果 Exit Code 是 0說(shuō)明上一個(gè)進(jìn)程是被“正常結(jié)束”的通常意味著有人刪 Pod、滾動(dòng)更新觸發(fā)優(yōu)雅終止或者探針之外的機(jī)制主動(dòng)殺了它如果 Exit Code 是 137對(duì)應(yīng) 128 9也就是 SIGKILL這往往是被 OOM Killer 或者外部 kill 命令強(qiáng)殺的如果是 143對(duì)應(yīng) 128 15也就是 SIGTERM通常是收到了優(yōu)雅終止信號(hào)但沒(méi)處理完如果是 1、2 這種就是應(yīng)用自身啟動(dòng)失敗或運(yùn)行錯(cuò)誤。這里面的坑是137 并不完全等同于內(nèi)存超限。Kubelet 主動(dòng)殺掉容器時(shí)Exit Code 也可能被標(biāo)記為 137尤其是探針失敗、節(jié)點(diǎn)驅(qū)逐、手動(dòng)刪除容器這些場(chǎng)景也會(huì)走 SIGKILL。所以看到 137 先別急著下“肯定是 OOM”的結(jié)論得繼續(xù)看 Reason 字段。如果 Reason 寫(xiě)的是 OOMKilled那才是內(nèi)存原因如果 Reason 是 ContainerCannotRun 或者空那就要再往 Events 里找。2.2 一份退出碼速查表排查時(shí)對(duì)照著看我整理過(guò)一份簡(jiǎn)化版的退出碼速查表排查時(shí)貼在終端旁邊非常實(shí)用Exit Code含義常見(jiàn)場(chǎng)景0正常退出任務(wù)執(zhí)行完、主動(dòng)退出、優(yōu)雅終止1通用應(yīng)用錯(cuò)誤啟動(dòng)失敗、配置錯(cuò)誤、運(yùn)行時(shí)異常2參數(shù)/環(huán)境錯(cuò)誤啟動(dòng)腳本參數(shù)不對(duì)、依賴(lài)缺失126命令不可執(zhí)行權(quán)限問(wèn)題、或動(dòng)態(tài)鏈接庫(kù)缺失127命令不存在entrypoint/command 寫(xiě)錯(cuò)、鏡像缺少命令137SIGKILL內(nèi)存 OOM、被強(qiáng)殺、節(jié)點(diǎn)壓力143SIGTERM優(yōu)雅終止超時(shí)后被 SIGKILL 跟進(jìn)有一次我排查一個(gè) Java 應(yīng)用頻繁重啟describe 里顯示 Exit Code 是 137Reason 是 OOMKilled但看應(yīng)用日志根本沒(méi)打印任何 JVM 內(nèi)存溢出異常。后來(lái)才發(fā)現(xiàn)OOM 發(fā)生在容器總內(nèi)存層面應(yīng)用層根本來(lái)不及報(bào)錯(cuò)內(nèi)核直接把進(jìn)程殺了。這類(lèi)問(wèn)題如果只查日志永遠(yuǎn)找不到原因必須結(jié)合 describe 和節(jié)點(diǎn)層的內(nèi)存監(jiān)控一起看。2.3 一個(gè)很常見(jiàn)的誤判RESTARTS 高但 STATUS 是 Running很多新手看到 STATUS 是 Running 就覺(jué)得“沒(méi)問(wèn)題”實(shí)際上這是最容易被坑的場(chǎng)景之一。如果容器狀態(tài)是 Running但 RESTARTS 一直在漲最常見(jiàn)的原因是 Liveness 探針失敗——Kubelet 判斷容器不健康殺掉了它然后又按策略拉起來(lái)。這時(shí)候日志往往非?!罢!币?yàn)閼?yīng)用啟動(dòng)后確實(shí)能跑只是探針訪(fǎng)問(wèn)的端口或路徑在特定時(shí)刻響應(yīng)超時(shí)觸發(fā)了 kill。所以我的排查習(xí)慣是先看 STATUS 能排除掉很多方向再看 RESTARTS 的漲勢(shì)判斷是持續(xù)還是偶爾然后立刻kubectl describe看 Last State 和 Reason。如果這些都看完還不能定位才考慮日志。這個(gè)順序能幫你過(guò)濾掉至少一半的無(wú)效信息。3. 三個(gè)最常見(jiàn)的重啟根因與定位方法根據(jù)我這些年的經(jīng)驗(yàn)線(xiàn)上 Pod 重啟 80% 以上逃不出這三個(gè)方向健康檢查探針配置不合理、內(nèi)存資源限制導(dǎo)致 OOM、配置或鏡像問(wèn)題導(dǎo)致啟動(dòng)即退出。每一個(gè)都有比較典型的特征掌握一套對(duì)應(yīng)的定位方法排查效率能提升一大截。3.1 Liveness 探針配置不當(dāng)容器“死于”健康檢查這是我見(jiàn)過(guò)最多的一個(gè)坑也是最“玄學(xué)”的一類(lèi)問(wèn)題。容器明明進(jìn)程還在、端口也在監(jiān)聽(tīng)但 Kubelet 通過(guò) Liveness 探針檢查時(shí)發(fā)現(xiàn)不健康于是按照策略把容器殺了重啟。表現(xiàn)非常典型STATUS 是 RunningRESTARTS 持續(xù)上漲describe 里能看到 “Liveness probe failed” 和 “Killing container” 的事件但應(yīng)用側(cè)日志往往沒(méi)有致命報(bào)錯(cuò)。Liveness 探針有幾個(gè)參數(shù)會(huì)直接影響重啟行為initialDelaySeconds是容器啟動(dòng)后等待多久才開(kāi)始探測(cè)設(shè)短了會(huì)導(dǎo)致應(yīng)用還沒(méi)完全初始化就被探針判定失敗periodSeconds是探測(cè)頻率默認(rèn) 10 秒太頻繁會(huì)放大瞬時(shí)波動(dòng)timeoutSeconds是單次探測(cè)的超時(shí)時(shí)間默認(rèn)只有 1 秒這個(gè)非常容易踩雷——很多應(yīng)用的 HTTP 接口在 GC 停頓、慢查詢(xún)或瞬時(shí)高負(fù)載時(shí)響應(yīng)時(shí)間超過(guò) 1 秒很正常但探針等不了直接就失敗failureThreshold是連續(xù)失敗多少次才觸發(fā)重啟默認(rèn) 3 次。我踩過(guò)最慘的一次是一個(gè) Java 服務(wù)啟動(dòng)需要大概 40 秒但 YAML 里initialDelaySeconds配的是 10periodSeconds是 10failureThreshold是 3。等于說(shuō)應(yīng)用還在啟動(dòng)階段探針已經(jīng)開(kāi)始探測(cè)三次失敗后 Kubelet 直接殺容器重啟然后又是 40 秒啟動(dòng)又是 30 秒后被探針殺掉形成了一個(gè)永遠(yuǎn)起不來(lái)的循環(huán)。表面上看是 CrashLoopBackOff實(shí)際根因就是探針配置和實(shí)際啟動(dòng)時(shí)間不匹配。解決辦法很簡(jiǎn)單把initialDelaySeconds調(diào)大到 60讓?xiě)?yīng)用先完成啟動(dòng)再開(kāi)始健康檢查。這里要特別強(qiáng)調(diào)一個(gè)概念Readiness 探針和 Liveness 探針職責(zé)不同。Readiness 失敗只代表“這個(gè)容器暫時(shí)不能接收流量”Kubelet 會(huì)把它的 Endpoint 摘掉不會(huì)殺容器只有 Liveness 失敗才會(huì)觸發(fā)重啟。很多團(tuán)隊(duì)圖省事把 Readiness 和 Liveness 配成一模一樣結(jié)果一個(gè)接口偶發(fā)慢查詢(xún)集群里一堆副本進(jìn)入 NotReady 狀態(tài)甚至容器反復(fù)重啟流量反復(fù)轉(zhuǎn)移。如果你遇到 Pod “又重啟又看起來(lái)正?!钡那闆r先搞清楚到底是哪個(gè)探針在報(bào)錯(cuò)describe 的 Events 里會(huì)明確寫(xiě)。3.2 資源限制導(dǎo)致 OOMKilled進(jìn)程“安靜的”消失了容器重啟的第二個(gè)高頻根因是內(nèi)存超限。每個(gè)容器可以設(shè)置requests和limits其中 limits 是硬上限一旦容器內(nèi)存用量超過(guò)這個(gè)值內(nèi)核 OOM Killer 就會(huì)介入直接發(fā)送 SIGKILL 殺掉容器里最耗內(nèi)存的進(jìn)程。表現(xiàn)是 Pod STATUS 一度是 OOMKilled然后被 Kubelet 重啟RESTARTS 加一一段時(shí)間后又重復(fù)。describe 里會(huì)看到 Reason: OOMKilledExit Code: 137。定位 OOM 問(wèn)題有個(gè)很關(guān)鍵的坑容器被殺的時(shí)候應(yīng)用本身可能根本來(lái)不及打印任何錯(cuò)誤日志所以你在kubectl logs里看不到“OutOfMemory”之類(lèi)的字樣。正確做法是看kubectl describe的 Reason以及節(jié)點(diǎn)層面的dmesg輸出里面會(huì)出現(xiàn)oom-killer和對(duì)應(yīng)的進(jìn)程 PID。另外監(jiān)控曲線(xiàn)非常重要要看容器內(nèi)存是緩慢爬坡最終觸頂還是瞬間突刺。緩慢爬坡大概率是內(nèi)存泄漏瞬間突刺往往是業(yè)務(wù)高峰或某個(gè)大請(qǐng)求導(dǎo)致的那就需要從應(yīng)用層去限流或優(yōu)化。JVM 應(yīng)用是 OOM 重災(zāi)區(qū)中的重災(zāi)區(qū)。很多團(tuán)隊(duì)把容器 limits 設(shè)成 4Gi但在 JVM 啟動(dòng)參數(shù)里把堆設(shè)成-Xmx3g看著好像沒(méi)問(wèn)題實(shí)際上 JVM 除了堆還有元空間、線(xiàn)程棧、JIT 編譯緩存、堆外內(nèi)存等一大堆開(kāi)銷(xiāo)加起來(lái)輕松超過(guò) 4Gi。換句話(huà)說(shuō)容器 limits 不足堆還沒(méi)到上限整個(gè)容器先被殺了。經(jīng)驗(yàn)做法是-Xmx不要超過(guò)容器 limits 的 60%—70%預(yù)留出堆外和系統(tǒng)層面的緩沖。這個(gè)問(wèn)題如果不用 describe 和內(nèi)存監(jiān)控一起看很容易誤判成“Java 進(jìn)程崩了”實(shí)際上容器層面先你一步動(dòng)了手。3.3 配置或鏡像問(wèn)題導(dǎo)致進(jìn)程啟動(dòng)即退出CrashLoopBackOff 的老熟人第三種常見(jiàn)根因就是容器啟動(dòng)起來(lái)之后立刻崩潰導(dǎo)致 Kubelet 反復(fù)拉起進(jìn)入 CrashLoopBackOff。這種問(wèn)題的特征最明顯STATUS 直接是 CrashLoopBackOff退出碼往往非 0。但“啟動(dòng)即退出”的誘因很多我把它拆成幾類(lèi)逐步排查。第一類(lèi)是啟動(dòng)命令或入口配置錯(cuò)誤。Deployment 里command和args寫(xiě)錯(cuò)比如指向了一個(gè)不存在的文件鏡像沒(méi)有那個(gè)二進(jìn)制就會(huì)報(bào) Exit Code 127command not found如果二進(jìn)制存在但沒(méi)有執(zhí)行權(quán)限Exit Code 是 126。這類(lèi)問(wèn)題查起來(lái)最直接kubectl logs看一下就會(huì)看到 “exec: ...: not found” 或者權(quán)限錯(cuò)誤。第二類(lèi)是 ConfigMap 掛載問(wèn)題。Deployment 通過(guò) volume 掛載 ConfigMap 時(shí)如果 key 不存在、路徑寫(xiě)錯(cuò)了、或者掛載的配置文件名和應(yīng)用預(yù)期不一致應(yīng)用啟動(dòng)時(shí)找不到配置文件就直接退出。這類(lèi)問(wèn)題的坑在于它可能不是每次都會(huì)失敗因?yàn)槟承?yīng)用會(huì)根據(jù)環(huán)境變量或默認(rèn)值兜底只在特定條件下才讀某個(gè) key。我遇到過(guò)一個(gè)典型場(chǎng)景項(xiàng)目里把一個(gè) ConfigMap 的 key 從APP_CONF改成了app.confDeployment 里的掛載路徑也改了但新版本鏡像里的啟動(dòng)腳本讀的還是舊路徑線(xiàn)上直接 CrashLoopBackOffdescribe 里只看到MountVolume.SetUp failed的 events應(yīng)用日志基本為空或者只有一行 “file not found”。第三類(lèi)是啟動(dòng)腳本依賴(lài)外部依賴(lài)。比如應(yīng)用啟動(dòng)時(shí)要連接數(shù)據(jù)庫(kù)、Redis、或者注冊(cè)中心如果這些依賴(lài)沒(méi)就緒或者地址配錯(cuò)應(yīng)用會(huì)連接失敗后直接退出。這種在微服務(wù)架構(gòu)里特別常見(jiàn)癥狀和“代碼有問(wèn)題”非常像。排查時(shí)先看啟動(dòng)日志里的報(bào)錯(cuò)信息是connect refused還是unknown host前者查網(wǎng)絡(luò)和端口后者查 DNS 解析和 Service 配置。這里也順帶提醒一句不要一看到 CrashLoopBackOff 就懷疑代碼質(zhì)量先檢查配置聲明、環(huán)境變量、掛載卷再往深處挖。4. 從事件到日志一層層剝開(kāi)真相當(dāng)狀態(tài)、事件都看完了還沒(méi)有鎖定根因下一步才是日志。但日志的打開(kāi)方式也有講究很多人一頭扎進(jìn)kubectl logs猛翻結(jié)果看到的是重啟之后的“新”進(jìn)程日志上一輪進(jìn)程退出前寫(xiě)的“遺言”根本沒(méi)看見(jiàn)。4.1 kubectl logs --previous 才能看到上一輪的“遺言”在容器被重啟之后kubectl logs默認(rèn)顯示的是當(dāng)前容器進(jìn)程的輸出。如果當(dāng)前進(jìn)程又活了但上一輪是崩潰退出的你真正需要的是上一個(gè)進(jìn)程留下的日志。這時(shí)候必須加--previous參數(shù)kubectl logs pod-name -n namespace --previous --tail50這個(gè)命令會(huì)返回上一次容器實(shí)例的日志也就是崩潰前打印的最后 50 行。很多 CrashLoopBackOff 的真相就藏在這幾十行里。比如啟動(dòng)腳本報(bào)Caused by: java.lang.IllegalArgumentException: ...或者 Python 直接 traceback一目了然。有個(gè)需要注意的細(xì)節(jié)如果容器狀態(tài)已經(jīng)是 CrashLoopBackOffKubelet 會(huì)按退避策略等待一段時(shí)間才重啟下一次但--previous日志只在容器被重建之前有效。如果 Pod 已經(jīng)被刪除重建歷史容器日志就沒(méi)了。所以要趁重啟間隙趕緊抓或者用-f持續(xù)跟蹤當(dāng)前日志等到下一次崩潰瞬間的尾部輸出。我自己還會(huì)把日志推到 stdout 的同時(shí)寫(xiě)到本地文件萬(wàn)一崩潰太頻繁至少本地文件能留底。4.2 kubectl get events 是重建時(shí)間線(xiàn)的最好工具事件Events是 Kubernetes 的審計(jì)日志記錄了 Pod 生命周期里的每一個(gè)關(guān)鍵動(dòng)作。排查重啟問(wèn)題時(shí)我會(huì)把 Events 按時(shí)間排好序看一遍基本能把“誰(shuí)在什么時(shí)候干了什么”還原出來(lái)kubectl get events -n namespace --sort-by.lastTimestamp如果 Pod 很多可以加--field-selector只看目標(biāo) Podkubectl get events -n namespace --field-selector involvedObject.namepod-name --sort-by.lastTimestampEvents 里最有價(jià)值的幾類(lèi)信息Scheduled說(shuō)明 Pod 被調(diào)度到哪個(gè)節(jié)點(diǎn)Created/Started是容器創(chuàng)建的節(jié)點(diǎn)Killing或者Unhealthy往往是觸發(fā)重啟的直接原因Evicted則說(shuō)明是節(jié)點(diǎn)壓力導(dǎo)致驅(qū)逐。有一次我排查一個(gè) Pod 頻繁重啟應(yīng)用日志干凈得不行但 Events 里反復(fù)出現(xiàn)Liveness probe failed: HTTP probe failed with statuscode: 500緊接著又是Killing container。這一下就把嫌疑集中到了探針和它后面的應(yīng)用路徑上再往應(yīng)用層查探針接口為什么偶發(fā) 500就順理成章了。我在團(tuán)隊(duì)里常說(shuō)一句話(huà)Events 是案發(fā)現(xiàn)場(chǎng)的監(jiān)控錄像日志只是兇手臨走前留下的字條。先看錄像再讀字條順序不要反。很多人在kubectl logs里耗兩小時(shí)回頭一看 Events 里早就寫(xiě)得明明白白。4.3 別忽略節(jié)點(diǎn)層面kubelet 日志和節(jié)點(diǎn)健康狀況如果是節(jié)點(diǎn)層面的問(wèn)題比如 kubelet 崩潰、磁盤(pán)滿(mǎn)了、節(jié)點(diǎn)內(nèi)存不足光看 Pod 內(nèi)部的信息是看不出來(lái)的。這時(shí)候需要把視野從 Pod 提升到 Node 層。一條比較有用的命令是journalctl -u kubelet -n 200 --no-pagerkubelet 日志里能看到它對(duì)某個(gè)容器的SyncLoop判斷、探針失敗記錄、驅(qū)逐決策等信息。節(jié)點(diǎn)磁盤(pán)滿(mǎn)會(huì)導(dǎo)致鏡像拉取失敗、容器日志寫(xiě)不進(jìn)去甚至觸發(fā) Pod 驅(qū)逐節(jié)點(diǎn)內(nèi)存壓力觸發(fā)系統(tǒng) OOM 或者 Eviction Manager 介入Pod 會(huì)被標(biāo)記為Evicted。這些在 Pod 的 Events 里能看到但根因在節(jié)點(diǎn)上不結(jié)合起來(lái)看就容易誤判成應(yīng)用問(wèn)題。另外DNS 和網(wǎng)絡(luò)配置也經(jīng)常背鍋。有些應(yīng)用啟動(dòng)時(shí)需要解析外部的服務(wù)域名如果節(jié)點(diǎn)上的 DNS 配置有問(wèn)題Pod 里解析一直失敗應(yīng)用就反復(fù)啟動(dòng)退出。這種問(wèn)題我們?cè)?K8s 里排查時(shí)也可以借鑒一個(gè)思路系統(tǒng)層面“重啟能恢復(fù)”的怪毛病往往和某個(gè)服務(wù)狀態(tài)異常有關(guān)比如 DNS 緩存、網(wǎng)絡(luò)棧狀態(tài)先在事件里把時(shí)間點(diǎn)對(duì)齊再判斷到底是哪一層出了問(wèn)題。4.4 實(shí)操?gòu)?fù)盤(pán)一次 Java 服務(wù)頻繁重啟的完整排查說(shuō)一個(gè)我印象很深的實(shí)際案例。當(dāng)時(shí)線(xiàn)上有個(gè) Java 服務(wù)告警顯示 Pod RESTARTS 每隔 10 分鐘左右漲一次STATUS 一直是 Running。團(tuán)隊(duì)里有人說(shuō)“狀態(tài)正??赡苁钦`報(bào)”但我看 RESTARTS 在漲就知道肯定有東西在殺容器。我執(zhí)行的第一條命令是kubectl describe pod看到 Last State 顯示 Exit Code 137但 Reason 并不是 OOMKilled而是空。這說(shuō)明不是內(nèi)存問(wèn)題那就有可能是探針失敗后 Kubelet 主動(dòng) SIGKILL。然后我用kubectl get events --sort-by.lastTimestamp看了一下時(shí)間線(xiàn)里面清楚地寫(xiě)著Unhealthy和Liveness probe failed: HTTP probe failed with statuscode: 500。再往前幾條 Events是/healthz返回 500 后探針連續(xù)失敗。接下來(lái)我沒(méi)有繼續(xù)翻業(yè)務(wù)日志而是先看探針配置timeoutSeconds默認(rèn)是 1 秒但服務(wù)的/healthz接口在 GC 發(fā)生時(shí)會(huì)偶爾慢過(guò) 1 秒。FS 小哥也確認(rèn)服務(wù)堆內(nèi)存較大Full GC 時(shí)停頓能達(dá)到好幾秒。于是我把探針的timeoutSeconds調(diào)到了 5periodSeconds保持 10 秒同時(shí)讓?xiě)?yīng)用團(tuán)隊(duì)優(yōu)化 GC 參數(shù)問(wèn)題很快就不再出現(xiàn)。四步定位先看狀態(tài)排掉分支再看 describe 鎖定退出碼再用 Events 找到直接觸發(fā)原因最后結(jié)合探針配置和應(yīng)用行為制定修復(fù)方案。全程沒(méi)靠猜這就是順序的力量。5. 還要小心“看似 Pod 重啟”的干擾項(xiàng)排查 Pod 重啟問(wèn)題最怕的不是根因復(fù)雜而是被干擾項(xiàng)帶偏方向。有幾種情況和“Pod 重啟”非常像但實(shí)際上完全是另一碼事。如果在第一步?jīng)]識(shí)別出來(lái)后面所有精力都白費(fèi)。5.1 節(jié)點(diǎn)重啟導(dǎo)致一批 Pod 同時(shí)“重啟”節(jié)點(diǎn)宕機(jī)、系統(tǒng)升級(jí)、硬件被重啟會(huì)導(dǎo)致節(jié)點(diǎn)上的所有 Pod 突然消失隨后重新調(diào)度到其他節(jié)點(diǎn)甚至同一個(gè)節(jié)點(diǎn)重啟回來(lái)。這種時(shí)候你在kubectl get pods里看到一堆 Pod 的 AGE 都?xì)w零RESTARTS 也可能歸零第一反應(yīng)可能是“某個(gè)應(yīng)用掛了”實(shí)際上你看到的是一整批 Pod 被重建。怎么判斷先看kubectl get nodes里節(jié)點(diǎn)的 AGE 和 CONDITIONS。如果節(jié)點(diǎn) Uptime 只有幾分鐘再看 kubelet 的啟動(dòng)時(shí)間基本能確認(rèn)是不是節(jié)點(diǎn)層重啟。另外看 Pod 是不是分布在同一個(gè)節(jié)點(diǎn)上特別關(guān)鍵。如果重啟的 Pod 集中在同一個(gè) Node 上那問(wèn)題大概率不在應(yīng)用而在節(jié)點(diǎn)生命周期。這就像 Windows 系統(tǒng)重啟后開(kāi)機(jī)黑屏、拔掉網(wǎng)線(xiàn)就正常的那種“硬故障”你得先查系統(tǒng)底層和驅(qū)動(dòng)而不是在應(yīng)用層摳日志。5.2 Evicted 和搶占Pod 被驅(qū)逐而非崩潰節(jié)點(diǎn)有磁盤(pán)壓力、內(nèi)存壓力、PID 壓力時(shí)kubelet 會(huì)執(zhí)行驅(qū)逐策略把一部分 Pod 標(biāo)記為Evicted隨后刪除。被驅(qū)逐的 Pod 通常不是“崩潰”了而是“被請(qǐng)走”了。它們的 STATUS 會(huì)顯示Evicteddescribe 里能看到類(lèi)似node.kubernetes.io/disk-pressure的污點(diǎn)和事件。這種情況如果你只盯著應(yīng)用日志會(huì)發(fā)現(xiàn)什么異常都沒(méi)有因?yàn)閼?yīng)用可能是被 SIGTERM 優(yōu)雅停掉的甚至日志里只有 graceful shutdown 的記錄。真正要查的是節(jié)點(diǎn)層面的監(jiān)控磁盤(pán)使用率、內(nèi)存水位、inode 數(shù)量。如果節(jié)點(diǎn)磁盤(pán)滿(mǎn)了鏡像拉取、日志寫(xiě)入都會(huì)出問(wèn)題Pod 也會(huì)被優(yōu)先驅(qū)逐。另外如果集群里有搶占式 PodPriorityClass 很高低優(yōu)先級(jí)的 Pod 可能會(huì)被搶占刪除這在 Events 里能看到Preempting相關(guān)條目。5.3 滾動(dòng)更新和配置變更造成的“假重啟”Deployment 升級(jí)鏡像、修改副本參數(shù)、或者觸發(fā)rollout restart都會(huì)創(chuàng)建新的 ReplicaSet然后滾動(dòng)替換舊 Pod。這時(shí)候你會(huì)看到舊 Pod 被刪、新 Pod 被創(chuàng)建表面上也是“Pod 重啟”但這是一個(gè)期望中的發(fā)布動(dòng)作不是故障。判斷方法很簡(jiǎn)單看 ReplicaSet。kubectl get rs -n namespace如果出現(xiàn)了新的 ReplicaSet且新舊并行那就說(shuō)明是發(fā)布不是故障。還有kubectl rollout status deployment/name能直接看到當(dāng)前部署狀態(tài)。這里有個(gè)工程上的常見(jiàn)坑修改 ConfigMap 并不會(huì)自動(dòng)觸發(fā) Deployment 滾動(dòng)更新很多人改了配置后手動(dòng)刪除 Pod 讓它重建如果 ConfigMap 名稱(chēng)沒(méi)變很多場(chǎng)景下 kubelet 不會(huì)重新拉取最新的配置掛載雖然新版 K8s 有了更細(xì)的優(yōu)化但很多情況下還是需要顯式觸發(fā)。規(guī)范做法是配置變更后執(zhí)行kubectl rollout restart deployment/name讓它走一遍新 ReplicaSet 的滾動(dòng)邏輯而不是手動(dòng)隨機(jī)刪 Pod。5.4 云廠(chǎng)商底層故障與基礎(chǔ)設(shè)施漂移最后一個(gè)干擾項(xiàng)來(lái)自基礎(chǔ)設(shè)施層。節(jié)點(diǎn)出現(xiàn) NotReady、被云平臺(tái)自動(dòng)重啟、或者底層網(wǎng)絡(luò)設(shè)備故障也可能導(dǎo)致 Pod 重啟。這種情況下Pod 層面能看到的只有“節(jié)點(diǎn)失聯(lián)”“容器重建”之類(lèi)的結(jié)果根因在集群之外。排查時(shí)要結(jié)合云平臺(tái)的控制臺(tái)事件和節(jié)點(diǎn)監(jiān)控把時(shí)間線(xiàn)對(duì)齊。很多 SRE 在這類(lèi)問(wèn)題上有過(guò)慘痛教訓(xùn)排查一整天應(yīng)用側(cè)毫無(wú)頭緒最后發(fā)現(xiàn)是底層虛擬機(jī)漂移。6. 如何減少 Pod 重啟探針與資源的工程化實(shí)踐排查問(wèn)題很重要但更值得花時(shí)間的是讓這些問(wèn)題少發(fā)生。Pod 重啟這件事尤其是探針 OOM 和配置不當(dāng)引發(fā)的重啟大部分是可以在架構(gòu)和配置層面提前規(guī)避的。這一節(jié)我把它沉淀成幾個(gè)工程化建議。6.1 探針配置的量化建議和模板探針不是越嚴(yán)格越好而是要符合應(yīng)用的實(shí)際啟動(dòng)時(shí)間和對(duì)瞬時(shí)故障的容忍度。我通常按下面這個(gè)模板來(lái)配置livenessProbe: httpGet: path: /healthz port: 8080 initialDelaySeconds: 60 periodSeconds: 10 timeoutSeconds: 3 failureThreshold: 3 readinessProbe: httpGet: path: /ready port: 8080 initialDelaySeconds: 60 periodSeconds: 5 timeoutSeconds: 2 failureThreshold: 2解釋一下幾個(gè)關(guān)鍵參數(shù)的思路。initialDelaySeconds要覆蓋應(yīng)用最慢啟動(dòng)時(shí)間寧大勿小至少要在“實(shí)測(cè)從容器創(chuàng)建到接口可響應(yīng)”的時(shí)間基礎(chǔ)上再加 20 秒冗余。timeoutSeconds別用默認(rèn)的 1 秒除非你確認(rèn)應(yīng)用接口響應(yīng)永遠(yuǎn)在毫秒級(jí)否則至少給 3 秒。failureThreshold不建議堆到幾十次那等于把探針變成了擺設(shè)合理區(qū)間是 2—5 次既能容忍偶發(fā)抖動(dòng)又不至于讓不健康容器長(zhǎng)期留在服務(wù)里。還有一條很重要的原則探針路徑必須輕量。不要把數(shù)據(jù)庫(kù)連接檢查、下游依賴(lài)檢查都塞進(jìn)/healthz里否則數(shù)據(jù)庫(kù)抖動(dòng)一次所有 Pod 一起重啟這是典型的故障放大。健康檢查應(yīng)該只反映本進(jìn)程的存活狀態(tài)下游依賴(lài)的狀態(tài)交給業(yè)務(wù)層的熔斷和報(bào)告機(jī)制。6.2 資源配額與 JVM/內(nèi)存優(yōu)化內(nèi)存類(lèi)應(yīng)用最容易因 OOM 和重啟糾纏不清所以資源配額不能拍腦袋。我的建議是requests必須設(shè)不要只給limits。只給 limits 不給 requests會(huì)導(dǎo)致調(diào)度器以為節(jié)點(diǎn)資源很寬裕實(shí)際運(yùn)行時(shí)卻在高水位很容易觸發(fā)節(jié)點(diǎn)級(jí)壓力。盡量讓 requests 等于實(shí)際穩(wěn)態(tài)占用limits 比 requests 高出一定冗余比如 1.2 到 1.5 倍但不要差距過(guò)大否則會(huì)削弱 QoS 保障。JVM 應(yīng)用有一個(gè)鐵律-Xmx必須小于容器 limits而且要留足堆外空間。粗略估算時(shí)容器 limits 可以按“堆內(nèi)存的 1.5 倍”起步比如-Xmx2g的容器limits 至少給 3Gi。如果有大量線(xiàn)程、堆外緩存或者 NIO 緩沖還要再上調(diào)。要不然你總會(huì)遇到那種“明明堆內(nèi)存還有一半容器卻被 OOM 殺掉”的詭異問(wèn)題實(shí)際上元空間和堆外早就爆了。集群層還可以用 LimitRanger 和 ResourceQuota 兜底避免某個(gè)團(tuán)隊(duì)隨手寫(xiě)一個(gè)巨大的 limits。這些策略看起來(lái)是約束實(shí)際上是在保護(hù)整個(gè)集群的穩(wěn)定性也保護(hù)你自己的服務(wù)不會(huì)互相踩踏。6.3 配置變更與發(fā)布策略ConfigMap 和 Deployment 是結(jié)對(duì)出現(xiàn)的但配置變了不會(huì)自動(dòng)滾動(dòng)更新這是很多人栽過(guò)跟頭的地方。工程化的做法是ConfigMap 一旦創(chuàng)建不要原地修改而是新版本命名空間下重建一個(gè) ConfigMap比如帶 v2 后綴然后通過(guò)修改 Deployment 里的 configMap 引用并執(zhí)行kubectl rollout restart。這樣既保留歷史版本又能回滾。K8s 1.20 還支持 ConfigMap 的immutable: true選項(xiàng)直接禁止原地修改避免誤操作。滾動(dòng)發(fā)布的參數(shù)也值得精確控制。Deployment 里的maxSurge和maxUnavailable決定滾動(dòng)的節(jié)奏。舉例strategy: type: RollingUpdate rollingUpdate: maxSurge: 1 maxUnavailable: 0這個(gè)配置的意思是滾動(dòng)過(guò)程中最多額外創(chuàng)建一個(gè)新 Pod并且不允許服務(wù)實(shí)例數(shù)降到期望值以下。適合在線(xiàn)服務(wù)能最大程度保證容量。缺點(diǎn)是發(fā)布速度慢一些但換來(lái)的安全感非常值。尤其是你的服務(wù)有流量突刺maxUnavailable: 0能避免發(fā)布瞬間大量請(qǐng)求 503。另外給容器加preStophook 是減少“被 SIGKILL”的有效手段lifecycle: preStop: exec: command: [/bin/sh, -c, sleep 5]Kubelet 在收到停止信號(hào)時(shí)先執(zhí)行 preStop 的 sleep再發(fā) SIGTERM 給主進(jìn)程。這幾秒時(shí)間能讓?xiě)?yīng)用把進(jìn)行中的請(qǐng)求處理完把連接優(yōu)雅關(guān)閉。對(duì)很多服務(wù)端應(yīng)用來(lái)說(shuō)少了這 5 秒后面省下的排障時(shí)間可能是幾個(gè)小時(shí)的量級(jí)。6.4 建立“重啟即告警”的可觀(guān)測(cè)性與其等用戶(hù)反饋“服務(wù)掛了一會(huì)兒”不如在重啟剛開(kāi)始時(shí)就收到告警。Prometheus 生態(tài)里kube-state-metrics 會(huì)暴露一個(gè)指標(biāo)kube_pod_container_status_restarts_total記錄容器累計(jì)重啟次數(shù)。可以用它做一條簡(jiǎn)單的告警規(guī)則- alert: ContainerRestarting expr: increase(kube_pod_container_status_restarts_total[5m]) 2 for: 5m labels: severity: warning annotations: summary: Pod {{ $labels.namespace }}/{{ $labels.pod }} container {{ $labels.container }} restarting意思是“5 分鐘內(nèi)某個(gè)容器重啟超過(guò) 2 次并且持續(xù) 5 分鐘”就觸發(fā)告警。這個(gè)閾值比 CrashLoopBackOff 出現(xiàn)早得多往往在探針開(kāi)始反復(fù)殺容器、但還沒(méi)進(jìn)入退避階段的時(shí)候就能報(bào)警。事后分析時(shí)事件和日志也應(yīng)該盡量留存到外部系統(tǒng)比如 Loki、Elasticsearch否則 Pod 被重建之后很多現(xiàn)場(chǎng)證據(jù)就瞬間蒸發(fā)了。6.5 一個(gè)小技巧臨時(shí)容器調(diào)試啟動(dòng)即退出的問(wèn)題最后分享一個(gè)挺實(shí)用的技巧。如果你遇到容器啟動(dòng)即退出、日志也沒(méi)留下什么有效信息又來(lái)不及把鏡像拉出來(lái)手動(dòng)跑可以借助臨時(shí)容器ephemeral container進(jìn)到 Pod 里“圍觀(guān)”。前提是 Kubernetes 版本在 1.23 以上并且集群?jiǎn)⒂昧讼嚓P(guān)特性。命令類(lèi)似kubectl debug -it pod-name -n namespace --imagebusybox --targetcontainer-name臨時(shí)容器會(huì)共享目標(biāo)容器的命名空間你可以在里面看文件、查網(wǎng)絡(luò)、檢查掛載內(nèi)容甚至手工執(zhí)行目標(biāo)命令親眼看到它到底報(bào)什么錯(cuò)。如果臨時(shí)容器一時(shí)半會(huì)兒進(jìn)不去還有個(gè)土辦法先把 Deployment 的啟動(dòng)命令臨時(shí)改成command: [sleep, 9999]讓容器穩(wěn)定跑起來(lái)再kubectl exec進(jìn)入容器手動(dòng)執(zhí)行原來(lái)的啟動(dòng)命令看完整報(bào)錯(cuò)。這個(gè)辦法唯一的代價(jià)是業(yè)務(wù)暫時(shí)不提供服務(wù)但在測(cè)試環(huán)境或者低峰期效率遠(yuǎn)超來(lái)回翻日志。排查了這么多 Pod 重啟問(wèn)題我自己最深的一個(gè)體會(huì)是流程比經(jīng)驗(yàn)靠譜。第一次遇到 CrashLoopBackOff 我也慌日志翻到頭大后來(lái)發(fā)現(xiàn)只要按“狀態(tài) → 事件 → 日志 → 節(jié)點(diǎn)”這個(gè)順序查80% 的問(wèn)題十分鐘內(nèi)都能定位。最后再分享一個(gè)小習(xí)慣每次排查完把 describe 輸出和 events 存一份到本地筆記里。很多問(wèn)題過(guò)兩個(gè)月會(huì)以非常相似的形態(tài)再出現(xiàn)翻舊案比從零開(kāi)始排查快得多而且你會(huì)慢慢發(fā)現(xiàn)Kubernetes 的故障雖然花樣多但底層邏輯永遠(yuǎn)是那幾板斧。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色五月激情网| 九九亚洲视频| 丁香五月电影| 丁香激情六月天婷婷| 国产毛片操B| 99热久草| www婷婷| 九九视屏| 五月丁香大香蕉| 拍真实国产伦偷精品| 婷婷五月丁香伊人网| 丁香五月激情图片婷婷| 五月婷天天搞视频| 国产综合婷婷| 欧美性爱五月天| 丁香婷婷久久老熟女综合网| 玖玖综合玖玖| 91色色色| 最新丁香六月婷婷| 99久久久久| 99热成人| 色天天综合成人网| 丁香婷婷综合激情五月色| 狠狠干婷婷| 中文字幕丁香五月| 123草逼网| 久久久免费精彩视频| 婷婷深爱色五月| ou洲色吧| 久久99操| 欧美草久久五月天91| 1024婷婷综合久久五月天| 五月激情小说| 五月丁香综合激情网| 大香蕉娱乐| 激情五月天色色| 另类丁香五月天区图| 婷婷五月综合性爱| 色综合久久99色| 久久婷色| 五月丁香最新| 成人综合网站| 天天干天天爽| 色婷綜合网| 伊人大香蕉在线视频| 成人va在线播放| 色综合五月在线| av在线观看网址| 丁香六月欧美| 九九人人精品| 狠狠干综合| 影音先锋 91工厂| 欧美精品在线观看| 97人人操| 五月婷网站| 婷婷精品在线| 99精品在线观看| 99热12| 伊人婷婷大香蕉| 狠狠CAO日日穞夜夜穞AV| 欧美va在线| 91超碰在线播放| 大香蕉色婷婷伊人在线| 综合婷婷| 久久这里只有精品无码| 色色五月丁香| 久久久久视剧HD| 久久色情| 丁香色成人| 婷婷六月插屄激情| 色色综合色视频| 亚洲无码免费看| 亚洲成人在线播放| 99热18| 99热这里只有免费精品| 丁香久久五月天视频在线观看| 一二线视频 另类| 久久婷五月天| 色播播五月| 国产乱子轮XXX农村| 激情小说五月天| 美国色五月天婷婷资源站| 777.色色| 国产成人网| 亚洲第一成人无码A片| 婷婷黄色五月| 激情五月婷| 另类婷婷丁香| 色丁香久久久| 色综合久久之分久久| 狠狠舔| 久久99网站| 99热精品在线播放| 五月丁香久久网| 色婷婷伦理| 色天堂A| 日韩成人中文| 色婷婷成人做爰A片免费看网站| 久9视频| 丁香五月欧美| 色色免费网战视频| www色五月天| 婷婷丁香五月视频| 99色这里| 69天堂99| 另类在线免费视频| 久久伊人9| 欧美天天综合网站上去吧| 97极品在线| 中文婷婷狠狠| 4399精品一区二区| 国模狼狼| 人妻Av在线| 天天射影院| 亚洲在线操| 婷婷丁香五月综合激情视频| 五月天性色| 日本女天天爽| 五月天婷婷色五月天| 久99视频在线观看| 人人97碰| 风流少妇A片一区二区蜜桃 | AV在线观看网站| 欧美成人性爱网| 丁香五月激情性色郤| 欧美日韩大黄| 九九亚洲小视频| 婷婷五月俺要去| 丁香色六月婷婷| 激情五月天婷婷直播| 五月丁香最新| 午夜爱爱网站| www.久久久久久久| 丁香婷婷大香蕉| 伊人大蕉香| 婷婷狠狠干| 无码少妇高潮喷水A片免费| 激情五月久久| 婷婷丁香五月综合| 粉嫩AV久久一区二区三区| 色色色综合网| 国产AV一区二区三区最新精品| 99热这里只有精| 无码色| 偷拍五月丁香| 老妇六区| 亚洲av无码影院| 激情五月天99色| 碰碰操91| 午夜免费试看| 婷婷五月在线综合| 夜夜夜叫天天天做| 色婷婷六月精品| 这里只有精品久| 99热色在线精品| 五月婷婷开心综合| 噜噜色噜噜网| 久久92| 日本三级韩三级99久久| 久热9| 丁香五月婷婷网| 亚洲六月婷婷| 丁香五月中文字幕| 色婷婷丁香A片区毛片区女人区| 婷婷色情 | 色就色94欧美setu| 97碰碰九九视频| 在线免费观看激情视频| 五月婷在线| 久久久久久人妻| 熟女少妇内射日韩亚洲| 婷婷综合久久综合| 日韩成人电影Av| 亚洲啪啪啪啪| 深爱激情网婷婷| 色婷婷丁香五月天| 国产日韩欧美| 99热这里只有精品在线观看| 夜精品无码A片一区二区蜜桃| 亚洲网在线观看| 曰韩五月丁香色婷婷无码| 五月色丁香婷婷综合| 九九青草热| 97久久视频| 美女婷婷六月色| 久热这里只有精品66| 激情丁香六月| WWW.17C亚洲精品| 69精品人人人人| 五月天激情国产综合婷婷婷 | 欧美三日本三级少妇三99| 久久久com| 色婷婷丁香五月| 日本色啪| 97人人操在线| 免费观看2018www黄色操逼网站| www.夜夜操| www.99热视频| 色综合九九| 日韩五月婷婷久久| 免费无码毛片一区二区A片| 丁香婷婷激情五月| 天天摸天天肏| 中文不卡一二三区| 9视频在线成人网站| 99成人小视频| 五月六月丁香婷婷在线观看| 色色性爱视频| 九九视频在线观看视频6| 人人摸人人干| 在线观看婷婷5月| 婷婷中文无码| 九九在线精点品| 日韩中文欧美| 久久久久视剧HD| 亚洲AV网址| www.久久五月天.com| www天天爽| 伊人久久婷婷| 日本全黄一级999| WWW.天天日| 亚洲色色香蕉| 日日杆天天| 超碰人人摸AV| 天天做天天视天天谢| 天天日日综合| 三人荫蒂添的好舒服A片| 欧美性爱日韩性爱| 色大综合| 婷婷五月成人| 91久久综合亚洲噜噜成人在线| 六月婷婷无码观看| 色五婷婷开心缴| 国产精品电影| 综合99在线| 色五月xxx| 五月天成人小说| 久草热在线视频| 久久aaaaa| 婷婷丁香六月影视| 久久三级视频| 97日在线视频| 久久精品永久免费| 99性爱视频| 97在线干| 人色五月天婷婷| 综合视频久久| 大香久久伊人网| 5月色亭亭视频| 九九re精品视频在线观看 | 深爱激情综合| 92国产福利| 亚洲五月情| 五月天婷婷久久| 刘玥av在线| 丁香五月成人av| 青草青青草| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 欧美啄木乌丝袜人妻系列| 99久热视频在线| 丁香五月婷婷av影院| 中文字幕不卡+婷婷五月| 99视频自拍| 五月婷婷六月丁香激情综合网| 欧美日本另类| 婷婷伊人久久无码色五月| 五月婷免费视频| av操一操| 色色色视频免费无码| 高清视频一区| 亚洲色图五月丁香| 婷婷久久伊人| 国际国外精品欧洲南美洲专区无码不卡| 五月丁香龟婷婷| 色色色色色色色色网站| 五月天丁香网| 超碰日日操| 色色丁香色五月| 我要看激情五月天| 五月激香蕉网| 激情综合亚洲色婷婷五月| 亚洲操操| 亚洲日日日| 日韩五月丁香| 97luluse| site:pnnrt.com| 艹天天射| 五月色亚洲| 婷婷精品视频| 二色AV| 成人 在线 日韩| 五月婷婷久| 欧美色必爱| 丁香婷婷久久| 五月天激情子轮| 99热9| 夜夜大香蕉婷婷丁香| 影音先锋91资源站| 99九九99九九九视频精品| 色婷婷大香蕉| 色婷婷婷婷| 亚洲99激情| 色六月 婷婷| 色吧综合网| 色五月成人网| 开心婷婷五| 91九色超碰正在播放| WWW.桔色成人.COM| 国产成人AV在线| 久久色五月天综合网| 9er热在线精品视频| 精品9l九九九九九77777| 日本婷婷| 8区视频在线| 色综合色色色色色| 色一区高清| 日韩人人操| 激情五月天综合网| 五月激情六月综合| 久久综合丁香| 五月天六月色| 青青草原福利在线| 五月丁香六月婷婷免费| 99综合视频一体| 成人网页在线观看| 国内精品免费一区二区2009| 色婷五月天| 九月丁香亭亭| 五月婷婷六月天| 操碰97| 五月丁香网视频| 人妻人人操| 99碰| 久久伦乱| 人人操人人看97干| 91婷婷在线| 人人妻久久妻| 亚洲超碰在线| 日本一级特黄大片AAAAA级| 五月丁香激情片| 大香蕉懂9| 丁香五月电影| 亚洲9久久精品| 麻豆AV一区二区三区| 99在线精品观看99| 色激情五月| 亚洲经典小视频| 五月丁香婷婷综合在线| 超碰在线观看9| 99热伊人综合| 亚洲视频在线网站| 黄网在线免费| 日韩一级一片内射视频4K| 人人操91| 91大神操美女| 5五月综合网亚洲| 天天激情站| 日韩色情亚洲五月天婷婷| 婷婷色天香| www.激情五月天.com| 思思热天天看| 日韩欧美颜射| 色一情一乱一乱一区91Av| 久久日曰| 亚洲AV成人无码电影| 亚洲最大视频网站| WWW、日本色丁香、co m| 色五月婷婷777| 少妇搡BBBB搡BBB搡毛茸茸| 涩五月婷婷| 久久综合激情| AA丁香综合激情| 丁香五月天激情视频| 婷婷五月天色色| 看久久性爱视频| 五月丁香五月天现场视频| 久久色五月| 丁香六月AV| 亚洲 综合中文| 五月综合色| AV在线中文| 中文字幕人妻熟女在线| 亚洲第一综合| 婷婷不干网| 久久婷婷五月丁香蜜桃网| 任你躁XXXXX麻豆精品| 图片区 小说区 区 亚洲五月| 99久久婷婷国产综合| 婷婷综合五月| 五月天社区| 九九这里有精品| 人人操AV| 欧美色五月| 欧美日韩中文国产一区发布| 操大屄五月天视频| 婷婷九九色| 91狠狠色色丁香婷婷综合久久| 婷婷舔| 色婷婷久久| 成人丁香五月| 国产精女同一区二区三区久| caopeng97人人| 国产黄色av| 大香蕉久久视频久久视频| 四色永久成人网站| 九九久久99精品免费观看www| www99精品| 激情五月天。| 色综合天天| 欧美成人AAA片一区国产精品| 三男玩一女三A片| www久视频com| 欧美久久婷婷| 狠狠色丁香婷婷五月| 婷婷激情中文综合| 色婷激情网| 在线婷婷| www.9色色色| 亚洲成人在线观看网址| 99啪啪网| 9er热在线精品视频| www.日日日.com| 久久婷婷五月天激情唯美| 99热这里只有精品无码| 免费在线观看欧美激情xx小视频| 亚洲综合五月天婷婷丁香| 夜夜骑夜夜撸| 狠狠干五月| 91精品91久久久久77777| 色婷婷97| 国产午夜精品一区二区三区四区| av五月丁香婷婷网| 天天日夜夜欢| a69在线视频| 婷婷五月天六月| 五月天婷婷AV| 伊人综合网站| 91a片爽| 日亚二欧美| 久久婷婷青草五月天| 激情合网婷婷| 殴美日韩成人| 五月丁香影院| 这里只有精品久久| 97在线观看| 中文字幕+中文在线| 丁香婷婷五月激情| 狠狠另类视频| 婷婷丁香激情五月天色色| 日本九婷婷| 天天弄天天操| 亚洲第二AV| 色婷婷五月天中文字幕| 五月色婷婷AV| 任你操精品免费| 97干在线| 综合五月丁香97| 精a品a视a频| 婷婷五月天美女视频| 色综合久久99色| 中字幕视频在线永久在线观看免费| 欧美三级大片AA在线看| 看婷婷五月天网| 午夜婷婷五月天| 超碰成人电影| 操操碰| 婷婷五月丁香人妻无码高清| 99久久99视频只有精品| 99热这里只有精品1| 天天色视频| wwww.9免费视频| 色情综合网| 色播五月丁香综合| 色吧五月婷婷| 97超级碰| 久久五月天激情美女| 亚洲AV成人无码久久精品老人法拉利| 久久激情视频| 婷婷五月天综合久久日| 人妻性爱av网站| AAAA网站| 粉嫩AV久久一区二区三区| 亚洲AV无码一区二| 五月丁香六月情婷婷久久| 婷婷99视频精品| 免费精品99| 欧美日综合| 久久久久久久综合狠狠综合| 影音先锋91在线资源站| 少妇激情五月婷婷| 久久婷婷超碰| 任我肏| 五月丁香综合啪啪| 久久爱婷婷| 国产在线黄色| 五月天婷婷导航| 亚洲精品国产成人AV在线| 五月天社区婷婷| 五月婷婷久久久| 色综合天天天天做夜夜| 91丨九色丨43老版熟女| 丁香婷婷91在线观看视频| 五月色导航| 99视频久久| 热久91| 久久激情综合| 91操人视频| 久久网址99热| 日逼免费视频| 丁香婷婷六月| 婷婷综合网性| 婷婷久久亚洲| 国产,欧美,学生妹,视频| 亚洲精品国产成人AV在线| 五月婷婷激情四月| 被强行糟蹋的女人A片| 色图亚洲91| 六月色播| 九九色逼| WWW.五月com| 天堂色婷婷| 久久五月婷婷电影| 9|人妻人人操| 97干97色| 69精品人人人人| 亚洲婷婷久久综合| 91干婷婷| 五月婷婷天天| 色播婷婷五月天| 亚洲综合五月天| 超碰色天堂| 婷婷丁香人妻久久在线观看| 国产激情综合五月久久| 亚洲精品无码久久| 激情都市五月天| 久久精彩视频| AⅤ在线播放网| 天天操天天操综合| 99热这里| 天天五月丁香五月| 色综合婷婷| 999久久久国产精品| 亚洲A色| 天天色综网| 天天摸,天天爽| 五月亭亭六月天| 99热精品网| 国精产品久久| 国产精品激情AV久久久青桔| 色五月丁香总合网| 五月丁香六月婷婷网| 色婷婷av在线| 91精品国产99久久久久久天美| 色色色9 9 9| 91色情播放| 思思干精品| 99re这里有精品手机在线| 亚洲精品白浆高清久久久久久| 五月丁香综合激情在线观看| 五月丁香六月婷综合成人综合| 人妻22p| 99热爱爱干干日| 996精品热视频| 思思热99在线| 久久久aaa| 激情二色月| 欧美性猛交99久久久久99按摩| 入口五月婷婷六月香| 五月婷婷综合网| 亚洲经典三级| 丁香五月视频在线观看| 99精品偷自拍| 日本色婷婷久久99精品91| 思思精品视频| 激情深愛五月視頻| 国产精品99久久久久久久女警| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 天天综合中文| 午夜免费高清AV片| 丁香婷婷九月| 99干99| 欧洲亚洲午夜| 91尤物九色在线| 久久婷婷内射| 婷婷中文在线| 五月花激情| 激情四射五月天偷偷看婷婷| 99综合网| 精品一区二区三区木瓜| 欧美十二区| 九九色综合视频| 97在线/日本| 精品无码99| 欧美超碰亚洲| 日本一毛片| 亚洲国产成人在线| 亚洲激情婷婷| 加勒比色色| 国产精品电| 伊人干练久| 日本美女97在线视频| 色五月丁香伊人五月| 久久免费试看120秒| 人妻aV在线| 九九色逼| 免费视频WWW在线观看网站| 婷婷的激情五月| 亚洲精品久久久久久久久久飞鱼 | 久热这里只有精品在线观看 | 五月天婷婷色情| 欧美综合五月丁香六月婷| 五月天综合在线| 99久在线精品99re8热| www.99久| 日日夜夜狠狠| 婷婷激情啪啪| 97干婷婷| 久色激情| 欧美久久婷婷| 日韩综合久| 五月婷婷激情综合| 五月丁香六月婷婷亚洲激情综合| 嫩草哈哈操| 丁香六月婷婷五月婷婷| 99久热在线精品| 中国女人内射6XXXXX| 日日操日日射| 五月开心久久| 九九99精品视频在线观看| 婷婷日日天天| 99性爱视频| 欧洲亚洲免费视频区| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 一级操逼内射在线视频| 99久久精彩视频| 超碰人人艹| 丁香婷婷久久激情| 9精品国产在热久久| 强伦轩人妻一区二区电影| 99九九视频| 九九99久久| 五月丁香六月婷婷玖玖| 欧美超级视频97| 日日噜噜夜夜狠狠久久丁香五月| 26uuu四色| 久久玖玖99| 久久久8| 狠狠色性| 91疯狂操操操操| 婷婷综合激情| 99福利视频| 欧美色色色色色色| 99爱精品| 六月合五月婷| 天天做天天爱天天搞| 激情AV综合| 狼友视频在线观看18| 六月婷五月丁香| 大香蕉 伊人夜| 99激情| 99视频在线精品| 丁香五月亚洲AV| 大香焦A∨| 国产成人网站在线观看| 亚洲噜色| 99热91| 日本天堂网站99| 婷婷五月天伊人网| 99性视频| 六月综和久久| 五月天婷婷爱| 国产精品18久久久| 成人在线网| 天天操天爱综合| 久久九九综合| 激情综合婷婷久久| 粉嫩AV久久一区二区三区| 综合99久久天天综合| A A色色| 99热婷婷| 4438国产免费看| 色婷婷五月天激情在线观看| 久人人操| 日韩超碰在线| 五月婷婷激情四月| 色 免费网站视频| 欧美日韩国产成人在线| 99国产精品久久久久久久久久久 | 婷婷五月天国产手机在线视频观看| 色色九区| 欧美婷婷色| 国产成人综合网| 婷婷激情五月天激情| 91操色| 九热久| 91人妻人人操| 9999久久久久| 99熟女视频| 91人人爽久久涩噜噜噜| 日 日干 日日做| AAA久久| 一起草aV| 99色综合久久| 日本狠狠干| 情色五月天网站| 婷婷丁香成人五月天| 国产精品噜噜在线视频| 91精品久久久久久| 99色久| 色欲久久99精品久久久久久| 久久香蕉网| 亚洲区视频| 五月婷综合| 天天干夜夜欢| 电影爱拉战争免费观看| 丁香大香蕉| 婷婷综合在线视频| 久久久国产精品黄毛片| 激情六月婷婷| 四虎成人精品永久免费AV九九| 婷婷五月天亚洲精品| 五月天·www·com| 在线另类| 操人久久| 婷婷丁香91| www久久久久久久久久久久久久久久久| 九九在线视频| 亚洲超碰在线| 中文成人在线| 色婷婷婷婷| 婷婷六月色播| 99er免费在线观看| 就要爱综合| 国产精品久久..4399| 99久久97久久欧美综合网| 国产精品A片在线| 久久se 综合网 | 91在线就要啪| 极品少妇XXXX精品少妇偷拍| www超碰| 夜夜撸日日操| 五月天综合婷婷| 国産精品| www,久久久| 中文字幕在线免费观看视频| 91啪啪视频| 91久热| 久久这里只有精品视频26| 黄色视频网站在线播放| 色五月丁香五月婷婷五月成人网| 色五月激情网| 五月综合婷婷开心网| 婷婷综合久久| www.激情五月天.com| 中文字幕色色| 1024欧美看片| 最新激情五月天| 五月久久婷婷成人网| AV五月丁香| 青青热久久综合| 色噜噜,噜噜色| 精品一二三区视频立| 国产婷婷综合| 五月天激情综合首页| 国产成人一区二区三区在线观看| 五月天久久综合婷婷丁香| 狠狠色丁香婷婷五月| 5五月综合网亚洲| 九九九九综合| 性 色 婷婷| 婷婷色在线播放| 99视频在线播放大全| 久久99看免费| 9|无码久久久久久| 只有精品视频在线观看| 丁香五月综合色婷婷| 日本婷婷网| 色情激情五月| 激情综合网 激情五月天| 人人人舔人人人操人人人摸人人人97| 天干夜夜操| 天天爱综合网| 91se在线视频| 四色99久久| 99热超碰| 五月四色激情| 婷婷五月综合免费在线| 九九色播五月丁香| 久久99综合| 另类五月婷婷| 亚洲综合婷婷| 精品久久久人妻| 另类小说色婷婷| 五月丁香啪啪网| 99热婷婷| 一本道在线电影| 婷婷五月综合基地| 婷婷五月丁香香蕉| 99热大香蕉| 亚洲六月色婷婷| 99re欧美精品| 久久久99视频| 26UUU精品一区二区| 亚洲性爱干干| 久热AA| 婷婷五月激情黄色| 91男同| 狠狠xx| 五月天国产成人| 色色色色色色色色色色色色色97| 看片视频在线免费日产在线看| www..com色爱| 极品嫩草| 亚洲天堂99| 一起草性爱不卡视频| 天天色天天搡| 亚洲激情网| www.yw尤物| 激情综合五月丁香六月婷婷| 色色色色色色五月婷婷| 五月总合激情网| 欧美激情丁香五月天久久婷婷一区| 五月婷婷六月基地| 日韩高清成人| 久久女婷| 超级碰91| jiujiu热在线视频| 四色女婷婷| 波多野结衣AV无码Porn| 操一区| a级毛片一区二区免费视频| 91互操| 五月婷婷久久开心网| 毛片毛片毛片毛片| 婷婷99狠狠躁天天| 日本黄色一级| 久久久久久99精品无码| 色亚洲中文| 久久久这里有精品| 精品乱码久久久久| 精品国婬伦V无码久久久| 最新av在线观看| 久久五月天激情视频| 婷婷丁香五月综合免费视频百花| 国产成人网址| 丁香五月婷综合| 欧美日韩一a.无| 噜噜色com| 色九月婷婷| 五六月婷婷久久| 丁香五月色| 久久这里只有精品22| 激情久久综合| 91久久网站| 日本综合色色| 深夜A片| 日韩另类| www久久久久久久久久久久久久久久久| 97精品自拍| 五月丁香色五月| 亚洲99在线| 日韩AV免费看| 99久久久免费| 丁香五月激情综合啪啪| 99热这里有精力| αV电影| 婷婷五月天成人五月天| 夜夜骑天天操| 色婷婷成人做爰A片免费看网站| 一起草av在线观看| 色情五月天首页| 97久久超碰| 婷婷五月综合中文字幕| 亚洲va日| 天天干天天做| 国产精品色情AAAAA片软件| 亚洲五月天婷婷| 天天综合网网欲色| www.99在线| 激情五月天的婷婷| 操一操插一插| site:pnnrt.com| 亚洲AV另类| 婷婷五月天色网久| 天天操加勒比| 涩婷婷视频快播人妻| 五月情四婷婷| 操操自拍| 99热最新国内| 激情婷婷五六月天| 六月丁香综合| www,99色| 插插网爽妇五月丁香| 99riAV国产精品视频| 狠狠色婷婷综合开心影视| 99高级会所久久| 激情六月丁香| 日韩成人电影av| 丁香激激情网| 大香蕉五月天| 五月停停色| 五月丁香六月花| 成人精品在线| 婷婷五月香蕉| 五月天激情婷婷| 色五月丁香91| 色噜噜,噜噜色| WWW,五月| 狠狠色狠狠爱| 午夜无码精品色综合久久| 亚洲成人免费在线| 亚洲永久免费| 99热这里只有精品9| 天天干人人奸97| sisi热国产| 激情色播| 成人五月天丁香婷| 综合网视频| 影音先锋日本三级资源| 欧美在线骚货| 99这里只有精品视频| 久久久久久99精品无码| 九九婷婷五月天| 九九九九热99超碰| 亚洲精品乱码久久久久久综合| 婷婷情色五月天| 亚洲人妻电影| 思思精品视频| 五月婷狠狠| wwwC0maV五月花| 成人做爰A片免费看视频| 中文字幕不卡+婷婷五月| 开心婷婷五月| 欲色人妻| 丁香五月激情站| 九九热在线精品视频| 国产9色在线/日韩| www.maotanji.com| 亚洲精品网址| 色播婷婷五月天| 九九九九操逼| 婷婷五月丁香婷婷| 久久思思热| 婷五月丁香俺| 天天影院色| 67194国产| 婷婷97碰碰| 99热网址| 97色天堂| 天天综合色99| www,99热| 日本97人人| 久久丁香久久| 五六月婷婷久久| 日日舔夜夜操| 伊人九热| 天天天日天天天干| 丰滿爆乳一区二区三区| 色五月视频,小说| 久久人妻久久| 激情网第九色| 51国精产品自偷自偷综合| 色很很96| 51国精产品自偷自偷综合 | 奇米四色五月天| 日韩综合大黄| www.金莲av| 欧美性色五月天| 九九热狼人| 乱轮A片| 丁香五月 性爱| 丁香五月激情五月开心五月| 爱iii做iiii日日| 色噜噜狠狠插综合| 99视频在线啪| 深爱激情网综合| 大鸡巴伊人网| 在线观看中文字幕| 99久久久久久www| 婷婷 伊人 久久| 黄色五月婷婷| 99综合免费视频| 日本一级| 丁香五月婷婷av| 婷婷色婷婷| 五月天婷婷丁香人人操91| 色婷婷五月天天天干天天操天天爽 | 99九九在线精品热动漫| 婷婷日本色| www.狠狠艹| 国产操肏网站| 丁香五月中文字幕色播| 久久3p| 天天爽综合网| AV在线不卡播放| 婷婷五月天成人在线视频| 丁香五月AV| 国产亚洲网站在线| 欧美六月| 色综合天堂| 日本少妇AA一级特黄大片| 五月天色影院| 色综合香蕉| 久操婷婷| 五月婷婷开心色伊人| 欧美日本韩国亚洲| 综合九九| 在线视频激情网站| 日日干日日| 日韩成人网址| 成 人片 黄 色 大 片| 色五月婷婷视频| 久草免费福利视频| 涩婷婷五月天在线精品视频| 久久性爱视频| 日韩黄黄| 婷婷爱综合| 日本三级99人妇网站| 2025天天日爽| 婷婷色五月丁香六月欧美啪| 国产日韩欧美| 色婷婷视频综合| 狠狠色丁香久久婷婷综合五月| 五月丁香激情四射| 成人五月天色天堂| 五月婷婷性爱网| 九九色色| 五月婷婷丁香成人网| 激情五月天天| 九九热99熟女| 精品视频这里只有精品| 欧美特大片黄| 五月婷婷激情中文字幕| 九九精品9| 欧洲色| 色色五月婷| 欧美成人一区二区三区在线视频| 色欲一二三| 影音先锋91| 99热官网| 色五月五月天| 99伊人婷婷在线| 久99视频| 99视频精品全部免费观看| 99伊人性爱在线影院| 精品五月天| 天天色色婷婷| 草草影院爱爱| 色五月婷婷在线| 色在线视频网2025| 日夜操B| 色色色色欧美| 婷婷色啪| 亚洲精| 丁香婷婷超碰 | 色噜噜综合网| 人妻无码精品一区| jiujiu热在线视频| 日本精品人妻无码77777| 婷婷五月色天| wWw色五月| 婷婷伊人五月丁香天堂网| 天天综合色| 婷婷五月六月激情| 日日噜噜夜夜狠狠久久丁香六月| 亚洲五月六月婷婷| 五月伊人网| 激情综合网亚洲色图| 色女人久久| 99热久久这里只有精品| 玖玖99免费视频| 色欲香综合网| 丁香婷婷五月色成人网站| 又大又粗九一在线| 婷婷亚洲综合| 青青热久久综合| 91婷婷五月丁香碰| 202丰满熟女妇大| 久热免费| 99在线观看视频蜜臀| 婷婷久久精品| 黄桃AV无码免费一区二区三区| 天天日天天色| 人人人人人人人人人草| 丁香婷婷色色| 影音先锋五月婷婷| 99热这里是精品| 丁香 婷婷 亚洲 熟女| 色热久资源| 4399欧美另类视频| 日韩精品无码一区二区| 91无码高清| 狠狠操在线视频| 狠狠操综合| 综合久久伊人| 粉嫩AV久久一区二区三区| 久久五月激情综合| 天天夜天天色天天| 九九视频免费| 伊人五月综合网| 婷婷五月丁香图片人人操| 涩涩五| 色五月婷婷中文字幕| 日日操夜夜操中国无码| 午夜少妇在线观看视频| 黄网免费看| 日韩五月丁香| 婷婷区日本| 丁香六月激情| 国产亚洲av片| 日韩在线观看网址| 婷婷99| 久久五月天婷婷| 九九色99| 久久这里只精品66| 欧美色色色色色色色色色色| 婷婷大香焦| 丁香五月激情综合| 99在线观看| 日本操B视频| 六月婷伊人| se99高清无码| 日本色99| 国产在线自| 婷婷丁香五月综合网| 久久婷婷视频| PORNY九色9l自拍视频成人| 婷婷综合精品视频97| 成人网丁香五月| 金桔一区二区ab地址| 人妻久久婷婷| 五月激情久久| 九色在线五月婷婷网址| 91久久久久久久久18| 99热国产精品| www.9797国产| 五月花在线观看视频| 婷婷丁香午夜综合影视| 五月丁香亚洲校园欧美| 色欲五月婷婷| 丁香五月天天| 伊人激情网| 日韩av手机在线观看| 色婷婷在线视频| 色婷婷久久| 亚洲午夜视频| 天天色天天日| 亚洲精品午夜国产va久久成人| 亭亭五月天黑人2014| 午夜美女人啪最红院| 丁香五月天欧洲在线| 久草五月婷婷| 超碰在线免费9| 97超级碰碰碰| 中文成人在线| 草榴视频黄色网| 涩丁香| 97久久人人人干| 亚洲亚洲人成综合网络| 在线另类| 五月婷婷激情五月| 日本久久婷| 五月丁香91| 九九色综合网| 五月成人网站| 五月天激情小说欧美激情| 都市激情五月婷婷亚洲| 777精品成人a v久久| 色综合久久88色综合天天人守婷| 婷婷五月天av| 精品无吗va视频免费观看| 五月天综合缴情网网站0| 久婷自拍视频| 任你爽视频| dingxiangtingtingliuyue| 日韩啪啪视频| 丁香五月伊人| 婷婷成人视频| 天天做天天摸| 激情小说五月丁香在线视频观看视频| 99精品综合在线| 99色热| 久久人人妻| 色黑鬼导航| 婷婷久久免费| 国产成人综合电影| 久99久在线| 久久A V无码视频| 天天操天天日天天爱| 色九九九九| 色九九七七| 色色色地址| 亚洲 视频 导航 一区| AV色婷婷| 99爱爱| 亚洲精品网站色视频| 天天狠天天狠| 五月丁香色婷婷婷基地| 五月天播播综合| 激情婷婷人妻| 思思热在线视频99| 五月婷婷网五月在线| 婷婷五月深爱五月| 99爱这里只有精品免费视频| 色屌丝中文字幕| 综合色影院| WWW99热| 激情丁香婷婷| 九九热最新| 最近中文字幕大全免费版在线 | 无码一区精品一区视频| 热久久999| 九九色情网站| 伊人大香蕉毛片| 丁香六月激情毛片| 综合久久五月天| 亚洲综人色综网| 狠狠看狠狠| 欧美综合丁香网| 日逼免费视频 | 91九色国产| 日韩九区| 亚洲综合在线伊人婷| 五月香蕉婷婷| 久久99美女精彩视频| 综合噜噜| 99re热在线视频| 俺去也五月| 性爱久久| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | www.cao.com久久| 日本精品干| 国产成人+综合亚洲+天堂| 99在线精品视频免费| 丁香五月婷婷激情视频播放| 久久99性爱| 激情综合国产| 激情六月丁香| 99久久网站| 超碰成人影视| www.色擼擼.com| 免费试看小视频 99| 五月丁香婷婷啪啪| 中文AV在线播放| 99精品视频偷拍| 玖玖婷婷色五月| 97干婷婷| 天天日日| 婷婷色五月91啪啪| 97色吧| 亚洲操操| 欧美日韩91| www.yw尤物| 五月天婷婷激情在线色图| 国产一级片| 亚洲综合激情五月久久| 色婷五月天| 婷婷九月激情| 99久久玖玖| 久久精热| 五月深爱激情网| 99精品22| 丁香五月天天高清在线| 欧美五月婷婷| www.91久久| 少妇被下春药玩弄A片|