欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

Kubernetes污點(diǎn)未回收引發(fā)RDMA資源消失與CSI掛載故障排查

Kubernetes污點(diǎn)未回收引發(fā)RDMA資源消失與CSI掛載故障排查 那天下午我是被告警拉起來(lái)的一批訓(xùn)練任務(wù)和數(shù)據(jù)庫(kù)實(shí)例幾乎同時(shí)卡在ContainerCreating和Pending消息記錄里到處是 RDMA 連接失敗和 CSI 掛載超時(shí)的字樣。群里第一反應(yīng)是“存儲(chǔ)集群掛了”有人已經(jīng)開(kāi)始聯(lián)系機(jī)房值班查鏈路。說(shuō)實(shí)話(huà)看到這類(lèi)組合報(bào)錯(cuò)正常的直覺(jué)確實(shí)是先往存儲(chǔ)端想。但那次不一樣——我登錄節(jié)點(diǎn)用ibstat檢查 RDMA 網(wǎng)卡物理狀態(tài)鏈路明明是正常的存儲(chǔ)服務(wù)端的日志也干干凈凈。真正的問(wèn)題藏在一個(gè)完全想不到的地方節(jié)點(diǎn)上的 RDMA 擴(kuò)展資源在小半天前突然變成了 0而 CSI 掛載失敗只是它引發(fā)的一連串“次生災(zāi)害”。這次排障最終指向了平臺(tái)組件的污點(diǎn)Taint與容忍Toleration配置一句話(huà)總結(jié)就是維護(hù)節(jié)點(diǎn)時(shí)留下的一個(gè)污點(diǎn)沒(méi)有回收導(dǎo)致承載 RDMA 資源上報(bào)和 CSI 存儲(chǔ)插件的 DaemonSet 被驅(qū)逐后一直回不來(lái)。1. 故障現(xiàn)象復(fù)盤(pán)掛載報(bào)錯(cuò)先于告警排查卻差點(diǎn)被帶偏到存儲(chǔ)端1.1 兩類(lèi)報(bào)錯(cuò)同時(shí)出現(xiàn)Pending 與 FailedMount 的現(xiàn)場(chǎng)當(dāng)時(shí)集群里同時(shí)出現(xiàn)了兩類(lèi)完全不同的 Pod 狀態(tài)這也是最初讓所有人困惑的地方。第一類(lèi)是依賴(lài) RDMA 設(shè)備的數(shù)據(jù)處理任務(wù)。kubectl describe pod里看到的事件是典型的資源不足Events: Type Reason Age From Message ---- ------ ---- ---- ------- Warning FailedScheduling 3h default-scheduler 0/120 nodes are available: 20 node(s) insufficient rdma/rdma_shared_device.調(diào)度器明確告訴你有 20 個(gè)節(jié)點(diǎn)缺 RDMA 擴(kuò)展資源??墒沁@批節(jié)點(diǎn)的網(wǎng)卡從硬件上看都活著這個(gè)“資源不足”從哪兒來(lái)的第二類(lèi)是需要掛載并行存儲(chǔ)卷的普通業(yè)務(wù) Pod它們的報(bào)錯(cuò)更直接MountVolume.SetUp failed for volume pvc-f3a9c...: rpc error: code Unknown desc mount failed: failed to connect to storage server via rdma: no such device這個(gè)no such device很關(guān)鍵它是從存儲(chǔ)掛載插件里拋出來(lái)的意思是插件在節(jié)點(diǎn)上找不到可用的 RDMA 設(shè)備。注意這里說(shuō)的“設(shè)備”不一定是物理網(wǎng)卡消失而是某個(gè)上層可見(jiàn)的設(shè)備對(duì)象沒(méi)了。兩種現(xiàn)象有一個(gè)共同指向節(jié)點(diǎn)上的 RDMA 能力在某個(gè)層面上“消失”了。但一個(gè)是調(diào)度器層面感知不到一個(gè)是存儲(chǔ)插件執(zhí)行掛載時(shí)感知不到兩條線(xiàn)索看起來(lái)相關(guān)又沒(méi)有一個(gè)統(tǒng)一的解釋。1.2 第一輪誤判存儲(chǔ)服務(wù)端查了個(gè)底朝天因?yàn)?CSI 掛載失敗的報(bào)錯(cuò)太顯眼大家第一輪排查基本都圍著存儲(chǔ)轉(zhuǎn)。先看存儲(chǔ)服務(wù)端進(jìn)程正??创鎯?chǔ)集群的 RDMA 監(jiān)聽(tīng)端口正常用節(jié)點(diǎn)去 ping 存儲(chǔ)的服務(wù) IP通檢查存儲(chǔ)端的認(rèn)證和導(dǎo)出配置沒(méi)問(wèn)題。甚至懷疑是不是存儲(chǔ) CSI Controller 的版本出了兼容性問(wèn)題把 controller 重啟過(guò)一輪沒(méi)用。后來(lái)有人提議“既然是掛載時(shí)連不上 RDMA那去節(jié)點(diǎn)上看看網(wǎng)卡”于是值班同事登錄故障節(jié)點(diǎn)跑了一遍ibstat返回的端口狀態(tài)是Active鏈路速率、帶寬都正常。物理層完全健康存儲(chǔ)服務(wù)端也沒(méi)毛病那這個(gè)no such device到底哪來(lái)的這里就得承認(rèn)我們一開(kāi)始把“CSI 掛載失敗”當(dāng)成了獨(dú)立故障在查完全忽略了另一個(gè)正在發(fā)生的現(xiàn)象一批需要 RDMA 資源的任務(wù)已經(jīng) Pending 三個(gè)小時(shí)了。把這兩個(gè)現(xiàn)象放一起看思路才打開(kāi)。1.3 轉(zhuǎn)折點(diǎn)節(jié)點(diǎn)眼里 RDMA 資源憑空消失了真正讓排查轉(zhuǎn)向的是一條很簡(jiǎn)單的命令。某位同事對(duì)故障節(jié)點(diǎn)執(zhí)行了kubectl describe node cn-storage-07 | grep -A 12 Capacity歷史截圖里這個(gè)節(jié)點(diǎn)原本應(yīng)該帶著類(lèi)似rdma/rdma_shared_device: 32這樣的擴(kuò)展資源但當(dāng)時(shí) Capacity 列表里壓根沒(méi)有這項(xiàng)。也就是說(shuō)這個(gè)節(jié)點(diǎn)向 Kubernetes 集群上報(bào)的 RDMA 能力已經(jīng)從調(diào)度器的“庫(kù)存賬本”里刪掉了。硬件健康、上報(bào)消失中間只隔著一個(gè)東西節(jié)點(diǎn)上的 RDMA Device Plugin。它不運(yùn)行kubelet 就拿不到設(shè)備的數(shù)量和健康狀態(tài)自然會(huì)把資源從 Capacity 里移除。順著這個(gè)思路去查platform命名空間里的 DaemonSet我當(dāng)場(chǎng)愣住了——故障節(jié)點(diǎn)上根本沒(méi)有對(duì)應(yīng)的 Device Plugin Pod它的狀態(tài)是0/1 nodes are available: 1 node(s) had untolerated taint {node.maint/rdma-check: true}到這里問(wèn)題的性質(zhì)就完全變了不是存儲(chǔ)壞了也不是網(wǎng)卡壞了而是平臺(tái)組件因?yàn)槲埸c(diǎn)容忍配置不夠被驅(qū)逐之后沒(méi)能回到節(jié)點(diǎn)上。而這個(gè)組件一消失RDMA 資源上報(bào)消失連帶 CSI 存儲(chǔ)插件也癱瘓。2. RDMA 資源是如何“消失”的Device Plugin 上報(bào)鏈路拆解2.1 節(jié)點(diǎn)上的 RDMA 能力靠什么進(jìn)入集群視野先說(shuō)一個(gè)底層事實(shí)Kubernetes 本身不認(rèn)識(shí)“RDMA 網(wǎng)卡”這種設(shè)備。它只認(rèn)識(shí) CPU、內(nèi)存、GPU 這類(lèi)內(nèi)置資源像 RDMA 網(wǎng)卡、FPGA、SR-IOV VF 這類(lèi)硬件必須借助擴(kuò)展資源Extended Resource機(jī)制才能進(jìn)入集群的資源池。整個(gè)鏈路是這樣的節(jié)點(diǎn)上的 Device Plugin 以 DaemonSet 或裸 Pod 形式運(yùn)行啟動(dòng)后通過(guò) Unix Socket 跟 kubelet 通信告訴 kubelet“我這臺(tái)節(jié)點(diǎn)上有多少塊 RDMA 網(wǎng)卡、每塊有多少可用隊(duì)列”。kubelet 收到上報(bào)后把這個(gè)數(shù)字寫(xiě)進(jìn)節(jié)點(diǎn)對(duì)象的status.capacity和status.allocatable里調(diào)度器再去讀取這些字段做 Pod 分配。拿日常場(chǎng)景類(lèi)比Device Plugin 是倉(cāng)庫(kù)的報(bào)關(guān)員kubelet 是倉(cāng)庫(kù)管理系統(tǒng)調(diào)度器是接單系統(tǒng)。報(bào)關(guān)員不上班倉(cāng)庫(kù)系統(tǒng)里當(dāng)然查不到這批貨。所以一個(gè)很容易被忽略的事實(shí)是RDMA 資源在 Kubernetes 里的可見(jiàn)性完全依賴(lài) Device Plugin 這個(gè)中間代理的存活狀態(tài)。它活著資源就在它死了哪怕網(wǎng)卡插在機(jī)器上發(fā)光發(fā)熱調(diào)度器也只會(huì)認(rèn)為這臺(tái)節(jié)點(diǎn)沒(méi)有 RDMA。2.2 上報(bào)者消失后資源被刪除硬件明明健康賬本卻清零那 Device Plugin 掛掉之后kubelet 是立刻清除資源還是會(huì)有延遲這取決于 kubelet 的 Device Manager 的監(jiān)聽(tīng)機(jī)制。Device Plugin 與 kubelet 之間通過(guò) gRPC 維持心跳連接插件同時(shí)會(huì)通過(guò)ListAndWatch接口持續(xù)上報(bào)設(shè)備狀態(tài)。一旦插件進(jìn)程退出、Unix Socket 斷開(kāi)kubelet 的 Device Manager 會(huì)在一段很短的時(shí)間內(nèi)通常是幾秒到十幾秒把它注冊(cè)的設(shè)備全部標(biāo)記為不可用并在下一輪節(jié)點(diǎn)狀態(tài)上報(bào)時(shí)把對(duì)應(yīng)的 Extended Resource 從capacity和allocatable中移除。這也是為什么describe node里 Capacity 會(huì)“憑空消失”。不是 kubelet 出錯(cuò)而是它的工作邏輯決定了它只相信自己能連通獲取信息的那些設(shè)備。2.3 一個(gè)命令還原全過(guò)程如果只是想快速確認(rèn)“資源消失是否因?yàn)?Device Plugin 不在”其實(shí)不用繞太多# 1. 確認(rèn)節(jié)點(diǎn)當(dāng)前容量 kubectl get node cn-storage-07 -o jsonpath{.status.capacity.rdma\.io/rdma_shared_device} # 輸出為空或 0 # 2. 查看 Device Plugin 的 Pod 分布 kubectl -n platform get pod -o wide -l apprdma-device-plugin # 發(fā)現(xiàn)目標(biāo)節(jié)點(diǎn)沒(méi)有 Running 的 Pod # 3. 查看 DaemonSet 的調(diào)度事件 kubectl -n platform describe pod pending-pod-name | tail -10 # 關(guān)鍵信息untolerated taint我自己復(fù)盤(pán)的時(shí)候覺(jué)得這套邏輯鏈并不復(fù)雜難的是在紛亂的掛載錯(cuò)誤信息里想到“該去看 Device Plugin”。因?yàn)閺墓收媳憩F(xiàn)看存儲(chǔ)掛載失敗才是“主訴”誰(shuí)會(huì)一開(kāi)始想到去查一個(gè)默默無(wú)聞的 DaemonSet 呢3. 根因定位維護(hù)污點(diǎn)沒(méi)回收DaemonSet 容忍范圍成了盲區(qū)3.1 維護(hù)操作留下的 Taint定位到 Device Plugin 缺失后下一步是搞清它為什么不在節(jié)點(diǎn)上。我們知道 DaemonSet 本來(lái)就應(yīng)該在每個(gè)匹配標(biāo)簽的節(jié)點(diǎn)上保持一個(gè) Pod出現(xiàn)“節(jié)點(diǎn)有標(biāo)簽但 Pod 不在”的情況只有兩類(lèi)原因節(jié)點(diǎn)被打了污點(diǎn)Taint而 DaemonSet 的容忍Toleration列表里沒(méi)有對(duì)應(yīng)的項(xiàng)節(jié)點(diǎn)標(biāo)簽被修改導(dǎo)致節(jié)點(diǎn)不再匹配 DaemonSet 的 nodeSelector。先看節(jié)點(diǎn)標(biāo)簽沒(méi)問(wèn)題。再看污點(diǎn)kubectl describe node cn-storage-07 | grep -A 4 Taints輸出里赫然寫(xiě)著Taints: node.maint/rdma-checktrue:NoExecute這是一個(gè)平臺(tái)自定義的維護(hù)污點(diǎn)作用是排空節(jié)點(diǎn)上所有不容忍它的 Pod然后強(qiáng)制驅(qū)逐。從污點(diǎn) key 的名字看八成是之前做 RDMA 鏈路檢修時(shí)加的當(dāng)時(shí)為了不讓業(yè)務(wù) Pod 繼續(xù)往這些節(jié)點(diǎn)調(diào)度運(yùn)維用自動(dòng)化腳本給整批存儲(chǔ)節(jié)點(diǎn)打了這個(gè)污點(diǎn)并觸發(fā)驅(qū)逐。問(wèn)題在于檢修完成后腳本只做了“確認(rèn)鏈路恢復(fù)正?!睕](méi)有回收污點(diǎn)。于是這批節(jié)點(diǎn)一直帶著NoExecute污點(diǎn)運(yùn)行所有默認(rèn)容忍列表里沒(méi)有它的 DaemonSet Pod 都被驅(qū)逐干凈并且無(wú)法再被調(diào)度回來(lái)。3.2 平臺(tái)組件為什么回不來(lái)容忍配置的盲區(qū)這里要說(shuō)一下 Taint/Toleration 的工作機(jī)制方便沒(méi)基礎(chǔ)的朋友理解。節(jié)點(diǎn)打了NoExecute污點(diǎn)后kubelet 會(huì)立即驅(qū)逐節(jié)點(diǎn)上所有沒(méi)有對(duì)應(yīng)容忍的 Pod而且以后調(diào)度器也不會(huì)再把新 Pod 放到這個(gè)節(jié)點(diǎn)上。想要讓某個(gè) Pod 留在節(jié)點(diǎn)上只能在 Pod 或 DaemonSet 的tolerations里顯式聲明“我不怕這個(gè)污點(diǎn)”。我們平臺(tái)的 RDMA Device Plugin 和 CSI Node 插件都是 DaemonSet它們的容忍配置寫(xiě)的是這樣tolerations: - key: node-role.kubernetes.io/control-plane operator: Exists effect: NoSchedule - key: node.kubernetes.io/not-ready operator: Exists effect: NoExecute覆蓋了控制面污點(diǎn)和通用的節(jié)點(diǎn)不可用污點(diǎn)但誰(shuí)也沒(méi)想到去容忍node.maint/rdma-check這種自定義維護(hù)污點(diǎn)。于是發(fā)生了一連串連鎖反應(yīng)維護(hù)腳本給節(jié)點(diǎn)加上node.maint/rdma-checktrue:NoExecutekubelet 立刻驅(qū)逐節(jié)點(diǎn)上所有沒(méi)有容忍的 Pod包括 RDMA Device Plugin 和 CSI Node 插件的 PodDaemonSet 控制器嘗試重建 Pod但調(diào)度器發(fā)現(xiàn)節(jié)點(diǎn)仍有不容忍的污點(diǎn)Pod 一直P(pán)endingkubelet 檢測(cè)到 Device Plugin Socket 斷開(kāi)把rdma/rdma_shared_device資源從 Capacity 中移除CSI Node 插件不在節(jié)點(diǎn)kubelet 掛載存儲(chǔ)卷時(shí)調(diào)用不到插件報(bào)no such device。3.3 完整因果鏈從一條 YAML 到整個(gè)集群故障把因果鏈寫(xiě)出來(lái)之后整個(gè)故障其實(shí)非?!肮こ袒睕](méi)有任何一個(gè)環(huán)節(jié)是玄學(xué)環(huán)節(jié)狀態(tài)節(jié)點(diǎn) RDMA 物理網(wǎng)卡健康ibstat正常節(jié)點(diǎn) Taintnode.maint/rdma-checktrue:NoExecute未回收RDMA Device Plugin DaemonSet容忍列表缺項(xiàng)Pod 被驅(qū)逐后無(wú)法回歸kubelet Device Manager斷開(kāi)插件連接后自動(dòng)移除擴(kuò)展資源調(diào)度器看到的節(jié)點(diǎn) Capacityrdma/rdma_shared_device消失CSI Node 插件 DaemonSet同樣容忍缺項(xiàng)Pod 不在故障節(jié)點(diǎn)CSI Controller 或存儲(chǔ)服務(wù)端健康無(wú)辜背鍋污點(diǎn)機(jī)制本身是個(gè)好東西它提供了一種優(yōu)雅的“節(jié)點(diǎn)排空”手段。但這次事故也暴露了一個(gè)很現(xiàn)實(shí)的問(wèn)題污點(diǎn)是運(yùn)行時(shí)被外部運(yùn)維腳本動(dòng)態(tài)加上的而容忍是靜態(tài)寫(xiě)在 DaemonSet 模板里的。兩者一旦不同步平臺(tái)基礎(chǔ)組件就成了最先遭殃的受害者。4. 修復(fù)實(shí)操補(bǔ)齊容忍、恢復(fù)組件、驗(yàn)證掛載4.1 給 DaemonSet 補(bǔ)上容忍的正確寫(xiě)法定位到根因之后修復(fù)其實(shí)不復(fù)雜給兩個(gè)受影響的 DaemonSet 都補(bǔ)上對(duì)node.maint/rdma-check的容忍。要注意這里不能只改一個(gè)Device Plugin 和 CSI Node 插件都必須覆蓋否則要么資源恢復(fù)了但掛載還是失敗要么反過(guò)來(lái)。我在實(shí)際修改時(shí)用的是kubectl -n platform edit ds/rdma-device-plugin在spec.template.spec.tolerations里追加tolerations: - key: node.maint/rdma-check operator: Exists effect: NoExecute細(xì)心的朋友可能會(huì)問(wèn)為什么用operator: Exists而不是指定value: true兩個(gè)都行但Exists更穩(wěn)妥。它表示“只要這個(gè) key 存在不管 value 是什么我都容忍”適合這類(lèi)維護(hù)污點(diǎn)——因?yàn)槟悴恢老麓尉S護(hù)腳本會(huì)不會(huì)把 value 改成false或者maintenance。如果寫(xiě)成具體的value: true以后污點(diǎn) value 一換又要改一輪 YAML沒(méi)必要。同樣的操作給storage-csi-node這個(gè) DaemonSet 也來(lái)一遍然后觸發(fā)滾動(dòng)更新kubectl -n platform rollout restart ds/rdma-device-plugin ds/storage-csi-node4.2 恢復(fù)順序很重要先組件后業(yè)務(wù)很多同行遇到這類(lèi)故障手一快就去刪 Pending 的業(yè)務(wù) Pod想讓它重新調(diào)度。但在資源還沒(méi)恢復(fù)的時(shí)候刪調(diào)度器依然找不到帶 RDMA 的節(jié)點(diǎn)Pod 會(huì)繼續(xù) Pending沒(méi)有任何意義。正確的順序是“先讓平臺(tái)組件重新站起來(lái)再恢復(fù)業(yè)務(wù)”。我用kubectl -n platform get pod -o wide -l apprdma-device-plugin觀察新 Pod 的調(diào)度情況。因?yàn)槿萑桃呀?jīng)補(bǔ)齊Pod 很快就安排到了原本被污點(diǎn)擋在外面的存儲(chǔ)節(jié)點(diǎn)上狀態(tài)轉(zhuǎn)成Running。注意一個(gè)小細(xì)節(jié)Device Plugin Pod 起來(lái)之后kubelet 重新通過(guò) Socket 完成設(shè)備注冊(cè)和上報(bào)這個(gè)過(guò)程中節(jié)點(diǎn) Capacity 不會(huì)立刻變化。我大概等了十幾秒再檢查kubectl get node cn-storage-07 -o jsonpath{.status.capacity.rdma\.io/rdma_shared_device}輸出從空變成了32說(shuō)明資源重新回到了調(diào)度器的賬本里。CSI Node 插件也處于Running問(wèn)題節(jié)點(diǎn)的CSINode對(duì)象重新被注冊(cè)kubelet 有辦法調(diào)用掛載操作了。4.3 驗(yàn)證清單Capacity 恢復(fù)與 CSI 掛載成功率業(yè)務(wù)恢復(fù)不是清一波 Pending 就完事我習(xí)慣按下面這套清單逐項(xiàng)驗(yàn)證驗(yàn)證項(xiàng)命令預(yù)期結(jié)果Device Plugin Pod 就緒kubectl -n platform get pod -l apprdma-device-plugin -o wide故障節(jié)點(diǎn)上有 Running 且 Ready 的 PodCSI Node 插件就緒kubectl -n platform get pod -l appstorage-csi-node -o wide故障節(jié)點(diǎn)上有 Running 且 Ready 的 Pod節(jié)點(diǎn)擴(kuò)展資源恢復(fù)kubectl get node cn-storage-07 -o jsonpath{.status.capacity.rdma\.io/rdma_shared_device}輸出等于物理網(wǎng)卡總量如32CSINode 對(duì)象恢復(fù)kubectl get csinode cn-storage-07 -o jsonpath{.spec.drivers}能看到存儲(chǔ)驅(qū)動(dòng)名業(yè)務(wù) Pod 掛載成功kubectl get pod business-podRunning 狀態(tài)事件里無(wú) FailedMount對(duì)于已經(jīng) Pending 的 Pod等資源恢復(fù)后我會(huì)刪幾個(gè)代表性地觀察確認(rèn)能調(diào)度成功后再批量處理。實(shí)際場(chǎng)景里調(diào)度器會(huì)周期性地做調(diào)度重試一部分 Pending Pod 在資源恢復(fù)后會(huì)自動(dòng)起來(lái)如果等了很久還沒(méi)動(dòng)手動(dòng)刪掉觸發(fā)重建是最直接的。5. 排障方法論沉淀別再被“存儲(chǔ)端錯(cuò)誤”牽著走5.1 這類(lèi)故障的共同套路上層錯(cuò)誤信息最不可信這次事故給我最大的啟發(fā)是多層依賴(lài)系統(tǒng)里的故障最外層的錯(cuò)誤提示往往最具誤導(dǎo)性。CSI 掛載失敗明明只是一個(gè)“結(jié)果”卻因?yàn)閳?bào)錯(cuò)內(nèi)容指向存儲(chǔ)服務(wù)端把大量人力拖進(jìn)了存儲(chǔ)排查的泥潭。類(lèi)似的事件在 GPU 資源消失、FPGA 資源消失、SR-IOV VF 異常的場(chǎng)景里也會(huì)出現(xiàn)。共同套路是上層應(yīng)用報(bào)“設(shè)備不存在”或“資源不足”物理硬件實(shí)際是健康的問(wèn)題出在中間層的“資源上報(bào)代理”身上。遇到這種“硬件沒(méi)壞但上層看不見(jiàn)”的矛盾第一時(shí)間應(yīng)該把目光放到資源上報(bào)鏈路上檢查對(duì)應(yīng) Device Plugin 的存活狀態(tài)而不是先懷疑硬件和存儲(chǔ)。5.2 資源消失類(lèi)問(wèn)題的十分鐘排查手冊(cè)這幾步驟是我踩過(guò)坑之后總結(jié)出來(lái)的分享給同樣維護(hù)平臺(tái)的朋友看業(yè)務(wù) Pod 事件是FailedScheduling調(diào)度器看不到資源還是FailedMount掛載執(zhí)行層出問(wèn)題先分清楚看節(jié)點(diǎn) Capacity直接搜擴(kuò)展資源名確認(rèn)資源到底有沒(méi)有從節(jié)點(diǎn)上報(bào)中消失看 Device Plugin 分布kubectl -n platform get pod -o wide | grep device一眼就能發(fā)現(xiàn)故障節(jié)點(diǎn)上有沒(méi)有對(duì)應(yīng)的 Pod看 DaemonSet 的調(diào)度事件如果有untolerated taint問(wèn)題基本就是污點(diǎn)容忍對(duì)比節(jié)點(diǎn) Taint 與 DaemonSet Toleration# 快速列出所有節(jié)點(diǎn)的污點(diǎn) kubectl get nodes -o jsonpath{range .items[*]}{.metadata.name}{\t}{.spec.taints}{\n}{end} # 快速查看某個(gè) DaemonSet 的容忍 kubectl -n platform get ds ds-name -o jsonpath{range .spec.template.spec.tolerations[*]}{.key}{:}{.effect}{\n}{end}前后一對(duì)照缺哪條補(bǔ)哪條。5.3 平臺(tái)組件污點(diǎn)容忍治理的三個(gè)建議這次事故本質(zhì)上是變更管理疏漏而不是技術(shù)原理問(wèn)題。維護(hù)腳本加了污點(diǎn)卻忘了回收這種操作上的坑單純靠人盯是盯不住的。我后來(lái)在團(tuán)隊(duì)里推了三件事第一統(tǒng)一維護(hù)污點(diǎn)的前綴和生命周期。所有運(yùn)維腳本的臨時(shí)污點(diǎn)統(tǒng)一使用某個(gè)前綴比如node.maint/并且強(qiáng)制腳本在結(jié)束前調(diào)用回收邏輯。回收動(dòng)作要做到冪等哪怕重復(fù)執(zhí)行也不會(huì)出錯(cuò)。第二給關(guān)鍵 DaemonSet 建立“容忍覆蓋清單”。每一個(gè)平臺(tái)基礎(chǔ)組件都要在發(fā)布的 YAML 里顯式聲明支持哪些污點(diǎn)。定期把節(jié)點(diǎn)上的實(shí)際污點(diǎn)集合與所有 DaemonSet 容忍集合做一次求差集任何新出現(xiàn)的污點(diǎn)如果沒(méi)有任何容忍項(xiàng)立刻報(bào)警。第三變更前做一次“污點(diǎn)常見(jiàn)面測(cè)試”。模擬在目標(biāo)節(jié)點(diǎn)上打一個(gè)代表未來(lái)維護(hù)場(chǎng)景的新污點(diǎn)觀察核心組件是否還能保持存活。這個(gè)操作成本很低但能提前暴露很多配置盲區(qū)。這次事故之后我養(yǎng)成了一個(gè)有點(diǎn)“反直覺(jué)”的習(xí)慣每次看到 CSI 掛載失敗第一件事不是查存儲(chǔ)而是先看節(jié)點(diǎn)上的平臺(tái)組件健不健康、節(jié)點(diǎn)資源有沒(méi)有變化。這個(gè)習(xí)慣后來(lái)幫我快速度過(guò)了好幾次類(lèi)似事件。說(shuō)實(shí)話(huà)底層平臺(tái)的穩(wěn)定性往往就藏在這些不起眼的污點(diǎn)、容忍和資源上報(bào)配置里。硬件壞了至少能修能換配置上的盲區(qū)如果沒(méi)人發(fā)現(xiàn)它會(huì)一直在那里等著某個(gè)維護(hù)操作把它引爆。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久综合性| 欧洲色| 亚洲综合视频一下| 婷婷五月天开心网| 在线观看中文字幕亚洲| www五月| 免费无码毛片一区二区A片| co超碰在线观看| 991自拍视频| 国产精品日日躁夜夜躁| 五月色婷婷亚洲 | 伊人激情综合| 991国产精选视频在线播放下载| 丁香九月久久| 天天操婷婷| 激情黄色小说五月天| 婷婷五月激情六月丁香| 丁香婷婷色五月天| 日日色综合| 另类视频在线| 国产婷婷综合| 岛国av网| 七七九色| 香蕉影院色| 亚洲无码黄色| 337久久| 99热99| 久久99久久99精品免视看婷婷| 色婷婷影音| 另类图片五月天婷婷| 天天射天天插天天干| 日本欧美成人片AAAA| 久久久天堂国产精品女人| 激情文学 综合 九月| 99亚洲精品视频在线观看| 99re思思在线视频| 99爱爱网| 欧洲区自拍| 亚洲国产精品二二三三区| 性色天| 五月人人丁香婷婷五月人人丁香| 久久机热这里只有精品免费视频| 五月婷六月| 91狼友视频网页更新| 色婷婷久久| 五月久久婷婷成人网| 啪啪五月天啪啪| 成人短视频在线| 一区二区无码视频| 久久久久久久久久久久久久久久一道本| 伊人久久婷婷| 欧洲不卡视频| 丁香五月手机在线| 日本人人超碰| 99re最新地址视频| 九九热99熟女| 操比激情五月| 99福利视频| 色五月天堂| 五月婷婷综合激情小说| 爱之国产色情综合| 在线视频你懂得| 激情国产五月| 五月丁香拍拍激情综合| 色久女| 日韩99无码| 91久久1118| 狠狠色噜噜| 丁香五月天激情视频| 91碰操| 婷婷激情五月天7| 99热精品免费| 97干资源在线观看| 狠狠做六月爱婷婷综合aⅴ| 丁香六月激情国产| 91久女| 成人羞羞啪啪 全 视频| 五月天激情电影| A久久| 日日夜夜小色哥| 激情网五月天| 美女被操一区二区| 色碰碰视频| 99riAV国产精品视频| 久久99大全| 91av色色乱视频| 色播jjjj| 丁香色六月婷婷| 人人人人人人人人人草| 久久婷婷六月综合| 99热婷婷| 五月婷婷色色色| 99久久色| 丁香六月伊人| www.1024久久| 色亚洲欧洲| 欧美性猛交99久久久久99按摩| 婷婷97碰碰| 日日噜噜夜夜狠狠久久丁香六月| 超碰在线观看成人视| 丁香婷五月| 五月丁香六月| 久久五月天激情婷婷| 色五月丁香六月婷婷| 丁香久久AV| 婷婷在线操| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 色婷婷免费观看| 性爱久久| 99草视频在线观看| 日操夜操天天操不卡| 久操人妻| 久久伊人五月天| 婷婷久久亚洲| 五月婷婷碰碰| 亚洲网站在线鸭子av| 久久久区区一久久久久久| 色色综合色| 超碰人人色| 激情丁香社区| www.com任你艹| 99re在线观看| 欧美激情综合色综合啪啪五月| 久9久9久9久9久9久9| 激情六月婷婷| 无码区婷婷五月花开| 色婷婷成人| 超碰99热精品| 成人在线高清| 色婷亚洲| 国产SUV精品一区二区6| 999热在线视频| 婷婷五月丁香五月天| 一级二级香港秋霞欧美欧美秋霞| 精品色色| 超碰九色| 五月 激情视频| 97精品人人A片免费看| 啪啪操超碰| 都市激情蜜桃婷婷五月天 | 久久五月婷天天干| 婷婷久久综合久| www.狠狠干| 五月叮香啪| 色9999日韩国产| 人人综合91网| 婷婷五月天国产在线播放| 日本不卡中文字幕| 丁香五月综合激情啪啪| 五月天丁香久久| 婷婷六月成人| 激情网五月婷婷| 久久曰曰| 青青草深爱激情网| 丁香五月天久久| 去干网av| 久久丁香| 米奇激情婷婷| 色婷丨日丨天丨综合久久| 色色婷婷丁香五月天| 97超碰9久热婷婷热| 天天射天天射一道本日本社区 | 欧美大道不卡| 久婷婷| 九九99视频| 亚洲中文字幕在线观看| 久久人妻情侣| 色欲AVV| 久久性爱网站| AV九九| 婷婷午夜激情| 国产成人+综合亚洲+天堂| 99热日韩| 国产成人AV在线| 超碰资源在线| 五月丁香色婷婷| 六月婷婷网| 亚洲人人操| 婷婷五月天成人五月天| 国产成人精品一区二三区熟女在线| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 丁香五月播播| 久久久激情视频| 91碰超| 欧美六月| 六月亚洲婷婷6月中文字幕| 婷色五月| 久久婷婷丁香五月一二三| 日本不卡高字幕在线2019| 九九sese| 97色色色| 97人人操人人| 亚洲人成网亚洲欧洲无码久久| 久久看婷婷| 色香久久| 超碰在线91| 97热在线精品| 99色亚洲| 久久婷婷五月天激情| 三男玩一女三A片| 九九综合精品| 婷婷五月综合色小姐小说| www,五月天激情| 亚洲无码影音| 99热这里是精品| 91一道本| 日韩人妻无码专区| 日韩在线aaa| 殴美97色| 久久久激情视频| 久久99精品久久久久久青青AR| 天天射天天射一道本日本社区 | 日日操日日撸| site:wpjngj.com| 丁香五月激情啪啪| 亚洲中文AV网站| 丁香五月人妻熟女| 五月亭亭色| 中文字幕AV在线| 欧美色偷拍| 99国产在线| 啪啪激情网站| 狠狠看狠狠| 大香人妻| 91妻人人爽人人看片| 五月综合色| 日韩三级片一区二区| 一本色道久久88加勒比| 色色色色色色色色网站| 免费视频无码| 久久99成人性爱高清视频| 99re免费在线视频| 九九成年视频| 先锋影音av色五月天资源站| 五月婷婷无码| 婷婷的99视频网站| www.夜夜| 噜噜久| 五月婷婷亚洲天堂激情在线| 大香蕉久久久| 99热线观看9| 丰满少妇乱A片无码| www.99热在线| 开心婷婷五月| 天天狠狠六月婷丁香影院| 天天色情站| 综合九九久久| 伊人在线视频| 播五月开心婷婷欧美综合| 五月婷婷中文网| 99热日韩| 婷婷射丁香| 久艹伊| 丁香婷婷狠狠97| 在线观看中文字幕| 婷婷丁香五月亚洲| 婷婷丁香宗合888| 色综合久久88色综合天天| 婷丁香久综合| 五月丁香亭亭成人电影| 日韩好吊操| 四色永久成人网站| 秋霞免费三级片| 色九月婷婷丁香| 97涩婷婷婷婷基地| 色综合久网| 精品热青草| A短视频免费在线观看| www.色婷婷| 五月丁香婷婷欧美| 色综啪啪网| 日日夜夜狠狠| 丁香六月婷婷综合欧美| 色噜噜在线| 伊人影音无码一区二区三区 | 婷婷五月成人有| 在线看黄色| 六月丁香五月婷婷| 五月婷婷中文| 丁香午夜天| 日本成人噜噜噜| 亚洲成人乱码av网站| 婷婷五月av| 丁香婷婷久久综合在线| 久99999热视频在线观看免费| 中文字幕在线免费| 内射综合网| 激情五月婷婷六月丁香| ji'qi'luan'ren'lun| 激情五月综合色婷婷| 色一情一乱一乱一区91Av| 久久九九中文字幕| 国产激情在线| 日本色图综合| 九九激情综合| 五月丁香六月色婷| 超碰三级秋霞| 六月婷婷狠狠| 操逼123网| 丁香婷婷免费| 俺去也在线官网| 欧美久人人| 久操激情| 热久久精品视频网站| 丁香六月伊人| 狠狠干婷婷| JAPANRCEP老熟妇乱子伦视频| 国产欧美精品AAAAAA片| 婷婷五月色情| 色婷五月天网站| 亚洲色网络| 五月婷婷AV| 午夜不卡久久精品无码免费| 五月天停婷基地| 激情五月综合| 99热免费| 日日夜夜狠狠| 日本精品人妻无码77777| 亚洲精品久久久久久久久久吃药| 婷婷97色| 人妻激情网| 亚洲另类av| 色五月婷婷青娱乐| 欧美色图45678| 婷婷久久五月天| 性爱AV天堂| www.sd-xiangsu.cpm| 五月婷婷六月丁香综合视频在线| 五月丁六月婷| 播五月开心婷婷欧美综合| 97干在线播放| 国产成人综合网| 嫩草AV久久伊人妇女超级A| 亚洲视频在线观看| 96色婷婷| 婷婷99| 99这里只有精品视频在线| 六月婷婷之青青草| 日屌日日操日日色| 99热精品在线播放| www九九免费视频| 久草五月婷| 五月玖玖| 中文不卡一二区| 五月丁香基地| 九九色热| 色综合99无码| 停停色综合伊人| 亚洲视频99| 国产又黄又爽又色的免费| 99噜噜| 伊人AV五月婷| 婷婷五月激情基地| 色婷婷五月婷婷五月婷婷五月| 久热欧美| 男人天堂99| www.henhengan| 狠狠精品干练久久久无码中文字幕| Www99热| 色视频五月天| 39视频第二区| 色色色色色色色色五月先| 婷婷久久综合| 国产探花一片区| 爱操人妻| 亚洲最大视频| 少妇被下春药玩弄A片| 久久码久久无清| 五月天丁香六月综合| 婷婷五月精品中文字幕| www.操.com| 97涩婷婷| 天天操天天操综合| 亚洲综合五月天婷婷丁香| 精品一二三区久久AAA片| 大狠狠在线| 人妻自慰高清合集| 狠狠操综合| 99久久高清视频| 99色这里| 另类A片| 国产乱轮一区二区三区| 成人超碰AV| 丁香五月综合激情性爱| 人人摸人人干| 久久6这里只有精品| 国产va视频| 亚洲乱码精品久久久久..| 婷婷五月丁香超碰| 婷婷爱五月天人人爱| 久久久久er热| 欧洲亚洲免费视频9 | 五月天婷a在线| 婷婷五月综合婷婷| 婷婷丁香人妻天天爽| 精品九九在线观看视频| 九九热青草| 亚洲欧州色情在线观看| 日本三久久| 日本三级大片| 噜综合| 久久婷婷色| 五月婷婷六月丁香| 六月丁香婷婷综合色播| 色婷婷色99国产综合精品| 超级碰碰碰碰视频| 五月天天爽| 精品少妇人妻AV无码专区偷人 | 插少妇综合网| 五月天成人综合| 伊人网碰碰| 99热地址| 国产九九一区二区三区| 五月天啪啪啪| 成人一区在线观看| 午夜不卡成人一区二区| 三人荫蒂添的好舒服A片| 97色色色| 五月婷婷中文字幕| 性爱AV天堂| 久久九九综合| 少妇丁香婷婷 | 久久总和99| 97久操视频| 五月婷婷六月激情| 超碰97干| 开心五月激情网| www.久久9| 国产激情综合五月久久| 色婷婷综合综合网| 五月丁香啪啪激情| 这里只有精品免费在线视频| 婷婷视频网| 包操45分钟网站| 欧美精品999| 99在线观看亚洲| 色婷婷香蕉| 成年AAAA色情| 禁欲电影完整版在线播放| 综合99在线| 99在线精品视频| 无码色| 99精品在线播放| 亚洲亚洲人成综合网络| 五月激情视频| 成人免费高清在线播放| 色综合色综合网| 六月丁香天堂| 五月停性愛| 天天干夜晚夜操| 色色色色热| 五月丁香六月欧美综合| 婷婷欧美偷拍综合| 久久久婷婷婷| 九九热10| 九九大香蕉黄色影院| 天天干天天干天天| 丁香六月啪| 婷婷五月天改成什么了| 国产偷人爽久久久久久老妇APP | 五月婷婷婷婷| 激情网开心网| 丁香五月婷婷99| 九九综合精品| 婷婷五月天在婷| 蜜乳人妻一区二区三区| www.操.com| 3p日韩网站视频| 人人操人| 婷婷爱五月| 婷婷丁香五月激情图片| AV中文字幕夜夜操b天天摸bb | 大陆极品少妇内射AAAAAA| 五月欧美色色五月| ww久久| 办公室少妇激情呻吟A片在线观看 白人荫道BBWBBB大荫道 | 亚洲va在线∨a天堂va欧美va| 9久热在线视频精品| 亚洲激情av| 亚洲激情精品| 色狠狠五月天| 欧美色色色色色色色色| 婷婷伊人| 精a品a| 天天久久狠狠色综合| 久草热久草在线视频| 久久九九怡红院| 9999热精品| 久久99jiu9| 色五月天 丁香| 婷婷五月天大香蕉在线视频观看| 极品九九九九九九| 亚洲婷婷91丁香| www久久99| 一区二区乱视频码| 黄网在线免费播放| 色狠狠五月天| 天天综合亚洲综合| 色色AV色色色东莞| 天天综合网在线| 四色永久成人网站| 精品九九视频| 婷婷偷拍网| 久久久九九九 99| 色婷婷视频| 中文字幕AV网址| 五月天亚洲最大成人| 欧美图片丁香五月天| 性爱人人网| 极品五月天| 色九区| 五月花综合视频| 久久之人妻| 欧美日韩精品一区二区三区钱| 色吧五月婷婷| 五月天播播中文字幕 | 日日夜夜爽| 综合大香蕉| 婷婷激情四射五月天| 亚洲无AV在线中文字幕| 五月丁香亚洲综合| 成人综合视频在线| 99热这里有精品| 视频这里只有精品16| 久久婷婷五月天懂色| 亚洲性爱AV| 国产毛片精品一区二区色欲黄A片| 色999;丁香五月| 成人在线视频一区| 天天操人人干| 超碰狠狠操| 久久久久久久人妻| 婷婷99丁香| 激情深爱婷婷网| 玖玖九九99| 五月天婷婷AV| 欧美日韩成人综合9| 91操片| 久久66er久久| 超碰高清在线| 99干免费视频| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 免费亚洲婷婷| www.久久99| 九9九9无码| 在线视频婷婷| 97色碰| 天天干一干| 色色色色色色色色综合网| 91人人操人人| 五月婷婷久久综合| 久久资源网五月婷| 五月天久久久| 天天干天天干天天干| 色五月婷婷在线| 26uuu| 婷婷激情六月| 1000部毛片A片免费观看| 五月天激情综合| 开心五月婷婷激情| 桃色成人网| 人人人操 超碰| 国产精品一区在线观看你懂的| 欧美交换配乱吟粗大25P| 99热只有| 99色综合久久| 涩涩婷婷五月| 久久久www| 5月激情天| 好吊操这里只有精品| 91丨九色丨大屁股| 亚洲丁香五月美女| 五月天激情视频五月天| 国产亚洲精久久久久| 色五月天婷婷| 色在线99| 九九久久精品| 91色综合久久| 五月丁香婷婷激情影院欧美| 伊人五月天综合网| 伊人婷婷色激情丁香| 校园激情 亚洲| 色五月婷婷久久| 国产亚洲网站在线| 国产 码在线成人网站| 婷色五月| 黄页大全十八禁| 深爱婷婷丁香五月激情| 永久免费一区二区三区| 99久久99九九99九九九| 婷婷丁香五月社区亚洲| 色丁香婷婷| 久久杏爱视频| 成人精品亚洲性爱| 五月婷婷开心网| 丁香六月婷婷综合| 色色97丁香婷婷五月天| 欧洲不卡视频| 性生活久久人妻| 九九精品亚洲| 伊人在线视频| 五月停停色| 日日天天天| 亚洲日韩人妻操逼| 97操操| 久热这里只有精品视频6| 久久久91精品| 色爱99| 五月丁香激情综合六月涩涩爱| 色碰碰| 婷婷六月丁香在线| 五月婷婷色五月| 99热在线里有精品| 91九色 熟| 久久婷婷丁香花综合网| 蜜乳中文字| 超碰资源在线| 五月激情网站| 狠狠做五月婷婷| 九九99偷拍视频| 五月天色婷婷成人| 影音先锋噜一噜| 开心五月婷婷| 婷婷五月天激情网站| 在线网黄| 99re欧美精品| 免费啪啪亚州视频| 狠狠色性| 九九伊人网| 加勒比久热| 婷婷五月天无码视频| 亚洲六月色婷婷| 99精品国产在热久久| 国产精品电影| 亚洲乱码w在线观看| 大地资源色婷婷视频在线| 91成人视频| 怡红院一二三| 99这里都是精品| 99久久视频| 五月丁香亚洲综合网| 天天婷婷综合亚洲亚洲| 久热91精品| 五月婷婷综合在线视频小说| 超碰免费人| www.激情五月天.com| 婷婷五月大香蕉| 亚洲黄色av网站| 欧美丁香五月天| 少妇人妻人伦A片| 色欲丁香| caop在线视频| 成人中文字幕在线| 五月色丁香| 97se在线视频| 999热成人在线综合网| 熟女人妻一区二区三区免费看| 另类在线| 久久99久久99久久99人受| 五月天婷综合| 九九热婷婷| 婷婷性爱视频在线| 五月丁香色六月激情干大屄| 色综合网页| 天天干天天爽天天爽| 成人国产欧美大片一区| 天天色色婷婷| 中国女人做爰A片| 99这里精品| 婷婷五月天伊人| 日本熟妇精品99| AV在线免费播放| 欧美久久网| www.91在线观看| 亚洲99在线| 99超级碰免费视频| 大香蕉啪啪| 五月天开心婷婷激情网站| 中文字幕色色色| 婷婷丁香高潮了| 婷婷色女| 丁香婷婷五月激情| 久久婷婷五月天蜜桃| WWW.久久久久久久久久久久久| 久久婷婷免费| 天天干天天av天天射| 成人.在线日韩| 图片区 小说区 区 亚洲五月| 日本天天操| 激情五月丁香婷婷| 亚洲超碰在线| 日韩成人电泉AV| 裸体美女丁香五月天。 | 婷婷久久性爱| 丁香桃色网| 欧美噜噜免费观看| 国内一级片| 91色情播放| 婷婷丁香社区| 五月婷婷无码| 欧美韩日AAA网站| 丁香婷婷激情四射五月| 色婷婷天堂| 亚洲婷婷视频| 狠狠色噜噜狠| 5五月综合网亚洲| 五月丁香婷婷色色色| 九九色色| 青青草六月丁香| 激情骚五月| 亚洲成人免费在线| 亚洲射激情| 五月天久久小说| 99久久久久久www| 少妇丁香婷婷| 五月色情婷婷| 热99这就是精品视频| 5月婷婷激情6月| 五月天基地| AV中文在线| 五月丁香欧美综合免费视频| 五月香蕉婷婷| 欧美交换配乱吟粗大25P| 综合五月丁香六月婷婷| 一区色色色色网| 日韩人妻白浆视频系列| 中文资源在线a| 精品网站99| 99热全是精品| 久热免费视频| 99免费视频| 视色网在线播放| 啪啪操操| www.色婷婷.com| 五月婷婷综合丁香视频| 丁香婷婷激情五月色| 丁香五月大香蕉AV| 在线观看免费人成视频无码| 亚洲AV无码成人精品电影| 97在线/亚洲| 色婷婷丁香六月| 可以直接看的av| 婷婷激情五月| 9 99免费视频| 亚洲激情五月丁香久久久久| 久久99久久久久久| 久久ri精品视频| 欧美婷婷六月丁香综合色| 色五狠狠| 色丁香五月婷婷| 青青久久91| 人妻系列久久久久久久久久久| 五月天激情婷婷久久| 97干在线视频| 色婷婷88| 玖玖资源站中文| 99色精品| 久久婷婷五月天激情四射| www久久五月com| 狠狠色成人影片| 9久热视频| 色中色综合| EEUSS鲁片一区二区三区| 丁香婷婷色五月合集| 狠狠操.com| 99精品视频偷拍| 9热在线视频| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 欧美色色色色色色色| 97久久草草超级碰碰碰| 久9精品| 七七色综合| 久久久久久久久久8888| 91超碰在线观看| 天天爽天天操| 五月天婷婷色综合| 五月天社区狠狠| 天天爽人人爽| 66精品国产成人| 久久性操| 激情久久久久久久久久久| 五月花激情网| 婷婷伊人五月丁香天堂网| 日韩av变天就操逼不卡区| 婷婷六月天| 99热这里是精品| www.婷婷五月| 婷婷激情四射| 91超级碰碰碰| 七七九色| 久久女人天堂| 超碰人人干| 久久精品视频99| 97操碰碰无码视频| 91碰超| 真实亲子乱子伦高清在线观看| 夜夜骑福利资源| 丁香六月亚洲综合| 婷婷五月骚厕所| 欧美激情五月| 欧美啄木乌丝袜人妻系列| 色色五月婷婷| 久色| 大香蕉久久久久| 激情综合无码| 婷婷五月天在线看| 五月婷婷大香蕉| 丁香五月婷婷呀| 国产婷婷色综合AV蜜臀AV | 99热思思久| 99热成人| 亚洲精品无码久久| 久久五月天视频| 色人久夂| 激情五月天在线观看婷婷| 99色色网| 丁香 婷婷五月| 五月婷婷深爱六月| 天天日日综合| 久久WW| 日本高清久久| 欧美大肥婆大肥BBBBB| 乱乱av| 青青草原爱爱网| 丁香五月情| 热99国产精品| 一二三区视频韩国| 激情5月婷婷| 色五月天电影| 色情五月丁香| AA片在线观看视频在线播放| 91啦丨九色丨刺激中文| 91婷婷伊人牛牛| 丁香五月天偷拍| 久99久热只有精品国产99| 五月婷婷综合在线视频小说| 日本系列_4页_777FP| 女人天堂AV| 久久婷婷综合五月| 91视频五月丁香| 丁香婷婷人妻| 五月婷婷啪啪网| 精品久久久人妻| 91丨九色丨国产打屁股| 少妇水多A片太爽了| 婷婷五月丁香激情图片 | 久久久久久97| 久久婷婷丁香五月一二三| 人人看人人摸人人| 久久五月网| 极品人妻VIDEOSSS人妻| 中文AⅤ大全| 亚洲另类婷婷综合| 国际国外精品欧洲南美洲专区无码不卡| 99在这里有精品| 日韩人妻无码专区| 激情四射亚洲| 99热这里有精品首页10| 婷婷综合五月天激情| 996er热| 五月天丁香| 91大屁股精品| 五月天色综合服务平台| 99成人| 国产亚洲精品久久久久苍井松| 午夜免费高清AV片| 99热 在线观看| xx人人xx| 99在线精品免费视频| 久久9热综合| 日韩色色小视频| 天天干天天干天天操| 丁香五月激情啪啪| 五月久久网| 新激情五月开心五月婷婷五月丁香五月| 夜色综合网| 天天揷综合网| 久久与婷婷| 婷婷五月天男人影院色色网| 亚洲成人五月天| 色婷亚洲| 色五月婷婷DVD| 人人干人人看| 99精品免费欧美小视频| 婷婷色五月婷婷姐妹| 国产av基地| 99啪视频在线观看| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 香蕉AV777XXX色综合一区| 思思热在线| 婷婷99| 色五月丁香网| 久久香蕉影院| 六月婷婷色综合| 色综合久久天天综合网| www.五月天色色.com| 极品另类| 丁香五月天婷婷中文字幕| 久久久精品色色色| 丁香激情五月少妇| 五月天俺去也| 思思热再线视频| 天天模,夜夜模夜夜爽| 五月丁香六月婷综合成人综合| 天天爱天天爽| 青996青| 99热这里只有精品22| 密着浓厚中出乚交尾GvG935| 激情色中文| 丁香五月欧美成人| 伊人网碰碰| 丰满人妻一区二区三区| 丁香五月 激情文学| 丁香五月网在线观看| 欧美性猛交XXXX乱大交极品| 九九久久99| 大香蕉久久久久| 久久伦乱| 五月丁香六月激情综合| 色婷九九九| 丁香五月香蕉| 人人叉久| 久久婷婷五月综合伊人| 色婷婷综合久久| 亚洲婷婷丁香五月视频| 亚洲蜜桃精久久久久久久久久久久| 天堂久久丁香| 无码AV免费精品一区二区三区| 成人做爰A片免费看视频| 久久综合99综合| 婷婷丁香五月在线观看91| 亚洲熟妇AV乱码在线观看| 五月婷婷丁香五月| 五月婷在线观看| 色五月婷婷五月天| 夜色.cnm| 狠狠久久婷五月| 色情五月丁香婷婷网| 色天天综合成人网| 婷婷丁香亚洲色综合91| 日日夜夜干| 9久9久9久女女女九九九一九| 五月天丁香久久| 激情播丁香| 精品人妻久久久久久| 丁香五月天堂| 九九成年视频| 天天综合亚洲综合网天天αⅴ| 人妻丰满精品一区二区A片| 丁香五月中文字幕久色| 99碰在线视频| www.超碰| 色视五月天婷婷| 9精品国产在热久久| 99色在线观看视频| 99热最新地址在线| 亚洲视频在线网站| 五月天婷婷7米| 任你草| 99噜噜噜在线播放| 色色a| 色狠狠五月天| 国产亚洲AV人片在线| 五月婷婷成人| 五月激情丁香久久综合网| 欧美三级视频| 啪啪激情综合| 久久996re热这里只有精品无码| 婷婷久久欧美| 婷婷五月天精品| 五月色精品| 婷婷内射视频在线| 亚洲亚洲人成综合网络| 天天日综合| 丁香婷婷综合激情五月色| 在线色婷婷| 99re这里只有精品免费| 久久资源网五月婷| 亚洲欧洲一二| 很很干在线视频| 99热综合网| 91成人看片| 婷婷丁香色五月| 全部老头和老太XXXXX| 92久久| 亚洲成人中心| 在线综合91| 日日日影院| 少妇性按摩无码中文A片| 五月天激情小说| 婷婷性爱网| 九九人人精品| 中文字幕有多少字| 五月丁香婷中文| 日韩精品无码99| 99热大全在线观看| 婷婷色色欧美| 一本色综合色| 99精品视频网站| 久久婷婷五月天蜜桃| 欧美色播综合在线观看| 99九九热在线观看| 日本天堂网站99| 大香蕉久久| 免费国产视频| 无码网站视频| 五月丁香婷婷国产精品综合| 五月丁香六月婷婷啪啪| 九热av| 国产JK精品白丝AV在线观看| 超碰免费人妻| 色情婷婷五月天| 色五月激情基地| 99色色爰| 国产97色在线| 9 9热这里有精品| 超碰在线日夜| 青青草五月天| 欧美婷婷丁香五月社区| 午夜性做爰电影| 日日操,日日爽| 9久久狠狠的| 这里只有精品9| 五月天丁香看婷婷| 色色婷婷丁香五月天| 97婷婷丁香| 丁香五月色| 亚洲丁香五月综合| 日韩乱轮AV| 女人天堂 AV| 色情开心五月| 99久re热视频精品98| 91欧美| 97色吧| 五月综合缴情网| 色九月国产| 久热九九| 久久五月婷综合网| 色爱爱综合网| 久久激情五月天| 这里只有精品日韩| 激情文学综合婷婷五月天丁香花| 亚洲色综合性| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 国产成人精品一区二区三区视频| 色播五月网| 久久综合丁香激情五月| 五月色色色| 久久伊人婷婷| 激情综合网五月丁香| 久青操| 操碰99| 久久九区| 91久操| 色色性爱视频| 色婷婷基地| 99只有精品| 成人免费120分钟啪啪| 99热精品在线观看| 风流少妇A片一区二区蜜桃| 五月婷婷激情| 亚洲精品久久久无码| 国产毛片精品一区二区色欲黄A片| 免费做A爰片77777| 蜜桃成语时李时珍 免费| 99久久人妻精品无码二区| 中文字幕 中文字幕明步| 亚洲性爱AV在线| 超碰色热| 大香久久伊人网| 久久精品夜色噜噜亚洲a∨| 99网址在线看| 婷婷伊人綜合中文字幕小说| 五月婷婷六月丁香激情深爱| 亚洲成人综合网在线免费观看| 九九视频在线观看| 开心六月丁香五月婷婷| 色综合久网| 婷婷色五月激情| 综合婷婷五月天| 丁香五月综合福利视频导航| 激情亚洲婷婷| 五月婷婷伊| 婷婷俺去也| 99久视频| 婷婷综合五月色播| 99婷婷| 久久色9| 狠狠噪| 精品久久99| 色情五月天丁香社区| 五月天成人在线播放丁香| 玖月婷婷爱丁香| 精品99在线| 大香久久综合网| 免费视频无码| 激情五月天视频| 激情五月天综合| 99热这里只有精品50| 丁香五月1页| 日本视频99| 精品少妇人妻AV无码专区偷人| 亚洲性爱AV| 美女黄频aⅴ视频| 五月婷婷丁香深深爱| 日本熟女内射| 综合色色网| 亚洲字幕AV一区二区三区四区| 五月天婷婷涩涩| 五月婷婷综合网| 婷婷十月丁香| 丁香五月婷婷啪| 久99999热视频在线观看免费| 五月婷婷黄| 99这里只有精品视频免费| 激情综合色婷婷啪啪六月天| 丁香九月综合激情| 成人免费120分钟啪啪| av成人在线播放| 婷婷五月天777| 婷婷激情小说| 久久久婷婷| 欧洲区自拍| 五月丁香激情综合| 狠狠 久久| 99rewww| 婷婷九月丁香| 99热在线播放| 69人妻人人澡人人爽久久| 五月丁香网av| 国产精品色色| 少妇搡BBBB搡BBB搡毛茸茸| 久99久精品视频| 色五月婷婷啪啪五月| 久操人妻| 狠狠干综合| 丁香五月欧美激情| 色五月婷婷av| 97人人操人人爽| 五月丁香啪啪啪| 久久久免费精彩视频| 五月天激情婷婷| 五月香婷婷| 免费看欧美成人A片无码| 亚洲妇女熟BBW| 亚洲午夜在线视频| 成人综合伍月天| 九九碰九九爱97超碰| 99天堂网| 国产1区2区3区在线观| 黄色大片又大粗又爽| 色婷婷婷av| 综合在线丁香五月| 丁香五月婷婷成人网| 丁香婷婷色情社区成人小说| 久久五月丁香六月婷| 日韩aaaaa| 色婷婷中文| 激情深爱婷婷网| 台湾无码A片一区二区| 大香蕉婷婷婷| 日本va网站| 五月婷婷啪啪| 97色欧美| 色色色色色综合| 成人五月天综合网| 爱之国产色情综合| 五月丁香激情啪啪| 国产激情在线| 夜夜操天天干| 狠狠色婷| 色五月开心开心五月激情五月| 婷婷综合网站| 久久九九爽| 丁香五月区| 婷婷色五月大香蕉在线观看| 色色色色av色色色色| tingtingcaobi| 五月综合激情图片| 99啪啪| 狠狠搞五月天| 久婷婷| 激情久久久久久| 色99自拍| 99热亚洲精品| 久久婷婷五月天激情| 久久婷婷草| 日本在线va| 伊人热婷婷| 五月天久久婷婷| 五月天色欧美| 九九视频这里只有精品| 伦乱人妻| 免费五月婷婷网| 丁香五月综合激情久久潮喷| 五月婷婷丁香六月 | 色狠狠图片| 日韩AV片| 亚洲免费综合一区| 人人澡玖玖一| 激情色情五月天| 人妻熟妇国产精品| 色婷婷丁香AV综合| 激情婷婷| 婷婷久久草| 一起草AV| 成人永久免费视频在线观看| 婷婷成人丁香色情基地30| 成人综合视频在线| www.色色色com| 五月天激情综合网俺也去| 色色AV色色色东莞| 四川女人毛多水多A片| 五月丁香久久网| 99热这里只有精品2| 欧美黑人巨大性生话| 中文字幕丰满人妻无码专区| 色丁香婷婷美女视频网站| 超碰精品在线| www,色综合| 五月天色婷婷基地| 色婷婷久久| 91视频一起草| 国产色色色色| av中文网| 亚洲精品乱码久久久久久综合| 午夜丁香综合婷婷| 国产黄色大片| 婷婷五月天伊人网在线观看视频| 99热都是精品| 超碰在线个人观看| 被强行糟蹋的女人A片| 五月天婷婷久久| 狠狠久综合| 婷婷性爱综合| 五月婷婷啪啪啪| 久久无码激情视频| 不卡的AV网站| 青草五月天| 亚洲超碰在线| 亚洲视频一区| 狠狠高潮精品亚洲1| 大香蕉五月天| 日韩AV免费电影在线播放| 激情五月婷婷网| 色99在线| 夜夜嗨一区二区三区直播内容 | 丁香五月花影院| 五月丁香六月婷婷色日| 五月丁香狠狠爱| 色五月情| www.激情五月| 综合激情五月四射婷婷| 91狼友视频网页更新| 97久久精品| 色五月激情五月丁香五月婷婷啪啪综合 | 日本精品在线噜噜噜| 亚洲久久天堂| 五月天成人综合| 26UUU亚洲欧美| 久久9热| 少妇出轨做爰高潮A片| 六月丁香网| 极品 少妇 内射| 丁香六月婷|