欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

client-go實戰(zhàn)指南:Informer、WorkQueue與控制器開發(fā)避坑要點

client-go實戰(zhàn)指南:Informer、WorkQueue與控制器開發(fā)避坑要點 如果你寫過Operator、Controller或者在公司里維護過Kubernetes平臺的自動化工具那client-go大概率是你繞不開的第一個依賴。它是Kubernetes官方維護的Go語言客戶端庫kubectl、kube-controller-manager里的核心組件以及社區(qū)里大量控制器、調(diào)度器、發(fā)布系統(tǒng)底層都是靠它和API Server打交道。這篇是“Kubernetes組件合集”的第三篇我不會把文檔里能查到的API再抄一遍而是從一個實際寫控制器的角度把這些年用client-go踩過的關(guān)鍵點一次講清楚。讀完你至少能明白Informer為什么這樣設(shè)計、初始化客戶端時哪些配置必須調(diào)、以及企業(yè)級項目里哪些坑是真正會遇到的。1. client-go在Kubernetes生態(tài)中的定位為什么所有二次開發(fā)都繞不開它1.1 它到底解決了什么問題很多人剛開始接觸Kubernetes二次開發(fā)時第一反應(yīng)是“不就是調(diào)API嗎我用HTTP請求直接訪問API Server不就行了”理論上確實可以但真的上手你會抓狂API路徑版本協(xié)商、token或證書鑒權(quán)、對象序列化和反序列化、分頁拉取、watch長連接重連、本地緩存一致性……這些工作散落在一個資源一個資源的交互細(xì)節(jié)里你自己實現(xiàn)一遍基本相當(dāng)于把客戶端框架重新造一次輪子。client-go的價值就在這里它把“和Kubernetes API Server安全通信”這件事封裝成了開箱即用的Go包。你寫代碼時面對的是kubernetes.NewForConfig、CoreV1().Pods(ns).List(...)這種很直接的接口底層那一堆鑒權(quán)、限流、重試、緩存邏輯全部隱藏掉了。kubectl本身就是client-go最典型的例子你每天敲的kubectl get pods本質(zhì)就是client-go客戶端發(fā)起的一次List調(diào)用。除了省事client-go更大的價值是它提供了Informer這套“監(jiān)聽緩存”機制。Kubernetes控制面是一個基于聲明式狀態(tài)機的系統(tǒng)任何對象的變化都會通過API Server以增量事件的方式廣播出去。如果你不用Informer而是每隔幾秒全量拉一次資源小規(guī)模集群還能將就一旦node數(shù)量、pod數(shù)量上來對API Server的壓力是非??植赖目刂破鞅旧淼捻憫?yīng)延遲也會被拉到秒級甚至分鐘級。Informer就是為此設(shè)計的一次全量List建立基準(zhǔn)之后靠Watch持續(xù)接收增量變化對象在本地緩存里維護控制器讀自己的緩存就能拿到最新狀態(tài)不需要反復(fù)打API Server。1.2 核心模塊掃一遍別被client-go龐大命名空間嚇到client-go的代碼量很大剛開始看確實容易迷路。我建議按下面這個分層來理解從上到下依次是抽象程度和靈活度遞增日常開發(fā)90%時間其實只跟中間兩層打交道。模塊典型對象作用適合場景RESTClientrest.RESTClient最底層的HTTP客戶端封裝直接操作URL、Method、Body需要自定義請求格式、臨時訪問非標(biāo)準(zhǔn)接口Clientsetkubernetes.Clientset按API Group組織起來的一套強類型客戶端內(nèi)置Pod、Deployment、Service等所有內(nèi)置資源的訪問方法絕大多數(shù)標(biāo)準(zhǔn)資源操作寫控制器必備DynamicClientdynamic.Interface操作Unstructured對象不用預(yù)先知道Go類型處理自定義CRD、搭建通用巡檢平臺、動態(tài)編排DiscoveryClientdiscovery.DiscoveryClient查詢集群支持哪些APIGroup、資源、版本做版本兼容、資源探測、API清單導(dǎo)出Informer/ListWatchercache.SharedIndexInformer監(jiān)聽資源變化維護本地緩存觸發(fā)事件回調(diào)控制器核心幾乎所有事件驅(qū)動邏輯都依賴它WorkQueueworkqueue.RateLimitingInterface帶限速、去重、失敗重試的工作隊列事件回調(diào)后的異步處理防止事件風(fēng)暴打崩控制器leaderelectiontools/leaderelection基于Lease實現(xiàn)選主多副本控制器保證同時只有一個實例在處理這套設(shè)計其實很像一個公司的內(nèi)部結(jié)構(gòu)DiscoveryClient是前臺負(fù)責(zé)告訴你“公司里有哪些部門”Clientset是標(biāo)準(zhǔn)業(yè)務(wù)接口你按部門去辦事就行DynamicClient是“臨時工窗口”不管什么類型的單子都能接Informer相當(dāng)于一個企業(yè)內(nèi)部的信息推送系統(tǒng)訂閱了就有新消息自動送到桌上。1.3 Informer為什么是client-go的靈魂假設(shè)你寫了一個控制器要保證集群里的Deployment副本數(shù)始終等于期望值。最原始的做法是每分鐘全量List一次所有Deployment和期望值比較有差別就去調(diào)。這種輪詢模式有三個明顯的毛病第一集群大了反復(fù)全量List對API Server是巨大負(fù)擔(dān)第二從變化發(fā)生到你感知到變化最壞情況有一個輪詢周期控制面響應(yīng)很遲鈍第三事件一多自己的控制器也無從判斷先后順序。Informer把這三個問題一次性解決了。它首次啟動時會做一次全量List拿到所有對象的完整數(shù)據(jù)和當(dāng)前resourceVersion之后建立一條Watch長連接只接收從該版本開始發(fā)生的增量變化。變化事件進入本地緩存后API Server壓力被降到最低控制器對事件的感知幾乎是實時的而且本地的狀態(tài)始終是“按事件順序回放出來的結(jié)果”一致性也有保障。真正用Informer時你會發(fā)現(xiàn)一個有意思的特性它的回調(diào)函數(shù)接收到對象后通常不是立刻去干活而是把對象key塞進WorkQueue就走。這背后是一個非常重要的設(shè)計哲學(xué)——寫控制器時事件處理邏輯和業(yè)務(wù)處理邏輯必須解耦。Informer回調(diào)跑在它自己的goroutine里如果你把耗時操作直接寫在回調(diào)函數(shù)里一個Pod同步卡住后面所有對象的處理節(jié)奏都會被拖住。事件進隊列、業(yè)務(wù)邏輯由worker從隊列里取出來慢慢消化各管各的這也是client-go官方示例和工作隊列入門的核心套路。2. 把Informer拆開了看ListWatch、緩存與WorkQueue是怎么協(xié)同的2.1 先搞清楚ListWatch的發(fā)起細(xì)節(jié)Informer對外表現(xiàn)就是一個“對象變化的訂閱器”但實際構(gòu)造它的時候你需要給它一個數(shù)據(jù)源。這個數(shù)據(jù)源在client-go里叫ListWatch它包含了兩個動作先全量列表再持續(xù)監(jiān)聽。標(biāo)準(zhǔn)寫法長這樣watcher : cache.NewListWatchFromClient( clientset.CoreV1().RESTClient(), pods, v1.NamespaceAll, fields.Everything(), ) informer : cache.NewSharedIndexInformer( watcher, corev1.Pod{}, time.Minute, cache.Indexers{cache.NamespaceIndex: cache.MetaNamespaceIndexFunc}, )這里有幾個細(xì)節(jié)值得注意。第一NewListWatchFromClient的第一個參數(shù)傳的是RESTClient不是整個Clientset因為ListWatch需要直接和/api/v1/pods這類REST端點打交道。第二第三個參數(shù)傳NamespaceAll就是要監(jiān)聽所有命名空間如果你只關(guān)心某個命名空間這里可以填具體名字API Server返回的內(nèi)容會少很多。第三最后的fields.Everything()表示不按字段過濾你也可以改成fields.ParseSelector(status.phaseRunning)但我不建議在Informer層做太細(xì)的字段過濾因為你漏掉的事件后續(xù)想補會很麻煩。Informer跑起來之后內(nèi)部會有一個Reflector循環(huán)在做這樣的事從上一次List得到的resourceVersion開始Watch如果連接因為超時或其他原因中斷它會重新發(fā)起List然后接著Watch。整個過程是自動的你唯一需要理解的是watch斷掉之后重新List用的是“當(dāng)前最新版本”不是斷線那一刻的版本這意味著斷線期間發(fā)生的部分對象變化可能會被覆蓋式地重新同步這正是為什么事件回調(diào)一定要寫成冪等的原因。2.2 三層結(jié)構(gòu)Reflector、DeltaFIFO、IndexerSharedIndexInformer內(nèi)部說白了是三段式流水線。最外層是Reflector它負(fù)責(zé)向API Server發(fā)起List和Watch把拿到的對象事件封裝成watch.Event。事件進入第二層DeltaFIFO——這個名字很直白它是一個隊列隊列里存的不是某個對象而是“對象變化類型”的組合比如Pod Added、Pod Updated、Pod Deleted。DeltaFIFO的special之處在于它對同一個對象支持累積多條Delta再統(tǒng)一消費比如對象在短時間內(nèi)連續(xù)變了好幾次隊列會把這幾個變化合并成一條最新數(shù)據(jù)再交給下游避免處理線程被高頻小變化淹沒。第三層是Indexer它是真正的本地緩存。Indexer本質(zhì)上就是一個帶索引的內(nèi)存mapkey是namespace/namevalue是對象的完整結(jié)構(gòu)??刂破鞔a里常見的informer.GetIndexer().GetByKey(key)查的就是這一層緩存。它還支持自定義索引比如你想按label快速查對象可以注冊一個索引函數(shù)。用一個貼近生活的類比Reflector是外勤負(fù)責(zé)在外面收集情報DeltaFIFO是帶排序功能的收件箱外勤把情報單據(jù)一張張貼進收件箱Indexer是辦公室里的主檔案柜每次處理完最新情報就把檔案柜更新一遍??刂破鞑闄n案的時候永遠(yuǎn)查的是這個主檔案柜不用每次再打電話問外面。2.3 WorkQueue為什么你的事件回調(diào)里不應(yīng)該直接干活新手最容易犯的錯是直接在AddFunc、UpdateFunc里寫業(yè)務(wù)邏輯。我在前面的章節(jié)提過這個問題這里再展開說說隊列的價值。workqueue.RateLimitingInterface是client-go專門為控制器場景定制的隊列它有三個核心特性。第一它可以自動去重同一個key已經(jīng)排在隊列里時不會重復(fù)入隊避免重復(fù)消費第二它支持指數(shù)退避重試處理失敗后重新入隊重試間隔會從1秒、2秒、4秒這樣遞增而不是無限死循環(huán)第三它可以配合多個worker并發(fā)消費處理好鎖和刷新的問題。典型寫法是這樣的func (c *Controller) processNextItem() bool { key, quit : c.queue.Get() if quit { return false } defer c.queue.Done(key) err : c.syncHandler(key.(string)) if err nil { // 處理成功清掉該key的重試計數(shù) c.queue.Forget(key) return true } // 處理失敗判斷是否超過最大重試次數(shù) if c.queue.NumRequeues(key) c.maxRetries { c.queue.AddRateLimited(key) return true } c.queue.Forget(key) utilruntime.HandleError(fmt.Errorf(dropping key %s after max retries: %v, key, err)) return true }這種模式幾乎成了官方控制器示例的標(biāo)準(zhǔn)骨架。它的好處是不管上游事件多密集worker永遠(yuǎn)按自己的節(jié)奏消化任務(wù)某個對象處理失敗了也不會影響其他對象重試次數(shù)有上限不會因為一個不可恢復(fù)的錯誤把控制器拖垮。寫控制器時一定要把“監(jiān)聽到變化”和“處理這個變化”拆成兩個階段這個習(xí)慣能救你很多次。2.4 多handler的注冊和Resync機制Informer允許同時注冊多個事件回調(diào)比如你既要在Pod變化時更新監(jiān)控緩存又要在Pod變化時觸發(fā)告警邏輯可以調(diào)用兩次AddEventHandler。多個回調(diào)之間是串行執(zhí)行的所以依然要遵守“回調(diào)里不做重活”的原則。還有一個容易忽略的參數(shù)NewSharedIndexInformer的第三個參數(shù)是resyncPeriod。如果你傳了一個非零值比如60秒Informer會每隔一段時間把緩存里的所有對象重新觸發(fā)一次Update回調(diào)。這個機制不是為了刷新數(shù)據(jù)——數(shù)據(jù)本來就在本地緩存里主要用途是讓控制器定期“自檢”一遍彌補某些事件在watch過程中可能丟失的遺漏。但resync會帶來一個副作用你的Update回調(diào)會頻繁被調(diào)用一些明明沒變化的資源也會進隊列。社區(qū)里很多控制器會在UpdateFunc里判斷一下resourceVersion或者關(guān)鍵字段是否真的變了沒變就直接返回這是應(yīng)對resync最有效的辦法。如果你完全不需要resync傳0就能關(guān)掉。3. 手寫第一個client-go控制器初始化、事件監(jiān)聽、優(yōu)雅退出3.1 環(huán)境準(zhǔn)備先把依賴版本對齊否則后面全是坑寫client-go代碼前第一件事不是敲代碼而是確定版本。client-go的版本體系和Kubernetes本身嚴(yán)格對齊Kubernetes v1.27對應(yīng)client-go v0.27.xv1.28對應(yīng)v0.28.x。你在go.mod里同時引入k8s.io/client-go、k8s.io/api、k8s.io/apimachinery時這三者的版本必須保持一致不然編譯期就會出現(xiàn)類型不匹配、scheme注冊不到資源等詭異問題。比較省心的做法是讓Go自動選擇兼容版本。先初始化module再直接加依賴go mod init mycontroller go get k8s.io/client-gov0.27.4 go get k8s.io/apiv0.27.4 go get k8s.io/apimachineryv0.27.4如果自己的集群版本高一些比如1.29client-go版本可以稍微低一點但最低不要低過兩個minor版本跨太多版本很可能遇到部分新API字段不解析、watch端點404之類的問題。最穩(wěn)妥的做法是讓client-go的版本和集群API Server的版本完全對應(yīng)少一點花活。3.2 三種初始化客戶端的方式別只會一種client-go官方支持三種定位config的場景在集群內(nèi)運行、使用kubeconfig文件、直接代碼構(gòu)造rest.Config。實際寫控制器時這三種往往都要遇到。集群內(nèi)運行是最常見的因為你的控制器最終會作為Pod部署到Kubernetes里這時使用rest.InClusterConfig()就能自動加載ServiceAccount的token和CA證書config, err : rest.InClusterConfig() if err ! nil { log.Fatalf(in-cluster config failed: %v, err) }本地調(diào)試時InClusterConfig會失敗這時要回退到kubeconfigkubeconfig : filepath.Join(home, .kube, config) config, err : clientcmd.BuildConfigFromFlags(, kubeconfig) if err ! nil { log.Fatalf(build config from kubeconfig failed: %v, err) }但無論哪種方式拿到的*rest.Config在真正創(chuàng)建客戶端之前我強烈建議你做兩件事。第一設(shè)置config.UserAgent比如my-controller/v0.1.0這樣出現(xiàn)問題查API Server審計日志時能一眼看出是哪個客戶端在調(diào)用。第二關(guān)注config.QPS和config.Burst這兩個字段控制著客戶端每秒最多發(fā)多少請求、突發(fā)情況下最多積累多少個請求。默認(rèn)值非常保守只有5和10對控制器這種有Informer在持續(xù)監(jiān)聽的程序來說太不夠用了建議至少調(diào)到50和100后面我會專門講這個問題。創(chuàng)建客戶端本身很簡單clientset, err : kubernetes.NewForConfig(config) if err ! nil { log.Fatalf(create kubernetes client failed: %v, err) }NewForConfig做的一件事很關(guān)鍵它會用你傳入的config構(gòu)造一個RESTClient并把所有內(nèi)置資源的序列化器、版本轉(zhuǎn)換器注冊好。這就是為什么你在Cilentset上直接調(diào)用CoreV1().Pods()就能拿到強類型對象不用自己手動解析JSON。3.3 實現(xiàn)核心事件循環(huán)從Informer回調(diào)到業(yè)務(wù)處理有了客戶端下一步就是構(gòu)造Informer、注冊回調(diào)、啟動處理循環(huán)。這里我給一個可以直接跑的骨架以監(jiān)聽Pod為例。queue : workqueue.NewRateLimitingQueue(workqueue.DefaultControllerRateLimiter()) informer : cache.NewSharedIndexInformer( cache.NewListWatchFromClient(clientset.CoreV1().RESTClient(), pods, v1.NamespaceAll, fields.Everything()), corev1.Pod{}, 0, cache.Indexers{cache.NamespaceIndex: cache.MetaNamespaceIndexFunc}, ) informer.AddEventHandler(cache.ResourceEventHandlerFuncs{ AddFunc: func(obj interface{}) { key, err : cache.MetaNamespaceKeyFunc(obj) if err nil { queue.Add(key) } }, UpdateFunc: func(oldObj, newObj interface{}) { key, err : cache.MetaNamespaceKeyFunc(newObj) if err nil { queue.Add(key) } }, DeleteFunc: func(obj interface{}) { key, err : cache.DeletionHandlingMetaNamespaceKeyFunc(obj) if err nil { queue.Add(key) } }, })注意DeleteFunc這里用的是cache.DeletionHandlingMetaNamespaceKeyFunc而不是普通的MetaNamespaceKeyFunc。原因很微妙Delete事件里拿到的對象可能因為已經(jīng)不在緩存中某些字段是空的甚至可能是cache.DeletedFinalStateUnknown包裝過的對象直接用普通函數(shù)容易panic或只能拿到殘缺key。這個是官方文檔里不顯眼但實際作用非常大的細(xì)節(jié)。處理循環(huán)的worker部分核心邏輯就是前面提到的processNextItem。真正干活時建議把業(yè)務(wù)處理收斂到一個方法里func (c *Controller) syncPod(key string) error { ns, name, err : cache.SplitMetaNamespaceKey(key) if err ! nil { return err } pod, exists, err : c.informer.GetStore().GetByKey(key) if err ! nil { return err } if !exists { // 對象已刪除做清理工作 return nil } p : pod.(*corev1.Pod) // 在這里寫你的業(yè)務(wù)邏輯比如檢查注解、調(diào)用API更新狀態(tài)等 return nil }這里的“從緩存讀對象”而不是“用Clientset直接Get對象”是Informer模式的精髓。你通過GetByKey拿到的數(shù)據(jù)永遠(yuǎn)與Informer內(nèi)部緩存保持一致而且不消耗API Server配額。只有在需要主動修改對象時才會用Clientset發(fā)起寫請求。3.4 讓進程體面退出context、WaitGroup與多worker并發(fā)一個生產(chǎn)級控制器不能只有Informer還必須能優(yōu)雅關(guān)閉。Kubernetes停止Pod時默認(rèn)發(fā)SIGTERM信號如果你不做任何處理Informer的watch連接可能來不及關(guān)閉隊列里的任務(wù)也來不及清空留下一堆半成品狀態(tài)。標(biāo)準(zhǔn)的做法是用context.Context控制整個生命周期再用sync.WaitGroup等待所有worker退出ctx, cancel : context.WithCancel(context.Background()) defer cancel() stopCh : ctx.Done() go informer.Run(stopCh) if !cache.WaitForCacheSync(stopCh, informer.HasSynced) { log.Fatal(failed to wait for caches to sync) } var wg sync.WaitGroup for i : 0; i runtime.NumCPU(); i { wg.Add(1) go func() { defer wg.Done() for c.processNextItem() { } }() } go func() { -stopCh queue.ShutDown() }() sigCh : make(chan os.Signal, 1) signal.Notify(sigCh, syscall.SIGINT, syscall.SIGTERM) -sigCh cancel() wg.Wait()cache.WaitForCacheSync這行很重要。它確保Informer完成首次全量List并同步完所有對象之后才開始消費隊列里的任務(wù)。如果不做這一步啟動初期緩存是空的worker消費到的事件可能因為對象還沒進緩存而被錯誤地認(rèn)為“對象不存在”造成不必要的誤刪除操作。多worker的意義在于提高消費吞吐量。Informer回調(diào)把事件塞進隊列的速度很快如果只有一個worker慢慢處理大規(guī)模節(jié)點故障時隊列會急劇膨脹。用runtime.NumCPU()起多個worker是一種簡單有效的擴容方式但要注意你的業(yè)務(wù)邏輯對同一個對象的并發(fā)處理是否安全。如果某個對象需要在多個worker之間串行處理最好在syncHandler內(nèi)部對key加一把帶namespace/name粒度的鎖。3.5 企業(yè)多副本部署逃不開的一課Leader Election單副本控制器部署簡單但問題很多升級時會有幾分鐘空窗期節(jié)點故障時整個控制器直接不可用。生產(chǎn)環(huán)境一般都會給控制器開多個副本此時所有副本同時監(jiān)聽事件、同時處理就會產(chǎn)生重復(fù)操作甚至互相干擾。解決辦法是選主讓同一時刻只有一個副本真正執(zhí)行業(yè)務(wù)邏輯其他副本只是熱備。client-go自帶leaderelection包默認(rèn)的鎖資源是Leasecoordination.k8s.io/v1。一個最小實現(xiàn)大概是這樣lock : resourcelock.LeaseLock{ LeaseMeta: metav1.ObjectMeta{ Name: my-controller, Namespace: kube-system, }, Client: clientset.CoordinationV1(), LockConfig: resourcelock.ResourceLockConfig{ Identity: hostname, }, } leaderelection.RunOrDie(ctx, leaderelection.LeaderElectionConfig{ Lock: lock, ReleaseOnCancel: true, LeaseDuration: 15 * time.Second, RenewDeadline: 10 * time.Second, RetryPeriod: 2 * time.Second, Callbacks: leaderelection.LeaderCallbacks{ OnStartedLeading: func(ctx context.Context) { // 這里才啟動你的控制器主循環(huán) }, OnStoppedLeading: func() { log.Fatal(lost leadership, exiting) }, }, })幾個參數(shù)值得解釋。LeaseDuration是租約時長超過這個時間沒續(xù)租其他副本就可以搶主RenewDeadline是續(xù)租超時超過這個時間還沒續(xù)上當(dāng)前Leader會被認(rèn)為失聯(lián)RetryPeriod是續(xù)租的重試間隔。三者的合理比例大約是5:3:1社區(qū)普遍認(rèn)可這個經(jīng)驗值。ReleaseOnCancel設(shè)成true是讓Leader在退讓時主動釋放Lease這樣下一個Leader能立刻接管不用干等一個LeaseDuration。實際踩坑點OnStartedLeading回調(diào)里必須阻塞不能直接返回否則Leader立刻失去資格如果你用的是client-go的舊版本ReleaseOnCancel可能還不存在需要自己調(diào)用lock.Release()來釋放。4. 進階玩法DynamicClient、代碼生成與controller-runtime怎么選4.1 處理不確定的GVKDynamicClient什么時候上場Clientset雖然好但它只認(rèn)內(nèi)置資源。你一旦開始處理自定義CRD或者做一個“什么資源都能管”的通用平臺Clientset就用不上了。這時候需要DynamicClient它操作的是unstructured.Unstructured一種把任意API對象的字段全部塞進map[string]interface{}的通用載體。使用DynamicClient的第一件事是拿到目標(biāo)資源的GVRGroup/Version/Resource而不是GVKGroup/Version/Kind。GVR指的是REST資源路徑比如apps/v1組下的deploymentsGVK指的是類型比如Deployment。你寫代碼時經(jīng)常要先把Kind轉(zhuǎn)成Resource有個小技巧是直接用API Server的DiscoveryClient去查。gvr : schema.GroupVersionResource{ Group: apps, Version: v1, Resource: deployments, } list, err : dynamicClient.Resource(gvr).Namespace(default).List(ctx, metav1.ListOptions{}) if err ! nil { return err } for _, obj : range list.Items { name, _ : obj.GetName() replicas, found, _ : unstructured.NestedInt64(obj.Object, spec, replicas) if found { fmt.Printf(deployment %s replicas%d\n, name, replicas) } }unstructured.NestedInt64這類輔助函數(shù)非常常用因為嵌套字段從map里取出來的類型永遠(yuǎn)是interface{}不轉(zhuǎn)一下根本沒法參與運算。還有一個更省事的辦法把Unstructured對象序列化成JSON再用json.Unmarshal進一個自定義類型或者用runtime.DefaultUnstructuredConverter.FromUnstructured幫你轉(zhuǎn)。DynamicClient的靈活性是用類型安全換來的所以能用Clientset的地方還是優(yōu)先用Clientset。4.2 別手動寫CRD客戶端了code-generator用起來如果你開發(fā)的CRD需要長期維護比如一個自定義的Monitor資源你可以像Kubernetes內(nèi)置資源一樣用./clientset、./informers、./listers生成一套強類型客戶端。這個能力來自k8s.io/code-generator庫它不是運行時依賴而是構(gòu)建時一次性執(zhí)行的代碼生成工具。代碼生成的觸發(fā)方式是在類型定義上寫注釋標(biāo)簽。比如你的類型長這樣// genclient // genclient:nonNamespaced // k8s:deepcopy-gen:interfacesk8s.io/apimachinery/pkg/runtime.Object type Monitor struct { metav1.TypeMeta json:,inline metav1.ObjectMeta json:metadata,omitempty Spec MonitorSpec json:spec,omitempty }然后在項目里跑一下deepcopy-gen、client-gen、informer-gen、lister-gen就能自動產(chǎn)出對應(yīng)的代碼。很多項目把這套生成命令寫進hack/update-codegen.sh配合generate-groups.sh腳本一鍵執(zhí)行。到底要不要用代碼生成我的建議是如果CRD數(shù)量少、操作簡單DynamicClient足夠如果CRD是你的核心產(chǎn)品你需要像操作內(nèi)置資源一樣舒服地讀寫、監(jiān)聽它那生成一套強類型客戶端非常值。生成的Informer和Lister會幫你在類型層面避免大多Unstructured才有的低級錯誤開發(fā)體驗提升非常明顯。4.3 controller-runtime和client-go到底是什么關(guān)系現(xiàn)在社區(qū)寫Operator首選的框架往往是controller-runtime也就是kubebuilder/operator-sdk底層依賴的那個庫。你可能會疑惑我已經(jīng)學(xué)了client-go為什么還要學(xué)一個新框架其實controller-runtime沒有拋棄client-go它是在client-go之上做了一層更高階的封裝。它把Informer、WorkQueue、LeaderElection這些細(xì)節(jié)隱藏到Manager和Reconciler的抽象后面你只需要實現(xiàn)一個Reconcile(ctx, req ctrl.Request)方法框架自動幫你完成事件監(jiān)聽、隊列調(diào)度、失敗重試、優(yōu)雅退出等一大堆瑣事。維度client-gocontroller-runtime抽象程度底層控制力強高層API友好上手成本高要理解Informer、WorkQueue等概念相對低跟著腳手架走就行靈活性可以任意定制細(xì)節(jié)框架約定了一些最佳實踐定制復(fù)雜行為反而麻煩適合場景寫自定義控制器、深度定制邏輯寫標(biāo)準(zhǔn)Operator、CRD控制器我的個人建議是新手入門不要迷信框架先用client-go手寫一個簡單控制器把Informer、隊列、LeaderElection這些機制親手跑通再去用controller-runtime你會對IDE自動生成的那堆代碼有完全不一樣的理解。反過來如果你一上來就只會controller-runtime而完全不懂底層出了問題往往無從下手比如遇到事件不觸發(fā)、緩存不同步你連日志里Informer在報什么錯都看不明白。4.4 一個容易被忽略的場景Device Plugin周邊也需要client-go很多做異構(gòu)硬件接入的同學(xué)會接觸Kubernetes Device Plugin機制比如GPU、NPU、FPGA的節(jié)點資源上報。Device Plugin本身是kubelet通過unix socket用gRPC通信的但它并不是閉環(huán)。設(shè)備插件要報告設(shè)備數(shù)量、更新設(shè)備健康狀態(tài)、配合調(diào)度器展示資源通常還會有一到多個配套控制器或輔助組件在集群里運行這時候就離不開client-go了。舉個例子一個GPU設(shè)備插件在節(jié)點上啟動后需要把節(jié)點上可用GPU數(shù)量寫進Node.Status.Capacity這個過程實際上要把自定義資源對象同步到API Server往往由一個獨立controller通過client-go的Clientset或DynamicClient完成。你在看熱詞“kubernetes device plugin”相關(guān)項目源碼時會驚訝地發(fā)現(xiàn)好多邏輯都建立在client-go上監(jiān)聽Node資源、同步Device CRD、處理Pod調(diào)度結(jié)果、上報設(shè)備異常……所以別以為client-go只跟傳統(tǒng)控制器有關(guān)系在新型異構(gòu)計算場景里它同樣是抓手。5. 這些問題我踩過版本錯配、限流、資源泄露與安全加固5.1 版本錯配是第一大坑先講一個我印象特別深的案例有一次我在集群A上驗證一個控制器集群版本是1.28但代碼里client-go還是0.24。本地測試一切正常部署上去之后Informer的watch請求直接返回404查API Server日志發(fā)現(xiàn)是watch路徑里帶了舊版的apiVersion。換到對應(yīng)版本重新編譯問題立刻消失。這個問題很典型client-go的版本直接影響它跟API Server協(xié)商出來的API版本、序列化格式和資源發(fā)現(xiàn)行為。版本差太多輕則部分字段解析不出來重則整個watch鏈路直接不可用。排查時可以先用DiscoveryClient拉一下集群的資源版本或者直接看kubectl version -o yaml里的serverVersion然后把go.mod里依賴對齊。如果你發(fā)現(xiàn)某個字段在結(jié)構(gòu)體定義里存在但實際解析后一直是零值第一反應(yīng)就懷疑版本錯配。5.2 ListWatch的字段選擇器、資源版本和分頁Informer在List階段可以指定label selector和field selector但很多人踩過這樣的坑cache.NewListWatchFromClient(clientset.CoreV1().RESTClient(), pods, v1.NamespaceAll, fields.OneTermEqualSelector(spec.nodeName, node1))字段選擇器不是所有字段都能用的比如spec.nodeName在List請求里作為fieldSelector通常不受支持這會導(dǎo)致Informer始終同步不到對象但完全沒有報錯。更穩(wěn)妥的做法是先按namespace細(xì)分或者Label選擇器字段選擇器留給確有需求的場景并且先用kubectl get --field-selector驗證一下能不能生效。ResourceVersion這個參數(shù)也可能給你使絆子。Informer每次重新List時如果收到的對象數(shù)據(jù)量特別大API Server可能會返回410 Gone意味著你請求的resourceVersion已經(jīng)太舊數(shù)據(jù)不完整。client-go的Reflector對這種情況有自己的處理邏輯會自動重新全量同步一般不需要你干預(yù)。但如果你自己手動寫類ListWatch邏輯一定要注意resourceVersionMatch的取值Kubernetes 1.26之后推薦使用NotOlderThan配合resourceVersion來避免返回空列表帶來的狀態(tài)不一致。5.3 緩存不同步、事件丟失與goroutine泄漏Informer跑起來之后你要是發(fā)現(xiàn)“明明資源變了但是回調(diào)沒觸發(fā)”優(yōu)先檢查三件事第一WaitForCacheSync是否真的等到了HasSynced第二你的selector是不是過濾掉了這部分事件第三是不是多個informer實例重復(fù)監(jiān)聽導(dǎo)致資源版本混亂。更隱蔽的是goroutine泄漏。代碼里每調(diào)用一次cache.NewSharedIndexInformer你就要在退出時調(diào)用它的Run(stopCh)方法并確保傳入的stopCh能從外部關(guān)閉。我見過有人為了每次同步都新建一個informer但從來沒人調(diào)用Run與關(guān)閉結(jié)果Pod重啟前API Server的連接數(shù)一路飆升最后把整個節(jié)點連接打滿。如果確實需要一次性拉取數(shù)據(jù)用Clientset直接List就好了沒必要開Informer。另一個容易導(dǎo)致事件“看起來丟失”的情況就是前面強調(diào)過的resync。當(dāng)resync開啟時Update回調(diào)會對緩存里的所有對象重新觸發(fā)一遍如果你在回調(diào)里沒有處理“數(shù)據(jù)其實沒變”的情況可能誤以為有新事件到了。這點寫控制器的時候要心里有數(shù)。5.4 QPS與Burst設(shè)置別讓默認(rèn)限流卡死你的控制器rest.Config里的QPS和Burst默認(rèn)值低得驚人尤其對控制器這種事件驅(qū)動型程序來說默認(rèn)5和10幾乎等于“慢性毒藥”。我之前一個巡檢控制器連接了一個500節(jié)點、上萬Pod的集群默認(rèn)參數(shù)下每次同步要等很久Informer事件堆積隊列膨脹CPU和內(nèi)存雙雙飆升。原因很簡單Informer首次List就需要拉取大量對象以每秒5個請求的速度要拉多少秒你自己算算。這里建議把QPS調(diào)到50到100Burst調(diào)到100到200對于大多數(shù)控制器來說足夠又不至于把API Server打崩。如果是核心集群的巡檢組件可以通過壓測來確定更合理數(shù)值。有一點容易被忽略DynamicClient、DiscoveryClient和Clientset雖然是同一個config創(chuàng)建的但它們在RESTClient層是獨立的實例限流器也是獨立的。如果你在代碼里混合使用了多種客戶端實際對API Server的請求壓力會疊加QPS的“預(yù)算”也要把這一層算進去。5.5 站在安全角度重新審視client-go的使用現(xiàn)在很多企業(yè)項目把“Kubernetes未授權(quán)訪問”掛在嘴邊其實從客戶端開發(fā)者的視角來看這個問題很大一部分出在用client-go的程序以及它的運行環(huán)境上。最常見的錯誤是把一個擁有集群admin權(quán)限的kubeconfig文件直接打包進鏡像或?qū)懰涝贑I配置里。一旦這個文件泄露整個集群等于拱手讓人。正確的做法是控制器部署在集群內(nèi)時優(yōu)先使用ServiceAccount并用RBAC給它授最小權(quán)限。比如你的控制器只需要讀Pod和更新Deployment那就只給如下監(jiān)聽與操作權(quán)限apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: namespace: myapp rules: - apiGroups: [] resources: [pods] verbs: [get, list, watch] - apiGroups: [apps] resources: [deployments] verbs: [get, list, watch, update, patch]再配合RoleBinding綁定到控制器Pod所使用的ServiceAccount上。這樣即使控制器被攻破攻擊者也只能看到和修改被授權(quán)的那一小部分資源。另一個容易被忽略的點是Token過期問題ServiceAccount的Token如果沒配自動刷新可能運行幾個月后突然失效API調(diào)用開始返回401。建議關(guān)注TokenRequest API并在代碼里依賴rest.InClusterConfig的自動刷新能力而不是手動硬編碼一個永久Token。5.6 問題速查表幾類典型的控制面故障癥狀可能原因解決方案Informer完全不觸發(fā)回調(diào)WaitForCacheSync未通過、selector過濾不當(dāng)、版本錯配檢查同步狀態(tài)、精簡selector、對齊client-go版本watch請求返回404/405client-go版本與API Server版本差太遠(yuǎn)業(yè)務(wù)依賴版本對齊本地調(diào)試正常集群內(nèi)部署失敗InClusterConfig失敗、RBAC權(quán)限不足檢查ServiceAccount、Role/ClusterRole綁定控制器CPU內(nèi)存飆升QPS/Burst過低或并發(fā)worker過多調(diào)整限流參數(shù)、壓縮隊列長度、減少worker數(shù)資源被重復(fù)處理或互相覆蓋多副本控制器沒做LeaderElection接入leaderelection保證同一時刻單Leader更新事件頻繁觸發(fā)resync機制在起作用UpdateFunc里判斷關(guān)鍵字段或resourceVersion是否變化刪除事件回調(diào)panic未用DeletionHandlingMetaNamespaceKeyFunc替換為帶刪除處理的key函數(shù)長時間運行后請求401ServiceAccount Token過期或kubeconfig過期啟用Token自動刷新定期更新kubeconfig最后說一點個人體會client-go的API每隔一兩個版本就有breaking change別把網(wǎng)上老帖子里的代碼當(dāng)死規(guī)矩go.mod里的依賴版本才是你唯一可信的基準(zhǔn)。我寫第一個控制器時天真地把業(yè)務(wù)邏輯全塞進AddFunc結(jié)果一次批量驅(qū)逐Node事件直接把進程拖死改成“事件入隊worker消費”之后才明白這套設(shè)計不是刻意復(fù)雜而是分布式系統(tǒng)里抗壓的基本功。如果你正在寫第二個或第三個控制器把這些經(jīng)驗套進去能省掉很多凌晨三點被告警吵醒的夜晚。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久99激情五月天| 丁香五月综合在线播放 | 欧美极品999| 九九热这里只有精品一| av成人在线播放| 七七九色| 激情com| 99视频| 丁香五月激情澎湃一区| 99热性色| 日韩精品AV一区二区三区| 五月婷婷六月奇米网丁香| 色色色色色日韩午夜激情 | 26uuuavcom| 99干免费视频| 久9久9热久热| 天天艹天天色| 另类激情五| 婷婷五月天成人网| 天天插综合| 99ri在线| 久婷婷久草| 婷婷播5月| 久久五月丁香婷婷| av九九| 国产成人va在线| 亚洲精品另类| 丁香五月天激情综合| 成人久久天天x资源站| 精品日本视频444| 九九热re99re6在线精品| 色性综合| 色约约视频一区二区三区四区五区| WWW免费视频碰碰碰碰| 超碰人人草| 婷婷色影音天| WWW.桔色成人.COM入口| 久久精品五月| 亚洲欧洲中文日韩久久AV乱码| 婷婷伊人五月天| 久热成人| 成人久碰| 五月天色综合| 中文AV在线播放| 日本在线免费中文com.| 日本操片| 国产欧美熟妇另类久久久 | 九九综合久久| 婷婷色片| 色天天综合成人网| 久久久久久xxxxx| 色婷婷aV四虎| 五月天激情国产综合婷婷婷| 五月丁香 啪啪| 婷婷五月天,影院| 激情综合在线播放| 丁香五月天大香蕉啪啪| 亚洲情欲| 五月丁香婷婷视频| 99国产性感视频| 色五月婷婷av| 久久天堂加勒比| 成人精品一区日本无码网| 思思热视频| 色一情一乱一乱一区91| 精品九九婷婷| 五月丁香六月激情| 九九热精品| 色五月婷婷网| 99大香蕉| 俺去婷婷 丁香| 99碰碰| 丁香婷婷噜噜| 99热99热| 色视五月天婷婷| 91操网| 丁香啪啪中文字幕| 伊人在线视频| 五月天成人免费视频| 婷婷 色 丁香 夜| 天天日夜夜夜操操操操| 婷婷色色狠狠| 五月伊人网| 一起草日本| 色婷婷成人做爰A片免费看网站| 综合一区二区三区| 丁香婷婷视频一区二区| 五月丁香啪啪啪啪| 婷婷大美在线| 婷婷五月天中文字幕.| 九九激情视频| 日本A片一区| 六月婷婷激情| 久操婷婷| 日本狠狠色| 久色视频| 五月丁香综合在线| 丁香六月激情国产| 第四色首页| 久久综合66| 亚洲精品国产成人AV在线| 这里只有精品视频在线看| 丁香六月色婷婷欧美| 日本久久婷婷| 色七七九九| 中文av在线观看| 任你躁XXXXX麻豆精品| 思思精品视频| 婷婷五月天综合在线| 九九色色| 丁香婷婷色情| 99热在线看片| 99re热在线视频观看| 激情五月丁香综合网站 | 精品婷婷丁香五| 国产又爽又猛又粗的视频A片| 亚洲热视频在线| 99亚洲视频| 欧美日本另类| 日日日日日| 色日本网| 激情五月天在线视频| 五月色丁香激情| 色爱99| 婷婷在线播放av| 婷婷中文无码| 99热这里只有精品1025| 五月丁香婷婷色色| 丁香五月1页| 99热爱爱干干日| 国产资源在线视频| 欧美性爱一区| a在线免费v| 九九热99久久99| 国产欧美大香蕉一区| 激情五月天。| 丁香五月婷婷五月基地| 中文字幕视频色婷婷| 欧美搡BBBBB摔BBBBB| 亚洲综合另类| 色五月婷婷在线观看第一页舔| 欧洲第一无人区观看| 激情五月综合| 亚洲无码色| 99热这里有精品| 色色色综合网| 182.t午在线观看| 欧美五月停| 九八Av| 五月丁香六月片| 成人国产欧美大片一区| 亚洲综合五月天婷婷丁香| 99热最新网址| 婷婷五月丁香五月基地| 亚洲乱啪| 色综合久久99色| 99色热视频| 婷婷激情综合网| 婷婷五月天国产精品| 久久五月婷婷电影| 极品人妻videosss人妻| 开心激情网在线| 色久五月天| 久久99热这里只有精品| 久操大香蕉| 激情五月影院| 欧美色男人网站| 西西4r午夜剧场| 亚洲视频在线网| 激情熟女网| 久久丁香五月| 亚洲午夜精品久久久久久人妖| 第二色AⅤ| 日韩AAA| 骚货艹网站视频| 色噜噜五月天| 国产免费AV网站| 91chinese在线| 青草视频在线播放| 人人综合91网| 五月丁香在线视频观看| 99热这里只有精品23| 婷婷五月天六点丁香五月| 亚洲激情久久| 久久曰曰| 人操人| 五月丁香琪琪| www,五月丁,com| 终合激情网| 久久久91| 婷婷丁香日韩五月| 久久精品五月天| 噜噜色五月| 激情五月天免费视频| 婷婷五月丁香网| 丁香五月欧美午夜视频| 开心激情站| 变态 另类 在线| www.色欲丁香婷婷| 中文无码婷婷| 3www激情| 色情婷婷五月天| av操逼网| 亚洲无码11| 这里只有精品视频视频在线观看| 国语精品探花| 丁香五月播播| 永久天堂日本| 国产婷婷色五月| 婷婷激情丁五月| 亚洲成人网站在线播放| 国产精品成人AV在线观看春天| 99资源人人| 免费人人操| 色五月涩涩婷婷蜜桃| 久久婷婷五月综合伊人| 这里只有精品视频| 免费人人操| 日本va网站| 五月欧美丁香在线观看| 屁股翘好撅高迎合跪趴| 六月丁香色色色| 五月天亚洲最大成人| 九九热99热| 91丨九色丨43老版熟女| 99亚洲精品视频| 天天激情夜夜干| 五月天 另类图片| 丁香六月色婷婷| 五月丁香亚州综合网| 丁香婷婷久久 | 久久婷婷丁香视频网| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 99re26视频| 天天色天天爽| 五月天激情国产综合婷婷婷| 在线成人va| 欧美97色| 色 色 色综合com| 色婷婷六月| 九九精品re免费视频| 五月色视频| 人妻久久久| 99热在线观看| 大香蕉520| 亚洲成人婷婷| 亚洲情综合五月天| 五月婷婷在线视频免费观看| 五月天综合激情网| 大香蕉在线观看9| 欧美激情xxxXX| 超碰在线综合| av人人操| 天天天天做夜夜夜夜做| 丁香五月婷婷色| 色色色在线| 美国色五月天婷婷资源站| 91碰碰| 久久婷狠狠色| www.亭亭五月天| 久久小视频| 色九月婷婷综合| 综合色激情| 另类视频五月天| 色婷婷五月影院| 岛国av电影网站| 天天干夜夜谢| 狼友视频在线观看18| 久久婷婷综合五月天| 婷婷五月天av| 五月丁香久人妻中文| 九九成人| 色www99| 天天在线久久综合| 色优久久| 丁香 婷婷 激情 综合 五月| 午夜丁香婷婷| 色五月婷婷av| 欧洲色色| 五月婷婷丁香啪啪| 玖玖婷婷五月天| www天堂99| 日日操夜夜爽天天天| 另类视频五月天| 亚洲综合婷婷五月| 午夜爱爱网站| 久久婷狠狠色| 99在线精品视频| 五月婷婷丁香| 性爱网五月天| 99久久99九九99九九九| 91男同| 在线观看免费狠狠色丁香香综合| www.99精品视频| 国产综合网在线| 影音先锋秋秋五月婷婷| 婷婷五月天综合色| 丁香九色不卡aaa| 人妻在线网站| 91超碰在线播放| 婷婷激情小说| 日本啪啪天堂| 婷婷五月丁香花综合| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 久青操| AV性爱在线| 亚洲亚洲人成综合网络| 天天综合天天玩夜夜玩天天玩夜夜玩| 国产欧美熟妇另类久久久 | 精品五月花| 亚洲色欲AAAAAA| 图片区 小说区 区 亚洲五月| 五月天伊人av| 四川BBB搡BBB搡多人乱亂| 国产99精品免费视频| 久久婷婷精品| 五月色婷婷AV| 婷婷五月精品| 丁香婷婷激情六月五月开心| 97色天堂| 五月色丁香综合| 五月天久久久| 天天插天天插天天操| 天天日,天天插| 六月丁香婷婷五月天| 婷婷五月激情五月激情| 欧美日韩大黄| 中文字幕 中文字幕明步| 综合在线丁香五月| 亚洲av电影在线| 六月丁香社区| 欧美三级黄色片久久| 久久激情天堂| 新久久五月天激情| 日韩ww| 五月天深爱激情网| 国产婷婷久久| 99riAV国产精品视频| 黄网免费看| www.五月天色色.com| 天堂综合久久| 激情小说视频图片| 五月丁香激情五月天| 五月婷婷六月激情| 777精品成人a v久久| 五月婷婷香蕉视频| 开心激情网在线| 狠狠久综合| 在线另类视频| 九九热中文| 亚洲激情另类| 成人丁香婷婷五月天| 99热在线播放精品| 亚洲AV综合在线观看| 99re6热在线精品视频播放速度| 五月激情五月婷婷五月天在线| 亚洲婷婷综合视频| 丁香婷婷久久 | 五月天婷婷丁香人人操91| 久热这里只有| 日本99久久| 精品夜夜澡人妻无码AV| 色婷婷色五月天| www.91婷婷| 色婷婷色99国产综合精品| 日韩一区二区在线播放| 婷婷五月丁香综合瑟瑟| 亚洲精品亚洲人成人网| 五月天四色房丁香| 丁香五月色网| 无码激情AAAAA片-区区| 五月婷视频| 丁香六月婷婷激情综合| 成人性生活免费观看。| www.五月婷婷| 大香蕉院线| 香蕉大综综综合久久| 日本va欧美va国产激情| 思思久久99热只有频精品66| 色一情一乱一乱一区91| 九九丁香社区欧美激情| 91超级碰在线视频| 五月欧美色色五月| 伊人狠狠丁香婷婷综合尤物| 91久久精品国产91性色TV| 色五月婷婷基地| www.粉嫩av.com| 99久久国产综合精品五月天喷水\| 2020日日干| 久久婷婷丁香五月一二三| 人操91在线| 色色色免费视频| 天天夜天天色天天| 色噜噜狠狠色综合日日| www.九月婷婷丁香.com| 色色无码| 激情五月婷婷在线观看| 亚洲AV成人无码精品| 五月婷婷亚洲| www.26uuu.com亚洲电影| 综合视频久久| 99热伊人综合| 少妇综合网| 停停五月丁香| 九九日本视频| 国产九九一区二区三区| 五月天丁香色色| 丁香六月婷婷综合激情欧美| 亚洲激情免费视频| 婷婷基地成人五月天| 色五月中文字幕| 欧美性生交XXXXX无码小说| www.天天干| 桃色激情婷婷伊人网| 丁香五月婷婷色偷偷| 开心五月激情网| 五月婷婷丁香啪啪| 色欲AV导航| 月月AV| 国产成人AV在线播放| 亚洲亚洲人成综合网络| 五月丁香啪| 丁香婷婷婷五月| 夜夜骑日日操| 色~性~乱~伦~噜| 色色色色色日韩午夜激情 | se99视频| 天天爽天天干| 色五月丁香五月婷婷五月成人网| 日韩成人五月天| 97色片| 欧美大香蕉视频| 色情五月天A片| 亚洲国产色婷婷| 日熟女| 色综合99无码| 国产古装妇女野外A片| WWW久久久| 婷婷五月深爱五月| 26UUU成人网| 婷婷情色五月天| 99热超碰人| 丁香五月综合| 婷婷开心激情| 五月婷婷色色色| 26uuu成人网| 快色t v在线入口| 操笔无码| 天天婷婷综合| 9久热| 9精品视频在线| 欧美三级大片AA在线看| 五月婷婷 激情按摩| 第九色区av天堂| 色99在线视频| 91九色精品女同系列| 天天日天天爽夜夜爽| 婷婷五月伦理| 热这里| 无码毛片992367| 丁香五月1页| 婷婷九九| 日本91在线| 狠狠狠狠狠狠色| 欧美一线视频| 丁香九月激情久久| 97成人在线视频精品| 爱iii做iiii日日| 综合色图婷婷| 天堂久久久久天堂网| 亚洲色情网站| 九九热视频免费| 人妻肉射免费观看| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 97色婷婷| 五月婷婷六月丁香| 99精品久久| 91狠狠综合久久| av九九| 色婷婷综合网站| www,色婷婷| 99这里有精品视频| 91久久99久久91熟女精品| 五月婷婷天堂| 99久久久久| 九九色影视| 成人av免费观看| 亚洲欧美婷婷五月色综合| 欧美大香蕉视频| 丁香六月狠狠干| 日本美女上人| 99这里只有精品|v| 丁香九月激情| av国产精品| 超碰婷婷色| 丁香五月天大香蕉啪啪| 日韩有码一区| 婷婷综合九月| 久久激情五月天| 综合久| 国产成人+综合亚洲+天堂| 色5月婷婷| 26uuu国自产精品| 免费的日逼视频| 五月激情综合五月| 久久在线人妻| 熟女五月天久久综合| 热久久这里只有精品20| 五月丁香激情婷婷综合| 26uuu精品一区二区| 激情综合激情综合| 激情图片婷婷| 婷婷五月天亚洲图片| 婷婷五月天香蕉| 婷婷六月啪啪| 狠狠色婷婷7777久| 大地资源色婷婷视频在线| 免费视频在线观看的网站| 国产一区二区av免费| 五月丁香另类网| 婷婷成人在线| 区区久久妻| 婷婷五月激情丁香激情| 日本VA视频| 国产性爱一级| 超碰在线看| 婷婷色色综合| se99热久久一本| 婷婷五月天影院| 丁香五月婷婷啪| 色情激情五月| 国产精品爽爽久久久久久| 草草操操| www.色五月| 丁香五月婷综合| 丁香五月婷婷色情综合| 天天五月香欧美| 色情五月天A片| 丁香五月欧美| 99热伊人| 一级性感毛片| 五月丁香六月婷婷综合在线| 婷婷激情网五月天| 91人操人人人操人| 欧美激情五月天| 丝雨一区二区| 欧美日朝成人| 开心色播色五月婷婷| 五月丁香婷婷导航视频| 色情五月天丁香社区| 丁香激情网| 久久香蕉影院| 激情骚五月| 另类视频在线| 亚洲婷婷六月天| 婷婷五月天AV| 亚洲爆乳无码精品AAA片蜜桃| 91人人看| 思思99热热热99| 色婷婷狠狠干芒果TV| 日本久久婷婷| 日韩一级一片内射视频4K| 538任你爽视频不一样的| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 亚洲丁香网| 九九碰九九爱97超碰| 婷婷综合激情| 欧美日韩国产一区二区| 99r这里| 这里只有精彩视频| 色九区| 激情五月婷婷| 青青草大香| 夜夜爽天天| 天天爱综合网| 久热2025无码| 日本人人xxx| 色婷婷九月| 色综合99无码| 狠狠综合网| 五月婷婷丁香六月在线| 亚洲精品国产成人AV在线| 日99网站| 欧美操人| 婷婷九月丁香| 色色色色色色色色色影院| 婷婷丁香花五月天| 久久思思热视频| 五月天婷婷视频| 91九色无码内射| 婷婷AV丁香| 日本va欧美va国产激情| 9色91视频| 在线成人网站| 婷婷五月天视频亚洲| h在线看免费版在线看| 久久综合五月| 五月婷婷在线丁香| 夜夜干天天操| www天天爽| WWW.桔色成人.COM| 人妻人人操| 很很干天天干| 99视频| 99色婷婷视频| 九九色色| 超碰自拍天堂| 五月丁花色综合网| 五月激情小说| 婷婷99狠狠躁天天| 婷婷五月色天| www。五月,com| 开心久久爱五月天| 婷婷综合五月天| 婷婷六月天天| 丁香五月天色婷婷| 丁香婷婷婷| 热久久66| 少妇性按摩无码中文A片| 黄网网站在线播放| 思思热这里只有精品| 99久久婷婷国产综合精品电影| 丁香五月六月久久综合| 日本精品99| 91人碰| 五月丁香六月激情综合欧美| 9热网站| 中文久久久人妻| 国产成人99久久亚洲综合精品| 怡春院久操| 五月天色丁香| 97婷婷五月丁香| 五月开心婷婷| 久久精品一区二区三区四区| 五月天播播综合| 五月婷婷五月天| 日本欧美在线| 色九网| 综合激情在线| 五月婷啪啪| 2015WWW永久免费观看播放| 欧美人人草| 99热传媒| 5月丁香六月婷婷| 99视频这里有精品| 成人国产网| www.五月激情红色| 激情操逼婷婷| 涩涩婷婷五月| 在线看九一V图片| 婷婷 激情 五月| 久久综合婷婷| 亚洲激情99| 色婷久久| 99热只有精品综合| 日日操夜夜撸| 五月丁香六月色婷婷综合五月天| 天天日,天天插| AV在线大香蕉| 在线色色| 色色色国产| 欧美日比视频| 色色色国产| 五月天激情四射| 大香网伊人久久综合| 婷婷久久综合久| 99小视频| 国自产拍偷拍精品啪啪一区二区| www.久久五月天.com| 成人精品一区日本无码网| 久久黄色免费视频| 777精品久无码人妻蜜桃| 亚洲激情网站无码| 天天干一干| 婷婷综合网| 狠狠干狠狠干| 五月花成人网| 欧美A级成人婬片免费看理论| 日日操日日射| 婷婷婷婷婷婷婷婷| 婷婷九月亚洲| 高清无码入口| 开心婷婷五月花| 综合久久五| 午夜丁香五月天综合| 玖玖婷婷视频| AAA久久久| 色一区高清| 欧美成人AAA片一区国产精品 | 日本五月天一页| 婷婷五月丁香色播| 超碰亚洲天堂| 99在线观看免费精品视频| 在线成人va| 婷婷五月无码| 91色噜噜狠狠狠狠色综合| 99热在线观看精品| 日日干夜夜撸夜夜骑| 九色在线五月婷婷网址| AV性爱网| 色色综合网站| 91打屁股免费看| 噜噜色噜噜网| 俺去也婷婷| 99精品网站| 激情碰碰碰| 亚洲第一成人无码A片| 五月丁香怕啪啪| 天天日天天久久青青| 天天色天天爱天天爱天天爱y| 啪啪 综合网| 婷婷视频网| 视色综合| 99热丁香五月| 五月丁香激情综合| 热99精品视频| 97精品自拍| 国产成人精品一区二三区熟女在线 | 久久久久久久人妻| 超碰97人人操| 国产免费性爱| 丁香五月av| 久久色频| 1024在线视频| www.五月.com| 五月婷婷丁香狠狠撸久久| 色综合视频| 丁香五月婷婷基地| 美女五月狠狠| 4399在线观看免费高清电视剧| 大香蕉网 久久| 色五月婷婷色| 天天夜夜六月丁香五月婷婷老师| 五月丁香久| 国产日产亚系列精品版优势| 五月天停婷基地| 激情涩涩网| 人妻在线网站| 久久综合九九| 综合色播| 天天摸,天天爽| 91婷婷五月丁香碰| 大地9中文在线观看免费高清| 第四色首页| 五月丁香猫咪久久婷婷综合视频激情四射网入口| 色色色色色色综合网| 五月久久婷婷丁香| 操操操操操电影网| 91超碰在线观看| 色九九中文字幕| 九月婷婷激情| 色情一区二区播放| 成人电影一区| 中文字幕精品推荐免费在线观| 无码任你操| 色狠狠色综合| 人人操Av| 国产avapp 网| 男女av免费看| www.五月.com| 5月婷婷6月六月丁香| 思恩热国产视频右线观看| 精品一区二区三区三区| 国产精品天天狠天天看| 色五月天堂| 另类视频丁香五月| 综合伊人久久| 久久精热| 五月久久丁香| 国产Va视频| 国产成人网| 激情小说之五月| 激情综合区| 五月婷婷很很色| 9精品视频在线| 色波激情五月天| 草做免费在线观看| 久久久ww| 人人色人人弄人人操| 玖玖在线资源视频| 天天日天天舔| www.精品久9| 亚洲 小说 欧美 激情 另类| www.99久| 超碰人人艹| 丁香五月成人自拍| 国产毛片欧美毛片久久久| 99操逼视频| 99热这里只有精品3| 四五月婷婷| AV中文在线| 99日精品视频| 成片免费观看大全| 日韩精品视频中文字幕| 色色色热| 九九操操| 国内外色色色色色成人视频| 99re这里只有精品在线观看| 久久亚洲网| 久9视频| 超碰9在| 久热一区| 超碰免费人人| 激情五月婷婷丁香| 久久五月丁香激情综合| 97久久视频| 大伊香蕉玖玖爱| 人人操人| 色婷婷av综合网| 婷婷丁香社区| 大香蕉啪啪啪| 丁香六月综合| 99色视频在线| 综合色99| 色婷婷狠| 狠狠色丁香婷婷久久综合| 色五月婷婷激情| 五月天五月婷五月激情网| 99热在线免费观看精品| 综合网色| 色9999日韩国产| 丁香九月综合激情| 五月丁香色婷婷色| 成人网站av免费网站推荐| 婷婷伊人五月丁香天堂网| 97伦色婷婷| 影音先锋男士资源网一区| 久久色六月| 丰满人妻妇伦又伦精品国产| 成人综合网站| 99热伊人| 婷婷五月天日日日干干干| 伦乱美欧| 婷婷五月天无码视频| 国产xxxxx在线观看| 婷婷激情伍月网| 1024人妻| 五月天日日操夜夜操 | 中文AV在线播放| 99视频九九热| 婷婷综合色图| 婷婷精品视频| 草草视频91| 成人丁香五月| 五月天激情网站| 天天插天天干| 天天爽天天操| 99视频| 99ER热精品视频| 操老逼综合网| 色综合久久久综合久久网| 久久五月天影院| 31色区视频免费看| 久久久噜噜噜www成人| 午夜丁香 婷婷| 丁香五月综合激情性爱 | 九九久久五月天综合伊人| 另类激情五月| 午夜色丁香| 九色啦蜜臀| 六月丁香av| 色婷婷www| 91碰碰| 97色五月婷婷在线| 丁香五月天社区婷婷| 热久久婷婷| 碰97久久| 亚洲中文字幕AV| 九九热这里有精品视频| 丁香六月婷婷综合麻豆| 这里只有精品免费视频在线观看| 六月丁香色婷婷| 色播五月天激情| 亚洲AV网站| 五月丁香婷婷啪啪| www,婷婷,com| 91男人资源站| 九九大香蕉黄色影院| 色欲婷婷五月天| 26uuu四色| 亚州精品久久久久AV无码| 婷婷激情六月| 久久久婷| 97精品人人A片免费看| 色域五月丁香| 狠狠色丁香婷婷五月| 内射综合网| 99热精品在线| 精品九九视频在线观看| 深爱五月最新网址| 天天草天天爽| 99久久这里只有精品| WWW嗯嗯啊啊啊啊| 99精品女人天堂| 色综合久| 综合在线网| 五月丁香婷婷激激激综合网色播| 婷婷五月天国产| 97超碰综合| 亚洲中文字幕在线观看| 人妻中文字幕精品| 大香蕉久操| 天堂在线婷婷| 色色免费网站| 第四色婷婷最爱| 五月丁香六月婷婷视频| 激情四射网| 激情小说五月天| 色婷婷yy久| 丁香五月另类色婷婷麻豆| 5月色亭亭视频| 国产精品五月天婷婷| 97色久| 欧美精品在线观看| www.97干视频| 熟女乱论网| 夜夜操天天干| 99热这里只有精品9| 潘金莲AAAAAAAAAA| 黄网网站在线播放| 99热6这里之有精品| 天天舔天天操| 能看的AV| 综久久久| 性色播| 丁香六月天婷婷开心综合| 97人人操| 亚洲成人影视在线| 婷婷激情九月| 中文字幕久久一区二区三区| 久草A片| 久久综合66| 久久综合性| 激情五月婷婷老师| 激情久久综合| 日本44久久在线| 妇激情基地| 激情婷婷五月天日本系列 | 中文字幕高清av| 女人露出p毛视频www网站| 激情综合色播| 久久五月丁香| 97se视频在线| 只有久久精品免费| 五月丁香啪啪啪| 激情五月狠狠喔| 第二色AⅤ| 超碰在线观看9| 婷婷丁香熟女| 亚洲国产婷婷色五月| 久久婷婷五月综合色丁香| 国产成人亚洲综合A∨婷婷| 国产AV一区二区三区日韩| 4438国产免费看| 99色热视频| 婷婷99狠狠| 91九色无码内射| 五月婷婷,六月激情| 97色片| www.久久99精品| 成人精品一区二区三区四区五区 | 五月丁香六月激情综合| 91九色超碰| 亚洲无码成人网| 久久婷婷五月综合| 丁香六月婷婷综合啪啪| 色色色婷婷五月| 99小视频在线| 五月婷婷丁香色播网| 大婷婷色呦呦噜噜色呦呦噜噜| 综合激情在线| 久久精品凹凸分类| 成片免费播放| 色色色色色色色色网站| 99爱视频| 99激情在线| 天天草比天天爽| 69精品人人人人| 亚洲激情四射| 五月婷婷深深爱| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 婷婷激情五月天小说| wwwss在线观看| 激情性爱五月| 99热亚洲| 天啪天啪天啪天啪| 久久爱综合| 婷婷大美在线| 五月丁香六月婷婷久久| 五月亭亭色| AⅤ色区| 婷婷综合五月| 丁香婷婷五月色成人网站| 五月天婷婷影院影院观看| av中文字幕免费观看| 干亚洲天堂| 五月婷婷av| 97干视频| 婷婷激情在线| 日韩免费99| 久久久精品色| 黄色高清无码| www激情网| 欧美性生交XXXXX无码小说| 丁香丁婷五月激情| 天天摸天天肏| 一起草无码| 五月丁香色婷婷| 五月天婷婷丁香人人操91| 日日日影院| 色婷婷呢狠禁久禁| 久久婷婷五月综合激情国产| 色999五月色| 五月婷视频久久| 大香蕉九九| 天天射美女| 日本婷久久| 三级毛片7979| 97精品自拍视频| 大香AV| 婷婷五月激情小说| 九九激情视频| 婷婷五月六| 2021日韩无码| 婷婷射丁香| 碰超在线九色| 激情五月婷婷综合| 熟妇天天综合| 五月天婷婷丁香社区| 95精品区一区二| 五月丁香六月婷婷a v| 免费观看全黄做爰的视频| \\五月天婷婷激情| AA片在线观看视频在线播放 | 狠狠色噜噜狠狠狠狠综合| 99综合一区| 激情六月婷婷| 九九久久99| 五月天色色激情综合| 色五月激情五月| 人人爽人人射-美女久久久久久久久久-成人AV| www超碰| 丁香五月1页| 婷婷丁香成人| 五月激情视频网| 亚洲午夜成人av电影网| 狠色狠色综合久久| 一区=区操屄高清大全av| www.com五月天| 狠狠色大香蕉| 99热青青草| 综合久久99| 五月婷丁香| 色青青视频| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 青草青草视频2免费观看| 26UUU在线观看| 97成人丁香| 色综合色色色| www.色婷婷.com| 超碰免费99| 丁香五月婷婷亚洲人| www.狠狠操| 伊人五月网| 色久一| 婷婷五月天亚洲综合| 精品激情| 99爱视频| 激情六月婷| 亚洲色综久久五月| 任你爽视频| 人妻内射麻豆视频| 五月天丁香色色| 天天操夜夜橾| 五月婷婷色播| 亚洲激情综合| 5月丁香六月情| 久草婷婷视频| 五月婷婷六月丁香综合| 丁香五月天天| 五月停停大香蕉| 99精彩视频| 色五月网址| 成人做爰高潮A片免费视频| 天天操夜夜橾| 日本色色网站| 99热人人| 色综合色欲综合天天免费| 99草在线免费观看视频| 色私五月婷婷| 五五月丁香花激情综合网| 97伦乱| 久久久久激情网| 丁香蜜臀黄色婷婷五月天| 狠狠五月婷婷| 五月天婷婷成人网| 综合五月草 | 激情五月婷婷视频一区二区三区| 九九亚洲小视频| 久久9RE热视频精品98| 九九黄色网| 互月天综合| 高清视频一区| 丁香婷婷天堂| 97狠狠色| 伊人丁香花综合影院| 婷婷五月大香蕉| 99婷婷狠狠成为人免费视频| 七七色色综合| a v色婷婷| 日本久久超碰| 免费观看全黄做爰的视频| 超碰人人干| 久久久久久草黄色片AV在线观看| 色五月噜噜| 大香蕉九九| 日日肏天天操| 久久精品4| 欧美色男人网站| 丁香九月综合激情| 色亚洲婷婷| www.com.色色| www久| 婷婷五月草| 天天色一道本综合婷婷| 中文在线视频久9| 人妻人人操| 欧美婷婷成人| 久热这里这里有精品| 免费99色| 六月丁香五月天| 久久aaaa片一区二区| 99热1| 久久大香蕉丁香| 中文字幕av在线| 激情婷婷丁香色五月| 久久婷.com| 91麻豆国产三级精品福利在线观看| 综合久久综合久久| m色激情网| 五月色综合| 五月婷av| 丁香五月婷婷啪啪| 夜夜操狠狠操| 怡红院院久久| 亚洲成人AV在线观看| 国产做爰视频免费播放| 97干网站| 欧美激情凹凸丁香网| 玖玖国产视频一区| 五月丁香久久婷| 777精品久无码人妻蜜桃| 五月天激情综合| 天天日天天操天天干| 丁香色五月 97干| 欧美六月婷婷| 熟女人妻一区二区三区免费看| av在线激情| 激情五月少妇| A一级操| 欧美超碰人人| 激情都市另类| 亭亭色色五月天| 国产婷婷五月色情综合| 亚洲丁香五月综合| 九九婷婷综合| 国产综合A片| 性无码专区无码| 色婷婷欧美| 综合久久99| 97色五月天| 色吧五月| 婷婷激情综合色五月久久图片| 日本欧美成人片AAAA| www色色色com| 五月天成人在线视频网站| 激情五月婷婷中文字幕| 天天狠天天狠| 香蕉国产2013| 色站9/| 91se视频| 久久婷色| 久青操| 色色网五月激情| 99色丁香婷婷综合网| 深爱激情中文五月天av| 99热线观看9| 男人的天堂99| 日本一级黄色片。| 久99视频| 色综合久| 婷婷激情人妻| 婷婷五月天精品| 日日操,天天操| 五月婷高清视频| 婷婷激情中文综合| 99色中文| 色九九九九| 五月婷婷之综合激情在线| 色五月婷婷777| 图片区 小说区 区 亚洲五月| 久久丁香五月天| 午夜婷婷久久| 狠狠干在线| 亚城区在线| 六月色国内综合| 五月丁香婷婷六月天| 色色成人網| 婷婷丁香六月综合激情站| 婷婷五月激情图片| 精品亚洲国产成AV人片传媒 | 这里只有精品久久| 欧美激情 日韩无码 婷婷 五月天 久久婷婷丁香五月一二三 | 国产亚洲在线观看| 五月丁香六月成人| WWW.桔色成人.COM| 九九热视频这里只有精品| 久久人妻视步| 精品少妇蜜臀91| 综合视频五月| 丁香五月最新地址| 天天草天天日| 新激情五月天色播| 思思久久青草热| 99热这里只有精品一区| 99热只有这里才是精品| 中文字幕,综合,91| 激情五月天影院| 97九色视频| 色婷婷19| 中文字幕在线资源| 日韩精品二三区| 婷婷五月激情综合啪啪| 欧美丁香五月| 日本在线99| 中文字幕AV在线| 69er小视频| 中文字幕日韩无码制服诱或| 另类激情五月| 人人视频色| 99乱视频| 亚洲VA口| www.黄色片-久久成人国产精品在线播放-999AV | 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 天天爽天天弄| 五月婷婷在线网站| 成人性爱精品视频| 婷婷日日夜夜| www五月| 日本九九视频| 五月停亭六月,六月停亭的英语 | 另类小说五月天| 丁香五月婷婷久久久| 色婷婷综合中心| 天天狠狠色综合| 婷婷五月天综合久久| 久久超视频| 99婷婷| 白人荫道BBWBBB大荫道| 日B日潘金莲BB| 色婷婷亚洲在线观看| 五月婷婷丁香大陆免费| 亚洲激情综合| 亚洲 在线 性爱 | 色97啪啪| 色婷婷av在线|