欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

深入拆解 client-go:Kubernetes 控制器開發(fā)的核心機制與實戰(zhàn)指南

深入拆解 client-go:Kubernetes 控制器開發(fā)的核心機制與實戰(zhàn)指南 1. 為什么搞 Kubernetes 自動化必須先啃透 client-go如果你寫過 Kubernetes 控制器、Operator 或者任何跟集群自動化沾邊的工具大概率已經(jīng)跟 client-go 打過照面。這個庫是 Kubernetes 官方維護的 Go 客戶端幾乎所有周邊生態(tài)——從 kubectl 這樣的命令行工具到 kube-controller-manager 里的內(nèi)置控制器再到你手寫的自定義調(diào)度器、Device Plugin、巡檢腳本——底層都是通過它跟 apiserver 通信。但很多人對 client-go 的理解停留在哦就是個 SDK封裝了 API 調(diào)用這個層面。真到自己寫代碼的時候會遇到一堆問題informers 和 workqueue 是什么關(guān)系為什么不直接用 List 接口輪詢就夠了Update 和 Patch 到底該用哪個為什么集群里跑著跑著權(quán)限就 Forbidden 了這些問題不搞清楚寫出來的程序要么性能稀爛要么三天兩頭出詭異故障。這篇文章我把 client-go 的核心機制、日常用法和踩過的坑一次性講透。適合兩類人一是剛開始寫 Kubernetes 控制器、想搞清楚底層原理的開發(fā)者二是已經(jīng)寫過一些自動化工具但總覺得哪里不對勁、想系統(tǒng)性補課的人。文章里會有原理拆解、可直接跑的代碼、配置參數(shù)的經(jīng)驗值以及我在生產(chǎn)環(huán)境里真實踩過的問題記錄。2. client-go 的整體架構(gòu)一個核心四條主線2.1 一個核心RESTClientclient-go 的底層是一個叫 RESTClient 的東西。可以把它理解成翻譯官負(fù)責(zé)把 Go 結(jié)構(gòu)體變成 HTTP 請求發(fā)給 apiserver再把響應(yīng)解析回 Go 結(jié)構(gòu)體。路徑拼接、認(rèn)證頭注入、請求體編碼、錯誤處理這些臟活累活全在它里面。你幾乎不會直接調(diào)用 RESTClient但它是所有上層能力的基石。上層那些 typed client、dynamic client、discovery client本質(zhì)都是基于 RESTClient 加了一層類型約束或通用處理邏輯。所以調(diào)優(yōu)、排錯的時候最終都要回到這一層去看請求是怎么發(fā)出去的。2.2 四條主線拆解我們可以把 client-go 按功能切成四塊這樣理解起來特別清晰ClientSet日常打交道最多的入口。把內(nèi)置資源按 API 分組封裝成類型安全的方法集合。比如操作 Deployment 用client.AppsV1().Deployments(ns).Get(...)操作 Pod 用client.CoreV1().Pods(ns).Get(...)。類型安全的意思是參數(shù)、返回值都是具體結(jié)構(gòu)體編譯期就能抓住大部分類型錯誤。DynamicClient專門處理沒有固定結(jié)構(gòu)的資源比如 CRD。因為 CRD 的結(jié)構(gòu)事先不知道它用unstructured.Unstructured這種通用 map 結(jié)構(gòu)承接任意 JSON 數(shù)據(jù)。適合寫通用工具、CRD 控制器這類場景。DiscoveryClient負(fù)責(zé)探測集群支持哪些 API 組、版本、資源類型。寫工具時經(jīng)常要先確認(rèn)資源是否存在、支持哪些操作再決定走哪條路。Informer / Lister / Indexer這是 client-go 最精華的部分。一句話概括它讓你在本地有一份集群數(shù)據(jù)的實時緩存讀數(shù)據(jù)不用每次打 apiserver變更靠推送而不是輪詢。能不能寫出高性能控制器就看這塊用得怎么樣。另外還有幾個輔助模塊也經(jīng)常用到WorkQueue帶去重和延遲能力的工作隊列處理事件時攢著慢慢干活EventRecorder往集群寫事件方便用kubectl describe排查問題leaderelection選主機制多副本控制器避免重復(fù)干活RESTMapper把資源類型名映射到 REST 路徑。2.3 為什么要設(shè)計成這么多層第一次看 client-go 源碼的人都會覺得層數(shù)太多。但用久了會發(fā)現(xiàn)每一層都有存在的道理。分層最大的好處是復(fù)用。RESTClient 處理怎么發(fā)請求這種通用邏輯不管上層是內(nèi)置資源還是 CRD都共用同一套傳輸、認(rèn)證、重試代碼。接口隔離也做得很好緩存、監(jiān)聽、索引這塊重邏輯單獨抽成 informer你寫業(yè)務(wù)時不用把怎么跟 apiserver 保持同步和拿到變更后干什么攪在一起??刂破髂J侥艹蔀?Kubernetes 生態(tài)的事實標(biāo)準(zhǔn)跟這種拆分有直接關(guān)系。3. 核心機制拆解Informer 是理解 client-go 的分水嶺3.1 Informer 的四個核心行為一個 informer 干四件事List啟動時全量拉取某類資源一次拿到集群當(dāng)前快照構(gòu)建本地緩存初始副本。Watch跟 apiserver 建立長連接持續(xù)接收增刪改事件流實時更新緩存。Store / Indexer本地緩存一個帶索引的內(nèi)存數(shù)據(jù)庫可以按 namespace、label、自定義字段查對象。EventHandler注冊回調(diào)函數(shù)。有對象被添加、更新、刪除時對應(yīng)回調(diào)被觸發(fā)。這四個行為拼起來是一套推拉結(jié)合模型啟動拉一次全量之后全靠推。Informer 性能好的關(guān)鍵是它幾乎不在熱點路徑上打 apiserver。讀數(shù)據(jù)優(yōu)先走本地緩存計算也基于本地緩存集群規(guī)模越大這個優(yōu)勢越明顯。3.2 Reflector、DeltaFIFO、Indexer 的分工Informer 內(nèi)部有三個角色名字唬人但職責(zé)清楚Reflector跟 apiserver 打交道的采購員。負(fù)責(zé) List 和 Watch收到事件后塞進(jìn) DeltaFIFO。DeltaFIFO既能排隊又能去重的中間層。每個變更封裝成 Delta變更類型 對象比如 Added、Updated、Deleted、Sync。同一對象的變更會合并處理順序先進(jìn)先出。Indexer處理完的 Delta 被交給 Indexer 更新本地緩存同時觸發(fā)回調(diào)。Indexer 本質(zhì)是帶索引的內(nèi)存 map支持按字段查詢。整個流程可以這樣理解Reflector 負(fù)責(zé)菜市場進(jìn)貨DeltaFIFO 是備菜區(qū)先來后到、相同食材合并Indexer 是冰箱存好隨時取EventHandler 就是廚師食材到了通知你做菜。3.3 事件回調(diào)與 Resync 機制有個概念必須搞清楚Resync重新同步。這是新手最容易懵的地方。Reflector 不只是 Watch還會周期性觸發(fā)一次假更新把本地緩存里的所有對象重新推一遍 EventHandler但不會重新 List apiserver。默認(rèn)周期可以通過 informer factory 的第二個參數(shù)配置。Resync 有兩個作用一是處理事件失敗丟掉了變更時給你一次對賬機會二是處理依賴關(guān)系的場景比如你只 watch Deployment但 Deployment 依賴的 ConfigMap 變了resync 能讓你重新評估。注意resync 推的是緩存里的對象不是 apiserver 最新數(shù)據(jù)。如果回調(diào)里直接處理拿到的不一定是最新狀態(tài)需要自己再 Get 一次或者用 workqueue 的延遲機制兜底。這也是為什么很多事件回調(diào)里還要再查一遍 informer cache——確認(rèn)對象確實存在且拿到的是最新版本。4. 動手寫第一個 client-go 程序從配置到 Informer4.1 準(zhǔn)備環(huán)境與依賴動手之前先把環(huán)境備好。你需要Go 1.21client-go 新版對 Go 版本有要求、一個能訪問的 Kubernetes 集群本地的 kind、minikube 都行、集群的 kubeconfig默認(rèn)在~/.kube/config。新建項目并初始化mkdir client-go-demo cd client-go-demo go mod init client-go-demo拉取依賴時注意k8s.io/client-go、k8s.io/apimachinery、k8s.io/api這三個模塊版本必須嚴(yán)格一致go get k8s.io/client-gov0.29.0 go get k8s.io/apimachineryv0.29.0 go get k8s.io/apiv0.29.0提示版本不一致是編譯期最常見的坑。我見過太多人只升了 client-go 不升 apimachinery然后報一堆類型不匹配的錯誤。更穩(wěn)妥的做法是直接用go mod tidy讓工具幫你解析。4.2 加載 kubeconfig 并創(chuàng)建 ClientSet寫main.go先做基礎(chǔ)配置package main import ( fmt os path/filepath k8s.io/client-go/kubernetes k8s.io/client-go/tools/clientcmd k8s.io/client-go/util/homedir ) func main() { // 1. 加載 kubeconfig支持顯式指定或使用默認(rèn)位置 kubeconfig : filepath.Join(homedir.HomeDir(), .kube, config) if env : os.Getenv(KUBECONFIG); env ! { kubeconfig env } // 2. 構(gòu)建 REST 配置 config, err : clientcmd.BuildConfigFromFlags(, kubeconfig) if err ! nil { panic(err.Error()) } // 3. 創(chuàng)建 ClientSet clientset, err : kubernetes.NewForConfig(config) if err ! nil { panic(err.Error()) } // 4. 驗證連通性先拿一下集群版本 version, err : clientset.Discovery().ServerVersion() if err ! nil { panic(err.Error()) } fmt.Printf(Connected to Kubernetes %s\n, version.String()) }這里的幾個細(xì)節(jié)值得說。BuildConfigFromFlags(, kubeconfig)第一個參數(shù)傳空意思是不手動指定 apiserver 地址完全從 kubeconfig 里讀。如果你寫的是跑在集群內(nèi)部的程序比如 Deployment 里的容器要換成rest.InClusterConfig()它會自動讀取服務(wù)賬號掛載的 Token 和 CA 證書。兩者差別很大本地開發(fā)用 kubeconfig集群內(nèi)運行用 InClusterConfig。我見過不少人在集群里跑本地模式結(jié)果每次都說權(quán)限不足——因為 kubeconfig 用的是本機身份根本不是 pod 里的服務(wù)賬號。4.3 用 ClientSet 操作資源增刪改查實戰(zhàn)配置通了先寫幾個最基礎(chǔ)的 CRUD感受一下 typed client。// 獲取 default namespace 下所有 Pod pods, err : clientset.CoreV1().Pods(default).List(context.TODO(), metav1.ListOptions{}) if err ! nil { panic(err.Error()) } fmt.Printf(There are %d pods in namespace default\n, len(pods.Items)) // 獲取集群所有 Deployment所有 namespace deployments, err : clientset.AppsV1().Deployments().List(context.TODO(), metav1.ListOptions{}) if err ! nil { panic(err.Error()) } fmt.Printf(There are %d deployments in cluster\n, len(deployments.Items))注意三個坑List()的 namespace 傳空字符串表示所有 namespace傳具體名字只列那個 namespace。ListOptions{}可以加字段選擇器和標(biāo)簽選擇器比如metav1.ListOptions{LabelSelector: appnginx}只返回打了該標(biāo)簽的對象。這個篩選是 apiserver 執(zhí)行的不是本地過濾大集群里一定要用選擇器別全量拉回來再自己過濾。List 返回的對象列表是某個時間點的快照不是持續(xù)的。動態(tài)監(jiān)聽要靠 informer別用輪詢。接下來創(chuàng)建、更新、刪除一個 Deployment// 創(chuàng)建 Deployment deploy : appsv1.Deployment{ ObjectMeta: metav1.ObjectMeta{ Name: demo-deploy, Namespace: default, }, Spec: appsv1.DeploymentSpec{ Replicas: ptr.To[int32](3), // 指針包一下不然 0 會被當(dāng)成未指定 Selector: metav1.LabelSelector{ MatchLabels: map[string]string{app: demo}, }, Template: corev1.PodTemplateSpec{ ObjectMeta: metav1.ObjectMeta{ Labels: map[string]string{app: demo}, }, Spec: corev1.PodSpec{ Containers: []corev1.Container{ { Name: demo, Image: nginx:1.25, }, }, }, }, }, } created, err : clientset.AppsV1().Deployments(default).Create(context.TODO(), deploy, metav1.CreateOptions{}) if err ! nil { panic(err.Error()) } fmt.Printf(Created deployment %s\n, created.Name)創(chuàng)建這里有一個特別容易踩的坑Replicas是指針類型不能直接填數(shù)字。這是 Kubernetes API 的約定為了區(qū)分沒設(shè)置和設(shè)置為 0。Go 里可以用ptr.To[int32](3)client-go 提供的工具函數(shù)或者先取變量地址再賦值。更新和刪除// 更新先 Get 出來改完再整體 Update got, err : clientset.AppsV1().Deployments(default).Get(context.TODO(), demo-deploy, metav1.GetOptions{}) if err ! nil { panic(err.Error()) } got.Spec.Replicas ptr.To[int32](5) updated, err : clientset.AppsV1().Deployments(default).Update(context.TODO(), got, metav1.UpdateOptions{}) if err ! nil { panic(err.Error()) } fmt.Printf(Updated deployment replicas to %d\n, *updated.Spec.Replicas) // 刪除 err clientset.AppsV1().Deployments(default).Delete(context.TODO(), demo-deploy, metav1.DeleteOptions{}) if err ! nil { panic(err.Error()) } fmt.Println(Deleted deployment)這里要特別提醒Update是整體替換不是部分更新。如果你拿一個只有名字的新對象去 Update其他字段selector、template會被清空成默認(rèn)值apiserver 校驗失敗或者直接把 Deployment 改壞。所以必須先從集群 Get 出來改完再整個 Update 回去。想局部更新就用 Patch后面專門講。4.4 接入 Informer監(jiān)聽資源變化CRUD 只是熱身。接下來寫真正有價值的東西用 Informer 監(jiān)聽 Deployment 的變化。package main import ( context fmt time k8s.io/apimachinery/pkg/util/wait k8s.io/client-go/informers k8s.io/client-go/kubernetes k8s.io/client-go/tools/cache k8s.io/client-go/tools/clientcmd ) func main() { // ... 同上構(gòu)建 clientset ... // 1. 創(chuàng)建 informer factory第二個參數(shù)是 resync 周期 factory : informers.NewSharedInformerFactory(clientset, 30*time.Second) // 2. 獲取 Deployment informer deployInformer : factory.Apps().V1().Deployments() // 3. 注冊事件回調(diào) _, err : deployInformer.Informer().AddEventHandler(cache.ResourceEventHandlerFuncs{ AddFunc: func(obj interface{}) { deploy : obj.(*appsv1.Deployment) fmt.Printf([ADD] %s/%s replicas%d\n, deploy.Namespace, deploy.Name, *deploy.Spec.Replicas) }, UpdateFunc: func(oldObj, newObj interface{}) { oldDeploy : oldObj.(*appsv1.Deployment) newDeploy : newObj.(*appsv1.Deployment) if oldDeploy.ResourceVersion ! newDeploy.ResourceVersion { fmt.Printf([UPDATE] %s/%s replicas: %d - %d\n, newDeploy.Namespace, newDeploy.Name, *oldDeploy.Spec.Replicas, *newDeploy.Spec.Replicas) } }, DeleteFunc: func(obj interface{}) { deploy, ok : obj.(*appsv1.Deployment) if !ok { // 刪除時有時會收到 tombstone墓碑對象需要特殊處理 tombstone, ok : obj.(cache.DeletedFinalStateUnknown) if !ok { return } deploy, ok tombstone.Obj.(*appsv1.Deployment) if !ok { return } } fmt.Printf([DELETE] %s/%s\n, deploy.Namespace, deploy.Name) }, }) if err ! nil { panic(err.Error()) } // 4. 啟動 informer factory.Start(wait.NeverStop) // 5. 等待緩存同步 if !cache.WaitForCacheSync(wait.NeverStop, deployInformer.Informer().HasSynced) { fmt.Println(Failed to sync cache) return } fmt.Println(Cache synced, watching deployments...) // 6. 阻塞主協(xié)程 select {} }這段代碼有幾個關(guān)鍵點informers.NewSharedInformerFactory是工廠模式管理著集群里所有資源的 informer。同一個資源的 informer 全局只有一份你監(jiān)聽 Deployment 和 ReplicaSet 兩個資源時它們共享同一個 factory不重復(fù)消耗連接和緩存。第二個參數(shù)30*time.Second是 resync 周期。注意這只是周期推一遍緩存不是重新 List。AddEventHandler里UpdateFunc的 oldObj 和 newObj 是緩存里的新舊版本。resync 時 ResourceVersion 相同的情況會出現(xiàn)要做過濾避免日志刷屏。刪除回調(diào)里處理 tombstone 是必要的。為什么因為 informer 緩存可能滯后于 apiserver如果 apiserver 已刪除對象而你的緩存里還有收到刪除事件時對象可能已經(jīng)被 GC 清理直接類型斷言會 panic。tombstone 機制就是兜底這種情況。factory.Start(wait.NeverStop)的入?yún)⑹?stop channelwait.NeverStop表示不停止。生產(chǎn)環(huán)境應(yīng)該用信號通道做優(yōu)雅退出。cache.WaitForCacheSync一定要等否則 informer 本地緩存還沒建好事件回調(diào)可能收不全初始事件。跑起來之后你隨便kubectl scale deployment xxx --replicas2或者kubectl delete deployment xxx程序會實時打印對應(yīng)事件。這就是控制器的心臟部分。4.5 用 Workqueue 串起事件處理事件回調(diào)里直接干活有個問題如果某個事件處理特別慢會阻塞 informer 的事件分發(fā)線程拖垮所有資源的監(jiān)聽。正確做法是用 WorkQueue 把事件先緩存起來由獨立 worker 消費。來看一個典型的 controller 模式import ( k8s.io/client-go/util/workqueue k8s.io/apimachinery/pkg/util/runtime ) type Controller struct { informer cache.SharedIndexInformer queue workqueue.TypedRateLimitingInterface[string] // 新版用泛型 } func NewController(informer cache.SharedIndexInformer) *Controller { c : Controller{ informer: informer, queue: workqueue.NewTypedRateLimitingQueue(workqueue.DefaultTypedControllerRateLimiter[string]()), } informer.AddEventHandler(cache.ResourceEventHandlerFuncs{ AddFunc: func(obj interface{}) { key, _ : cache.MetaNamespaceKeyFunc(obj) // 生成 namespace/name 格式的 key c.queue.Add(key) }, UpdateFunc: func(oldObj, newObj interface{}) { key, _ : cache.MetaNamespaceKeyFunc(newObj) c.queue.Add(key) }, DeleteFunc: func(obj interface{}) { key, _ : cache.DeletionHandlingMetaNamespaceKeyFunc(obj) // 處理 tombstone c.queue.Add(key) }, }) return c } func (c *Controller) Run(ctx context.Context) { defer runtime.HandleCrash() defer c.queue.ShutDown() go c.informer.Run(ctx.Done()) if !cache.WaitForCacheSync(ctx.Done(), c.informer.HasSynced) { return } // 啟動兩個 worker 并發(fā)消費 for i : 0; i 2; i { go wait.UntilWithContext(ctx, c.processNextItem, time.Second) } -ctx.Done() } func (c *Controller) processNextItem(ctx context.Context) bool { key, shutdown : c.queue.Get() if shutdown { return false } defer c.queue.Done(key) obj, exists, err : c.informer.GetIndexer().GetByKey(key.(string)) if err ! nil { return false } if exists { fmt.Printf(Handling key: %s\n, key) // 這里做真正的業(yè)務(wù)邏輯... } c.queue.Forget(key) return true }為什么要用 workqueue 而不是直接在回調(diào)里處理事件三個原因削峰填谷apiserver 可能短時間內(nèi)推送幾百個事件同步處理根本扛不住。隊列把積壓任務(wù)排好worker 按自己節(jié)奏消費。去重同一對象短時間內(nèi)收到多次更新事件workqueue 里只保留一個 key避免重復(fù)處理。重試與限速處理失敗可以AddRateLimited(key)重新入隊內(nèi)置限速器指數(shù)退避不會因為出錯把 apiserver 打爆。這四塊拼起來就是標(biāo)準(zhǔn) controller-runtime 里 controller 的簡化版。理解了這套邏輯再去看 kubebuilder 生成的 Operator 代碼會發(fā)現(xiàn)都是這套東西換了個殼。5. 實用進(jìn)階DynamicClient、Patch 與字段選擇器5.1 DynamicClient 處理 CRD集群里大概率有大量自定義資源。CRD 沒有預(yù)定義的 Go 結(jié)構(gòu)除非你用代碼生成器生成這時候就得靠 DynamicClient 加 Unstructured 對象。核心用法import ( k8s.io/apimachinery/pkg/runtime/schema k8s.io/apimachinery/pkg/apis/meta/v1/unstructured k8s.io/client-go/dynamic ) func manageCRD(dynamicClient dynamic.Interface) error { // 定義資源類型注意 schema 的寫法 gvr : schema.GroupVersionResource{ Group: example.com, Version: v1, Resource: myresources, } // 用 map 構(gòu)造一個 Unstructured 對象 obj : unstructured.Unstructured{ Object: map[string]interface{}{ apiVersion: example.com/v1, kind: MyResource, metadata: map[string]interface{}{ name: demo, namespace: default, }, spec: map[string]interface{}{ size: 3, }, }, } // 創(chuàng)建 created, err : dynamicClient.Resource(gvr).Namespace(default). Create(context.TODO(), obj, metav1.CreateOptions{}) if err ! nil { return err } // 讀取拿到的還是 Unstructured got, err : dynamicClient.Resource(gvr).Namespace(default). Get(context.TODO(), demo, metav1.GetOptions{}) if err ! nil { return err } // 用 NestedInt64 安全讀取嵌套字段 size, found, err : unstructured.NestedInt64(got.Object, spec, size) if err ! nil || !found { return fmt.Errorf(spec.size not found) } fmt.Printf(CRD size: %d\n, size) return nil }這里面最容易出錯的是 GVR 寫錯。CRD 定義文件里有g(shù)roup、version、plural三個字段GVR 必須跟它們對應(yīng)。注意 Resource 用的是復(fù)數(shù)形式。訪問嵌套字段建議用unstructured.Nested*這一組工具函數(shù)。別直接斷言obj.Object[spec].(map[string]interface{})一旦結(jié)構(gòu)不對 panic 直接把程序打崩。工具函數(shù)會返回found bool更安全。5.2 Patch 和 Update 到底怎么選前面說 Update 是整體替換Patch 是局部更新。什么時候用誰簡單場景你的控制器只修改一個字段用 Patch 更合適邏輯清晰、避免 commit 沖突。三種 Patch 類型Strategic Merge Patch默認(rèn)最常用Kubernetes 特有的一種合并策略。對 list 字段會按patchStrategy合并比如容器數(shù)組按 name 合并而不是直接覆蓋。比如給 Deployment 加一個 env 變量用這個最省心。JSON Patch一個操作數(shù)組[{op: replace, path: /spec/replicas, value: 5}]精準(zhǔn)指定路徑修改、刪除字段。Merge Patch標(biāo)準(zhǔn)的 JSON Merge Patch對 map 直接合并但 list 是整體替換一般不推薦用于 Kubernetes 資源。示例代碼// Strategic Merge Patch修改副本數(shù)為 5 patchData : []byte({spec:{replicas:5}}) _, err : clientset.AppsV1().Deployments(default).Patch( context.TODO(), demo-deploy, types.StrategicMergePatchType, patchData, metav1.PatchOptions{})再疊加一個標(biāo)簽patchData : []byte({ metadata: {labels: {tier: backend}}, spec: {replicas: 5} })Patch 大多數(shù)時候比 Update 快且不容易踩沖突。但也不是萬能如果改動很多字段多個 patch 反而比 Update 麻煩。我的經(jīng)驗是控制器內(nèi)以 informer 緩存為讀源 單字段 Patch 寫回是最穩(wěn)的組合批量修改或者對 CRD 做復(fù)雜結(jié)構(gòu)更新時再用 Update 或者 DynamicClient。5.3 字段選擇器與標(biāo)簽選擇器ListOptions 里的 FieldSelector 和 LabelSelector 容易被忽略但在生產(chǎn)環(huán)境非常重要。apiserver 對標(biāo)簽選擇器的支持很完善kubectl get pods -l appnginx就是這么過濾的。client-go 里同樣能用// 只列出需要處理的資源 opts : metav1.ListOptions{ LabelSelector: appnginx, FieldSelector: metadata.namespacedefault, }這比你全量拉數(shù)據(jù)再本地過濾高效得多。apiserver 端做過濾網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量小一個量級控制器處理也輕松。特別在幾百上千節(jié)點的集群里這個習(xí)慣必須養(yǎng)成。6. 高可用與性能調(diào)優(yōu)限流、緩存同步、調(diào)參指南6.1 限流QPS 和 Burst 如何配apiserver 是集群的中樞神經(jīng)你寫控制器最怕把自己或者別人打掛。client-go 默認(rèn)限制 QPS 是 5Burst 是 10。對小規(guī)模集群夠用但對大規(guī)??刂破鱽碚f太小。可以根據(jù)場景調(diào)整config.QPS 100 config.Burst 200QPS 和 Burst 可以類比成地鐵閘機QPS 是常速每分鐘能過多少人Burst 是高峰期一次涌進(jìn)來多少人允許短暫放行。client-go 的限流是令牌桶算法平時每秒補 QPS 個令牌桶最多存 Burst 個令牌。請求來了先取令牌取不到就排隊等待。我的經(jīng)驗值簡單巡檢、偶爾 List 的小工具默認(rèn)值就夠了。管理幾百個 Deployment 的控制器QPS 50、Burst 100 差不多。大型 Operator管理幾千個 CRD 實例QPS 200、Burst 400同時要配合多副本選主。注意 QPS 不要調(diào)得太大。apiserver 有自己一套優(yōu)先級和公平性控制但你過度壓榨它會拖垮整個集群的 kubelet 和其他組件。調(diào)參前先看一下 apiserver 監(jiān)控里的 request latency。6.2 大規(guī)模緩存Indexer 與字段索引Informer 本地緩存的容量等于集群對象數(shù)量。如果集群有 10 萬個 Pod緩存 map 至少有 10 萬個 Pod 對象內(nèi)存按百 MB 起步。更可怕的是沒用對索引查一次就全量遍歷一次。Indexer 支持自定義索引。比如按某個 label 的 value 查 Podindexer.AddIndexers(cache.Indexers{ byLabelApp: func(obj interface{}) ([]string, error) { pod, ok : obj.(*corev1.Pod) if !ok { return []string{}, nil } if app, ok : pod.Labels[app]; ok { return []string{app}, nil } return []string{}, nil }, })之后用indexer.ByIndex(byLabelApp, nginx)快速拿到所有帶appnginx的 Pod。查詢是純內(nèi)存的對 apiserver 零壓力。當(dāng)你需要在事件處理里頻繁查關(guān)聯(lián)資源時自定義索引能省掉無數(shù)個 List 請求。6.3 多副本部署與 Leader Election生產(chǎn)環(huán)境里控制器通常兩個副本以上。不做選主兩個副本同時干活重復(fù)處理還互相踩。client-go 的選主機制核心代碼import ( k8s.io/client-go/tools/leaderelection k8s.io/client-go/tools/leaderelection/resourcelock ) func runLeaderElection(config *rest.Config, runFunc func(ctx context.Context)) { lock : resourcelock.LeaseLock{ LeaseMeta: metav1.ObjectMeta{ Name: my-controller, Namespace: kube-system, }, Client: clientset.CoordinationV1(), LockConfig: resourcelock.ResourceLockConfig{ Identity: os.Getenv(POD_NAME), // 每個副本必須唯一 }, } leaderelection.RunOrDie(context.TODO(), leaderelection.LeaderElectionConfig{ Lock: lock, ReleaseOnCancel: true, LeaseDuration: 15 * time.Second, RenewDeadline: 10 * time.Second, RetryPeriod: 2 * time.Second, Callbacks: leaderelection.LeaderCallbacks{ OnStartedLeading: func(ctx context.Context) { runFunc(ctx) }, OnStoppedLeading: func() { // 選舉失敗或丟主退出讓 Kubernetes 重啟 os.Exit(0) }, }, }) }幾個經(jīng)驗值LeaseDuration 默認(rèn) 15 秒RenewDeadline 10 秒RetryPeriod 2 秒這套參數(shù)被大量項目驗證過別隨便改。Identity必須每副本唯一否則選主會亂。6.4 監(jiān)控與可觀測性生產(chǎn)環(huán)境控制器沒監(jiān)控等于裸奔。至少做到Prometheus metrics記錄 queue 長度、處理耗時、錯誤率。client-go 自帶 workqueue 的 metricsworkqueue_depth、workqueue_adds_total等用 controller-runtime 時會自動暴露。手寫 client-go 可以引入k8s.io/component-base/metrics或者簡單起一個promhttp.Handler。結(jié)構(gòu)化日志使用k8s.io/klog/v2設(shè)置-v4能看到詳細(xì)的 HTTP 請求日志排查認(rèn)證、權(quán)限問題很有幫助。Events用 EventRecorder 往集群寫事件用戶kubectl describe就能看到控制器做了什么。7. 常見的坑和排錯實戰(zhàn)記錄7.1 權(quán)限不足Forbidden問題癥狀運行程序直接報一堆deployments.apps is forbidden: User system:serviceaccount:default:xxx cannot list resource deployments in API group apps at the cluster scope。根因服務(wù)賬號ServiceAccount沒有對應(yīng) RBAC 權(quán)限。本地 kubeconfig 用的是當(dāng)前用戶權(quán)限集群內(nèi)跑的就要給 ServiceAccount 授權(quán)。排查步驟先確認(rèn)程序用的什么身份??磮箦e里 User 字段如果是system:serviceaccount那肯定是集群內(nèi)運行走的是 InClusterConfig。檢查 ServiceAccount 是否存在kubectl get sa -n default。創(chuàng)建對應(yīng)的 Role/ClusterRole 和 RoleBinding/ClusterRoleBinding。比如給 default 的 sa 加部署資源的讀權(quán)限apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: deploy-reader rules: - apiGroups: [apps] resources: [deployments] verbs: [get, list, watch] --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: deploy-reader-binding subjects: - kind: ServiceAccount name: default namespace: default roleRef: kind: ClusterRole name: deploy-reader apiGroup: rbac.authorization.k8s.io寫完kubectl apply -f之后重新部署 pods 才生效。RBAC 變更不會熱更新到已運行進(jìn)程。經(jīng)驗給控制器的權(quán)限盡量遵循最小權(quán)限原則。只給需要讀寫的資源、動詞配權(quán)限。我看到很多項目直接給控制器綁cluster-admin跑是能跑但一旦容器被入侵攻擊者直接拿到整個集群控制權(quán)。這個壞習(xí)慣真的別養(yǎng)成。7.2 ObservedGeneration 與狀態(tài)回寫控制器還有一個專業(yè)細(xì)節(jié)更新 Status 子資源。注意 Update 接口不能更新 Status必須用 UpdateStatus_, err : clientset.AppsV1().Deployments(default).UpdateStatus( context.TODO(), deploy, metav1.UpdateOptions{})這里引出ObservedGeneration字段。它用來讓用戶知道控制器看到的資源版本跟當(dāng)前最新版本差多少。如果控制器處理慢Status 里記錄的 ObservedGeneration 小于 Generation說明狀態(tài)可能滯后。規(guī)范做法是每次處理完資源后把deploy.Status.ObservedGeneration deploy.Generation寫回去。還有一個細(xì)節(jié)對內(nèi)置資源的 status 回寫盡量不要改 spec對 CRD 反而要區(qū)分 spec 和 status 兩個子資源有些 CRD 框架比如 kubebuilder會自動處理手寫 client-go 時就要自己注意。7.3 事件丟失與處理失敗重試Informer 事件處理是以內(nèi)存為準(zhǔn)的。如果程序崩潰內(nèi)存緩存和 event handler 狀態(tài)都會丟。重啟后會重新 List 一次全量所以事件理論上不會永久丟失。但處理過程中失敗怎么辦workqueue 里AddRateLimited可以重新排隊并帶限速但若一直失敗會無限重試直到隊列滿——注意限速隊列嚴(yán)格來說不是無限重試它會指數(shù)退避到最大值后一直以固定間隔重試。所以你要自己加一個最大重試次數(shù)或者超時邏輯超過閾值就上報錯誤并丟棄事件。我見過一個真實案例一個控制器處理某 CRD 時因為狀態(tài)字段結(jié)構(gòu)不對一處理就 panicworkqueue 不斷重試最后把內(nèi)存和日志全吃滿。加了一個重試 5 次就放棄并寫 Event 的邏輯后問題立刻緩解。7.4 版本兼容問題client-go 版本和集群版本不一致最常見的表現(xiàn)是某些字段不認(rèn)識、某些 API 版本不存在。比如本地用 v0.29 連一個 v1.23 的集群不一定會立即報錯但某些新 API 字段會被丟棄。經(jīng)驗做法開發(fā)、測試、生產(chǎn)環(huán)境的集群版本盡量統(tǒng)一。升級時先看 client-go 倉庫的 compatibility matrix每個 release 都標(biāo)注了支持的 Kubernetes 版本區(qū)間。如果你的控制器發(fā)布成二進(jìn)制給不同集群用注意不要把 client-go 版本對應(yīng)的 API 行為差異引入到同一個二進(jìn)制里。7.5 Stop channel 與優(yōu)雅退出寫生產(chǎn)代碼時別用wait.NeverStop當(dāng)永久不退出。應(yīng)該用signal.NotifyContext捕獲 SIGTERM、SIGINTctx, stop : signal.NotifyContext(context.Background(), os.Interrupt, syscall.SIGTERM) defer stop() // 傳給 informer 和 worker factory.Start(ctx.Done()) -ctx.Done()這樣 Pod 被刪除時Kubernetes 先發(fā) SIGTERM程序能優(yōu)雅關(guān)停停止接收新事件、把隊列里的任務(wù)盡力處理完、刷新緩存再退出。用NeverStop的話Kubernetes 等不到進(jìn)程退出最后只能 SIGKILL控制器運行時狀態(tài)可能不一致。什么場景必須用 DynamicClient如果你操作的資源是 CRD 且沒有用代碼生成器生成 client就必須用它。判斷標(biāo)準(zhǔn)很簡單你的代碼里有沒有一個類型能對應(yīng)到那個 CRD 的具體結(jié)構(gòu)。沒有就只能用unstructured。WaitForCacheSync 卡住怎么辦先確認(rèn)你的 RBAC 權(quán)限有沒有 list/watch。Reflector 啟動時會先 List權(quán)限不足會一直報錯。Update 和 Patch 的選擇如果只想改一個字段無腦用 Patch。如果想做復(fù)雜驗證或者批量改再用 Update。CRD 的 status 更新別忘了用 UpdateStatus。為什么 informer 緩存的對象不能直接修改informer 緩存里的對象是共享的你在事件回調(diào)里拿到的是指針直接改會污染緩存。要用obj.DeepCopy()復(fù)制一份再改。8. 從 client-go 到 controller-runtime下一站寫到這里對 client-go 應(yīng)該有個比較全面的認(rèn)識了。最后聊聊它和 controller-runtime也就是 kubebuilder 背后的庫的關(guān)系。controller-runtime 本質(zhì)上是 client-go 的親兒子在 client-go 基礎(chǔ)上又封裝了一層管理多個 controller 的生命周期每個 controller 對應(yīng)一個 reconciler 函數(shù)。自動處理 informer 工廠管理、緩存同步、事件分發(fā)。內(nèi)置更完善的 RBAC 注解kubebuilder 里的kubebuilder:rbac:groups...代碼生成器幫你生成權(quán)限配置。集成了 webhook、metrics、leader election 等生產(chǎn)級功能。如果你的目標(biāo)是寫大型 Operator直接用 controller-runtime 的腳手架更高效。但我不建議跳過 client-go 直接學(xué) controller-runtime。因為 controller-runtime 的抽象太優(yōu)雅了優(yōu)雅到你不知道它在底下干了什么。一旦遇到性能瓶頸、奇怪的事件重復(fù)、緩存不一致扒開源碼看到的還是 informer、workqueue、cache.Indexer 這套東西。地基扎實上層才不會塌。我在實際運維和開發(fā)里最大的體會是client-go 是一個值得花幾個晚上把核心機制啃透的庫。那些限流、緩存、隊列、選主、重試的設(shè)計放到任何需要跟外部系統(tǒng)高效交互的場景里都是通用的。把它讀明白了寫任何大規(guī)模分布式系統(tǒng)的客戶端腦子里都會有非常清晰的架構(gòu)感。建議下一步做兩件事一是把今天的 informer workqueue 代碼跑起來在測試集群里親手演練增刪改和崩潰恢復(fù)二是找一份 kubebuilder 生成的 Operator 代碼跟本文講的這套結(jié)構(gòu)對照著看你會發(fā)現(xiàn)之前看不懂的地方全都清晰了。如果這篇文章幫你少走了一段彎路那這些時間就花得值了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
79色色色色| 激情五月综合亚洲另类| 亚洲婷婷开心五月| 婷婷射图| 99色久| 第五色婷婷| www久热com| 91超级碰碰碰| 大胆伊人久久| Caoub青青超碰 | 婷婷五月天性爱视频| 久久久99视频| 饮料下药迷倒漂亮女同事强干| 五月天婷综合网站| 五月丁香婷婷啪啪| 婷婷五月综合色拍| 99er热精品视频| 天天干天天做| 色五月欧美| 天天色,天天日,天天做| 久久R激情| 91日视频| 久久婷婷婷| 激情亚洲色图片丁香综合| 九色视频91| 9久久网| 乱乱av| 激情五月天在线视频| 思思re99视频在线观看| 噜噜噜噜噜色| 丁香婷婷色五月天| 色爱终和网| 欧美五月丁香啪啪响视频| 欧美激情中文字幕| 五月天色综合| 9|无码久久久久久| 欧美日韩91| 婷婷狠狠18禁久久| 色色激情五月| 亚韩在线视频| 亚洲色色色色色色色色色| 久久婷婷大香蕉| 秋霞av吧| 五月丁香A片| 国精产品一区一区三区免费视频 | www.色情五月天.com| 婷婷综合性爱网| 五月开心久久| A片试看120分钟做受视频红杏| 九九色热| 岛国资源网| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 91精品久久久久久久久久久久| 色九月综合| 亚洲情综合五月天| 激情五月天.色网| 91人妻人人操| 91|九色|动漫| 成人片久久网站| 99久久综合| 婷婷五月天黄色| 91久久精品无码一区二区三区| 99九精品| 色婷五月| 激情丰满熟妇五月| 五月色综合网| 91丨九色丨大屁股| 天天操综合网| 亚洲精品444久久久久久| 日本成人内射| 五月激情婷婷综合| 26uuu美女三级视频| 96人人操人人操人人| 天天综合色| 超碰99在线观看| 色五月成人| 在线只有精品| 色 噜噜 九月 婷婷| 五月天婷婷AV| 无码地址| 色婷婷狠狠| 久热这里只有| 亚洲天堂久久| 99热精品超碰| 亚洲中文无码成人| 婷婷五月天中文字幕| 夜夜爽天天干| 丁香五月色| 变态 另类 在线 | 9 1 A v久久久| 玖玖99精品视频| 超碰超碰在线| 丁香五月色五月婷婷宗合| 99久久激情视频| 色婷婷丁香五月| 亚洲精品视频在线播放| 色青青电影色五月| 五月婷婷狠狠干| wWw色五月| 色综合久久天天综合网 | 丁香五月狠狠在线观看| 婷婷成人五月天成人文学| 日本在线视频www色| 操笔无码| 激情亭亭五月| 五月婷婷综合激情小说| 99热青青草| 亚洲第一色色色| 久久有码| 岛国AV网| 欧美性爱一区| 亚洲va在线| 天堂中文国产| 色天使色综合| 亚洲欧洲自拍图片专区五月天| 深爱激情69热| 日日爽夜夜爽| 日本久久婷| Jh7Uf088VHafNm| 久久玖玖综合| 久久久9久| 精品激情| 日本天天操| 成人丁香五月| 亚洲激情网| 色五月综合激情| 99无码视频| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 超碰在线人人| 色久影院| 伊人久久大香天蕉亚洲特级| 婷婷激情五月综合丁| 91热久久| 激情综合网激情五月天| 欧美VA在线| 久久九九免费视频| 五月天激情四射| 色视频五月天| 色都都狠狠色都都色综合色| 99色在线观看| 五月网站| 五月婷成人网| 久色网| 五月婷婷激情久久| 9l视频自拍9l视频自拍九色学生| 综合久久首页| 五月婷视屏在线观看| 五月激情视频| 99这里只有免费的精品| 可以免费观看的AV| 密黄站| 亚洲六月色婷婷| 99九九这里有免费视频| 99秘 在线| 99热只有| 丁香女人五月天| 丝袜激情网| 六月婷婷青青青视频| 丁香婷婷色五月合集| 九九人人操| 久久久久9| 五月丁香婷婷免费视频| 青青草99热久久精品国| 日本WWW九九九| 黄色成人AV在线| 亚洲综合在线丁香五月| 久久激情四射| 婷婷五月婷婷| 中美日韩成人在线| 99自拍视频| 99热9999| 五月天婷婷小说| 99色在线观看| 国产真人做爰视频免费| 综合色五月天| 在线中文字幕免费视频| 天天狠狠六月婷丁香影院| 影音先锋男人av资源站| 婷婷六月色开 | 99热这里有精力| 五月丁香亭亭操逼| 色婷婷五月综合| 狠狠色丁香久久久婷| 丁香六月激情| 丁香六月天AV| 综合啪啪| 激情综合网络插| 亚洲激情五月| 五月的丁香六月的婷婷| 婷婷五月激情综合网| 欧美日本va| 人妻操日日| 久久这里只精品| 啪啪夜久久| 久久丝袜婷婷| 五月婷婷播| 99精品偷自拍| 天天五月天综合网址| 人妻激情网| 噜噜噜久久| 91碰超| 91中文在线| av在线超清中文| 九色啦蜜臀| 久久草大香蕉| 丁香五月-激情综合| 日日噜噜夜夜狠狠久久丁香六月| www.金莲av| 亚洲六月婷婷| 99爱视频| 九九精品婷| 色婷婷最爱五月| 久99久在线观看| A片试看120分钟做受图片| 亚洲五月天婷婷| 五月天激情婷婷丁香| 玖玖综合色| AV网在线观看| 婷婷五月天激情AV影院| 99国产精品久久久久久久久久久| 婷婷色丁香五月| 婷婷五月天天aV| 色五月婷婷中文字幕| 五月婷婷综合影院| 婷婷丁香五月激情| 精品九九婷婷| 99国产视频网| 久久看九九90| 欧美亚洲操逼| 日韩人妻AV在线| 亚洲无码成人网| 五月婷婷激情综合av| 人妻熟女一区二区AV| 婷婷丁香五月天婷婷| 激情五月天网站| 色综合77777| 六月伊人婷婷| 大战熟女丰满人妻AV| 九九RE视频在线精品| 日日天天干| 99在线视频观看| 精品久久人妻热| 91一起操| 亚洲99综合| 五月天婷婷色色网| av激情在线| 少妇达人正片在线播放_ikun_福利吧| www99精品亚| 国产另类综合| 婷婷五月天亚洲综合网| 九九精品在线观看视频6| 亚洲亚洲人成综合网络| 狠狠狠狠操| 中文字幕日本最新乱码视频| 亚洲中文乱字字幕线在永久| 在线免费视频caop| 五月婷婷婷婷网| 亚洲无码猫咪| AV性爱在线| 91在线97视频| 第五色色色婷婷| 亚洲精品444久久久久久| 天天狠狠色| 色色色com| 精品久久久久久久人妻| 91在线人| 婷婷成人AV| 影音先锋91| 超碰com| 久热69| 夜色综合网| 一区二区乱码视频| 激情开心五月天| 狠狠干五月天婷婷网| 深爱激情五月网| 久久婷婷激情五月天一区二区| 五月丁香六月欧美综合网站| www.色欲丁香婷婷| 夜夜爽天天爽| 人人操91| 五月天综合网| 激情亚洲网| 久久人五月| 五月丁香婷婷深深爱| 91精品婷婷国产综合| 人妻精品在线| 噜色精品| 五月久久| 国产亚洲色婷婷久久99精品91| 婷婷九月丁香| 亚洲欧洲中文日韩久久AV乱码| 99精品在线下载| 99re8热精品免费视频| 噜噜色com| 超碰猛烈的性猛交| 综合网亚洲| 伊人成人宗合网| 九九无毛| 丁香六月色情| 99热精品网| 五月婷啪| 色宗合久久五月婷婷| 色五月激情图片| 久久久久久97| 五月天无码视屏播放| 婷婷丁香五月综合网| 五月丁香天堂网| 激情婷婷丁香五月天| 五月婷婷激情| 六月丁香VA| 综合激情在线| 日韩成人中文| 天天噜日日噜综合无码| 天插天啪天啪天啪| 九九色图| 欧美日韩色色| 成人在线99| 九九热在这里只有精品| 成年人夜夜喷水| 久久精品99国产精品日本| 色永久| 超碰人人操在线| 午夜天天精品视频| AAA久久| 六月丁香深深爱| 日笨久久网| 五月婷六月| 色五月婷婷婷婷| 国产无人区大片| 欧美经典片免费观看大全| 99精品视频网站| 三级黄网站| 五月婷婷av在线| 97啪啪| 婷婷综合六| 99热这里都是精品| 色吊操色妞| 欧美色婷婷| 互月天综合| 亚洲综合视频在线| 日韩成人综合| 成人国产欧美大片一区| 丁香六月婷婷色XXXXX| 这里只有免费精品| 婷婷六月插屄激情| 亚洲超碰在线| 一本色道久久综合狠狠躁小说| 精品一二三区久久AAA片| 五月婷婷激情| www.五月瑟| 激情欧美婷婷| 国产婷婷综合在线免费视频| 五月激情婷婷偷拍| 五月天婷婷激情| 岛国av网站| 天天日日天天| WWW,激情五月天,COM| 六月激情网| 99视频这里有精品| 日本高清久久| 91碰碰碰| 在线另类视频| 色五月五月婷婷| α久久| 91欧美| 国产一区18| 四色五月婷婷| 区欧美日韩成人| 婷婷五月av| A片一曲| 99这里只有| 99视频在线观看欧| 婷婷五月天成人动漫| 操操人人| 内射综合网| 五月丁香综合中文| 日日操夜夜操无码免费| 99久久五月丁香野外| 色色综合网www| 99在线观看| 综合网色| 日本综合色图| 91精品综合久久久久久五月丁香| 亚洲区视频| 天天干天天拍| 97干视频在线| 色情五月天丁香社区| 五月天色丁香| 天天插天天射| 狠狠色五月天| 91大屁股精品| 玖玖爱综合网| 9色在线视频| 色色色色色网| 五月婷婷在线观看黄| 色婷婷综合视频| 五月天久久网站| 丁香六月天之亚州热女| www,99热| 第五色色色婷婷| 可以直接看的AV| www.99热视频| 婷婷五月色色| 激情视频网址| 婷婷丁香五月天激情| 婷婷综合色色| av在线资源| www.激情五月| 欧美性生交XXXXX无码小说| 国自产拍偷拍精品啪啪一区二区| 夜夜爽77777妓女免费下载| 婷婷久久综合| 波多婷婷久久| 色婷婷文字幕| 激情婷婷色色| 五月丁香激情五月天| 日日夜夜青青草| 全国最新疫情| 逼里香不卡| 丁香五月婷婷视频| 91九色在线| 亚洲综合色色| 男人的天堂婷婷色五月| 亚洲国产色婷婷| 高清国产AV| 99爽视频| 秋霞午夜理论 | 婷婷激情肏屄网| 五月丁香激情五月天| 日韩一66精品| 特级片神马电影| 99re鈥哸鈥唙| 99综合在线| 五月丁香在线观看| 成人做爰A片免费看视频| 久久五月天激情| 美女xx不卡| 日本久热| 在线A色| 欧美色色色色色| 9久热在线视频精品| 超碰99在线观看| 婷婷色婷婷| 99热爆在线| 久久一级免费黄色片| 婷婷丁香花五月天| 欧美色播综合在线观看| 五月丁香六月婷婷国产视频| 六月婷婷中文字幕| 亚洲AV日韩在线观看| 久久久欧美精品sm网站| 新99思思视频| 俺去也综合| 丁香六月婷婷色XXXXX| 610018岁成人视频| 99在线视频资源| 日韩99色| 开心婷婷五月| 香蕉久久国产AV一区二区 | 99re热在线观看| 婷婷五月激情综合| 亚洲精品网址| 深爱五月中文字幕| 久久永久视频| 婷婷5月久久综合网站| 97碰人人操| 色色色色色级无码| 久久久精品人妻| 伊人久久婷婷| 99热天堂| 天天干天天色天天干| 九九99精品视频| 国产又爽又猛又粗的视频A片| 停停五月色宗合| 国产精品色色666| 99热在线精品观看| 天天日天天色| 久久久.COM| 99热这里只有精品50| 五月婷婷影院| 婷婷六月丁综合| 久久这里只有国产| 国产毛片精品一区二区色欲黄A片| 人妻少妇色综合| 日韩 mm 不卡| 国产一级婬片毛片| 色99色| 玖玖婷婷视频| 日本激情五月天‘| 国外亚洲成AV人片在线观看| 久久婷婷五月综合色奶水99啪| 99热九九在线| 大香蕉人妻| 亚洲色人妻| 亚洲性色XXXXX| 99视频精品| 大香人妻| 伊人狠狠干| 日日夜夜天天| 婷婷五月天久久| 婷婷综合爱| 欧美成人精品A片免费一区99| 99视频九九热| 美国色五月天婷婷资源站| 2018国产大陆天天弄| 五月婷中文字幕| 五月婷婷香| 六月丁花香啪啪激情欧美| 思思久久99热| 成人日韩欧美| 丁香九月婷婷综合| 婷婷激情在线| 婷婷伊人75| Www.激情| 色爱爱综合网| 丁香五月天成人| 日产精品久久久久久久蜜臀 | 婷婷瑟瑟五月天| 逼特逼在线免费播放| 日韩色色小视频| 色综合激情| av激情在线| 婷婷5月九九| 精品国产AV色一区二区深夜久久| 色色色精品无码区| www.超碰在线| 色婷婷久久综合久色| 99热最新| 色情综合网| 婷婷五月综合在线| 日韩啪啪视频| 成片免费播放| 国产 码在线成人网站| 91操片| 色欧美影院| 国产精品美女| 9久热免费视频99| 日日爽夜夜爽| 国产肏屄大片| 9999三级片| 91色操| 九九碰九九爱97超| 五月丁香婷婷色| www.婷婷.com| 热这里只有精| 香蕉久久国产AV一区二区| 啄木鸟黑丝一区二区| 中字幕视频在线永久在线观看免费 | 亚洲美女网Va| 亚洲av网站在线观看| 99热思思久| 天天天天天日| 丁香激情合作五月| 日韩中出视频| 亚洲精品色| 婷婷五月综激情| 激情伊人| www.夜夜操.con| 白人荫道BBWBBB大荫道| 99久久er| 综合 蜜月 婷婷| 亚洲AV色婷婷人禽五月天| 欧美婷婷综合网| 丁香五月在线播放| 狼人狠狠操| 五月丁香| 色五月婷婷五月久久| 精品欧美一区二区三区久久久| 99色热视频| 99欧美精品99日本精品| 99精品视频免费观看| 五月五月婷婷| 丁香蜜臀黄色婷婷五月天| 人妻熟妇国产精品| 人妻少妇色综合| w婷婷五月婷婷w| 丁香五月婷婷久久久| 天天色视频| 大香蕉精品视频| 五月亭亭开心网| 色播五月天天| 婷婷五月丁香激情图片 | 久热一本| 国产暴力强伦轩1区二区小说| 9久久精品| 狠狠人人| 碰久久精品w| 丁香婷婷六月天| 超碰在线91| 色婷婷成人做爰A片免费看网站| 日日操天天| 色婷婷综合成人| 人妻久久久| 久色国产| 婷婷97碰碰| 国产古装妇女野外A片| 婷婷色av| 久久久jd| 字幕网AV中文字幕| 97精品自拍视频| 天天激情视频| 亚洲AV电影av| 91碰碰| 操一操| av在线观看网站| 免费看成人AA片无码视频吃奶| 五月丁香六月婷婷开心网| 日韩成人电影在线播放| 色婷婷网大全在线| 中文字幕综合| 色播丁香婷婷五月激情| 啪啪 综合网| 国产FREESEXVIDEOS性中国| 婷婷五月激情六月| 99在线观看免费精品视频| 超碰人人在线观看| 五月丁香综合啪啪| 淫荡工a| 久久99精品九九久久久婷婷| 婷婷五月综合性爱| 久久丁香五月| 五月色婷婷激情| 婷婷伊人综合中文字幕| 色色999三级片| 99久热| 美女美女美女三级色天天天天天| 丁香5月激情网| 丁香婷婷综合色五月激情国产基地| 色色日本| 99亚洲精品| 狠狠操天天操综合| 99视频内射三四| 六月婷婷日| 在线观看国产高清视频免费网站| www.97碰碰com| 互月天综合| 九九熱最新視頻| 久久超级碰视频| 五月丁香六月片| 国产日比| 激情五月丁香亭亭| 日本激情五月| 婷婷九月激情| 91日韩在线| 亚洲视频1区| 在线观看国产高清视频免费网站 | 天天干,天天日| 婷婷五月天视频小说| 欧美激情综合色综合啪啪五月| 久久精品熟女亚洲AV麻豆| 99热成人| 六月婷婷五月丁香| 久久五月天色| 777精品成人a v久久| 欧美激情综合色综合啪啪五月| 丁香五月亚洲综合| 中文字幕无码人妻少妇免费视频| 激情五月六月婷婷| 五月丁香六月成人| 丁香五月综合激情性爱| 日日日天天干| 色婷五月| 啪啪干伊人婷婷| 99成人网一区| 青青.com| 99自拍视频网站| 99男人的天堂| 91岛国片| 日韩欧美不卡| 少妇做爰免费视看片| 91操片| 九九热10| 天天操加勒比| 色综合综合色| 五月玖玖| 亚洲成人高清在线| 丁香五月综合激情啪啪| 婷婷综合一二三| 五月丁香婷婷欧美| 丁婷婷五月天在线播放| 99色热| 五月激情婷婷丁香| 婷婷性爱五月天| 五月天五月天成人网亭亭成人色网站| 激情综合五月色在线| 婷婷六月色| 99在线观看精品| 天堂五月婷婷| 99操免费视频| 久久性刺激| 91成人看片| 婷婷五月天网址| 美国不卡视频| 中文字幕网伦射乱中文| 久久9热好| 99精品偷自拍| 婷婷五月花.97| 99色在线观看视频者| 国产精品黑丝| 日韩国产在线免费观看| 九色PORNY自拍成人精彩视频| 另类A片| 97香蕉碰碰人妻国产欧美| 久久综合干| 人妻AV在线| 久久视这里只有精品| 日韩欧美一区二区三区四区| 26UUU亚洲欧美| 婷婷成人小说综合| 六月婷婷在线| 亚洲色图五月丁香| 五月丁香天堂网| 99久热| 五月天俺去也| 色婷婷丁香五月天在线观看| 97超碰在线免费观看| 久草热在线视频| 国产97色在线| 在线只有精品| 成人在线观看精品| 六月婷婷AV| 人人澡玖玖一| 99er6| 亚州精品久久久久AV无码| 精品九九视频| 丁香五月天中文字幕| 丁香五月六月综合激情| 91干| EEUSS鲁片一区二区三区| 日韩青青| www.91婷婷| 99色色热热| renre人人操国产超碰在线| 熟女激情五月天| 粉嫩av蜜桃av蜜臀av| 97香蕉碰碰人妻国产欧美| 四季8848精品成人免费网站| 色五月婷婷青娱乐| 久久久激情| 久久99热这里只有精品23| 久久这里有精品视频在线免费观看| 五月天啪啪啪| 婷婷五月天av| 热久91| 五月丁香大香蕉| 五月丁香色婷| 中美日韩成人在线| 亚洲精品久久久无码| AV六月丁香| 婷婷色在线视频| 激情小说五月天社区丁香| 婷婷之六月丁香| 丁香六月天| 久久免费精彩视频| 色五月大香蕉婷婷| 五月丁香六月婷婷,婷| 俺去也五月天婷婷| 色播五月| 在线一起草av| 午夜色婷婷| 色五月视频,小说| 丁香五月自拍| 五月丁香A片| 五月总合激情网| 六月婷婷久久大全| 狠狠色噜噜狠狠狠狠综合| 亚洲人成播放网站| 丁香五月性| 色五月首页| 99精品无码| www,99色| 五月婷婷亚洲综合网| 六月丁香VA| 超碰九色| 亚洲影院婷婷色| 青草青草视频2免费观看| 久久综合播放| 六月丁香五月激情网| 人妻久久婷婷| 亚洲综合色婷婷文学| 九九av| 日韩色色视频www| 91九色欧美| 操大屄五月天视频| 色婷婷狠狠干| WWW99热| 婷婷综合久久综合| 99热这里有精品6| 开心激情五月天网| 超碰在线观看三级片| 中文字幕在线播放视频| 五月亭亭性| 九九九激情综合| 91精品综合久久久久久五月丁香| 亚洲国产精品VA在线看黑人| 91久久精品国产91性色TV| 秋霞免费三级片| 日韩一区二区在线播放| 日韩婷婷| 婷婷亚洲丁香五月| 免费超碰在线观看| 五月婷婷开心六月激情小说| 亚洲愉拍99热成人精品| 伊人五月网| 超碰九热| 日日夜夜天天综合| 天天肏天天肏| 五月丁香婷婷婷激情爱爱| 91打屁股视频网站| 五月婷婷啪啪网| 1024国产| 99视频这里有精品免费观看| 99精品偷自拍| 97色色在线视频| 欧美精品在线观看| 高清不卡一区| 青青色com久久| 五月天婷婷丁香六月| 国产精品18久久久| 日韩婷婷五月天| 日日夜夜狠狠| 丁香六月激情综合网| 亚洲成人在线播放| 久久九九色| 超碰三级片| 激情六月丁香| 成人精品人妻| 91超碰九色| 人人人操97| 中文字幕欧美精品久久| 噜噜色五月| ss五月天激情| 婷婷五月天久| 91丨九色丨大屁股| 天天日天天操天天干| 男女av免费看| 色婷婷97| 综合色色婷婷| 操操操B| 伊人色综合网| 婷婷综合色图| 亚洲无AV在线中文字幕| 激情五月天伊人影院| 久久婷婷五月综合伊人| 欧美交换配乱吟粗大25P| 国产精品香蕉| 久久综合九九| 国产亚洲成AV人片在线观黄桃| 国产VA亚洲VA96| 亚洲综合婷婷| 99热爆在线| 亚洲无码11| 五月婷婷免费| 色欲色天天香综合| 日木WWW视频| 人人澡玖玖一| 免费播放99性爱视频| 九九综合伊人| 91大操| 狠狠色婷婷7777久| 色五月丁香伊人五月| 婷婷久久久| 99操不停| 成功精品影院| 99热6色| 这里只精品| 日韩精品一品二区三区的使用体验 | 天天透天天摸天天舔| 天天日夜夜欢| 男同色五月开心五月激情五月| 九九99在线免费在线观看视频| 99性爱精品| 综合欧美五月婷婷| 丁香婷婷综合激情五月色| 亚洲深喉aV| 99热这里全都是精品| 激情五月天com| 亚洲欧洲自拍图片专区五月天| 欧美日韩成人在线观看| 丁香婷婷婷| 丁香五月影院| 99综合视频一体| 丁香五月香蕉| 天天色综网| 色婷婷丁香网| 婷婷丁香激情综合色情| www.色色com| av中文字幕免费观看| 婷婷久久五月| 超碰成人电影| 色99热| 六月激情久久| 噜噜色噜噜网| 日日日影院| 五月激情婷婷开心五月| 超碰AV在线| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 久久99激情| 欧美日韩成人在线网| 精品自拍97| 97色一二三| 中文字幕乱码亚洲精品一区| 欧美色色色| 九九無妻| 五月天开心网| 婷婷五月天电影网| 天天干天天干天天| 天堂久久精品| 久久婷婷网| 五月婷婷熟女| 婷婷久久五月| 五月婷婷性爱| 婷婷射丁香| 六月色狠狠色| 白天AV月月| 色丁香婷婷| 97色色在线视频| 婷婷五月天成人| 色激情五月| 婷婷五月天激情电影| 五月丁香综合激情网| 久久久香| 亚州操人在线视频| 激情综合网色播五月| 色五月婷婷老师| 丁香五月婷婷五月| 亚洲电影在线观看| 噜噜在线| 亚洲第一成人无码A片| 丁香五月伊人| 国产精品涩涩涩视频网站 | 国产又爽又猛又粗的视频A片| 国产亚洲精品AAAA片APP| 狠狠干无码| 超碰av在线| WWW.国产| 亚洲狠狠终合停停终合| 超碰色女人| 人人操人人操919999| 亚洲激情丁香五月天色| 99激情视频热| 丁香色婷婷| 婷婷五月精品中文字幕| 丁香五月天啪啪| 91久久久久久| 大大香蕉综合在线| 亚洲激情四射| 五月丁香六月欧美| 国产激情在线| 超碰在线91| 色色五月激情| 色婷婷亚洲| 六月五月久久丁香| 类似婷婷激情综合网站| 亚洲色婷婷五月天| 婷婷五月天亚洲综合网| 色婷婷www| 色色色色av777| 久热这里只有精品视频6| 亚洲色频| 久久精彩视频| 色婷婷五月影视| 久热九九| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪| 狠狠爱婷婷丁香| 久热这里只有精品6| 婷婷五月激情黄色| 成人Av在线大片| 五月婷婷这里都是精品| 蜘蛛女侠2003满天星免费观看| 六月丁香啪啪| 婷婷五月成人社区| 久久九色| 天天插AV丝袜中| 久久草大香蕉| 九九99热久久精品66中文字幕| 九九99视频精品| 色在线视频网2025| 91精品久久久久久77777| 成年视频免费观看| 99免费视频久久| 五月天激情四射网站| 99热热热99精品丁香| 九色自拍| 色婷婷裸体色性在线| 亚洲操B| 丁香五月婷婷天堂大香蕉| 久久婷五月综合色| 无码99| www.刺激色网站www.| 色五月天天| 九九热这里只有精品6| 草草影院爱爱| 能直接看的av网站| 国产精品久久久爽爽爽麻豆色哟哟| 久久久精品AV| 国产伦理精品高清在线观看网站一区二区| 99亚洲日韩| 激婷网| 色婷婷六月激情| www.色婷婷| 东京热人妻一区二区三区在线| 国内婷婷丁香社区在线播放| 丁香五月天之婷婷影院| 三级毛片7979| 亚洲五月丁香六月婷婷| 婷婷五月丁香综合亚洲| 五月婷婷狠天天色综合| www.狠狠| 六月丁香啪啪啪| 香蕉操亚洲| 色逼综合网| 狠狠干五月丁香| 丁香六月婷婷综合| 九九Av| 99热6精品| 精品亚洲国产成AV人片传媒| 丁香六月婷婷综合激情欧美| 91人妻人人做人碰人人爽九色| 色色影院黄大片| 噜噜色com| 国产全是老熟女太爽了| 色欲婷婷夜夜| 日韩人妻无码专区| 五月丁香啪啪啪| 久热大香蕉| 久久综合五月婷婷| 色五月婷婷久久| 超碰伊人碰婷婷五月| 99热a片免| 久久一伦| 婷婷综合在线| 五月间天堂综合| 丁香五月婷婷啪啪啪| 91热在线| 五月丁香影院| 99色综合网| 伊人在线视频| 丁香婷婷少妇| 国产FREESEXVIDEOS性中国 | 99热免| 日本九九九九九九| 无码人妻电影| 婷婷和五月天| 操一区| 性生活久久人妻| 五月丁香综合色婷婷| 激情五月婷婷视频一区二区三区| 色情久久久| 久机视频这只有精品| 色噜噜狠狠色综合日日免费| 婷婷五月天综合网| 天天综合五月| 9热久久| 日本一级| 五月天婷婷青青| 日韩欧美性爱| 狼人婷婷综合| 色五月开心五月激情五月| 国产无套精品一区二区| 久久久精品色| 激情综合网五月在线播放| 丁香五月成人社区| 伊人五月网| 五月丁香六月激情| 婷婷丁香五月激情密臀av| 26uuu视频欧美| 欧美色片中文字幕久久久久| 五月丁香婷婷综合视频| 综合激情在线视频| 91啪啪视频| 丁香五月天五码婷婷| 激情五月狠狠喔| 亚洲九区| 色永久| 丁香五月激情综合婷综| 五月天激情婷婷| 婷婷香五月| 99亚洲精品视频| 大香蕉手机视频| 这里只有精品视频99| 九九99免费视频| 丁香六月啪啪| 99热天堂| 日 日干 日日做| 欧美激情伊人| 丁香激情网| 色五月天电影| 精品一二三区视频立| 婷婷九九色| 亚洲av骚货| 99热这里是精品| 玖玖在线资源视频| 久九九热| 亚洲正能量欧美| 亚洲男女激情| 欧美Va日本Va| 亚洲激情区| 超碰无码318604| 国产SUV精品一区二区883| 久久多色| 可以免费看AV网站| 色婷婷五月开心六月综合| 操比激情五月综合| 色婷青青| 99热这里只有精品3| 五月丁香无码视频| 婷婷丁香五月天哟啪| 久久9热综合| 色婷婷激情| 成人性爱无码| 日逼免费视频| 婷婷激情五月吧| 无码yw| 九九激情| 国内一级片| 九九热超碰| 色婷婷伊人| 狠狠狠狠狠狠狠狠| 五月天婷婷丁香蜜桃91| 4399在线观看免费高清黄色视频| 色综合色香蕉网| 综合五月婷婷| 色欲婷婷五月天| 亚洲色热| 99视频只有这里精品| 五月婷婷伊人网| 丁香六月婷婷久久综合八月| 日韩欧美一道四区中文字幕| av网站免费在线| 精品国产AV色一区二区深夜久久| 日日天天干| 婷婷99视频精品| 婷婷五月天六月丁香| 丁香五月婷婷亚洲色图| 亚洲五月天第一综合干| 久久精品99| 91碰| 日韩在线观看亚洲| 91精品视频男人的天堂| 久久这里只有精品视频15| 亚洲婷婷五月天| www.99热在线观看| 俺去也婷婷| 婷婷丁香成人五月天| 国产午夜精品久久久观看| 五月天色网站| 亚洲十月婷婷综合| 天天拍久久| 久久人妻情侣| 综合一本道| 色中色综合| 激情五月天综合| 色欲婷婷五月天丁香| 成人在线视频一区| 精品色色| 99精品久久| 99精品无码| 婷婷五月花| 99A片| 91精品国产色猫| www.激情com| 性一交一乱一交A片久久四色| 亚洲超级碰| 最新日韩久热免费视频看看| 伊人9在线| 天天插天天玩天天干| 蜜臀A∨在线水帘洞| 操笔无码| 色五狠狠| 99精品视频在线观看| 99免费热视频在线| 丁香婷婷啪啪| 国产精产国品一二三在观看 | 狠狠色综合五月人人| 丁香五月瑟瑟| 六月婷婷色色色| 五月久久婷婷| 久热这里只有精品性色AV| 九九草热在线观看| 操操操AV| 综合久久高清| 99国产精品久久久久久久久久久 | 99超级碰免费视频| xx色综合| 日韩在线aaa| 色五月婷婷操逼| 激情六月婷婷| 九九婷婷五月天| 久久九九精彩| 九九av| 91人人爽久久涩噜噜噜| 亚洲视频图片婷婷五月| 久久综合影院| 丁香五月偷拍| 久热精彩视频98| 97操视频| 26uuu亚洲色| 五月丁香六月婷婷网| 99热日本| 亚洲偷| 激情久久久久久久久久久| 色色色激情| AV79| 婷婷综合网站| 色综啪啪| 啪啪综合网| 久99热| 丁香六月婷婷| 狠狠CAO日日穞夜夜穞AV| 黄色毛片精品| 99热只有精品在线播放| 高清无码入口| 欧美性猛交AAAA片黑人 | 婷婷五月精品中文| 大香蕉七区| 久久99精品久久久久久青青AR| 丁香五月婷婷五月天在线| 天天舔天天摸天天射| 99热精品在线播放| 来吧亚洲综合网| 色婷婷色九月| 怡红院院久久| 成人在线网址| 2021日韩无码| 婷婷丁香五月天影院| 中文网av| www.夜夜操| 五月婷婷啪啪网| 五月宗合激情网| 99久久久久| 久久9久| 久久这里只| 婷婷五月天激情四射| 99色日本| 天天婷婷| 777影视理论片大全在线观看 | 欧美色色色色色色色色色色| 色青青视频| 午夜五月天| WWW·色色色·COM| 秋霞影音91人妻久久| 色激情五月天| 精品综合网在线| 久久五月视频| 婷婷五月天精品| 人人性久久| 亚洲色激情| 草草夜夜操| 丁香婷婷少妇| 天天日天天爽| 香蕉国产2013| 夜夜爽天天爽| 操人精品| xxx.色婷婷| 五月婷婷色色爱| 五月丁香婷婷人体| 色婷婷五月天在线观看| 人人操91| 激情五月色婷婷| 国产老熟妇亲子乱对白| 天天爽天天摸| av电影在线播放| 久久婷婷五月综合伊人| 五月天堂六月丁香亚州中文字幕久久| 麻豆123区|