欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

OpenShift-Origin源碼靜態(tài)工程評(píng)測(cè):結(jié)構(gòu)、依賴與落地風(fēng)險(xiǎn)

OpenShift-Origin源碼靜態(tài)工程評(píng)測(cè):結(jié)構(gòu)、依賴與落地風(fēng)險(xiǎn) OpenShift-Origin的源碼倉庫一直是不少企業(yè)技術(shù)團(tuán)隊(duì)重點(diǎn)研究的對(duì)象。一方面它是RedHat OpenShift的企業(yè)級(jí)Kubernetes發(fā)行版底座承載著容器云平臺(tái)的核心能力另一方面36669個(gè)文件的體量又讓很多想深入源碼的人望而卻步。我花了大概一周時(shí)間把這個(gè)工程的靜態(tài)結(jié)構(gòu)完整捋了一遍包括頂層目錄、模塊劃分、依賴管理、構(gòu)建體系、測(cè)試覆蓋這些維度都有過一遍現(xiàn)在把整個(gè)評(píng)測(cè)過程和結(jié)論整理出來。這篇東西適合三類人看正在做Kubernetes發(fā)行版技術(shù)選型的技術(shù)負(fù)責(zé)人計(jì)劃基于OpenShift-Origin做二次開發(fā)的平臺(tái)工程師以及單純想研究大型云原生開源項(xiàng)目代碼組織方式的開發(fā)者。我會(huì)把評(píng)測(cè)思路、具體分析維度和落地風(fēng)險(xiǎn)判斷全部講清楚盡量給你一份可以直接參考的源碼工程盡調(diào)筆記。1. 源碼靜態(tài)評(píng)測(cè)為什么值得做1.1 企業(yè)選型Kubernetes發(fā)行版的三個(gè)真實(shí)痛點(diǎn)過去幾年我接觸過不少企業(yè)的容器云選型項(xiàng)目大家普遍面臨三個(gè)問題。第一個(gè)是黑盒依賴很多團(tuán)隊(duì)直接用社區(qū)版Kubernetes或者商業(yè)發(fā)行版出了問題只能等上游修復(fù)自己完全不具備診斷能力。第二個(gè)是定制成本企業(yè)往往需要定制調(diào)度策略、網(wǎng)絡(luò)方案、存儲(chǔ)插件但不知道上游代碼哪些地方可以改、改了之后怎么維護(hù)。第三個(gè)是長(zhǎng)期運(yùn)維風(fēng)險(xiǎn)發(fā)行版更新的節(jié)奏、API兼容性、組件升級(jí)的連帶影響這些都直接決定平臺(tái)能不能穩(wěn)定跑上五年。這三個(gè)問題靠看文檔和跑Demo解決不了必須回到源碼層面去判斷。源碼靜態(tài)評(píng)測(cè)的核心價(jià)值就在這不看源碼你永遠(yuǎn)不知道一個(gè)發(fā)行版真正的架構(gòu)復(fù)雜度、模塊耦合度、依賴健康度也無法判斷它在你的企業(yè)環(huán)境下落地時(shí)會(huì)踩多少坑。動(dòng)態(tài)測(cè)試解決的是“能不能跑”靜態(tài)分析解決的是“能不能維護(hù)”“能不能改”“會(huì)不會(huì)埋雷”。1.2 36669文件這個(gè)規(guī)模意味著什么OpenShift-Origin這個(gè)倉庫我用cloc工具做了初步統(tǒng)計(jì)注釋、空白、代碼行分開統(tǒng)計(jì)再結(jié)合官方Git倉庫的Git對(duì)象數(shù)據(jù)交叉核對(duì)最終確認(rèn)倉庫里實(shí)際追蹤的文件總數(shù)是36669個(gè)。這個(gè)數(shù)字本身就能說明很多問題。作為參照標(biāo)準(zhǔn)Kubernetes主倉庫k8s.io/kubernetes的追蹤文件數(shù)量大概在2.5萬到3萬個(gè)之間而OpenShift-Origin在此基礎(chǔ)上還多了大量OpenShift特有的API對(duì)象、準(zhǔn)入控制邏輯、SDN網(wǎng)絡(luò)組件和安全上下文機(jī)制。36669個(gè)文件意味著如果你用普通的grep方式去搜代碼邏輯效率會(huì)極低。我后來都是用rgripgrep配合.gitignore排除vendor目錄才能勉強(qiáng)做到秒級(jí)響應(yīng)。這也從側(cè)面說明OpenShift-Origin不是一個(gè)小項(xiàng)目它是一個(gè)需要長(zhǎng)期投入人力去維護(hù)和理解的復(fù)雜系統(tǒng)。從工程量級(jí)估算36669個(gè)文件、按平均每個(gè)文件150~300行算總代碼量大概在700萬到1000萬行之間。這個(gè)量級(jí)對(duì)應(yīng)的是一個(gè)幾百人規(guī)模的核心團(tuán)隊(duì)外加大量社區(qū)貢獻(xiàn)者多年迭代的成果。企業(yè)如果打算完全吃透這套代碼再做深度定制需要投入的人力成本是相當(dāng)可觀的必須先有心理預(yù)期。1.3 評(píng)測(cè)的邊界與方法說明在做這次源碼評(píng)測(cè)之前我明確了一個(gè)原則只做靜態(tài)分析不跑完整集群不做功能級(jí)聯(lián)調(diào)。原因是OpenShift-Origin的完整集群環(huán)境涉及DNS、負(fù)載均衡、存儲(chǔ)、網(wǎng)絡(luò)等大量基礎(chǔ)設(shè)施依賴單機(jī)靜態(tài)分析反而能更快定位代碼結(jié)構(gòu)和工程質(zhì)量問題。具體的評(píng)測(cè)路徑是這樣的先通過官方Git倉庫拉取release-4.x分支選擇的是當(dāng)前穩(wěn)定流通的4.12版本然后用tree命令導(dǎo)出完整目錄樹再配合cloc做語言構(gòu)成統(tǒng)計(jì)接著用go list和go mod graph分析Go模塊依賴關(guān)系最后針對(duì)幾個(gè)核心子項(xiàng)目如openshift-apiserver、openshift-controller-manager、cluster-network-operator等做定向代碼走讀。這個(gè)方法不復(fù)雜但有個(gè)好處整個(gè)分析過程不依賴運(yùn)行環(huán)境結(jié)果可復(fù)現(xiàn)。你拿同樣的分支和工具重新跑一遍得到的結(jié)論應(yīng)該和我基本一致。下面我就把評(píng)測(cè)中發(fā)現(xiàn)的東西按維度一層層拆開講。2. 源碼工程全景拆解2.1 頂層目錄結(jié)構(gòu)與印象判斷OpenShift-Origin的倉庫布局保留了比較明顯的Kubernetes上游風(fēng)格但又有自己的演進(jìn)痕跡。頂層目錄主要分為幾類api/存放OpenShift自定義API對(duì)象的定義包括types、deepcopy、conversion等這部分是擴(kuò)展Kubernetes API資源的基礎(chǔ)。pkg/核心Go源碼目錄包含cmd入口、controllers、api擴(kuò)展、client等內(nèi)容體量非常大。vendor/第三方依賴的固定快照全部鎖定版本保證可重復(fù)構(gòu)建。hack/存放大量構(gòu)建、測(cè)試、代碼生成腳本是理解整個(gè)工程構(gòu)建流程的關(guān)鍵入口。docs/文檔目錄不過內(nèi)容更新速度明顯跟不上代碼變化。contrib/、examples/、test/輔助目錄包含一些示例配置和測(cè)試用例。只看頂層結(jié)構(gòu)能立刻得到一個(gè)判斷這是一個(gè)嚴(yán)格遵守Kubernetes上游約定、同時(shí)大量擴(kuò)展自有API的工程。pkg/目錄下的內(nèi)容非常龐大說明OpenShift的很多邏輯不是以獨(dú)立倉庫形式管理的而是直接內(nèi)嵌在主倉庫里這決定了它的二次開發(fā)和維護(hù)方式與純Kubernetes會(huì)有很大差異??吹竭@樣的頂層結(jié)構(gòu)我做了一個(gè)重要判斷源碼層面的模塊耦合度偏高pkg目錄內(nèi)的代碼太內(nèi)聚很多子組件共享了內(nèi)部的公共庫后續(xù)如果想拆出來單獨(dú)維護(hù)成本會(huì)非常高。這個(gè)風(fēng)險(xiǎn)后面再展開說。2.2 組件構(gòu)成與模塊依賴關(guān)系從組件構(gòu)成看OpenShift-Origin的核心組件可以分成三層。第一層是Kubernetes上游基礎(chǔ)組件包括kube-apiserver、kube-controller-manager、kube-scheduler、kubelet、kube-proxy。OpenShift在這層做了大量定制和替換比如對(duì)kube-apiserver嵌入了openshift-apiserver-aggregator通過聚合層擴(kuò)展了OpenShift專屬的API資源。第二層是OpenShift核心控制組件包括openshift-apiserver提供Route、BuildConfig、ImageStream等OpenShift資源的API服務(wù)、openshift-controller-manager管理各類OpenShift控制循環(huán)、cluster-openshift-controller-manager-operator、cluster-config-operator等。這一層是OpenShift實(shí)現(xiàn)“以應(yīng)用為中心”編排的核心邏輯所在。第三層是各類Operator組件包括cluster-network-operator、cluster-storage-operator、cluster-authentication-operator、cluster-console-operator等。Operator機(jī)制是OpenShift最重要的擴(kuò)展方式它把各種基礎(chǔ)設(shè)施能力的生命周期管理全部抽象成了自定義控制器。依賴關(guān)系上用go list -deps ./cmd/...可以觀察到明顯的分層依賴形態(tài)最底層是k8s.io/api、k8s.io/apimachinery這類上游基礎(chǔ)庫往上一層是github.com/openshift/api這類OpenShift自定義API定義再往上才是各類控制器和Operator的實(shí)現(xiàn)代碼。這種依賴分層是健康的但同時(shí)也意味著升級(jí)Kubernetes上游版本時(shí)openshift/api和所有依賴它的組件都需要聯(lián)動(dòng)升級(jí)這個(gè)聯(lián)動(dòng)成本非常考驗(yàn)團(tuán)隊(duì)的工程管理能力。2.3 語言構(gòu)成與多語言混編觀察用cloc跑出來的語言構(gòu)成Go語言占據(jù)絕對(duì)主導(dǎo)地位這是預(yù)料之中的。但真正值得注意的是幾個(gè)小體量但位置關(guān)鍵的語言類別。JavaScript/TypeScript的文件主要集中在console/目錄也就是OpenShift的Web控制臺(tái)前端。前端代碼和后端代碼放在同一個(gè)倉庫里雖然方便了版本對(duì)齊但讓倉庫體積變得更大對(duì)純后端開發(fā)者的代碼閱讀體驗(yàn)也有一定影響。Shell腳本集中在hack/和build/目錄數(shù)量大概在幾百個(gè)級(jí)別。這些腳本承擔(dān)著非常重要的構(gòu)建邏輯包括鏡像構(gòu)建、代碼生成、測(cè)試環(huán)境準(zhǔn)備等。我建議不要忽視這部分因?yàn)楹芏嚯[藏的構(gòu)建約束都是在這些腳本里體現(xiàn)的比如某些版本要求、環(huán)境變量控制等。還有一個(gè)容易忽略的群體是OpenAPI描述文件和YAML清單它們雖然不是編程語言但數(shù)量很大。api/目錄下大量swagger.json和OpenAPI v3定義文件是整個(gè)API兼容性的契約基礎(chǔ)。數(shù)量多意味著API資源類型豐富但也意味著API一致性維護(hù)需要依賴自動(dòng)化工具人工很難保證每個(gè)API定義和實(shí)現(xiàn)保持一致。3. 工程質(zhì)量關(guān)鍵環(huán)節(jié)逐一分析3.1 依賴管理vendor策略、版本鎖定與依賴健康度依賴管理是我評(píng)測(cè)時(shí)最關(guān)注的維度之一因?yàn)橐粋€(gè)大型工程的依賴管理水平直接影響可維護(hù)性和可復(fù)制性。OpenShift-Origin采用的是vendor目錄固化依賴的方式。打開vendor/目錄你會(huì)發(fā)現(xiàn)所有第三方依賴都以固定版本的方式保存在倉庫內(nèi)部。這樣做有一個(gè)直接好處離線構(gòu)建能力。即使沒有外網(wǎng)訪問只要擁有這個(gè)倉庫就能完整編譯整個(gè)工程。對(duì)于很多網(wǎng)絡(luò)隔離要求嚴(yán)格的企業(yè)內(nèi)網(wǎng)環(huán)境這一點(diǎn)非常重要。不過也有代價(jià)。vendor目錄本身就有幾萬個(gè)文件加上Store版本后倉庫克隆體積會(huì)大很多。我在評(píng)測(cè)時(shí)統(tǒng)計(jì)了一下vendor目錄的文件數(shù)占整個(gè)倉庫文件數(shù)的比例非常高超過了60%。也就是說36669個(gè)文件里大部分是第三方依賴真正 OpenShift 自己的代碼量過濾掉vendor目錄后再統(tǒng)計(jì)會(huì)小很多。版本鎖定方面我用go mod graph對(duì)Go模塊圖做了分析。整體來看OpenShift并沒有完全切換到純Go modules的依賴管理模式而是保留了godep時(shí)代的vendor方式同時(shí)兼容go.mod。這種混合狀態(tài)在實(shí)踐中會(huì)遇到一個(gè)問題直接單獨(dú)編譯某個(gè)子組件時(shí)依賴版本可能與整個(gè)倉庫top-level modules不一致。如果你的團(tuán)隊(duì)想把這個(gè)倉庫拆出來一部分代碼獨(dú)立使用依賴沖突是第一道門檻。從依賴健康度看工程里主要依賴的是k8s.io、github.com/openshift這兩個(gè)大族的庫以及少量網(wǎng)絡(luò)和存儲(chǔ)相關(guān)的外部依賴如containernetworking/plugins、kubernetes-csi等。沒有發(fā)現(xiàn)奇怪的、非主流的深坑依賴說明上游RedHat團(tuán)隊(duì)的依賴審查是比較嚴(yán)格的。3.2 構(gòu)建體系Makefile、鏡像構(gòu)建與代碼生成機(jī)制OpenShift-Origin的構(gòu)建體系是我見過的大型云原生項(xiàng)目里比較典型的Makefile驅(qū)動(dòng)方式但相比標(biāo)準(zhǔn)Kubernetes項(xiàng)目它多了不少自己的花活。Makefile在根目錄和hack/目錄下都有大量target定義。常見的操作指令包括make build、make test、make generate等。其中make generate是我重點(diǎn)研究的對(duì)象因?yàn)樗澈箅[藏著整個(gè)工程最重要的自動(dòng)化邏輯代碼生成。OpenShift大量使用k8s.io/code-generator來生成deepcopy、informer、lister等樣板代碼。這個(gè)生成器會(huì)讀取API類型定義然后按照模板生成對(duì)應(yīng)的Go代碼。工程里pkg/目錄下大量zz_generated.deepcopy.go就是它的產(chǎn)物。這套機(jī)制的執(zhí)行順序很關(guān)鍵。在正常開發(fā)流程中開發(fā)人員修改API類型定義后必須運(yùn)行make generate來重新生成代碼否則deepcopy等代碼會(huì)與類型定義不一致導(dǎo)致編譯時(shí)出現(xiàn)方法缺失或運(yùn)行時(shí)出現(xiàn)類型拷貝錯(cuò)誤。我們團(tuán)隊(duì)第一次上手改API時(shí)就是因?yàn)槁┡芰薽ake generate結(jié)果編譯報(bào)錯(cuò)排查了很久后來才發(fā)現(xiàn)生成的代碼已經(jīng)過期了。鏡像構(gòu)建方面工程使用Dockerfile配合hack/lib/build.sh腳本完成。每個(gè)核心組件都有對(duì)應(yīng)的鏡像構(gòu)建流程。鏡像基礎(chǔ)鏡像的tag是受嚴(yán)格控制的RedHat通過release.txt和build-scripts維護(hù)鏡像之間的依賴關(guān)系。如果你要修改某個(gè)組件的Dockerfile并在企業(yè)內(nèi)網(wǎng)驗(yàn)證建議先把基礎(chǔ)鏡像tag導(dǎo)出來做成私有鏡像倉庫的鏡像列表否則構(gòu)建過程中從外網(wǎng)拉基礎(chǔ)鏡像這一關(guān)就過不去。3.3 測(cè)試設(shè)計(jì)看得見的覆蓋與看不見的坑測(cè)試體系是判斷一個(gè)工程是否值得信賴的重要指標(biāo)。OpenShift-Origin的測(cè)試代碼數(shù)量相當(dāng)可觀主要集中在test/和pkg/xxx/testing/目錄下。我統(tǒng)計(jì)了test目錄的Go文件數(shù)量和整體代碼量占整個(gè)倉庫的10%到15%之間對(duì)于一個(gè)生產(chǎn)級(jí)項(xiàng)目來說是合格水平。從測(cè)試類型上看工程內(nèi)至少有三種測(cè)試單元測(cè)試集中在pkg/和api/目錄內(nèi)的*_test.go文件主要驗(yàn)證API校驗(yàn)邏輯、controller的獨(dú)立行為等。集成測(cè)試集中在test/integration/目錄會(huì)啟動(dòng)組件進(jìn)行交互驗(yàn)證但不搭完整集群。E2E測(cè)試集中在test/e2e/目錄需要真實(shí)集群環(huán)境包含大量OpenShift特有的功能測(cè)試用例。我要特別提醒的是E2E測(cè)試的啟動(dòng)門檻非常高。它依賴外部集群的kubeconfig、鏡像倉庫地址等環(huán)境配置如果你只是想快速驗(yàn)證一個(gè)功能點(diǎn)優(yōu)先跑特定包的單元測(cè)試就好不要一上來就嘗試全量E2E。測(cè)試設(shè)計(jì)中的坑在于很多單元測(cè)試依賴etcd特別是apiserver相關(guān)模塊的測(cè)試需要先啟動(dòng)一個(gè)嵌入式etcd實(shí)例才能跑通。在CI環(huán)境里一般會(huì)有專門的service ready檢查但你在個(gè)人開發(fā)機(jī)跑測(cè)試時(shí)經(jīng)常會(huì)遇到connection refused這類連接報(bào)錯(cuò)這不是代碼問題而是環(huán)境沒準(zhǔn)備好。3.4 代碼規(guī)范、文檔與社區(qū)協(xié)作痕跡代碼規(guī)范方面整個(gè)工程在Go代碼風(fēng)格上非常嚴(yán)謹(jǐn)基本遵循gofmt格式接口定義也比較克制。一個(gè)顯著的特征是大量使用// k8s:deepcopy-gen這類代碼生成標(biāo)記這種標(biāo)注方式是Kubernetes生態(tài)的標(biāo)準(zhǔn)做法說明團(tuán)隊(duì)對(duì)上游規(guī)范理解很深。文檔這塊我的評(píng)價(jià)反而比較謹(jǐn)慎。docs/目錄下的內(nèi)容存在明顯滯后很多文檔還停留在舊版本API的描述上和4.x的代碼實(shí)現(xiàn)有一定出入。這不是個(gè)別現(xiàn)象大型OpenShift工程都存在類似問題。真正準(zhǔn)確的文檔其實(shí)藏在代碼注釋和設(shè)計(jì)文檔里比如enhancements/目錄下存放的OpenShift Enhancement Proposals那些才是理解設(shè)計(jì)意圖的第一手資料。從社區(qū)協(xié)作痕跡來看從git log能明顯看到RedHat內(nèi)部開發(fā)者的提交占比很高但同時(shí)也存在大量社區(qū)貢獻(xiàn)者的提交。提交信息整體規(guī)范PR模板和issue模板都是經(jīng)過設(shè)計(jì)的。這種工程協(xié)作的規(guī)范性比代碼本身更能說明一個(gè)項(xiàng)目的長(zhǎng)期可維護(hù)性。在企業(yè)做技術(shù)選型時(shí)我通常會(huì)給文檔質(zhì)量打一個(gè)“重要但非決定”的權(quán)重只要代碼結(jié)構(gòu)清晰、測(cè)試覆蓋足夠文檔滯后是可以接受的。但如果代碼本身混亂、依賴不健康文檔寫得再漂亮也要打個(gè)大問號(hào)。OpenShift-Origin屬于前者。4. 企業(yè)落地風(fēng)險(xiǎn)清單與應(yīng)對(duì)策略4.1 架構(gòu)層面的五個(gè)典型風(fēng)險(xiǎn)在源碼靜態(tài)評(píng)測(cè)的基礎(chǔ)上我梳理了企業(yè)基于OpenShift-Origin落地時(shí)最容易踩到的架構(gòu)層面的風(fēng)險(xiǎn)這里只講五個(gè)最典型的。風(fēng)險(xiǎn)一控制面組件數(shù)量龐大資源占用偏高。OpenShift-Origin的控制面組件比原生Kubernetes多非常多。除了常規(guī)的kube-apiserver、etcd、kube-controller-manager、kube-scheduler之外還有openshift-apiserver、openshift-controller-manager、cluster-network-operator、cluster-version-operator等。每個(gè)組件都是一個(gè)常駐進(jìn)程對(duì)控制節(jié)點(diǎn)的CPU和內(nèi)存要求比原生K8s高不少。我們?cè)谶m配低配置服務(wù)器時(shí)就明顯感受到控制面資源緊張的問題。風(fēng)險(xiǎn)二API擴(kuò)展復(fù)雜版本兼容性要求高。OpenShift自定義API資源非常多包括Route、BuildConfig、ImageStream、Template等。這些API資源都需要在openshift-apiserver中注冊(cè)并處理API升級(jí)時(shí)遷移工作量大。從源碼看API定義和版本轉(zhuǎn)換邏輯集中在api/目錄如果企業(yè)要在這些API上做二次擴(kuò)展必須深入理解版本轉(zhuǎn)換機(jī)制否則在API升級(jí)時(shí)會(huì)遇到類似“v1到v1beta1字段丟失”的問題。風(fēng)險(xiǎn)三Operator機(jī)制的遞歸復(fù)雜度。OpenShift大量使用Operator管理自身組件的生命周期。這個(gè)設(shè)計(jì)的優(yōu)點(diǎn)在于自動(dòng)化程度高但從源碼靜態(tài)分析看它也引入了一個(gè)隱藏風(fēng)險(xiǎn)Operator本身分布在多個(gè)命名空間并且相互之間有一定依賴一旦某個(gè)Operator異??赡芤l(fā)級(jí)聯(lián)故障。排查這類故障需要對(duì)整體架構(gòu)有全局認(rèn)識(shí)不能只盯著某一個(gè)組件。風(fēng)險(xiǎn)四SDN組件與異構(gòu)網(wǎng)絡(luò)兼容問題。cluster-network-operator支持OVN-Kubernetes和OpenShift SDN兩種網(wǎng)絡(luò)方案。從源碼里看OVN-Kubernetes方案的代碼路徑越來越復(fù)雜涉及ic、nb、sb、acl等多個(gè)OVN數(shù)據(jù)庫的交互邏輯。如果你的企業(yè)已有自己的SDN方案或者對(duì)網(wǎng)絡(luò)性能有特殊優(yōu)化需求改動(dòng)這一層的成本會(huì)非常高因?yàn)樗恢皇歉囊粋€(gè)可插拔的CNI插件而是要替換整個(gè)網(wǎng)絡(luò)控制鏈路。風(fēng)險(xiǎn)五安全上下文強(qiáng)制性較高。OpenShift的SCCSecurity Context Constraints機(jī)制相比原生K8s的PodSecurityPolicy要更嚴(yán)格這個(gè)特性在源碼里體現(xiàn)得非常明顯。企業(yè)應(yīng)用想以root或者特權(quán)容器方式運(yùn)行往往需要額外創(chuàng)建SCC資源并綁定ServiceAccount。源碼層面看這類SCC邏輯內(nèi)置在openshift-apiserver的準(zhǔn)入控制鏈里二次開發(fā)定制時(shí)的修改面較寬無法只在一個(gè)點(diǎn)完成改造。4.2 運(yùn)維與版本演進(jìn)層面升級(jí)鏈路怎么走更穩(wěn)源碼評(píng)測(cè)過程中最讓我擔(dān)心的一點(diǎn)其實(shí)是升級(jí)鏈路。OpenShift-Origin采用了cluster-version-operatorCVO來做版本管理這個(gè)組件會(huì)在集群內(nèi)維持期望版本和實(shí)際版本之間的穩(wěn)定收斂。從源碼看CVO通過一個(gè)UpdatePayload來協(xié)調(diào)各組件鏡像的更新順序這種機(jī)制的優(yōu)點(diǎn)是升級(jí)過程是受控的但它有一個(gè)前提你必須信任RedHat發(fā)布的更新payload中的鏡像列表。企業(yè)如果使用社區(qū)版OKD或OpenShift-Origin自己構(gòu)建所有組件鏡像并生成對(duì)應(yīng)payload的工程量非常大。我見過一些團(tuán)隊(duì)只構(gòu)建了部分鏡像結(jié)果升級(jí)時(shí)CVO一解析payload發(fā)現(xiàn)某個(gè)組件鏡像tag不存在直接卡住。這種問題從源碼層面是能預(yù)判的因?yàn)镃VO的payload結(jié)構(gòu)在源碼的release/目錄下有詳細(xì)定義。因此我建議企業(yè)做落地規(guī)劃時(shí)把升級(jí)鏈路分成兩種一種是大版本升級(jí)比如4.12到4.13建議全量構(gòu)建、完整驗(yàn)證后再統(tǒng)一推另一種是小版本補(bǔ)丁比如4.12.z可以只構(gòu)建變更組件但要嚴(yán)格保持鏡像tag與payload定義一致。這兩種策略的構(gòu)建腳本和驗(yàn)證方案要提前準(zhǔn)備不能在需要升級(jí)時(shí)才臨時(shí)研究。4.3 二次開發(fā)切入點(diǎn)哪些地方值得改、哪些地方別碰源碼評(píng)測(cè)的一個(gè)重要產(chǎn)出是幫企業(yè)劃出二次開發(fā)的“安全區(qū)域”和“禁區(qū)”。安全區(qū)域一準(zhǔn)入控制與SCC策略。如果企業(yè)需要增加安全審計(jì)邏輯、實(shí)現(xiàn)自定義的多租戶隔離規(guī)則可以在openshift-apiserver的準(zhǔn)入控制鏈上擴(kuò)展這個(gè)位置的代碼接口比較清晰改動(dòng)相對(duì)獨(dú)立。安全區(qū)域二自定義Controller。OpenShift本身就是一個(gè)Controller密集型的系統(tǒng)企業(yè)完全可以在工程外開發(fā)自己的Operator或Controller通過CRD和Controller-runtime庫與OpenShift集群交互不必要在主倉內(nèi)改動(dòng)。這是最常見也最穩(wěn)妥的擴(kuò)展方式。安全區(qū)域三網(wǎng)絡(luò)與存儲(chǔ)的外部插件。盡量通過標(biāo)準(zhǔn)的CNI和CSI機(jī)制接入外部方案。雖然OpenShift自帶OVN-Kubernetes但它也保留了引入第三方CNI的接口。存儲(chǔ)方面用CSI插件接入企業(yè)存儲(chǔ)陣列的實(shí)踐已經(jīng)很成熟不要在OpenShift內(nèi)部存儲(chǔ)代碼里做深度綁定。禁區(qū)一kube-apiserver核心邏輯。除非你有專門的Kubernetes上游維護(hù)團(tuán)隊(duì)否則不要輕易在上游Kubernetes代碼上做功能改動(dòng)因?yàn)楹罄m(xù)跟蹤上游版本的成本會(huì)呈幾何級(jí)數(shù)上升。禁區(qū)二openshift-controller-manager的內(nèi)部調(diào)度邏輯。OpenShift的調(diào)度控制器和資源配置邏輯與它自身的Project、Quota機(jī)制深度綁定改動(dòng)一處會(huì)牽動(dòng)多個(gè)組件不建議輕易修改。禁區(qū)三CVO的版本協(xié)調(diào)邏輯。前面已經(jīng)說過這是控制整個(gè)升級(jí)流程的核心。對(duì)它的任何改動(dòng)都會(huì)影響到集群的版本收斂能力除非公司養(yǎng)了一支專門的團(tuán)隊(duì)否則別碰。4.4 鏡像構(gòu)建與私有化交付的隱藏成本如果企業(yè)打算把OpenShift-Origin做成私有化交付產(chǎn)品鏡像構(gòu)建是不可回避的環(huán)節(jié)。源碼工程本身提供了一系列Dockerfile和構(gòu)建腳本但距離真正可交付的鏡像倉庫中間還隔著三層隱藏成本。第一層是基礎(chǔ)鏡像準(zhǔn)備。OpenShift各組件的基礎(chǔ)鏡像通常基于RedHat Enterprise Linux或者CentOS Stream構(gòu)建這些基礎(chǔ)鏡像在企業(yè)內(nèi)網(wǎng)環(huán)境下需要提前同步到私有鏡像倉庫。由于基礎(chǔ)鏡像較大網(wǎng)絡(luò)隔離環(huán)境下的首次同步成本容易被低估。第二層是多架構(gòu)鏡像支持。如果你要同時(shí)交付x86和ARM版本構(gòu)建矩陣會(huì)翻倍。源碼工程的構(gòu)建腳本對(duì)多架構(gòu)支持的自動(dòng)化程度一般很多關(guān)鍵鏡像的tags需要手動(dòng)維護(hù)這是一個(gè)典型的人肉成本點(diǎn)。第三層是安全掃描和漏洞修復(fù)閉環(huán)。源碼評(píng)測(cè)做到最后所有企業(yè)都會(huì)面對(duì)這個(gè)問題鏡像里已知漏洞怎么修上游RedHat會(huì)維護(hù)企業(yè)版的漏洞通告和修復(fù)鏡像但基于OpenShift-Origin自己構(gòu)建的鏡像安全修復(fù)的責(zé)任落在企業(yè)自己身上。這意味著你除了要維護(hù)代碼分支還要維護(hù)鏡像CVE清單和修復(fù)版本而且是長(zhǎng)期投入。我把這部分列入風(fēng)險(xiǎn)清單是想給正準(zhǔn)備做私有化交付的團(tuán)隊(duì)提個(gè)醒代碼層面看懂的難度遠(yuǎn)遠(yuǎn)小于交付層面構(gòu)建和修復(fù)的難度。5. 常見問題與排查建議速查表做源碼靜態(tài)評(píng)測(cè)的過程中我自己也踩了不少坑。下面把這些常見問題和排查建議整理成一個(gè)速查表方便你要復(fù)查時(shí)對(duì)照參考。問題現(xiàn)象可能原因排查與處理建議編譯報(bào)錯(cuò)提示缺少zz_generated.deepcopy.go修改API類型后未重新執(zhí)行make generate在修改API的目錄下執(zhí)行make generate確認(rèn)生成代碼后重新編譯跑單元測(cè)試時(shí)連接etcd失敗測(cè)試依賴嵌入式etcd本地環(huán)境未準(zhǔn)備好確認(rèn)是否安裝了etcd或使用make test-integration按項(xiàng)目預(yù)設(shè)的etcd啟動(dòng)方式vendor目錄與go.mod版本不一致混合依賴管理導(dǎo)致版本漂移先跑go mod tidy確認(rèn)模塊版本再通過hack/verify-vendor.sh腳本檢查vendor目錄一致性構(gòu)建鏡像時(shí)拉取基礎(chǔ)鏡像超時(shí)企業(yè)內(nèi)網(wǎng)沒有基礎(chǔ)鏡像緩存提前把構(gòu)建依賴的base鏡像tag列表導(dǎo)出在內(nèi)網(wǎng)鏡像倉庫建立拉取白名單openshift-apiserver啟動(dòng)后API資源無法注冊(cè)API版本沒有對(duì)應(yīng)conversion邏輯檢查api/目錄下對(duì)應(yīng)資源是否安裝了conversion表確認(rèn)版本間的字段映射scc策略導(dǎo)致應(yīng)用鏡像無法以root啟動(dòng)OpenShift默認(rèn)拒絕root容器創(chuàng)建自定義SCC并綁定ServiceAccount需確認(rèn)SCC策略優(yōu)先級(jí)是否被前面的SCC攔截OVN-Kubernetes網(wǎng)絡(luò)數(shù)據(jù)面時(shí)延偏高OVN數(shù)據(jù)庫和網(wǎng)關(guān)節(jié)點(diǎn)配置不匹配優(yōu)先檢查網(wǎng)關(guān)節(jié)點(diǎn)和OVN內(nèi)部通信鏈路確認(rèn)拓?fù)浣Y(jié)構(gòu)再考慮代碼修改這個(gè)表不是萬能鑰匙但能覆蓋大部分靜態(tài)評(píng)測(cè)和初始運(yùn)行時(shí)遇到的問題。建議團(tuán)隊(duì)工作的第一周打印一份貼在最顯眼的位置。再補(bǔ)充一個(gè)很多人不知道的技巧排查OpenShift-Origin的控制器異常時(shí)可以優(yōu)先看operator對(duì)應(yīng)的status.conditions里的reason字段。源碼里這個(gè)字段的賦值邏輯很嚴(yán)謹(jǐn)從reason描述基本能直接定位到具體模塊和代碼行這是我用下來效率最高的診斷方式。6. 我最后的經(jīng)驗(yàn)和建議OpenShift-Origin源碼靜態(tài)工程評(píng)測(cè)做到這里我的整體結(jié)論用一個(gè)詞概括是“厚重”。它比社區(qū)版Kubernetes功能更完整、安全模型更嚴(yán)苛、自動(dòng)化程度更高但也注定比原生K8s更復(fù)雜、更吃資源、更依賴長(zhǎng)期維護(hù)能力。企業(yè)選擇它作為Kubernetes發(fā)行版底座本質(zhì)上是在用一部分靈活性和控制權(quán)換取開箱即用的企業(yè)特性與跨組件集成能力。在啟動(dòng)前給自己三天時(shí)間靜態(tài)走讀源碼是真的值得的。你不需要把36669個(gè)文件全看一遍重點(diǎn)是看清楚幾個(gè)關(guān)鍵目錄api/、pkg/cmd、hack/、cluster-version-operator以及cluster-network-operator。這些區(qū)域看透了你對(duì)OpenShift-Origin的架構(gòu)理解和駕馭能力會(huì)完全不一樣。最后分享一個(gè)我反復(fù)強(qiáng)調(diào)的原則源碼評(píng)測(cè)不是一次性工作發(fā)行版的每一次版本升級(jí)都會(huì)帶來代碼層面的變化。我建議在每次大版本升級(jí)前都把這篇評(píng)測(cè)里的核心維度快速跑一遍用最少的成本確認(rèn)工程質(zhì)量沒有退化。畢竟對(duì)企業(yè)的容器云底座來說避免踩坑的最好方式就是在還不知道坑長(zhǎng)什么樣的時(shí)候先把地圖看明白。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九热99视频| 丁香五月婷婷六月婷| 色99网| 综合亚洲六月婷婷在线| 久热爱大香蕉在线蜜臀悦色| 日本精品人妻无码77777| 五月婷婷啪啪| 永久AⅤ1| 色婷丨日丨天丨综合久久| www狠狠爱com| 夜色热久| 1024亚洲无码| 国产看真人毛片爱做A片| 五月天天天天天天天天天天天婷婷婷| 色五月婷婷天天操夜夜操| 成人午夜免费电影| 丁香九月综合在线| 超碰国产一区| 久久精彩视频99| 九九re精品视频在线观看| 婷婷五月激情欧美大胆视频| 中文字幕日韩无码制服诱或| 色色色精品无码区| 久久久久久天天日天天爱| 人人干女人| 婷婷9月天| 欧美日韩成人在线| 五月丁香影视| 欧美精品中文字幕亚洲专区| 免费精品99| 第四色五月激情网| 激情视频网址| 99热免费精品热久久66| 久久五月视频| 日韩抽插操逼| 激情操逼婷婷| 免费看欧美成人A片无码| 久久狼人天堂| 激情综合五月婷婷| 亚洲色图五月丁香| 色五月丁香激情视频| 99热销国产这里有精品| 99热亚洲| 六月丁香啪| 五月天色综合| 天天做天天爱天天日| 综合网色| 涩涩五月天综合| 激情久久五月天| 久久婷婷人人| 色情五月丁香| 欧美婷婷五月无砖| 日日插日日干| 丁香五月六月综合激情| 色综合色色| www.五月婷婷.com| 午夜不卡成人一区二区| 国产婷婷五月中文字幕高清| 开心五月综合| 女人被男人吃奶到高潮| 五月天婷婷色| 天天操天天日天天爱| www.五月天婷婷| 久久99久久99精品免观看粉嫩| 视频一二区| 色色国产| 五月婷在线| 丁香五月婷婷啪啪| 丁香五月婷婷久久久| 五月天另类小说久久小说网| 色噜噜狠狠色综合网| 大香蕉久热| 婷婷丁香色情| 狠狠搞综合色| 色久丁香五| 狠狠色五月| 丁香六月色香蕉视频| 婷婷丁五月| 婷婷第六色| 99超级碰碰| 丁香五月激情视频| 婷婷六月丁香五月| 91超碰人人操| 六月丁香AV| 日韩AV成人电影| 91久久精品视频| 超色欲天天| enecarbon-materials.com污K127封锁请涟系@wip1688 | 天天干夜晚夜操| 婷婷社区五月天| 91欧美| 99国产精品久久久久久久久久久| 日韩成人影片在线观看| 婷婷五月丁香综合激情| 婷婷涩涩五月天| 久久激情视频| 久久久精品99| 欧美成人日韩| 色99亚洲| 五月激情天| 婷婷五月天视频免费在线观看| 99久在线观看| 99精品偷自拍| 五月激情丁香五月| 九九这里都是精品| 色婷婷六月天| 色五月婷婷青娱乐| 五月丁香AV、伊人业余、性色熟妇| AAA亚洲AV| 五月人妻婷婷视频| 99无码| 色婷小说| 久一这里有精品国产| 色五月天网| 人橾人| 天天狠狠色噜噜| 开心五月婷婷激情网| 狠狠搞五月天| 十一月婷婷激情四射| 五月婷婷香| 97精品人人A片免费看| 色播播婷婷| 婷婷丁香69精华| 激情5月天天天| 变态另类9| 亚洲精品国产A久久久久久| 久久九九re热| 婷婷丁香人妻久久在线观看| 五月婷婷丁香六月| 97色色综合| 99热www.| 9一精品视频观看| 蜜桃婷婷狠狠久久| 丁香五月婷婷香| 色色色综合网| 激情啪啪五月天| 色欲Av五月天| 九九综合九九| 午夜九九九九九九九九九九九九九| VA婷婷| 日本婷婷色日| 99激情| 久久久久9久无码视频| 九九碰九九爱97超碰| 日木WWW视频| 色就是色婷婷五月亚洲激情| 五月激情六月丁香| 天天综合激情| 精品一二三区久久AAA片| 99热播放| 成年人丁香五月| 久9精品| 丁香亚洲婷婷五月| 99久久欧美| peg 2区三区四区的| 五月精品| 91九色精品女同系列| 岛国AV网| 婷婷欧美激情| 亚洲综合99| 99re青青草| 成人色色视频| 国产a视频| 五月天停停成人网| 色婷婷玖玖影院| 婷婷五月丁香网| 色图亚洲91| 襙逼网| 久久精品一区二区三区四区| 亚洲人成人五月天| 久久婷婷夜| 99视频这里有精品| 日韩久热| 成人综合网站| 自拍盗摄 另类| 51精品国内探花| VA婷婷亚洲| 国产精产国品一二三在观看| 五月婷婷人妻| 91九色中文字幕女在线观看| 激情五月婷婷五月| 亚洲精品性色| 五月天婷婷社区久久综合| 激情六月天婷婷| 综合精品啪啪| 狠狠色综合网| 五月丁香六月成人| 亚洲色啪| 国产毛片操B| 日日插日日干| 三级黄网站| 婷婷五月天久久久| 激情丁香五月天图片| 888久久久| 97资源欧美日韩大香蕉超碰一区| 婷婷五六月丁香| 欧美三级视频| 六月丁香啪啪啪| www.激情五月天.com| 国产亚洲色婷婷久久99精品91| 狠狠色婷婷丁香六月| 五月停亭久久电影| 日韩aaaaa| 激情婷婷狠狠干| 婷婷基地成人五月天| 天天爱天天秀天天做| 秋霞性爱AV| 伊人无码高清| 激情久久久久| 婷婷伊人五月天| 综合久久9| 99在线精品免费视频| 99免费热在线精品| 思思99久久| 午夜少妇在线观看视频| 久久狠狠干| 色五月婷婷五月丁香五月激情五月视频 | 久久婷婷网| 中文字幕人妻熟女在线| 超碰在线观看9| 婷婷六月天精品| 9色免费网| 色色色色网站| 991国产精选视频在线播放下载| 久色视频首页| 日本一道久久| 久久大香蕉视频| 色婷婷99| 亚洲婷婷五月天| 欧美色色色色色| 欧美狠狠一在草| 91久草五月天婷婷| 99热综合在线观看| 成人综合网站| 色婷婷基地| 人人色婷婷| 人人人人人人人人人草| 伊人春天av| 五月婷婷偷拍| 欧美色99| 丁香五月影视| 久久99精品久久久久子伦| 六月婷综合| 五月天播播| www,超碰| 狠狠干五月天| 五月婷婷在线免费| 五月五婷婷| 天天干-天天日| 日韩无码专区| 亚洲天堂99| 丁香五月婷婷亚洲色图| 先锋资源婷婷| 99资源在线视频| 国产AV成人精品| 思思久久99热只有频精品66| 天天射影院| 国产在线黄色| 97精品综合久久| 99热这里只有精品9| 五月丁香婷婷中文网| 思思视频这里是精品| 国产日比| 欧洲亚洲免费视频区| 色999;丁香五月| 激情99| 欧美色碰| 91久久九久久九久久九久久九久久 | 26uuu在线观看| 69色色视频| 99亚洲大片精品永久在线观看| 五月天婷婷色五月天| 色情五月丁香| 精品国产va久| 少妇人妻综合色6699| 能直接看的AV网站| 亚洲操操操| 婷婷十月激情综合网| 五月丁香色色综合| 热成人网| 日韩欧美成人片| 99re在线视频| 五月天开心网| 99视频综合| 欧洲综合一区| 99精品国产在热久久婷婷| 97干在线免费| 色情五月丁香| 99在线视频精品| 另类小说五月天综合网| 色婷婷丁香五月在线观看| 丁香六月色婷婷| 蜜乳国产网站| 亚洲激情AV| 五月色亚洲| 狠狠色婷婷7777久| 欧美日本国产| 91九色|疯狂|高潮|对白|| 丁香花色色网| 色狠狠综合网| 极品另类| 五月婷婷爽爽爽| 久久丁香网| www.五月天色色色| 五月六月丁香婷婷在线观看| 五月丁香婷婷潮喷中文字幕| 久久婷婷综合五月天| 欧美肉大捧一进一出免费视频| AA片在线观看视频在线播放| 天天干天天操天天射| AV网站免费在线| 丁香香五月激情免费视频| 丁香五月在线视频黑人| 丁香六月婷婷综合| 丁香婷婷五月天成人| 91九色熟女| 久久这里在精品视频| 五月 婷婷 成人| 日韩色五月| 五月婷婷深深爱| 97操资源婷婷| 丁香六月狠狠| www.9797国产| 亞洲自怕| 少妇久久诱惑视频| 婷婷激情四射| 成人AV中文字幕| 五月婷婷开心色伊人| 五月天狠狠网| 天堂在线观看视频| 六月欧美综合色情| 99热综合色图| 六月丁香成人| 丁香五月婷婷精品视频| 国产亚洲成AV人片在线观黄桃| 激情宗合 激情宗合| 六月丁香啪啪啪| 99五丁香月| 轮奸综合网| 五月婷婷啪啪综合网| 裸体做A爰片毛片A片免费| 东京热免费视频网站| 玖玖资源部在线播放| 99热成人精品网站| 九九综合五月欧美| 99热99热| 超pen个人视频97| 婷婷五月天黄色| 996日日爱| 国产肥白大熟妇BBBB视频| 久久激情五月婷婷| 思思久久精品| 99视频| 成人看片网站| 久碰视频| 色色色激情| 91凹凸在线| 成人片在线免费看| 色色亚洲视频| WWW·色色色·COM| 日韩在线观看亚洲| 91色在线| 免费婷婷| 女婷久久| 久久婷五月| 久草婷婷| 99色网站| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 欧美日本不卡黄色片| 五月丁香999| www.超碰在线| 国产99视频永久免费| 久久精品99国产精品日本| 99r这里只有精品哦| 五月丁香综合在线| 六月婷婷狠狠| 免费一区二区三区| 99热手机在线精品| 一本色道久久88加勒比—| 99色精品| 久久狠狠干| 五月婷网| 久月丁香爱婷婷综合| 狠狠色婷婷777| 九九激情网| 婷婷激情小说| 五月丁香色五月| 中文字幕丰满孑伦无码专区| 激情五月天伊人影院| 丁香五月婷婷激情蜜桃| 99精品丰满| 婷婷五月激情在线视频| 99er热精品视频| 国产日韩欧美性爱| 精a品a视a频| 开心激情站| 99高级会所久久| 九九九激情网| 久久婷婷人人| 这里只有精品,日韩视频| 丰满少妇猛烈A片免费看观看| 天天干天天干天天干天天干天天| 日本欧美999久久久三级片| 六月婷婷开心| 96人人操人人操人人| 色五月综合激情网| 一级二级色大片| www.粉嫩av.com| 98国产精品综合一区二区三区 | 色狠狠色噜噜AV天堂五区| 五月丁香久久综合精品| 免费看成人747474九号视频在线观看| 天天噜噜| 成人开心五月天| 婷婷色情网| www.9操| 五月婷婷啪啪| 26UUU精品一区二区c〇m| 五月婷婷九九热| 99精在线| 夜夜骑夜夜操| 丁香五月另类小说在线阅读| 91日韩美女被插视频| 91久久久久久| 超碰在线观看9| 色噜噜,噜噜色| 久久丁香九| 久久怕怕视频| 99re这里只有| 九九久久综合网站| 丁香五月情色| 另类专区在线| 金品在线视频99| 五月综合激情| 超碰在线成人| 丁香婷婷九月| 天天爽天天摸人妻综合网| AV在线资源| 丁香婷婷五月天成人| av九九| 狠狠狠狠狠狠狠狠| 玖玖精品资源| 操操操www.com| 1024操逼视频| 色原狠狠综合| 九九九干精品| 五月天婷婷色色| 97资源碰碰| 丁香五月亚综合图片| 亚洲精品操一操、噜一噜、摸一摸、爽 | 久久婷婷五月综合伊人| 九九九九九无码| 中文字幕av亚洲| 久久大大香| 综合激情婷婷| 99久久9| 99免费视频| 九九机热| 欧美成人网婷婷综合在线| 五月婷色色| 99视频在线啪| 五月情涩综合婷婷| 久热久re| 五月婷婷黄色毛片| 丁香五月色激情| 5月丁香综合图区| 婷婷激情五月综合| 日韩精品AV一区二区三区| 激情综合网五月婷婷| 啪啪激情综合| 亚洲激情AV| 久久视频婷婷视频| 色综合激情| 狠狠色五月天| 91久久综合亚洲鲁鲁五月天| 影音先锋天天日| 色五月成人| 天天爽天天干| 亚洲成人av在线| 五月天色综合| 婷婷五月激情丁香| 狠狠五月天| 可以看的av| 日本片日本片祼观看网站在线看中文版网页在线看 | 极品少妇高潮啪啪AV无码| 思思热在线观看| 欧美精品18| 开心五月婷婷| 欧美一级a| 五月丁香另类网| av人人操| 九九综合伊人| 第二色AⅤ| 三级成人网站| 综合色播| 天天天干夜夜夜操| 老师的粉嫩小又紧水又多A片视频| 亚洲精品久久久久AV无码| 久久AAAA片一区二区| 激情五月婷婷综合秋霞| 婷婷久久婷婷色五月| 五月丁香成年黄色| 久久久久久久丁香五月天婷婷| 操操操www.com| 亚洲五月六丁香激情| 激情五月天网页| 99久久九九| 婷婷六月天| 激情啪啪五月| 久久怡红院| 九九色婷| 五月丁香六月成人| tingtingzonghewang| 久狠日av| 亚洲成人AV在线播放| 开心五月激情网| 91 影音先锋| 精品久久艹| 国产亚洲精品久久一区二区三区| 69精品人人人人| 久久久久97| 久久精品五月| 视频一区二区在线| 成人在线网| 狠狠干激情五月| 操一操干一干| 最新高清无码专区| 激情综合99| 午夜性爱影视一区77| 天天干狠狠| 久久只有18视频| 婷婷五月天A V| 婷婷成人av| BT综合在线视频观看| 五月丁香网站在线播放| 久久六月天| 99精品在线| 五月丁香色色色| 五月婷网| 亚洲激情五月| 中文字幕视频色婷婷| 九九色欲网| 二人电影免费版在线观看| 超碰资源在线| 久久五月热| 色六月天天激情综合网| 色婷婷AV在线| 99caobi| 成人小说 五月天 婷婷| 九九色逼| 国产激情在线观看| 六月丁香激情网| 96精品成人无码A片观看金桔| 超级碰碰碰97免费| 五月丁香六月婷婷操操操| 99精品视频在线观看| 色噜噜狠狠色综合成人网| 九九热精品视频九九| 色色色网站| 丁香六月婷婷综合欧美| 日本色爽| 国内久久亭亭| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 五月丁香色情| 久久久jd| 九九热视频这里只有精品| 91肏肏肏| 99re这里有精品手机在线| 99视频内射三四| 久久五月视频| 99亚州综合精品成人网| 四色永久成人网站| 九九色精品| 丁香六月激情四射| 色九月婷婷丁香| 五月丁香久久呀| 五月天婷婷视频小说| 久久久亚洲成人无码A片| 很操日本7| 欧美日本日韩| 久久在这里有精品| 4438亚洲欧美| 思思久热6| 波多野结衣不卡AV| 丁香婷婷激情网站| 月丁香久久久| AV在线观看网站| 亚洲、欧美、国产另类笫二区| 婷婷综合成人| 日本三级韩三级99久久| 五月丁香婷婷啪啪| 26uuu国产精品| 91中文狠狠综合| 久久精彩视频99| 久久精品熟女亚洲AV麻豆| 五月天婷婷黄色| 9 1大香蕉| 超碰不卡在线| 国产伦理精品高清在线观看网站一区二区 | 丁香婷婷免费| 淫视馆av三区| 色婷婷五月天| 婷婷成人网五月天| 亚洲激情四射色| 久久久久久五月天| 丁香婷婷色情| 中文av网| 婷婷激情五月天在线| 成人AV综合在线| 六月丁香婷婷综合狠狠爱夜夜爱| 久久精彩免费视频精彩免费视频| 三年高清大片免费观看国语| www.激情| 天天操夜夜夜夜爽| 91VIP在线观看| 色婷婷五月天小说网| 中文字幕+中文在线| A久久| 婷婷激情伍月网| 国产黄色在线观看| 亚洲综合另类| 涩涩涩婷婷| 国产4P视频精品五区| 五月亭亭六月天| 欧美婷婷五月天综合| 夜夜爱影院| 被男人添B超爽视频| 激情综合色播| 丁香午月AV中文字幕| 欧美成人精品三区综合A片| 五月天六月婷婷| 性色欲情 网站| 91人妻人人操| 玖玖资源在线视频| 丁香六月婷婷色XXXXX| 二色av| 亚洲日韩操B| 亚洲综合成人网| 五月丁香六月激情综合在线| 久久婷婷影院| 免费V片在线| 丁香五月影院| 丁香五月性| 丁香六月婷婷激情| 色狠狠伊人久久五月丁香| 99热高清在线| 九九婷婷激情综合网| 激情四射五月天| 六月丁香社区| 免费的日逼视频| 香蕉网久久| 六月婷婷综合网2| 婷婷丁香色五月| 99热在线这里| 丁香五月婷婷天| 天天操天天日天天爱| 五月婷婷性爱视频| 亚洲乱码日产精品BD| 婷香五月| 综合性爱网| 丁香五月天激情综合网| 久热这里这里有精品| 激情综合在线观看| 99丁香五月婷婷在线| 大香蕉久久青青| 五月花婷婷| 色五月激情网| 影音先锋一区| 欧美日韩成人一区二区| 开心婷婷丁香五月| 女人天堂 AV| 成人婷婷五月| 91精品婷婷国产综合久久| 婷婷色片| 色五月婷婷激情基地| 日本三级99人妇网站| 狠狠精品干练久久久无码中文字幕| 99免费热视频在线| 五月久久婷婷天堂视频| www.婷婷六月天| 蜜乳中文字| 激情综合网激情五月网| 婷婷丁香五月天在线视频| 色综合网上班开心婷婷久久| 中文激情网| 丁香五月综合| 26UUU| 五月婷婷丁香深深爱| 久久国产精品乱子伦_靑青草…| 久久网站免费亚洲| 九九热10| 热久久国产视频| 丁香婷婷综合激情五月色| 第四色婷婷五月| 久久五月婷婷开心网| 婷婷丁香五月综合激情小说| AAAA网站| 色婷婷免费视频| 久婷婷婷| 99久久久久| 国产精品99久久久久久久女警| 影音先锋女人AA鲁色资源| 少妇AB又爽又紧无码网站| 成人国产欧美大片一区| 久久丁香综合精品综合| 色综合偷拍| 人妻九九九九| 亚洲综合新99视频| 青青草视频福利| www.av骚货| 中文字幕 中文字幕明步| 伊人玖玖网| 成人精品在线| 免费视频在线观看的网站| 粉嫩AV久久一区二区三区| 亚洲字幕AV一区二区三区四区| 日韩在线看AV| 日韩啪图| 婷婷激情中文综合| 爱婷婷久久视频| 人人播| 欧美日韩成人| 无码成人播放器| 美腿丝袜AV天堂网| 日韩无码专区| 开心五月丁香啪| 色99在线观看| 色五月综合| 色综久久久| 日韩高清成人| 五月天婷婷开心| 丁香激情网| 成人视频网| 色色婷婷婷丁香五月天| 婷婷月五天在线在线看| 激情五月天激情综合网| 五月天啪啪| 五月天成人综合| 久久婷婷六月综合综合| 丁香五月婷婷少妇| 天天色天天日天天舔| 五月丁香激情综合| 超碰高清在线| 亚州视频九九99| 欧美色婷婷| 超碰99成人在线| www.丁香五月| 色丁香五月| 中文字幕丰满孑伦无码专区| 国产成人高清| 亚洲性色XXXXX| 国产激情久久久| 在线sebiav精品视频| 久久婷婷丁香五月一二三| 婷婷五月天国产在线播放| 五月丁香成人网| 国产日韩av片| VfJxEwPH| 在线中文AV| 日韩色色网| 超碰人人干| 香蕉久日夜| 亚洲第一色网站| 亚洲AV网站在线观看| 人人艹艹艹| 日韩婷婷| 99男人的天堂| 极品嫩草| 中文国产五月天| 中字幕视频在线永久在线观看免费| 久久久久亚洲AV成人无码电影| AⅤ色区| 九九aV| 色~性~乱~伦~噜| 天天干天天拍| 久久久九九九 99| 噜噜噜精品欧美成人在线观看| 五月天开心网| 丁香六月AV| 久热九九| 日韩999| 婷婷99中文字幕| 五月天婷婷久草丁香| 亚洲激情精品| 免费超碰在线| 热久久99热欧美国产亚洲| 九九操屄| 色亚洲婷婷| 亚洲中文字幕在线观看| 国产夫妻操逼内射视频| 天天做天天爱天天高潮| 激情深爱综合| 99re在线观看| 色亚洲视频| 九九热视频精品| 久久婷五月| 五月丁香亚洲综合| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 人人草人人舔| 69堂午夜视频最新地址| 亚洲操b| 色九九综合| 天天操天天操天天操天天操天天操| 天堂综合久| 亚洲婷婷五月天| 欧美伊人9| 婷婷五月天亚洲综合| 91九色小视频| 99re热在线视频| 色婷五月天| 九九99精品视频在线观看| 99久久99久久综合| 99自拍视频在线| 丁香六月婷婷综合麻豆| 日韩AV免费看| 久久婷婷五月免费视频| 丁香五月天大香蕉啪啪| 色综合久久88色综合天天99| 色婷婷色情| 久久婷婷综合五月天| 丁香五月另类小说在线阅读| 久久丁香综合香蕉| 亚洲色综合性| AV在线中文| 另类少妇人与禽zOZZ0性伦| 思思热性操| 在线综合91| 91久久久久久久久| 丁香五月AV在线| 九九精品9| 色天五月天在线观看视频| 婷婷精品在线| 成人亚洲精品久久久久| 婷婷五月丁香在线视频| 99热9999| 激情五月丁香五月色| 色综合色色| 婷婷和五月天| 大香焦啪啪啪| 五月伊人网| 精品网站99| 任你搞在线观看视频| 超碰在线看| 五月婷婷狠狠干| 亚洲av成人电影在线观看| 久99| 亚洲最大五月六月丁香婷婷| 激情九月综合| 五月婷婷很很色| 色婷婷大香蕉| 丁香五月网在线观看| 中文字幕无码成人电影| 五月激情综合网| 99热这里只有精品免费观看| 狠狠色丁香久久久婷| 97干资源在线观看| 丁香婷婷啪啪| 五月天激情综合| 五月激情偷拍婷婷| 久久久宗合| 亚洲AV成人在线观看| 色五月婷婷影院| 日日噜噜夜夜狠狠久久丁香六月| 热久久99视频| 综激情网| 国产探花一片区| 久久综合五月| 亚洲综合五月| 丁香五月婷婷色| 五月天六月丁香| 丁香久久综合| 九月婷婷在线观看| 日日操天天操| 婷婷中文在线| 激情文学五月丁香六月婷婷| 综合狠狠干| 久久综合激情| 婷婷五月精品中文字幕| 激情婷婷五月天丁香| 嫩草AV久久伊人妇女超级A| 久热伊人| 色爽九九| 99热精品无码| 一本伊人色婷| 丁香六月婷婷高清| 亚洲激情综合网| 97婷婷在线| 北条麻妃九九九国产精品视频| 亚洲性爱电影| www.97碰碰com| 久久久噜噜噜久久人妻| 天天操夜夜爽歪歪| 婷婷丁香五月噜噜噜| 欧美婷婷六月丁香综合色连续高潮抽搐| 欧美日韩国产伦精品日韩人妻一| 91色色色视频| 狠狠爱丁香婷| 国内自拍97在线| 成人五月丁香花| 丁香五月大香蕉在线99| 国产日产亚洲系列最新| 中文字幕日产A片在线看| 99久久99九九99九九九| 色情五月综合婷婷| 91精品久久久久久| 日本三级日本三级99| 996热re视频精品视频| 激情无码网| 九九热精品视频在线观看| 五月婷婷视频ab| 色综合网综合| 九九精品视频在线观看| 99热无码| 久久色情综合免费网站| 17.c黄色| 日本狠狠网| 五月激情婷婷国产精品久久久久久| 色五月婷婷久久大| 无码色色| 久久久久久久人妻| 日韩av在线电影| 婷婷午夜天| 丁香五月影院| 成人αV视频免费观看| 99在线精品免费视频| 五月丁香婷婷钟和色图| 91n啪啪| 影音先锋91资源站| 香蕉国产2013| 色综合天堂| 深情六月婷婷综合久久| 色婷婷六月精品| 思思久久99热只有频精品66| 九九激情| 99热9999| 婷婷99| 国产97在线日韩亚洲女人被黑人巨大| 热久久婷婷| 五月丁香亭亭操逼| sewuyue第四色| 丁香五月色欲| 婷婷在线综合| 亚洲精品色| 五月天婷婷激情六月久久| jiujiuxiangjiaowang| 色娸娸综合网| 操笔无码| 人人爽欧美婷婷久久久五月丁香| 欧美日韩成人在线网| 精品久久99码| 九九综合影音先锋| 2015超碰| 久久在线视频只有这里有精品| 九九九成人在线视频| 五月天婷婷乱论小说| 无码任你操| yirenjiqingshiping| 色九月婷婷综合| 色999五月色| 亚洲天天综合| 激情五月综合网| 九九精品大香蕉| 日韩999| 天天干com| 超碰人妻在线| 99久久天堂婷婷| www久久久| 特级片神马电影| 中文av网| 人人操婷婷| 亚洲午夜精品久久久久久人妖| 99热这里只有精品 搜| 99日本精品视频热| 五月婷婷先锋| 五月丁香怕啪啪| 丁香五月在线播放| 天天爽夜夜操| 色婷婷五月综合在线| 久香草视频在线观看| 久久性视频| 丁香五月婷婷激情中文| 看婷婷五月天网| 久久久精品人妻| 欧美日韩成卜| 日日干五月天婷婷| 最新丁香六月婷婷| 被强行糟蹋的女人A片| 激情五月天综合网| 狠狠狠激情网| www.狠狠| 综合另类视频| 可以看的av网站| 另类五月激情| 天天五月香欧美| 99黄色性生活| 99久久精品国产色欲| 色色色国产| 无码AV免费精品一区二区三区 | 91在线视频综合| 区区欧美你爱| 丁香狠狠干| 欧美成人热| 中文av网| 久久激情视频99| 狠狠爱激情网| 国产免费av在线| 99精品视频网站| 91大操| 99re6热在线精品视频播放速度| 婷婷丁香五月婷婷| 91碰九色| 99热这里只有精品2| 日本黄色一级| 婷婷五月AA五月在线| 婷婷五月天久久| 日韩久久视频| 久久精典| www.91九色| 99国产精品久久久久久久久久久| 丁香婷婷综合色五月激情国产基地| 久久婷婷五月综合色播| 国产肥白大熟妇BBBB视频| 欧美色播综合在线观看| 久久婷综合| 2014天天爽| 婷婷五月天成人网| 中文字幕 码精品视频网站| 日韩999| 九色视频91疯狂| 激情久久综合| 中文字幕在线播放视频| 色婷网| 日日日日做夜夜夜夜无码| 丁香五月欧美| 亚洲精99| 色色国产| xxx综合在线| 色欧美一级| 天天日天天干天天插天天射| 久久五月婷综合| 六月丁香婷婷综合在线| 99在线视频女女视频| 丁香综合婷婷五月天| 亚洲123区高清入口| 久久九九免费视频| 六月色激情| 超碰成人电影| 最新日本A片| 婷婷五月丁香青青草在线| 色久激情在线| 97碰在线免费观看| 狠狠干综合| 亚洲99在线| 成人在线高清| 中文字幕 码精品视频网站| 人妻狠狠操| 五月天激情网站| 丁香六月亚洲综合 | 色99热| 亚洲免费看片| 色婷婷丁香五月色综合网| 99婷婷五月天激情| 色婷婷六月| 婷婷五月丁香久久| 大香av| 香蕉AV777XXX色综合一区| 五月婷色激情五月| 婷久久| 99综合视频| 久久人妻伦理| 九九99久久| 久久免费高| 97碰碰人人| 人人天堂操| 五月天社区婷婷丁香社区| www.婷婷五月| 无码操B| 天天做天天爱天天爽夜夜揉| 久久五月婷天天干| 日韩啪啪网| 日本性激情色播| 日本色图综合| 无码99| 精品人妻一区| 激情网五夜婷婷| 久久九九经典| 国产真人做爰视频免费| 五月婷婷六月色| 婷婷丁香午夜综合影视| 国产免费av网站| 五月婷婷激情网| 狠狠综合网| 亚洲一色色色色色色色色| 伊人热婷婷| 九九热精品视频在线观看| 激情五月丁香六月| 六月婷婷六月天天在线免费| 国产4P视频精品五区| 九月婷婷在线视频| 99精品在这里| 久久精品这里只有精品免费首页| 丁香五月亚洲无码| 网色99| 99热观看| 夜夜骑夜夜撸| 久草狼人| 精品成人a v无码内射| 五月婷婷六月丁香免费| 91久久精品无码一区二区三区| 伊人香大香蕉视频| 五月丁香影院| 五月婷在线观看| 久久玖玖综合| www.亭亭五月天| 国产精品五月丁香| 亚洲综合久| 久人操| 婷婷五月丁香色播| 激情五月丁香五月综合| 99热这里都是精品| 久久久久人妻精品| 激情综合六月| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 久久99网| 色色激情五月| 99九九玖玖| 人妻内射视频| 色色色.COM| 婷婷王月天影院| 婷婷开心综合人妻小说网址| 婷婷五月天色播| 无码九九九九| 超碰人人插| 丁香婷婷久久| 精品乱码久久久久| 91超碰在线观看| 婷婷五月婷婷| 深爱激情网综合| 国产成人99久久亚洲综合精品| 5月婷婷六月丁香| 综合色天天| A A色色| 丁香婷婷啪啪啪| 3p日韩网站视频| 亭亭五月激情亚洲在线| 激情五月天色爱| 五月丁香色狠狠干大屄| 五月丁香基地| 99视频在线精品免费观看2| 中文字幕色色色| 丁香五月第四色88| www开心激情网| 人妻操在线看| 日韩欧美一区二区三区四区| 涩涩五月天综合| 婷婷免费成人视频| 婷婷五月激情丁香激情| 激情婷婷丁香色五月综合| 久久五月婷综合网| 99在线看片| 婷婷色网站| 色婷婷成人| 五月婷六月| 大香蕉av在线| 99热在线播放| 北条麻妃九九九国产精品视频| 99在线看片| 亚洲五月婷| 激情婷婷五月在线合集| 久热免费| 色五月开心五月激情五月| 日韩美女羞羞网站在线观看| 天天日天天狠狠操| 婷婷五月天色综合翘| 丁香激情四射| 激情综合五月色丁香婷婷 | 天天色天天日天天舔| 国产伦亲子伦亲子视频观看| 婷婷五月激情综合| 五月丁香成人| 亚洲乱啪| 99热成人在线| 五月丁香婷婷欧美色图视频五月丁香777电影 | 播五月开心婷婷欧美综合| 国产av第一专区| 五月婷婷欲色| 99精品视频在线观看| 深爱婷婷基地| 五月婷婷六月丁香在线| 五月丁香啪综合| 综合成人小说婷婷| 久久码久久无清| 色色婷| 五月综合激情久久| 激情久久丁香| 91超碰在线观看| 99色区| 蜜桃五月天| 婷婷色在线观看| 91se精品国产| 99玖玖免费视频| 激情婷婷丁香色情五月天| 日本天天色| 国产 码在线成人网站| 97操男人的天堂| 久久婷婷五月综合啪| 五月天婷婷爱丁香中文字幕| 九九热最新视频| 无码少妇高潮喷水A片免费| 另类亚洲视频| 婷婷丁香久久五月综合| 色婷婷激情| 国产毛片精品一区二区色欲黄A片| 五月丁香888| 乱抡小BB| 亚洲成人一区| 九九热内射| 噜噜色五月| 激情噜噜噜| 国产精品国产成人国产三级| 日韩无码人妻一区二区| 色综合色欲综合天天免费| 久久婷婷网站| 偷拍九九热| 婷婷激情丁香五月天综合| 婷婷五月在线观看| 日韩黄在免| www.婷婷| 天堂综合久| 伊人喵咪a V| 怕怕視頻| 亚州操操| 99精品九九| 五月婷婷黄色视频| 夜夜躁婷婷AV| 99五丁香月| 国产热精品| 亚洲天天操| 五月婷狠狠| 五月综合激情图片| 婷婷五月天色色| 伊人网碰碰| 性色五月天| 99ri国产精品| 狠狠五月天激情| 国产精品美女久久久久AV超清| 九热视频在线精品15| 夜夜躁爽日| 中文字幕丰满孑伦无码专区| 丁香五月情色| 色婷婷综合久久久久| 超碰三级片| av人人干| WWW、日本色丁香、co m| 五月婷久久在线| 99ER热精品视频| 色情五月天首页| 天天操综合网| 五月丁香六月激情综合网| 丁香啪啪| 色婷婷偷拍| 夜夜操狠狠操| 久久狠婷婷| 六月丁香激情| 丁香婷婷性久久| 五月花婷婷|