欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

K8S中NFS動(dòng)態(tài)存儲(chǔ)供給實(shí)戰(zhàn):從部署到生產(chǎn)避坑

K8S中NFS動(dòng)態(tài)存儲(chǔ)供給實(shí)戰(zhàn):從部署到生產(chǎn)避坑 1. 為什么要在K8S里折騰NFS動(dòng)態(tài)供給很多團(tuán)隊(duì)在K8S里跑有狀態(tài)服務(wù)時(shí)第一個(gè)繞不開(kāi)的問(wèn)題就是存儲(chǔ)。容器本身是無(wú)狀態(tài)的Pod一重啟寫在容器里的數(shù)據(jù)就沒(méi)了。早期大家最常用的辦法是hostPath或者emptyDir簡(jiǎn)單粗暴但問(wèn)題也很明顯Pod漂移到別的節(jié)點(diǎn)數(shù)據(jù)就找不到了多個(gè)副本想共享同一份數(shù)據(jù)更是無(wú)從談起。再往后一點(diǎn)有人開(kāi)始用PVPersistentVolume加PVCPersistentVolumeClaim的靜態(tài)綁定方式。管理員提前創(chuàng)建好一堆PV用戶寫PVC去申請(qǐng)。這個(gè)方案在小規(guī)模場(chǎng)景下能用但一旦集群里跑了幾十個(gè)需要存儲(chǔ)的服務(wù)管理員就得手動(dòng)創(chuàng)建幾十個(gè)PV還得盯著哪個(gè)被用了、哪個(gè)空著維護(hù)成本高得離譜。更麻煩的是用戶提交PVC時(shí)如果容量、訪問(wèn)模式跟現(xiàn)有PV對(duì)不上PVC就會(huì)一直卡在Pending狀態(tài)排查起來(lái)也費(fèi)勁。NFS動(dòng)態(tài)供給就是為了解決這個(gè)痛點(diǎn)出現(xiàn)的。它的核心思路是集群里部署一個(gè)Provisioner供給器用戶只需要提交PVCProvisioner會(huì)自動(dòng)在NFS服務(wù)器上創(chuàng)建對(duì)應(yīng)的目錄并生成匹配的PV然后自動(dòng)跟PVC綁定。整個(gè)過(guò)程不需要管理員介入PVC提交后幾秒鐘就能變成Bound狀態(tài)Pod直接掛載使用。這套方案特別適合以下幾類場(chǎng)景中小規(guī)模集群里跑有狀態(tài)應(yīng)用比如數(shù)據(jù)庫(kù)、日志收集、文件共享服務(wù)團(tuán)隊(duì)內(nèi)部測(cè)試環(huán)境需要快速給不同項(xiàng)目分配獨(dú)立存儲(chǔ)空間以及那些對(duì)存儲(chǔ)性能要求不是極致、但需要數(shù)據(jù)持久化和多副本共享的場(chǎng)景。NFS本身是網(wǎng)絡(luò)文件系統(tǒng)天然支持多節(jié)點(diǎn)同時(shí)掛載讀寫權(quán)限控制也相對(duì)成熟配合K8S的動(dòng)態(tài)供給機(jī)制能省掉大量手工運(yùn)維工作。不過(guò)我得先說(shuō)清楚NFS動(dòng)態(tài)供給不是銀彈。它的性能受網(wǎng)絡(luò)和NFS服務(wù)器磁盤IO限制高并發(fā)寫入場(chǎng)景下可能成為瓶頸另外NFS本身是單點(diǎn)服務(wù)器掛了所有掛載它的Pod都會(huì)受影響。所以生產(chǎn)環(huán)境用這套方案NFS服務(wù)端的高可用和備份策略必須提前規(guī)劃好。這篇文章我會(huì)從零開(kāi)始把NFS服務(wù)端配置、Provisioner部署、StorageClass定義、PVC動(dòng)態(tài)掛載、常見(jiàn)坑排查整個(gè)鏈路講透代碼和配置都可以直接抄作業(yè)。2. NFS服務(wù)端的搭建與導(dǎo)出目錄規(guī)劃2.1 選一臺(tái)合適的機(jī)器做NFS ServerNFS服務(wù)端不一定非要獨(dú)立物理機(jī)用一臺(tái)配置還行的虛擬機(jī)或者閑置服務(wù)器都行。我的經(jīng)驗(yàn)是磁盤IO盡量好一點(diǎn)因?yàn)樗蠵od的讀寫最終都落到這臺(tái)機(jī)器的磁盤上。如果預(yù)算有限至少保證數(shù)據(jù)盤是SSD系統(tǒng)盤用機(jī)械盤無(wú)所謂。內(nèi)存和CPU要求不高2核4G就能跑得很穩(wěn)但如果掛載的Pod數(shù)量多、并發(fā)讀寫頻繁建議4核8G起步。操作系統(tǒng)層面主流的Linux發(fā)行版都自帶NFS服務(wù)端軟件包。我習(xí)慣用較新的穩(wěn)定版系統(tǒng)內(nèi)核里NFS模塊支持比較完善。安裝之前先確認(rèn)一下系統(tǒng)是否已經(jīng)裝了nfs-utils或者nfs-kernel-server不同發(fā)行版包名不一樣。用rpm -qa | grep nfs或者dpkg -l | grep nfs查一下有的話就不用重復(fù)裝。網(wǎng)絡(luò)方面NFS服務(wù)端和K8S集群節(jié)點(diǎn)最好在同一個(gè)內(nèi)網(wǎng)網(wǎng)段延遲低、帶寬足。如果跨網(wǎng)段記得防火墻要放行NFS相關(guān)端口。NFS默認(rèn)用2049端口做數(shù)據(jù)傳輸?shù)o助服務(wù)mountd、rpcbind會(huì)隨機(jī)用一些端口所以生產(chǎn)環(huán)境建議在配置文件里把端口固定下來(lái)方便防火墻規(guī)則管理。2.2 安裝NFS服務(wù)端并配置導(dǎo)出目錄以常見(jiàn)的Linux發(fā)行版為例安裝命令大概是這樣的# Debian/Ubuntu系 apt-get update apt-get install -y nfs-kernel-server # RHEL/CentOS系 yum install -y nfs-utils裝完之后創(chuàng)建專門用于K8S存儲(chǔ)的目錄。我一般會(huì)單獨(dú)掛一塊數(shù)據(jù)盤掛載到/data/nfs這樣的路徑下然后在這個(gè)目錄里再分門別類。比如mkdir -p /data/nfs/k8s chmod 777 /data/nfs/k8s這里權(quán)限給777是為了省事讓Provisioner能直接創(chuàng)建子目錄。但生產(chǎn)環(huán)境更穩(wěn)妥的做法是創(chuàng)建一個(gè)專用用戶把目錄屬主改掉然后在NFS導(dǎo)出配置里做用戶映射。不過(guò)K8S的NFS Provisioner默認(rèn)以root身份操作如果服務(wù)端做了root_squash創(chuàng)建目錄時(shí)可能會(huì)權(quán)限不足。所以測(cè)試環(huán)境我通常先關(guān)掉root_squash生產(chǎn)環(huán)境再根據(jù)安全要求調(diào)整。接下來(lái)編輯/etc/exports文件配置導(dǎo)出規(guī)則/data/nfs/k8s *(rw,sync,no_subtree_check,no_root_squash)這行配置的意思是把/data/nfs/k8s目錄導(dǎo)出給所有網(wǎng)段讀寫權(quán)限同步寫入不檢查子目錄并且不壓縮root用戶權(quán)限。sync選項(xiàng)保證數(shù)據(jù)寫入磁盤后才返回成功雖然性能比async差一點(diǎn)但數(shù)據(jù)安全性高很多。no_root_squash讓客戶端的root用戶在服務(wù)端也保持root權(quán)限這樣Provisioner創(chuàng)建目錄時(shí)不會(huì)因?yàn)闄?quán)限問(wèn)題失敗。配置改完后讓導(dǎo)出規(guī)則生效exportfs -arv然后重啟NFS服務(wù)systemctl restart nfs-kernel-server systemctl enable nfs-kernel-server在K8S節(jié)點(diǎn)上驗(yàn)證一下能不能掛載showmount -e NFS_SERVER_IP mount -t nfs NFS_SERVER_IP:/data/nfs/k8s /mnt能掛上并且能讀寫文件說(shuō)明服務(wù)端配置沒(méi)問(wèn)題。這一步很關(guān)鍵很多后續(xù)問(wèn)題都是因?yàn)榉?wù)端導(dǎo)出配置不對(duì)導(dǎo)致的所以務(wù)必先手工驗(yàn)證通過(guò)再往下走。2.3 固定NFS輔助服務(wù)端口前面提到NFS除了2049端口還會(huì)用到mountd和rpcbind的隨機(jī)端口。如果K8S節(jié)點(diǎn)和NFS服務(wù)端之間有防火墻隨機(jī)端口會(huì)被攔掉導(dǎo)致掛載超時(shí)。解決辦法是在NFS服務(wù)端配置文件里把端口固定。編輯/etc/nfs.conf或者/etc/sysconfig/nfs不同發(fā)行版路徑不同設(shè)置[lockd] port32803 udp-port32769 [mountd] port20048 [statd] port32765 outgoing-port32766改完后重啟服務(wù)然后用rpcinfo -p確認(rèn)端口都固定了。防火墻放行2049、20048、32803、32765這些端口。這一步做完跨網(wǎng)段掛載基本就不會(huì)因?yàn)槎丝趩?wèn)題卡住了。3. 部署NFS Subdir External Provisioner3.1 Provisioner的工作原理與選型K8S官方并沒(méi)有內(nèi)置NFS動(dòng)態(tài)供給器社區(qū)里用得最多的是nfs-subdir-external-provisioner這個(gè)項(xiàng)目。它的工作邏輯很清晰監(jiān)聽(tīng)集群里新創(chuàng)建的PVC一旦發(fā)現(xiàn)PVC的StorageClass匹配自己就在NFS服務(wù)端的導(dǎo)出目錄下創(chuàng)建一個(gè)以${namespace}-${pvcName}-${pvName}命名的子目錄然后生成對(duì)應(yīng)的PV對(duì)象最后把PV和PVC綁定。這個(gè)Provisioner以Deployment形式跑在集群里通常單副本就夠了。它內(nèi)部用了一個(gè)小的控制器循環(huán)通過(guò)K8S的API監(jiān)聽(tīng)PVC事件。因?yàn)镹FS本身不支持配額管理所以PVC里申請(qǐng)的容量大小實(shí)際上只是個(gè)標(biāo)簽并不會(huì)真正限制目錄使用空間。這一點(diǎn)要特別注意別以為申請(qǐng)了10G就只能用10G實(shí)際能寫多少取決于NFS服務(wù)端磁盤剩余空間。選型方面社區(qū)還有基于CSI的NFS驅(qū)動(dòng)功能更豐富支持快照、擴(kuò)容等高級(jí)特性。但如果只是基礎(chǔ)的文件共享和持久化需求nfs-subdir-external-provisioner足夠用部署簡(jiǎn)單維護(hù)成本低。我下面就以這個(gè)方案為例來(lái)展開(kāi)。3.2 用Helm快速部署Provisioner手工寫一堆YAML比較繁瑣推薦用Helm Chart來(lái)部署。先添加倉(cāng)庫(kù)helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/ helm repo update然后創(chuàng)建一個(gè)values文件把NFS服務(wù)端地址和導(dǎo)出路徑填進(jìn)去nfs: server: NFS_SERVER_IP path: /data/nfs/k8s storageClass: name: nfs-client defaultClass: false reclaimPolicy: Delete archiveOnDelete: true這里幾個(gè)參數(shù)值得說(shuō)明一下。reclaimPolicy: Delete表示PVC刪除后對(duì)應(yīng)的PV和NFS目錄也會(huì)被清理掉。archiveOnDelete: true是個(gè)很實(shí)用的選項(xiàng)它不會(huì)直接刪目錄而是把目錄重命名成archived-xxx相當(dāng)于留了個(gè)后悔藥。萬(wàn)一誤刪了PVC數(shù)據(jù)還在NFS服務(wù)端能找到。生產(chǎn)環(huán)境我強(qiáng)烈建議開(kāi)啟這個(gè)選項(xiàng)。執(zhí)行安裝helm install nfs-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \ -f values.yaml \ -n kube-system裝完后檢查Pod狀態(tài)kubectl get pods -n kube-system | grep nfs看到Running就說(shuō)明Provisioner起來(lái)了。再看一下StorageClasskubectl get sc應(yīng)該能看到名為nfs-client的StorageClass。如果沒(méi)看到多半是RBAC權(quán)限或者鏡像拉取有問(wèn)題用kubectl logs看Provisioner的日志排查。3.3 手工部署方式與關(guān)鍵配置解讀有些環(huán)境不方便用Helm那就手工部署。核心資源包括ServiceAccount、ClusterRole、ClusterRoleBinding、Deployment、StorageClass。我重點(diǎn)說(shuō)Deployment里的幾個(gè)關(guān)鍵配置。Provisioner容器啟動(dòng)參數(shù)里--provisioner指定供給器名稱必須和StorageClass里的provisioner字段一致否則PVC不會(huì)觸發(fā)動(dòng)態(tài)供給。--nfs-server和--nfs-path指定NFS服務(wù)端信息。環(huán)境變量POD_NAMESPACE用fieldRef注入讓Provisioner知道自己跑在哪個(gè)命名空間。Deployment的volume部分要掛載一個(gè)NFS卷指向服務(wù)端的導(dǎo)出目錄。這樣Provisioner容器內(nèi)部才能在該目錄下創(chuàng)建子目錄。掛載配置大概長(zhǎng)這樣volumes: - name: nfs-client-root nfs: server: NFS_SERVER_IP path: /data/nfs/k8s容器里的掛載點(diǎn)通常是/persistentvolumesProvisioner就在這個(gè)路徑下創(chuàng)建子目錄。StorageClass的YAML里provisioner字段填k8s-sigs.io/nfs-subdir-external-provisionerreclaimPolicy按需選Delete或RetainvolumeBindingMode用Immediate就行NFS不涉及拓?fù)涓兄{(diào)度。手工部署的好處是每個(gè)字段都看得見(jiàn)出問(wèn)題容易定位。Helm部署省事但排查時(shí)得先helm get manifest把渲染后的YAML導(dǎo)出來(lái)看。兩種方式我都用過(guò)建議新手先手工部署一遍理解每個(gè)組件的作用之后再上Helm提效。4. PVC動(dòng)態(tài)掛載的完整實(shí)操鏈路4.1 創(chuàng)建一個(gè)測(cè)試PVC并觀察綁定過(guò)程StorageClass就緒后創(chuàng)建一個(gè)PVC試試apiVersion: v1 kind: PersistentVolumeClaim metadata: name: test-pvc namespace: default spec: accessModes: - ReadWriteMany storageClassName: nfs-client resources: requests: storage: 1Gi注意accessModes這里寫的是ReadWriteMany因?yàn)镹FS天然支持多節(jié)點(diǎn)讀寫。如果寫ReadWriteOnce雖然也能綁定但語(yǔ)義上不太匹配NFS的能力。storageClassName必須和前面創(chuàng)建的StorageClass名字一致。提交之后用kubectl get pvc -w盯著看。正常流程是PVC先變成PendingProvisioner監(jiān)聽(tīng)到事件在NFS目錄下創(chuàng)建子目錄生成PV然后PVC變成Bound。整個(gè)過(guò)程通常幾秒鐘。如果超過(guò)一分鐘還是Pending就要查Provisioner日志了。綁定成功后kubectl get pv能看到自動(dòng)生成的PV名字一般是pvc-uuid格式。PV的claimRef指向剛才的PVCnfs字段里的path就是Provisioner創(chuàng)建的子目錄路徑。到NFS服務(wù)端上ls /data/nfs/k8s應(yīng)該能看到一個(gè)類似default-test-pvc-pvc-xxxx的目錄。4.2 用Deployment掛載PVC驗(yàn)證讀寫光綁定成功還不夠得實(shí)際掛載進(jìn)Pod驗(yàn)證讀寫。寫一個(gè)簡(jiǎn)單的DeploymentapiVersion: apps/v1 kind: Deployment metadata: name: nfs-test-app spec: replicas: 2 selector: matchLabels: app: nfs-test template: metadata: labels: app: nfs-test spec: containers: - name: app image: busybox command: [/bin/sh, -c, while true; do echo $(date) /data/out.txt; sleep 5; done] volumeMounts: - name: nfs-vol mountPath: /data volumes: - name: nfs-vol persistentVolumeClaim: claimName: test-pvc這個(gè)Deployment跑兩個(gè)副本每個(gè)副本每5秒往/data/out.txt追加一行時(shí)間戳。因?yàn)閮蓚€(gè)副本掛的是同一個(gè)NFS目錄所以它們會(huì)往同一個(gè)文件里寫。等一會(huì)兒進(jìn)Pod里看kubectl exec -it pod-name -- cat /data/out.txt應(yīng)該能看到時(shí)間戳在不斷增加而且兩個(gè)副本寫入的內(nèi)容混在一起。這就驗(yàn)證了NFS的ReadWriteMany能力。如果只有一個(gè)副本能寫、另一個(gè)報(bào)權(quán)限錯(cuò)誤那多半是NFS服務(wù)端導(dǎo)出配置里root_squash沒(méi)關(guān)或者目錄權(quán)限不對(duì)。4.3 刪除PVC時(shí)數(shù)據(jù)到底去哪了這是很多人容易踩坑的地方。前面StorageClass里配了reclaimPolicy: Delete和archiveOnDelete: true。當(dāng)你刪除PVC時(shí)PV會(huì)被刪除但NFS目錄不會(huì)被真刪而是被重命名為archived-原目錄名。你可以到NFS服務(wù)端確認(rèn)ls /data/nfs/k8s/ # 會(huì)看到 archived-default-test-pvc-pvc-xxxx 這樣的目錄如果archiveOnDelete設(shè)為false那目錄就直接被刪了數(shù)據(jù)找不回來(lái)。所以生產(chǎn)環(huán)境務(wù)必開(kāi)啟歸檔。另外如果reclaimPolicy設(shè)為RetainPV會(huì)變成Released狀態(tài)目錄保留原名但PV不能被新PVC復(fù)用需要管理員手工清理。三種組合的行為差異挺大建議在測(cè)試環(huán)境都試一遍心里有數(shù)。還有一個(gè)細(xì)節(jié)刪除PVC時(shí)如果還有Pod在掛載使用PVC會(huì)卡在Terminating狀態(tài)直到Pod被刪掉。這是K8S的保護(hù)機(jī)制防止數(shù)據(jù)正在寫入時(shí)被強(qiáng)制卸載。所以下線服務(wù)時(shí)先刪Pod再刪PVC順序別搞反。5. 那些讓我熬夜排查的坑與應(yīng)對(duì)方案5.1 PVC一直Pending的幾種典型原因PVC卡在Pending是最常見(jiàn)的故障。排查思路要按順序來(lái)先看StorageClass名字對(duì)不對(duì)kubectl get pvc name -o yaml看storageClassName字段如果為空或者拼錯(cuò)Provisioner根本不會(huì)理它。再看Provisioner Pod是否正常運(yùn)行kubectl logs看有沒(méi)有報(bào)錯(cuò)。常見(jiàn)錯(cuò)誤包括連不上NFS服務(wù)端、創(chuàng)建目錄權(quán)限不足、RBAC權(quán)限不夠。連不上NFS服務(wù)端的情況日志里會(huì)顯示mount failed或者connection timed out。這時(shí)候先在Provisioner Pod里手動(dòng)掛載測(cè)試kubectl exec進(jìn)去mount -t nfs server:/path /mnt看報(bào)什么錯(cuò)。如果是端口不通檢查防火墻和端口固定配置如果是權(quán)限拒絕檢查/etc/exports里的客戶端網(wǎng)段限制。權(quán)限不足的報(bào)錯(cuò)通常是mkdir permission denied。這是因?yàn)镹FS服務(wù)端做了root_squash而Provisioner以root身份創(chuàng)建目錄被映射成了nobody。解決辦法是在exports里加no_root_squash或者把導(dǎo)出目錄權(quán)限放開(kāi)。我一般測(cè)試環(huán)境直接chmod 777加no_root_squash生產(chǎn)環(huán)境再收緊。5.2 掛載成功但寫入報(bào)Read-only file system這個(gè)坑我踩過(guò)好幾次。Pod掛載PVC成功但一寫文件就報(bào)只讀。原因通常是NFS服務(wù)端導(dǎo)出目錄的權(quán)限問(wèn)題或者exports配置里寫成了ro。檢查/etc/exports確認(rèn)是rw不是ro。另外如果NFS服務(wù)端磁盤滿了或者文件系統(tǒng)變成只讀比如磁盤故障也會(huì)導(dǎo)致客戶端寫入失敗。用df -h和mount命令確認(rèn)服務(wù)端磁盤狀態(tài)。還有一種情況是SELinux在搗亂。某些發(fā)行版默認(rèn)開(kāi)啟SELinux會(huì)阻止NFS客戶端寫入。臨時(shí)用setenforce 0測(cè)試如果好了就說(shuō)明是SELinux策略問(wèn)題需要配置相應(yīng)的布爾值或者策略規(guī)則。生產(chǎn)環(huán)境不建議直接關(guān)SELinux而是加規(guī)則放行。5.3 Provisioner Pod反復(fù)重啟的排查Provisioner Pod如果一直CrashLoopBackOff先看日志。常見(jiàn)原因是鏡像拉取失敗國(guó)內(nèi)環(huán)境拉registry.k8s.io的鏡像可能超時(shí)需要提前把鏡像同步到私有倉(cāng)庫(kù)或者用鏡像加速。另一個(gè)原因是RBAC配置不全Provisioner沒(méi)有權(quán)限監(jiān)聽(tīng)PVC和創(chuàng)建PV日志里會(huì)報(bào)forbidden。檢查ClusterRole里是否包含了persistentvolumes的create、delete、list、watch權(quán)限以及persistentvolumeclaims的get、list、watch、update權(quán)限。還有一個(gè)隱蔽的問(wèn)題Provisioner的Deployment里掛載NFS卷時(shí)如果NFS服務(wù)端地址寫錯(cuò)或者網(wǎng)絡(luò)不通Pod會(huì)一直卡在ContainerCreating。用kubectl describe pod看Events會(huì)顯示FailedMount。這時(shí)候回到NFS服務(wù)端確認(rèn)服務(wù)是否正常網(wǎng)絡(luò)是否可達(dá)。5.4 多副本并發(fā)寫入的數(shù)據(jù)一致性問(wèn)題NFS本身提供的是最終一致性不是強(qiáng)一致性。多個(gè)Pod同時(shí)往同一個(gè)文件追加內(nèi)容在低并發(fā)下一般沒(méi)問(wèn)題但高并發(fā)時(shí)可能出現(xiàn)內(nèi)容交錯(cuò)或者部分丟失。如果業(yè)務(wù)對(duì)數(shù)據(jù)一致性要求高建議每個(gè)Pod寫自己的獨(dú)立文件而不是共享同一個(gè)文件。比如用Pod名字或者IP作為文件名后綴避免寫沖突。另外NFS的鎖機(jī)制在某些場(chǎng)景下不太可靠尤其是跨多個(gè)NFS客戶端做文件鎖時(shí)。如果應(yīng)用依賴文件鎖做互斥最好換成基于數(shù)據(jù)庫(kù)或者Redis的分布式鎖別依賴NFS鎖。這個(gè)坑在跑一些老式應(yīng)用時(shí)特別容易遇到表現(xiàn)是偶爾出現(xiàn)兩個(gè)進(jìn)程同時(shí)寫同一份數(shù)據(jù)導(dǎo)致文件損壞。6. 生產(chǎn)環(huán)境落地時(shí)的容量與性能考量6.1 NFS服務(wù)端磁盤容量規(guī)劃與監(jiān)控因?yàn)镹FS動(dòng)態(tài)供給不限制單個(gè)PVC的實(shí)際使用量所以服務(wù)端磁盤很容易被某個(gè)失控的應(yīng)用寫滿。一旦磁盤滿所有掛載該NFS的Pod都會(huì)寫入失敗影響面很大。我的做法是給NFS數(shù)據(jù)盤單獨(dú)分區(qū)并且設(shè)置監(jiān)控告警使用率超過(guò)80%就通知。監(jiān)控可以用Node Exporter采集磁盤指標(biāo)配合Prometheus和Alertmanager做告警規(guī)則。容量規(guī)劃上先估算所有有狀態(tài)服務(wù)的總存儲(chǔ)需求然后留至少30%的余量。比如預(yù)計(jì)總共需要500G那就準(zhǔn)備至少700G的磁盤。如果增長(zhǎng)快可以考慮用LVM做動(dòng)態(tài)擴(kuò)容或者直接上分布式存儲(chǔ)方案替代NFS。但分布式存儲(chǔ)運(yùn)維復(fù)雜度高小團(tuán)隊(duì)用NFS加監(jiān)控就夠了。6.2 提升NFS讀寫性能的幾個(gè)實(shí)用參數(shù)NFS掛載參數(shù)對(duì)性能影響很大。K8S的NFS Volume默認(rèn)掛載參數(shù)比較保守可以在StorageClass的mountOptions里調(diào)整mountOptions: - nfsvers4.1 - rsize1048576 - wsize1048576 - hard - timeo600 - retrans2 - noresvportrsize和wsize設(shè)成1M可以提升大文件傳輸吞吐。nfsvers4.1比3版本在并發(fā)和安全性上更好。hard表示掛載操作會(huì)一直重試而不是報(bào)錯(cuò)返回避免網(wǎng)絡(luò)抖動(dòng)導(dǎo)致應(yīng)用看到IO錯(cuò)誤。noresvport讓客戶端使用非保留端口某些NFS服務(wù)端配置下必須加這個(gè)才能掛載成功。不過(guò)這些參數(shù)不是萬(wàn)能的得根據(jù)實(shí)際網(wǎng)絡(luò)和負(fù)載調(diào)。我一般先用默認(rèn)參數(shù)跑一輪基準(zhǔn)測(cè)試記錄IOPS和吞吐然后逐項(xiàng)調(diào)整對(duì)比。用fio或者dd做簡(jiǎn)單測(cè)試就行別搞太復(fù)雜。6.3 NFS服務(wù)端高可用與數(shù)據(jù)備份思路NFS服務(wù)端是單點(diǎn)掛了整個(gè)存儲(chǔ)層就不可用。提升可用性有兩個(gè)方向一是用DRBD加Keepalived做雙機(jī)熱備主備切換時(shí)VIP漂移客戶端重新掛載二是直接用云廠商的NAS服務(wù)底層做了高可用省心但成本高。小團(tuán)隊(duì)如果預(yù)算有限雙機(jī)熱備方案比較現(xiàn)實(shí)但切換過(guò)程中會(huì)有短暫中斷應(yīng)用要能容忍。數(shù)據(jù)備份方面NFS服務(wù)端上的數(shù)據(jù)目錄要定期備份到另一臺(tái)機(jī)器或者對(duì)象存儲(chǔ)??梢杂胷sync做增量同步或者用restic、borg這類工具做去重加密備份。備份策略根據(jù)數(shù)據(jù)重要程度定核心數(shù)據(jù)每天全備加每小時(shí)增量非核心數(shù)據(jù)每天一次就行。備份完一定要做恢復(fù)演練不然真出事的時(shí)候發(fā)現(xiàn)備份不能用就尷尬了。7. 從靜態(tài)PV到動(dòng)態(tài)供給的遷移經(jīng)驗(yàn)7.1 存量靜態(tài)PV如何平滑過(guò)渡如果集群里已經(jīng)有一批靜態(tài)PV在用想遷移到動(dòng)態(tài)供給不能直接刪了重建得考慮數(shù)據(jù)遷移。我的做法是先部署好Provisioner和StorageClass新業(yè)務(wù)一律用動(dòng)態(tài)PVC。存量靜態(tài)PV繼續(xù)保留等對(duì)應(yīng)服務(wù)下次發(fā)版或者維護(hù)窗口時(shí)再逐步遷移。遷移單個(gè)服務(wù)時(shí)先把老PV里的數(shù)據(jù)用rsync或者cp拷到新創(chuàng)建的動(dòng)態(tài)PVC掛載目錄里然后改Deployment的PVC引用重啟Pod驗(yàn)證數(shù)據(jù)完整。確認(rèn)沒(méi)問(wèn)題后再刪掉老PVC和PV。整個(gè)過(guò)程可以在線做但最好選業(yè)務(wù)低峰期避免數(shù)據(jù)拷貝影響性能。7.2 多命名空間下的存儲(chǔ)隔離動(dòng)態(tài)供給默認(rèn)所有命名空間共用一個(gè)StorageClassPVC名字在不同命名空間可以重復(fù)Provisioner創(chuàng)建的目錄會(huì)帶上命名空間前綴所以不會(huì)沖突。但如果想給不同團(tuán)隊(duì)分配不同的NFS導(dǎo)出目錄可以創(chuàng)建多個(gè)StorageClass每個(gè)指向不同的NFS路徑。比如給開(kāi)發(fā)團(tuán)隊(duì)用/data/nfs/dev給測(cè)試團(tuán)隊(duì)用/data/nfs/test通過(guò)StorageClass名字區(qū)分。RBAC層面也可以做限制讓某個(gè)命名空間只能使用特定的StorageClass。不過(guò)這需要額外配置K8S原生不直接支持StorageClass級(jí)別的命名空間隔離得靠準(zhǔn)入控制器或者策略引擎來(lái)實(shí)現(xiàn)。小規(guī)模場(chǎng)景下靠命名規(guī)范和人工約定就夠了不必過(guò)度設(shè)計(jì)。7.3 日常運(yùn)維中值得固化的幾個(gè)檢查項(xiàng)跑了一段時(shí)間后我總結(jié)了幾條日常檢查清單每周花幾分鐘過(guò)一遍能避免大部分突發(fā)故障。第一確認(rèn)Provisioner Pod狀態(tài)正常沒(méi)有重啟記錄。第二檢查NFS服務(wù)端磁盤使用率超過(guò)閾值就清理歸檔目錄。第三看有沒(méi)有長(zhǎng)期處于Pending或者Terminating狀態(tài)的PVC及時(shí)處理。第四驗(yàn)證備份任務(wù)是否按時(shí)完成備份文件大小是否正常。這些檢查項(xiàng)可以寫成腳本定時(shí)跑輸出結(jié)果發(fā)到運(yùn)維群或者郵件。自動(dòng)化程度不用太高關(guān)鍵是形成習(xí)慣。存儲(chǔ)這東西平時(shí)不出事一出事就是大事提前花點(diǎn)時(shí)間巡檢比事后救火劃算得多。8. 寫在最后的一點(diǎn)個(gè)人體會(huì)這套NFS動(dòng)態(tài)供給方案我在好幾個(gè)集群里用過(guò)從測(cè)試環(huán)境到中小規(guī)模生產(chǎn)環(huán)境都跑得挺穩(wěn)。它最大的價(jià)值是把存儲(chǔ)分配這件事從手工操作變成了自助服務(wù)開(kāi)發(fā)同學(xué)提交PVC就能用運(yùn)維不用再當(dāng)人肉PV工廠。但前提是NFS服務(wù)端要配好、監(jiān)控要到位、備份要可靠這三樣缺一個(gè)都可能埋雷。另外提醒一句NFS終究是網(wǎng)絡(luò)存儲(chǔ)延遲比本地盤高一個(gè)數(shù)量級(jí)。對(duì)IO延遲敏感的應(yīng)用比如高頻交易或者實(shí)時(shí)數(shù)據(jù)庫(kù)還是老老實(shí)實(shí)用本地SSD或者專業(yè)塊存儲(chǔ)。NFS適合的是那些對(duì)延遲不敏感、但需要共享和持久化的場(chǎng)景。選型的時(shí)候想清楚業(yè)務(wù)需求別為了圖省事把不合適的負(fù)載硬塞進(jìn)來(lái)后面性能問(wèn)題會(huì)讓你更頭疼。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月丁香综合人妻| 99爱视频在线播放| 国产裸舞表演WWWW| 亚洲旡码| 欧美 日韩 人妻 高清 中文| 五月天婷婷涩涩| 99久久.www| 成人五月天丁香婷| 人人色AV| 色视频五月天| 99精品在这里| 午夜在线成人网站免费观看| 婷婷五月天堂| 久久久久99精品成人片| AV成人在线播放| 超碰在线91| 五月婷丁香| 亚洲五月六月婷婷| 97艹| 激情五月天婷婷图| 日本色色色| 深爱五月激情| 久碰视频| 六月婷婷网| 成人丁香五月| 综合色色色色色色| 99热综合| 庭庭久久内射| 日本熟女内射| 国产精品美女| 先锋资源婷婷| 五月天自拍视频| 操逼巨乳91| 超碰免费人人| 久久99精品久久久久久三级| 色婷婷综合中心| 综合激情站| 中文激情网| 亚洲精品国产熟女久久久| 噜噜五月天综合| 99日本黄站| www,婷婷五月天777me,com| 五月丁香香蕉| 中文字幕永久免费| 这里只有精品免费| 色吧婷婷五月亚洲| 色五月婷婷五月久久| 色婷网| 九九热这里只有国产精品| 99亚洲综合| 激情五月综合色| www色色com| 婷婷五月天性| 色情一区二区播放| 九九热精品在线| 欧美,日韩成人在线| 成人一级片| 婷婷色五月久久| 中文字幕成人影视| 91精品久| wwwxxx五月婷婷小说| 久久99网| 97人碰人操| 久久总和99| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 国产婷婷色综合AV蜜臀AV| Www.狠狠| 天天xxxxxx天天日| 牛色色碰| www。五月天激情| 夜夜操,天天撸| 思思热视频在线| 亚洲在线成人| 99热精这里只有精品| 久久久婷婷婷| 玖玖婷婷精品| 丁香婷婷五月综合影院| 超碰v| 日韩人妻无码精品| 五月丁香婷婷综合| yw国产AV| 丁香五月婷婷欧美成人色图| 亚洲V国产V欧美V久久久久久| 亚洲不卡欧洲| 色九亚洲| 91精品久久久久久久久| 五月婷激情| 无码 av电影| 99re热在线视频| 色99在线观看| 色婷婷在线影院| 丁香五月亚洲婷婷| 亚洲色就是色色色| 五月丁香色婷婷基地| 婷婷性爱| 激情婷婷丁香五月天| 色婷婷色婷婷五月| 国产黄色大片| 婷婷五月天视频亚洲| 久久女伦| 亚洲天码视频www蛋播视频| 欧美成人AAA片一区国产精品| 碰碰女| 婷婷99狠狠躁天天躁中| 伊人碰碰碰| 欧美久人人| 日韩九九| 丁香五月天天| 综激情网| 伊人久久大香线蕉av最新| 亚洲综合五月天| 五月丁香另类网| 亚洲va欧美va国产综合久久久| 亚洲电影在线观看| 天天日日夜夜爽。| 色综合色综合色综合| 婷婷综合在线观看视频| 成人五月天综合网| 99九九视频| 玖玖玖婷婷婷| www.射伊蕉婷婷| 在线超碰91| 天天射影视综合网| 玖玖@三月天天丁香婷婷| 六月丁香激情婷婷| 激情文学 综合 九月| av中文网站| 色五月激情五月丁香五月婷婷啪啪综合 | 亚洲三A| 色婷婷在线视频久| 国产免费性爱| 91人妻视频| 五月丁小婷婷激情四射| 另类综合国产| 欧美久久婷婷| 成人短视频免费| 婷婷综合在线| 国产成人av在线播放| 婷婷午夜综合| 最新日本A片| 久草婷婷| 色五月婷婷激情| 免费观看高清无码| 五月丁香婷婷久久| 欧美激情五月天婷婷| 玖玖色综合| 婷婷激情五月综合基地| 丁香五月婷婷高清| 骚。com| 成人一区在线观看| 97色色视频| 五月天开心成人网| 色五月色五天色情网址| 夜夜撸日日操| 丁香五月亚洲激情婷婷射| 九九热精品在线| 天天插天天很| 日韩在线观看网址| 五月丁香婷婷婷激情爱爱| 久久综合丁香| 91 影音先锋| 五月丁香婷婷激情澎湃四射| 亚洲天堂爱爱| 国产人妻人伦精品一区二区| 99视频精品全部免费观看| 日本色啪| 99精品热视频| 干亚洲天堂| 激情五月综合网丁| 国产偷人妻精品一区| 肏屄色播伊人97婷婷| 久久综合激情| 思思热精品在线| 99伊人性爱在线影院| 狠色综合网| 男男野外做爰全过程69| 九九在线精品| 99精品视频在线| 亚洲另类毛片| 色五月大香蕉| 十月色综合| 在线成人网站| 影音先锋AV资源男人站| 九九色综合九九色| 99热在线观看精品| 五月丁香婷婷综合在线| 久热久操久热久草国产91| 99精品综合| 99热思思久| 风流少妇A片一区二区蜜桃| 亚洲天堂aaa| 久热91| 色色色色色色色色色影院| 婷婷九月在线| 亚洲婷婷开心五月| 五月天开心色情网| av一区二区电影免费在线观看| 99九九在线| 夜夜操狠狠操天天操| 无码橾| 丰满老熟妇BBBBB搡BBB| 丁香五月激情啪| 五月激激网w'w'w| 五月五月婷婷| 久久精品99国产精品日本| 天天色天天日| 五月丁香五月激情综合色综合| 婷婷色色网| 思思99热这里只有精品6| 色综合久久88色综合天天99| 国产精品91抖高| 大香蕉五月婷婷| 五月天久久www| 区啪精品| 亚洲三A| 婷婷黄色| 天天日夜夜拍| 狠狠做五月婷婷| 九九精品re免费视频| 激情丁香五月| 激情99| 色丁香五月婷婷婷| 激情爱爱网站超大免费| 日本nghangse中文字幕| 99热在线观看| 人妻内射视频| 日韩人妻在线观看| 激情五月五月婷婷| 丁香六月天之亚州热女| 成人色五月天| 九九热亚洲中文在线观看免费| 九色PORNY在线精品酒店| 亚洲精品久久久无码| 久热一本| 久久久久网站| 久久久免费精彩视频| 丁香五月天偷拍| 天天综合 99久久婷婷| 丁香婷婷AV| 91Chinese在线| 久操干| 懂色av粉嫩AV蜜臀AV| 五月天激情综合| 99亚洲视频| 激情婷婷五月社区| 97婷婷五月天| 蜜桃五月天色| 婷婷丁香五月六月激情| Av性爱网| 五月婷婷色| 黄久久久| 久久宗合影| 91婷婷丁香五月亚洲| 成人无码精品1区2区3区免费看| 天天精品视频免费观看| 久久久中文| 激情综合在线观看| 99ri精品在线| 色爽九九| 色婷婷综合影院| 婷婷五月天啪啪| 99只有这里是精品| 激情美女五月天激情在线| 色婷婷内射| 五月丁香精品| 色色色999| 丁香狠狠色婷婷| 天堂五月婷婷| 丁香六月婷婷综合欧美| 婷婷综合视频| 色色激情| 香蕉婷婷色五月| 久久欧洲久久| 五月色丁香综合| 天天色月| 天天日狠狠| 深情六月婷婷综合久久| 另类综合激情| 久久深爱激情网| 精品人妻久久久久久久| 婷婷丁香色五月| 激情婷婷五月天日本系列| 婷婷五月激情在线| 丁香五月播播| 另类激情五月在线视频欧美| 91操片| 日韩啊啊啊| 丁香五月欧美午夜视频| 啪啪激情网| 99热亚洲精品| 久久在线视频免费观看| 天天干天天av天天射| seuuu婷婷| 免费在线观看av网站| 色亭亭九月| 丁香婷婷久久综合在线| 婷婷伊人75| 亚洲 视频 导航 一区| 久久婷丁香五月| 亚洲网视屏| 久久97| 色爱综合视频| 无码人妻一区二区三区免费九色| 99在热线免费视频| 97碰久久| 粉嫩AV久久一区二区三区| 屁股翘好撅高迎合跪趴| 91精品国产综合久久蜜芽解析速度| 天堂亚洲 在线| 在线网黄| 婷婷色香六月综合激情| 香蕉AV777XXX色综合一区| 色色日本| 五月天啪啪| 国产毛片精品一区二区色欲黄A片| 爱久久小说下载网| 成人AV网站在线| 久久激情五月天| 快乐激情五月色婷婷| 丁香桃色综合网| 久久性爱视频久久性爱视频| 丁香五月色五月| 成人va在线播放| 五月婷婷啪啪啪啪| 狠狠爱婷婷丁香| 亚洲1区| 南京搡BBBB搡BBBB| 99精品在线| 99re在线观看| 亚洲日本韩国| 婷婷综合在线视频| 无码九九| 开心深爱激情网| 丁香六月在线| 大香蕉网 久久| 91九色熟女| 电影爱拉战争免费观看| 韩国久久少妇视屏| 一级黄色影片| 99热人人操人人操| 婷婷六月丁香在线| 99色视频在线| 亚洲人妻av| 热婷婷在线视频| 97福利视频| 这里只有精品视频在线看| 五月色丁香| 97五月天| 九九偷拍网| 六月丁香五月婷婷首页| 色五月av| 99精品无码| 色婷婷在线影院| 丁香五月色色色色| 丁香在线视频| 95精品区一区二| 99热e| 亚洲人妻五月丁香婷婷| 五月天激情综合| 亚洲一区二区 成人网站戴套| 大香蕉九九| 丁香六月色婷婷综合| 91色久| 日本偷拍九九九| 亚洲五月天色| 五月色影院| 我爱大香蕉| 婷婷五月六月| 天天综合亚洲综合| 一起草性爱不卡视频| 六月丁香AV| 六月婷婷网| 九九色色| 1024在线一区| 婷婷欧美激情综合| 黄色三级日本| 久草嫩草在线观看| 丁香五月天婷婷中文| 香蕉婷婷| 久婷久婷激情肉| 五月天五月色| 丁香色婷婷| 激情五月天啪啪| 婷婷激情鹿城五月天| 97精品欧美91久久久久久久| 伊人久久中文网| 蜜臀九九九九| 天天干,天天日| 人橾人| 一本伊人色婷| 又大又粗九一在线| 五月丁香久久网| 六月婷婷色色色| 九九精品丁香花| 婷婷久久久久久久| 99精品自拍| 九九中文字幕九| 开心五月婷| 麻豆AV一区二区三区| 97碰碰视频在线观看| 涩涩涩五月天| 超碰99成人在线| 九九热99精品在线| 香蕉久久国产AV一区二区| 丁香 婷婷 激情 综合 五月 | 欧美日本黄色| 99热色精品| 激情婷婷五月社区| 色婷婷久久综合丁香五月| 99久久婷婷国产综合| 五月婷婷丁香综合| 亚州色婷婷| 69久久99精品久久久久| 色色五月天婷婷丁香| 综合另类激情| 五月婷婷基地| 色玖玖网| 久久99热在线观看| 操人精品| 思思热99热| 91干在线视频| 欧美色色色色色| 色综合久久88色综合天天| 丁香婷婷六月在线资源观看| 青吴乐视频| 亚洲狠狠狠色婷婷综合激情久久久| 可以免费观看的AV| 丁香五月AV在线| 天天色粽合合合合合合合| 五月天狠狠网站| 思思re99视频在线观看| 日日日,com| www.夜夜| 亚洲第一影院高清无码网站| 色狠狠综合| 久久综合66| 婷婷五月天首页| 天天综合天综合久久网| 日本操逼九九九九58日本操逼| 精品日本视频444| 操一操插一插| 人人97操| 99久久www| 日本高清久| 九九色色网| 五月丁香综合啪啪| 激情五月天网站| 伊人综合网4| 欧美成人精品A片免费一区99| 天天做天天爱天天日| 任你艹| 婷婷五月成人有| 久草热8精品视频在线观看| 激情五月综合六月丁香婷婷狠狠干| 99在线精品免费视频| 久久女人九九| 久久综合影院| 另类图片色五月| 播播网色播播| 亚洲成人乱码av网站| 九月停停| 在线天堂9| 久99热| 丁香六月啪啪| 婷婷六月五月天综合| 涩五月丝袜婷婷| 激情婷婷五月天| 久99热| 免费无码毛片一区二区A片 | 五月婷婷二月丁香| 久婷久婷| 高清一区二区三区日本久| 狠狠五月激情婷婷直播片| 超碰丁香五月| 少妇高潮一区二区三区99欧美| 99网址在线看| 乱精品一区字幕二区| 伊人色综在线| 欧洲一区二区| 色狠狠色噜噜AV天堂五区| dingxiangtingtingliuyue| 97AV人人插人人操| 99久久久99久久91熟女| 五月丁香激情深爱婷婷| 国产老熟妇亲子乱对白| 精品一二三区久久AAA片| 丁香五月婷婷激情中文| 亚洲九区| 激情人妻蜜夜系列区| 五月婷婷在线视频| 久久99热这里只有精品23| 岛囯综合激情网| 久久久精品AV| 玖玖精品视频99| 久艹伊| 色婷婷久久| 五月婷婷亞洲中文| 99久久99视频只有精品| 欧美成人在线观看| 色婷视频| 手机免费福利视频| 五月婷婷黄色| 亚洲成AV人片在线观看| 婷婷色色五月天| 九九热这里只有精品31| 99热啪啪| 五月丁香婷色| 色色色9| 这里只有精品视频在线看| 丁香五月六月综合激情| 精品亚洲国产成人A片在线鸭王 | 亚洲精品视频在线| www、色色色| 五月天五月色婷婷综合| 五月叮香啪| EEUSS鲁片一区二区三区| 亚洲成人婷婷| 丁香五月婷婷激情小说| 久久日曰| 性做爰A片免费视频A片直播| 粉嫩av蜜桃av蜜臀av| 五月天夜夜爱夜夜操| 91人人爽狠狠狠| av免费在线观看0| 99久热这里只有精品| 99无码黄色视频| 天天操夜夜夜夜爽| 九月影院義母在线播放| 黄色三级毛片中字| 五月天婷婷久久视频| 婷婷五月天第三页| www激情网| 99热精品在线观看| 九九亚洲视频| 色婷婷久综合久久一本国产AV| 密黄站| 九月大香蕉| 亚洲国产精品二二三三区| www久久99| 久久欧洲综合网| 婷婷激情五月天网站| 中文在线成人| 亚洲综合色婷婷文学| 激情深爱五月天| 97久久草草超级碰碰碰| 色五月婷婷九月| 26uuuavcom| 五月丁香狠狠爱| 亚洲无码成人网| 97人碰人操| 激情综合亚洲| 成人丁香五月天| 操97免费超级视频| 狠狠干五月天| 激情文学五月丁香六月婷婷| 开心五月综合| 久久草大香蕉| 色日本五月天| 久久99热精品a片在线观看| 密黄站| 秋霞AV淫| 午夜日韩久久久网站| 五月婷婷香蕉| 成人午夜天| 精品夜夜澡人妻无码AV| 玖玖精品视频| 99色6爱9热| 超碰免费人妻| 丁香五月天精品| 色综合xx| 五月丁香另类网| 天天综合色99| 激情碰碰碰| 婷婷丁香激情五月天色色色| 精品一二三区久久AAA片| 免费视频无码| 激情av| 色吧婷婷| 丁香六月婷婷综合| 欧美久热| 婷婷爱五月天| 色婷婷丁香| 开心深爱激情网| 丁香五月六月| 色99在线| 全部老头和老太XXXXX| 9色在线| www.色综合| 91狠狠综合久久久久久| 性欧美大战久久久久久久83| 婷婷五月天久草在线| 97碰碰草| 五月亭大香蕉| 丁香婷婷五月六月久久| 91精品婷婷国产综合久久| 成人在线精品| 丁香婷婷精品视频| 色婷婷婷综合五月天| xx色综合| 99成人免费视频| 日韩AAAAAAAAAAA片| 婷婷九月丁香| 色五月婷婷综合| www.久热| 中文字幕 中文字幕明步| 波多野结衣不卡AV| 大香婷婷| 激情四射网| 九九激情网| 丁香六月 婷婷六月| 天天操夜夜啊| 婷婷六月激情在线视频| 97操碰在线视频| 影音先锋噜一噜| 五月婷在线观看| 日本欧美成人片AAAA| 99热在线播放精品| 9月色婷婷| 色色激情五月天| 包操45分钟网站| 天天橾日日橾夜夜橾17| 丁香五月综合AV在线| 91偷拍视频| 大香蕉久久| 色色网站日本91| 色爱99| 99婷婷| 五月天激情婷婷五月天久久| 丁香六月婷婷色XXXXX| 97人人做| 可以免费观看的AV| 欧美婷婷综合| 九九九九国产| 激情婷婷狠狠干| 五月色综合网| 婷婷五月天久久久| 狠狠色噜噜狠| a九九热www| 99热这里只有精品亚洲| 久久婷婷六月综合| 色吧五月婷婷| 99九九精品视频推荐| AV成人在线播放| 色六月天天激情综合网| 色久五月天| 99久久综合网| 欧美色片中文字幕久久久久| 国产av影片| 婷婷激情六月综合| 婷婷色综合| 91性高潮久久久久久久久| 青青青在线视频国产| 天天网曰日曰夜夜综合永久免费| 五月天激情黄色小说在线观看| 五月天婷婷影院影院| 婷婷五月色惰| 熟女少妇内射日韩亚洲| 日本一级特黄大片AAAAA级| 久久五月人人摸| 五月丁香免费看| 久久久精品人妻| www91色网站| 大香蕉久艹| 国产精品视频久久99| 激情久久综合| 羞羞嫩草视频| 热的国产99热| 色色色9| 五月丁香大香蕉| 伊人婷婷五月天av| 五月丁香六月合| 五月婷亚洲精品AV天堂| 狠狠干狠狠操狠狠爱| 丁香婷婷五月天色综合| 九九在线视频| 婷婷五月丁香图片人人操| 91热在线| 亚洲va欧美va国产综合久久久| 欧美在线干| 99精品久久久久久久久| 色色亚洲无码| 精品在线网站| 成人免费视频一区| 五月丁香六月色情网欧美| 99热99极品观看| 91丨九色丨首页| 97色色-99久久| 91九色欧美| 亚洲久久天堂| 色五月丁香总合网| 五月天综合激情网| 字母不卡码人逼| 五月丁综合在线观看| 欧美六月| 久热re在线视频| 色香五月天| 丁香六月五月天| 成人在线综合| 99热最新| 99青青草99| 综合激情五月综合激情五月激情1 天天爱天天做天天舔 | 99久热| 成人婷婷| 日日夜夜狠狠| 狠狠 久久| 五月婷综合性中心| CHINESE熟女老女人HD视频| 亚洲第一成人无码A片| 五月天激情视频五月天| 婷婷99视频在线| 天堂婷婷五月在线| 激情综合五月丁香| 五月天激情四射网站| 久久六月综合| 丁香五月天堂亚洲社区| 色99综合视频| 国产又爽又猛又粗的视频A片| 2015好吊操| 日韩成人AV在线| 日本久久性| www.狠狠| 丁香五月最新网址| 亭亭五月色男人| 婷婷丁香91综合| 色天天综合色| 天天插天天插| 99高级会所久久| 亚洲成人免费电影| Av狠狠色丁香婷| 丁香婷婷基地| 99re最新地址视频| 九九热在线99| 日日夜夜狠狠婷婷色| 久久六月综合| 玖玖视频福利| 狠狠穞A片一區二區三區| 亚洲综人色综网| 99热超碰在线| 婷婷在线播放av| 婷婷久久综合久| 在线99热| 开心五月深爱五月| 五月噜噜噜色综合| 99在线观看| 小视频aaa久久久| 成人综合网站| 呦呦v线| 五月日韩中文字幕| 激情五月婷婷综合色播小说| 成人va在线| 九九热在线视频观看| 亚洲国产另类av| AV性爱在线| 中文字幕网站在线观看| 五月婷婷啪啪啪| 色狠狠综合| 99热这里有精品| anquye伊人| 免费无码毛片一区二区A片 | 可以看的AV网站| 亚洲色图在线视频| 激情綜合網址| 91久久网站| 色综合99无码| 青青久久大香蕉| 性视频久久| 激情五月综合| 国产精品VIDEOSSEX久久发布| 色香五月天| YW无码| 婷婷成人五月天成人文学| 色热久| 大香蕉五月天婷婷| 婷婷播播五月天| 久色大香蕉| 一区视频网站| 色婷婷综合久色AV五色最新| 97爱艹婷婷开心丁香激情综合| 深爱婷婷丁香五月激情| 婷婷久久久久| 香蕉久久国产AV一区二区| 五月丁香人人婷婷在线观看| 涩玖玖免费视频| 五月丁香六月香香蕉| 狠狠艹狠狠艹| 丰滿爆乳一区二区三区| 欧美激情综合色综合啪啪五月| 综合激情五月丁香| 久久精品国产AV一区二区三区 | 婷婷色偷拍| 久久伊人婷婷| 精品99久久久久成人网站免费| 九九婷婷五月天| 婷婷丁香五月亚洲免费| 婷婷六月色| 天天艹夜夜艹| 久久人妻精品| 国产毛片欧美毛片久久久| 亚洲无码色| 亚洲成av人影院| 天天射影院| 日韩成人中文| 9色免费网| 91av视频在线观看最新网址| 综合精品啪啪| 亚洲视频一区| 免费视频99| 极品人妻VideOssS人妻| www,26uuu,c0m,色情| 天天肏视频| 99色色色色| 五月丁香婷婷色| 色色婷| 亚洲a色| 九九热99热| 色亭亭五月天丁香综合AV - 百度 - 百度| 激情婷婷丁香| 五月激情五月丁香| 色情五月天视频网| 激情五月婷婷| 精品亚洲国产成人A片在线鸭王| 就爱射中文字幕资源网| 成人视屏在线观看| WWW、99热| 日本色五月婷婷| 丁香六月婷婷开心| 视频1区2区| 成人无码精品1区2区3区免费看| 五月丁花六月丁香综合| 五月丁香色色综合| 先锋资源婷婷| 97干干干丁香| 丁香综合网| 欧美噜一噜| 成人 在线 日韩| 啪啪啪丁香五月| 五月丁香啪啪| 开心五月天激情网站| 五月丁香| 久久久久久久久久久-久五月天婷婷| 国产精品视频免费看| WWW.99热| 日韩五月婷婷| 久婷久婷| 婷婷情色五月| 99热在线观看| 五月丁香无码| 亚洲第79页| 人人草公开操| 免费AV在线| 九九热狼人| 婷婷激情综合网| 9l视频自拍九色9l视频在线观看| 丁香六月爱综合| 婷婷五月天色| 金品在线视频99| 在线中文字幕免费视频| 亚洲色色色| 久久色婷婷| 六月亚洲| 天天弄天天爽| 天天久综合网永久入口17v| 婷婷五月丁香成人网| 日本综合色图| 另类激情综合| 另类激情中文| 久久五月激情| 狠狠999| 综合婷婷| 综合久久久| 亚洲综合成人网站| 精品日本视频444| 嫩草AV久久伊人妇女超级A| 丝袜人妻| 亚洲网站999| 亚洲激情.com| 丁香五月天精品| 亚洲五月天第一综合干| 色狠狠色| 一区视频网站| 天堂五月婷婷| 中文字幕欧美精品久久| 婷婷丁香日韩五月| 伊人综合网站| 激情视频网址| 丁香六月婷婷综合| 久久99激情| 久久激情五月婷婷| 五月婷婷第四色| 婷婷五月天另类网站| 色婷婷伦理| 五月丁香久久综合精品| 亚洲激情网站无码| 五月天婷婷基地丁香| 99精品久久久久久久婷婷| 亚洲精品视频电影| av在线免费网站 | 思思热在线免费视频| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 精a品a视a频| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | www.av骚货| 思思精品久久艹| 性色99| 婷婷综合伊人丁香| 色五狠狠| 热久久国产视频| www.俺去也com| 五月丁香激情在线| 婷婷丁香五月天中文字幕| 亚洲国产色色| 丁香六月色婷婷综合| 91色情播放| WWW五月| 久艹大香蕉| 色哟哟精品| 另类激情五月| 国产韩日亚洲美州欧亚综合在线| 99热亚洲| 天天插天天射天天干| 香蕉久久国产av一区二区| 91九色 婷婷| a九九热www| 999精品乱码77777| jiujiu热在线视频| 综合久色五月| 五月丁香 啪啪啪| 日夜夜久久| 五月丁香成人视频| 啪色综合| 久久99网| 99自拍视频网站| 天天日天天舔| 八戒青柠影视剧在线观看| 亚洲日韩成人三级av| 婷婷中文字幕欧美| 综合久久综合五月天婷婷| 99伊人婷婷在线| 五月婷婷偷拍| 性爱综合网| 五月婷婷丁香五月亚洲色| 5月丁香六月情| 日本五月天婷婷丁香| 伊人色综合久久久| 国产色色视频| 男同91| 极品九九九九九九| 久久久www| 一区二区中文字幕| 五月激情婷婷女| 99热这里只有精品青草| 婷婷99狠狠躁天天| 国产毛片欧美毛片久久久| 丰滿爆乳一区二区三区| 成人AV中文字幕| 色色日韩网| xxx综合在线| 91成人性爱视频| 成人在线不卡| 欧美精品中文字幕亚洲专区| 9色小视频在线观看| 欧美日韩成人在线观看| 五月丁了香蕉综合| 亚洲色婷婷视频| 激情五月天网站| 99热欧美| 美女被操一区二区| 久久伦乱| 丁香五月六月久久综合| 99热骚货| 99免费视频| 五月婷婷久久综合| 日本网站久久| …亚洲黄色在线播放日韩、av中文a…| 久久久97| 亚洲99在线视频| 丁香五月婷婷偷拍| 亚洲va综合va国产va中文| 在线日本www| 玖玖爱资源站| 丁香五月天欧美在线| 人人爽天天爽| 天天爽天天| 国产欧美大香蕉一区| 另类视频综合| 婷婷综合六| 99色在线视频| 婷婷99综合| 九九精品热播| 六月综和久久| 噜噜狠狠色| 99热久久这里只有精品| 大香蕉久久婷婷精品综合| 热久久成人| 婷婷五月天成人网| 中文字幕无码人妻少妇免费视频 | 天天爱天天爽| 丁香五月色| 艹色18p| 免费国产VA国产免费| 精品久久久人妻| 久久激情综合| 丁香五月最新网址| 五月天三级| 26UUU欧美激情一区二区| 亚洲V国产V欧美V久久久久久| www.五月天色色色| 天天色色婷婷| 99热这里都是精品| ztEJj| site:hcxsz888.com| 99av视频| 黄网在线播放| 日本在线观看aaa 99| 色很很96| 来吧亚洲综合网| 无码人妻少妇色欲AV一区二区| 亚洲xx网| 久久婷婷在线| 五月丁香婷婷基地| 4399欧美另类视频| 天天操夜夜玩!| 欧美激情综合色综合啪啪五月| 少妇性BBB搡BBB爽爽爽视頻| 亚洲旡码| 日韩av干| www久久99| 美国不卡视频| 国产熟女日日骚五月丁香爱| 色综合色色| 色情开心五月| 99精品在线下载| 97久久久| 色欧美日| www.俺去也com| 久久婷五月天| 丁香五月天婷婷91| 五月天婷婷五月| 天天草天天爽| 日本一毛片| 色亚洲激情| 久久97久久99久久综合欧美| 99成人网一区| 久久超级碰碰| 色亭亭九月| 丁六月激情| 热久精品| 91精品国产91久久久久青草| 99热这里有精品| 日本视频不卡123区| 五月丁香六月婷婷,婷| 99精品热视频| 九九人人精品| 激情五月天 婷婷| 九九九九九九热| 五六月丁香激情视频| 久热伊人| 综合色99| 亚洲在线操| 婷婷色基地在线看 | 色丁香五月婷婷| 任你爽免费视频| 婷婷五月天激情小说| 婷婷97C| 五月天停停基地| 大战熟女丰满人妻AV| 第2色五月婷| www.99热| 久久婷综合| 久久久久久激情| 综合99久久| 182TV大香蕉| 丁香五月婷婷99| 综合激情站| 久久久久九九九九视屏小说88| 婷婷伊人激情婷婷| 欧美日韩99| 99五月丁香丁| 五月大香蕉| 五月婷在线观看| 亚洲愉拍99热成人精品| 人人九色| 激情影院丁香五月| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 夜夜干夜夜操| 91久久免费| 色播五月天激情| 91AV视频| 色玖玖综合| 婷婷五月综合色拍| 色综合综合色| 91丨九色丨43老版熟女| 久久伊人9| www.五月天色色.com| 久久激情五月婷婷| 另类图片五月天激情| 色色网站在线| 五月丁香六月婷婷激情四射| 丁香五月天资源网| 久草五月天| 婷香五月| 99小视频在线| 色墦五月丁香| 亚洲AV免费在线| 五月天婷婷在线视频| 【乱子伦】黄色| 国产精产国品一二三在观看| 9这里只有精品| 国产精品天天狠天天看| 五月激情综合深爱| 久热婷婷在线视频| 综合激情五月婷婷| 日韩九区| 熟女人妻一区二区三区免费看| 26uuuavcom| 爱操天堂| 天天插综合| 第1影院之五月婷婷| 激情五月五月婷婷| 五月婷婷色播| 欧美va在线| tingting五月天亚洲| 亚洲激情四射色| 成人精品99| 色婷婷色| 97碰| 思思热国产视频| A片试看50分钟做受视频| 色婷婷丁香五月丁香| 日韩AC在线免费观看| 久久99网| 欧洲亚洲免费视频9| 99热最新网址| 婷婷娱乐丁香综合网| 亚洲99一级无嗎特制在线| 色综合九九| 欧美色色色| 深爱五月天| 99热精品9| 色综合久久综合| 婷婷深爱五月天| 婷婷五月天激情小说网站| 91蝌蚪窝视频在线| 五月丁香六月婷婷激情网| 六月丁香大香蕉| a久久| 免费观看欧美成人AA片爱我多深| 国产五月天婷婷| 日本色色色| 丁香五月天激情综合网| 亚洲热久| 亚洲精品影视| 开心五月婷婷激情网| 久热精品在看| 激情婷婷五月天| www.av骚货| 色综合久久天天综合网| 国产AV一区二区三区最新精品| 99性感视频| 99久久99久久| 99色热| 婷婷五月天免费视频在线观看| 丁香婷婷五月综合影院| 99精品视频在线观看| 丁香五月天成人网站| 99国产小视频2013| 激情精品久久| 思思久久精品| 亚洲色 视频| 第九色区AV在线| 99精品热视频| 熟妇内谢69XXXXXA片| 色婷婷婷av | 九九热这里只有精品9| 婷婷综合影院| 日日夜夜干| 色噜噜五月天| 亚洲无码成人性爰网| 任你日视频| 欧美亚洲色色色色| 亚洲无线视频| 婷婷丁香亚洲五月天| 五月婷婷色啪| 成人综合网站| 六月丁香VA| 国产五月丁香在线| 色色色色色色色色色色色色色五月天| 亚洲精品视频在线播放| 激情婷婷五月社区| 色婷婷五月丁香在线观看| 9九色首页| 天堂成人A片永久免费网站| 婷婷丁香五月天激情| 五月激情综合激情五月| 日本免费91| 青青草视频免费观看| AV在线免费网站| 日本激情五月天‘| WWW,五月天| 69久热| 中文成人在线| 九九99精品视频| 亚洲成人黄色网| 激情文学天天| 丁香五月激情棕合| 久久九九Com| 九九RE视频在线精品| a久久| 婷婷四色成人综合色视| 婷婷色婷婷亚洲成人| 欧美婷婷丁香五月| 国产黄大片在线观看画质优化 | 超碰在线观看9| 婷婷在线免费| www99在线观看视频| 丁香伍月婷电影全集| 91偷拍视频| 丁香五月婷久久| 狠狠色噜噜狠狠色噜噜噜999| 99热资源在线| 99久久偷拍视频| 99国产精品久久久久久久久久久| 少妇搡BBBB搡BBB搡毛茸茸 | 久久婷婷丁香六月天| 婷婷五月天Av| 大香蕉人妻| 大香蕉人人人| 26uuu成人网| 专区无日本视频高清8| 九九热视频精品| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 欧美欧盟性爱网| 99热99久久| 丁香五月综合激情久久潮喷| 国产AV熟妇人震精品一品二区| 99综合免费视频| 2017狠狠干| 婷婷丁香五月激情| 色婷婷激情视频| 婷婷五月天激情在线观看 | 五月丁香六月欧美综合网站| 九月综合| 激情五月天婷婷五月天| 五月婷婷欲色| 激情小说五月天中文字幕| 丁香六月开心| 亚洲AV网站在线观看| 久久码久久无清| 九色99视频| 色爽干| EEUSS鲁片一区二区三区| 亚洲综合色网| 五月丁香人妻| 久久9精品视频| 激情六月色| 色五月丁香伊人五月| 99热这里只有精品热| 九九热在线视频,| 婷婷六月丁香久| 久热这里只有精品3| 日韩成人av在线| 九九色婷婷| 九月丁香婷婷综合| 久久人视频| 婷婷丁香五月基地| 91综合在线观看首页|