欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Docker磁盤空間清理、備份恢復(fù)與數(shù)據(jù)目錄遷移實(shí)戰(zhàn)指南

Docker磁盤空間清理、備份恢復(fù)與數(shù)據(jù)目錄遷移實(shí)戰(zhàn)指南 早上九點(diǎn)剛過監(jiān)控群里彈出一條告警某臺(tái)業(yè)務(wù)機(jī)的根分區(qū)使用率到了 93%。登上去一看/var/lib/docker這一個(gè)目錄就吃掉了一百二十多個(gè) G而真正跑著的容器加起來不到三個(gè)。這不是我第一次碰到這種場(chǎng)面也不會(huì)是最后一次。Docker 用久了體積膨脹本質(zhì)上是個(gè)記賬問題鏡像層、容器可寫層、日志文件、構(gòu)建緩存、命名卷每一筆都有自己的存放位置和生命周期你不管它它就一直在那兒躺著。這篇內(nèi)容我打算把四件事一次講透怎么在不誤刪重要數(shù)據(jù)的前提下把空間清出來、哪些東西必須先備份再動(dòng)手、備份怎么恢復(fù)回來、Docker 的壓縮能力到底壓的是什么、在哪些環(huán)節(jié)用得上、以及把整個(gè)數(shù)據(jù)目錄搬到另一塊大盤上的完整操作鏈路。剛接觸 Docker 的朋友可以照著命令一步步來已經(jīng)在一線維護(hù)機(jī)器的同行也能在里面的排查鏈路和踩坑記錄里找到點(diǎn)參考。1. 先定位再動(dòng)手那上百個(gè) G 究竟藏在 Docker 的哪個(gè)角落清理這件事最容易犯的錯(cuò)是一上來就敲docker system prune -a。命令敲下去確實(shí)爽回車之后騰出幾十個(gè) G然后第二天發(fā)現(xiàn)某個(gè)沒用latest之外的 tag 推上去的鏡像沒了某個(gè)只跑過一次的臨時(shí)容器依賴的卷也空了。所以我現(xiàn)在的習(xí)慣是任何清理動(dòng)作之前先花十分鐘把占用地圖畫出來誰大、誰在用、誰可以重建心里有數(shù)再動(dòng)手。1.1 用 du 從文件系統(tǒng)層面圈出體積大戶Docker 的所有落盤數(shù)據(jù)默認(rèn)都在/var/lib/docker下先在這一層做一次分層統(tǒng)計(jì)速度最快、信息也最直觀du -h --max-depth1 /var/lib/docker | sort -hr | head -20這條命令跑完基本能看出大頭在哪。常見的幾個(gè)子目錄含義如下目錄存放內(nèi)容能否直接刪overlay2/鏡像層與容器可寫層絕對(duì)不能手動(dòng)刪刪了元數(shù)據(jù)全亂containers/容器配置與*-json.log日志日志可截?cái)嗄夸洸豢蓜hvolumes/命名卷與匿名卷的真實(shí)數(shù)據(jù)需逐卷確認(rèn)可能是業(yè)務(wù)庫(kù)image/鏡像元數(shù)據(jù)層數(shù)據(jù)在 overlay2不可手動(dòng)刪buildkit/構(gòu)建緩存可以用 prune 清tmp/臨時(shí)導(dǎo)入導(dǎo)出文件可清如果containers/這一層大得離譜那十有八九是容器日志。繼續(xù)往下鉆du -h --max-depth1 /var/lib/docker/containers | sort -hr | head -10 find /var/lib/docker/containers -name *-json.log -size 200M -exec ls -lh {} \;第二條命令會(huì)直接把超過 200M 的日志文件列出來帶上容器 ID。到這里你就能對(duì)上號(hào)哪個(gè)容器在瘋狂打日志。我遇到過最夸張的一次一個(gè)容器因?yàn)檫B不上依賴服務(wù)在重試循環(huán)里每毫秒打一行錯(cuò)誤三天寫了 68G 的 json 日志而業(yè)務(wù)方完全不知道。1.2 docker system df 給出的是邏輯賬本文件系統(tǒng)層面看的是物理占用Docker 自己還有一套賬本兩者要對(duì)照著看docker system df -v不加-v只給四行匯總Images、Containers、Local Volumes、Build Cache。加了-v會(huì)展開到每個(gè)鏡像、每個(gè)容器、每個(gè)卷的SIZE和SHARED SIZE。這里有個(gè)概念必須先掰清楚否則很容易誤判SIZE是這個(gè)對(duì)象占的總空間SHARED SIZE是和別的對(duì)象共用的層UNIQUE SIZE才是它獨(dú)占的部分。因?yàn)殓R像分層復(fù)用的關(guān)系你把幾個(gè)鏡像的 SIZE 加起來得到的數(shù)字會(huì)遠(yuǎn)大于實(shí)際占用。判斷刪掉這個(gè)鏡像能省多少要看 UNIQUE SIZE不是 SIZE。同理docker ps -s里面容器的size是可寫層virtual size是它加上所有底層的總和虛得厲害別拿它當(dāng)清理依據(jù)。1.3 動(dòng)手前先劃出能刪和碰不得的紅線我的紅線清單是這樣的每次清理前在腦子里過一遍碰不得/var/lib/docker下的任何目錄都不用手工rm -rf。overlay2、image、containers 這些目錄里存的是軟鏈接和元數(shù)據(jù)刪一半等于把 Docker 的內(nèi)部數(shù)據(jù)庫(kù)撕了救不回來的概率很高。碰不得命名卷里如果是數(shù)據(jù)庫(kù)數(shù)據(jù)目錄刪卷等于刪庫(kù)。docker volume prune我先看docker volume ls -f danglingtrue的輸出確認(rèn)沒有業(yè)務(wù)卷混在里面。可以動(dòng)懸空鏡像danglingnone:none那種、停止很久的容器、構(gòu)建緩存、超過閾值的歷史日志。需要確認(rèn)不是懸空但也沒容器在用的鏡像。這類往往是你留作回滾備用的版本刪之前至少要docker image inspect看一眼創(chuàng)建時(shí)間。提示清理前把docker ps -a、docker image ls -a、docker volume ls三條命令的輸出重定向到文件里存一份命名帶上時(shí)間戳。真出事了至少知道丟了什么能照著清單重建。2. 分級(jí)清場(chǎng)從零風(fēng)險(xiǎn)的緩存到需要停機(jī)的鏡像瘦身空間大頭找到之后清理要按照風(fēng)險(xiǎn)從低到高的順序推進(jìn)。我一般分三層第一層完全無損隨便清第二層影響運(yùn)行中的日志和已停容器需要看一眼第三層涉及鏡像和卷必須逐個(gè)確認(rèn)。這個(gè)順序的好處是往往清完前兩層問題就解決了壓根不用冒險(xiǎn)動(dòng)第三層。2.1 第一層構(gòu)建緩存與懸空鏡像清了不影響任何運(yùn)行構(gòu)建緩存是純?cè)隽慨a(chǎn)物刪了最多下次 build 慢一點(diǎn)沒有任何運(yùn)行風(fēng)險(xiǎn)docker builder prune --filter until168h--filter until168h表示只清理 7 天前的緩存比全量docker builder prune -a溫和得多。如果你的構(gòu)建機(jī)是 CI 環(huán)境構(gòu)建頻繁這一條能穩(wěn)定回收幾十個(gè) G。懸空鏡像是指那些 TAG 被新構(gòu)建頂?shù)簟⒂譀]有被任何容器引用的中間層docker image prune默認(rèn)行為就是只刪懸空鏡像。這里有個(gè)經(jīng)驗(yàn)先docker image prune -a --filter until720h之前一定先用 dry-run 思路看一遍。Docker 的 prune 沒有--dry-run我的替代做法是先列出來docker images -f danglingtrue docker images --filter beforeimage:tag順手提一個(gè)常被忽略的點(diǎn)docker container prune清理的是已停止的容器可寫層會(huì)一起釋放。但如果你之前docker stop了某個(gè)容器只是想臨時(shí)停一下prune會(huì)把它連元數(shù)據(jù)一起干掉docker start就回不來了。停超過一周沒動(dòng)的容器我才會(huì)清。2.2 第二層容器日志——那個(gè)最容易被忽視的隱形黑洞日志文件的清理有兩個(gè)層面的問題很多人卡在第一個(gè)為什么我rm了日志文件df -h顯示的空間沒變?cè)蚴?Linux 的文件引用計(jì)數(shù)機(jī)制。容器里的應(yīng)用進(jìn)程還持有這個(gè)文件的句柄你把目錄項(xiàng)刪了inode 仍然被進(jìn)程引用空間不會(huì)釋放直到進(jìn)程退出。所以正確做法是清空內(nèi)容而不是刪除文件truncate -s 0 /var/lib/docker/containers/容器ID/容器ID-json.logtruncate保留 inode只是把長(zhǎng)度置零進(jìn)程繼續(xù)往同一個(gè)文件寫df立刻能看到空間回來。這也是為什么我說千萬不要用rm之后不管回頭du看不到這個(gè)文件df卻還是滿的會(huì)讓人懷疑人生。第二個(gè)層面是治本給后創(chuàng)建的容器加上日志上限從源頭卡住。編輯/etc/docker/daemon.json{ log-driver: json-file, log-opts: { max-size: 50m, max-file: 3 } }改完執(zhí)行systemctl reload docker部分發(fā)行版需要restart。注意daemon.json里的日志配置只對(duì)之后新建的容器生效已經(jīng)在跑的容器不會(huì)自動(dòng)套用需要重建。這一點(diǎn)我在文檔里踩過坑配置改完以為萬事大吉結(jié)果老容器的日志照樣漲。另外max-size不要設(shè)得太小。50m 配合 3 個(gè)文件單個(gè)容器最多 150m對(duì)排查問題足夠了。設(shè)成 10m 會(huì)導(dǎo)致日志輪轉(zhuǎn)太頻繁真出問題的時(shí)候關(guān)鍵上下文已經(jīng)被覆蓋了。2.3 第三層鏡像與卷一條命令之差就是數(shù)據(jù)事故到了這一層每一條命令我都要先在別的終端確認(rèn)一遍docker system prune這條是相對(duì)安全的版本清的是已停止的容器、未被使用的網(wǎng)絡(luò)、懸空鏡像、懸空構(gòu)建緩存。加-a之后語義就變了會(huì)刪掉所有沒有被任何容器引用的鏡像包括你打好的 tag。加--volumes更狠會(huì)連卷一起處理。關(guān)于卷這里必須說清楚版本差異不同 Docker 版本對(duì)docker volume prune的默認(rèn)行為有過調(diào)整早期版本會(huì)把未使用的命名卷也算進(jìn)去較新版本默認(rèn)只處理匿名卷需要額外參數(shù)才碰命名卷。這種版本差異在緊急清理的時(shí)候最容易出事我的做法是永遠(yuǎn)不依賴默認(rèn)行為docker volume ls -f danglingtrue docker volume inspect 卷名先列出來逐個(gè)inspect看掛載點(diǎn)和創(chuàng)建時(shí)間確認(rèn)是臨時(shí)數(shù)據(jù)之后再用精確的docker volume rm 卷名一個(gè)個(gè)刪。慢是慢了點(diǎn)但不會(huì)出現(xiàn)清理完發(fā)現(xiàn)數(shù)據(jù)庫(kù)空了這種事。鏡像同理docker rmi比prune可控得多。刪除前先看引用docker ps -a --filter ancestor鏡像名:tag有輸出說明還有容器依賴它刪了會(huì)報(bào) conflict。這種情況下先處理容器別強(qiáng)行-f。3. 該留的一個(gè)都不能丟卷、鏡像與容器運(yùn)行時(shí)的備份方案清理之前先備份這是常識(shí)但 Docker 場(chǎng)景下的備份具體備什么、備到哪、怎么驗(yàn)證很多人的理解是模糊的。我見過有人以為docker commit出來的鏡像就包含了卷里的數(shù)據(jù)結(jié)果恢復(fù)的時(shí)候發(fā)現(xiàn)數(shù)據(jù)庫(kù)目錄是空的——因?yàn)榫淼臄?shù)據(jù)根本不在容器文件系統(tǒng)里。所以動(dòng)手前先把三類東西分開看。3.1 命名卷的冷備份容器停掉tar 打包校驗(yàn)結(jié)構(gòu)卷是唯一存放有狀態(tài)數(shù)據(jù)的地方數(shù)據(jù)庫(kù)、上傳文件、配置。備份的基本原則是先停容器再備份讓文件處于一致狀態(tài)。熱備份在文件正在被寫入的時(shí)候打 tar很容易拿到半截文件尤其是數(shù)據(jù)庫(kù)的 WAL、雙寫日志這類。完整流程如下# 1. 停掉使用該卷的容器 docker stop mysql-prod # 2. 用臨時(shí)容器把卷掛載出來打包 docker run --rm \ -v mysql-data:/data:ro \ -v /backup/docker:/backup \ alpine:3.19 \ tar -czf /backup/mysql-data-$(date %F).tar.gz -C /data . # 3. 啟動(dòng)容器 docker start mysql-prod幾個(gè)細(xì)節(jié)值得展開:ro只讀掛載防止打包過程中意外寫入-C /data .而不是-C /data *避免漏掉隱藏文件比如.my.cnf之類的點(diǎn)文件臨時(shí)容器用alpine體積小、啟動(dòng)快不要用業(yè)務(wù)鏡像免得帶進(jìn)額外依賴輸出目錄用宿主機(jī)綁定掛載不要輸出到卷里否則等于沒備份。備份產(chǎn)出之后一定要校驗(yàn)不能只看命令退出碼tar -tzf /backup/docker/mysql-data-2024-06-01.tar.gz | head -20 tar -tzf /backup/docker/mysql-data-2024-06-01.tar.gz | wc -l看一眼目錄結(jié)構(gòu)對(duì)不對(duì)、文件數(shù)量級(jí)合不合理。文件數(shù)量對(duì)不上說明源目錄少了東西。對(duì)于數(shù)據(jù)庫(kù)這類有自己備份工具的服務(wù)我更推薦做邏輯備份而非文件級(jí)拷貝。MySQL 用mysqldumpPostgreSQL 用pg_dump導(dǎo)出的 SQL 文件跨版本兼容性好恢復(fù)時(shí)也不會(huì)因?yàn)槲募到y(tǒng)差異出問題。文件級(jí) tar 備份適合配置目錄 上傳附件這類場(chǎng)景。3.2 鏡像與整機(jī)環(huán)境的導(dǎo)出save 與 export 不是一回事鏡像的備份用docker save它保留完整的層結(jié)構(gòu)和元數(shù)據(jù)CMD、ENTRYPOINT、ENV、健康檢查docker save -o /backup/docker/app-1.4.2.tar \ registry.local/app:1.4.2 \ registry.local/worker:1.4.2一次 save 多個(gè)鏡像有個(gè)隱藏收益共享層只存一份。分別 save 兩個(gè)基于同一個(gè)基礎(chǔ)鏡像的服務(wù)加起來可能是 1.8G合并成一條命令可能只有 1.1G。這個(gè)差異在鏡像數(shù)量多的時(shí)候非??捎^。而docker export導(dǎo)出的是容器的文件系統(tǒng)快照丟失所有鏡像元數(shù)據(jù)環(huán)境變量、啟動(dòng)命令、數(shù)據(jù)卷聲明全都沒了導(dǎo)回去只能docker import成一個(gè)新鏡像還得手工補(bǔ) CMD。除非你在做鏡像取證或者特殊遷移否則不要用 export 做備份。還有一個(gè)容易混淆的點(diǎn)鏡像備份不包含卷數(shù)據(jù)。所以一套完整的恢復(fù)包應(yīng)該是鏡像 tar 卷 tar 一份記錄啟動(dòng)參數(shù)的文本。第三項(xiàng)特別重要我現(xiàn)在的做法是備份目錄里放一個(gè)run.sh把docker run的完整命令包括所有端口、環(huán)境變量、掛載寫在里面。半年后恢復(fù)的時(shí)候你絕對(duì)想不起來當(dāng)初那個(gè)容器是怎么起的。3.3 恢復(fù)演練把備份灌進(jìn)一個(gè)新卷驗(yàn)證能起來再收工備份不演練等于沒備份。我的習(xí)慣是每月抽一次把最新的卷備份恢復(fù)到一個(gè)臨時(shí)卷上驗(yàn)證目錄結(jié)構(gòu)和關(guān)鍵文件# 1. 建一個(gè)驗(yàn)證用的新卷 docker volume create verify-restore # 2. 把備份灌進(jìn)去 docker run --rm \ -v verify-restore:/data \ -v /backup/docker:/backup:ro \ alpine:3.19 \ sh -c cd /data tar -xzf /backup/mysql-data-2024-06-01.tar.gz # 3. 檢查內(nèi)容 docker run --rm -v verify-restore:/data alpine:3.19 \ sh -c ls -la /data du -sh /data # 4. 清理驗(yàn)證卷 docker volume rm verify-restore如果要把正式環(huán)境恢復(fù)到新卷上還有個(gè)順序問題先創(chuàng)建卷、再填數(shù)據(jù)、最后啟動(dòng)容器。如果順序反了容器啟動(dòng)時(shí)會(huì)因?yàn)槟夸浄强斩鴪?bào)錯(cuò)有些應(yīng)用比如某些版本的 MySQL遇到非空數(shù)據(jù)目錄會(huì)直接拒絕初始化。恢復(fù)鏡像則是docker load -i /backup/docker/app-1.4.2.tar docker image ls | grep appdocker load會(huì)自動(dòng)識(shí)別 gzip 壓縮過的 tar不用先解壓?;謴?fù)完之后用docker image inspect核對(duì)一下 Entrypoint 和 Env 是不是跟備份前一致這個(gè)檢查只要十秒鐘但能省掉后面半小時(shí)的排查。注意備份目錄本身也要有異地副本。我見過卷備份做得非常規(guī)范的團(tuán)隊(duì)所有 tar 都在同一個(gè)宿主機(jī)上的/backup目錄然后一次磁盤故障機(jī)器和備份一起沒了。4. Docker 的壓縮到底壓的是什么鏡像導(dǎo)出、構(gòu)建產(chǎn)物與存儲(chǔ)層壓縮這個(gè)詞在 Docker 語境下其實(shí)指向三個(gè)完全不同的東西經(jīng)常被混為一談一是鏡像導(dǎo)出成 tar 文件時(shí)的壓縮二是構(gòu)建輸出時(shí)的壓縮三是存儲(chǔ)驅(qū)動(dòng)層面的壓縮。這三者的適用場(chǎng)景、能省多少空間、怎么操作差別很大。分清楚了你才知道自己需要的到底是哪一種。4.1 docker save 接 gzip離線分發(fā)的標(biāo)準(zhǔn)鏈路最常用也最直接的壓縮場(chǎng)景是把鏡像傳給別人或者歸檔到對(duì)象存儲(chǔ)docker save app:1.4.2 | gzip -c app-1.4.2.tar.gz體積收益通常在 40% 到 70% 之間取決于鏡像內(nèi)容?;A(chǔ)鏡像里的大量二進(jìn)制文件壓縮率一般不錯(cuò)如果鏡像里塞了已經(jīng)壓縮過的資源jar、zip、打包好的前端產(chǎn)物壓縮率就有限。更進(jìn)一步用pigz做并行壓縮多核機(jī)器上速度能快好幾倍docker save app:1.4.2 | pigz -p $(nproc) app-1.4.2.tar.gz加載的時(shí)候不用手動(dòng)解壓Docker 自己認(rèn)得docker load -i app-1.4.2.tar.gz我實(shí)測(cè)過一個(gè) 2.3G 的鏡像docker save直出 tar 是 2.3Ggzip 之后 890Mpigz -9能壓到 850M 左右但耗時(shí)明顯更長(zhǎng)。日常用默認(rèn)級(jí)別就夠了追求極限壓縮率的話再加參數(shù)。這里的經(jīng)驗(yàn)是gzip -1 到 -6 之間體積差距很小但耗時(shí)差距很大批量歸檔的時(shí)候別迷信-9。一個(gè)容易踩的坑docker save -o file.tar和管道寫法不要混用。有些人寫成docker save app:1.4.2 -o app.tar | gzip app.tar.gz結(jié)果得到的是一個(gè)空的 gz 文件因?yàn)?o已經(jīng)把輸出重定向到文件了管道上什么都沒流過去。要么用-o直出要么用管道二選一。4.2 buildx 的輸出壓縮與鏡像瘦身是兩碼事如果你用 BuildKit 構(gòu)建輸出階段本身就能控制壓縮算法和級(jí)別。比如導(dǎo)出一個(gè) OCI 格式的歸檔docker buildx build \ --output typeoci,destapp-oci.tar,compressionzstd,compression-level5 \ -t app:1.4.2 .或者推到鏡像倉(cāng)庫(kù)時(shí)順帶壓docker buildx build \ --output typeregistry,compressionzstd,compression-level3 \ -t registry.local/app:1.4.2 --push .zstd 相比 gzip 在壓縮率和速度上都有優(yōu)勢(shì)尤其是解壓速度對(duì)拉取鏡像的體驗(yàn)改善明顯。前提是目標(biāo)環(huán)境的 Docker 版本足夠新、能識(shí)別 zstd 壓縮的層老版本會(huì)報(bào)錯(cuò)。做這種改動(dòng)前先確認(rèn)下游機(jī)器的版本別在灰度環(huán)境里試出來問題。但這里要分清的是輸出壓縮只影響傳輸和歸檔體積不影響鏡像在本地占用的空間。你把鏡像層從 gzip 換成 zstd本地docker system df看到的數(shù)字基本不變。真正減小本地占用的是鏡像瘦身屬于構(gòu)建階段的事手段完全不同多階段構(gòu)建把編譯工具鏈留在 builder 階段最終鏡像只帶運(yùn)行時(shí)同一個(gè)RUN里apt-get update和apt-get install以及清理緩存寫完避免緩存留在某個(gè)中間層優(yōu)先用精簡(jiǎn)的基礎(chǔ)鏡像.dockerignore把node_modules、.git、日志目錄排除掉這條最容易被忽略但收益經(jīng)常是最大的。我見過一個(gè)前端鏡像因?yàn)闆]寫.dockerignore把本地的node_modules整個(gè) COPY 進(jìn)去了鏡像從 180M 漲到 1.2G壓縮之后還是 700M。加個(gè)忽略規(guī)則問題當(dāng)場(chǎng)解決。4.3 存儲(chǔ)驅(qū)動(dòng)的壓縮邊界overlay2 壓不了別抱幻想很多人會(huì)問能不能讓 Docker 把鏡像層壓縮著存省點(diǎn)磁盤用默認(rèn)的 overlay2 驅(qū)動(dòng)時(shí)答案是不能。overlay2 是在普通文件系統(tǒng)上做聯(lián)合掛載鏡像層就是一堆普通文件和目錄不存在塊級(jí)壓縮的余地。你看到的鏡像占 2G那就是實(shí)打?qū)嵉?2G疊加共享層之后。能提供存儲(chǔ)壓縮的是另一類驅(qū)動(dòng)zfs 和 btrfs它們支持在文件系統(tǒng)層面開啟透明壓縮。如果你把 Docker 的數(shù)據(jù)目錄放在一個(gè)啟用了壓縮的 zfs 數(shù)據(jù)集上鏡像數(shù)據(jù)寫入時(shí)會(huì)自動(dòng)壓縮讀的時(shí)候自動(dòng)解壓。配置大致是這樣zfs create -o compressionlz4 docker/data systemctl stop docker # 把現(xiàn)有數(shù)據(jù)遷過去后文會(huì)講遷移流程lz4是速度優(yōu)先的選擇對(duì)容器場(chǎng)景比較合適CPU 開銷小zstd壓縮率更高但更吃 CPU。要不要折騰這條路取決于你的實(shí)際瓶頸如果磁盤 IO 不是問題、只是空間緊張值得考慮如果機(jī)器本身 CPU 已經(jīng)很緊壓縮帶來的開銷可能得不償失。而且切換存儲(chǔ)驅(qū)動(dòng)是高風(fēng)險(xiǎn)操作現(xiàn)有鏡像和容器都得重建不能在線切。我在生產(chǎn)環(huán)境做過一次評(píng)估了兩周、停機(jī)窗口留了四小時(shí)最終數(shù)據(jù)遷移加驗(yàn)證用了接近三小時(shí)。所以對(duì)大多數(shù)場(chǎng)景清理 遷移到更大磁盤的性價(jià)比遠(yuǎn)高于換驅(qū)動(dòng)。5. 數(shù)據(jù)目錄整體搬家把 /var/lib/docker 遷到大容量磁盤清理只能解一時(shí)之困如果業(yè)務(wù)真的在長(zhǎng)數(shù)據(jù)量遲早還會(huì)漲回來。這時(shí)候更徹底的辦法是把整個(gè)數(shù)據(jù)目錄搬到大盤上讓系統(tǒng)盤保持輕量。這件事本身不復(fù)雜但細(xì)節(jié)很多尤其是拷貝方式選錯(cuò)、SELinux 上下文沒處理、daemon 配置改完沒生效這幾個(gè)坑我都踩過。5.1 遷移前要評(píng)估的三件事空間、文件系統(tǒng)、停機(jī)窗口第一件是空間。目標(biāo)盤至少要有源目錄 1.2 倍的空閑留出拷貝過程中的臨時(shí)開銷。先量一下du -sh /var/lib/docker df -h /data第二件是文件系統(tǒng)。overlay2 對(duì)底層文件系統(tǒng)有要求XFS 需要ftype1較新的發(fā)行版默認(rèn)滿足ext4 一般沒問題。用xfs_info /data | grep ftype確認(rèn)一下如果ftype0overlay2 會(huì)拒絕啟動(dòng)這個(gè)錯(cuò)誤信息很晦澀提前查能省不少事。第三件是停機(jī)窗口。停止 Docker 服務(wù)期間所有容器都不可用必須提前和業(yè)務(wù)方對(duì)齊。如果有多臺(tái)機(jī)器建議先用一臺(tái)非核心機(jī)器完整走一遍流程。停服務(wù)的正確姿勢(shì)是把三個(gè)單元都停掉systemctl stop docker docker.socket containerd只停docker不頂用docker.socket會(huì)因?yàn)橛腥藞?zhí)行 docker 命令而被激活導(dǎo)致服務(wù)在你拷貝過程中被拉起來數(shù)據(jù)目錄一邊寫一邊拷拷出來的是不一致的。順手確認(rèn)一下當(dāng)前的數(shù)據(jù)目錄到底在哪有些機(jī)器之前被人改過docker info | grep -i docker root dir同時(shí)看一眼存儲(chǔ)驅(qū)動(dòng)docker info | grep -i storage driver這里有個(gè)新版本要注意的點(diǎn)較新的 Docker 在部分場(chǎng)景下使用 containerd 的鏡像存儲(chǔ)鏡像數(shù)據(jù)可能落在/var/lib/containerd而不是/var/lib/docker。如果你的docker info顯示存儲(chǔ)驅(qū)動(dòng)是 containerd 相關(guān)的類型遷移時(shí)要一并考慮那個(gè)目錄或者確認(rèn)它的實(shí)際占用不大、不需要搬。5.2 rsync 拷貝加>mkdir -p /data/docker rsync -aHAX --numeric-ids --infoprogress2 \ /var/lib/docker/ /data/docker/參數(shù)逐個(gè)解釋-a歸檔模式保留權(quán)限時(shí)間戳-H保留硬鏈接關(guān)鍵-A保留 ACL-X保留擴(kuò)展屬性--numeric-ids不做用戶映射避免容器內(nèi) UID 被改。如果開了 SELinux還要處理上下文否則 Docker 啟動(dòng)會(huì)各種權(quán)限拒絕chcon -R --reference/var/lib/docker /data/docker或者更穩(wěn)妥的方式是restorecon -Rv /data/docker前提是目錄策略已經(jīng)配好??截愅瓿珊笞鲆淮尾町愋r?yàn)再補(bǔ)一遍增量此時(shí)服務(wù)仍然停著理論上不會(huì)有新數(shù)據(jù)但校驗(yàn)一下更安心rsync -aHAX --numeric-ids --dry-run --itemize-changes \ /var/lib/docker/ /data/docker/ | head沒有輸出說明兩邊完全一致。接下來改配置。編輯/etc/docker/daemon.json{ data-root: /data/docker, log-driver: json-file, log-opts: { max-size: 50m, max-file: 3 } }注意 JSON 語法最后一項(xiàng)后面不能有逗號(hào)很多人復(fù)制粘貼的時(shí)候帶了個(gè)尾逗號(hào)Docker 啟動(dòng)直接失敗。啟動(dòng)服務(wù)并驗(yàn)證systemctl daemon-reload systemctl start docker docker info | grep -i docker root dir輸出應(yīng)該是/data/docker。如果還是老路徑說明配置沒被讀到檢查文件位置和語法journalctl -u docker -n 50能看到解析錯(cuò)誤的具體行號(hào)。5.3 遷移后的驗(yàn)證清單與回滾路徑服務(wù)起來不等于遷移成功我一般會(huì)按這個(gè)清單過一遍驗(yàn)證項(xiàng)命令期望結(jié)果數(shù)據(jù)目錄docker info | grep Root Dir指向新路徑鏡像完整docker image ls數(shù)量與遷移前一致容器列表docker ps -a全部容器都在狀態(tài)未變卷完整docker volume ls卷名與遷移前一致容器可啟動(dòng)逐個(gè)docker start啟動(dòng)無報(bào)錯(cuò)新數(shù)據(jù)落盤docker run --rm alpine echo ok成功且新目錄體積增長(zhǎng)空間釋放df -h系統(tǒng)盤使用率下降舊目錄一定要留著至少留一周。我一般的做法是先改名而不是刪除mv /var/lib/docker /var/lib/docker.bak確認(rèn)新環(huán)境穩(wěn)定運(yùn)行一段時(shí)間、業(yè)務(wù)無異常之后再rm -rf /var/lib/docker.bak。這一條看著保守但真的救過命有一次遷移后第三天發(fā)現(xiàn)某個(gè)容器的卷數(shù)據(jù)少了一部分追下去發(fā)現(xiàn)是拷貝時(shí)該容器其實(shí)還在寫停服務(wù)前有個(gè) systemd 單元把它拉起來了靠舊目錄把數(shù)據(jù)撈了回來?;貪L路徑也很簡(jiǎn)單把daemon.json里的># /etc/cron.d/docker-gc 0 3 * * 0 root /usr/bin/docker builder prune -f --filter until168h /var/log/docker-gc.log 21 30 3 * * 0 root /usr/bin/docker image prune -f --filter until720h /var/log/docker-gc.log 21注意image prune這里只清懸空鏡像不加-a帶 tag 的鏡像不會(huì)被碰。--filter until720h再加一層保險(xiǎn)30 天內(nèi)的懸空鏡像也不動(dòng)萬一有正在排查的問題還能回看。日志進(jìn)/var/log/docker-gc.log是為了事后能查某天某個(gè)鏡像突然沒了翻日志能看到是被清理任務(wù)干掉的而不是懷疑存儲(chǔ)出問題。另外兩條約定俗成的規(guī)矩值得在團(tuán)隊(duì)里推一下鏡像 tag 不用latest固定版本號(hào)這樣prune時(shí)你清楚知道每個(gè) tag 對(duì)應(yīng)什么容器不長(zhǎng)期docker run -d手工起用編排文件描述好處是所有掛載、端口、環(huán)境變量都有據(jù)可查重建的時(shí)候不會(huì)漏參數(shù)。6.2 給磁盤體積加一道監(jiān)控別等 93% 才被動(dòng)響應(yīng)清理和遷移都是事后補(bǔ)救監(jiān)控才是提前量。最基礎(chǔ)的是磁盤使用率告警這個(gè)大多數(shù)環(huán)境都有。但更有價(jià)值的是趨勢(shì)告警不是用了 90%才報(bào)而是三天內(nèi)漲了 20G就報(bào)。我常用的一個(gè)土辦法是每天定時(shí)采集一次關(guān)鍵目錄的體積寫到一個(gè) csv 里配合簡(jiǎn)單的環(huán)比判斷#!/bin/bash STAMP$(date %F) SIZE$(du -sb /var/lib/docker | awk {print $1}) echo $STAMP,$SIZE /var/log/docker-size.csv跑上兩周就能看出正常增速是多少。某天突然翻倍說明有容器在異常寫盤或者有鏡像在批量堆積這時(shí)候介入成本最低。再進(jìn)一步docker system df的輸出也可以定期存檔看鏡像數(shù)量、卷數(shù)量的變化趨勢(shì)。我遇到過一個(gè)問題某個(gè) CI 任務(wù)每天構(gòu)建一個(gè)新 tag 但從來不清理鏡像數(shù)量三個(gè)月從 20 個(gè)漲到 900 多個(gè)每個(gè)都占著幾百 M 的獨(dú)占層加起來 200 多 G。這種緩慢增長(zhǎng)靠單次告警是抓不到的只有看趨勢(shì)才能發(fā)現(xiàn)。最后分享一個(gè)我在實(shí)際維護(hù)中形成的小習(xí)慣每次執(zhí)行任何帶prune或rm的命令之前先把要?jiǎng)h的東西列出來看一眼。多花的那三十秒換來的是不用在下班前處理一個(gè)數(shù)據(jù)庫(kù)沒了的緊急電話。空間是省出來的但數(shù)據(jù)是靠謹(jǐn)慎保住的這兩件事在 Docker 這里從來不矛盾。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲综合九九| 深爱激情网噜噜色| 九热久| 丰满少妇乱A片无码| 中文字幕av久久爽一区| 99热精品无码| 色色网站免费观看| 欧美va精品va老师va| 国产色视频网站2| 国产精品久久久久久久久久| 久草热在线视频| 五月天网站免费欧美| 天天拍夜夜爽日日| AV大香蕉| 久久婷婷青青| 专区无日本视频高清8| 色综合99| 婷婷丁香色五月| 婷婷丁香五月天综合网| 久久激情视频99| 中文字幕激情综合| 激情丁香五月AV| 婷婷在线网| 色五月综合| 婷婷五月综合网| 狠狠搞亚洲| 五月婷婷开心色伊人| 色色婷婷五月天| 97婷婷在线| 超碰九热| 秋霞AV吧| 麻豆AV一区二区三区| 五月婷婷av| 婷婷丁香18| 色欲资源网| 婷婷五月电影| 玖玖婷婷色| 91综合视频丁香| 国产欧美日韩综合精品一区二区| 五月天丁香网| 97五月天| 婷婷六月色| 综合一区二区三区| 色婷婷天堂| 天天舔天天操| 99re思思在线视频| 五月丁香婷婷福利| 精品九九在线观看视频| 婷婷成人网五月天| 人妻性爱av网站| 婷婷射综合| 99人人操| 欧美色色色色色色| 五月婷婷深深爱| 婷婷九月丁香天堂丁香天堂| 丁香香蕉婷婷| 国产欧美性成人精品午夜| 久久三级视频| 五月丁香激情综合| 少妇激情五月天| 日本三级韩三级99久久| 另类图片天天影视在线观看| 亚洲精品亚洲人成人网| 思思久久精品| 丁香五月大香蕉| 丁香五月激情综合| 九九综合| 五月丁香啪啪啪| 日韩aaaaa| 激情亭亭五月| 婷婷婷久久久| 国产在线黄色| 色欲婷婷五月天| 激情图片婷婷丁香五月| www.精品99| 五月丁香啪啪啪| 精品人妻伦一二三区久| 天天综合色丁香| 五月婷婷婷自由综合| 深爱激情网婷婷| 九九热这里精品| 97人人干人人操| www.91九色| 91肏| 婷婷综合色| 激情五月天啪啪| 色呦呦美女| 好看的国产精品| 五月久久婷婷丁香| 欧美日韩91| 亚洲天堂热| 婷婷丁香久久| 插插插丁香五月婷婷| 久久婷婷人人| 丁香花色色网| 五月丁香成人日| 五月丁香六月婷婷亚洲激情综合| 狠狠干五码| 日韩操| 六月丁香社区| 久99热| 婷婷色av| 99热8| 操逼六区| 久久机热/这里只有精品| 9+1视频网址| 色五月天在线观看| 可以免费观看的AV| 亚洲亚洲人成综合网络| 免费色婷婷| 免费观看日韩成人av| 伊人五月婷婷国产视频| 99ri在线观看视频| 亚洲激情图文小说| 婷婷激情五月综合在线视频| 人妻久久久久久久 | 婷婷伊人综合中文字幕| 丁香婷婷影院| 99ree6| 狠狠久久婷五月综合色| 99超碰在线免费| 51XX嘿嘿午夜无码| 国产精品久久..4399| 超级碰碰碰久久网站| 久久全色| 91九色精品女同系列| 婷婷99| 99这里有精品免费| 激情婷婷网| 久草热在线视频| 精品成人在线观看| 狠狠爱综合网| 丁香婷婷狠狠97| se婷97| 伊人网啪啪| 7777激情基地| 色情五月天se| 婷婷五月天精品| 色色无码| 97久久久| 久婷婷久草| 欧美 日韩 成人| 六月丁香大香蕉| 色五月激情问网站| 四色AVwww| 91视频五月丁香| 日本99久久| 狠狠色婷婷7777久| 九九久久色| 成年视频免费观看| 99热这里在线精品| 99热99干| 五月天操逼网| 99热这里有精品| 色吧网综合| 91精品综合久久婷婷九色| 亚洲性受XXXX五月丁香| 成人电影丁香六月天| 天天舔天天爽| 久久婷婷六月综合| 婷色影院| 五月婷婷亚洲| 久久av电影| 丁香色五月婷婷| 久婷婷婷| 日本人人超碰| 综合色影| 五月天婷婷爱丁香中文字幕| 类似婷婷激情综合网站| 无码人妻少妇色欲AV一区二区| 影音先锋AV资源男人站| 99操中文视频| 五月婷六月丁| 日本超碰在线| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 日韩久综合| 噜噜色天天开心| 婷婷综合五月色播| 久久伊人大香蕉| www久久久久久久久久久| 夫妻超碰在线| 七七九九色色| 九九热在线精品视频| 狠狠操狠狠操AV| 欧美日韩精品人妻狠狠躁免费视频| 天天射色五月天| 国产成人综合网| 五月丁香在线婷婷蜜桃| 亚洲综合草草| 超碰色热| 九九热AV| 五月婷婷六月丁香在线视频| 婷婷五月天伊人| 超碰2021| 秋霞免费三级片| 内射丰满人妻| 大香蕉精品视频| 激情婷婷狠狠干综合| 神马欧美精| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 99热精品无码| 亚洲精品久久久久AV无码| 日本97久久久精品| 亚洲 在线 性爱 | 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 五月婷丁香亚洲| 操97免费超级视频| 久久婷婷六月综合国际| 夜夜夜天天操| 久久精品人妻| 天海翼中文字幕高| 中文字幕在线观看视频www| 丁香五月婷婷激情中文| 日日操天天操| 国产精品视频| 日日艹思思热| 99热精品免费| 亚欧州精品视频| 欧美性色五月天| 91干| 综合婷| 亚洲另类在线观看| 九九在线精点品| 天天干天天做| 丁香五月中文字幕| 99精品小视频| 强辱丰满人妻HD中文字幕| 六月婷婷九月丁香| 丁香五月网在线观看| 丁香婷婷网| 99@久久@99精品视频| 91久久久久久| 五月丁香综合中文| 久草五月丁香婷婷综合| 色婷婷丁香五月天在线视频| 97碰在线| 五月婷婷精品| 狠狠狠狠狠操| 九九碰九九爱97| 丁香五月激情综合婷综| 九九热这里只有精品31| 成人看片网站| 亚洲综合99| 国产精品视频久久99| 啊v视频在线观看| 六月丁香激情| 婷婷五月噜噜| 久久天天| 在线观看欧美| 夜夜爽天天干| 97色精品视频| 丁香桃色综合网| 日韩九九| 色婷婷久久天天性爱| 天天做天天爱天天综合| 九九九九精品精| 天天射美女| 五月激情综| 在线观看免费人成视频无码| 五月婷婷激情刺激| 色婷操逼| 99热超碰天堂网| 涩涩涩.com| 午夜不卡久久精品无码免费| 久久99免费视屏| 无码色| 人妻有码乱操| 九九爱看亚洲| 日韩成人精品中文字幕| 天天骑日日爽| 日本片日本片祼观看网站在线看中文版网页在线看| 久久婷婷东京热| 五月婷婷伊人在线| 91九九九九| 亚洲Va成人| 视频一二区| Caoub青青超碰| 天天日夜夜高潮| 五月色婷| 亚洲综合草草| 另类视频五月天| 色色综合网www| 欧美日韩大黄| 久99| 亭亭丁香久久五月| 色色色99| 六月丁香激情综合网| 亚洲综合1024| 六月丁香婷婷综合狠狠爱夜夜爱| 天天色天天操天天射| 人妻在线观看视频| 丁香5月婷婷| 91 九色大美女| 99成人网站| 日本三级中国三级99人妇网站| 日本WWW九九九| 丁香狠狠色婷婷久久无码视频| 无码少妇高潮喷水A片免费| 好吊操这里只有精品| 天天干天天干天天操| 久久狼人天堂| 蜜臀嫩草| 99ree6| 精品婷婷五月视| 六月丁香久久| 丁香五月丐人妻| 激情四射五月天| 91婷婷色| A片一曲| 国产熟女大叫受不了| 丁香五月六月婷婷综合| 综合伊人久久| 色九亚洲| 欧美三级欧美一级| 爱射综合| 欧美色婷婷| 丁香六月婷婷开心| 91九色精品熟女内射| 偷拍91九色| 九月久久婷婷| 五月丁香色婷婷色| www,色婷婷| 棕合影院色色| 五月婷婷熟女| 狠狠色婷婷7777久| 99热99在线| 狠狠色综合网| 狠狠大香婷婷爱| 久久这里只精品| 色婷婷黄色网络| 久久久精品色| 五月激情四射婷婷丁香| 激情深爱五月天| 久久ER视频com| 内射爽无广熟女亚洲| 狠狠肏综合网| 婷婷欠久少妇| 亚洲欧美一区二区三区四区爱爱动图| 97色视频网| 人人人人人人人草| 亚洲天堂有码| 91色在线 | 日韩| 五月丁香花视频| 男女99免费视频| 九九热a| 欧美在线干| 色视频2025| 激情五月天婷婷| 天天玩天天摸| 色噜噜狠狠色综无码久久合欧美| 五月停停丁香| 综合九九久久| 91ncm视频| 丁香色成人| 五月婷婷黄色| 五月花婷婷在线精品视频| 成人无码精品1区2区3区免费看| 亚洲色色在线| 丁香婷婷狠狠97| 天天干天天色天天干| 百度一下国产精品A| 婷婷五月天中文字幕| 9999热在线观看| 超级碰碰91| 9久久久久久久久久久| 婷婷亚洲天堂| 99er免费在线观看| httpwww色com日本| 综合图片色色| 亚洲精品成人| 国产国产乱老熟女视频网站97| 色情免费视频播放| 久久综合婷| 超碰在线观看9| 综合色图区| 涩五月婷婷| 婷婷五月色影视先锋| 97luluse| 99热国产免费| 色色99| 99久久婷婷| 欧美va| 91在线观看www| 97操视频| 天堂婷婷五月在线| 五月婷婷 激情按摩| 99在线亚洲| 色综合丁香婷婷| 丁香五月婷久久| 五月天欧美 另类小说| 影音先锋日本三级资源| 色香欲综合| 激情六月丁香| 午夜天堂一区人妻| 六月丁香五月天| 人人操人人干AV| 亭亭玉月丁香| 丁香婷婷五月六月天| 丁香花五月天婷婷成人社区| 51XX午夜影福利| 五月色婷婷亚洲 | 婷婷激情在线| 五月激情六月| 亚洲无码免费看| 黄网免费观看| 五月天色婷婷小说| 超碰在线网站| 99这里只有精| 色偷偷狠狠| 色丁香五月| 色情成人五月天| 丁香六月激情综合啪啪| 五月激情网站| 久久小说网| 天天久综合| 久久99综合| 桃色五月婷婷| 91色逼| 色9色| 亚洲天堂碰碰婷婷| 婷婷爱五月天| 亚洲精品午夜国产va久久成人| 黄网在线免费观看| 99人人爽| 99精品自拍视频| 婷婷成人五月天一区| 4399欧美另类视频| 最近中文字幕大全免费版在线| 色五月婷婷五月天激情综合| 97成人丁香婷婷| 日韩一级| 久久九九99| 天天日日爽| 五月丁香大相交| 国产偷人爽久久久久久老妇APP| 天天干天天操天天爽| 深爱五月婷婷开心中文字幕| 五月伊人婷婷999| 99爱视频| 婷婷九月丁香| 色综合久久88色综合天天人守婷| 草榴视频网| 精品影院| 99久在线观看| 五月丁香花开综合网| 五月丁香婷婷色色| 五月丁香狠狠爱婷婷综合| 色五月婷婷影院| 婷婷五月天成人综合网| 婷婷激情五月综合| 伊人婷婷福利网| 99热都是精品| 激情五月天开心总和网| 人妻内射麻豆视频| 激情啪啪五月| 日本黄色三级片内射| 99久久玖玖| 五月天色综合服务平台| 97九色| 日噜噜色| 影音先锋女人AA鲁色资源| 五月天婷综合| 五月激情婷婷播播网| 熟女激情网| 操逼电影免费看| 思思热视频在线| 婷婷五月天久久| 五月丁香亭亭成人电影| 九九干视频| 五月天操逼激情| 九九热免费| 第四色首页| 91丨九色丨东北熟女| 久久久久久9热不雅视频| 欧美性丁香色色五月天干干| 丁香婷婷激情六月五月开心| 激情五月视频| 五月丁香激情综合网| WWW、日本色丁香、co m| 99热官网| www.婷婷六月天| 久久精品视频9| 五月丁香综合啪啪| 亚洲av午夜精品一区二区| 校花娇喘呻吟校长陈若雪视频| 激情久久五月天| 婷婷激情社区| 婷婷在线五月天观看| 外国碰视频网站97| 丁香九色不卡aaa| 婷婷五月天基地| 99在线热| 亚洲激情五月| 丁香五月天av| 97丁香花五月天激情小说| 五月婷婷综合久久| 亚洲激情| 超碰色碰碰| 五月丁香六月婷| 九九五月天| 亚洲综合99| 天天插天天| 4399伦理午夜| 啪啪啪丁香五月| 中文字幕在线免费看线人| 九九免费视频| 中文资源在线a | 99re热视频这里只有综合亚洲| 久热久操久热久草国产91| 97碰精品| 免费观看18视频网站| 天天干天干| 久久人人九| 丁香综合网| 婷婷五月俺要去| 婷婷丁香五月亚洲欧美| 性欧美日本| 欧美超碰亚洲| 久久综合站| 最近韩国日本免费高清观看| 中文AV网| 激情九月综合| 综合网啪| 色婷婷久综合久久一本国产AV| 丁香婷婷五色月| www.99热国产| 91日韩在线| 色色色婷婷五月| 九色在线观看91av| 中文字幕婷婷在线| 五月丁香A片| 婷婷五月天VI| 亚洲中文字幕在线观看| 丁香五月成人| 天天插天天插| 久草五月天| 色五月婷婷av| 色婷精品91| 婷婷六月色开| 五月天,激情四射,婷婷频道| 懂色AⅤ| 久久精彩视频99| 五月夜丁香| 在线五月色播| 国产伊人五月天| 天天做天天爱高潮片| 久操无码| 97碰成超视频免费视频| 婷婷激情啪啪| 国产小网站| 久久久久久18| 五月丁香婷婷狠狠操| 久久婷婷青青草| 亚洲12p| 欧美性猛交XXXX乱大交极品| 亚洲精品又粗又大又爽A片 | 性爱视频久久| 五月天婷婷影院| 99综合网| 嫩草AV久久伊人妇女超级A| 性做久久久久久久免费看| 99爱爱| 亚洲中文字幕av| 国产在线黄色| www.99在线| 99色天堂| 天天操婷婷| 日日夜夜狠狠| 九月色婷婷| 亚洲第一综合| 色色色综合| 狠狠色综合网| 天天插天天日| 色婷婷88| 9l视频自拍9l九色成人| 91啪啪| 人人摸人人搞| 色九区| 婷婷五月成人| 思思久久99热只有频精品66| 操逼五月婷婷| 91国产精品视频播放| 九月性爱网| 久久五月婷综合网| 久久在线大香蕉| 亚洲婷婷基地| 婷婷在线综合| 久久五月天婷婷| 中文精品久久久久人妻不| 五月激情五月丁香| 678五月丁香亚洲综合| 天天综合图片| 99日韩网站| 99re这里| 久草视频一,二三四| 999精品乱码77777| 久热婷婷| 99国产精品久久久久久久久久久 | 超碰人人操在线| 五月婷婷激情久久| 九九热精品视频在线观看| 久久国产一区二区三区| 欧美大片免费播放器| 大陆极品少妇内射AAAAAA| 五月婷三级片| se.久久视频在线观看| 超碰色天堂| 婷婷玖玖五月天| 97在线碰| 99色啊| 婷婷五月丁香激情色情| 丁香六月色婷婷综合| 丁香五月在线观看| 五月激情啪啪啪| 开心激情综合| 午夜精品久久久久久久爽| 色婷婷亚洲综合网站| 久久大香蕉伊人| XX久久| 久久婷婷青草五月天| 激情综合色五月六月婷婷| 开心五月色婷婷综合开心网| 26uuu精品国产| AV色婷婷| 亚洲成人综合在线| 七月丁香婷婷 色色| 五月丁香综合久久夜夜| 三级毛片7979| 婷婷 久综合| 亚洲色a| 亚洲婷婷免费| 丁香五月网址| 大香蕉综合网| 超碰在线免费观看3 9| Www.狠狠| 久草大| 亚洲日韩人妻操逼| 色婷婷五月天视频在线| 91ncom.色| 这里只有精品视频| 婷婷综合性爱网| 久久久思思热| 一區四區歐美日韓| 九九热99热| 色情久久久| 九色婷婷| 黄网在线免费| 骚五月婷婷| 色婷婷五月天激情| 婷婷丁香基地在线| 超碰高清在线| 激情五月婷| se婷97| 人妻人人操| 久久久五月激| 色色色婷婷| 无码99| 色五月美女| 久久大香蕉同僚| 99热香港| 婷婷五月天视频亚洲| 九月婷婷| 午夜微拍福利| 五月婷婷色色色| 丁香月五月天婷婷久久| 婷婷无码五月天| 婷婷综合| 国产操B| 伊人婷婷大香蕉| 五月丁香六月婷婷免费| 成人在线99| 久99热| 丁香婷婷老司机久操| 欧美色图天堂网| 米奇影视资源777狠狠色婷婷五月天激情网| 婷婷亚洲综合| 国产人妻777人伦精品HD| 婷婷五月欧美| 五月婷婷激情综合在线| 天天爽天天摸人妻综合网| 99九九久久| 亚洲第一成人无码A片| 玖玖色资源| 五月天久久婷婷婷| 激情噜噜噜| 五月天激情国产综合婷婷婷| 日韩综合久| 美女要搞搞天天搞搞搞网站| 色色色热热热| 欧美大片免费播放器| 色五月欧美| 五月丁香狠狠爱婷婷综合| 99ri视频在线播放| 国产av一区二区三区| 成人网站免费在线播放| 69激情小说| 97超碰人人操| 亚洲成人电影在线免费观看| 操人91| 99成人免费热视频| 99热免费| 99内射视频| 五丁香激情综合| 激情99| 97啪在线观看视频| 亚洲中文字幕AV| 丁香六月激情网C0W| 五月天精品| www.久操| 成人久久天天x资源站| 五月天激情啪啪| 202丰满熟女妇大| 在线你懂的亚洲欧| 天天综合天综合| www.婷婷六月天| 大香蕉人人人| 亚洲一区二区无码蜜乳av| 日日爽日日| 综合激情九月婷婷,激情综合婷婷中文字| 激情另类综合| 久9热视频| 51精品国自产在线| 九九热这里只有精品5| 激情六月天婷婷| 欧美顶级少妇做爰HD| 超碰九九热| 吉澤明步Av一區二區| 99性爱视频| 97人人操人人| 五月天成人小说| 最近中文字幕2019视频1| aaa久久| 啪啪六月婷婷| 成人精品视频99在线观看免费| 九九色色网| 桃色激情网| 精品成人无码A片观看香草视频| 熟女激情网| 久草热视频在线观看| 夜夜爽77777妓女免费下载| 色五月91| 婷婷五月天激情网站| 偷偷与邻居做爰完整视频| 91超碰在线观看| 激情五月天伊人av| 国产日产亚系列精品版优势| 精品99这里有| 日本狠狠干| 天天肏天天舔AV| 五月天a婷婷伊人| 色五月天堂| 九九久久高清| 天天做天天爱天天玩夜夜爽| 欧美肉大捧一进一出免费视频| 亚洲中文字幕网| 五月婷婷导航| 色婷婷丁香AV综合| 91婷婷五月天综合视频| 久久性视频| 无码人妻激情| 九月av| www色哟哟| 99热这里只有精品13| 欧美在线干| 激情婷婷色色| 日韩在线99| 国产精品视频网| 色婷婷色人人射| 成人无码精品1区2区3区免费看 | AVDV久久| 日韩美一级毛卡片| 视色综合| 超碰婷婷色| 激情网 五月天| 婷婷色丁香五月| 91婷婷在线观看| 日日噜狠狠色| 久久久全国免费视频| 夜夜做天天爽| 五月天综合在线| 99精品国产在热久久| 日本一级特黄大片AAAAA级| 淫荡A片| 可以直接看的AV网站| 丁香五月花| 狠狠色丁婷婷日日,伊人激情综合网 | 在线天堂9| 色色色色色色色色网站| 久久综合9| 亚洲激情精品| 97色精品视频 | 六月丁香五月天| 91人人看| 五月丁香婷婷成人综合网| 东京热五月婷婷| 天天干天天日日| 欧美三级A做爰在线观看| 夜夜爽天天| 国产午夜一区二区三区| 热九九精品| 色婷网| 人人操插| 五月激情综合网| 大香蕉大香蕉在线影院| 丁香六月婷婷久久综合| 丁香五月婷婷大香蕉| 五月婷婷成人| 大香蕉七区| 日日撸夜夜操| 九热视频精品| 久久精彩视频| 九九人人自拍| 色99色| 婷婷综合一二三| 色欲午夜无码久久久久久张津瑜| 色情开心五月| 丁香五月最新地址| 精典久久| 婷婷性爱网| 在线成人网址| 久久99网站| 欧美色九| 欧美色色色色色| 日日噜噜夜夜狠狠久久丁香六月| 狠狠爱综合| 国产韩日亚洲美州欧亚综合在线| 桃色五月天| 蜜桃婷婷五月| 亚洲妇女熟BBW| 五月天婷婷激情干干| av大片在线| 五月停停丁香| AV中文字幕夜夜操b天天摸bb| 色停停五月天| av成人在线播放| www.99精品在线| 久久色婷婷| 欧美色色色色色| 色五月丁香五月五月婷婷| 中国丰满熟女A片免费观| 色综合性视频| 97人碰人操| 影音先锋777xfplay色资源网站| 91九色成人原创视频| 六月婷婷色综合| 婷婷色色欧美| 玖玖爱伊人| 大香蕉五月天| 激情视频网址| 99热这是里只有精品| 日本不卡一区二区三区| 俺也去综合| 色在线免费观看| 五月激情六月综合| 啪啪丁香五月| 99综合视频| 天天色综合色色色色色。| 内射在线CHINESE| 丁香五月婷婷乱| 99玖玖视频| 嫩草AV久久伊人妇女超级a| 综合激情九月婷婷,激情综合婷婷中文字| 99视频在线观看网址| 激情婷婷在线中文字幕| 婷婷色丁香五月| 丁香六月婷婷综合激情欧美| 六月成人网| 亚洲色情网站| 久久精品91视频| 色色射| 久久久婷丁香五月| 东北熟女高潮99综合99| 日韩黄色电影| 丁香 婷婷 激情 综合 五月| 97色婷婷| 日日夜夜婷婷| 男人天堂99| www.久久| 婷婷五月天激情AV影院| 国产黄色一级片| 五月天婷婷在线播放| 五月花成人网| 久久天堂色| 五月丁香激情四射| 性色播| 久久婷婷五月天大香蕉| www.五月天婷婷| 99热网站| 成人在线观看精品| 99视频在线精品| 色综合色| 国产亚洲精品AAAA片APP| http://www.sd-xiangsu.com/| 99九九玖玖| 大香蕉九九| 伊人五月天婷婷| 91九色小视频| 无码99| 人妻肉射免费观看| 97久久五月丁香婷婷| 亚洲天堂久久| 天天日日综合| 中文字幕在线日亚州9| 婷婷五月天 丁香五月天 裸体| 色五月婷婷五月天| 久久这里在精品视频| 夜色爱爱亚洲| 99热啪啪| 26UUU精品一区二区c〇m| 婷婷爱五月| 五月丁香色情| 色五月婷婷久久| 9久精品视频| 无码少妇高潮喷水A片免费| 婷婷午夜天| 东京热伊人| 男人操女人高潮91视频| 播五月丁香三月婷婷| 激情综合女人网五月播播| 婷婷六月成人| 中文字幕在线观看视频www| 操日本人妻视频| 九色 在线| 成人精品一区日本无码网| 久久人妻人人| 丁香五月激情啪啪| 在线不卡AC| 婷婷五月天影院| 婷婷五月天性| 日韩操逼大片| 蜜桃人妻无码AV天堂三区| 久久少妇视频| 五月婷婷在线短视频| 婷婷六久久| 久久伊人大香蕉| 五月天综合区| 99热销国产这里有精品| 乱精品一区字幕二区| 五月天久久91| 婷婷丁香色五月天久久88| 九九美女视频| 五月天婷婷在线观看| 狠色色狠网| 久久之人妻| www91色网站| 天天操婷婷| 99 色色吧| 久热亚洲| 色婷婷丁香花五月天| 色播六月| 久久婷婷六月综合| WWW夜夜| 欧美婷婷色五月网| 成人精品视频99在线观看免费| 久久思思热| 黄页大全十八禁| 国产成人av在线| 亚洲电影中文字幕| 亚洲中文字幕网| 婷婷五月在线观看| 怡红院精品视频久久久久久久久| 国产激情AV| 色色综合热| 五月婷婷综合在线| 六月丁香综合| 色色免费网战视频| 五月婷五月婷伊人伊人五月婷| 色婷成人狠干| 香蕉AV777XXX色综合一区| 亚洲午夜av| 女高怪谈在线观看| 呦呦v线| 国产成人+综合亚洲+天堂| 99色免费| 日本无码专区| 在线观看中文字幕| 激情综合五月婷婷| 开心五月丁香啪| 中文精品久久久久人妻不| 亚洲另类av| 99色综合久久| 日韩成人免费电影| 99精品国产在热久久婷婷| 丁香婷婷十月| 深爱丁香网| 婷婷久久丁香五月| 韩国97天堂| 无码少妇高潮喷水A片免费 | 99热亚洲精品| 日日婷婷不卡| 五月婷婷无码| 182TV大香蕉| 五月刺激丁香月综合| 女人高潮内射99精品| 中文字幕AV在线播放| 天天天干夜夜夜操| 婷婷五月激情欧美大胆视频| 欧美噜噜久久久XXX| 婷婷少妇激情| 丁香花五月天婷婷成人社区| 亚洲国产精品VA在线看黑人| 五月天天天色| 97碰碰在线看视频免费| 啪啪小说五月天| 久99久热只有精品国产99| 色狠狠激情五月| 欧美六月| 中文久久婷婷| 婷婷中文字幕欧美| 久久er99热精品一区二区| 婷婷九月丁香| 97干综合网| 99re热视频这里只精品5| 五月婷婷色情| 中文人妻主播久久| 五月丁香六月综合情在线观看| 影音先锋91| 国产44页| 182tv992tv人之初午夜免费观看| 五月香婷婷| 久久人妻久久| 97人人做| 综合五月丁香六月婷婷| 这里只有精品视频99| SS丁香五月婷婷| 久久婷婷五月草视频在线播放| 六月色色| 欧美日本国产欧美日本韩国99| 国产成人亚洲综合亚洲| 丁香六月婷婷激情| 97超碰免费超级在线观看| 91色久| 激情小说五月天| 午夜婷婷久久 | 五月丁香婷婷综合| 亚洲六月色婷婷| 爆乳熟女一区二区三区爆乳| 伊人久久大香| 婷婷六月偷拍| 人人摸人人操人人爱| 国产精品激情AV久久久青桔| 国产激情久久久| 精品婷婷| 久色资源| 日本三级韩三级99久久| www.97碰碰com| 五月婷婷综合丁香视频| 丁香五月激情婷婷婷婷在线观看| 天天五月情| 狠狠色婷婷六月激情网| 欧美综合婷婷网| 伊人五月人妻精品| 成人婷婷五月天| 婷婷五月丁香在线观看| 五月天色婷伊人| 五月天激情站| 这里都是精品99| 欧美va精品va老师va| 一级黄色影片| 99精品视频在线观看免费| 97久久人人| 97人人干人人操| 99激情在线| 丁香婷婷网| 久久久99久久| 97人妻碰碰碰久| 丁香婷婷基地| 九九热黄色| 97碰啪啪| www.99热| 国产韩日亚洲美州欧亚综合在线| 亚洲区,视频区,视频区免费| 亚洲人妻av| 婷婷五月天色| 婷婷丁香五月天哟啪| 毛片网站谁有| 久久网站免费亚洲| 色情五月丁香婷婷网| 夜夜人妻五月天| 色小说婷婷五月天天天| 天干干夜夜操| 五月天婷婷丁香视频| 草婷婷在线| www.av骚货| 色丁香六月| 日韩五月丁香| jiZZdr| 久久精品99久久久久久| 婷婷丁香花五月天| 精品久久99| 26uuu亚洲| 五月婷婷啪啪| 婷婷97狠狠成人网站| 国产69精品久久久久999小说| 国产欧美日韩综合精品一区二区| 玖玖色综合色| 五月丁香婷婷激情图片| 日本欧美啪啪| 天天色综| 8区视频在线| 九九久久99| 九九热只有精品6| 天天肏天天插| 丁香婷婷久久综合在线| 96五月丁香熟女| 婷婷久久丁香| 婷婷内射视频在线| 超碰av在线| 五月婷婷激情网| 欧美精品在线观看| 九月丁香久久网| wwww.色婷婷| 91视频五月丁香| 久久久久久久97| 天天日天天插天天操| 情欲综合网| 亚洲色综合性| 天天日夜夜拍| 六月丁香综合| 激情五月天在线视频| 五月花婷婷| 婷婷丁香五月天综合激情| 亚洲国产黄色电影| 在线视频激情网站| 五月丁香婷婷基地| 丁香婷婷六月婷婷六月婷婷六月婷婷| 亚洲狠狠狠色婷婷综合激情久久久| 五月天中文网| 久久五月天婷婷| 在线成人视频免费| 亚洲情欲| 在线看的免费网站| 色婷婷久久9.com| 大香线蕉伊人| 婷婷丁香色五月亚洲| 丁香五月宝贝激情网| 日本激情综合| 激情中文在线| 91久久久久久| 国自产拍偷拍精品啪啪一区二区| 五月婷婷很很色| 久久香蕉婷婷| 色综合色五月| 伍月激情天| 丁香狠狠色婷婷久久无码视频| 亚洲色夜| www.超碰在线| av网站不卡在线| 性爱七区| 日本91在线| 六月丁香婷婷色综合| 五月婷婷性| 色玖玖综合网| 91综合在线| 色综合中文综合网| 激情综合五| 亚洲第一色网站| 日日操天天| 丁香久久五月婷综合| 色香蕉影院| 九九热这里只有精品9| 久艹大香蕉| 欧美狠狠一在草| 思思热99在线视频| 91九色精品| 婷婷五月天激情网| chaopeng在线人人| 国产av影片| 99热这里只有精品亚洲| 国产裸舞表演WWWW| 成人AV在线网站| 色狠狠色噜噜AV天堂五区| 91九色无码内射| 99,色| 99色在线观看| 91久久精品无码一区二区三区| 婷婷操逼| txt五月激情四射网综合俺也来了 五月天婷婷丁香人人操91 | 丁香月六月| 久久99热久久99精品| 91碰| 熟女人妻视频| 色欲婷婷五月天丁香| 婷婷五月成人色综合| 色婷婷色婷婷五月| 久婷| 久草婷婷网| 丁香五月AV| 日日夜夜青青草| 99热精品在线在线| 五月激情综合网| 中文字幕精品推荐免费在线观| 国产免费AV在线| 婷婷丁香亚洲五月天| 五月婷视频在线| 内射爽无广熟女亚洲| 色婷婷AⅤ| 婷婷激情五月吧| 99精品小视频| 99在线精品免费视频| 97超级啪啪在线观看| 九九色之九九色88| 丁香婷停五月激情综合深爱| 九九热re99re6在线精品| 色爱综合网| 婷婷五月中文字幕| 五月天综合缴情网网站0| 丁香五月激情婷婷婷婷在线观看| 2023天天日夜夜爽| 丁香五月开心亚洲| 日本强伦片中文字幕免费看| 久久一级片| 性婷婷| 色婷婷亚洲婷婷| 噼里啪啦完整版中文在线观看| 国产一区18| 五月六月激情婷婷| 丁香五月av| 亚洲亚洲人成综合网络| 丁香婷婷色情| 五月天成人网婷婷| 超碰人人艹| 丁香五月六月激情久久| 精品久久99码| 成人小说色图婷婷五月| 中文字幕永久在线| 国产五月天欧美色| 婷婷五月色| 色色色色区| 黄色99网| 日本色图综合| 99热最新国内| 天天噜天天插| 五月婷婷片| 五月天偷拍| 精品99视频| 五月丁香久久激情网| 91超级碰| chaopeng在线人人| 伊人五月天日日夜夜久久久天天| 婷婷五月天综合网| 爽tv | 欧美精品999| 色色色色色网站| 色五月激情网| 日本一级一片免费视频| 久久久区区一久久久久久| 五月天婷婷激情小说电影| 超级碰碰碰久久网站| 这里只有在线精品| 99日在线视频| 国产av第一专区| 思思久ren热| 激情婷婷久久| 色99久草在线| 精品国产人人爱人人| 色婷婷在线视频| 日韩久久系列| ss五月天激情| 99亚洲精品| 精品热青草| 久久成人性爱| 日本久久性| Av在线不卡一区| 天天粽合合合合| 精品久热|