欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

WatchDog自動(dòng)續(xù)期原理詳解:從定時(shí)任務(wù)到ACME協(xié)議全鏈路

WatchDog自動(dòng)續(xù)期原理詳解:從定時(shí)任務(wù)到ACME協(xié)議全鏈路 面試碰到“WatchDog自動(dòng)續(xù)期原理”這個(gè)問(wèn)題十個(gè)人里有八個(gè)會(huì)回答開(kāi)個(gè)定時(shí)任務(wù)快到期了重新申請(qǐng)證書(shū)。這句話對(duì)了一半但恰恰是面試官最想追問(wèn)的地方。如果只停留在“定時(shí)重簽”這個(gè)層面接下來(lái)的連環(huán)問(wèn)基本接不住怎么判斷快到期了續(xù)期和首次申請(qǐng)?jiān)趨f(xié)議層面有什么區(qū)別多臺(tái)機(jī)器會(huì)不會(huì)重復(fù)續(xù)續(xù)失敗之后怎么辦替換證書(shū)的過(guò)程中服務(wù)會(huì)不會(huì)中斷這篇文章就是把這些點(diǎn)全部拆開(kāi)講清楚既面向面試也面向?qū)嶋H部署場(chǎng)景。我自己維護(hù)過(guò)幾個(gè)生產(chǎn)環(huán)境的證書(shū)體系從最早的每月手動(dòng)換證書(shū)到后來(lái)用系統(tǒng)定時(shí)任務(wù)再到現(xiàn)在帶完整狀態(tài)管理、鎖、重試和告警的看門(mén)狗機(jī)制踩過(guò)的坑不算少。WatchDog這個(gè)名詞聽(tīng)起來(lái)高級(jí)本質(zhì)就是一個(gè)持續(xù)運(yùn)行的自動(dòng)續(xù)期閉環(huán)核心價(jià)值是把“證書(shū)過(guò)期”這種隱蔽故障消滅在發(fā)生之前。下面按原理、協(xié)議、實(shí)現(xiàn)、排障四個(gè)維度展開(kāi)篇幅會(huì)有點(diǎn)長(zhǎng)但每段都能直接對(duì)應(yīng)到面試答案和工程落地。1. 先理解WatchDog在這個(gè)場(chǎng)景里到底扮演什么角色1.1 證書(shū)過(guò)期為什么是嚴(yán)重的生產(chǎn)事故很多人覺(jué)得證書(shū)過(guò)期不就是瀏覽器報(bào)個(gè)警告嗎實(shí)際上遠(yuǎn)不止如此。現(xiàn)代互聯(lián)網(wǎng)的HTTPS體系里證書(shū)是信任鏈的基石一旦過(guò)期瀏覽器和客戶端會(huì)直接拒絕建立安全連接。用戶看到的是“您的連接不是私密連接”底層是TLS握手直接中斷。對(duì)線上業(yè)務(wù)來(lái)說(shuō)這等于全站瞬間不可用而且問(wèn)題往往發(fā)生在凌晨或者節(jié)假日因?yàn)樽C書(shū)大多是按天計(jì)算的過(guò)期那一刻不挑時(shí)間。為什么會(huì)有人手動(dòng)續(xù)期的傳統(tǒng)習(xí)慣因?yàn)樵缙谧C書(shū)有效期很長(zhǎng)一年甚至數(shù)年人工管理還能接受。但現(xiàn)在主流CA簽發(fā)的證書(shū)越來(lái)越短比如Lets Encrypt的證書(shū)只有90天有效期短生命周期是故意設(shè)計(jì)的——配合自動(dòng)化續(xù)期機(jī)制把安全和運(yùn)維壓力同時(shí)壓到工具鏈上最大限度縮小證書(shū)被濫用或被拖到過(guò)期的窗口期。這個(gè)背景下靠人來(lái)盯已經(jīng)完全不現(xiàn)實(shí)必須交給程序自動(dòng)完成WatchDog就是這個(gè)“盯梢執(zhí)行”的角色。1.2 WatchDog的核心職責(zé)不只是“續(xù)期”如果讓你寫(xiě)一個(gè)自己的看門(mén)狗最容易犯的錯(cuò)誤是把邏輯全塞進(jìn)一個(gè)“到期就重新申請(qǐng)”的函數(shù)里。真實(shí)的WatchDog職責(zé)要寬得多至少要拆成五塊第一清單管理。它得知道當(dāng)前機(jī)器上有哪些證書(shū)、屬于哪些域名、各自的證書(shū)目錄在哪里。這是所有邏輯的前提很多工具直接掃描固定目錄比如certbot統(tǒng)一放在/etc/letsencrypt/live下acme.sh放在~/.acme.sh下你設(shè)計(jì)自己的組件也要有明確的證書(shū)發(fā)現(xiàn)機(jī)制。第二到期探測(cè)。讀取證書(shū)的有效期計(jì)算剩余天數(shù)。這個(gè)動(dòng)作看起來(lái)簡(jiǎn)單實(shí)際涉及時(shí)間標(biāo)準(zhǔn)問(wèn)題證書(shū)里的NotAfter字段是UTC時(shí)間機(jī)器本地時(shí)區(qū)可能是東八區(qū)直接用本地時(shí)間做減法會(huì)算出邊界誤差必須統(tǒng)一換算成UTC再比較。第三續(xù)期決策。剩余天數(shù)低于閾值才觸發(fā)續(xù)期高于閾值就跳過(guò)。這個(gè)閾值設(shè)計(jì)很關(guān)鍵后面單獨(dú)講。第四協(xié)議交互。調(diào)用ACME接口完成身份驗(yàn)證和證書(shū)簽發(fā)這是整個(gè)鏈路里最重的一步。第五部署與恢復(fù)。新證書(shū)拿到后要替換舊文件、重載Web服務(wù)如果中途失敗還要考慮回滾或者保留舊證書(shū)繼續(xù)服務(wù)。把這五塊放在腦子里再看面試官問(wèn)的“原理”你就能給出有層次的回答而不是一句話帶過(guò)。2. 自動(dòng)續(xù)期的整體工作循環(huán)與狀態(tài)機(jī)設(shè)計(jì)2.1 一次完整循環(huán)要經(jīng)過(guò)哪幾個(gè)階段把WatchDog看成一個(gè)循環(huán)執(zhí)行的狀態(tài)機(jī)比看成一堆if語(yǔ)句清楚得多。單次循環(huán)固定走四個(gè)階段每個(gè)階段的產(chǎn)出都是下一個(gè)階段的輸入第一階段是掃描。遍歷所有待管理證書(shū)逐一讀取有效期信息。這個(gè)階段不該有任何副作用只做只讀操作哪怕中途崩潰也不影響現(xiàn)有服務(wù)。第二階段是判定。把剩余有效天數(shù)和閾值比較篩選出需要續(xù)期的證書(shū)。這里要注意區(qū)分“已經(jīng)續(xù)過(guò)”和“需要續(xù)簽”否則會(huì)出現(xiàn)同一個(gè)證書(shū)被反復(fù)處理的情況。第三階段是續(xù)期。對(duì)篩選出來(lái)的證書(shū)依次發(fā)起ACME申請(qǐng)。這個(gè)階段必須加鎖和記錄狀態(tài)因?yàn)榫W(wǎng)絡(luò)請(qǐng)求可能很慢一次循環(huán)里多個(gè)證書(shū)同時(shí)要續(xù)處理順序和并發(fā)控制都要設(shè)計(jì)好。第四階段是部署。新證書(shū)簽發(fā)成功后寫(xiě)入目標(biāo)路徑然后觸發(fā)部署鉤子比如reload nginx、重啟網(wǎng)關(guān)、更新CDN配置等。這個(gè)狀態(tài)機(jī)的關(guān)鍵在于每個(gè)階段失敗之后怎么走。掃描失敗應(yīng)該跳過(guò)該證書(shū)繼續(xù)下一個(gè)判定失敗只影響當(dāng)次循環(huán)續(xù)期失敗要進(jìn)入退避重試隊(duì)列部署失敗則要回滾到舊證書(shū)并告警。把失敗路徑全部畫(huà)清楚WatchDog才算真正“看住門(mén)”。2.2 輪詢調(diào)度方式對(duì)比常駐進(jìn)程與定時(shí)任務(wù)面試官大概率會(huì)追問(wèn)一句你怎么保證WatchDog持續(xù)運(yùn)行這個(gè)問(wèn)題的標(biāo)準(zhǔn)答案是三種方案的對(duì)比。第一種是常駐后臺(tái)進(jìn)程自己寫(xiě)一個(gè)while循環(huán)每隔一段時(shí)間執(zhí)行一輪掃描。優(yōu)點(diǎn)是狀態(tài)可以保存在內(nèi)存里控制精細(xì)能實(shí)現(xiàn)復(fù)雜的退避策略缺點(diǎn)是進(jìn)程一旦掛掉就沒(méi)人管了需要額外的守護(hù)機(jī)制比如systemd的Restartalways。第二種是系統(tǒng)定時(shí)任務(wù)cron或者systemd timer定期觸發(fā)一次腳本。這也是certbot和acme.sh默認(rèn)推薦的方式cron每天跑一次renew命令。優(yōu)點(diǎn)是簡(jiǎn)單、崩潰后下一次觸發(fā)自動(dòng)恢復(fù)、日志被系統(tǒng)統(tǒng)一管理缺點(diǎn)是無(wú)法做到“事件驅(qū)動(dòng)”的即時(shí)響應(yīng)但證書(shū)續(xù)期本身就允許天級(jí)別的延遲完全夠用。第三種是事件驅(qū)動(dòng)由證書(shū)文件變化或者外部通知觸發(fā)續(xù)期比如監(jiān)聽(tīng)CA的到期提醒郵件或者webhook。實(shí)際工程里用得少因?yàn)閺?fù)雜性高收益有限。我自己的經(jīng)驗(yàn)是如果目標(biāo)是“白天看起來(lái)不停運(yùn)作”常駐進(jìn)程合適如果目標(biāo)是“穩(wěn)”定時(shí)任務(wù)更穩(wěn)。很多團(tuán)隊(duì)內(nèi)部所謂WatchDog本質(zhì)就是一個(gè)打包成systemd service的循環(huán)腳本外層依賴systemd保證進(jìn)程存活內(nèi)層用鎖和數(shù)據(jù)目錄保存續(xù)期結(jié)果。2.3 閾值與提前量為什么提前30天而不是最后1天這是整個(gè)設(shè)計(jì)里最容易被低估的環(huán)節(jié)。證書(shū)有效期90天為什么大家都選在還剩30天左右去續(xù)期原因有四層。第一留足重試窗口。ACME申請(qǐng)涉及網(wǎng)絡(luò)請(qǐng)求、域名驗(yàn)證、CA簽發(fā)任何一個(gè)環(huán)節(jié)都可能失敗失敗后還需要等待和重試。如果拖到最后三天才開(kāi)始續(xù)一次失敗就可能導(dǎo)致請(qǐng)求被限流后面再想補(bǔ)救時(shí)間都不夠。第二避開(kāi)節(jié)假日和深夜。提前30天意味著即使中間連續(xù)失敗兩周你仍然有半個(gè)月的緩沖去人工介入。生產(chǎn)事故里“證書(shū)過(guò)期于凌晨三點(diǎn)”的經(jīng)典劇情就是因?yàn)闆](méi)有留提前量。第三符合主流工具的行為。certbot默認(rèn)續(xù)期閾值就是30天acme.sh默認(rèn)也有類(lèi)似設(shè)置使用成熟默認(rèn)值能減少踩坑。你可以在配置文件里改但不要改太小。第四分?jǐn)偡逯?。如果所有證書(shū)都在到期前最后一天集中續(xù)CA那邊會(huì)出現(xiàn)瞬時(shí)請(qǐng)求高峰被限流概率大增。閾值提前之后續(xù)期時(shí)間自然分散開(kāi)網(wǎng)絡(luò)資源也更平滑。還有一個(gè)面試加分項(xiàng)設(shè)計(jì)閾值時(shí)建議加一個(gè)隨機(jī)抖動(dòng)。機(jī)器上幾十個(gè)證書(shū)如果同一天創(chuàng)建就會(huì)同一天進(jìn)入可續(xù)期窗口隨機(jī)抖動(dòng)可以把請(qǐng)求均勻分散。這不難實(shí)現(xiàn)在判定邏輯里對(duì)每個(gè)證書(shū)生成一個(gè)0到24小時(shí)的隨機(jī)偏移量。2.4 冪等性與鎖多進(jìn)程并發(fā)續(xù)期怎么防這個(gè)問(wèn)題面試官非常愛(ài)問(wèn)因?yàn)閷?shí)際線上一定會(huì)碰到。WatchDog跑起來(lái)之后定時(shí)觸發(fā)、手動(dòng)補(bǔ)跑、同時(shí)部署多臺(tái)機(jī)器多個(gè)進(jìn)程可能同時(shí)對(duì)同一個(gè)域名發(fā)起續(xù)期。ACME協(xié)議本身不禁止重復(fù)訂單但CA有限流機(jī)制大量重復(fù)請(qǐng)求會(huì)導(dǎo)致賬號(hào)被臨時(shí)封禁影響后續(xù)所有證書(shū)的簽發(fā)。解決思路分兩個(gè)層面。單機(jī)層面用文件鎖。續(xù)期腳本啟動(dòng)時(shí)嘗試獲取一個(gè)獨(dú)占鎖拿不到就直接退出。比如用flock命令鎖一個(gè)固定路徑的鎖文件Shell腳本里很常見(jiàn)exec 9/var/run/cert-watchdog.lock flock -n 9 || exit 0Python里可以用fcntl實(shí)現(xiàn)同樣的效果。鎖的意義不是讓代碼變復(fù)雜而是保證同一時(shí)刻只有一個(gè)續(xù)期任務(wù)在處理證書(shū)目錄避免同時(shí)寫(xiě)同一個(gè)私鑰文件。多機(jī)層面用分布式鎖或者數(shù)據(jù)庫(kù)記錄。多臺(tái)機(jī)器如果共享證書(shū)更推薦的做法是讓其中一臺(tái)負(fù)責(zé)續(xù)期其他機(jī)器只拉取同步而不是各自都跑WatchDog。如果必須各自續(xù)期就在共享存儲(chǔ)里寫(xiě)一個(gè)“上次續(xù)期時(shí)間”的標(biāo)記續(xù)期前先讀和寫(xiě)加上過(guò)期時(shí)間防止死鎖。另一個(gè)冪等的關(guān)鍵點(diǎn)是狀態(tài)記錄。每次成功續(xù)期后把證書(shū)序列號(hào)、續(xù)期時(shí)間、到期時(shí)間寫(xiě)進(jìn)一個(gè)狀態(tài)文件下次掃描時(shí)先查狀態(tài)再?zèng)Q定要不要走ACME流程。這樣即使腳本被異常重復(fù)觸發(fā)也不會(huì)對(duì)同一個(gè)證書(shū)發(fā)起無(wú)意義的續(xù)期請(qǐng)求。3. 續(xù)期背后的ACME協(xié)議細(xì)節(jié)3.1 從首次申請(qǐng)到續(xù)期協(xié)議層發(fā)生了什么ACME全稱是Automatic Certificate Management Environment目前主流是ACME v2對(duì)應(yīng)RFC 8555。看過(guò)門(mén)狗調(diào)用了什么其實(shí)就是在HTTP層面與CA的服務(wù)端做一組有順序的API交互。一次完整簽發(fā)流程大概是先用賬號(hào)密鑰對(duì)向CA發(fā)起新訂單請(qǐng)求請(qǐng)求里帶上你想簽的域名列表CA返回該訂單關(guān)聯(lián)的授權(quán)項(xiàng)每個(gè)域名都有獨(dú)立的授權(quán)然后你選擇一個(gè)驗(yàn)證方式讓CA驗(yàn)證你對(duì)域名的控制權(quán)驗(yàn)證通過(guò)后訂單狀態(tài)變成可簽發(fā)你提交CSRCA簽發(fā)證書(shū)并返回證書(shū)內(nèi)容最后下載證書(shū)鏈。這里有個(gè)關(guān)鍵點(diǎn)在ACME協(xié)議層面續(xù)期和首次申請(qǐng)幾乎完全一樣。它不是“把舊證書(shū)延長(zhǎng)有效期”那么簡(jiǎn)單而是重新走一遍新訂單、驗(yàn)證、簽發(fā)的完整流程。舊證書(shū)的作用僅僅是讓CA知道你曾經(jīng)擁有過(guò)它以及你正在管理相同域名。所以WatchDog的核心工作其實(shí)是把首次申請(qǐng)時(shí)的完整鏈路自動(dòng)化重復(fù)執(zhí)行再疊加部署環(huán)節(jié)。這也回答了很多人的疑問(wèn)“為什么續(xù)期不能靜默完成”因?yàn)镃A必須每次重新確認(rèn)你對(duì)域名的控制權(quán)這是安全模型的核心。就算一個(gè)域名被申請(qǐng)過(guò)一百次第一百零一次依然要驗(yàn)證。驗(yàn)證通過(guò)后你拿到的是一張全新的、帶新有效期和新序列號(hào)的證書(shū)。3.2 HTTP-01、DNS-01、TLS-ALPN-01三種驗(yàn)證的選型邏輯面試?yán)锝?jīng)常讓人比較驗(yàn)證方式這里我按工程實(shí)用度講。HTTP-01驗(yàn)證的原理是CA服務(wù)器以普通HTTP請(qǐng)求訪問(wèn)你的域名下的特定路徑也就是http://你的域名/.well-known/acme-challenge/令牌期望響應(yīng)內(nèi)容是“令牌 賬號(hào)密鑰指紋”的拼接結(jié)果。能用這個(gè)方式的前提是你有對(duì)80端口的控制權(quán)并且能臨時(shí)寫(xiě)入Web根目錄或者臨時(shí)起一個(gè)監(jiān)聽(tīng)80端口的進(jìn)程。它的優(yōu)點(diǎn)是配置簡(jiǎn)單適用于普通網(wǎng)站缺點(diǎn)是禁止用于通配符證書(shū)因?yàn)镠TTP-01只能驗(yàn)證單個(gè)具體的域名而且要求80端口從外網(wǎng)可達(dá)。DNS-01驗(yàn)證的原理是CA去查詢你的域名DNS記錄要求_acme-challenge子域的TXT記錄內(nèi)容與預(yù)期值一致。這個(gè)方式的優(yōu)點(diǎn)是能簽發(fā)通配符證書(shū)也適合純網(wǎng)關(guān)、內(nèi)網(wǎng)服務(wù)這些沒(méi)有公網(wǎng)80/443端口的場(chǎng)景缺點(diǎn)是你必須能通過(guò)DNS服務(wù)商的API自動(dòng)創(chuàng)建、刪除TXT記錄這比改網(wǎng)站目錄麻煩但各大服務(wù)商都有配套客戶端支持。TLS-ALPN-01是通過(guò)TLS握手中的ALPN擴(kuò)展來(lái)驗(yàn)證要求443端口可達(dá)并且支持指定協(xié)議標(biāo)識(shí)實(shí)際用的人最少一般用在不想碰80端口的場(chǎng)景。選型邏輯一句話總結(jié)有80端口寫(xiě)權(quán)限就優(yōu)先HTTP-01要通配符和自動(dòng)解析能力就DNS-01特殊網(wǎng)絡(luò)環(huán)境下才考慮TLS-ALPN-01。作為看門(mén)狗設(shè)計(jì)者這幾條最好都支持讓用戶按域名場(chǎng)景配置策略。3.3 私鑰復(fù)用還是輪換一個(gè)容易被忽略的設(shè)計(jì)證書(shū)是公鑰基礎(chǔ)設(shè)施的一部分私鑰安全性直接決定證書(shū)信任。續(xù)期時(shí)提交的CSR里包含公鑰對(duì)應(yīng)私鑰可以復(fù)用舊的那把也可以重新生成。復(fù)用私鑰的好處是證書(shū)文件更新時(shí)私鑰不變下游對(duì)接方如果緩存了公鑰指紋不受任何影響部署過(guò)程更平滑壞處是如果私鑰已經(jīng)泄露或懷疑泄露復(fù)用等于延續(xù)風(fēng)險(xiǎn)。輪換私鑰的好處是定期刷新密鑰材料符合安全最佳實(shí)踐壞處是某些場(chǎng)景下客戶端或內(nèi)部系統(tǒng)需要同步更新信任信息比如一些mTLS場(chǎng)景。主流工具的默認(rèn)行為已經(jīng)幫你做了取舍。certbot默認(rèn)在續(xù)期時(shí)繼續(xù)使用原私鑰除非你顯式傳--force-new-keyacme.sh的策略也類(lèi)似。作為WatchDog我建議默認(rèn)復(fù)用私鑰把“強(qiáng)制輪換”作為可選項(xiàng)暴露出來(lái)畢竟大多數(shù)場(chǎng)景里平滑優(yōu)先。真正的安全底線是私鑰文件權(quán)限續(xù)期后應(yīng)該保持600或640權(quán)限owner是運(yùn)行服務(wù)的專(zhuān)用賬號(hào)而不是隨手0777這個(gè)細(xì)節(jié)反而比“是否換鑰匙”更值得寫(xiě)進(jìn)檢查清單。3.4 證書(shū)替換與部署鉤子的執(zhí)行順序拿到新證書(shū)只是第一步讓它生效才是終點(diǎn)。證書(shū)和私鑰寫(xiě)進(jìn)標(biāo)準(zhǔn)路徑后Web服務(wù)器不會(huì)自動(dòng)感知文件變化必須主動(dòng)觸發(fā)重載。以nginx為例需要nginx -s reload或者systemctl reload nginx。這個(gè)環(huán)節(jié)最常見(jiàn)的坑是證書(shū)文件寫(xiě)入了但私鑰沒(méi)有同步寫(xiě)入或者舊證書(shū)還在被某個(gè)進(jìn)程占用。更安全的流程是先把新證書(shū)和私鑰全部寫(xiě)入臨時(shí)路徑校驗(yàn)通過(guò)后批量替換再觸發(fā)重載最后校驗(yàn)重載是否成功。順序不能亂反過(guò)來(lái)的話舊服務(wù)可能讀到半新半舊的文件組合導(dǎo)致TLS握手失敗。部署鉤子還得分兩層理解。一層是通用鉤子比如reload nginx、重啟網(wǎng)關(guān)幾乎所有證書(shū)都要執(zhí)行另一層是業(yè)務(wù)鉤子比如某個(gè)服務(wù)把證書(shū)指紋上報(bào)到內(nèi)部系統(tǒng)或者需要同步到CDN。通用鉤子建議走默認(rèn)流程業(yè)務(wù)鉤子用可擴(kuò)展腳本目錄配置這樣新增一個(gè)業(yè)務(wù)接入點(diǎn)不需要改主程序。還有一個(gè)細(xì)節(jié)上傳到CDN或者網(wǎng)關(guān)設(shè)備的證書(shū)通常需要在續(xù)期后主動(dòng)推送這類(lèi)操作有網(wǎng)絡(luò)延遲WatchDog應(yīng)該在推送接口返回成功后清掉待同步標(biāo)記而不是每次循環(huán)都重復(fù)推送。4. 實(shí)操演練寫(xiě)一個(gè)最小可用的WatchDog續(xù)期器這一節(jié)我們把原理落到代碼上做一個(gè)精簡(jiǎn)版本目標(biāo)是不依賴大型框架也能理解全流程。假設(shè)環(huán)境是Linux證書(shū)由acme.sh或者certbot已經(jīng)簽好我們的WatchDog只做“探測(cè)、判定、調(diào)用續(xù)期、部署”四件事。4.1 第一步讀取證書(shū)有效期并計(jì)算剩余天數(shù)讀取有效期最直接的方式是用OpenSSL命令適合Shell腳本如果寫(xiě)Python用cryptography庫(kù)更順手。核心邏輯是解析證書(shū)的notAfter字段轉(zhuǎn)換為UTC時(shí)間再和當(dāng)前UTC時(shí)間做差。Shell方式expires$(openssl x509 -enddate -noout -in /etc/letsencrypt/live/example.com/fullchain.pem | cut -d -f2) expires_epoch$(date -d $expires %s) now_epoch$(date %s) remaining_days$(( (expires_epoch - now_epoch) / 86400 ))Python方式from datetime import datetime, timedelta, timezone from cryptography import x509 with open(/etc/letsencrypt/live/example.com/cert.pem, rb) as f: cert x509.load_pem_x509_certificate(f.read()) expiry cert.not_valid_after_utc remaining (expiry - datetime.now(timezone.utc)).total_seconds() / 86400 print(fremaining days: {remaining:.1f}) if remaining 30: print(need renewal)這段邏輯注意兩點(diǎn)第一時(shí)間必須統(tǒng)一UTC直接取本地時(shí)間做減法在跨時(shí)區(qū)環(huán)境下會(huì)出現(xiàn)一天誤差第二fullchain.pem和cert.pem的開(kāi)頭結(jié)尾時(shí)間一致讀哪個(gè)都行但生產(chǎn)上建議讀fullchain因?yàn)樗攀欠?wù)端實(shí)際使用的文件。4.2 第二步鎖、閾值與續(xù)期調(diào)用掃描之前先拿鎖防止多個(gè)定時(shí)任務(wù)并發(fā)進(jìn)入續(xù)期邏輯。閾值設(shè)為30天再加上隨機(jī)抖動(dòng)。續(xù)期的具體動(dòng)作不建議自己實(shí)現(xiàn)ACME協(xié)議除非你是做二次開(kāi)發(fā)否則直接調(diào)用成熟客戶端比如certbot renew或者acme.sh --renew讓專(zhuān)業(yè)工具處理協(xié)議細(xì)節(jié)WatchDog專(zhuān)注調(diào)度。偽代碼邏輯def should_renew(domain, threshold_days): remaining get_remaining_days(domain) jitter get_jitter(domain) # 0~24小時(shí)轉(zhuǎn)成天0~1 return remaining threshold_days jitter def run_once(): acquired try_lock(/var/run/cert-watchdog.lock) if not acquired: log(another instance running, skip) return for cert in scan_certificates(): if should_renew(cert.domain, 30): result renew_certificate(cert.domain) if result.success: deploy_certificate(cert.domain) record_state(cert.domain, result.serial) else: schedule_retry(cert.domain, backoff_seconds) release_lock()這里最核心的是“renew_certificate”內(nèi)部要處理失敗重試。重試策略我建議指數(shù)退避加最大次數(shù)上限比如第一次失敗等5分鐘第二次等15分鐘第三次等30分鐘超過(guò)一定次數(shù)就進(jìn)入半死狀態(tài)持續(xù)告警不退出等人工介入。不要讓看門(mén)狗在失敗時(shí)原地瘋狂重試那樣除了觸發(fā)CA限流沒(méi)有任何意義。4.3 第三步部署鉤子與回滾續(xù)期成功之后執(zhí)行部署腳本。最簡(jiǎn)單的做法是維護(hù)一個(gè)deploy目錄每個(gè)腳本接收證書(shū)路徑參數(shù)。執(zhí)行順序按文件名排序失敗則記錄并發(fā)送通知但不回滾已經(jīng)成功執(zhí)行的步驟?;貪L是個(gè)值得展開(kāi)的點(diǎn)。證書(shū)部署的回滾和普通發(fā)版不一樣舊證書(shū)文件大概率還在只要在替換前備份一下就能在重載失敗時(shí)快速恢復(fù)。我的習(xí)慣是每次續(xù)期前把當(dāng)前fullchain.pem和privkey.pem復(fù)制到一個(gè)帶時(shí)間戳的backup目錄保留最近幾份部署腳本執(zhí)行系統(tǒng)reload返回非零時(shí)把備份文件恢復(fù)回去再reload一次然后告警說(shuō)明“自動(dòng)回滾成功請(qǐng)檢查原因”。這個(gè)機(jī)制能擋住相當(dāng)一部分因配置錯(cuò)誤導(dǎo)致的線上事故。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 典型故障速查表一段表格把我在生產(chǎn)環(huán)境遇到過(guò)的高頻問(wèn)題整理出來(lái)面試和實(shí)戰(zhàn)都用得上?,F(xiàn)象常見(jiàn)原因排查方向續(xù)期日志里報(bào)驗(yàn)證超時(shí)80端口或DNS記錄不可達(dá)、防火墻攔截telnet測(cè)試端口、dig查詢TXT記錄證書(shū)文件沒(méi)變化但日志顯示成功續(xù)期寫(xiě)入了其他路徑、Nginx讀的是軟鏈路徑檢查證書(shū)路徑與Nginx配置是否一致連續(xù)多次403/429請(qǐng)求頻率觸發(fā)CA限流查看CA賬號(hào)狀態(tài)、減少重試頻率、檢查鎖是否生效reload nginx后還是舊證書(shū)reload失敗或nginx worker未平滑重啟檢查reload日志、執(zhí)行nginx -tDNS-01驗(yàn)證一直pendingTTL緩存未過(guò)期、TXT記錄寫(xiě)入失敗手動(dòng)dig驗(yàn)證、檢查DNS API日志看門(mén)狗進(jìn)程在但沒(méi)執(zhí)行鎖文件殘留導(dǎo)致每次啟動(dòng)就退出檢查鎖PID是否存活、清理陳舊鎖5.2 排查命令與判斷思路排查證書(shū)類(lèi)問(wèn)題我建議每個(gè)運(yùn)維都刻在腦子里一套固定命令序列。第一步用openssl看證書(shū)有效期和基本信息openssl x509 -enddate -noout -in /etc/letsencrypt/live/example.com/fullchain.pem openssl x509 -serial -subject -issuer -noout -in /etc/letsencrypt/live/example.com/fullchain.pem第二步看實(shí)際服務(wù)端加載的證書(shū)是不是目標(biāo)證書(shū)。方法很多最可靠的直接看進(jìn)程加載路徑或用openssl s_client連接本機(jī)端口抓證書(shū)指紋。curl也可以輸出里能看到證書(shū)序列號(hào)。兩種方法的結(jié)果互相印證能定位“文件換了但服務(wù)沒(méi)加載”的問(wèn)題。第三步看續(xù)期工具自身狀態(tài)。certbot有certificates子命令acme.sh有--list輸出里直接包含每個(gè)證書(shū)的到期時(shí)間、續(xù)期狀態(tài)。這一步省去重復(fù)掃描也是排查“為什么沒(méi)觸發(fā)續(xù)期”的最佳入口。5.3 我踩過(guò)的幾個(gè)坑提前幫你們排掉第一個(gè)坑只監(jiān)控證書(shū)是否過(guò)期不監(jiān)控續(xù)期任務(wù)本身。證書(shū)過(guò)期的確是因?yàn)椤皼](méi)續(xù)上”但更關(guān)鍵的指標(biāo)是“下次續(xù)期時(shí)間是否在正常推進(jìn)”。正確的監(jiān)控姿勢(shì)是每天檢查剩余有效期一旦剩余天數(shù)低于安全閾值但沒(méi)有續(xù)期動(dòng)作立刻告警而不是等到快過(guò)期了才開(kāi)始看。第二個(gè)坑忽略了CA的限流余量。上次遇到過(guò)DNS-01連續(xù)失敗重試腳本沒(méi)控制頻率一小時(shí)請(qǐng)求了幾百次賬號(hào)被限流導(dǎo)致前后一個(gè)多小時(shí)其他正常域名也簽不了證書(shū)。從那之后我強(qiáng)制在WatchDog里加入全局請(qǐng)求速率限制并且失敗后必須退避這個(gè)比單個(gè)域名的重試策略更重要。第三個(gè)坑證書(shū)目錄權(quán)限太松。曾經(jīng)為了讓Nginx工作進(jìn)程能讀到私鑰把live目錄權(quán)限放開(kāi)到755私鑰權(quán)限644后來(lái)排查安全問(wèn)題時(shí)嚇出一身冷汗。私鑰文件必須600目錄750owner對(duì)應(yīng)運(yùn)行賬號(hào)檢查CI腳本里有一條專(zhuān)門(mén)校驗(yàn)這條不滿足直接失敗。第四個(gè)坑多臺(tái)機(jī)器共用一個(gè)證書(shū)存儲(chǔ)目錄時(shí)沒(méi)有鎖。兩臺(tái)機(jī)器同時(shí)續(xù)期同一個(gè)域名各自生成不同的私鑰后寫(xiě)的那臺(tái)把先寫(xiě)的那臺(tái)覆蓋掉結(jié)果一半服務(wù)用舊證書(shū)一半用新證書(shū)排查了很久才發(fā)現(xiàn)。解決方案就是前面說(shuō)的要么只讓一臺(tái)機(jī)器負(fù)責(zé)續(xù)期要么引入分布式鎖兩者必選其一。這里也提醒一點(diǎn)如果你的部署環(huán)境依賴acme.sh它的cron條目默認(rèn)就是每天執(zhí)行一次renew動(dòng)作這已經(jīng)是一個(gè)很好的自動(dòng)續(xù)期底座。你真正需要做的是圍繞cron把日志、告警、鎖、部署鉤子補(bǔ)齊把“會(huì)續(xù)期”升級(jí)為“可靠地續(xù)期”。我個(gè)人在實(shí)際維護(hù)中最深的一條體會(huì)是WatchDog這類(lèi)組件價(jià)值不在于它的代碼多復(fù)雜而在于你把它當(dāng)作一個(gè)需要長(zhǎng)期值守的小系統(tǒng)來(lái)對(duì)待——有狀態(tài)、有失敗路徑、有可觀測(cè)性。只要把“探活、判定、續(xù)期、部署、重試、回滾”這條鏈路打磨順了證書(shū)過(guò)期這個(gè)問(wèn)題基本就能從你手上徹底消失。后面如果再遇到面試官追問(wèn)細(xì)節(jié)你按這條鏈路一層層講下來(lái)再加上一兩個(gè)真實(shí)踩坑案例比背概念要扎實(shí)得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天爽天天操| 深爱激情网婷婷| 国产日比| 丁香五月网络网络| 五月丁香色停停啪啪啪| 夜夜撸日日操| 夜夜操夜夜姧| 国产成人网站在线观看| 99热精品少| 久久精品99国产精品日本| 狠狠999| 清纯唯美 激情四射| 天天色激情| 99热在线网站| 99久久9| 色五月视频无码播放| 黄色片avv| 婷婷天天日婷婷| 丁香六月婷婷综合欧美| 丁香五月天堂网| 精品一区二区三区木瓜| 99亚洲视频| 久久九九免费视频| 六月婷婷九月丁香亚洲综合| 五月婷亚洲精品AV天堂| 五月婷婷影视| 99日本精品视频热| 五月丁香六月花| 五月丁香六月婷婷的女人| 黄色五月婷婷| 婷婷五月天激情综合网| 97资源碰碰| 无码色| 久久综合天天综合| 激情综合网五月激情| 色婷婷在线视频| 日韩在线aaa| 在线你懂的亚洲欧| 六月婷婷色色网| 中文AV在线观看| 久久网站免费亚洲| 色婷婷亚洲在线观看| 久久色情| 四色AVwww| 色综合久久99色| 午夜天堂一区人妻| 9999三级片| 五月婷婷狠天天色综合| 久久成人天| 校园春色亚洲色| 色色色婷婷五月天| 五月综合色播播丁香婷婷| 色综合久久88色综合天天99| 在线日本www| 伊人久久婷婷| 91婷婷五月天嫩女| 婷婷丁香五月天色区| 九月婷婷激情| 色婷五月| 在线色色| 久操热线| 99热成人| 五月丁香在线偷拍视频| 亚洲小视频免费播放| 亚洲av| 五月天丁香网站| 天天模,夜夜模夜夜爽| 五月丁香久久丝袜啪啪| 五月婷婷色欲| www.国产色| 激情综合色播| 人妻在线中文字幕久久| 久久久婷婷婷| 日韩AV在线免费观看| 99热这里只有精品在线| 婷婷六月丁香五月| 五月婷无码| www. 五月. com| 大香蕉五月天婷婷| 综合大香蕉| 色99欧洲色19| 色999五月色| 任我肏| 91碰免费视频| 青柠影视免费高清电视剧| 婷婷久久五月天丁香| 天天操天天谢| 成人婷婷桔色| 综合狠狠伊人| 久久五月丁香| 色婷婷六月天| bukadeavzaixian| 国产午夜成人AV在线播放| 亚洲免费观看高清完整版AV线| 六月丁香深深爱| 97综合在线| 91丁香婷婷综合资源| 久久一级AV| 婷婷五月激情五月激情| 99re久久| 96精品久久久久久久久| 综合XX网| 五月天综合视频| 天天爽人人爽| 五月色婷婷综合丁香精品无遮挡| 国产99热在线看| 日韩在线观看亚洲| 九九综合图片网| 少妇伦子伦精品无吗| 91碰碰碰| 综合久久婷婷| 天天摸天天肏| 26uuu精品一区二区| 天天天天爽爽天干| 99爱免费视频| 天天色综合综合| A√天堂网在线| 狠狠久久婷五月| 九九re视频在线视频| 日操熟女| 婷婷丁香成人在线视频| 在线婷婷| 另类小说五月天| 久热超碰91| 68热超碰在线| 丁香五月开心七月| 国产精品91抖高| 中文字幕网伦射乱中文| 国产高潮A片羞羞视频涩涩| 99热在线只有精品| 色五月成人| 涩五月婷婷| 久久久性爱视频| 开心五月婷婷| 婷婷色九月| 午夜婷婷久久| 日韩成人AV在线| 综合色影院| 婷婷久久五月天| 亚洲热久久| 久久精品亚洲一级牲爱综合| 色五月激情五月天| 操逼巨乳91| 久久天天| 成人网站免费在线播放| 在线成人网站| a久久| 成功精品影院| 欧美电影在线播放| 97人人操人人插| av中文网| 99热这里只有精品一| 日韩另类| 亚洲激情淫网| 天天成人综合视频| www.com五月天| 国产VA亚洲VA96| 26uuu亚洲精品国产| 拳交大逼| 婷婷色色丁香五月天| 色婷婷综合亚洲| 五月婷婷色播| 日韩AAAAA| 91一起艹| 六月丁丁香| 五月丁香啪啪网| 少妇人妻人伦A片| 五月婷婷综合网| 大战熟女丰满人妻AV| 51精品国自产在线| 六月婷婷最新网址| 五月丁香婷婷色色色| 久热九九| 色噜噜狠狠色综合伊人| 色婷婷狠狠色| 思思热在线播放| 亚洲色五月婷婷| 婷婷五月综合体验看| 日韩性视频| 成人精品在线| 男女啪啪做爰高潮无遮挡| 草草女人亚洲| 天天干,天天操,天天射| 亚洲精品视频电影| www.婷婷六月天| 亚洲色网络| 99这里有精品视频| 男人的天堂99| 婷婷久热| www.久久66| www.五月天社区| 欧美色婷婷| 激情久久综合| 婷婷在线网| 久久蜜臀婷婷| 久久婷婷五月天懂色| 99在线观看免费精品视频| 午夜精品777| 婷婷夜夜操| 99热天堂| 亚洲第一成人无码A片| 九九Y精品热播| 久久激情五月网| 久操热线| 丁香婷婷六月在线资源观看| 亚韩在线视频| 欧洲第一无人区观看| jiujiuxiangjiaowang| 伊人色综合久久久| 五月天婷婷丁香蜜桃91| www.天天干| 97色婷婷| 996黄色片| 色婷婷九月| 中文字幕丁香五月| 99riAv1国产在线观看| 综合九九日本| 草草视频91| 狠狠色丁香99| 久久人妻精品| 极品人妻VIDEOSSS人妻| 欧美日本黄色| 婷婷综合五月色播| 五月天色社区| 日本在线视频看se99| 色九区| 九热视频这里只有精品| 激情四射婷婷| 久久久久9久无码视频| 激情床戏| 噜噜色婷婷| 日本色色色| 在线99色| 区区欧美你爱| 天天干天天插| 国产免费AV在线| 五月丁香婷婷婷婷综合网| 免费视频99| 97香蕉碰碰人妻国产欧美| 99综合入口| 欧美在线看| 天天色天天噜| 综合色播| 激情啪啪五月| 婷婷五月天综合小说网| 五月天开心网| 九九色综合网| 婷婷五月天久久| 丁香六月啪啪| 日本在线视频播放91| 91精品综合久久久久久五月丁香| 免费无码毛片一区二区A片| 另类亚洲视频| 色 五月俺去也| 97资源欧美日韩大香蕉超碰一区| 91碰碰视频在线观看| 欧美极品999| 免费不卡狠操美女视频网| 中文字幕人妻在线| 丁香五月天激情小说| 九九在线精点品| 一起草Av| 丁香五月电影| 国产精品久久久久久久久久免费 | 亚洲五月天婷婷| 九九婷婷五月天影视| 五月天婷婷av| 欧美超级视频97| 五月丁香六月婷婷在线播放| 国产精产国品一二三在观看| 九九精品网站| 久草婷婷| 伊人激情综合网| 五月丁香六月婷婷无码| 2025超碰| 五月婷婷六月综合| 五月婷婷六月丁香综合| 开心五月综合| 五月丁香六月婷| 色婷婷丁香综合中文字幕| 96五月丁香熟女| 少妇性BBB搡BBB爽爽爽视頻| 欧美欧盟性爱网| 99热久| 狠狠久久婷五月综合色| 狠狠色丁香婷婷综合久久97AV| 国产一级片| 婷婷丁香综合成人| 激情综合婷婷| 天天操夜夜爽天天操| 久热 91| 97婷婷久久丁香| 午夜无码精品色综合久久| www色色com| 婷婷五月色花丁香社区| 九九热av| 多精窝99在线视频| 色色色色网| 激情av网| 五月丁香婷婷欧美| 亚洲成人无码片| 国产黄色在线观看| 丁香六月婷婷综合网| 色久天| 日本啪啪网| 黄色91在线观看| 99caobi| 日日操,天天操| BBWCUCKOLD精品熟妇| 婷婷五月丁香综合亚洲| 色偷偷五月天| 噜综合| 精品人妻久久久久久| av大香蕉| 久久综合五月天| 色五月xxx| 丁香六月激情| 亚洲激情五月丁香久久久久| 五月四色激情| 天天天操天天天日| 碰碰碰91| 五月 激情视频| 91丁香婷婷综合资源| 五月天激情综合| 综合 蜜月 婷婷| 激情六月日韩| 91色吧网| 欧美激情综合| 国产色色网站网址| 久操香蕉| 日本五月天激情| 日韩无码91| 天天做天天爱天天高潮| 五月婷婷偷拍| 夜夜AVV| 亚洲色频| 国产精品大香蕉| 99亚州综合精品成人网| 国产夫妻操逼内射视频| 综合色色五月| 夜夜干 夜夜操| 久久玖玖综合| 性色五月天| 99亚洲综合| 日本熟妇乱妇熟色A片蜜桃| 嫩草AV久久伊人妇女超级a| 爱iii做iiii日日| 久色五月丁香视频| 婷婷丁香人妻天久久| 超碰人妻在线| 五月天激情av| w婷婷五月婷婷w| 在线看片av| www.激情五月天.com| 蜜桃成语时李时珍 免费| 99视频在线观看欧| 五月开心啪啪| 五月天社区| 日韩成人网站精品久久大全| 五月丁香亚州综合网| 亚洲激情久久| 噜综合| 色五天综合| 色五月亚洲开心网| 日本综合色色| ..真实国产乱子伦对白在线_欧| 婷婷五月天a| 亚洲五月天色色| 色婷婷大香蕉| 色五月丁香激情| 69婷婷丁香午夜| 日本三级中国三级99人妇网站| 久久人妻情侣| 国产免费一区二区三区三州老师F1F1.CC | 婷婷五月天播| 午夜在线成人网站免费观看| 中文字幕AV在线播放| 日日色五月天| 亚洲精品在线视频| 国产精品美女久久久久AV超清| 夜夜干天天干| 91丨九色丨大屁股| 99欧美热| 色色五月天婷婷| 五月开行婷婷色五月| 人人干女人| 婷婷五月天伊人| 丁香五月天在线| 丁香五月婷婷色情综合| 丁香婷婷激情网站| 天天爽天天日| 激情五月天激情五月天| 色之综合网| 9 大屁股在线视频精品| 综合久久婷婷| 五月天婷综合| 九九热这里只有精品一| 久久性爱视频| 97sese婷婷| 色99视频| 国产精品色色| 狠狠操.COM| 色综合丁香婷婷| 人与禽A片啪啪| 亚洲网站999| 伊人五月天综合网| 丁香五月婷婷大香蕉| 91精品久久久久久综合五月天| 99色视频| 99热这里只有精品最新| 五月丁了香蕉综合| 思思热久久艹| 免费观看2018www黄色操逼网站| 激情五月天网| 丁香婷婷色情| 噜噜噜噜噜色| 极品 少妇 内射| 激情另类综合| 我想看国产大学生口爆吞精的视频| 五月花婷婷| 激情综合五月丁香| CAOBIBI| 黄色激情五月天| 深爱激情中文五月天av| 国产免费av在线| 亚洲无AV在线中文字幕| 99热综合| 色爱99| 五月婷六月天| 亚洲色色图片| 精品人妻伦九区久久AAA片| 337p大胆噜噜噜噜噜91Av| av在线免费网站| W色综合| 97福利视频| 亚洲五月花| 色婷婷丁香五月丁香| 九九综合九九| 99re热在线视频观看| 婷婷五月天性色| 性爱综合网| 久操无码| 无码橾| 亚洲人妻五月丁香婷婷| 97久久精品| 青青色com久久| 91精品国产91久久久久青草| 五月欧美丁香在线观看| a性生活久久无| 五月成人网站| Www.婷婷五月| 色的色综合| 五月激情丁香五月| 色情综合| 色噜噜狠狠色综合成人网| 在线亚洲综合| 亚洲一二三网| 午夜伊人大香蕉| 亚洲精品又粗又大又爽A片| 99久久久99久久91熟女| 九色视频91疯狂| 天天日天天舔| 99免费| 99成人免费热视频| 色欲天天综合| 五月停停丁香| 六月五月婷婷| 五月丁香综合激情在线观看| 人人草公开操| 五月天激情综合网俺也去| 九九人人自拍| 97碰超级人人看| 激情av在线| 色五月婷婷影院| 婷婷之玖玖| 亚洲日本三级片| 色狠狠色综合久久久绯色aⅴ影视| 狠狠操天天干| 五月开心网| www色色com| 五月丁香五月婷婷| 丁香六月婷婷久久综合| 九九热在线精品视频| 91婷婷在线| 99热综合在线| 99亚洲视频| 99视频在线观看网址| 色色色色色网站| 亚洲激情网站| 久久久久久性爱视频| 99爱免费视频| 五月丁香黄色视频| 99在热线免费视频| 丁香五月激情综合| 丁香九九九九| 五月丁香六月激情欧美综合| www.激情五月| 涩涩五月天| 亚洲超级碰| 深爱五月天| 99天堂网| 九九爱激情| 亚洲日本三级片| 婷婷五月另类网站| 国产综合丁香五月天| 91人人妻人人操| 99内射视频| 欧美色九| 天天骑日日爽| 天天噪夜夜爽| 天天久综合| 婷婷综合视频| 激情五月婷婷五月| 少妇人妻偷人精品无码视频新浪| 日本三级第一页| 欧美日本99| 中文AV在线观看| 日日干天天射| 人人舔人人色人人高潮| 超碰99在线| 亚洲另类婷婷综合| 色五月91| 最近免费中文字幕大全高清大全1| 中文幕无线码中文字蜜桃| 嫩模草| 久热re在线视频| 97干网站| 五月婷婷丁香五月亚洲色| 精品色色网| 欧洲第一久色| www.henhenl| 99热国产| 国产全是老熟女太爽了| 4399在线观看免费高清毛片| 欧美日本黄色| 久久五月丁香伊人青草| 巴基斯坦粉嫩无码视频| 色五月婷婷操逼| 久久这里只有精品热在99| 中文字幕无码AV| 大香蕉天堂色| 操人91| 丁香五月天欧美在线| 丁香五月激情婷婷婷婷在线观看| 丁香五月欧美成人| 性生生活大片又黄又| 9色在线视频精品观看| 激情综合区| 激情5月婷婷狠狠干| 五月天婷婷无码视频| 亚洲AV网址| 成人视频网| 丁香婷婷久久综合在线| 婷婷五月情| 一二三区视频韩国| 九九热国产| 五月婷婷色影院| 国产FREESEXVIDEOS性中国| 婷婷五月丁香99| 久久六月天| 六月丁香激情综合| 91男同| 少妇高潮呻吟A片免费看软件| 久久资源综合| 婷婷五月色| 五月婷婷丁香五月婷婷| 四虎成人精品永久免费AV九九| 日本欧美成人片AAAA| 97色精品视频 | 九九色影视| 婷婷五月天亚洲激情戏精品| 色五月天丁香婷婷| 日本狠狠干| 久热婷婷| 婷婷五月精品中文字幕| 都市激情蜜桃婷婷五月天| 五月丁查人人| 色五月天综合网| 色天使久久综合| 亚洲成人免费电影| 婷婷婷婷婷开心无码播放| 久热这里| 五月丁香综合成人社区| 五月天婷爱综合| 99热国产精品| 综合久久五月| 五月丁香婷婷无码中文| 久久99性爱视频| 91九色国产| 香蕉影院色| 五月激情综合网| 婷婷开心激情五月激情网| 五月丁香婷婷啪啪| 中文久久婷婷| 日本不卡五月婷婷丁香| 99热这里只有精品9| 大香久久伊人网| 色五月开心五月激情五月| www,色婷婷| 伊人爱爱日本| 色色日韩网| 色婷婷丁香五月| 97超碰免费超级在线观看| 影音先锋色婷婷| 亚洲aV写真天天综合网久久| 天天日天天插| 天天噜日日噜综合无码| 色婷婷五月在线| 性色做爰片在线观看WW| 亚洲人妻av| 日婷婷| 婷婷色色亚洲| 成人色站,在线视频,看片-SS1AV| 五月婷婷五月天| 婷婷色六月| 欧美va视频不用播放器的va视频网| 色老久久| 免费成人中文字幕| 久久这里只有精品视频1| 五月激情啪啪| 日本va欧美va欧美va精品| 99色色| 久久激情四射| 79成人网| 性爱综合网| 日韩999| 五月天婷婷小说| 在线观看日韩12345区| 欧美五月丁香啪啪响视频| 超碰色综合| 九九色逼| 色欲久久久久久综合网综合网| 亚洲AV成人无码久久精品老人法拉利| 国产精产国品一二三在观看| 狠狠色丁香久久久婷| 99视频在线播放大全| 丁香五月很很肏| 天天成人综合视频| 五月婷丁香| 六月丁香深深爱综合网| 日夜操B| 天堂爱啪啪| 亚洲操b| 1024欧美看片| 婷婷五月天第四色| 亚洲欧美综合7777色亭亭| 91婷婷五月天综合视频| 强辱丰满人妻HD中文字幕| 五月丁香在线视频观看| 五月丁香啪| www99热| 色婷婷免费视频| 五月天综合久久丁香91| 丁香五月天啪啪| 九九色中文| 婷婷色5月激情网| 五月婷无码| 99热这里只有精品最新| 国产SUV精品一区二区883| 开心婷婷五月天电影院| 日韩丰满少妇无码内射| 丁香五月激情六月综合| 欧美日本韩国亚洲| 亭亭社区五月天| 综合狠久久| 婷婷五月天电影在线| 91操黄| 亚洲人妻一区二区 | 激情五月天婷婷五月天| 欧美精品A片一区在线观看| 综合色播| 日本成人综合| 九九热中文| 激情久久久久久| 99热精品在线| 激情综合自拍五月婷婷色五月| 丁香激情网| 久久一热免费视频| 风流少妇A片一区二区蜜桃 | 天天肏视奸| 激情婷婷五月天在线观看| 有码一区二区三区| 四月婷婷丁香五月| www.maotanji.com| 99精在线| 99r久久这里只有精品| 中文字幕日产A片在线看| 日韩婷婷五月天| 97人人干视频| 日本人人xxx| 色五月婷婷天堂| 亚洲成人网站在线播放| 久操大香蕉| 五月婷婷六月激情| 免费试看小视频 99| 8050一级网| 狠狠插日日干撸| 狠狠 久久| 激情爱爱网站| AV中文在线| 五月综合激情| 久久性爱视频这里只有精品| 久99久99精品免| 九九人人操| 综合激情五月综合激情五月激情1 天天爱天天做天天舔 | 五月婷婷先锋| 激情中文在线| 五月天开心婷婷久久| www.丁香黄色五月天人与| 五月天激情图片| 婷婷五月天免费小说| 五月丁六月香| 96精品久久久久久久久| 五月开心激情| 五月天欧美激情| 99热久久日本| 综合五月婷婷| 亚洲第一视频 久久| 哇嘎成人久久| 99热6这里只有精品| 色五月 激情婷婷 综合五月天| 婷婷综合五月天| 色色色色网站| aaa丁香五月天| 色八月婷婷| 九色啦蜜臀| 伊人婷婷青青cao| 丁香五月花| 狠狠色综合精品视频在线| 在线观看的av| 久99999热视频在线观看免费| 美欧成人视频| 五月丁香六月婷婷综合在线| 777米奇影视第四色| 色小说五月天| 五月天婷婷色在线视频免费观看 | 激情五月丁香亭亭 | 国产淫熟妇| 日本色色网站| 9久热| 色婷五月天网站| 九色 在线| 国产精品A成V人在线播放| 五月丁香啪啪| 99re思思在线视频| 成人AV网站在线| 丁香六月婷婷| 99视频精品全部观看10| sS丁香五月婷婷| 免费99色| 六月丁香五月婷婷| 婷婷狠狠97| 婷婷丁香五月激情图片| 123草逼网| 久九男女天堂| 五月丁香香蕉| 五月亚洲| 无码天天操| 色婷婷免费视频| 日韩综合成人| 激情综合亚洲| 五月丁香天堂网| 欧美成人无码高清一区二区三区| 国产婷婷久久| 麻豆AV一区二区三区| 九色91视频| WWW.色婷婷.COM| 这里只有精品偷拍| 色婷婷久久视屏| 国产精品久久久久9999小说 | 色九九中文字幕| 天天干夜夜谢| 色五月激情网| 一级A片天天操夜夜操| 色综合久久中文| 久草丁香婷婷1024| 婷婷五月天福利| 日韩精品一区二区亚洲AV观看| 婷婷色五月天综合网| 亚洲激情四射| 丁香五月婷婷大香蕉| 成人中文网| 婷婷色五月激情| 色五月色五天免费视频| 激情影院免费视频婷婷五月天| 色色色干| 强奸幻女毛片| 人妻内射一区二区在线视频| 97人人草| 日本婷色| 深爱五月网| 五月天色婷婷图片| 俺来也综合网精品一区| 婷婷色色丁香五月天| 最熟少妇乱码| av人人干| 99精品无码| 婷婷十月激情综合网| 久久九九免费大视频| 激情综合无码| www91精品| 婷婷六月成人| 最新高清无码专区| 五月丁香六月激情在线| 丁香六月综合激情| 岛国AV网| 色久五月| 狠狠色官网| 丁香五月色色色色| 国产激情综合| 五月天天综合| 91久草五月天婷婷| 五月婷婷黄网站大全| 亚洲字幕AV一区二区三区四区| 亭亭玉月丁香| 婷婷色导航| 色婷婷超碰| 人人播| 五月色天情| 天天干天天 亚洲| 99热这里是精品| 色色色综合色| 亚洲婷婷婷| www.99精品在线| 国产操肏网站| 9婷婷内射| 色色网91| 婷婷综合偷拍| 激情五月瑟瑟| 五月丁香婷婷激情爱爱| 男同色五月开心五月激情五月| 精品影院| 风流少妇A片一区二区蜜桃| 丁香九月激情| 99久久久| 丁香六月色婷婷| www.精品99| 五月天伊人久久久久| 五月婷婷激情综合| 九月婷婷色色| 色欲丁香| 丁香六月婷婷久久综合| 丁香六月在线| 99精品无码| 99久久99久久综合| 色五月激情综合网| 色噜噜狠狠色综无码久久合欧美| 久久香蕉影院| 少妇搡BBBB搡BBB搡毛茸茸| 亚洲亚洲人成综合网络| 日本人人超碰| 精品久9| 婷婷五月天久| 五月丁香激情啪啪网| 97黑人精品区| 99在线热| 丁香色婷婷| 色久播播| 五月丁香六月日逼| 777精品成人a v久久| 国产六月婷婷| 亚洲第一视频 久久| 五月开心婷婷| 99热这里只有精品在线播放| 亚洲这里只有精品| 久久98热re| 99久久久免费| 思思热视频在线| 婷婷五月天成人网| 黄色片久久| 激情精品久久| 光棍影院日韩精品| 亚洲精品国产setv| 97五月天婷婷午夜| 九九视频热| 九九免费视频| 国产精品视频| 99免费在线视频| 亚洲欧洲中文日韩久久AV乱码| 日韩AC在线免费观看| 久久一操| 亚洲色色五月天| 99热婷婷| 亚洲日本激情| 午夜精品777| 操一操| 天天综合网在线| 久久久精品色| 日本欧美成人片AAAA| 性爱111111| 丁香 久久| 在线观看五月婷婷网| 色亚洲中文| 五月天涩涩| 亚洲最大在线| 国产美女无遮挡裸体毛片A片| 久久精品熟女亚洲AV麻豆| 久久天堂婷婷五月| 另类视频综合| 26uuu激情五月天| 六月婷婷久久大全| 9久久久久| 人妻AV中文系列| 亚洲AV成人无码电影| 99爱爱| 亚洲无码成人性爰网| 99网| 欧洲色| 日韩黄色中文字幕| 996精品热视频| 综合色色网| 五月开心婷婷| 91精品综合久久婷婷九色| 丁香五月天堂网| 久久久免费图片视频| 狠狠色色| 婷婷十月激情综合网| 色色色999| 婷婷五月花.97| 欧美色图天堂网色| 狠狠搞综合色| 开心激情婷婷| 婷婷丁香六月| 激情久久网 | 丁香激情四射| 成人国产欧美大片一区| 五月婷婷黄色毛片| 最新热中文字幕| 五月天播播| 色999亚洲人成色| 婷婷丁香五月激情密臀av| 婷婷欧美偷拍综合| 天天狠天天叉| 成人看片网站| 在线99精品| 六月丁香婷婷色狠狠久久| 99热这里只有免费| 丁香五月电影| 色婷婷AV久久| 五月天天丁香婷婷在线中| 丁香五月天啪啪a日本| 任你日视频| 九九爱激情| 五月丁香久人妻中文| 五月天婷婷无码视频| av网址在线| 欧美色必爱| 天天干,天天舔| 婷婷色色婷婷| 亚洲精品无人区| 午夜69成人做爰视频| 六月丁香婷婷色狠狠久久| 五月婷婷色播网| 97丁香婷婷| 91九色PORNY大屁股| 狠狠舔| 六月婷婷开心| 欧美成人AAA片一区国产精品| 色婷婷69| 婷婷五月天激情丁香| 久操热线| 97碰碰人人视频| 婷婷丁香五另类网站| 天堂A∨在线| 99热有精品在线观看| 五月激情丁香五月| 丁香五月成人| 亚洲综合网在线| 丁香五月婷婷久久综合激情网 | 综合色图婷婷| 凹凸7777操操操| 激情中文在线| 91九色成人原创视频| 天天爽在线视频| 五月婷婷丁香五月婷婷丁香| www九九免费视频| 99热大全在线观看| 久久性操| 中文字幕操比影片| 久久久久婷婷五月热综合| 伊人网啪啪| 热久久这里只有三级视频| 色八月婷婷| 久久久大香蕉| 国产干逼片| 六月亚洲| 久久五月丁香| WWW.桔色成人.COM| 91人人爽狠狠狠| 五月丁香综合激情| 丁香八月综合激情| 婷婷激情蜜桃玖玖丁香| 亚洲中文字幕av| 色婷婷女优有码五月亭| www.夜夜.com| 中字幕视频在线永久在线观看免费| 天天操婷婷| 深爱综合网| 丁香婷婷浪潮AV久久综合| caopeng97日韩| 色情五月丁香| 婷婷五月色综合| 婷婷涩五月天综合| 成人无码精品1区2区3区免费看| 开心婷婷中文字慕| 狠狠干在线| 成人一区在线观看| 丁香五月色欲| 欧美色激情四射| 六月丁香五月亭亭| 婷婷久热| 久久久久这里都是精品| 天天摸色吧天天摸色吧| 玖玖91| 五月青青草综合| 狠狠操狠狠| 天天爽天天爽天天爽天天爽天天爽天天爽天天 | 五月婷婷中文字幕| 丁香五月色网| 亚洲综合五月天婷婷丁香| 一区二区三区四区牛| 亚洲 无码 中文字幕 中出| 欧美性爱五月天| 青草性爱视频| 五月天激情网图片| 就是色婷婷五月亚洲色| www.超碰| 99久热在线精品| 99热精品在线观看| 中文字幕在线资源| 在线观看av网站| 久热超碰91| 人人摸人人操人人爽| 五月久熟女| 26UUU欧美| 亚洲av网站| 丁香花色色网| 永久的网站AAAA| 日本狠狠干| 婷婷久久五月| 激情第四色| 婷婷五月天xxx| 无码日本精品XXXXXXXXX | 日韩欧美四五区| 亚洲春色奇米影视| 亚洲麻豆乱码国产2028| AV片在线观看| 婷婷丁香五月精品| 久久综合婷婷激情| 日日夜夜小色哥| 大香蕉懂9| 激情网五月天| 91干视频| 夜夜谢天天干| 色婷婷丁香五月高清在线| 天天插天天干| 天天操夜夜玩!| 日韩黄色影院| 骚货艹网站视频| 丁香五月 无码| 青青草原福利在线| 99ri视频在线观看| 婷五月天| 99精品视频偷拍| 国产性爱亚洲是图| 激情综合网婷婷久久| 婷婷99狠狠躁天天久久久九九九| 人妻五月天激情开心网| 日本不卡一区二区三区| 九一99| av免费在线网站| 亚洲综合久| tingtingjiqingwuyue| 丰满少妇猛烈A片免费看观看 | 日韩五月婷婷久久| 五月丁香综合中文| 99热99干| 久久人妻视频| 五月丁香婷婷伊人| www婷婷色| 天天做天天爱天天爽综合网| 色婷婷丁香九月| 五月天成人综合| 青青草深爱激情网| 九月婷婷在线观看| 香蕉人在线香蕉人在线 | 色丁香久久| 97精品人人A片免费看| 天天操夜夜爱| 无码色综合| 99热在线播放| 五月天婷婷青青| 九九超碰人人| 国产激情视频在线观看| 婷婷丁香五月天在线视频| 熟妇天天综合| 99在线视频精品| 狠狠草天天草| 婷婷97C| 91成人视频| 26UUU在线观看| 91啪啪啪啪| 成人丁香| 婷婷激情5月| 丁香婷婷超碰 | 美国十月色婷婷在线观看| 97人人操人人| 日韩中文字幕| 开心五月天激情| 激情综合自拍五月婷婷色五月| 91精品又长又大又粗又爽又猛| 五月色丁香婷婷综合| 日韩人妻操逼视频| 99riAV国产精品视频| 91婷婷| 五月婷深深爱激情网| 欧美色色日韩| 99国产精品久久久久久久久久久| 五月天婷婷综合网| 日本色婷婷五月天成人电影| 热婷婷久| 99色色网| 丁香色婷婷五月天| 女性自慰系列第五页| 99精品丁香五月| 超碰免费99| 这里只有精品视频看看| 色噜噜狠狠色综合网| 久久在线视频免费观看| 国产精品五月天婷婷| 天天久久人人| 国产超碰av| www.婷婷| 丁香婷婷深情五月亚洲| 另类色视频| 久久丁香九| 久热这里| 激情欧美丁香五月| 色播五月婷婷综合| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 天天综合色| 123草逼网| 天天揷综合网| 亚洲在线操| 久久久久久久合一狠狠做深爱| 九色 在线| 一本色道久久88综合日韩精品| 人人摸人人澡人人| 色五月婷婷成人视频| 啪色综合| 色区久久| 婷婷五月花| 欧美韩日AAA网站| 九色视频91疯狂| 碰久久精品w| 婷婷五月丁香综合| WWW,五月| 最新激情五月天| www..999热久| 桃色五月婷婷| 狠狠干夜夜干| 看片视频在线免费日产在线看| 亚洲国产色婷婷| 99精品国产在热久久婷婷| 日韩丁香涩| 五月婷婷成人| 五月丁香综合中文| 丁香六月天婷婷开心综合| 五月天激情小说| 毛片新网地| Av狠狠色丁香婷| 色五月综合| 色噜噜狠狠色综合成人网| 狠狠色噜噜色狠狠狠综合久久成人波 | 丁香五月社区| 天天摸天天透天天舔| 天天开心天天色| 久热在线观看视频9| 202丰满熟女妇大| 91干| 高清无码入口| 新激情五月天色播| 五月花成人网| 婷婷五月天av网| 婷婷九月综合| 啪精品| 91夫妻网站九色| 天天射影院| 色九九综合| h在线看免费版在线看| 婷婷五月丁香色情| 欧美激情Va| 性色播| 婷婷五月综合社区| 大香久久伊人网| 操日本99| 欧美电影在线观看| 泰州成人视频| 九九精品99| 五月草影视| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 五月色丁香婷婷中文字幕| 丁香五月性| 色欲九区| 婷婷五月激情五月丁香五月| 婷婷在线日韩综合| 五月丁香综合啪啪| 99热伊人| 五月丁香91| 五月丁香影院| 色婷婷丁香五月天在线观看| 久久欧洲综合网| 婷婷五月天男人影院色色网| 天天操夜夜夜夜爽| 另类精品视频在线观看| 婷婷黄色五月| 久久婷五月影院| 五月婷婷AV| 深爱五月天天| 99色色最新视频| 丁香成人综合| 天天婷婷天天| 六月丁香深深爱| 五月丁香六月婷婷综合在线| 乱码操操| 五月丁香综合| 这里只有精品免费在线视频| www一起操| 五月天婷婷色色网| 婷婷九月在线| 婷婷综合一二三| 蜜桃婷婷狠狠久久综合| 久久99日本精品视频免费观看| 久久久久久久久久久久63| 色婷婷无吗| 岛国资源站| 超碰在线94| 新激情综合| 99超级碰碰| 97干在线播放| 久久影视婷婷五月| 婷五月天六| 91精产一区三区免费观看| 天天综合五月天| 影音先锋91| 久久婷婷亚洲| 9久久精品| 入口五月婷婷六月香| 日本久久高清| 久久久久久久综合狠狠综合| 99re这里只有精品视频6| 国产成人VA| 5月色婷婷| 噜噜噜噜噜日本视频| 五月天欧美 另类小说| 五月丁香婷婷久久| 99在线视频在线观看| 99色一| 伊人超碰| 丁香综合网| WWW.婷婷| 亚洲婷婷五月| 色色色在线观看| 成人网站在线观看视频| 久久婷婷五月| 噼里啪啦完整版中文在线观看|