欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux下Tomcat開機(jī)自啟:systemd配置與排障全指南

Linux下Tomcat開機(jī)自啟:systemd配置與排障全指南 如果你手頭有一臺(tái)跑著生產(chǎn)業(yè)務(wù)的 Linux 服務(wù)器上面部署了 Tomcat那你大概率經(jīng)歷過這種時(shí)刻機(jī)房斷電、服務(wù)器自動(dòng)重啟或者運(yùn)維例行升級內(nèi)核 reboot 之后同事過來說“網(wǎng)站打不開了”。SSH 上去一看MySQL、Nginx 都活著唯獨(dú) Java 進(jìn)程沒了——Tomcat 沒有開機(jī)自啟。后來我專門整理過一套在 linux 上設(shè)置 tomcat 開機(jī)啟動(dòng)的完整方法才把這件回頭看并不復(fù)雜、踩坑時(shí)卻相當(dāng)折磨人的事徹底理順。這篇內(nèi)容適合手里有 Linux 服務(wù)器、用 Tomcat 跑著 Java Web 項(xiàng)目、且經(jīng)受不起下次重啟后服務(wù)靜默消失的開發(fā)或運(yùn)維朋友。文章不會(huì)只給你一段能用的配置我會(huì)把方案選型、單元文件每個(gè)參數(shù)的作用、驗(yàn)證方式、常見坑的完整排查鏈路以及配套的 JVM 參數(shù)、日志切割、多實(shí)例部署這些細(xì)節(jié)一并講清楚。1. 為什么 Linux 服務(wù)器上的 Tomcat 必須配置開機(jī)自啟1.1 先說一個(gè)讓我凌晨爬起來加班的場景我印象特別深有一年某個(gè)測試環(huán)境因?yàn)闄C(jī)房變更要重啟一臺(tái)老應(yīng)用服務(wù)器上面跑著 Tomcat 8.5 和幾個(gè)客戶對接用的 JSP 系統(tǒng)。重啟完成、網(wǎng)絡(luò)通了之后用客戶端工具一連——接口直接報(bào)連接超時(shí)。SSH 上去看Memcached 是起的Nginx 是起的唯獨(dú)java進(jìn)程一個(gè)都看不到Tomcat 壓根沒有跟著系統(tǒng)起來。當(dāng)時(shí)這臺(tái)機(jī)器的 Tomcat 是同事手動(dòng)startup.sh拉起來的配置里也沒有任何開機(jī)自啟的邏輯。更要命的是沒人記得具體配置細(xì)節(jié)JAVA_HOME、CATALINA_BASE 全靠/etc/profile里的環(huán)境變量撐腰。我后來花了大半夜把環(huán)境全部摸了一遍才意識(shí)到配置 Tomcat 開機(jī)啟動(dòng)這件事不只是寫一行命令那么簡單它需要把啟動(dòng)方式、環(huán)境變量、用戶權(quán)限、服務(wù)依賴全部理順。從那以后我在任何一臺(tái)要長期跑 Tomcat 的 Linux 機(jī)器上做的第一件事就是先把開機(jī)自啟搞定。1.2 開機(jī)自啟的三種主流方案先做個(gè)了斷到目前為止我在不同年代、不同發(fā)行版的機(jī)器上實(shí)際用過的方案主要有三種方案原理適用場景維護(hù)成本systemd 服務(wù)單元通過/etc/systemd/system/tomcat.service聲明服務(wù)由 systemd 托管生命周期當(dāng)前幾乎所有主流發(fā)行版CentOS 7、Debian 8、Ubuntu 15低管理命令統(tǒng)一SysV init 腳本在/etc/init.d/放腳本通過update-rc.d或chkconfig注冊老系統(tǒng)、最小化容器、嵌入式環(huán)境中依賴順序全手動(dòng)crontab reboot用戶 crontab 里寫reboot /path/startup.sh臨時(shí)性、實(shí)驗(yàn)性環(huán)境低但服務(wù)狀態(tài)和重啟策略幾乎沒有我見過不少生產(chǎn)環(huán)境的服務(wù)器還在用第三種方式就是reboot掛一條啟動(dòng)命令。你說它不行它確實(shí)能在重啟后把 Tomcat 拉起來。但問題在于沒有服務(wù)狀態(tài)管理如果想用systemctl查狀態(tài)、自動(dòng)重啟、看失敗次數(shù)、做資源隔離它什么都給不了。而且reboot的 cron 任務(wù)經(jīng)常踩環(huán)境變量坑——crontab 的執(zhí)行環(huán)境不是登錄式 Shell/etc/profile里定義的 JAVA_HOME 它根本讀不到啟動(dòng)一個(gè)失敗一個(gè)。SysV init 腳本在 CentOS 6 時(shí)代是絕對主力我現(xiàn)在也還會(huì)遇到基于老鏡像的機(jī)器。它的邏輯就是啟動(dòng)時(shí)按 rc.d 里的腳本順序調(diào)用#!/bin/sh從頭寫一套 start/stop/restart 邏輯還要考慮鎖文件、PID 文件。能用但確實(shí)繁瑣而且很多長期沒人維護(hù)的 init 腳本里連注釋都過期了。1.3 為什么我最終把生產(chǎn)環(huán)境的 Tomcat 全部切到 systemd如果機(jī)器發(fā)行版支持 systemd我的建議非常直接別折騰其他方案直接用 systemd。理由不復(fù)雜就三條。第一服務(wù)狀態(tài)可觀測。systemctl status tomcat看到的是active (running)、activating、failed這些明確狀態(tài)結(jié)合journalctl -u tomcat能看到服務(wù)日志定位速度比在/var/log/tomcat/里翻半天快得多。第二依賴和資源控制原生支持。我可以聲明Afternetwork.target等網(wǎng)絡(luò)就緒也可以設(shè)置MemoryLimit、CPUQuota對 Tomcat 這種占內(nèi)存大頭、容易出現(xiàn)內(nèi)存泄漏的 Java 進(jìn)程這是實(shí)實(shí)在在的護(hù)欄。第三失敗重啟策略。Restarton-failure加上RestartSec讓 Tomcat 意外退出后自動(dòng)拉起。相比在 crontab 里反復(fù)跑pgrep去判斷進(jìn)程存在與否systemd 的處理方式又干凈又可靠。現(xiàn)在主流發(fā)行版幾乎都跑 systemd所以下面的配置全部圍繞 systemd 展開同時(shí)穿插說明一些老方案里的對應(yīng)做法。2. 手把手把 Tomcat 配成 systemd 開機(jī)自啟服務(wù)2.1 動(dòng)手前先體檢目錄、賬號(hào)、路徑這三個(gè)事別跳過配置前我會(huì)先確認(rèn)三件事任何一件沒確認(rèn)清楚后面都會(huì)回來找麻煩。第一JDK 的真實(shí)路徑。在命令行里執(zhí)行which java readlink -f $(which java)后一條命令會(huì)把/usr/bin/java這類軟鏈接一路解析到真實(shí)路徑比如/usr/local/java/jdk-17/bin/java那 JAVA_HOME 就是/usr/local/java/jdk-17。千萬別想當(dāng)然寫成/usr/lib/jvm/...以readlink解析出來的為準(zhǔn)。第二Tomcat 安裝目錄和版本。通常我會(huì)用/usr/local/tomcat作為 CATALINA_HOME。要注意目錄里有沒有完整的bin、conf、lib結(jié)構(gòu)缺少文件大概率是以前解壓到一半或者路徑被改過??梢詧?zhí)行/usr/local/tomcat/bin/version.sh看版本前提是 JAVA_HOME 已經(jīng)在當(dāng)前 Shell 導(dǎo)出。第三運(yùn)行賬號(hào)。強(qiáng)烈建議不要用 root 直接跑 Tomcat。一旦進(jìn)程被利用或者 war 包出問題root 權(quán)限的 Java 進(jìn)程會(huì)造成更大的麻煩。我通常新建一個(gè)系統(tǒng)用戶useradd -r -s /bin/false tomcat chown -R tomcat:tomcat /usr/local/tomcat-r表示系統(tǒng)賬戶-s /bin/false讓它無法交互登錄對 Tomcat 運(yùn)行來說足夠。大家常問的“Tomcat 啟動(dòng)閃退”有相當(dāng)一部分就是目錄權(quán)限不對啟動(dòng)腳本寫不了日志或 PID 文件導(dǎo)致進(jìn)程退出。2.2 寫一個(gè)能打的 tomcat.service 單元文件在/etc/systemd/system/tomcat.service創(chuàng)建文件這是 systemd 管理 Tomcat 的入口。我先把一份經(jīng)過生產(chǎn)驗(yàn)證的配置完整貼出來再做逐行解釋。[Unit] DescriptionApache Tomcat 9 Web Application Container Afternetwork.target Wantsnetwork.target [Service] Typeforking Usertomcat Grouptomcat EnvironmentJAVA_HOME/usr/local/java/jdk-17 EnvironmentCATALINA_HOME/usr/local/tomcat EnvironmentCATALINA_BASE/usr/local/tomcat EnvironmentCATALINA_PID/usr/local/tomcat/logs/tomcat.pid PIDFile/usr/local/tomcat/logs/tomcat.pid ExecStart/usr/local/tomcat/bin/startup.sh ExecStop/usr/local/tomcat/bin/shutdown.sh Restarton-failure RestartSec10 TimeoutStartSec60 TimeoutStopSec30 [Install] WantedBymulti-user.target這個(gè)文件里的[Unit]部分描述服務(wù)是什么、啟動(dòng)順序上的依賴[Service]部分是核心定義了進(jìn)程類型、用哪個(gè)用戶運(yùn)行、執(zhí)行什么腳本[Install]段決定了它掛載到哪個(gè)啟動(dòng)目標(biāo)multi-user.target表示這臺(tái)機(jī)器進(jìn)入正常的非圖形化運(yùn)行級別時(shí)啟動(dòng)。2.3 單元文件里這些參數(shù)每一行都在解決什么問題很多人習(xí)慣網(wǎng)上復(fù)制一份配置能用就行出了問題就完全不知道往哪里看。我建議把幾個(gè)關(guān)鍵參數(shù)吃透。Typeforking。Tomcat 的startup.sh啟動(dòng) Java 進(jìn)程后會(huì)立即返回退出真正的 Tomcat 主進(jìn)程是被 fork 出來的子進(jìn)程所以對 systemd 來說必須聲明Typeforking。如果不聲明或聲成simplesystemd 會(huì)把短暫駐留的啟動(dòng) Shell 當(dāng)成主服務(wù)導(dǎo)致狀態(tài)判斷完全錯(cuò)亂。PIDFile 與 CATALINA_PID。systemd 需要跟蹤 Tomcat 實(shí)際主進(jìn)程的 PID 來管理它。Tomcat 自身通過 CATALINA_PID 來寫 PID 文件。單元文件里我把 PID 指向/usr/local/tomcat/logs/tomcat.pid。這里有一個(gè)非常典型的坑很多發(fā)行版默認(rèn) Tomcat 配置里沒有導(dǎo)出 CATALINA_PID啟動(dòng)時(shí)根本沒有 PID 文件可讀systemd 在 stop 和 status 時(shí)的判斷會(huì)對不上。解決辦法就是顯式在服務(wù)里設(shè)置同時(shí)寫上PIDFile讓 systemd 知道去哪里讀。Environment。這一步我要特別強(qiáng)調(diào)。systemd 通過ExecStart啟動(dòng)的服務(wù)不會(huì)讀取/etc/profile、~/.bashrc這些 Shell 初始化文件。不少人的 Tomcat 平時(shí)手動(dòng)啟動(dòng)沒問題一配 systemd 就報(bào)JAVA_HOME is not defined correctly十有八九是這個(gè)原因。所以我把 JAVA_HOME、CATALINA_HOME、CATALINA_PID 統(tǒng)統(tǒng)用 Environment 寫進(jìn)去不依賴任何全局 Shell 變量。After / Wants。Afternetwork.target表示網(wǎng)絡(luò)目標(biāo)完成后才會(huì)啟動(dòng) Tomcat避免在網(wǎng)絡(luò)接口沒有就緒時(shí)就去綁定端口。如果你的項(xiàng)目強(qiáng)依賴數(shù)據(jù)庫或 Redis也可以追加Aftermysql.service之類的聲明。注意After不產(chǎn)生啟動(dòng)依賴它只是順序約束要用Requires或Wants來真正拉起依賴服務(wù)最常見的組合就是Wants...加After...。Restart 策略。Restarton-failure搭配RestartSec10進(jìn)程異常退出時(shí) 10 秒后自動(dòng)重試。on-failure只處理非正常狀態(tài)如果你自己調(diào)systemctl stop tomcat它不會(huì)去重啟這也是我推薦這個(gè)值的原因。TimeoutStopSec。Tomcat 關(guān)閉時(shí)可能要優(yōu)雅停掉應(yīng)用和連接池時(shí)間給太短會(huì)被 systemd 強(qiáng)殺。我設(shè)了 30 秒大多數(shù) Web 應(yīng)用足夠。如果線上應(yīng)用有長事務(wù)、連接池回收慢可以再調(diào)大一點(diǎn)。2.4 啟用自啟、驗(yàn)證生效一次做過配置寫完以后執(zhí)行systemctl daemon-reload systemctl enable tomcat systemctl start tomcat每次修改 service 文件必須重新執(zhí)行daemon-reload這是新手最容易漏掉的動(dòng)作。enable會(huì)在/etc/systemd/system/multi-user.target.wants/下生成符號(hào)鏈接下次開機(jī)時(shí)自動(dòng)啟動(dòng)start是立即啟動(dòng)并不是必須和enable一起執(zhí)行但先手動(dòng)啟動(dòng)一次能盡早發(fā)現(xiàn)配置錯(cuò)誤。啟動(dòng)后一定要做到驗(yàn)證閉環(huán)systemctl status tomcat systemctl is-enabled tomcat ss -lntp | grep 8080 curl -sI http://127.0.0.1:8080 | head -n 3如果看到enabled、狀態(tài)是active (running)、8080 端口監(jiān)聽正常這一步就完成了。我自己的習(xí)慣還會(huì)再補(bǔ)一句journalctl -u tomcat -n 50 --no-pager確認(rèn)日志沒有異常然后找個(gè)時(shí)間真正 reboot 一次驗(yàn)證自啟——這一步必須有下面會(huì)解釋為什么。3. 配置自啟途中踩過的坑和完整排查鏈路3.1 環(huán)境變量丟失systemd 說這不是它的鍋癥狀很典型手動(dòng)執(zhí)行startup.sh一切正常systemctl start tomcat后過幾秒狀態(tài)變成failedjournalctl -u tomcat里能看到類似Neither the JAVA_HOME nor the JRE_HOME environment variable is defined At least one of these environment variable is required to run this program原因就是我前面說的systemd 啟動(dòng)的進(jìn)程不加載 Shell 環(huán)境文件。很多教程讓你把 JAVA_HOME 寫進(jìn)/etc/profile這只會(huì)影響交互式 Shell不會(huì)影響 systemd。排查鏈路按順序走systemctl show tomcat -p Environment看 systemd 實(shí)際傳給進(jìn)程的環(huán)境變量。如果沒有 JAVA_HOME去單元文件里補(bǔ)上EnvironmentJAVA_HOME...絕對路徑以readlink -f $(which java)解析出來的為準(zhǔn)。XShell 里敲的java -version能用不代表 Tomcat 腳本能用腳本看的是 JAVA_HOME/JRE_HOME不是 PATH 里的 java 命令。3.2 PID 文件缺失狀態(tài)一直卡在 activating有一個(gè)場景我遇到不止一次Tomcat 其實(shí)已經(jīng)起來了8080 端口也在監(jiān)聽業(yè)務(wù)能通但systemctl status顯示的卻是activating (start-pre)或者反復(fù)failed用systemctl stop還停不下來。根因基本可以鎖定在 PID 文件上。Typeforking加 PIDFile 時(shí)systemd 會(huì)用 PID 文件里的主進(jìn)程號(hào)來判斷服務(wù)是否成功啟動(dòng)。如果 CATALINA_PID 沒有導(dǎo)出startup.sh 不寫 PID 文件或者寫的路徑進(jìn)程沒權(quán)限寫就會(huì)卡在狀態(tài)判斷上。排查方式ls -l /usr/local/tomcat/logs/tomcat.pid cat /usr/local/tomcat/logs/tomcat.pid如果沒有這個(gè)文件檢查單元文件里 CATALINA_PID 是否配置如果文件存在但權(quán)限是 root檢查chown -R tomcat:tomcat /usr/local/tomcat因?yàn)?Tomcat 運(yùn)行用戶寫不了這個(gè)文件同樣會(huì)導(dǎo)致 systemd 狀態(tài)不對。SELinux 開啟時(shí)如果目錄上下文不對也可能拒絕寫權(quán)限這個(gè)下面單獨(dú)說。3.3 啟動(dòng)閃退排查先在前臺(tái)跑一次 catalina.sh配了自啟之后閃退日志往往被 systemd 收走反而不如直接前臺(tái)啟動(dòng)看得快。排查閃退我最順手的動(dòng)作是把 Tomcat 開到前臺(tái)sudo -u tomcat /usr/local/tomcat/bin/catalina.sh runcatalina.sh run是前臺(tái)運(yùn)行日志直接打到終端報(bào)錯(cuò)一眼能看到。常見閃退原因端口被占用。ss -lntp | grep 8080看是不是別的服務(wù)占著或上一次啟動(dòng)的殘留進(jìn)程占著端口。war 包解壓失敗、webapps 下的應(yīng)用啟動(dòng)異常導(dǎo)致線程啟動(dòng)時(shí)報(bào)錯(cuò)退出。內(nèi)存不足或 JVM 參數(shù)非法比如-Xmx設(shè)置超出物理內(nèi)存啟動(dòng)直接報(bào)Could not reserve enough bytes for object heap。系統(tǒng)服務(wù)對進(jìn)程數(shù)量、文件句柄有限制journalctl -u tomcat里能看到句柄耗盡的跡象。定位到根因后按對應(yīng)的方式改配置改完再systemctl start tomcat驗(yàn)證。不要反復(fù)無腦重啟日志不會(huì)騙人。3.4 端口能通但外網(wǎng)訪問不了防火墻與 SELinux 兩個(gè)兄弟自啟配好了本機(jī) curl 127.0.0.1:8080 有響應(yīng)外面怎么都訪問不到這時(shí)候要懷疑防火墻和 SELinux。firewalld 在 CentOS/RHEL 系機(jī)器上默認(rèn)可能攔截了外部到 8080 的訪問firewall-cmd --permanent --add-port8080/tcp firewall-cmd --reloadSELinux 則是另一個(gè)容易忽略的環(huán)節(jié)。Tomcat 安裝到非標(biāo)準(zhǔn)目錄后進(jìn)程寫日志、寫臨時(shí)文件可能被 SELinux 策略擋住。先看當(dāng)前模式getenforce如果是Enforcing可以用restorecon -RF /usr/local/tomcat恢復(fù)目錄的 SELinux 上下文如果 Tomcat 確實(shí)需要連接外部網(wǎng)絡(luò)或端口可能需要設(shè)置對應(yīng)的 boolean。這里不展開講 SELinux 策略撰寫但要記住遇到進(jìn)程行為異常、日志中帶著Permission denied又說不清權(quán)限問題時(shí)八成和 SELinux 有關(guān)。注意不建議圖省事直接在生產(chǎn)上永久關(guān)閉 SELinux。造成的問題應(yīng)該用策略去解決頂多臨時(shí)setenforce 0驗(yàn)證確認(rèn)后再定位是哪條策略。3.5 journalctl 里最值得記住的五類關(guān)鍵線索配自啟的排查基本繞不開journalctl -u tomcat我總結(jié)過幾類最常出現(xiàn)的日志線索看到就知道往哪里查日志線索指向的問題JAVA_HOME is not defined環(huán)境變量沒配置或路徑不對去 [Service] 段補(bǔ) Environmentpid file write failedPID 文件路徑不可寫檢查目錄權(quán)限、SELinux 上下文Address already in use端口被占用找占用進(jìn)程或改 server.xml 端口Broken pipe、Connection reset通常是反向代理/防火墻/長連接資源問題優(yōu)先看 Nginx 和網(wǎng)絡(luò)側(cè)OutOfMemoryError、GC overhead limit exceededJVM 或堆內(nèi)存不足調(diào) CATALINA_OPTS每次排查都從日志入手按鏈路一層層往下通常能比東翻西找快一半時(shí)間。4. 開機(jī)自啟配好之后順手把這些運(yùn)維細(xì)節(jié)也安排上4.1 JVM 參數(shù)放哪最干凈用 setenv.sh 而不是硬塞 service設(shè)置好自啟之后很多人會(huì)問我想調(diào) JVM 堆內(nèi)存、GC 參數(shù)怎么辦兩個(gè)選擇一是全部懟在 service 文件的 Environment 里二是在/usr/local/tomcat/bin/下創(chuàng)建setenv.sh。Tomcat 每次啟動(dòng)都會(huì)自動(dòng)加載bin/setenv.sh里導(dǎo)出的環(huán)境變量。這是官方預(yù)留的擴(kuò)展機(jī)制比在 systemd 單元文件里寫一長串 Environment 干凈得多也更方便維護(hù)。我通常在 setenv.sh 里寫export CATALINA_OPTS-Xms512m -Xmx2048m -XX:MetaspaceSize256m -XX:UseG1GC -XX:HeapDumpOnOutOfMemoryError注意兩個(gè)變量的區(qū)別CATALINA_OPTS只作用于 Tomcat 啟動(dòng)的 JVM不影響它內(nèi)部的輔助工具JAVA_OPTS會(huì)作用于所有基于 Java 的進(jìn)程包括啟動(dòng)腳本里的輔助程序。針對 Tomcat 的堆和 GC 配置優(yōu)先用 CATALINA_OPTS。修改 setenv.sh 后不用重寫 servicesystemctl restart tomcat即可生效這個(gè)先后順序建議固定下來。4.2 catalina.out 無限增長一個(gè) logrotate 配置解決Tomcat 的catalina.out會(huì)越滾越大尤其線上打了大量訪問日志或異常棧時(shí)一個(gè)季度漲到幾個(gè) GB 很常見。有些項(xiàng)目把日志輸出在 catalina.out 里不處理遲早拖垮磁盤。我在生產(chǎn)上通常用 logrotate 做每日切割配置放在/etc/logrotate.d/tomcat/usr/local/tomcat/logs/catalina.out { daily rotate 7 copytruncate compress missingok notifempty }這里最需要注意的參數(shù)是copytruncate。因?yàn)?Java 進(jìn)程一直持有 catalina.out 這個(gè)文件句柄直接mv重命名會(huì)導(dǎo)致 Tomcat 繼續(xù)寫舊句柄肉眼看到的是日志“消失”實(shí)際磁盤空間沒釋放。copytruncate先復(fù)制再清空原文件雖然極端情況下會(huì)丟一點(diǎn)點(diǎn)新日志但比重啟 Tomcat 去切日志劃算得多。4.3 多實(shí)例部署用模板化 service 文件省一半配置如果一臺(tái)服務(wù)器上要跑多個(gè) Tomcat 實(shí)例比如按項(xiàng)目名隔離的web1、web2完全不需要為每個(gè)實(shí)例各寫一份 service 文件。systemd 支持模板單元tomcat.service通過%i引用實(shí)例名[Unit] DescriptionTomcat instance %i Afternetwork.target [Service] Typeforking Usertomcat Grouptomcat EnvironmentCATALINA_HOME/opt/tomcat-appserver EnvironmentCATALINA_BASE/opt/tomcat-%i EnvironmentCATALINA_PID/opt/tomcat-%i/logs/tomcat.pid PIDFile/opt/tomcat-%i/logs/tomcat.pid ExecStart/opt/tomcat-appserver/bin/startup.sh ExecStop/opt/tomcat-appserver/bin/shutdown.sh Restarton-failure [Install] WantedBymulti-user.target然后一行命令注冊并啟動(dòng)對應(yīng)實(shí)例systemctl enable tomcatweb1 systemctl start tomcatweb1需要注意多實(shí)例場景里CATALINA_HOME可以共用一份 Tomcat 程序但CATALINA_BASE必須每個(gè)實(shí)例各自獨(dú)立conf/、webapps/、logs/、temp/放在各自的 BASE 目錄下。這會(huì)讓自啟配置的復(fù)雜度大大下降也方便后續(xù)單獨(dú)重啟某個(gè)實(shí)例而不影響其他應(yīng)用。4.4 升級 Tomcat 版本時(shí)自啟配置怎么平滑過渡Tomcat 大版本升級時(shí)最容易踩的雷就是解壓新版到新目錄然后忘了改自啟單元文件里指向 CATALINA_HOME 的路徑重啟回來發(fā)現(xiàn)啟動(dòng)的還是老版本。我的做法一般是先用軟鏈接固定路徑ln -s /usr/local/tomcat-9.0.85 /usr/local/tomcatservice 文件里始終只寫/usr/local/tomcat升級時(shí)解壓新版目錄停服務(wù)換軟鏈接指向再啟動(dòng)。如果出問題就回退軟鏈接整個(gè)過程可逆可控。升級前記得備份conf/server.xml、conf/web.xml和webapps下需要保留的業(yè)務(wù)應(yīng)用。Tomcat 10 把javax.*換成jakarta.*的兼容差異比較大升級時(shí)要么代碼同步遷移要么先確認(rèn)業(yè)務(wù)是否接受這個(gè)改動(dòng)。4.5 順便提一句安全加固manager 后臺(tái)別裸奔很多網(wǎng)站在 Tomcat 配置完成后conf/tomcat-users.xml里寫死了一個(gè)manager-gui角色賬號(hào)用于后臺(tái)部署 war 包。我的建議是兩步走一是 manager 相關(guān)角色盡量不開放公網(wǎng)訪問至少在防火墻層或 Nginx 層限制來源 IP二是如果確實(shí)需要遠(yuǎn)程管理配合 Tomcat 的 Valve 配置做來源地址白名單而不要只靠一個(gè)弱口令頂著。這個(gè)不屬于自啟范圍但既然聊到線上的 Tomcat順手提醒總比出了安全事件再補(bǔ)要省心。5. 我總結(jié)的幾個(gè)實(shí)操習(xí)慣照著做能少走很多彎路配置和排障都講完了最后分享幾個(gè)我自己養(yǎng)成的習(xí)慣都是踩過坑后留下的。第一配置完自啟后一定要找時(shí)間重啟一次機(jī)器驗(yàn)證。很多人配完enable就覺得萬事大吉等真重啟才發(fā)現(xiàn)某個(gè)依賴順序或環(huán)境變量在純引導(dǎo)環(huán)境里根本不生效。重啟后確認(rèn)進(jìn)程在、端口在、systemctl status是 active才算完成閉環(huán)。第二每次都先daemon-reload再改狀態(tài)。改 service 文件卻不 reloadsystemd 仍在用舊配置這會(huì)浪費(fèi)大量時(shí)間。我自己的流程是改完文件 →systemctl daemon-reload→systemctl restart tomcat→journalctl -u tomcat -n 30收尾。第三寫文檔比記憶可靠。Tomcat 版本、JAVA_HOME 路徑、實(shí)例名、端口、依賴關(guān)系這些信息散落在不同人腦子里最危險(xiǎn)。我會(huì)在機(jī)器上放一個(gè)/etc/systemd/system/README-tomcat.txt或者同步到私有維基記錄每次變更前后的狀態(tài)和原因下次不管誰接手都能快速接上。第四盡量用 systemd 統(tǒng)一管理減少“手藝人腳本”。手寫 shell 腳本輪詢進(jìn)程、在 rc.local 里追加啟動(dòng)命令這些方式應(yīng)急時(shí)可以但長期維護(hù)下來狀態(tài)不可觀測、失敗不自愈的代價(jià)會(huì)越來越高。把 Tomcat、Nginx、MySQL 這些服務(wù)通通納入 systemd 視角后一條命令就能看清整臺(tái)機(jī)器的服務(wù)圖譜排障思路也會(huì)清晰很多。配置 Tomcat 開機(jī)自啟本質(zhì)上并不難難的是把方案選對、把細(xì)節(jié)做扎實(shí)。希望這篇實(shí)踐筆記能讓你下次面對“重啟后服務(wù)消失”的時(shí)候不再手忙腳亂。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
wuyuedingxiang| 国产26uuu视频| 91丨九色丨熟女高潮| www.色婷婷| 热99久久这里只有精品| 影音先锋自拍网| 婷婷五月婷婷五月| 六月婷婷综合久久| 五月天色综合| 亚洲五月色| 婷婷激情五月天小说| 伊人网碰碰| 久久这里都是精品免费| 红桃91人妻爽人妻爽| 天天色99| 99久久思思| 激情文学 综合 九月| 国産精品| 欧美亚洲999| 亚洲第一成人无码A片| 天天色综合天天| 婷婷酒色网| 日本女天天爽| 久久久久久9热不雅视频| 噜啊噜在线| 色综合久| www.久99| 婷婷五月天综合网| 性小说五月天| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 老司机伊人| 超级碰碰碰91| 五月天综合视频| 久婷婷久草| 久草 tingting| 久色激情| 婷婷激情鹿城五月天| 四色五月视频| 狠狠精品干练久久久无码中文字幕| 久久久精久人妻| 97黑人精品区| 亚洲超碰在线| 99re这里| 互月天综合| 五月丁香激情综合啪啪| 婷婷综合五月天激情| 中文字幕精品推荐免费在线观| h在线看免费版在线看| 99视频内射三四| 啪啪日本欧美| 久草A片| 色综合播放| 91女人18毛片水多国产| 五月天偷拍| 九九婷婷网五月天| 色高清无码视频| 色婷婷综合综合网| 大伊香蕉精品视频在线| 大香蕉520| 国产噜一噜天天噜| 五月婷婷丁香| 秋霞少妇毛片| 九九视频这里只有精品在线播放 | 五月天伊人| 九九99热| 丁香六月婷婷色XXXX| 狠狠色色综合| 538任你爽| 开心五月激情网| 五月综合六月婷婷| 五月丁香综合啪啪| 日韩婷久| 99热久久这里只有精品| 思思热国产视频| 无码 av电影| 欧美日本另类| 五月社区婷婷激情| 激情综合99| www.99热国产| 婷婷伊人綜合中文字幕| 97福利视频| 欧美黄色AA片哗啦啦啦| Jh7Uf088VHafNm| 亚洲永久四色| 色热久| 免费V片在线| 中文成人在线| 欧美25p| 噜噜狠狠色综无码久久合欧美| 色综合久久伊伊婷婷五月| 五月婷婷影院| 啪啪操超碰| 99视频综合网| 一级片无码| 欧美三级A做爰在线观看| 色五月色五天色情网| 色色色色色色综合| 99热这里有精品24| 2023天天日夜夜爽| 色综合久久88色综合天天人守婷| 天天色·欧美| 激情五月天激情网| 思思热久久艹| 99亚洲视频| 操婷婷基地| 青青草伊人婷婷| 美日韩成人| 欧美色五月| 丁香五月六月婷婷殴美综合| 六月五月婷婷| 亚洲 小说 欧美 激情 另类| 思思99精品视频在线观看| 五月停亭六月,六月停亭的英语| 婷婷五月天天激情| 红桃91人妻爽人妻爽| 丁香婷婷六月| 欧美激情五月天| 99热偷拍| 无码人妻精品一区二区蜜桃色欲| 色五月亚洲开心网| 91热在线| 99热自拍| WWW.99视频| 综合网狠狠| 成片免费观看大全| 黄色91在线观看| 伊人五月天| 丁香五月天综合| 国产99久久久| 婷婷五月情| 国产1区2区3区在线观| 婷丁香五月天| 婷婷日本色| 人妻视频一区而且二区| 五月丁香综合网| 狼人伊人天堂| 色婷婷综合在线| 亚洲成人电影在线免费观看| 婷婷五月激情综合啪啪| 97九色视频| 丁香五月大香蕉AV| 亭亭丁香97| 国产99久| www.99热这里精品 | 99色热视频| 人妻内射一区二区在线视频| 韩国中文字幕91| 亚洲成人无码专区| 婷婷狠狠香蕉综合| 伊人9在线| 九九热精品99| 97操碰在线视频| 成人免费在线电影| 婷婷黄色| 五月婷婷播| 五月激情综合婷婷| 99视频网| 综合图片色色| 成人短视频在线| 婷婷综合网| 99性爱视频| 国产精产国品一二三在观看| 色天堂婷婷| 精品夜夜澡人妻无码AV| 九色综合网| 中文字幕高清av| 日操夜操天天操不卡| 91丁香色| 超碰在线观看9| 91色在线/日韩| 天天噜天天插| 99热在线观看亚洲区| 婷婷五月激情六月| 久久女人天堂| 国产高潮A片羞羞视频涩涩| 欧美综合激情| 9热在线观看| 综合久久六月| 久热99| 激情综合网婷婷久久| 天天橾日日橾夜夜橾17| 香蕉人在线香蕉人在线 | 狼人婷婷久久| 午夜五月天| 香蕉久久国产AV一区二区| 97在线观看| 婷婷五月丁香激情图片| 激情五月天婷婷| 婷婷五月天激情在线观看 | www.夜夜| 激情操逼婷婷| 日韩有码一区| 久久狠狠欧美| 91色情播放| 色99色| 我爱大香蕉| 日本99久久| 五月婷婷伊| 色五月婷婷天堂| 日韩999| 人妻videos人妻高清| 人妻VideOssS人妻| 五月天婷婷色色| 夜夜穞天天穞狠狠穞AV美女按摩| 色综合久久综合| 婷婷五月天AV网| 天天插天天干天天舔| 五月婷婷亚洲色视频| 激情婷婷丁香五月天| 国产伦亲子伦亲子视频观看| 伊人久久综合| 亚洲激情高潮| 99亚洲视频| 丁香成人五月天| 色www99| 五月色婷婷影院| 国产成人亚洲综合亚洲| 日本欧美在线| 我爱大香蕉| 日本人人xxx| 五月天久久久| 五月婷婷丁香网| 人妻性爱av网站| 成人五月丁香社区| 激情五月综合网| 色五月在线综合| 九九久久综合| 丁香五月六月婷婷怡红院| 9久久精品| 伊人网色婷婷五月天| 婷婷射图| 日日插日日干| 开心婷婷五月| 色丁香五月天| 天天五月天综合网址| 色色热| 天综合日日夜综合7799| 成人国产欧美大片一区| 五月婷婷偷拍| 天天激情站| 国产色色视频| 九热免费视频| 久久婷婷六月综合| 成人午夜天| 色丁香五月婷婷| 996日日爱| 香蕉久久国产AV一区二区| 亚洲蜜乳AV| 五月丁激情| 九九操操| 五月丁香婷草| 国产jd1024基地手机看国产| 婷婷丁香午夜综合影视| 99热这里只有精品4| 玖色色综合| 久久996re热这里只有精品无码| 五月丁香婷婷基地| www.婷婷,com| 性爱视频99| 九九一区| 丁香久色| 五月天丁香网| 五月婷五月婷伊人伊人五月婷| 亚洲va欧美va天堂v国产综合| 香蕉97碰碰碰欧美| oumeisesewang| 五月婷婷六月丁香| 99久在线观看| 五月丁香六月激情综合| 欧美日韩五月婷婷| 色五月影视| 狠狠五月婷婷| 九九操综合网| 中文字幕日产A片在线看| 激情综合色网| 色五月综合网| 五月婷婷99热| 操97| 99自拍视频网站| 97se视频在线| se色99| 99热这里只有精品50| 在线视频激情网站| 大陆极品少妇内射AAAAAA| 亚洲综合一区二区| 丁香五月婷婷综合网| 天天天在线观看| 婷婷六月啪啪| 99丁香五月婷| 这里只有精9| 色色色在线免费视频| 婷婷五月天xxx| 成人综合伍月天| 成人av在线网| 玖玖九九9999在线观看视频精品| 思思热久久婷婷五月天| 色无婷婷| 五月丁香色婷婷综合| 成人片黄网站色大片免费毛片| 久久66er久久| 日韩成人无码| 五月婷婷免费视频| 97婷婷五月| 五月丁香激情婷婷综合| 午夜激情四射影院| 色色色色色综合| 91热久| 欧美成人五月天| 九一娱乐在线观看视频| 色五月丁香网| 亚洲区在线| 欧美VA在线观看| 91男人资源站| 五月天综合色| 国产97色在线| 天天操天天操天天操天天操天天操| 色色色国产| www.狠狠| 久久综合激情五月天| 色人久久| 五月丁香久久久| 丁香六月婷婷缴情欧美| 久8色色| 99久久喉9| 人妻操操色| 丁香色婷婷色手机免费在线| 五月天激情电影| 七七色综合| 五月婷婷在线免费观看 | 欧美日韩99| 丁香六月婷婷一区| 香蕉婷婷五月| 五月天婷久精视频| 婷婷五月丁香综合| 日本三级韩三级99久久| 五月丁香激情欧洲啪啪| 热久久色| 欧美久热| 久久99免费视屏| 日本99在线| 色综合色婷色基地| 九九久久五月天综合伊人| 九热视频在线精品15| 视频一区二区在线| 亚洲操逼片| 狠狠色九月| 丁香五月天堂网| 日本在线wwww| 玖玖热视频| 韩国情人在线电视剧免费观看高清版全集| 久婷狼色诱惑在线| 色五月涩涩婷婷| 婷婷操逼| 九月激情婷婷丁香| 台湾无码A片一区二区| 婷婷亚洲天堂| 国产成人AV| 五月婷婷六月丁香激情| 色综合久| 婷婷桃色网| 亚洲免费观看高清完整版AV线| 婷婷五月在线免费| 97久久综合网| 五月丁香999| 色综合xx| 成人午夜免费电影| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 婷婷综合色播网| 丁香婷婷色九月| 国产av天堂| 成年人看Va免费视频| 成人婷99最新| 一级AV片| 99在线视频播放| 色吧五月婷婷六月丁香| 婷婷五月中文字幕| 超碰v| 无人精品在线视频| 丁香五月色色色色| 94干大香蕉| 大香蕉啪啪啪| 亚洲激情综合免费| 天天射影| 久久久9久| 五月天婷婷丁香| 在热视频精品| 99re99热| 99久免费视频| 无码免费人妻A片AAA毛片西瓜| 丁香五月天堂| 日日夜夜九九| 熟女网站久久| 人人舔天天| 91九色|疯狂|高潮|对白|| 人与禽A片啪啪| 五月天久久综合| 秋霞电影理论| 人妻视频在线| 最新无码专区| 五月大香蕉| 六月亭亭久久综合激情| www.zbzhongsen.com| 亲子乱AV-区二区三区| 丁香六月在线| 天天综合精品| 五月丁香六月婷婷亚洲| 婷婷亚洲五| 色99免费视频中文| 九九热123| 婷婷色色欧美| 五月天停停基地| 婷婷丁香久久| 亚洲av成人一区二区电影在线| 五月色丁香| 亭亭五月色男人| 成人精品一区二区三区四区五区 | 免费观看日韩成人av| 亚洲综合九九| 欧美激情VA永久在线播放| 国产精品在线视频| 婷婷五月电影院| 狠狠色综合图片| 九九伊人网| 色噜噜狠狠色综合网| 五月婷久久在线| 九九国产视频| AV在线观看网站| 在线播放成人| 激情亚洲五月| 亚洲乱码精品久久久久..| 日韩久久视频| 一本色道久久综合狠狠躁小说| 色五月视频无码播放| 亚洲欧洲另类| 激情综合在线观看| www一起操在线观看| 欧美槡BBBB槡BBB少妇| 影音先锋色婷婷| 天天插综合| 五月天婷婷黄色| 一夜福利不卡| 五月丁香日本一抹本| 五月天com| 五月天婷婷伊人| 丁香五月婷婷激情中文| 国产精品色一哟哟| 五月天激情在线视频| 婷婷五月丁香av网站| 日本成人综合| www.91在线观看| 人操91在线| 激情六月婷婷啪啪| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 免费超碰在线| 五月天婷婷涩涩| 极品精品一区二区三区在线| 99热在线观看| 国产精品99久久久久久久女警| 狠狠做深爱婷婷久久综合一区| 五月天婷婷基地综合网| 日日干日日| 天天色天天搡| 丁香五月综合首页| 超碰在线资源| 欧美性爱中文字幕| 激情影院丁香五月| 日日爱699| 色五月婷婷大| 久久这里都是精品视频| 欧美婷婷五月无砖| 丁香五月六月婷婷自拍| 日本美女天天日天天爽| 天天狠狠插| av在线超清中文| 久久这里都是精品免费| 天天做天天爱天天爽夜夜揉| 丁香六月婷婷综合激情欧美 | 深夜A片| 五月婷婷六月激情网| www.爱操com.| 丁香五月宝贝激情网| 激情五月天在线| 日韩抽插操逼| 丁香婷婷五月天色播| 这里都是精品99| 婷婷免费精品视频| 色色色视频免费无码 | 操操操av| 天天综合五月| 激情婷婷五月天日本系列| 岛国av电影网站| 伊人五月天婷婷| VfJxEwPH| 色婷婷五月天| 啊V视频在线观看| 丁香五月播播| 五月丁香影院| 琪琪色五月婷婷老师| 久久久精品免费啪啪国| 五月婷综合激情| 久草a片| 97资源碰碰| AV九九| 亚洲成人色五月婷婷综合| peg 2区三区四区的| 99热这里只有精品一| 五月婷六月丁香| 婷婷五月在线播放| 爽极品色| 精品人妻伦一二三区久久| 无码少妇高潮喷水A片免费| 97日韩无套内| 最新AV在线观看| 色九月婷婷丁香| 好看的国产精品| 五月色婷婷在线观看| 婷婷五月情色| 天天婷婷| 色色色999| 99精品无码| 五月丁香婷婷欧美色图视频五月丁香777电影 | 免费视频99| 97在线观视频免费观看| 操日本色| 狠狠综合| 婷婷狠狠五月综合| 五月天色色婷婷| 99热精品中文字幕| 日本在线播放97| 婷婷伊人75| 亚洲小视频免费看| 思思热在线免费视频| 天天插天天插| 日本色色色| 天天久久九九| 久久久久久久97| 五月色情婷婷开心五月色情| 激情五月天综合| 丁香五月在线观看| 色综合99无码| 大香蕉综合| 影音先锋 91工厂| 欧美日本另类| 综合五月婷婷| 人人看人人97| 五月丁香啪啪啪免费看| 99精品视频免费| 婷婷综合色| 一本道在线电影| 99热全是精品| 五月天激情站| 五月天另类激情在线| 色婷婷网| 婷婷综合一二三| 开心婷婷五| 热99这就是精品视频| 婷婷伊人网| 九九伦子片| 久热婷婷| 99色色色色| 色婷婷色99国产综合精品| 色噜噜丁香| 91色九| 欧美另类五月激情| 91爱操| httpwww色com日本| 激情色色| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 精品久久艹| 九九久久偷拍| 青草性爱视频| 综合99视频| 亚洲亚洲人成综合网络| 97碰久久| 情久久综合五月天| 婷婷五月天成人网| 97成人超碰免| 99精品视频免费在线播放| 伊人啪啪网| 成功精品影院| 色欧美日| 五月丁香色婷婷熟女| 婷婷五月天堂| 日本在线视频看se99| 五月情丁香色| 色情综合| 婷婷伊人五月丁香天堂网| 婷婷色五月亚洲| 91日日日| 操逼综合激情网| wWw色五月| 亚洲综合无码| 一区二区你懂的| 天天色伊人| 久久久久9| 99综合成人视频在线观看| 婷婷成人综合免费视频| 丁香五月性| 五月停停99| 无码天天操| 99操视频| 伊人9在线| 思思热99在线视频| 久久香蕉网| 久久婷婷激情| www热久久yy9| 99人人干人人操| 天天碰天天插天天操| 丁香九月激情| 伊九九三级区| 久久伦乱| 99热欧美在线观看| 99热这里只有精品8| 一本到不卡高清DVD| 色五月婷婷丁香国产在线| 五月婷婷啪啪网| 五月丁香久久色| 日日夜夜天天爽| 国产做爰视频免费播放| 99热综合| 99色热视频| 久久日曰| 天天色综网| 婷婷五月花.97| 丁香五月另类小说在线阅读| 99色色网| 狠狠综合久久| 五月丁香香蕉| 最新久久网址| 丁香五月婷婷av| 九九色天堂| 色婷婷久综合久久一本国产AV| 欧美黄色一级录像| 色综合久久天天综合网 | VA色婷婷| 人妻视频在线| 色情五月天丁香社区| 五月婷激情| 久碰久| 五月激情六月婷婷| 97干在线免费| 99热在线这里| 丁香花五月天社区| 欧美成人色婷婷| 99久久偷拍视频| 五月天婷婷激情春色小说| A网在线欧洲| 天天爽夜夜操| 丁香九月综合在线| 五月婷丁香| 高清国产一级婬片a免费| 婷婷六月天激情| 婷婷五月乱交换| 亚洲精品婷婷| 六月婷婷九月丁香| 综合久久9| 99久久久免费| 夜夜躁爽日日| 婷婷五月天777| 五月天激情小说| 五月丁香六月激情网| 久久久国产精品黄毛片| 79色色免费| 欧州婷婷五月天综合| 人妻熟人中文字幕一区二区| 99色最新在线视频网站| www.99视频| 99婷婷| www九九热| 精品色情一区二区三区四区| 校花娇喘呻吟校长陈若雪视频| 午夜青草资源| 亚洲中文字幕在线电影| 人人摸人人摸| 91操在线视频| 色色色999| 深爱激情小说五月婷婷| 玖玖婷婷免费| 婷婷丁香18| 玖玖爱伊人| 丁香五月在线播放| 婷婷六月久久| www久久久久久久| 丁香六月婷婷久久综合| 97色婷婷| 99精品国产乱码久久久人妻| 一级操逼内射在线视频| 日亚二欧美| 亚洲欧洲另类| 蜜桃婷婷丁香五月天狠狠久久综合| 97 天堂| 天天日天天干天天插天天射| 99久久.www| 婷婷金品综合视频| 综合五月亭亭9| 亲子乱AV-区二区三区| 丁香六月婷婷综合| 亚洲成人网无码| 国产肥白大熟妇BBBB视频| 婷婷五月丁香六月天亚洲综合| 伊人九九热| 久久综合丁香激情五月| 日本成人噜噜噜噜噜| 久久综合综合综合| 久久98| 色婷婷在线综合色播网| 九九美女视频| 五月丁香婷婷基地| 99热九九在线| 99碰网站| 国产在线aaa片一区二区99| 婷婷五月综合视频免费播放| 91要啪| 精品国产一区二区三区四区阿崩| 色导航色婷婷五月天在线观看| 思思热久久艹| 日韩AV无码影片| 99热色精品| 夜夜操夜夜爽| 丁香色情五月综合激情| 五月天激情小说| 丁香婷婷色六月| 五月色丁香| 操操操B| 99热99极品观看| WWW.桔色成人.COM入口| 99玖玖人人| 九九无码| 久久九精品| 色婷婷欧美在线| 99热热热国产超碰| 99这里有精品| 国产婷婷综合| 五月丁香天堂网婷婷| pom538精品视频| 99国产精品白浆在线观看免费| 五月丁香婷婷AV| 99在线观看精彩视频| 青青草网武则天| 婷婷亚洲天堂| 色五月婷婷九月| 婷婷婷色五月| 日本久久婷婷| 天堂在线伊久| 丁香六月激情综合| 狠狠干无码| mmm1717.6dbm人人爱人人操| 亚洲色夜| 桃色五月婷婷| 色婷五月天| 开心激情综合| 欧美性爱特黄一级aaaassss| 天天综合五月| 精品一区久热| 337p大胆噜噜噜噜噜91Av| 激情五月婷婷五月| 亚洲综合婷婷| 久久99综合| 777久久久| 日本视频久久| 五月婷婷六月丁香| 丁香在线视频| 色五月五月丁香| 日本色色色| 成人短视频免费观看| 亚洲情综合五月天| 99婷婷| 九九成人视频| 丁香婷婷六月在线资源观看| 99这里只有精品视频在线| 婷婷丁香五月天影院| 色婷婷狠狠久久综合五月 | 99精品在线观看视频| 99,色| 79精品视频在线观看,| 99爱在线精品视频免费观看| 五月开心六月婷婷在线播放网站| 热久久91| 91视频久久久| 在线色婷婷| 欧亚成人A片一区二区| 丁香五月色情| 亚洲成人在线综合| 华人在线免费| 五月婷婷干| 五月天婷婷色播在线网| 日本韩国视频在线观看社区免费的9| 天天干天天干天天干天天干天天干| 婷婷五月情| 女力报到正好爱上你| 久久国产精品乱子伦_靑青草…| 99ri精品视频在线观看| 偷偷操99| 五月婷视频在线观看| 美女婷婷激情亚洲| 五月天婷婷久久| 夜夜夜夜夜操| 成人丁香色| 可以看的AV| 79色色色色| 天堂婷婷丁香六月网| 99久久国产宗和精品1上映| 6月丁香婷婷| 玖玖爱综合网| 香蕉婷婷色五月| 久久婷婷激情四射五月天| 免费V片在线| 九九XX视频| 国产真实乱了老女人视频 | 婷婷五月色惰| 日日色综合| 亚美欧色影院| 夜丁香五月婷婷| 天堂AV在线看| 操射国产日本| 欧美va亚洲va在线播放| 五月丁香婷中文| 2020久久婷婷五月| 欧美综合婷婷欧美综| 色综合色综合婷婷热| 99操逼| 99热国产精品| 成人短视频在线| 九九综合| 色 免费网站视频| 大香蕉综合| 色婷视频| 99在线精品视频免费| 亚洲国产婷婷色五月| 天天日天天添| 亚洲欧洲99| 五月婷六月综合在线观看| 五月丁香久久网| 五月激情日本在线| 亚洲综合色网站| 99热在这里只有免费精品| 第2色五月婷| 9999热精品在线免费播放| 精品人妻伦| 午夜青草资源| www天天干| 亚洲一区二区无码蜜乳av| 99re在线这里只有精品视频首页| 丁香五月激情图片| 激情五月天激情小说| 天天做天天爱天天玩| 婷婷色综合| 亚洲AV综合在线观看| 久久久大香蕉| 五月花免费视频| 婷婷久草| 日本不卡高字幕在线2019| 色婷插| 五月婷天堂视频| 97五月天婷婷综合激情网| 五月丁香激情四射| 永久无码色| 少妇日麻屄| 狠狠干青青草| 五月情婷婷| 极品另类| 五月激情六月宗合| 久热免费| 精品一二三区久久AAA片| av高清无码| 精品视频网| 免费国产视频| 色五月婷婷中文字幕在线观看| 777久久综合视频| 伊人久久五月天| 色色性爱视频| www.色综合| 五月婷婷久久综合| 亚洲激情四射色| 亚洲免费在线观看岛国| 91黄操| 久久这里只有精品07| 色婷婷先锋| 99亚州综合精品成人网| 一区二区成人电影| 亚洲精品又粗又大又爽A片| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 天堂草在线观| 操日视频| 日本天天色| 伊人久久丁香狠狠婷婷综合香蕉| 婷婷色偷拍| 色婷五月| 日本va视频| 热99在线精品| 天天干天天爽| 色亭亭丁香五月天| 久久精品系列| 五月丁香日本片| 色婷婷五月天不卡| 色婷婷成人网| .精品久久久麻豆国产精品| 久久网址99热| 婷婷五月成人| 婷婷综合六月| 五月丁香免费视频| 97高清国语自产拍| 71在线精品视频一区| 激情丁香婷婷六月天| 五月婷AV| 久久综合中文| 国产成人精品一区二三区熟女在线| 五月婷天堂视频| 亚洲婷婷在线播放十月| 色五月综合婷婷| 91碰视频| 五月婷婷亚洲天堂97色婷婷| 色情五月婷| 777丁香六月青青草婷婷综合久月 五月丁香综合伦理片 | 中文字幕av在线| 1024在线一区| 激情综合在线观看| 丁香五月天欧美在线| 六月撸婷婷| 亚洲午夜在线视频| 成人丁香色| 精品色色网| 色色热| 国产人妻人伦精品一区二区| 亚洲免费av在线| 色色色视频免费无码| 97色色色| 国产精产国品一二三在观看| 97操碰在线视频| 激情丰满熟妇五月| 丁香五月中文字幕| 五月天久久色| 五月婷久久| WWW五月| 思思热视频| 中文字幕欧美精品久久| 国产 亚洲 在线| 激情五月四色| 操一区| 五月天停停日日| 天天做天天要天天爽| 噜噜噜狠狠色综| 精品热九九| 精品久色| 婷婷六月色| 小香蕉av| 久热九九| 亚洲精品婷婷| 激情操逼婷婷| 久热九九| www.五月天婷婷| 666555。COm毛片| 第四色激情网| 亚洲操B| 这里只有精品96| 热99国产精品| 99啪啪网| YW无码| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 日韩啪啪视频| 五月婷婷视频在线观看| 国产亚洲精品久久久久苍井松| 99久热在线精品| 99re8在这里只有精品| 国产乱人偷精品人妻A片| 337p大胆噜噜噜噜噜91Av| 婷婷五月天开心网| 日本黄色三级片内射| 色丁香五月婷婷婷| 丁香五月香蕉| 大香蕉娱乐| 五月婷综合网| 国产特级毛片AAAAAAA高清| 久久综合激情| 欧美色97| 丁香婷婷午夜| 伊人狠狠干| 久久99国产综合精品免费 | 永久热91| 色丁香影院| 97色婷婷| 激情五月天在线观看色婷婷| 精品久久9| 一起肏在线视频| 青青草婷婷综合五月| 欧美成人精品A片免费一区99| 婷婷午夜综合| 激情丁香六月| 亚洲视频综合网| 深爱激情AV| 高清无码入口| 桃色激情五月天| 五月婷丁香花| 亚洲成av人影院| 97色片| 国产偷人妻精品一区| 日本成人内射| 色婷婷五月天成人网| 六月丁香五月婷婷| 天天久久66xxx| 91se在线视频| 黄色精品五月婷婷| 99性爱视频| WWW.五月com| 天天摸天天高潮天天爽| 国外亚洲成AV人片在线观看| 色色啊| 99这里只有精品| 思恩热国产视频右线观看| 亚洲成人影视在线观看| 综合一区二区三区| 亚洲五月婷婷| 97色操| 天天舔天天爽| 色婷婷成人做爰A片免费看网站| 婷婷五月天成人| 26uuu精品国产| VA色婷婷| 色五月综合激情| 日韩啪| 97精品在线| 五月丁香无码| 99热青青草| 91婷婷在线| 久久久WWW| 9999久久久久| 婷婷五月天堂| WWW.天天日| 精品婷婷| 色色永久| 国产精产国品一二三在观看| 狠狠色情婷婷| 亚洲狠狠色丁香婷婷综合久久| 色香五月天| 激情综合网激情五月丁香五月俺也去| 天天干天天 亚洲| 天天激情站| 久久激情五月天| 色黄啪啪| 欧美影院| 黄色成人网站在线播放| 久久xx| 色五月丁香六月资源站| 婷婷金品综合视频| 精品无码av丁香五月激情| 激情久久久| 婷婷色色播五月天| 激情婷婷丁香| 开心激情播播五月天| 九九美女视频| 亚洲天堂大香蕉| 婷婷丁香97| 狠狠做深爱婷婷久久综合一区| 婷婷五月天天天日日夜夜| 五月丁香婷婷色| 亚洲亚洲人成综合网络| 99热有精品在线观看| 久久思思热视频| 精品一区二区三区三区| 青青草原伊人网| www.99热在线观看| 五月婷婷香| 五月停停直播| 91色综合网站在线| 色色色色色色色色综合网| 色激情五月| 欧美色五月| 婷婷综合五月激情| 色狠狠婷婷| 激情婷婷丁香色五月综合| 五月天操逼激情| 五月丁香六月玩女人| 六月丁香六月婷婷欧美| 欧美日韩一区二区三区四区| 婷婷五月无码| 久机视频这只有精品| 婷婷五月丁香综合激情小说| www.99.色| 天天舔天天摸| 日本高清久久| 亚洲精品久久久无码| 三十路磁力链接| 亚洲婷婷丁香五月| 婷婷五月香蕉| 婷婷久久国产视频| 4399在线观看免费高清毛片| 人人播| 婷婷五月天com| 亚洲亚洲人成综合网络| 婷婷丁香五月综合激情小说| 永久免费一区二区三区| 99精品视频网| 色五月天堂| 色噜噜狠狠色综无码久久合欧美| 99热无码| 日韩成人av在线| 强辱丰满人妻HD中文字幕| 欧美25p| AA丁香综合激情| 99九九这里有免费视频| 五月婷在线| 99热这里只有精品国产免费| 亚洲一二三网| 欧美日韩99| 六月婷婷啪啪| 69热91天堂| 五月婷婷丁香在线| 丰满老熟妇BBBBB搡BBB| 色综合日日| 婷婷五月色综合| 风流少妇A片一区二区蜜桃| 综合色五月| 五月丁香六月婷婷亚洲天堂网站| 丁香久久在线| 色九月婷婷综合| 丁香五月婷婷姐| 亚洲成人九九九| 丁香五月性爱| 综合久久99| 五月婷婷五月丁香综合| 国产中文字幕在线视频免费观看 | 五月婷婷 激情五月| 久热9| 九九爱精品网站| 99re热在线视频| 丁香婷婷六月在线资源观看| 亚洲AV人人操| 五月刺激丁香月综合| 任你艹| 久久色吧| 五月婷婷丁香| 一本色道久久综合狠狠躁小说| 久久婷婷五月国产激情综合片| 91亚洲免费片| 久久性爱网站| 日本久久高清| 激情五月丁香在线观看直播| 国产成人在线精品| 亚洲a色| 欧美成人精品老美女噜噜噜| 久久99综合| 丁香五月熟女| 色五月亚洲| 五月www| 久久性刺激| 草草女人亚洲| 99热偷拍| 色婷婷色人人射| 九九色逼| 免费观看日韩成人av| 99操视频| 色天堂A| 天天碰天天插天天操| 区美毛片子| 99情色五月天| 色色色热| 91人人爽狠狠狠| 色五月天本日| 色色色视频免费无码| 九九热精品99| αv中文字幕在线观| 婷婷五月电影院| 丁香婷在线| 99热 这里只有精品 国产 日韩| 色婷婷综合在线| 国产日产亚洲系列最新| 99在线视频资源| 99热这里有精品24| 国产97色在线| 丁香五月激情啪啪啪| 老美AA片| 激情五月天 婷婷| 婷婷五月综激情| 日日夜夜狠狠干| 色综合久久伊伊婷婷五月| 91婷婷在线观看| 五月刺激丁香月综合| 国产精品18久久久| 级情九色| 日韩在线观看亚洲| 五月婷婷亞洲中文| www.色窝| 成人av播放| 激情伊人网| www.韩日视频| 97caop| 亚洲黄色影视| 久久xx| 久久久久久人妻| 亚洲婷婷视频| 97久久超视频| 久久综合55| 91男同视频| 六月丁香啪啪| 婷婷激情图片| 九九操操| 天天做天天爱综合| 色五月天成人在线| 天天插天天草人人玩| 五月婷婷啪啪| 婷婷激情综合| 久草丁香婷婷五月天婷| 狠狠综合久久综合| 天天干,天天日| 天天射综合网站| 九九99精品视频| 天天日天天爽| 深爱综合网| 久久九九视频| 99热在线观看精品| 久久婷婷六月综合综合色| 丁香六月天婷婷在线| 九九色逼| 人妻AV在线观看| 丁香九月综合| 人人操人人操919999| 18久久| 91色综合网站在线| 国产性av| 蜜乳久AV| 精品国产AV色一区二区深夜久久| www.狠狠| 九九碰九九爱97超碰| 久热伊人| 色色五月天激情| 色色狼人综合| www.久久久久久久| 婷婷丁香色情| 色五月色五天色情网| 久久狼人天堂| 久久九色| XX久久| xxxx久| 97精品欧美91久久久久久久| 五月婷婷人人人操| 99啪啪视频| 丁香婷婷久久 | 婷婷色综合中心站| 少妇被躁爽到高潮无码文 | 九九热这里只有精品556| 婷婷六月丁香开心深深爱| 国产精品男人AV不卡| WWW嗯嗯啊啊啊啊| 九九精品9| 激情综合视频| 午夜激情久久| 涩 五月 婷婷 狠狠| 婷婷五月天综合AV| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 狠狠色噜噜色狠狠狠综合色| 久久久婷婷色五月资源网| 伊人久久中文网| 激情婷婷九月| 婷婷五月天性色| 亚洲天堂婷婷丁香| www.色多多婷| 婷婷丁香黄色| 99五月婷| 91超碰九色| 婷婷激情五月天7| 很很操很很操| 51成人| 丁香色情五月综合激情| 婷婷六月丁香1| 五月综合六月丁| 99这里只有|