欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

RH134核心知識(shí)點(diǎn)實(shí)戰(zhàn):用戶權(quán)限、systemd與日志監(jiān)控

RH134核心知識(shí)點(diǎn)實(shí)戰(zhàn):用戶權(quán)限、systemd與日志監(jiān)控 1. 從RH134考綱出發(fā)說說哪些知識(shí)點(diǎn)最值得反復(fù)啃RH134是紅帽認(rèn)證體系里系統(tǒng)管理員二階段的核心課程也是RHCSA考試后半段的主要覆蓋范圍。它跟RH124的區(qū)別在于RH124解決的是“能不能上手操作”的問題而RH134解決的是“能不能系統(tǒng)化地管理一臺(tái)Linux機(jī)器”的問題。課程主線圍繞用戶與權(quán)限、進(jìn)程與服務(wù)、存儲(chǔ)管理、網(wǎng)絡(luò)配置、軟件包管理、系統(tǒng)日志與監(jiān)控、計(jì)劃任務(wù)等幾個(gè)大塊展開聽起來好像都是基礎(chǔ)但實(shí)際動(dòng)手就會(huì)發(fā)現(xiàn)真正的門檻全藏在命令背后的細(xì)節(jié)里。這篇文章是“常用知識(shí)點(diǎn)匯總合集”的續(xù)篇。前一篇大概已經(jīng)把RH124階段的基礎(chǔ)命令和常規(guī)操作梳理過了這次我換個(gè)角度不按考綱章節(jié)逐條羅列而是以我在實(shí)際機(jī)器上反復(fù)用到的場(chǎng)景為線索把RH134里那些“考了無數(shù)次、工作中幾乎天天碰到、但很多人到考試當(dāng)天才搞明白”的點(diǎn)挑出來逐個(gè)拆開講透。適合看這篇內(nèi)容的人我覺得有三類一是正在備考RHCSA、需要把知識(shí)點(diǎn)串成體系的人二是剛接觸Linux運(yùn)維、想繞過教材直接上手干活的實(shí)習(xí)生或轉(zhuǎn)行者三是已經(jīng)工作一兩年、發(fā)現(xiàn)自己一直只會(huì)用某幾個(gè)命令、遇到報(bào)錯(cuò)就只能搜索的初級(jí)運(yùn)維。如果你屬于其中任何一類這篇內(nèi)容應(yīng)該能幫你省掉不少碰壁的時(shí)間。我會(huì)盡量按“為什么要這樣配、怎么落地執(zhí)行、踩坑是什么”的順序來寫涉及命令時(shí)會(huì)給出可以直接復(fù)制使用的寫法涉及配置文件時(shí)會(huì)展示完整內(nèi)容。下面正式開始。2. 用戶與文件權(quán)限的深水區(qū)不止是useradd和chmod2.1 用戶管理的隱藏參數(shù)與刪除用戶的真實(shí)困境RH134階段對(duì)用戶管理的考察已經(jīng)不完全停留在useradd和passwd這種最基礎(chǔ)的層面了。考試和實(shí)際運(yùn)維場(chǎng)景里更常見的是帶參數(shù)的用戶創(chuàng)建系統(tǒng)賬戶、無登錄shell、附加組、主組、有效期、家目錄模板這些才是真正拉開差距的地方。我常用的用戶創(chuàng)建組合是這樣的useradd -r -s /sbin/nologin -d /opt/app -M appuser這里四個(gè)參數(shù)的用意要拆開看-r表示創(chuàng)建系統(tǒng)用戶UID會(huì)落在系統(tǒng)賬戶區(qū)間通常是1000以下具體看發(fā)行版配置這類賬戶用于跑服務(wù)而不是給人登錄-s /sbin/nologin指定不能交互式登錄的shell防止有人真的切到該賬戶下執(zhí)行命令-d指定家目錄位置-M則告訴系統(tǒng)不要在創(chuàng)建時(shí)自動(dòng)生成家目錄。這類組合常見于部署中間件或自研程序時(shí)既能讓進(jìn)程以獨(dú)立身份運(yùn)行又不暴露可登錄的shell入口。另一個(gè)容易翻車的點(diǎn)是刪除用戶。userdel如果直接不帶參數(shù)執(zhí)行只會(huì)刪除用戶賬戶本身它的家目錄、收件目錄、臨時(shí)文件全都留在磁盤上。這對(duì)個(gè)人練習(xí)環(huán)境無所謂但生產(chǎn)環(huán)境里通常會(huì)連帶清理標(biāo)準(zhǔn)寫法是userdel -r它會(huì)一并刪除家目錄和郵件池。真正讓人頭疼的是“刪不掉”的故障比如某個(gè)用戶的進(jìn)程還活著系統(tǒng)會(huì)提示userdel: user xxx is currently used by process xxx。此時(shí)需要先確認(rèn)進(jìn)程再處理pgrep -u username pkill -u username userdel -r username安全生產(chǎn)前最好先備份該用戶的數(shù)據(jù)再執(zhí)行清理。如果你只是想臨時(shí)禁用某人而不刪除數(shù)據(jù)用usermod -L鎖住密碼或者把用戶的shell改成/sbin/nologin這兩種方式都比直接刪賬戶溫和回滾也方便。實(shí)際管理服務(wù)器時(shí)我很少直接刪除用戶多數(shù)情況下先用鎖定的方式讓賬戶失效觀察一段時(shí)間確認(rèn)沒有服務(wù)依賴后才真正清理這樣既安全又能隨時(shí)恢復(fù)。2.2 umask、setuid、setgid與粘滯位的疊加邏輯權(quán)限部分RH134的題目經(jīng)常把umask、特殊權(quán)限位和目錄權(quán)限混在一起考。umask的本質(zhì)是“權(quán)限掩碼”它決定新建文件和目錄的默認(rèn)權(quán)限其中文件的基準(zhǔn)權(quán)限是666目錄的基準(zhǔn)權(quán)限是777最終權(quán)限等于基準(zhǔn)權(quán)限減去掩碼中存在的權(quán)限位。例如umask 022時(shí)新建文件的權(quán)限是666-022也就是644新建目錄是777-022即755。這里有個(gè)新手常犯的認(rèn)知錯(cuò)誤umask 022是“減”而不是“與”。如果掩碼是027文件默認(rèn)權(quán)限是666-027640而不是拿二進(jìn)制位去逐個(gè)與運(yùn)算。理解了這一點(diǎn)做題就不會(huì)錯(cuò)。特殊權(quán)限位的表現(xiàn)和計(jì)算也比較容易混淆。setuid4、setgid2、sticky1三個(gè)位可以疊加在普通權(quán)限之上使用方式像是chmod 4755 script或chmod 2770 /data/shared。它們各自的實(shí)際效果是setuid作用于可執(zhí)行文件讓執(zhí)行者臨時(shí)擁有文件屬主的身份。典型例子是/usr/bin/passwd普通用戶執(zhí)行它時(shí)能以root身份修改自己的密碼。setgid作用于目錄時(shí)新創(chuàng)建的文件會(huì)自動(dòng)繼承目錄的屬組而不是創(chuàng)建者的基本組。這個(gè)在團(tuán)隊(duì)協(xié)作目錄里特別有用。sticky作用于目錄時(shí)只有文件屬主、目錄屬主或root才能刪除目錄內(nèi)的文件/tmp就是最典型的例子。把這些位組合使用時(shí)要格外小心。我最常踩的坑是chmod -R 777和遞歸設(shè)置特殊權(quán)限位的組合操作。比如想設(shè)置一個(gè)共享目錄為2770結(jié)果手滑寫成chmod -R 2777不僅把目錄和所有子文件的權(quán)限全部放大還會(huì)讓普通用戶可以在目錄里互相刪文件——因?yàn)闆]加sticky位。建議是每次遞歸授權(quán)后都先跑一遍ls -lR /path/to/dir確認(rèn)權(quán)限位沒有越界再正式上線。2.3 ACL權(quán)限的日常用法與mask的坑ACL訪問控制列表在RH134的考綱里占有一席之地原因在于傳統(tǒng)的u/g/o權(quán)限模型搞不定“多個(gè)用戶對(duì)同一目錄擁有不同權(quán)限”的需求。ACL允許對(duì)獨(dú)立用戶、獨(dú)立組單獨(dú)授權(quán)而不用把所有人都塞進(jìn)同一個(gè)組里?;A(chǔ)操作不復(fù)雜setfacl -m u:zhangsan:rwx /data/project setfacl -m g:devteam:rw /data/project setfacl -x u:zhangsan /data/project getfacl /data/project但ACL有一個(gè)很容易被忽略的機(jī)制mask。當(dāng)目錄設(shè)置了ACL之后mask值會(huì)自動(dòng)出現(xiàn)在getfacl的輸出中它實(shí)際上限制了所有命名用戶、命名組以及所屬組能夠獲得的最大權(quán)限。換句話說即使你給某個(gè)用戶設(shè)了rwx如果mask是r-x那么該用戶實(shí)際能用的權(quán)限只有r-xACL中記錄的名字不會(huì)消失但生效范圍被mask截?cái)嗔恕N矣龅竭^不止一次這樣的情況開發(fā)反饋“我給某個(gè)賬號(hào)授權(quán)的寫權(quán)限怎么不生效”登上去一看getfaclmask是r-x改動(dòng)setfacl -m m::rwx之后立刻正常。所以記住排查ACL問題時(shí)第一件事就是看mask它負(fù)責(zé)卡住權(quán)限上限。生產(chǎn)環(huán)境里如果團(tuán)隊(duì)協(xié)作頻繁變動(dòng)人員建議干脆別依賴手寫多條ACL把目錄的屬組固定好組內(nèi)成員統(tǒng)一加組再用一個(gè)默認(rèn)ACLsetfacl -d -m給新建文件自動(dòng)繼承權(quán)限維護(hù)成本會(huì)低很多。3. systemd現(xiàn)代Linux服務(wù)管理的核心3.1 為什么RH134繞不開systemdRH134很大一部分考試內(nèi)容圍繞systemd展開這個(gè)趨勢(shì)不是紅帽自己拍腦袋決定的而是整個(gè)Linux生態(tài)隨著RHEL 7引入systemd之后形成的現(xiàn)實(shí)。service、chkconfig、rc.local這些傳統(tǒng)工具仍然存在但已經(jīng)全面讓位于systemctl??荚嚥粫?huì)問“systemd比SysV init好在哪”這種理論題但會(huì)要求你完成“寫unit文件、啟動(dòng)服務(wù)、設(shè)置開機(jī)自啟、查看服務(wù)狀態(tài)”這一整套動(dòng)作。理解systemd的關(guān)鍵在于它把“服務(wù)”抽象成unit常見的有service服務(wù)、socket套接字、target啟動(dòng)目標(biāo)、timer定時(shí)器等。systemctl的絕大多數(shù)操作都圍繞unit展開而unit的定義則寫在.service文件、.socket文件等地方。和傳統(tǒng)init腳本相比systemd最大的優(yōu)勢(shì)是并行啟動(dòng)、按依賴關(guān)系啟動(dòng)、崩潰自動(dòng)拉起以及統(tǒng)一管理日志。日常工作中最常用的幾條命令值得反復(fù)盤systemctl start/stop/restart/reload 服務(wù)名 systemctl enable --now 服務(wù)名 systemctl status 服務(wù)名 systemctl list-units --typeservice --staterunning systemctl daemon-reload systemctl is-enabled 服務(wù)名其中enable --now是實(shí)踐里非常順手的組合它把“設(shè)置開機(jī)自啟”和“立刻啟動(dòng)”合并成一步省去了兩條命令兩個(gè)步驟的冗余。寫unit文件后一定要先執(zhí)行daemon-reload否則systemd仍按舊配置執(zhí)行這是一個(gè)非常高頻的低級(jí)失誤。3.2 手寫一個(gè)Tomcat自啟動(dòng)服務(wù)把unit文件吃透很多公司的中間件服務(wù)不是通過標(biāo)準(zhǔn)包管理器安裝的而是解壓tar包直接部署的這類服務(wù)不會(huì)自動(dòng)注冊(cè)到systemd需要自己寫unit文件。Tomcat就是一個(gè)很典型的目標(biāo)我之前花了不少時(shí)間踩這個(gè)坑寫清楚之后對(duì)其他Java服務(wù)就一通百通了。在/etc/systemd/system/下創(chuàng)建tomcat.service[Unit] DescriptionApache Tomcat Web Application Container Afternetwork.target [Service] Typeforking Usertomcat Grouptomcat EnvironmentJAVA_HOME/usr/lib/jvm/java-1.8.0 EnvironmentCATALINA_PID/opt/tomcat/temp/tomcat.pid EnvironmentCATALINA_HOME/opt/tomcat EnvironmentCATALINA_BASE/opt/tomcat ExecStart/opt/tomcat/bin/startup.sh ExecStop/opt/tomcat/bin/shutdown.sh Restarton-failure RestartSec10s [Install] WantedBymulti-user.target這個(gè)文件里有幾個(gè)細(xì)節(jié)需要解釋。Typeforking是關(guān)鍵startup.sh啟動(dòng)Tomcat后主進(jìn)程會(huì)fork出子進(jìn)程然后自己退出systemd需要知道“父進(jìn)程退出不代表服務(wù)失敗”所以必須用Typeforking告訴它去認(rèn)PID文件。而Tomcat的PID文件路徑通過CATALINA_PID指定systemd也要在ExecStart里能看到這個(gè)環(huán)境變量。如果你用Typesimplesystemd會(huì)認(rèn)為啟動(dòng)進(jìn)程就是服務(wù)主進(jìn)程而startup.sh很快就退出了服務(wù)會(huì)被判定失敗。User和Group指定了服務(wù)運(yùn)行的賬戶身份這一點(diǎn)在生產(chǎn)環(huán)境里相當(dāng)重要。用root跑Tomcat雖然省事但一旦應(yīng)用被入侵攻擊者直接獲得root權(quán)限風(fēng)險(xiǎn)極大。正規(guī)做法是創(chuàng)建一個(gè)專用賬戶比如useradd -r -s /sbin/nologin tomcat再把這個(gè)賬戶關(guān)聯(lián)到Tomcat目錄的屬主上。Restarton-failure表示只在非正常退出時(shí)由systemd自動(dòng)拉起進(jìn)程配合RestartSec10s設(shè)置重啟間隔這樣既能容忍偶發(fā)崩潰又不會(huì)由于快速循環(huán)重啟把系統(tǒng)資源耗盡。寫好之后的操作順序我也說一下很多人會(huì)漏掉某個(gè)環(huán)節(jié)導(dǎo)致失敗chown -R tomcat:tomcat /opt/tomcat systemctl daemon-reload systemctl enable --now tomcat systemctl status tomcat --no-pager排錯(cuò)時(shí)優(yōu)先看journalctl -u tomcat -e這里會(huì)直接給出Java進(jìn)程的啟動(dòng)日志比看狀態(tài)碼更直觀。Tomcat服務(wù)最常出現(xiàn)的“ExecStart格式錯(cuò)誤”通常是因?yàn)樾形捕嗔丝崭瘛⒙窂綄戝e(cuò)、引號(hào)不匹配不要慌一行一行檢查就行。3.3 systemd故障排查的順序與常用手段服務(wù)啟動(dòng)失敗我習(xí)慣按以下順序排查第一步systemctl status 服務(wù)名 --no-pager查看主進(jìn)程狀態(tài)、PID、最近日志。如果顯示failed第二步立刻journalctl -u 服務(wù)名 -n 100重點(diǎn)看最后幾十行有沒有明確的報(bào)錯(cuò)關(guān)鍵字比如Permission denied、No such file or directory、Executable path is not absolute等。第三步檢查配置文件語法。unit文件里最常見的坑是ExecStart要求路徑絕對(duì)化且不能包含變量引用除非在用/bin/sh -c等特定寫法時(shí)After少了目標(biāo)會(huì)用默認(rèn)順序啟動(dòng)導(dǎo)致依賴網(wǎng)絡(luò)的服務(wù)在網(wǎng)卡還沒就緒時(shí)就開始啟動(dòng)。另外unit文件的權(quán)限也值得注意chmod 777的unit文件會(huì)導(dǎo)致systemd拒絕加載看到“permission denied”時(shí)先查文件權(quán)限。第四步如果確認(rèn)unit沒問題再看SELinux或AppArmor的攔截日志命令是ausearch -m avc -ts recent或查/var/log/messages。這個(gè)方法救過我好幾次很多奇怪的“服務(wù)起不來、看日志又不報(bào)錯(cuò)”最后都落在SELinux身上。4. 網(wǎng)絡(luò)與遠(yuǎn)程管理的正確姿勢(shì)4.1 靜態(tài)IP配置nmcli與配置文件的取舍RH134階段網(wǎng)絡(luò)配置不會(huì)考得太深但一定會(huì)要求你完成“把一臺(tái)機(jī)器的IP從DHCP改成靜態(tài)地址”這個(gè)任務(wù)。CentOS/RHEL系列管理網(wǎng)絡(luò)的主流方式已經(jīng)是NetworkManager配置文件在/etc/NetworkManager/system-connections/下而不是老教程里那個(gè)/etc/sysconfig/network-scripts/ifcfg-eth0。我推薦優(yōu)先使用nmcli它比直接改配置文件可靠得多原因是NetworkManager會(huì)在后臺(tái)監(jiān)聽配置文件變化某些版本下手動(dòng)改完不會(huì)自動(dòng)重載而nmcli會(huì)保持狀態(tài)一致。完整配置過程如下nmcli con add type ethernet con-name static-eth0 ifname eth0 ipv4.addresses 192.168.1.100/24 ipv4.gateway 192.168.1.1 ipv4.dns 8.8.8.8 114.114.114.114 ipv4.method manual nmcli con up static-eth0這里注意幾個(gè)參數(shù)con-name是連接的名稱可以自定義ifname是實(shí)際網(wǎng)卡接口名必須對(duì)應(yīng)系統(tǒng)的真實(shí)接口ipv4.method manual意為手動(dòng)配置而不是DHCP。配置完成后驗(yàn)證網(wǎng)絡(luò)是否生效ip addr show eth0 ip route show ping -c 4 192.168.1.1如果我必須改配置文件也會(huì)在改動(dòng)后通過nmcli con reload和nmcli con up來激活而不是直接重啟網(wǎng)絡(luò)服務(wù)。這里有個(gè)實(shí)踐小建議在生產(chǎn)環(huán)境操作網(wǎng)絡(luò)前最好準(zhǔn)備一個(gè)備用登錄通道比如帶外管理或IPMI否則一旦改錯(cuò)IPSSH斷掉之后只能去機(jī)房或靠應(yīng)急恢復(fù)手段非常被動(dòng)。我在很多文檔里都寫過這句話但還是每次都會(huì)有人踩。4.2 主機(jī)名管理與SSH連接實(shí)用習(xí)慣hostnamectl set-hostname是修改主機(jī)名的標(biāo)準(zhǔn)命令同時(shí)建議手動(dòng)維護(hù)/etc/hosts。有些環(huán)境下重啟后主機(jī)名會(huì)被DHCP或云平臺(tái)重置需要考慮使用nmcli general hostname來告訴NetworkManager持久化設(shè)置或修改/etc/sysconfig/network。SSH遠(yuǎn)程管理這塊我一般會(huì)注意三個(gè)細(xì)節(jié)一是推薦用ssh-copy-id把公鑰推到目標(biāo)機(jī)器上后續(xù)登錄免密且比定期輸入密碼安全得多二是限制/etc/ssh/sshd_config里的PermitRootLogin和PasswordAuthentication的值避免root直接密碼登錄三是改完配置務(wù)必重啟sshd服務(wù)并開第二個(gè)會(huì)話驗(yàn)證防止配置錯(cuò)誤把自己鎖在外面。這些習(xí)慣看似瑣碎但每一條都來自真實(shí)事故的教訓(xùn)。4.3 firewalld的zone與端口開放firewalld是后iptables時(shí)代管理防火墻的主要工具RH134涉及它的常見操作。最基礎(chǔ)的思路是理解zone區(qū)域的概念每個(gè)zone代表一組規(guī)則網(wǎng)絡(luò)接口可以綁定到某個(gè)zonezone里定義允許或拒絕的端口、服務(wù)和來源。常用操作如下firewall-cmd --get-default-zone firewall-cmd --list-all firewall-cmd --add-port8080/tcp --permanent firewall-cmd --reload firewall-cmd --list-ports--permanent參數(shù)的意思是寫入持久規(guī)則不加的話規(guī)則只在內(nèi)存中生效重啟后消失。加了永久規(guī)則后必須--reload否則當(dāng)前運(yùn)行時(shí)不會(huì)變化。這是一個(gè)非常經(jīng)典的易錯(cuò)點(diǎn)如果只加--permanent而不reload當(dāng)前防火墻狀態(tài)不變看起來“沒生效”如果只加不加永久參數(shù)當(dāng)前生效但重啟后丟失。如果服務(wù)本身啟動(dòng)了但外部訪問不到我通常先本機(jī)ss -lntp確認(rèn)端口是否監(jiān)聽再curl本機(jī)驗(yàn)證然后檢查firewalld規(guī)則最后再看SELinux布爾值。按照這個(gè)順序排查多數(shù)問題能在前三步解決。5. 系統(tǒng)日志與監(jiān)控關(guān)鍵時(shí)刻能救命的技能5.1 journalctl的高頻率用法整理日志是系統(tǒng)運(yùn)維最重要的信息源RH134階段需要掌握的是用journalctl快速定位問題。我用得最多的幾個(gè)參數(shù)組合journalctl -u 服務(wù)名 -e # 查看某服務(wù)最新日志 journalctl -u 服務(wù)名 -n 50 # 查看最近50條 journalctl --since 10 minutes ago --until 5 minutes ago journalctl -p err -b # 查看本次啟動(dòng)以來的錯(cuò)誤級(jí)日志 journalctl -f -u 服務(wù)名 # 實(shí)時(shí)追蹤服務(wù)日志不同優(yōu)先級(jí)日志用-p過濾是排查問題時(shí)的利器。err及以上通常對(duì)應(yīng)真正的故障warning多可忽略debug則用于深入跟蹤。我接到告警時(shí)通常先看-p err -b把當(dāng)次啟動(dòng)的錯(cuò)誤全撈出來再逐條分析。如果日志太多導(dǎo)致磁盤滿了可以設(shè)置SystemMaxUse參數(shù)限制journal占用空間具體位置在/etc/systemd/journald.confSystemMaxUse500M改完記得重啟journald服務(wù)journalctl --vacuum-size500M則能立即壓縮現(xiàn)有日志占用。5.2 日志持久化的關(guān)鍵前提/var/log/journal很多人沒注意到一個(gè)細(xì)節(jié)默認(rèn)情況下journald把日志存在內(nèi)存里的/run/log/journal重啟之后歷史日志全沒了。這在個(gè)人測(cè)試環(huán)境沒問題但在生產(chǎn)環(huán)境里如果遇到故障需要事后排查丟日志的后果相當(dāng)嚴(yán)重。正確做法是手動(dòng)創(chuàng)建持久化目錄并設(shè)置正確權(quán)限mkdir -p /var/log/journal systemctl restart systemd-journald創(chuàng)建之后journalctl就會(huì)自動(dòng)把日志寫入磁盤。建議在部署新系統(tǒng)時(shí)盡早完成這一步因?yàn)榈鹊侥惆l(fā)現(xiàn)已經(jīng)晚了——?dú)v史日志早就沒了。另外不同服務(wù)日志分開看比如Web服務(wù)的訪問日志和錯(cuò)誤日志一般由應(yīng)用自己輸出到/var/log/下不要只依賴journald兩個(gè)體系配合使用才能覆蓋完整排查鏈路。rsyslog那邊也值得一提/etc/rsyslog.conf里的規(guī)則把日志分門別類寫入/var/log/secure、/var/log/messages等文件對(duì)后續(xù)審計(jì)和故障回溯幫助很大。5.3 日常監(jiān)控命令組合top、ss、free、iostat怎么搭配監(jiān)控不是只盯一個(gè)指標(biāo)而是多維度組合。我常用的組合是top看CPU和負(fù)載free -h看內(nèi)存ss -lntp看端口監(jiān)聽和連接狀態(tài)iostat -x 1看磁盤IO。下面分別說明各命令的注意點(diǎn)。top里最容易被忽略的是load average這個(gè)數(shù)字。有人一看到load高就以為CPU爆了實(shí)際上load還受磁盤IO和進(jìn)程等待的影響。應(yīng)該結(jié)合%Cpu(s)里的waiowait來判斷如果wa很高且進(jìn)程普遍處于D狀態(tài)問題大概率在磁盤而不在CPU。free -h的重點(diǎn)是看available而不是簡(jiǎn)單看free列。Linux會(huì)把空閑內(nèi)存用作緩存來加速讀寫free值小不代表內(nèi)存不夠available才是真正可用的余量。只要available足夠緩沖區(qū)占用高不用緊張。ss -lntp替代了老的netstat輸出格式更清晰。排查“端口被占用”時(shí)ss -lntp | grep 端口號(hào)能得到PID和進(jìn)程名再用ps -fp 該P(yáng)ID定位具體程序。生產(chǎn)環(huán)境里出現(xiàn)過同一個(gè)端口被殘留進(jìn)程占用導(dǎo)致新服務(wù)無法啟動(dòng)的問題這類情況在ss輸出里一目了然。iostat -x 1著重看%util和await。如果%util持續(xù)接近100%說明磁盤已接近吞吐上限await過高則可能是排隊(duì)時(shí)間增長(zhǎng)單個(gè)請(qǐng)求時(shí)延變大。兩者同時(shí)偏高基本可以確定磁盤性能瓶頸。6. 軟件包管理與dnf/rpm的細(xì)節(jié)6.1 dnf與rpm的配合使用思路RH134對(duì)軟件管理的考察主要在dnf和rpm。處理好這兩個(gè)工具的配合關(guān)系是重點(diǎn)dnf關(guān)心的是依賴關(guān)系和倉庫rpm更關(guān)心已安裝包的文件級(jí)信息。日常使用中裝軟件用dnf查文件屬于哪個(gè)包用rpm驗(yàn)證包完整性也用rpm。以下組合是我多年來用順手的dnf install -y 包名 dnf search 關(guān)鍵字 dnf provides /etc/nginx/nginx.conf rpm -qf /usr/bin/systemctl rpm -ql 包名 rpm -V 包名dnf provides在處理“某個(gè)文件找不到但不知道它屬于哪個(gè)包”的場(chǎng)景里非常高效rpm -qf則用于反向查詢文件來自哪個(gè)安裝包線上排查時(shí)十分有用——比如你想知道/etc/my.cnf是從哪個(gè)包來的一條命令就能定位。6.2 配置本地倉庫的完整思路生產(chǎn)環(huán)境內(nèi)網(wǎng)常常無法訪問外網(wǎng)倉庫所以配置本地倉庫是運(yùn)維基本功。思路是準(zhǔn)備一臺(tái)內(nèi)網(wǎng)服務(wù)器把ISO解壓或掛載進(jìn)去用createrepo生成倉庫元數(shù)據(jù)然后在客戶端配置.repo文件。倉庫配置文件位置在/etc/yum.repos.d/下內(nèi)容模板如下[local-base] nameLocal Base Repository baseurlhttp://192.168.1.10/repo/BaseOS enabled1 gpgcheck0配置完執(zhí)行dnf clean all dnf makecache dnf repolist如果客戶端提示找不到倉庫或元數(shù)據(jù)過期多半是baseurl路徑不匹配或者倉庫端沒有執(zhí)行createrepo。建議先在服務(wù)器上用瀏覽器或curl確認(rèn)目錄能否訪問再檢查客戶端配置文件最后dnf clean all強(qiáng)制刷新緩存很多時(shí)候問題就出在舊緩存上。6.3 版本鎖定與包驗(yàn)證的實(shí)戰(zhàn)技巧生產(chǎn)系統(tǒng)最怕的一件事是“重啟后服務(wù)莫名不可用”而常見原因之一是某個(gè)依賴包被意外升級(jí)。dnf versionlock可以鎖住指定包的版本dnf install -y python3-dnf-plugin-versionlock dnf versionlock add nginx dnf versionlock list這個(gè)插件把指定包鎖定為當(dāng)前版本后續(xù)執(zhí)行dnf update時(shí)會(huì)自動(dòng)跳過鎖定項(xiàng)。使用時(shí)機(jī)是在重要服務(wù)部署完成后立刻鎖定不是等事故發(fā)生了才想起來。rpm -V用于驗(yàn)證已安裝包的關(guān)鍵文件是否被修改。比如懷疑/bin/ls被人動(dòng)過手腳可以執(zhí)行rpm -V coreutils輸出里出現(xiàn)S.5....T.等標(biāo)志說明文件的權(quán)限、大小、修改時(shí)間至少有一項(xiàng)和安裝時(shí)不一樣這時(shí)候就要進(jìn)一步排查。這個(gè)功能在安全審計(jì)場(chǎng)景里特別常用卻很少有人知道掌握之后能幫你在系統(tǒng)異常時(shí)快速定位文件級(jí)別的變化。7. 計(jì)劃任務(wù)at、crontab與systemd timer的取舍7.1 at一次性任務(wù)的注意事項(xiàng)Linux計(jì)劃任務(wù)分三類at處理一次性任務(wù)crontab處理周期性任務(wù)systemd timer作為更現(xiàn)代的方案逐漸流行。RH134要求至少掌握前兩者但實(shí)際工作中三者都值得了解。at的用法很簡(jiǎn)單echo sh /opt/scripts/backup.sh | at 02:30 atq atrm 任務(wù)IDat運(yùn)行前需要atd服務(wù)處于運(yùn)行狀態(tài)并且用戶必須被允許使用at命令相關(guān)配置在/etc/at.allow和/etc/at.deny里。我個(gè)人的習(xí)慣是只要任務(wù)會(huì)重復(fù)執(zhí)行就優(yōu)先用crontab而不是每次都寫at因?yàn)閍t任務(wù)清單不夠直觀時(shí)間久了容易忘記有哪些遺留任務(wù)在等你。7.2 crontab的時(shí)間格式與環(huán)境變量坑crontab -l查看任務(wù)crontab -e編輯任務(wù)這是最基礎(chǔ)的操作。時(shí)間格式“分 時(shí) 日 月 周”五個(gè)字段分別對(duì)應(yīng)其中最需要仔細(xì)的是“星期”字段取值范圍是0到70和7都表示周日。我踩過最大的坑是cron任務(wù)里PATH環(huán)境變量不全的問題。crontab執(zhí)行環(huán)境不像登錄shell那樣有完整的PATH所以/usr/bin/python3可能直接找不到python3。解決方式有兩種要么在crontab文件頂部設(shè)置PATH/usr/local/bin:/usr/bin:/bin要么在腳本內(nèi)部使用絕對(duì)路徑執(zhí)行所有外部命令。第二種方式我自己更推薦因?yàn)樗灰蕾嘽ron服務(wù)端的配置腳本拿到哪里都能跑。%符號(hào)是另一個(gè)大坑。crontab中%有特殊含義會(huì)被當(dāng)作換行如果命令里需要用到date %Y%m%d這種帶百分號(hào)的內(nèi)容必須轉(zhuǎn)義為\%。不轉(zhuǎn)義的結(jié)果是命令被截?cái)嗲胰罩纠锶莂ur error非常難排查。查看cron執(zhí)行情況的方法grep CRON /var/log/cron tail -f /var/log/cron journalctl | grep crond7.3 systemd timer更適合復(fù)雜任務(wù)的現(xiàn)代方案如果你需要更精確的控制或者任務(wù)涉及服務(wù)依賴關(guān)系建議使用systemd timer。它的優(yōu)勢(shì)是支持日志統(tǒng)一收集、失敗重試、隨機(jī)延遲避免“整點(diǎn)風(fēng)暴”還能準(zhǔn)確查看上次執(zhí)行時(shí)間和下次執(zhí)行時(shí)間。一個(gè)最小示例是兩個(gè)文件/etc/systemd/system/backup.service[Service] Typeoneshot ExecStart/usr/local/bin/backup.sh/etc/systemd/system/backup.timer[Unit] DescriptionRun backup daily [Timer] OnCalendar*-*-* 02:00:00 Persistenttrue [Install] WantedBytimers.target啟動(dòng)方式跟普通服務(wù)一樣systemctl enable --now backup.timer systemctl list-timers journalctl -u backup.servicePersistenttrue表示如果錯(cuò)過了預(yù)定執(zhí)行時(shí)間比如機(jī)器當(dāng)時(shí)關(guān)機(jī)下次開機(jī)后會(huì)立刻補(bǔ)跑這一點(diǎn)是cron做不到的。我建議任務(wù)簡(jiǎn)單就繼續(xù)用crontab任務(wù)多、依賴強(qiáng)、需要可靠記錄時(shí)遷移到systemd timer。8. 一些實(shí)在話從頭到尾把RH134的這些知識(shí)點(diǎn)再過一遍其實(shí)看不出哪個(gè)是“難點(diǎn)中的難點(diǎn)”但確實(shí)能感受到知識(shí)點(diǎn)之間的聯(lián)系非常緊密。用戶管理一定關(guān)聯(lián)到文件和目錄權(quán)限權(quán)限又聯(lián)系到進(jìn)程運(yùn)行身份進(jìn)程再關(guān)聯(lián)到systemd服務(wù)服務(wù)又繞不開網(wǎng)絡(luò)與防火墻??荚嚂r(shí)間緊張時(shí)很多人的問題不是“不會(huì)”而是“知識(shí)是散的”遇到題目要從零開始拼接上下文自然慢。我個(gè)人的體會(huì)是學(xué)到這里必須用手里的機(jī)器把每個(gè)環(huán)節(jié)串起來跑一遍而不是一個(gè)個(gè)孤立的命令去背。準(zhǔn)備一臺(tái)干凈的虛擬機(jī)從建立用戶、分配組、設(shè)置ACL、寫unit文件、配防火墻、設(shè)計(jì)劃任務(wù)到模擬一次內(nèi)存告警或磁盤告警并修復(fù)整套流程演練下來比刷兩遍考綱更有用。最后分享一個(gè)小技巧如果你在實(shí)驗(yàn)環(huán)境里搞壞了某個(gè)服務(wù)別急著重裝系統(tǒng)先systemctl status和journalctl -u把日志看明白再嘗試恢復(fù)。這個(gè)過程比單純“能跑起來”更能鍛煉排查能力。等到你遇到故障的第一反應(yīng)不是“重啟試試”而是“先查日志再動(dòng)手”RH134的實(shí)操目標(biāo)也就基本達(dá)成了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日韩99色99| 激情五月天综合| 中国女人做爰A片| 99在线爽| 丁香五月第四色88| 久久综合五月天| 91精产品自偷自偷综合| 丁香成人视频| 大陆极品少妇内射AAAAAA| 玖玖爱综合网| 激情五月天激情小说| 五月天婷婷小说| 艹天天射| 操逼在线视频| 五月天大香蕉| 五月总合激情网| 激情五月天激情综合网| 五月天激情美女久久| 丁香六月婷婷开心婷婷网| 色 五月俺去也| 色爱五月天| 日韩免费99| 思思色综合网站| 亚洲这里只有精品| 亚洲高清在线| 成人在线综合| 久久思思99| 激情美女五月天激情在线| 亚洲第一综合| 激情综合网五月在线播放| 久久婷婷视频| 色欲五月丁香| 久久视频九九视频| 欧美三9久九观看| 欧美激情 日韩无码 婷婷 五月天| 97人凄人人操人人爽| 岛国午夜视频| www.五月天社区| 香蕉久久国产AV一区二区| 色噜噜狠狠色综合日日| 大香蕉综合网| 九九热99免费视频| 色五月超碰| 中文字幕人妻AV| 开心五月婷婷99| 丰满少妇乱A片无码| 99热伊人| 大香蕉人妻| 91人人超碰在线| 久久久这里有精品| 热婷婷在线视频| 亚洲综合婷婷六月丁香五月| 成人精品免费在线观看| 婷婷色五月久久| 成人做爰A片免费看网站找不到了| 另类图片天天影视在线观看| 色色色9| 五月丁香欧美综合| 婷婷五月色综合| 亚洲视频久久| 五月激情综合网| 色婷婷无吗| 乱色色色| 加勒比久热| 俺去啦综合网| 婷婷五月综合免费在线| 久久金品黃色| 六月丁香色色色| 丁香六月婷婷综合| 综合色影| www久| 五月丁香无码| 婷婷五月色播放| 日韩无码成人电影| 丁香六月婷婷| 婷婷五月天xxx| 中文字幕无码人妻少妇免费视频| 五月激激网w'w'w| 精品夜夜澡人妻无码AV| 激情五月天小说视频| 九九婷婷五月天| 激情婷婷另类| 日本97人人| 婷婷精品综合| 国产九九一区二区三区| 99热都是精品| 立川无码av| 激情五月天视频| 亚洲色涩视频| 99在线精品视频| 深爱丁香网| 五月婷婷综合网| 婷婷97狠狠干| 射婷婷中文字幕| 丁香五月冃欧美| 三人荫蒂添的好舒服A片| 人人摸人人射| 日本人妻久久| 综合久久综合| www.粉嫩av.com| 婷婷五月天AV| 9久热这里只有精品视频| 亚洲亚洲人成综合网络| 色噜噜狠狠插综合| 色婷六月| 久久激情网| 婷婷新网址| 99色最新在线视频网站| 67194中文字幕| 婷婷久久丁香| 婷婷丁香五月综合| 欧美精品在线观看| 色五月激情五月| 天天插天天射天天干| 午夜成人AV在线| 国产免费AV在线| 色综合久久99色| 婷婷涩五月| 五月天成人小说| 五月天五月色婷婷综合| 香蕉视频性爱BB做爱| 天天干夜夜欢| 色五月天丁香婷婷色| 大香蕉久久婷婷| 婷婷在线精品| 国产看真人毛片爱做A片| 五月网网站| 夜色爱爱亚洲| 丁香九九九九| 狠狠五月丁香色婷| 中文成人在线| 少妇激情五月天| 天天舔天天摸天天射| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 久久98| 色婷婷视频| 九九色婷| 精品人妻一区| 热99精品视频在线观看| 久久男人网婷婷| 五月天成人综合| 伊人婷婷五月天| 午夜天堂啪啪| 九热视频| 快乐婷婷五月天| 成人 在线观看国产| 久久久这里有精品| 午夜丁香| Caoub青青超碰 | 激情小说视频图片| 亚洲五月婷| 国外亚洲成AV人片在线观看| 激情六月婷婷| 青青热久精品视频在线观看| 婷色视频| 国产精品久久久久久久久久| 亚洲人人操| 久久色五月天| 超碰京东热av男人的天堂| 五月天婷婷基地| 婷婷六月网| 第1影院之五月婷婷| 99久在线观看| 天天天天天天天操| 内射综合网| 久久精品国产精品| 久久久久久97| 五月天在线视频尤物视频在线看| 97狠狠色| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 久99久视频精品| 亚洲 视频 导航 一区| 综合激情五月四射婷婷| 我淫我色婷婷五月天激情四射| 色综合九九| 欧美va视频| 色五月开心开心五月激情五月| 综合婷| 午夜丁香婷婷| 成人色五婷婷| 色婷婷国色天香综合| 視频福利乱色| 五月丁香婷婷色啪| 丁香五月色情| 亚洲天堂aaaa| 这里只有精品在线播放| 成人AV在线网站| 69热91天堂| 日本综合色图| 色婷婷成人| 亭亭丁香久久五月| 欧美综合五月丁香六月婷| 伊久大香蕉| 亚洲激情av| 五月天婷婷丁香社区| 五月天另类小说亚洲| 人人97操| 婷婷五月激情欧美大胆视频| 日日操日日撸| www.婷婷,com| 久久思思精品| 五月天性色| 91婷婷在线| 91熟妇大香蕉| 久久9热好| 老司机日日夜夜青草| 激情五月婷婷六月丁香| 人妻久久久久久久久妻久久久久| 久久婷色| 婷婷色吧| 9热久久在线| 伊人91| 狠狠干在线| 99久久精品网| 色五月在线| 国产精品成人AV在线| 91狼友视频在线观看| 丁香五月天社区| 婷婷五月色| 九九九九九九九热| 日本色婷婷综合| 大香蕉久久婷婷| 五月丁香婷婷欧美色图视频五月丁香777电影 | 国产 亚洲 在线| 91人人人人人人人| 久久精品无码一区| 国产av天堂| 大香蕉伊人99| 九九成人| 色五月婷婷九月| 99热精品一| 成人在线视频网| 91久久九色| 五月婷婷六月激情| 免费观看全黄做爰的视频| www99热| 婷婷六月综合基地| 五月花在线观看视频| 99色热视频| 亚洲激情综合色站| 这里有精品99| 久久精品9| 五月丁香日逼| 最新婷婷五月丁香| 五月婷婷香蕉视频| 91丁香综合| 人人爱操| 五月婷婷六月丁香| 可以免费观看的AV| 99热成人| 久久综合激情| 亚洲精品亚洲人成人网| 婷婷久久五月天| 另类小说五月天| 九月av| 人人摸人人摸| 天天激情欧美美女| www夜夜操| 亚洲色激情| 狠狠五月激情婷婷直播片| 九九色插| 婷婷色色综合| 九九九九热99超碰| 亚洲狠9| 色婷婷五月天av在线| 嫩BBB搡BBBB榛BBBB| 亚洲综合成人网| 天天日,天天干,天天操| 玖玖婷婷五月天| 丁香六月在线| 五月天婷婷影院| 久久这里只精品| 天天色综网| 久久九九综合| 五月激情综合网| 偷拍五月丁香| 激情网五月| 丁香五月电影| 五月婷婷香| 免费婷婷| 中文字幕永久在线| 91久久久久久久久18| 综合网天天| 激情綜合W W W,激情五月天| 色播丁香| 久久精品99国产精品日本| 九九在线精品| 色狠狠色噜噜AV天堂五区| 五月婷婷六月丁香| 天天草女人| 99在线视频观看| 日韩一区二区A片免费观看| 中文字幕无码人妻少妇免费视频| 五月天婷婷综合色| 国产亚洲99久久精品熟| 99久久終合| 九九热99精品| 91精产一区三区免费观看| 五月天另类图片区99| 五月丁香色婷婷久久| 九九精品自拍| 在线国产精品色| 多精窝99在线视频| 2w在线视频| 婷婷五月天激情AV影院| 欧美Va日本Va| 97碰久久| 激情色播| 日韩在线视频9色| 五月做爱| 婷婷综合在线播放| 99热r| 激情涩涩网| 97深爱伊人综合| 日本激情五月| 狠狠操天天干| 色欲久久综合| 少妇AB又爽又紧无码网站| 玖玖色综合色| 色五月大| 日本三级99人妇网站| 91 久热| 十区av| 国产在线黄色| 色婷婷五月基地在线| 色五月成人在线| 日本人人xxx| 亚洲在线资源| 丁香网站| 99热在线网站| 久久综合九九| 日逼免费视频| 97五月久久丁香婷婷| 这里只有精品免费视频| 婷婷五月激情黄色| 91疯狂操操操操| 99色色热热| 五月婷婷免费| 色色com| 午夜大香蕉| 无码AV免费精品一区二区三区| 婷婷五月天综合久久日美女| 国产1区2区3区| 再次出发二| 这里只有精品69| 99热免费| 乱精品一区字幕二区| 精品热九九| 五月婷激情影院| 色婷婷综合久色AV五色最新| 久久这里只有欧美| 丁香五月香蕉| AV片一区在线观看| WWW.久久久久久久| 狠狠狠狠狠狠狠狠草| 欧洲亚洲精品| 五月丁香综合| 四射综合网| 日本怕怕视频| 丁香五月天啪啪激情综和网 | 99热久久日本| 丁香六月婷婷缴情欧美| 大香蕉久久伊人婷婷五月丁香| 五月激情婷婷开心五月| 激情五月天com| 久久99热这里只有精品| 99视频日韩| 狠狠色综合网| 婷婷干五月综合在线播放| 丁香色色网| 丁香婷婷五月份| 日本人人干| 婷婷丁香六月五月天| 人人爽欧美婷婷久久久五月丁香 | 99色视频在线| 噜噜五月天综合| 99热精品在线观看| 这里只有精品免费视频在线观看| 九九人人操| 激情 久久 婷婷| 91成人视频| 严洲天天插| 亚洲婷婷91丁香| 99国产在线精品视频| 丁香六月婷婷综合欧美| 久久人妻情侣| 啊v视频在线观看| 色一色综合| 另类综合激情| 蜜桃五月天| 亚洲激情另类| 色一情一乱一乱91Av| 天天拍天天做视频| 婷婷无码视频| 日韩三级视频一区二区| 欧美婷婷五月无砖| 久热人妻| 一区二区aV电影免费看| 青青操绿aaa一区日v| 婷婷五月天黄色小说| 五月激情小说| 婷婷五月天小说| 黄色91在线观看| 亚洲丁香五月综合| 日本欧美成人片AAAA| 538在线精品| 操逼视频一区| 丁香成人色情五月天| 婷婷在线播放| 五月丁香六月激情综合| 噜噜色com| 丁香五月激情综合| 婷婷无码视频| 五月欧美丁香在线观看| 亚洲av另类在线观看| 婷婷偷拍网| 色激情五月天| 欧美日本不卡黄色片| 伍月婷丁香婷| 亚洲在线操| 婷婷色综合中心站| 97色伦另类图片小说视频| 五月婷婷久久综合| 色一情一乱一乱91Av| 人妻操操色| 天天艹夜夜艹| 综合久久综合久久| 人人爱人人草| 五月丁香另类网| 激情综合4月| 热99在线精品| av电影在线播放| 亚洲综合五月天综合| 五月丁香大香蕉| 九草性爱| 中文国产五月天| 99热思思| 怕怕視頻| 久/久精品99看9| 久久综合网桃花| 亚洲综合视频一下| 九九av| 7777激情基地| 夜夜 操无码| 9 大屁股在线视频精品| 激情婷婷五月基地| 丁香五月天操B| henhencao国产在线| 五月丁香婷婷综合| 久久九九玖玖| 久久婷婷五月综合激情国产| 99在线视频女女视频| 婷婷无码视频| 婷婷五月天免费99| 天天拍夜夜爽| 婷婷五月色激情欧美激情| 狠狠操狠狠色| 九九色99| av大片在线| 久久综合网免费视频| 99热在线精品观看| 综合色播| 91婷婷| 大香蕉啪啪| 天天色粽合合合合合合合| www网站在线观看| 伍月婷丁香花全集| 碰99在线| 五区毛片七区毛片| 丁香婷婷激情网站| 色五月婷婷天天操夜夜操| 国产AV国片偷人妻麻豆| 婷婷五月激情丁香激情| 精品一区二区三区四区五区六区| 伊人五月婷婷| 另类小说五月天| 99色啊| 色婷婷久久| 丁香午月AV中文字幕| 五月丁香婷婷色| 久久视频婷婷视频| 超碰99在线| 99性视频| 色五月亚洲| 狠狠大香婷婷爱| 狠狠色婷婷777| 婷婷九月丁香| 国产激情综合五月久久| 欧美A级网站| 丁香午夜天| 色情五月天视频网| 无码操B| 六月丁香激情综合网| 六月婷婷五月丁香| 99re这里只有精品国产99| 99久久九九| 天天草婷婷五月| 99热日本| 深爱五月天 开心网| 日本久久人| 婷婷网影院| 精品久久9| 91天天操天天干天天射| 五月婷婷在线免费观看| 五月丁香六月日逼| 欧美情色一区| 深情五月天| 极品九九九九九九| 激情五月婷| www久久99| 很很干天天干| 深爱激情九九五月天 | 欧美婷婷成人| 亚洲操B视频| 日本激情91| WWW久久久| 婷婷五月激情网| 五月婷婷视频啪啪美女| 色五月 婷婷, 大香蕉| 久久婷婷综合五月趴| 五月丁香久久丝袜啪啪| 亭亭色色五月天| 婷婷丁香五月av| 色播丁香| AV79| 婷婷五月色情| 色九月婷婷| 99热精在线九九久久保| 99热有精品在线观看| 26uuu另类| 久久久噜噜噜操操操| 狠狠操狠狠插| 婷婷月五天在线在线看| 国产精产国品一二三在观看| 五月开心深深爱激情综合| 五月婷婷丁香网| 大香蕉婷婷五月天| 六月婷婷狠狠| 97干在线免费| 亚洲久久激情| 久久ww| 色一情一乱一伦一区二区三区| 色婷婷五月天天天干天天操天天爽| 无码动漫AV| 久热成人| 青青草蜜臀| 色吊操色妞| 婷婷久久99| 五月天激日本色情在线| 狠狠色噜噜狠狠狠狠狠色综合久久| 99网99热| 思思热国产视频| 亚洲精品无AMM毛片| 可以看的AV网站| 婷婷丁香成人| 超碰成人黄色网| 综合婷婷五月天| 久久只有精| 激情五月丁香五月综合| 亚洲综合激情五月久久| 亚洲激情亚洲激情| 天天色凹凸| 超碰操网| 色色色色av777| 91人碰| 婷婷色五月天在线| 日日操天天爽| 99碰网站| 超pen个人视频97| 色五月激情网| jiujiu无码五区| wwww.9免费视频| 亚洲欧美成人在线| 激情激情激情网| 激情五月,激情综合网| 欧美色色色| 五月停停丁香| 成人短视频在线| 激情五月婷婷老师| 丁香婷婷五月六月久久| 久热只有这里精品| 97人人超| 日韩小视频在线99| 五月花免费视频| 另类综合婷婷五月天欧美视频| 婷婷五月天色色| 亚洲99精品九九在线| 久久综合五月天| www.婷婷,com| 丁香婷婷久久| 亚州成人综合在线| 大香蕉视频婷婷| 色色色色色色综合| 色欲天天综合网| 激情涩播| 可以看的AV| 狠狠狠狠狠狠狠狠| www.婷婷五月天,com| 91久久18| 五月婷丁香| 婷婷五月色| 丁香六月婷婷综合网| 91精品综合久久婷婷九色| 国产午夜精品一区二区三区四区| 九九这里是免费的视频5| 婷婷色五月久久| 天天狠狠综合精区| 亚洲色无码| 国外亚洲成AV人片在线观看| 婷婷丁香成人在线视频| 夜夜躁婷婷AV| 五月婷婷六月激情| 狠狠插狠狠操| 另类激情五月在线视频欧美| 亚洲女婷婷五月基地综合久久久| 久艹大香蕉| 久久看九九90| 婷婷五月天影院| 九九热视频在线观看| 亚洲天堂AAA| www.色综合| 超碰在线资源| 久久久国产精品黄毛片| 久操操| rr天天操| 思思精品久久艹| 超碰在线精品| 欧美啪啪五月天| 思思re最新视频| 婷婷在线免费| 婷婷五月色| 人妻精品久久久久久久| 日本人妻丁香婷婷久久寝取熟女五月| 五月丁香黄色| 五月婷婷 自拍| 久久久99精品免费观看| 人人操插| 思思热视频在线观看| 五月天激情Av| 天天做天天爱天天日| 五月天丁香成人| 91在线观看九区| 开心五月婷婷激情| 综合五月婷婷| 色婷婷激情四射视频| 狠狠色噜噜| 啪啪干伊人婷婷| 性爱动图国产麻豆一区二区三区| 久久久香| 午夜婷婷久久| 婷婷中文字暮| 久久婷婷五月综合色欧美| 五月天偷拍| WWW久久久| 天天干天天干天天干| 精品五月天| 人人干Av| 亚洲五月天伊人| 噜噜色五月| 97精品在线| 亚洲XX网| 丁香五月大香蕉AV| 9色免费网| 色www久视频| 乱精品一区字幕二区| 另类激情中文| 99自拍视频| 婷婷性爱网| 91色逼| www.夜夜| 色婷婷久久综合中文久久一本 | 思思视频精品| 99 热| 综合色99| 婷婷性爱影院| 99精品在线观看视频| 狠狠干在线| 91oumei| jiuse91在线| 久色大香蕉| 九九99热精品| 超碰2021| 九月色婷婷婷| 婷婷久久爱| 婷婷丁香色女人| 久久久久9久无码视频| 丁香五月花影院| 五月天激情色色| 中文字幕乱码亚洲精品一区| 国产69久久久欧美黑人A片| 亚洲亚洲人成综合网络 | 九九伊人网| 色5月婷婷| 激情九月婷婷| 亲子乱AV一区二区三区下载| 国产激情AV| 色色色色五月天| 91偷拍视频| 色婷婷香蕉| 色婷婷久久| 九色视频91疯狂| 激情综合99| 伊人玖玖精品| 成人 在线 日韩| 九九伊人网| 天天色天天| 丁香五月性| 男女啪啪做爰高潮无遮挡| 色吧五月| 婷婷激情五月天激情| 亚洲操B| 99热亚洲精品| 欧美25p| 亚洲国产99| 五月婷天天搞视频| 久久久无码精品成人A片小说 | 五月激激网w'w'w| 国产精品久久久60086| 五月婷AV| 综合激情视频| 香蕉婷婷色五月| 97色婷婷| 在线观看国产高清视频免费网站| 影音先锋91在线资源站| 久久久久九九九九视屏小说88| 性爱五月婷婷| AV色婷婷| 丁香五月综合久久八| 婷婷激情六月综合| 都市激情小说婷婷| 五月婷婷六月开心| www.99热在线观看| 看片视频在线免费日产在线看| www.色婷婷.com| 99热99精品在线观看| 黄色毛片精品| 欧美综合五月丁香六月婷| 色五月xxx| 狠狠色狠狠色综合日日91| 久久思思精品| 欧美婷婷日本| 91操人| 天天爱天天天射AV| 天堂爱啪啪| 亚洲精品视频在线| 另类丁香五月天区图| 色狠狠综合| 久久激情天堂| 婷婷综合视频| 99色人| 亚洲性爱电影| 五月婷婷五月天激情视频| 五月天激情小说婷婷基地| 久久性爱视频| 九九热免费视频| 婷婷五月天性色| 欧美色色色色色色| 天堂AV三级| 亚洲丁香网| 狠狠爱激情网| 国产乱妇无乱码大黄AA片| 色色热日| 激情五月天婷婷直播| 久久性爱网站| 人人摸人人干| 国产JK精品白丝AV在线观看| 日本在线观看aaa 99| 久婷五月| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 天天色综合综合| 在线视频99| 丁香色婷婷| 久久全色| 国产伦理精品高清在线观看网站一区二区 | 这里只有精品免费| 丁香六月欧美| 五月天婷婷Av| 欧美日本VA| 亚洲免费99| 五月天色综合| www.色多多婷| 超碰com| 丁香亚洲婷婷五月| 色婷婷激情| 婷婷成人基地| 丁香五月综合激情性爱| 乱抡小BB| 99精品久久久久| 大地资源色婷婷视频在线| 99视频在线观看网址| 七七久久婷婷| 91超碰人人操| 九一99| 五月天色社区| 丁香婷婷综合影院| 激情黄色小说色五月| 麻豆123区| 大香蕉五月天| 亚洲av电影网站| 婷婷综合五月| 激情五月天小说| 色色无码| 精品综合爱| 亚洲狠狠婷婷综合久久久| 五月丁香婷婷爱| 国产看真人毛片爱做A片| 一区二区乱码视频| 91大屁股| 依人大香蕉| 久久99日本精品视频免费观看| 人人干人人干骚美女| 天天日,天天干,天天操| 亚洲V国产V欧美V久久久久久| 日本3级片一区2区| 五月天婷婷色播在线网| 99热精品在线播放| 六月综合婷婷开心伊人| 伍月激情天| 97人人干人人操| 超碰自拍天堂| 这里只有精品在线视频精品| www.色婷婷| 午夜精品久久久久久久爽| 五月天激情图片| 深爱五月网| 久热99| 成人av在线网站| 狠狠插日日干撸| 天天做天天爱天天爽| 色情婷| 婷婷丁香五月天亚洲| 亚洲色视频| 大香蕉大香蕉在线影院| 婷婷开心激情综合五月天| 丁香六月五月天| 中文字幕av亚洲| 天天檫天天爽| 亚洲色色色| 国产免费一区二区三州老师F1F1| 开心五月深爱五月丁香五月激情五月| 色婷婷六月| 日本美女上人| 99国产在线| 五月婷婷很很色| 成人羞羞啪啪 全 视频| 色婷精品91| 婷婷六久久| 五月丁香综合精品| 玖玖资源在线视频| 91成人看片| 色婷婷AV久久久久久久| 人妻丰满精品一区二区A片| 婷婷香香五月| 色情五月天丁香社区| 开心五月婷婷伊人| 五月天婷婷色小说| 婷婷综合网站| 97操操| 久久五月婷婷丁香| 色婷狠狠| 欧美3AaAa大片| 疯狂做受XXXX高潮A片动画| 综合久久婷婷| 日韩在线视频中文字幕| avv在线| 久久人人人人妻| 八戒青柠影视剧在线观看| 六月丁香婷| 超碰人人超碰| 三级毛片7979| 无人精品在线视频| 欲求不满的人妻| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 婷婷五月欧美综合| 五月丁香六月婷婷综合免| 天天干夜夜想| 久久ww| 狠狠色狠狠| 丁香五月人妻| 五月天色五月| www.婷婷五月天,com| 六月丁香婷婷五月| www.wuyuetian啪啪| caobi四区| 操碰97| 五月天丁香六月综合| 综合色99| 婷婷综合色| 久久亚洲无码| 成人在线综合| 久久性爱视频| 99热高清在线| 五月婷婷激情| 哇嘎成人久久| 中文字幕成人影视| 超碰国产在线观看| 狠狠高潮精品亚洲1| 欧洲区自拍| 人人爱国产| 色就色94欧美setu| 色99欧洲色19| 狠狠爱五月婷婷综合六月| 丁香五月停停av| 91色性感五月婷婷丁香| 六月婷婷七月丁香| 中国操逼99| 五月丁香好婷婷A片网| 玩熟女五十AV一二三区| 亚洲瑟瑟精品在线| 欧美成人猛片AAAAAAA| 开心五月深爱五月婷| 精品亚洲国产成AV人片传媒| 啪啪婷婷五月天激情| 国产偷人爽久久久久久老妇APP| 婷婷伊人激情婷婷| 在线观看免费观看在线9久| 激情WWW| 久热婷婷综合| 人妻精品久久久久久| 先锋影音男人的天堂AV| 五月情色天| 色色丁香五月天社区| 人人干人人看| 国产精品日日躁夜夜躁| 婷婷五月丁香久久| 亚洲五月天色| 色婷婷九月| 国产夫妻操逼内射视频| 嫩草AV久久伊人妇女超级A| 2025天天爽天天摸| 五月婷婷综合激情小说| 色婷婷激情五月天在线观看| 色婷婷色和| 操逼巨乳91| 丁香六月激情四射| 99在线视频精品| 丁香婷婷色五月| 日本色婷婷| 中文字幕日韩无码制服诱或| 亚洲六月色| 天天干com| www.com任你艹| 丁香六月婷| 激情五月丁香五月| 成人午夜无码视频| 五月天中文网| 婷婷丁香五月基地| 色婷婷丁香五月| 日本久久精品| 噼里啪啦在线观看免费完整版视频| 狠狠色激情综合| 日韩精品呦呦va| 色五月婷婷亚洲最大| 九九热中文| 国产这里只有精品| 日韩av干| 亚洲国产黄色电影| 色热久| 99色这里| 婷婷不干网| 五月天激情国产综合婷婷| 综合一区二区三区| 五月丁香综合啪啪| 丁香六月天色婷婷| 九九色婷婷Av| 中文字幕,综合,91| 五月婷婷激情刺激| 日韩精品视频中文字幕| 婷婷五月天精品| 91人妻人人做人碰人人爽九色| 九九在线精品| 深爱丁香激情| 婷婷五月天精品| 久碰视频| 99re这里只有精品首页| 婷婷激情四射五月天| 色婷婷影视| 婷婷五月天色网久| 99热在线网站| 五月婷综合| 成人欧美Va| 久久久欧美精品sm网站| 丁香婷婷六月| 五月激情婷婷开心| 欧美视频五区| 99爱在线免费视频| 日日爽天天| 香蕉久久国产av一区二区| 99在线免费观看| 有哪些A片网站| 五月婷婷色影院| 中文字幕人成乱码在线观看| 天天干天天操天天上| 天天操天天曰天天射| 综合网五月| 激情五月丁香综合网站| 婷婷丁香花五月天| WWW.久久.COM| 久久久精品人妻| 五月婷婷啪| 精品人妻一区二区三区在| 26uuu成人网| 婷婷六月丁香综合| 欧在线一区| 亚洲色在线观看| 99性感视频| 久9久9久9久9久9久9| 国产XXXX搡XXXXX搡麻豆| 97色色在线视频| 五月婷婷六月丁香| 九九九九九九九九九九九九九九九九九九九在线视频| 操日视频| WwW天天干| 97婷婷在线| 六月激情网| 日韩爱操视频| 色婷婷成人| 天久综合91综合首页| www.五月天婷婷| 婷婷深爱五月天在线| 天堂色色色| 另类少妇人与禽zOZZ0性伦| 五月婷婷综合视频| 亚洲五月婷婷在线| 丁香五月AV| 风流少妇A片一区二区蜜桃 | 99热婷婷| XX色综合| 日韩黄黄| 97五月婷婷| 怎么样可以看免费的一级av| 91丨九色丨熟女|老版| 色婷婷香蕉丁丁网| 亚洲黄色精品| chaopengdaxiangjiao| 久操热| se99视频| 精品网站99| 国产精品人妻在线网址| 日本色色影片| 五月丁香好婷婷A片网| 国产精品A片| 202丰满熟女妇大| 久久久久婷婷| site:publishdd.com| 99re热99| 丁香五月婷中字在线| 久久伊人五月天| 色婷婷五月天视频在线| 天天摸天天舔天天爽| 精品亚洲国产成AV人片传媒| 亚洲综合色成丁香五月色| 操99| 丁香五月天激情免费在线观看AV777| 日韩美一级毛卡片| 五月婷婷综合激情| 尔尔AV一区| 成人久久天天x资源站| 色五月偷偷| 综合色五月亭亭| 99热精品无码| 超碰1999| 国产五月婷| 91精品久久久久| 91久草五月天婷婷| 96精品成人无码A片观看金桔| 久久久久久激情| 五月天婷婷在线播放免费| 久久aaa| 久久婷婷久久| 新激情婷婷| 97色色视频| 久久免费婷婷视频| 日本ww亚洲| 丁香六月激| 黄色一极大片| 亚洲中文AV| 五月婷婷无码| 丁香婷婷网| 色婷狠狠| 色性五月天| 26uuu.| 亚洲精品99| 欧美日韩五月婷婷| 成人AV播放| 天天干一干| 亚洲日日日| 天天舔夜夜操www com| 99色中文| 99在线免费视频播放| 色色欧美色色色| 能看的AV| AV九九| 婷婷五月天基地| 精品人妻久久久久| 激情五月天之五月婷婷| 人妻爽爽爽久久久久久久久| www.色综合.com| 欧美日韩五月婷婷| 日日夜夜九九| 屁股翘好撅高迎合跪趴| 久久这里只精品| 激情综合久久| 婷婷六月综合基地| 婷婷五月丁香五月综合网| 丁香五月在线视频黑人| 一本久久亚洲五月婷婷| 丁香五月色| 狠狠综合网| 草榴视频网| 五月天激情综合网| 色吧网91| 最新无毒无码AV| 天天综合精品| 婷香五月激情视频| www.91在线观看| 激情五月综合亚洲另类| 狠色狠色综合久久| 先锋av性爱成人电影| 噜噜噜噜噜在线| 色综合色色| 五月婷精品| 色吊丝永久访问网址| www五月天com| 色婷婷久久7777| 色婷婷啪啪综合网| 久久婷婷六月综合国际| 美女久久婷婷| 午夜成人片400| 2018国产大陆天天弄| 婷婷五月天色色| 婷婷操逼| www.婷婷六月天| 九九热免费视频| 激情六月丁香| 色色五月天丁香婷婷| 五月花婷婷| 六月婷婷色综合| 噜噜网免费视频| 婷婷丁香色情五月天| 五月天电影网| 久热这里只有精品66| 五月婷婷综合色啪首页| 丁香五月婷婷色五月| 久久五月激情网| 精品视频99看在线视频| 成人婷婷五月天| 99热久久这里只有精品| 婷色成人| 国产六月婷婷| 九九亚洲小视频| 日韩一区二区三区无码| caopeng97日韩| 日日操日日射| 欧美婷婷五月天综合| 人妻久久久久久久久久| va亚洲中文在线| 日本社区五月天激情| 精品A√| 人人草人人爱| 六月激情综合| 婷婷久久99| 久久久香| 99色免费观看全部| 五月丁香激情综合网| 五月丁香综合网| 97操操网| 91日在线视频| 91seAV| 免费AV在线网址| 精品99在线看| 色三级色三级| 丁香婷婷激情综合五月激情 | www.婷婷,com| 婷婷九月丁香久久| 激情六月日韩| 五月婷婷69| 91婷婷色 | 天天综合亚洲综合网天天αⅴ| 九九精品片一| 婷婷色日本| ji'qing'luan'ren'lun| 欧美成人精品A片免费一区99| 五月丁香六月婷婷久久肏| 亚洲五月天婷婷| www超碰| 99综合| 狠狠操狠狠色| 六月丁香开心婷婷欧美| 成人午夜免费电影| 丁香花五月天激情| 五月丁香综合激情在线观看| 色婷婷国色天香综合| 五月之婷婷| 色丁香影院| 色欲婷婷五月天丁香| 久99热| 91精品综合久久久久久五月丁香| 国产高清av黄色看片| 97婷婷五月丁香| 日韩日比视频| 久99热| 中文字幕日韩无码制服诱或| va婷婷| 丁香六月婷婷久久综合| 五月丁香六月成人| 伊人综合网站| 婷婷激情97| 六月婷婷九月丁香| 天天射影| 九九热在这里只有精品| 天天干 夜夜爽| 狠狠爱综合| 激情综合五月| 91女人18毛片水多国产| 五月婷婷深深爱| 丁香五月婷婷深五月| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 亚洲亚洲人成综合网络| 91a片爽| 狠狠爱婷婷爱| 天天噜天天爱| 五月激情婷婷开心| 97人人看| www.色婷婷.com| Av在线资源| 色婷婷啪啪啪啪啪啪| 色狠狠999综合网| 激情五月天激情综合网| 人人九色| 北京熟妇搡BBBB搡BBBB| 色婷婷狠狠禁久久| 91九色熟女| www.爱操com.| 九九热免费| 91九九| 91人在线观看| 久草狼人| 天天摸天天爽| 丁香五月天啪啪a日本| 大香蕉久久| 久久黄色片| 啪啪丁香五月| 五月天色婷婷视频| 99热在线只有精品| 人人干av| 婷婷五月性感| 九色自拍| 久噜久噜| 色天堂A| 国产AV一区二区三区最新精品| 九九色婷婷Av| 久久久婷婷| 99亚洲无码| 另类图片天天影视在线观看| 色一色综合| 91vip在线观看| 少妇久久诱惑视频| 综合狠狠干| 免费观看18视频网站| 在线看黄色| 色亭亭五月天网扯| 99爱在线视频| 欧美精品中文字幕亚洲专区| www亚洲无码| 久热2025无码|