欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Manjaro + systemd 微服務(wù)編排:依賴、配額與自愈實(shí)踐

Manjaro + systemd 微服務(wù)編排:依賴、配額與自愈實(shí)踐 1. 為什么是 Manjaro systemd微服務(wù)跑在 Arch 系發(fā)行版上的真實(shí)體驗(yàn)先說結(jié)論把微服務(wù)跑在 Manjaro Linux 上再用 systemd 把啟動順序和資源配額管起來這套組合解決的不只是開機(jī)之后手動敲一串 docker start這種體力活而是把整臺開發(fā)機(jī)或者邊緣節(jié)點(diǎn)的服務(wù)生命周期真正納入一個統(tǒng)一控制系統(tǒng)里。很多人一聽 systemd 就想到開機(jī)自啟和查看日志但它在微服務(wù)場景下的能力遠(yuǎn)不止這些——依賴編排、故障自愈、資源限額、啟動時序分析這些都是生產(chǎn)環(huán)境里天天要面對的問題而 systemd 全部原生支持不需要額外裝 supervisor 或者 monit。為什么單獨(dú)說 Manjaro因?yàn)樗?Arch 系發(fā)行版里對普通開發(fā)者和運(yùn)維最友好的一檔預(yù)裝桌面、硬件驅(qū)動全、軟件源更新及時但同時保留了 Arch 的 systemd 體系和滾動更新節(jié)奏。這意味著你可以直接在物理機(jī)或者虛擬機(jī)上跑微服務(wù)不用像容器方案那樣先折騰一層 Docker daemon也不用擔(dān)心 RHEL 系那種 systemd 版本偏老導(dǎo)致某些新指令不可用。Manjaro 自帶的 systemd 版本常年保持較新cgroup v2 默認(rèn)開啟MemoryMax、CPUQuota 這些資源控制指令能直接用這在某些老發(fā)行版上是要額外配置甚至踩坑的。這篇文章適合誰兩種情況最對口一是你的微服務(wù)還在起步階段團(tuán)隊(duì)想在開發(fā)機(jī)上把十幾個服務(wù)跑起來而不是非得先上 Kubernetes二是你已經(jīng)有一套微服務(wù)代碼但每次開機(jī)、斷電、或者更新系統(tǒng)之后服務(wù)啟動順序亂掉、內(nèi)存被某個異常進(jìn)程吃滿、某個服務(wù)崩潰后沒人拉起想找一個輕量但靠譜的解決方案。這兩種場景systemd 都能覆蓋——畢竟它是 Linux 世界的 init 系統(tǒng)本身就長在進(jìn)程管理的土壤上。我自己在 Manjaro 上維護(hù)過一套約 20 個微服務(wù)的模擬項(xiàng)目從配置中心、網(wǎng)關(guān)到訂單、支付、通知前后折騰了大概三周才把啟動鏈路調(diào)到穩(wěn)定。這個過程里踩過的坑、驗(yàn)證過的參數(shù)、總結(jié)出的套路我盡量在這篇文章里一次說透你照著做基本能少走一半彎路。1.1 微服務(wù)在開發(fā)機(jī)上最頭疼的三件事聊具體配置之前先說說我們到底在解決什么問題。微服務(wù)拆到十幾二十個以后開發(fā)機(jī)上最常碰到的三件事第一啟動順序失控。網(wǎng)關(guān)要等注冊中心先起來業(yè)務(wù)服務(wù)要等配置中心拉完配置再注冊但如果你只是把這些服務(wù)一股腦寫成 shell 腳本加上扔到后臺每次啟動都像開盲盒。某一個服務(wù)啟動慢了幾秒后面依賴它的服務(wù)全部注冊失敗報錯信息還千奇百怪排查半天發(fā)現(xiàn)根本不是代碼問題。第二資源互相擠占。二十個服務(wù)跑在一臺機(jī)器上里面有內(nèi)存泄漏的、有瘋狂刷日志的、有定時任務(wù)并發(fā)拉滿 CPU 的。沒有配額的情況下任何一個失控服務(wù)都可能拖垮整臺機(jī)器——最典型的是某服務(wù)把內(nèi)存吃到 swap整機(jī)響應(yīng)變慢其他服務(wù)跟著超時。第三故障恢復(fù)靠人肉。開發(fā)環(huán)境里服務(wù)崩潰太常見了測試同學(xué)跑一個邊界 case 就能把服務(wù)打崩。如果沒有自動拉起機(jī)制你吃個午飯回來發(fā)現(xiàn)服務(wù)從上午十點(diǎn)就死了一下午的驗(yàn)證工作全白費(fèi)。手動systemctl restart一次兩次還行天天盯就太浪費(fèi)了。這三件事恰好都是 systemd 的原生能力覆蓋范圍用After和Requires聲明依賴用CPUQuota和MemoryMax限制資源用Restart配置自動拉起。不需要額外引入編排框架不用學(xué)新 DSL把 unit 文件寫好就夠了。1.2 systemd 不是只會 start/stop它本身就是一套進(jìn)程編排器很多人對 systemd 的認(rèn)知停留在systemctl start nginx這種層面實(shí)際上它內(nèi)置了相當(dāng)完整的進(jìn)程編排能力。After、Requires、Wants這些指令組合起來就是一個聲明式的依賴圖Typenotify配合服務(wù)內(nèi)部的sd_notify能讓 systemd 判斷服務(wù)真正就緒而不只是進(jìn)程已 forkRestart配合StartLimitBurst則是故障自愈策略。換句話說你在 Kubernetes 里常用的探針、重啟策略、資源 limitsystemd 在單機(jī)層面全部有對應(yīng)物只是名字不叫 probe、policy 而已。這套機(jī)制的底層是 cgroup。Manjaro 默認(rèn)啟用 cgroup v2每個 service unit 啟動后都會自動掛到獨(dú)立的 cgroup 下systemd 能精確統(tǒng)計(jì)這個服務(wù)用了多少 CPU、多少內(nèi)存、多少 IO也能在超出配額時直接干預(yù)。這個特性對微服務(wù)的意義很大——你不用假裝它們彼此隔離systemd 在進(jìn)程樹層面就把隔離做掉了。另外systemd 的并行啟動能力常被忽略。默認(rèn)情況下沒有依賴關(guān)系的 unit 會被并行拉起相比 shell 腳本的串行執(zhí)行十幾二十個服務(wù)的總啟動時間能從幾分鐘壓到幾十秒。配合systemd-analyze blame還能精準(zhǔn)看出每個服務(wù)耗時多少優(yōu)化瓶頸一目了然。就沖這一點(diǎn)systemd 就值得認(rèn)真學(xué)一下。1.3 Manjaro 的滾動更新對服務(wù)管理帶來的特殊挑戰(zhàn)Manjaro 是個滾動更新發(fā)行版pacman -Syyu一天不跑就可能落后一個版本。好處是 systemd 和內(nèi)核都是新的壞處是更新完之后服務(wù)可能因?yàn)橐蕾囎兓鸩粊怼热缒撤?wù)鏈接的動態(tài)庫升級了或者系統(tǒng)的 cgroup 配置變了。所以在 Manjaro 上做 systemd 服務(wù)管理要比在 Ubuntu LTS 上多考慮一層更新之后必須做一次完整的服務(wù)健康巡檢而不是只看系統(tǒng)能不能開機(jī)。我習(xí)慣的做法是每次系統(tǒng)大版本更新之后跑一遍systemctl list-units --failed把所有異常狀態(tài)一次性撈出來然后逐個journalctl -u 服務(wù)名 -b看啟動日志。另外Manjaro 的 mkinitcpio 或者內(nèi)核更新之后重啟一定要確認(rèn) systemd 版本和 cgroup 掛載情況這些是服務(wù)管理穩(wěn)定性的底座。2. 動手前先搞懂 systemd 的幾個核心機(jī)制這一節(jié)不直接上配置而是先把編排微服務(wù)最關(guān)鍵的幾個 systemd 機(jī)制講清楚。這些概念看著簡單但組合方式千變?nèi)f化理解不到位后面排錯會毫無頭緒。2.1 依賴關(guān)系A(chǔ)fter、Requires、Wants 到底怎么選依賴是微服務(wù)編排的核心。systemd 里有三組常用指令語義完全不同After和Before只決定啟動順序不決定要不要啟動。也就是說即使Aftermysql.service如果 mysql 沒啟用你的服務(wù)照樣會啟動只是順序上排在后面。這相當(dāng)于說如果它存在那就在它后面啟動而不是必須等它啟動成功。Requires是硬依賴。如果Requiresmysql.service且 mysql 啟動失敗你的服務(wù)也會被停止。這類指令適合沒有依賴方就完全沒有意義的服務(wù)比如網(wǎng)關(guān)沒有注冊中心就玩不轉(zhuǎn)。Wants是軟依賴。依賴方啟動失敗不會影響你的服務(wù)啟動它只是表達(dá)能啟動的話盡量啟動啟動不了我自己也能活著。BindsTo則更嚴(yán)格依賴方停止時你的服務(wù)必須跟著停止適合同生共死的強(qiáng)綁定關(guān)系。實(shí)操經(jīng)驗(yàn)90% 的場景用AfterWants組合就夠。原因很簡單微服務(wù)之間大多不是啟動即硬失敗的依賴而是晚點(diǎn)起來也能趕上注冊的弱依賴。真正的硬依賴留給基礎(chǔ)設(shè)施比如通用數(shù)據(jù)庫、消息隊(duì)列這類。如果用Requires把所有依賴都硬連起來任何一個服務(wù)掛了整條鏈上的服務(wù)全被拖下水故障隔離性反而更差。這個取舍一定要想清楚別一上來就是Requires拉滿。2.2 重啟策略與啟動窗口把崩了自動拉起來變成可控行為Restart選項(xiàng)有幾個值no不重啟、on-success正常退出才重啟實(shí)際用得少、on-failure非零退出碼才重啟、on-abnormal信號異常才重啟、always無論如何都重啟。對微服務(wù)來說最常用的是always和on-failure。always適合那種就算主動 stop 也要馬上拉起來的服務(wù)——尤其是你希望它在系統(tǒng)里長期存在的守護(hù)類服務(wù)。但要注意always在某些場景會造成困擾你明明執(zhí)行了systemctl stop它又立刻被拉起來排查時一臉懵。所以我更推薦開發(fā)環(huán)境用on-failure配合RestartSec3這樣的退避時間既保證崩潰后自動拉起又保留人工 stop 的控制力。RestartSec是重啟間隔設(shè)多少合適經(jīng)驗(yàn)上3~5 秒比較常用。太短會導(dǎo)致崩潰循環(huán)時瘋狂重啟CPU 飆高太長又讓恢復(fù)時間難以接受。真正要防的是崩潰循環(huán)——服務(wù)一直起不來systemd 會進(jìn)入start-limit-hit狀態(tài)默認(rèn)策略是 10 秒內(nèi)失敗 5 次就放棄。這個默認(rèn)值對微服務(wù)來說往往太激進(jìn)建議用StartLimitIntervalSec30和StartLimitBurst10放寬窗口給服務(wù)更多自愈機(jī)會但同時也別放到無上限否則雪崩發(fā)生時系統(tǒng)會非常難恢復(fù)。2.3 資源配額CPUQuota 和 MemoryMax 的取值怎么算資源配額這塊Manjaro 上的 systemd 直接映射 cgroup v2語義很明確CPUQuota的單位是百分比CPUQuota150表示最多用 1.5 個核。注意這是相對單核的百分比不是相對整機(jī)。比如你機(jī)器有 8 核 CPU給某個服務(wù)設(shè)CPUQuota100它最多用滿一個核完全不理會其他核是否空閑。這個設(shè)計(jì)的好處是行為可預(yù)期缺點(diǎn)是如果整機(jī)只有這一服務(wù)在跑其余 7 個核被白白浪費(fèi)。所以計(jì)算時要結(jié)合服務(wù)的實(shí)際情況對計(jì)算密集型的消費(fèi)者服務(wù)給200甚至300都合理對大部分 IO 型微服務(wù)50到100已經(jīng)足夠。MemoryMax是硬限制超過就 OOM。MemoryHigh是軟限制超過后會加大回收壓力但不一定殺掉。這兩個參數(shù)組合起來非常實(shí)用MemoryHigh512MMemoryMax768M意味著平時超過 512M 就開始回收內(nèi)存逼近 768M 才會被殺給了服務(wù)一定的緩沖。取值怎么算我的方法是先在無限制狀態(tài)下穩(wěn)定跑一周用systemd-cgtop觀察每個服務(wù)的峰值內(nèi)存和 CPU 使用然后取一個峰值上浮 30%的余量作為MemoryHigh再上浮 50% 作為MemoryMax。別拍腦袋寫 1G那一會兒 OOM 一會兒資源的完全不可控。3. 實(shí)操給一套典型微服務(wù)寫 unit 文件光講理論沒用這一節(jié)我?guī)惆岩惶渍鎸?shí)場景完整搭一遍。先說清楚這套方案針對的是單機(jī)部署的微服務(wù)開發(fā)環(huán)境不是生產(chǎn)級 K8s 集群的替代品但把 systemd 玩透之后很多思路遷移到生產(chǎn)環(huán)境一樣成立。3.1 場景定義與技術(shù)選型為了演示我定義一個模擬項(xiàng)目 X包含 6 個服務(wù)分別是基礎(chǔ)組件和業(yè)務(wù)服務(wù)混編infra-db數(shù)據(jù)庫技術(shù)棧不限但必須有服務(wù)端守護(hù)進(jìn)程infra-mq消息隊(duì)列負(fù)責(zé)服務(wù)間異步通信app-config配置中心其他服務(wù)啟動時先拉取配置app-gatewayAPI 網(wǎng)關(guān)依賴配置中心和注冊中心app-order訂單服務(wù)依賴數(shù)據(jù)庫、消息隊(duì)列、配置中心app-notify通知服務(wù)消費(fèi)消息隊(duì)列中的通知消息這 6 個服務(wù)的依賴圖其實(shí)是有層次感的數(shù)據(jù)庫和消息隊(duì)列是底座配置中心屬于中間層網(wǎng)關(guān)和訂單、通知屬于上層。用 systemd 表達(dá)這種層次就是底層層After掛掉所有上層上層之間盡量并行。實(shí)際項(xiàng)目中注冊中心通常也要提前啟動演示里我把它并入配置中心的服務(wù)內(nèi)不單獨(dú)拆開。unit 文件統(tǒng)一放在/etc/systemd/system/目錄下寫完后執(zhí)行systemctl daemon-reload讓 systemd 重新加載配置。3.2 基礎(chǔ)設(shè)施服務(wù)的 unit 編寫基礎(chǔ)設(shè)施服務(wù)的 unit 是最容易寫的因?yàn)樗鼈兓臼仟?dú)立進(jìn)程 外部訪問的模式。以infra-db為例# /etc/systemd/system/infra-db.service [Unit] DescriptionInfrastructure Database Service Afternetwork.target Wantsnetwork.target [Service] Typenotify ExecStart/usr/local/microsvc/bin/infra-db --config/etc/microsvc/db.yaml ExecReload/bin/kill -HUP $MAINPID Restarton-failure RestartSec3 # 資源配額 CPUQuota150 MemoryHigh768M MemoryMax1G TasksMax256 # 安全加固 NoNewPrivilegestrue PrivateTmptrue [Install] WantedBymulti-user.target這里有幾個值得解釋的細(xì)節(jié)。Typenotify意味著程序內(nèi)部要實(shí)現(xiàn)sd_notify在真正監(jiān)聽端口成功后告訴 systemd我準(zhǔn)備好了。如果程序不支持sd_notify退一步用Typesimple也行——但要接受進(jìn)程一啟動就算就緒的語義可能在端口尚未監(jiān)聽時就被依賴方拉起。ExecReload/bin/kill -HUP $MAINPID是給數(shù)據(jù)庫類服務(wù)用的平滑重載生產(chǎn)環(huán)境經(jīng)常用systemctl reload而不是 restart避免連接閃斷。TasksMax256限制了服務(wù)能創(chuàng)建的線程和進(jìn)程總數(shù)防止線程泄漏的服務(wù)無限增長。NoNewPrivilegestrue和PrivateTmptrue屬于安全加固對微服務(wù)來說成本低收益高建議默認(rèn)加上。infra-mq的 unit 類似只是資源配額可以寬松一點(diǎn)畢竟消息隊(duì)列通常要扛吞吐。我給它的CPUQuota200MemoryHigh1G其他保持一致。3.3 業(yè)務(wù)服務(wù)的依賴編排與并行啟動業(yè)務(wù)服務(wù)的 unit 才是編排的重點(diǎn)。看app-gateway# /etc/systemd/system/app-gateway.service [Unit] DescriptionAPI Gateway Service Afternetwork.target infra-db.service infra-mq.service app-config.service Wantsinfra-db.service infra-mq.service app-config.service PartOfapp-cluster.target [Service] Typenotify ExecStart/usr/local/microsvc/bin/app-gateway --config/etc/microsvc/gateway.yaml ExecStartPre/bin/bash -c until curl -sf http://127.0.0.1:8848/health /dev/null 21; do sleep 1; done Restarton-failure RestartSec5 # 資源配額 CPUQuota100 MemoryHigh512M MemoryMax768M [Install] WantedByapp-cluster.target注意ExecStartPre這一行的寫法。systemd 的After只保證順序不保證可用如果配置中心的健康檢查接口還沒就緒網(wǎng)關(guān)即使按順序啟動也會注冊失敗。所以我在ExecStartPre里加了一個輪詢命令每 1 秒檢查一次配置中心健康接口通了才繼續(xù)啟動。實(shí)際生產(chǎn)里我甚至見過有人把這種健康檢查直接寫進(jìn)服務(wù)代碼的啟動流程中但用ExecStartPre做的好處是不侵入代碼改 systemd 配置就能調(diào)。PartOfapp-cluster.target配合末尾的WantedByapp-cluster.target相當(dāng)于把所有業(yè)務(wù)服務(wù)歸攏到一個上層 target 下。這樣你執(zhí)行systemctl start app-cluster.target就能拉起一整組服務(wù)反過來systemctl stop app-cluster.target也能整體停掉比逐個操作高效得多。target 本身不是一個進(jìn)程它只負(fù)責(zé)聚合 unit。再看app-order它依賴數(shù)據(jù)庫、消息隊(duì)列、配置中心但啟動順序上不需要等通知服務(wù)所以# /etc/systemd/system/app-order.service [Unit] DescriptionOrder Service Afternetwork.target infra-db.service infra-mq.service app-config.service Wantsinfra-db.service infra-mq.service app-config.service PartOfapp-cluster.target [Service] Typenotify ExecStart/usr/local/microsvc/bin/app-order --config/etc/microsvc/order.yaml ExecStartPre/bin/bash -c until curl -sf http://127.0.0.1:8848/health /dev/null 21; do sleep 1; done Restarton-failure RestartSec3 CPUQuota100 MemoryHigh512M MemoryMax768M [Install] WantedByapp-cluster.target那app-notify呢它只依賴消息隊(duì)列和配置中心不依賴數(shù)據(jù)庫和網(wǎng)關(guān)。unit 文件的After就只寫infra-mq.service app-config.service。這樣 systemd 就能在滿足依賴的前提下讓app-order和app-notify并行啟動整體啟動時間大幅縮短。這就是 systemd 和 shell 腳本最大的區(qū)別你只需要描述依賴關(guān)系不需要關(guān)心執(zhí)行順序systemd 自己會做拓?fù)渑判蚝筒⑿姓{(diào)度。3.4 用 systemd-analyze 驗(yàn)證啟動鏈路寫完 unit 文件后第一件事不是反復(fù)重啟服務(wù)而是用systemd-analyze驗(yàn)證配置正確性。兩條命令必用systemd-analyze verify /etc/systemd/system/*.service systemd-analyze critical-chain app-cluster.targetverify會檢查 unit 文件語法錯誤和路徑問題比如寫錯指令名、引用了不存在的服務(wù)文件它都會直接報出來。critical-chain則是打印關(guān)鍵啟動鏈路能看到哪個服務(wù)是瓶頸、哪個服務(wù)花費(fèi)的時間最長。如果發(fā)現(xiàn)某兩步之間順序不對優(yōu)先檢查After有沒有寫全。常見的遺漏是把中間層服務(wù)漏掛在某個上層服務(wù)的After里導(dǎo)致上層提前啟動。我在初期就犯過這個錯網(wǎng)關(guān)忘了等配置中心結(jié)果每次重啟都間歇性注冊失敗日志里全是連接超時。后來用critical-chain一眼定位加上Afterapp-config.service后世界清凈了。啟動時間的驗(yàn)證用這兩條systemd-analyze blame systemd-analyze plot /tmp/boot.svgblame按耗時排序列出所有服務(wù)plot生成可視化時間軸把每個服務(wù)的啟動區(qū)間畫出來??催@兩張圖你就能直觀發(fā)現(xiàn)哪個服務(wù)拖了后腿、哪個階段是完全可以并行的。我實(shí)際調(diào)優(yōu)的那次初始串行啟動全部服務(wù)大約需要 95 秒罪魁禍?zhǔn)资悄硞€服務(wù)在ExecStartPre里 sleep 了 30 秒。去掉無腦 sleep、換成健康檢查輪詢再把不相關(guān)的服務(wù)盡可能并行跑起來總時間直接壓到 38 秒。這個優(yōu)化結(jié)果對于一個單機(jī) Microservices 開發(fā)環(huán)境來說已經(jīng)是質(zhì)變了。4. 資源效率調(diào)優(yōu)從能跑到跑得省啟動速度解決了接下來是資源效率。微服務(wù)的資源開銷很大一部分不是業(yè)務(wù)邏輯本身而是無效損耗日志刷爆磁盤、線程無限增長、內(nèi)存閾值寫得太保守導(dǎo)致頻繁 GC、CPU 配額過寬導(dǎo)致相互爭搶。systemd 在資源管理上有一套完整的控制手段這一節(jié)把關(guān)鍵點(diǎn)全部拆開講。4.1 cgroup 層面的配額落實(shí)前面已經(jīng)講過CPUQuota和MemoryMax但真正落實(shí)到整體資源效率時還需要關(guān)注幾個容易被忽略的細(xì)節(jié)。首先是IOWeight和IOAccounting。微服務(wù)里經(jīng)常有某個服務(wù)瘋狂寫日志或者批量讀寫磁盤把整機(jī) IO 拖垮其他服務(wù)跟著卡頓。給關(guān)鍵服務(wù)設(shè)置IOWeight10左右的低權(quán)重配合IOAccountingtrue開啟 IO 統(tǒng)計(jì)再用systemd-cgtop觀察能有效抑制單點(diǎn) IO 風(fēng)暴。注意 cgroup v2 的 IO 控制依賴 io 調(diào)度器Manjaro 默認(rèn)情況一般沒問題但如果你用的是某些特殊內(nèi)核參數(shù)可能需要額外確認(rèn)。其次是CPUWeight與CPUQuota的區(qū)別。CPUQuota是絕對上限CPUWeight是相對權(quán)重只在競爭時生效。對微服務(wù)來說我建議所有關(guān)鍵服務(wù)都設(shè)絕對上限避免自適應(yīng)權(quán)重在突發(fā)流量下失控。唯一的例外是基礎(chǔ)設(shè)施服務(wù)比如數(shù)據(jù)庫我傾向于用CPUWeight100給它相對較高的權(quán)重但不用絕對配額讓它按需伸縮。然后是內(nèi)存層面的MemorySwapMax。cgroup v2 允許單獨(dú)控制 swap 使用量。開發(fā)機(jī)上如果有 swap服務(wù)內(nèi)存溢出時會先交換而不是被殺掉但這會帶來嚴(yán)重的性能抖動。我通常給微服務(wù)設(shè)置MemorySwapMax0強(qiáng)制超過MemoryMax就直接 OOM把它殺得干凈利落寧可重啟也不拖垮整機(jī)。這個取舍在開發(fā)環(huán)境尤其有效——你會立刻在日志里看到 OOM 報錯而不是整機(jī)卡死之后找不到原因。最后提一下TasksMax。線程泄漏是微服務(wù)最常見的隱形殺手。一個服務(wù)線程數(shù)從 100 漲到 10000內(nèi)存可能還沒到上限系統(tǒng)線程表已經(jīng)滿了。給每個 unit 設(shè)置TasksMax512既保證正常業(yè)務(wù)并發(fā)又能阻止泄漏線程無限增長。排查時看到某個服務(wù)的 PID 數(shù)量異常一查線程數(shù)往往就是這里出了問題。4.2 journal 日志的瘦身與輪轉(zhuǎn)微服務(wù)的日志是資源黑洞。默認(rèn) journald 會把日志寫到/var/log/journal/不設(shè)限制的話幾個服務(wù)的高頻日志一周就能吃掉幾個 GB 磁盤。所以日志策略必須主動管理。systemd 提供兩種維度的控制全局的/etc/systemd/journald.conf和每個服務(wù)內(nèi)部的StandardOutput/StandardError。journald.conf里我有幾個習(xí)慣配置[Journal] SystemMaxUse1G SystemMaxFileSize100M MaxRetentionSec7day CompressyesSystemMaxUse1G把整個 journal 總大小限制在 1GSystemMaxFileSize100M控制單個日志文件大小MaxRetentionSec7day保證最多保留七天Compressyes開啟壓縮日志體積通常能再縮一半。這套組合下來日志對磁盤的壓力基本可以忽略。服務(wù)側(cè)的日志策略要區(qū)分場景。如果是Typenotify的服務(wù)程序通常自己處理日志文件如果是Typesimple的腳本類服務(wù)可以把輸出重定向到獨(dú)立文件StandardOutputappend:/var/log/microsvc/app-order.log StandardErrorappend:/var/log/microsvc/app-order.error.log注意append:前綴直接寫路徑是覆蓋模式重啟一次就丟歷史。這個坑我踩過——第一次配的時候用的StandardOutput/var/log/xxx.log服務(wù)一重啟日志全沒了排查問題連現(xiàn)場都沒有。日志輪轉(zhuǎn)用logrotate配合 systemd timer 做核心是寫/etc/logrotate.d/microsvc配置把按大小切割和保留周期都定義好然后確保相應(yīng)的 timer 服務(wù)在跑。Manjaro 默認(rèn)已經(jīng)安裝了 logrotate 的 timer 配置你只要把服務(wù)配置文件填進(jìn)去就行。4.3 定時清理與維護(hù)讓滾動更新不拖慢啟動Manjaro 滾動更新的特點(diǎn)是systemd 的自身行為可能會變但這個變化不會主動向你報告。最典型的例子是某個服務(wù)的 unit 寫法和新版本 systemd 不再兼容systemd-analyze verify能查出來但沒人每天跑一次。所以我把服務(wù)健康檢查做成了定時任務(wù)每周自動跑一次。我的做法是用 systemd timer 自己管自己# /etc/systemd/system/microsvc-weekly-check.service [Unit] DescriptionWeekly microservice health check [Service] Typeoneshot ExecStart/usr/local/microsvc/scripts/health-check.sh# /etc/systemd/system/microsvc-weekly-check.timer [Unit] DescriptionRun weekly microservice check [Timer] OnCalendarSun 03:00 Persistenttrue [Install] WantedBytimers.targethealth-check.sh腳本的核心邏輯是先systemctl list-units --failed檢查失敗狀態(tài)再逐個systemctl is-active檢查關(guān)鍵服務(wù)最后用journalctl --since 7 days ago -p err掃描最近一周的錯誤日志把異常匯總到報告文件。這套自動巡檢在滾動更新后特別有用能第一時間發(fā)現(xiàn) systemd 升級導(dǎo)致的行為變化。還有一個細(xì)節(jié)Manjaro 每次大版本更新后重啟時機(jī)要選對。我習(xí)慣在更新完所有包、確認(rèn)systemd --version穩(wěn)定后主動重啟一次讓系統(tǒng)在新內(nèi)核和新 systemd 下完整初始化。不重啟的話舊 systemd 跑在新文件系統(tǒng)上某些 unit 的狀態(tài)緩存可能會異常。5. 常見問題與排查技巧實(shí)錄這一節(jié)把我實(shí)際踩過、也幫別人排查過的問題整理成速查表。每個問題都給出定位方法和解決思路不再展開理論直接上操作。5.1 啟動順序還是不對怎么定位如果你已經(jīng)寫了After但服務(wù)還是亂序啟動第一反應(yīng)不是改 unit 文件而是先確認(rèn) systemd 看到的依賴圖長什么樣。systemctl list-dependencies app-order.service systemctl show app-order.service -p After -p Requires -p Wants第一條會遞歸打印所有依賴第二條直接查看生效的指令值。很多時候問題出在After寫在了錯誤的 section——注意After必須放在[Unit]段落里如果放到[Service]里systemd 會直接忽略并且verify報錯。還有一種隱蔽情況你依賴的服務(wù)根本沒有啟用enable也沒被任何 target 拉起來。After只排順序不負(fù)責(zé)啟動。如果你執(zhí)行systemctl start app-order.service但app-config.service沒在運(yùn)行順序?qū)α藚s還是連不上。此時必須確認(rèn)基礎(chǔ)設(shè)施服務(wù)已經(jīng) enable 且 active或者用Wants把它們一起拉起來。排查順序的建議list-dependencies看結(jié)構(gòu) →show看實(shí)際生效值 →critical-chain看時序 → 最后看 journal 確認(rèn)服務(wù)到底在等什么。5.2 服務(wù)反復(fù)重啟進(jìn)入 start-limit-hit這個報錯幾乎每個用 systemd 管理服務(wù)的人都遇到過。表現(xiàn)為systemctl status里寫著start-limit-hit服務(wù)處于failed狀態(tài)你手動 start 都拉不起來。原因是 systemd 默認(rèn)的啟動失敗計(jì)數(shù)窗口太短服務(wù)短時間連續(xù)失敗多次就被熔斷。解決辦法兩個方向一是調(diào)整 window二是找根因。調(diào)整參數(shù)在 service 文件里加StartLimitIntervalSec30 StartLimitBurst10意思是 30 秒內(nèi)最多失敗 10 次超過才熔斷。這個閾值適合多數(shù)微服務(wù)。如果還是頻繁觸發(fā)就要看日志找根因journalctl -u app-order.service -b -p err定位到崩潰棧后先修代碼問題別指望調(diào)大 window 就能掩蓋一切。實(shí)際調(diào)優(yōu)時建議把 window 調(diào)寬一點(diǎn)的同時增加RestartSec的退避時間比如 5 秒。這樣崩潰循環(huán)時每次重啟間隔 5 秒10 次就是 50 秒的窗口systemd 不會誤判也給服務(wù)恢復(fù)留了時間。5.3 內(nèi)存限制導(dǎo)致 OOM 崩潰如何區(qū)分是配額還是代碼問題MemoryMax設(shè)置不合理最直接的后果是服務(wù)被 OOM kill?,F(xiàn)象是journalctl里有內(nèi)核的 OOM 記錄服務(wù)退出碼變成 137SIGKILL。問題是到底是配額設(shè)太低還是代碼真的泄漏區(qū)分方法很簡單。先把MemoryMax臨時調(diào)到無限制刪掉該行或者設(shè)個極大值觀察一段時間。如果內(nèi)存仍然持續(xù)上漲直到系統(tǒng)告警基本可以斷定是代碼泄漏去找 heap profile如果內(nèi)存穩(wěn)定在某個水平說明是配額問題按實(shí)測峰值重新計(jì)算即可。我維護(hù)的一套模擬項(xiàng)目中某個服務(wù)MemoryMax512M老是崩潰把限制放寬到 1G 后穩(wěn)定再觀察發(fā)現(xiàn)它實(shí)際峰值就是 800M 左右。后來定位到是某段批量任務(wù)一次性加載了太多數(shù)據(jù)到內(nèi)存優(yōu)化成流式處理之后峰值降到 300M再把配額調(diào)回 512M一切正常。配額限制本身是最后的防線不是優(yōu)化手段——真正省內(nèi)存還得從代碼層面做。5.4 快速排查工具組合拳最后整理一套我每天都會用到的排查組合拳# 看全局失敗狀態(tài) systemctl list-units --failed # 看單個服務(wù)的完整狀態(tài)和最近日志 systemctl status app-order.service journalctl -u app-order.service -n 200 --no-pager # 看服務(wù)的資源占用排行 systemd-cgtop # 看某服務(wù)關(guān)聯(lián)的 cgroup 配置 systemctl show app-order.service -p MemoryMax -p CPUQuota -p TasksMax這套流程覆蓋了有沒有掛、掛了為什么、資源占了多少、配置對不對四個問題。實(shí)際排查時我基本是按這個順序一路查下去80% 的問題能在五分鐘內(nèi)定位。另外強(qiáng)烈建議給journalctl配置別名我日常用的是alias jlogsjournalctl -u $1 -n 200 --no-pager -f-f是 follow 模式配合-n 200可以先看最近 200 行再持續(xù)跟蹤調(diào)試啟動問題非常好用。--no-pager在腳本里順手加上免得每次都卡在 less 里。還有一個小技巧確認(rèn)某個服務(wù)是不是真的就緒了別只看進(jìn)程狀態(tài)要看它監(jiān)聽的端口。用ss -tlnp | grep app-order查看實(shí)際監(jiān)聽情況比systemctl is-active更靠譜——is-active只代表 systemd 認(rèn)為它活著不代表業(yè)務(wù)端口通了。寫在最后一些實(shí)際體會這套 systemd 方案我在 Manjaro 上跑了差不多三個月從最初的頻繁起不來、連不上、被打崩到現(xiàn)在的開機(jī)啟動一條命令、資源占用穩(wěn)定、崩潰自動拉起整個過程的收益非常直接。我個人體會最深的一點(diǎn)是別一上來就想著上 K8s。單機(jī)階段的微服務(wù)systemd 已經(jīng)解決掉了 90% 的進(jìn)程管理問題而且沒有額外的運(yùn)維負(fù)擔(dān)。等到真有多機(jī)、彈性伸縮的需求再遷移到容器編排也不遲——那時你對依賴編排、健康檢查、資源配額的理解都是從 systemd 這套機(jī)制里長出來的遷移成本反而低了。最后再分享一個小經(jīng)驗(yàn)unit 文件里寫注釋非常有用。systemd 的 unit 文件支持#注釋我會在每個服務(wù)的文件頭部寫清楚它的依賴關(guān)系、資源配額的取值依據(jù)、以及最近一次修改的原因。三個月后回來看這些注釋幫了大忙——你不可能記住當(dāng)時為什么給某個服務(wù)設(shè)了CPUQuota100而不是 150但注釋會替記憶買單。如果你也在 Manjaro 或者任何 systemd 發(fā)行版上跑微服務(wù)建議先把 unit 文件的骨架搭好再逐步加上資源配額和健康檢查從能跑進(jìn)化到跑得穩(wěn)、跑得省。這套思路不挑語言、不挑框架只要是 systemd 體系都能直接套用。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99狠狠操一| 九九無碼| sewuyuetingtingiii| 96精品成人无码A片观看金桔| 亚洲中文字幕AV| 五月激情六月综合| 激情五月婷婷六月丁香| 99re视频精品| 99思思热只有在这里看| 99久久婷婷五月天| 丁香五月天婷婷中文| 丁香六月婷婷一区| 99熟女| 久久九九九九| 亚洲欧洲一二| 丁香五月婷婷久久久| 影音先锋男人女人| 国产黄色在线| 中文字幕中文有码在线| 日日影院 | 亚洲色啪| 色综合久久久久| 日本高清久久| 色色99| 五月玖玖| 亚韩在线视频| 99色嘟嘟精品网站| 五月天成人综合| 免费亚洲婷婷中文字幕| 亚洲愉拍99热成人精品| 99碰超| 激情中文在线| 日本高清久| 丁香五月成人婷婷| 婷婷五月丁香色综合| 五月天涩涩| 久久婷婷五月天激情唯美| 天天综合色综合| 亚洲综合色网站| 99色这里| 亚州激情在线视频| 狠狠干总合| 亚洲人人96@| 久操b网| 国产亚洲精品人人| 欧美va国产va| 免费久久这里只有精品99| 五月丁香六月色情网欧美| www.精品99| 日日干日日色| 五月天欧美 另类小说| 久久婷婷丁香五月一二三| 丁香六月开心| 热的国产,热的综合,热的有码 | 99热思思在线观看| 丁香开心深爱| 五月丁香六月情婷婷久久| 襙比视频| 五月开心深深爱激情综合| 色婷婷五月天小说| 欧洲亚洲精品| 99热精品观看| 99热这里只有精品2| 欧美日韩成人在线| 99无码视频| 全部老头和老太XXXXX| 噼里啪啦完整版中文在线观看| 中国女人内射6XXXXX| 国产精品激情AV久久久青桔| 91在线观看九区| 欧美日韩成人h| 丁香五月瑟瑟| 97超级操操| 影音先锋男人资源站一区二区| a在线免费v| 日韩99视频| 久操福利| 婷婷六月丁香综合| 99惹精品视频| 思思热精品在线视频| 少妇综合网| 丁香 亚洲 久久| 丁香五月婷婷AV| 超碰在线国产| 开心五月激情网| 色狠狠色噜噜AV天堂五区| 婷婷色影音天| 五月丁香中文婷婷中文| 婷香五月| 狠狠va| 亚洲综合色丁香婷婷六月| 开心五月婷| 五月开心深爱激情网| 五月激情婷婷国产精品久久久久久| 五月天成人在线视频网站| 九月婷婷色色| 五月婷婷影院| 久久久精品免费啪啪国| 激情九色| site:hcxsz888.com| 久久人妻爱爱| 久久婷婷六月综合| 久久精品9| 狠狠操狠狠| 香蕉AV777XXX色综合一区| www.91五月| 超碰京东热av男人的天堂| 成人综合视频在线| 蜜臀av无码久久久久久久久| 日日操天天| 人人色婷婷| 97AV在线视频| 国产69精品久久久久999小说| 久久久久久久久久久久久久久久一道本| 丁香五月天社区婷婷| 五月丁香自拍| 妻久久久久| 九九机热| 九月丁香婷婷综合| 少妇大叫太大太粗太爽了A片| 9色资源在线| 免费啪啪啪网站| 亚洲操逼片| 天堂婷婷五月在线| 激情小说视频图片| 俺去也五月天婷婷| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 久久综合丁香五月| 中文字幕性爱丰满| 婷婷久久99| 激情av| 真实的国产乱XXXX在线91| 婷婷玖玖丁香| 丁香六月天婷婷| 婷婷欧美综合| 怡红院院久久| 日本婷婷在线| 成人做爰高潮A片免费视频| 丁香五月婷婷综合激情哟哟哟| 色色色在线观看| 色八月婷婷| 亚洲综合色五月| 伊人玖玖婷婷| 国产亚洲成AV人片在线观黄桃| 91亚洲视频| 天天色丁香| 亚洲婷婷五月草久| 涩五月婷婷| 深爱激情五月网| 色五月丁香91| 精品成人在线观看| 丁香五月综合在线播放 | 激情五月综合| 五月天激情黄色网址| 97人人干人人操| 久久这里只有精品无码| 亚洲无码成人| 丁香五月之久操视频| 9精品视频在线| 99热在线免费观看精品| 天天天在线观看| 丁香五月色| 丁香六月成人网| 怡红院 久久| 九九热在线视频,| www热久久yy9| 日本人人超碰| 丝袜人妻| 99热99热不卡| 婷婷伊人网| 久综合九综合99| 7超碰自拍| 婷婷五月天伊人网在线观看视频| 91se在线视频| 色五月在线综合| 99热9| 天天爽综合网| 丁香五月成人| 色五月色图| 2025天天爽天天摸| 69精品人人人人| 99爱操| 开心五月婷婷激情| 草综合14| 亚洲中文字幕在线观看| av网址在线| 婷婷五月天激情五月天| 9久精品| 激情九九六月激情免费视频| 五月天激情中文字幕| 日韩99视频| 国产精产国品一二三在观看| 欧美97色| 天天干夜夜谢| 岛国在线观看91| 九色自拍| 99免费| 欧美交换配乱吟粗大25P| 亚洲黄3级片网站欧美| 久久婷婷五月综合激情国产| 国产成人网| 极品五月天| 激情深爱婷婷网| 丁香五月社区| 影音 五月 婷婷 久久| 91久热| 婷婷五月丁香综合激情| 中日韩美欧成人一区二区精品在线| 色色色婷婷五月天| 亚洲五月停停| 亚洲狠9| 丁香五月天激情婷婷丁香六月| 人人摸人人| 国产AV一区二区三区最新精品| 激情九月综合| 天天爱天天狠天天透| 精品久久久久成人码免费动漫| 深夜男女福利刺激影院一区完整| 欧美色婷婷| 欧美性猛交99久久久久99按摩| 综合久久综合| 久久久27操| 三日本无码| 99爱欧美| 五月婷婷激情综合网| 人人操 色| 婷婷之六月丁香| 亚洲色频| 欧美va视频| 五月天婷婷激情综合| 免费看欧美成人A片无码| 婷婷色色五月天| 欧美丁香五月| 中文字幕婷婷在线| 五月网网站| 天天操天天插| 丁香色五月婷婷17C| 色五月婷婷网| 婷婷综合另类| 99性爱视频网站| 92久久精品一区二区| 超碰在线观看99| 26uuu日韩| 一本婷婷丁香久久 | 人人摸人人摸| 黄色AAAA韩国guochansanji | 九九九九国产| 久久婷婷五月综合伊人| 玖玖精品婷婷| 99热在线只有精品| 天堂va久久久噜噜噜久久Va| 六月婷婷亚洲| 91蝌蚪窝视频在线| 色欲五月天| 色婷婷小说网| 精品思思久久| 亚洲综合在线视频| 久久99婷婷| 啪啪色区| 99在线视频免费| 六月丁AV| 日本天堂网站99| 噜噜噜色噜噜| 天天日天天久久青青| 思思99精品视频在线观看| 九九热视频精品| 激情综合五| 99精品国产在热久久婷婷| www.婷婷五月天,com| 欧美性色五月天| 免费观看全黄做爰的视频| 五月天婷亚洲天综合网综合 | 婷婷五月天 丁香五月天 裸体 | 久久九九国产精品怡红院| 天堂在线婷婷| 久色婷婷200| 葵花AV在线| 亚洲久热无码| 午夜]香婷婷深深爱| 日韩六六久久电影| 香蕉婷婷五月| 中出内射的人妻视频| 欧美性生交XXXXX无码小说| 日韩抽插操逼| 成人做爰高潮A片免费视频 | 亚洲精品在线视频| 91碰超| 婷婷色操| 五月天激情久久| WWW免费视频碰碰碰碰| av第一二区| 丁香五月成人网| 九九超日本| 婷婷五月天在线一区| 国产色色小草视频| 婷婷综合在线| 99日逼视频| 国产精品色婷婷99久久精品| 激情AV在线| 久久婷丁香五月| 九热久| 超碰色综合| 久久 婷婷 五月天| 亚洲成人在线播放| 五月丁色AV| 久久亚洲婷婷| 伊人六月无码视频| 婷婷欠久少妇| 99日这里只有精品| 九九色情网五月天| 九九在线精点品| 99热超碰天堂网| 丰满人妻一区二区三区| 日本三级中文字幕| 五月天另类视频| 日本怕怕视频| 成 人片 黄 色 大 片| 丁香五月98| 色色综合网www| 成人亚洲精品| 久久激情网| 激情伍月 欧美| 国外亚洲成AV人片在线观看| 婷婷丁香综合| 综合网狠狠| 五月天激情四射网站| 五月婷婷六月丁香综合| 天天爽天天爽| 第四色婷婷色五月| 99久久婷婷综合| 五月天桃色深爱网| 超碰成人在线观看| 狠狠色婷婷777| 干婷婷五月天| 亚洲人成网站999综合| 五月婷婷片| 色欲久久久久久综合网综合网| 久久在这里99| 丁香五月 综合| 国外亚洲成AV人片在线观看| 婷婷五月天在线观看免费| 色情五月| 国产精品久久久久久白浆色欲| 色视频2025| 成人中文网| 丁香五月综合网亚洲综合欧美狠狠| 先锋男人91资源| 色99自拍| 开心 五月 综合| 影音先锋91网站在线观看| 天天综合亚洲| 999婷婷综合| www.久久久久| 懂色AⅤ| 第四色网婷婷| 婷婷五月天综合在线| 狠狠操天天操综合| www.99操| 97精品欧美91久久久久久久| 婷婷丁香五月天色播网站| 中文字幕中文有码在线| 五月激情综合网| wwwss在线观看| 午夜天堂一区人妻| 性色五月天| 任你爽免费视频| 九九热精品| 色婷婷六月天在线| 久久免费操| 97久久超碰| 亚洲综合狠狠艹| 月色色综合婷婷网| 思思热精品在线| 玖玖精品视频99| 一级七香蕉| 91热爆在线| 五月青青草综合| 狠狠色综合久久久久| 午夜丁香综合婷婷| 思思99热在线| 欧美日本99| 五月天久久婷婷| 亚洲综合网激情五月天| 97狠狠碰| 婷婷五月天成人| 日日操天天爽| 激情伊人| 五月婷婷很很色| 五月丁香啪啪啪| 丁香五月AV综合| 中文超碰视在线| 六月丁香综合| 亚洲乱码成人| 久久伦乱| 国产肥白大熟妇BBBB视频| 久久五月天婷婷| 激情五月综合网| 激情色五月天| 丁香色五月 97干| 思思99re这里只有| 五月天婷婷香蕉狠狠超碰综合| 狠狠干综合| 5月丁香婷婷激情网| 亚洲色涩视频| 日本9区视频| 国产在这里只有精品| 伊人久久五月天| 五月丁香六月婷婷啪啪| 日韩在线视频9色| 婷婷五月天奸女| 五月婷婷co.m| 婷婷五月综合社区| 亚洲xx在线| 色久九| 丁香五月成人在线| 久久视频婷婷视频| 日本色色视频| 狠狠色狠狠操| 噜噜精品| 婷婷色色综合激情| www.色婷婷.com| 亚洲V国产V欧美V久久久久久| 99在线精品视频| www.狠狠色.com| WWW,五月| 亚州男人天堂婷婷五月| 99视频久久| 婷婷色情六月| 色五月激情问网站| 六月婷基地| 国产无套精品一区二区| 日本精品99| 天天爽夜夜爽| 色天天综合天天综合频道。| 91人碰| 欧洲电影在线观看免费版英语版| 五月丁香婷婷基地| 亚美欧色影院| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 色婷婷XXXXX| 五月丁香花激情啪啪网| 777影视理论片大全在线观看| 无码髙清| 亚州精品久久久久AV无码| www.久久爱| 99ri国产精品| 国产肥白大熟妇BBBB视频| 超碰在线免费| 久久99激情丁香婷婷小说网| 色五月婷婷成人视频| 99re久热只有精品6在线直播.com| 日本三级成人秘书精品片| 久久久久9| 91精品综合久久久久久五月丁香| 激情网站综合五月天| 原琪琪色影院| 999九九九久久久99HD| 国产精产国品一二三在观看| 久久狼人天堂| 五月婷婷五月丁香| 五月丁香六月合| 九九RE视频在线精品| 看逼中文字幕| 色亭亭影园| 思思久久精品| 久久超级碰碰| 婷婷射丁香| 午夜爱爱爱成人| 91久久久久久| 香蕉久久六月| 毛片蕉地一二| 欧美天堂婷婷日韩| 香蕉AV777XXX色综合一区| 91狠狠综合久久| 天天久| 99精品无码网站| 激情五月天啪啪视频| 免费黄色AV| 欧美日韩精品一区二区三区钱| 大战熟女丰满人妻AV| 激情五月婷婷| 五月丁香综合激情网| 99热无码| 久久婷婷亚洲五月天| 五月丁色AV| 黄色五月婷婷| 操逼三区| 亚洲av网址| 99热国产在线| 欧美69久成人做爰视频| www.yw尤物| 色99在线| 91久久综合亚洲鲁鲁五月天| 天天色天天日天天舔| 99热这里只有精品搜| 五月天婷婷伊人| 色婷婷中文字母五月丁香| 99日本黄站| 五月天停婷基地| 色色色色色日韩午夜激情| 日韩欧美不卡| 香蕉久久国产AV一区二区| 99操视频| 婷婷五月天福利| 婷婷久久网| 思思99久久| 激情综合五月婷婷| 2025色婷婷| 久久久人妻系列| 丁香六月天婷婷色| 无码天天操| 色婷婷狠狠干| 激情综合青草| 99久久99视频只有精品| 久久黄A片| 亚洲激情视频在线观看| 综合久久影院| 一级性感黄色内射视频| 香蕉操亚洲| 婷婷色五月大香蕉在线观看| 激情五月婷婷啪啪| 亚洲无码激情| 婷婷黄色五月| 亚洲四色五月| 久久综合网桃花| 影院久久久| 91在线人| AV网在线观看| 激情丁香五月| 天天射色五月天| 91日综合欧美| 亚洲无码激情| 婷婷狠狠97| 99热色婷婷| 丁香六月婷婷开心婷婷网| 久久精彩视频99| 91精品久| 色五月,婷婷大香蕉| 五月天婷婷色色首页| 超91在线视频| 久久一品区| 成人资源在线| 五月天婷婷綜合院| 久久人人九九| 97色婷| 五月天啪啪| 亚洲久热| 久久五月六月| 色五月丁香一区在线| 天干干夜夜操| 色五月激情综合| 天天久久综合| 婷婷五亚洲| 26uuu亚洲精品国产| 天天做天天摸| 激情综合激情综合| 色情五月天丁香社区| 欧美综合123区| 99精品国产热久久91色欲| 色五月激情网| 婷婷综合网站| 无码激情AAAAA片-区区| 97超美国视频在线观看| 久色大香蕉| 月色色综合婷婷网| 91人人澡人人爽人人看| 大香蕉精品视频| 天天操天天日天天爱| 久久五月天激情婷婷| 久久狠狠色| 色 五月婷婷基地| 深爱五月最新网址| 日本va欧美va国产激情| 激情久久久久久久久久久| 日韩成人AV在线| 俺去也综合| 国产激情综合五月久久| 欧美五月停| 久久久9久| 丁香五月天激情四射网| 国产成人av在线| 婷婷激情五月天综合| 日本天天综合| 五月婷AV| 久热免费视频| www色色色com| 粉嫩AV久久一区二区三区| 色婷婷丁香女女| 自拍视频99| 久久大香蕉同僚| 久久天天天| 色播五月丁香综合| 激情五月,激情综合网| 91热网址| 久久怡红院| 精品国产一区二区三区四区阿崩| 99re久热| 91尤物九色在线| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 亚洲99热| 91九色 婷婷| 色婷婷丁香五月| 五月天婷婷丁香蜜桃91| 欧美激情综合五月色丁香| 婷婷99中文字幕| 俺去也婷婷| 国产成人精品一区二区三区视频| 激情五月天婷婷丁香| 热五月婷婷| 操操操www.com| 色婷婷激情视频| 五月天婷婷社区| 久久五月天婷婷| 中文字幕日产A片在线看| 日韩国产AV播放| 激情视频91| 激情综合自拍五月婷婷色五月| 丁香久久五月天视频在线观看| 亚洲成人在线五月天| 激情六月丁香| 香蕉久久av一区二区三区| 久热爱大香蕉在线蜜臀悦色| 九九九九国产| Jh7Uf088VHafNm| 综合色播| 亚洲综合色网| 色情网综合| 久久婷婷网站| 99热这里只有精品33| 来吧亚洲综合网| 思思热精品在线| 婷婷六月天国产综合| 丁香激情五月| 五月天激情网图片 - 百度| 色五月综合激情| 久久视频九九视频| 99热网址| 日欧一片内射VA在线影院| 久久99jiu9| 秋霞免费三级片| 99性感视频| 伊人网大香| 久久人妻熟女一区二区| 永久免费一区二区三区| 五月天免费色| 这里只有精品1| 色99视频| 人人操91色| 天天日日夜夜爽| 亚洲综合婷婷六月丁香五月| 天天看A片| 久久婷婷五月丁香蜜桃网| 亚洲成人av在线| 激情丁香五月激情婷婷| 五月婷婷丁香啪啪| 亚洲乱码日产精品BD| 97资源碰碰在线| www.狠狠狠狠| www.9797国产| 久久人人做人人妻人人玩精品va| 成人综合AV| 九九热区一区二区三区| 婷婷五月丁香综合激情| 五月综合激情久久| 夜夜 操无码| 99色热综合| 黄色AV日韩| 99只有精品9| 欧美久热| 中文在线视频久1| 九九成人视频| 久久久五月天网站| 婷婷丁香高潮了| 人妻aV在线| 国内一级片| 91男同| 丁香五月在线观看完整版| 99精品久久| 久久五月天精品视频| 婷婷五月天激情四射五月天激情| 亚洲精品婷婷| 亚洲精品国产熟女久久久| 9久热免费视频99| 国色天香伊人狠狠色| 激情久久久| 激情五月婷婷色色| 激情六月五月婷婷综合网| 9久热免费视频99| 九月丁香网婷婷| 草综合网| 久久99热这里只频精品6学生| 无码一区精品一区视频| 伊人91| 99在线观看精品视频| 熟女人妻一区二区三区免费看| 亚洲婷婷丁香| 色久五月天| 国产亚洲精品久久久久久郑州| 婷婷少妇激情| 国产亚洲精久久久久| www.狠狠| 色婷婷免费观看| 五月天色婷婷激情| 欧美性色A片免费免费观看的| 爽极品色| 色综合色色| 亚洲深喉aV| 99热九九这里只有精品| 青青草原伊人网| 999热这里只有美国精品| 99亚色色色| 91大屁股精品| 婷婷94s| 丁香五月婷婷动漫视频| 天天干天天干天天干天天干天| 77777亚洲午夜久久| www国产亚洲色婷婷com| 激情婷婷五月天| 五月天激情图片| AVDV久久| 国产av第一专区| 99在线观看视频蜜臀| 九九香蕉网| 久久9999| 岛国AV网| 五月婷婷电影院| 久这里只有精品| 国产成人+综合亚洲+天堂| 五月五月婷婷| 思思精品热在线| 人人艹艹艹| 五月综合亚洲色| 色婷婷97| 玖玖五月丁香| 五月激情偷拍| 综合色色五月| 亚洲婷婷丁香五月天激情小说| 淫视馆aV二区一区| 亚洲色激情| 丁香色婷婷| 欧美色激情四射| 色狠狠伊人久久五月丁香| 夜夜躁爽日日| 中文字幕在线日亚洲9| 99久在线精品99re5热视频| av五月丁香婷婷网| 婷婷激情五月综合丁香社| 亚洲成av人影院| 激情综合青草| www.婷婷五月| 久久曰曰| 超碰在线观看99| 日韩超碰在线| 天天综合五月天| 五月天婷婷久草丁香| 婷婷丁香色五月| 五月久久丁香| 激情五月天小说视频| 亚洲V国产V欧美V久久久久久| 亚洲激情 久久| 人人干人人看| 97人妻碰碰中文无码久热丝袜| 色噜噜狠狠色综合成人网| www91久久| 婷婷综合激情| 狠狠色噜噜狠狠亚洲A∨| 五月婷婷丁香综合网| 操大屄五月天视频| 九九热视频免费的| 无码视频国内精品久久久| 天天肏天天插| 做爰丰满少妇1313| 开心婷婷五月花| 专区无日本视频高清8| 色色99色色| 99综合| 亚洲激情 久久| 色吧综合网| 激情啪啪五月天| 成人看片网站| 婷婷六月色丁香视频在线观看| www激情| 色七色九九| 色九月| 亚州激情在线视频| 久草热久草在线视频| 五月激情另类| 少妇AB又爽又紧无码网站| 激情五月天之六月婷婷| 99国产精品白浆在线观看免费| 色综合五月在线| 97在线99| 天天干天天射综合网| av在线免费播放观看| 丁香六月婷婷综合在线| 婷婷狠狠爱| 激情综合激情五月一起草| 色吊丝av中文字幕| 26uuu日韩| 久9久成人精品视频| 99热综合在线| 色五月天堂| 五月婷婷影| 激情综合自拍五月婷婷色五月| 五月香婷婷| 日日色五月天| 国产婷婷婷| 牛牛碰免费| 9在线9在线婷婷在线国产| 久久这里只精品| 国产三级片91| 久久伊人大香蕉| 开心五月六月婷婷| 天天日天天色| 色五月色综合| 日韩啪啪自拍| 日本色五月| 激情六月天婷婷| 婷婷伊人| 热久久思思热思思| 激情内射人妻1区2区3区| 99久久精品视频女神1| www.91AV.com| 五月天伊人久久久久| 婷婷黄色| 97色色婷婷| 天天艹天天色| 国产女生爱爱AA| 九九热在线视频| 伊人久久99| 开心五月婷婷激情| 五月天成人手机在线视频| 亚州成人综合在线| 色播五月天激情| 91久久综合亚洲鲁鲁五月天| 色五月五月婷婷| 狠狠干五月丁香| 欧美在线ee日韩| 五月丁香影视| 色情五月综合婷婷| 北京熟妇搡BBBB搡BBBB| 五月丁香青草综合啪啪| 99色在线视频观看| 天天肏在线观看| 99色这里| 97超碰,人人舔,人人操,人人摸| 丁香五月六月婷婷怡红院| 91色在线| 丁香五月欧美| 欧美噜一噜| 免费操超碰| 日本不卡中文字幕| WWW.五月天9999| 3p九色在线| 婷婷日欧美在线观看| 欧美日韩91| 麻豆AV一区二区三区| 五月婷婷激情久久| WWW色色色COm| 亚洲无码99| 婷婷综合色五月天| 国产白丝在线一区| 色婷婷电影网| 婷婷丁香综合成人| 婷婷五月天黄色网址| 九九色婷婷| 婷婷五月天综合色| 婷婷色五月开心五月| 99色综合| 亚洲色 视频| 色综合丁香婷婷| 日本99热| 丁香六月婷婷综合啪啪| 翔田千里 50岁 无码| 亚洲精品V天堂中文字幕| 五月网在线| 免费婷婷| 国产真实乱了老女人视频| 人人爽天天爽| 五月丁香六月激情综合网| 婷婷综合仓库中文| 丁香五月天.com| 亚洲色色图片| 午夜福利成人AV91| www.国产色| 麻豆五月丁香婷婷| 丁香五月综合激情啪啪| 成人国产欧美大片一区| 日日噜狠狠色综合久| 婷婷丁香色五月亚洲| 婷婷婷婷婷婷婷婷婷婷丁香| 青青草轻轻操| 六月婷婷色五月| 91久久九色| 色噜噜狠狠色综无码久久合欧美| 久狠日av| 国产 亚洲 在线| 丁香五月天成人| 五月婷激情影院| 狠狠色综合777| 热九九九九| 五月婷婷啪啪| 丁香网五月天激情| 久久永久视频| 国产成人综合电影| 97精品在线| 啪啪啪五月天| 玖玖在线视| 日韩AV中文在线观看| 色五月天丁香婷婷| 天天爽曰日爽| 99热综合在线| 97色五月婷婷在线| 人人97碰| 色天天综合成人网| 九九久久五月天| 97碰碰久久| www.久久爱| 五月婷婷精品无在线| 97人人超| 91色综合网站在线| 99热精品在线观看| 深爱婷婷丁香五月激情| 五月婷丁香花| 丁香婷婷午夜| 成人综合网站| 九九99热| 爱的综合网| 97人人操人人| 婷婷激情六月中文| 五月丁香香蕉| 99这里只有精品视频| 99热国产国产| 精品网站:999WWW| 国产视频色色色色色色色| 色五月琪琪| 99免费视频网| 另类色网| 五月停停色| 亚洲成人在线在线| 色色色欧美| 天天爽天天爽视频| 99er免费在线观看| 999精品乱码77777| 亚韩精品视频1区| 五月天激情综合网| 六月丁丁香| 激情五月婷婷综合网| 99热都是精品| 91AV视频| 国产婷婷色综合AV蜜臀AV | 欧美日韩精品人妻狠狠躁免费视频| 最新av在线观看| 俺去啦综合网| 九月丁香婷婷综合激情| 久久久久久久久久久44| 久久久一级AAA| 青草激情综合| 开心婷婷五月| 婷婷开心激情综合五月天| 好好干Av| 婷婷久久内射| 五月婷三级片| 五月天综合| 午夜婷婷久久| 亚洲最大五月天成人网| 99热在这里只有免费精品| 九九re精品视频在线观看| 天天婬色综合| 亚洲V国产V欧美V久久久久久| 婷婷亚洲综合| 久久a热| 婷婷涩五月天综合| 五月天婷亚洲天综合网综合| 26uuu精品一区二区| AV网在线观看| 日本不卡高字幕在线2019| 色综合色色| 99玖玖在线视频| 自拍盗摄 另类| 噜色精品| 六月丁香婷婷五月天| 九月婷婷激情| 黄色AAAAAAA| 激情五月婷婷| 色婷婷导航| 久久综合五月天| 丁香六月婷婷色XXXXX| 甈你aaaaa| 99这里是99在线视频| 色色五月天网站| 丁香色五月AV在线| 99热99精品在线观看| 无码日本精品XXXXXXXXX| 五月婷婷片| 亚洲性爱电影| 五月婷婷中文字幕| 色5月婷婷| 99热久久最新地址| 五月婷婷 欧美| 一逼色综合| www.五月丁香| 久久五月天丁香花| 99在线资源视频| 欧美叉叉叉BBB网站| 五月天激情综合网| 九九久久99| 日本高清久| 五月天婷婷在线视频| 丁香婷婷激情网站| 九九久久综合网站| 另类图片激情五月天| 五月花综合| 9久精品视频| 久久大香蕉同僚| 久久99精品久久久久久三级| 精品视频网| 99re8热精品免费视频| 欧美叉叉叉BBB网站| 操91| 色情成人五月天| 婷婷五月天丁香花| WWW.99热| 久婷婷婷| 色婷婷69| 96丁香六月婷婷蜜桃综合久久| 久久色这里只有精品| www.26uuu.com亚洲电影| 99视频精品8| 欧美色六月婷婷| 色婷婷婷av | 超碰在线9| 综合99久久天天综合| 99色久| 色综合久久综合| www.色色com| 国产91在线视频| 亚洲9久久精品| 黄色av高清| 丁香五月大香蕉在线99| 中日韩美欧成人一区二区精品在线| 欧美成人精品A片免费一区99| 五月天婷婷综合网| 色综合五月天| 日本三级大片| 99热66| 亚洲人人操| 免费看欧美成人A片无码| 婷婷五月天av| 五月天激情网站| 成人国产欧美大片一区| 裸睡玩奶头(高H)| 可以免费观看的av| 婷婷五月花| 人妻AV中文系列| 欧美顶级少妇做爰HD| 国产欧美精品AAAAAA片| 色五月激情五月| 欧美电影在线观看| 日韩无码专区| 色婷婷六月| 五月丁香综合色婷婷| 婷婷天堂伊人| 色五月在线综合| 五月丁香综合久久夜夜| 在线日韩av| av五月丁香婷婷网| 色婷亚洲| www91精品| 六月婷欧美| 伊人网碰碰| 亚洲网视屏| 久久婷婷五月天激情新地址| 欧美丁香婷婷天天操| 色五月婷婷丁香国产在线| 丁香六月激情综合网| 天天操,天天插| 26uuu另类| 天天色宗合| 99热这里只有精品55| 在线观看av网站| 久婷婷| 成人va在线播放| 六月婷婷综合| 国产亚洲精品久久久久久久久动漫 | 人妻久久久久久久久妻久久久久| www.色五月天.com| 天天爽天天摸人妻综合网| 五月丁香在线观看| 91肏| 91丨九色丨大屁股| 99久视频| 天天射天天插天天干| 免费在线观看av网站| 免费超碰在线| 2016日日夜夜操| 亚洲成人AV在线观看| 久久这里这里有精品免费视频| 亚洲AV激情五月综合网| www.婷婷,com| 青青草原精品久久| 99视频这里只有免费精品| 色婷婷五月天激情久久| 婷婷六月中文字幕| 色婷婷裸体色性在线| 六月激情网| 激情文学久久| 久久XX| 色综合综合综合| 色综合色色色色色色综合| 91精产一区三区免费观看| 婷婷午夜精品久久久| 婷婷 久综合| 天天添天天摸天天天天做| 骚。com| 色播播五月天| 激情五月天色网站| www色婷婷| 麻豆AV一区二区三区| 婷婷五月丁香成人网| 4399高清无码视频| 丁香五月天激情| 99这里有精品免费| 六月五月婷婷| 久久精品人妻| 婷婷久久久| 九九热在线视频| 天天干天天av天天射| 99久热精品在线| 精品人人操| 婷婷五月丁香综合激情小说| 五月天婷a| 亚洲va国产va天堂va综合va| 五月丁香婷婷在线| 五月丁香六月激情| 成人小说色图婷婷五月| 97碰碰在线观看视频| 精品久色| 99在线国| www.婷婷五月天| 婷婷五月天黄色| 嫩草AV久久伊人妇女超级A| 嫩草AV久久伊人妇女超级A| 九九热视频在线观看| 懂色av粉嫩AV蜜臀AV| 91在线日本| 伊人影音无码一区二区三区| 夜夜夜叫天天天做| 婷香五月激情视频| 操97| 日本乱子人伦在线视频| www.五月婷| 91色吧网| 色七色九九| 婷婷开心激情五月激情网| 97人凄人人操人人爽| 99热婷婷| 任你干线上免费视频有3吗| 久久东京热婷婷五月| 婷婷五月天少妇| 色欲久久久久| 日本啪啪网| 被强行糟蹋的女人A片| 久热伊人在91| 九久9精品| 思思精品久久艹| 欧美啪啪9| 五月婷婷色| 偷偷操九九| 99re热精品在线视频| 色色色色色色色色色999| 久久婷婷人人| 色婷婷99| 97人妻人人| 女性自慰系列第五页| 国产一二三四五六七八视频| 国产97色在线| 国产毛多水多女人A片| 丁香六月综合激| 久久er这里只有精品| 五月婷婷久久网| 婷婷99狠狠| 日日操夜夜撸| 色逼综合网| 欧美激情综合色综合啪啪五月| 五月婷婷天天色| 天天日天天爱天天噪| 99啪啪视频| 青青草国产亚洲精品久久| 蜜臀99久久精品久久久久| 日日骑夜夜撸| 国语精品探花| 任你爽精品免费视频6| 天天干天天干天天干| 四色五月视频| 五月天国产成人| 九九色综合视频| 深爱激情五月婷婷| 色播激情| 熟女色专区| 激情综合网五月激情网| 婷婷久久五月天| 丁香色色五月| 99热这里只有精品26| 五月天激情小说欧美激情| 91色久| 五月丁香六月婷婷的女人| peg 2区三区四区的| 天天做天天爱天天爽| 久久99国产综合精品免费| 1999天天操夜夜操| 亚洲色婷婷99一9|| 国产97色在线 | 日韩| 日本视频久久| 婷婷爱爱蜜臀天天操| 丁香五月天啪啪激情综合网| 免费黄色片子| 久久日本wwww色| 日本99热| 久久久久丁香婷婷五月天| 激情四射五月天| 丁香婷婷性久久| 日韩激情人伦人| 久草性爱| 天天射影| 久久久久8888| 国产欧美日韩一区二区三区| 九九99九九99| 91人操| 啪啪日本欧美| 色色婷| 舔色婷婷| 亚洲国产精品VA在线看黑人| 色三级色三级| 久久丁香久久| 玖玖婷婷五月天| 色婷婷国产精品综合在线观看| 天天草天天日| 99热综合网| www热久久yy9| 开心五月综合激情综合五月| 五月丁香香蕉| 91九色无码内射| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 久九色| 婷婷六月丁| 午夜69成人做爰视频| 久久99久久99精品免视看婷| 色色免费网战视频| 狠狠干综合| 97色色色| 久久婷婷综合五月天| 欧美日本免费一道免费视频| 九九热欧美| 五月久视频| 大香伊人久色| 五月婷婷综合热| 情色婷婷五月天| 婷婷五月天亚洲综合网| 婷婷色无码| 久久性爱视频| 在线看av| www,五月天激情| 亚洲激情在线| 久久久91| 天天色天天操天天射|