欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Linux服務(wù)器性能優(yōu)化實戰(zhàn):從CPU、內(nèi)存到磁盤與網(wǎng)絡(luò)的排查調(diào)優(yōu)

Linux服務(wù)器性能優(yōu)化實戰(zhàn):從CPU、內(nèi)存到磁盤與網(wǎng)絡(luò)的排查調(diào)優(yōu) 前一陣折騰一臺線上Linux服務(wù)器剛接手時負(fù)載常年穩(wěn)定在十幾接口響應(yīng)動不動就飄到秒級。經(jīng)過一輪Linux系統(tǒng)性能優(yōu)化從CPU、內(nèi)存、磁盤到網(wǎng)絡(luò)棧都過了一遍最后把問題收斂到幾個具體的瓶頸點上整個過程值得完整復(fù)盤一遍。這篇文章適合兩類人看一類是剛?cè)腴T、拿到一臺“有點卡”的Linux服務(wù)器不知道從哪里下手的同學(xué)另一類是已經(jīng)會看top和free但面對千奇百怪的優(yōu)化建議不知道哪些該信、哪些是坑的老手。我會先把排查思路講清楚再按子系統(tǒng)逐個拆解優(yōu)化手段最后附上我在實戰(zhàn)里踩過的坑和最終沉淀下來的參數(shù)基線。整篇內(nèi)容偏實戰(zhàn)命令都是我在終端里敲過的可以放心對照自己的環(huán)境試。1. 先定位瓶頸再動手性能排查的思路與工具1.1 別被表象帶偏先看全局再看局部接手一臺性能有問題的服務(wù)器最忌諱的事情就是直接抄網(wǎng)上的優(yōu)化參數(shù)一頓改。我見過不少同事上來就說“CPU滿了”然后趕緊給進(jìn)程調(diào)nice、改調(diào)度器折騰半天負(fù)載紋絲不動。后來用iostat一看磁盤在大量同步寫CPU的sys時間全耗在等待IO完成上改CPU參數(shù)當(dāng)然沒用。所以說第一步永遠(yuǎn)是全局觀察至少持續(xù)10到30分鐘。如果問題是偶發(fā)的這個間隔要拉得更長最好配合歷史監(jiān)控數(shù)據(jù)一起看。核心命令就這幾個top看CPU和負(fù)載vmstat看內(nèi)存、上下文切換和IO等待iostat看磁盤sar看歷史趨勢。別小看這些老命令它們輸出的每一列都是長期沉淀下來的標(biāo)準(zhǔn)指標(biāo)比花里胡哨的監(jiān)控面板靠譜得多。實際操作的時候我習(xí)慣并行開幾個窗口或者用一條命令把關(guān)鍵指標(biāo)一次性收集下來。比如遇到一次線上抖動我會這樣跑vmstat 1 10 iostat -x 1 5 pidstat -u -r -d 1 5 sar -n DEV 1 5這樣做的目的是讓CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)四個維度的數(shù)據(jù)在同一個時間窗口內(nèi)對齊。如果只單獨看某一個指標(biāo)很容易把相關(guān)關(guān)系誤判成因果關(guān)系。等下一輪問題復(fù)現(xiàn)時至少有完整的數(shù)據(jù)能回看不至于拍腦袋。1.2 一張速查表幫你快速判斷瓶頸方向判斷瓶頸方向這件事本質(zhì)上就是做排除法。我在大量實戰(zhàn)里總結(jié)出一張速查表遇到問題先對著看能省下不少彎路的功夫現(xiàn)象可能的瓶頸下一步確認(rèn)工具所有核的us都很高純計算密集或出現(xiàn)死循環(huán)perf top / top 排序看進(jìn)程單個核打滿其余空閑線程綁定或中斷分配不均pidstat -t 看線程檢查tasksetsy高且上下文切換劇烈鎖競爭、系統(tǒng)調(diào)用過于頻繁vmstat的cs列strace -cwa高磁盤IO瓶頸iostat -x 看await與utilswap持續(xù)增長內(nèi)存不足free -h查看匿名頁回收情況st高宿主機(jī)CPU超賣虛擬化環(huán)境聯(lián)系虛擬化平臺確認(rèn)網(wǎng)絡(luò)重傳率高緩沖區(qū)不足或鏈路質(zhì)量差sar -n EDEV, netstat -s這張表不是萬能藥但能幫你快速鎖定大方向。值得注意的是真實場景里往往是多個瓶頸疊加比如內(nèi)存不足會引發(fā)swapswap又加劇磁盤IO最后表現(xiàn)為load average飆升。所以排查時要把“現(xiàn)象—瓶頸—觸發(fā)鏈”串起來看而不是單點下結(jié)論。1.3 日常監(jiān)控比臨時救火更重要很多性能問題在發(fā)生之前是有預(yù)兆的只是沒人記錄到了爆發(fā)那一刻才手忙腳亂。我強(qiáng)烈建議在生產(chǎn)環(huán)境裝好sysstat配置定時采集讓數(shù)據(jù)每天自動落盤# Debian/Ubuntu apt install sysstat # RHEL/CentOS yum install sysstat裝好后確認(rèn) /etc/cron.d/sysstat 里的采集間隔是10分鐘或更短然后用 sar -q、sar -u、sar -r、sar -b、sar -n DEV 回看歷史。遇到問題先翻案發(fā)現(xiàn)場而不是干等復(fù)現(xiàn)這能讓你在排查時多出幾雙眼睛。這也是我處理線上問題的一貫思路監(jiān)控先行優(yōu)化跟上。2. CPU與調(diào)度優(yōu)化從使用率到上下文切換2.1 CPU使用率高不等于負(fù)載高這兩個概念必須分清CPU使用率是“CPU有多長時間在忙”負(fù)載是“有多少進(jìn)程處于可運行或不可中斷狀態(tài)”。單核機(jī)器上load average為1意味著滿載4核機(jī)器load average為4才意味著所有核打滿。很多初學(xué)優(yōu)化的朋友一看load超過1就緊張其實在4核機(jī)器上load 2.5是相當(dāng)健康的水平。更迷惑人的是D狀態(tài)進(jìn)程。不可中斷睡眠的進(jìn)程會一直計入負(fù)載但它的CPU使用率是0。所以你會看到一種情況load average已經(jīng)飆到8但top里CPU的us、sy都只有個位數(shù)vmstat里的wa也不高。這時候優(yōu)先排查的不是CPU參數(shù)而是哪個進(jìn)程卡在IO上了。ps -eo state,pid,wchan:32,cmd | grep ^D這條命令列出所有D狀態(tài)進(jìn)程和它們在內(nèi)核里等待的內(nèi)核函數(shù)??吹?wchan 那一列基本就知道卡在什么類型的IO上了是等塊設(shè)備、等NFS還是等內(nèi)存頁回寫心里大概有數(shù)。2.2 上下文切換高鎖競爭和系統(tǒng)調(diào)用的鍋上下文切換本身不是壞事但如果每秒切換次數(shù)高到離譜CPU時間就大量耗在“換人”上而不是“干活”上??磛mstat輸出的cs列如果持續(xù)超過幾萬甚至十幾萬就該用pidstat定位到底是誰在頻繁切換。pidstat -w 1 5關(guān)注兩列cswch/s是自愿切換nvcswch/s是非自愿切換。自愿切換多說明線程在等鎖、等IO、頻繁睡眠喚醒非自愿切換多說明時間片耗盡被強(qiáng)制讓出CPU往往是線程數(shù)開太多或者調(diào)度器參數(shù)不合適。定位到進(jìn)程后用perf record抓調(diào)用棧perf record -g -p pid -- sleep 10 perf report如果是鎖競爭火焰圖里會看到明顯的鎖函數(shù)熱點如果是系統(tǒng)調(diào)用風(fēng)暴strace -c 統(tǒng)計出的syscall分布會告訴你答案。這一套組合拳下來90%的CPU異常都能找到根因。2.3 調(diào)度器參數(shù)別亂調(diào)適合場景才是關(guān)鍵Linux的CFS調(diào)度器有幾個常見參數(shù)我簡單說一下適用場景# 查看當(dāng)前值 sysctl kernel.sched_min_granularity_ns sysctl kernel.sched_wakeup_granularity_ns sysctl kernel.sched_migration_cost_nssched_min_granularity_ns是每個進(jìn)程獲得CPU時間片的最小粒度默認(rèn)值通常在幾毫秒量級。把它調(diào)大減少頻繁切換適合跑大規(guī)模計算任務(wù)調(diào)小則讓CPU時間更均勻地分配給每個進(jìn)程交互體驗更跟手適合桌面或低延遲服務(wù)。sched_wakeup_granularity_ns控制被喚醒進(jìn)程能否搶占當(dāng)前進(jìn)程調(diào)大可以避免頻繁搶占導(dǎo)致的抖動但也會讓喚醒延遲變高。我的建議是非必要不調(diào)調(diào)度器參數(shù)。現(xiàn)代內(nèi)核的默認(rèn)調(diào)度策略在大多數(shù)場景下已經(jīng)很合理盲改只會把系統(tǒng)弄得更糟。如果確實要調(diào)一次只能改一個參數(shù)對照壓測數(shù)據(jù)確認(rèn)收益改完留足觀察期。2.4 綁核與中斷親和性給關(guān)鍵進(jìn)程騰出專屬CPUNUMA架構(gòu)普及之后CPU訪問本地內(nèi)存和遠(yuǎn)端內(nèi)存的延遲差距能達(dá)到幾十納秒甚至更多。對延遲敏感的應(yīng)用綁核是性價比很高的優(yōu)化手段。用taskset把進(jìn)程綁定到指定CPU核可以避免線程在不同核之間遷移帶來的緩存失效。# 將進(jìn)程綁定到CPU 0和1 taskset -pc 0,1 pid # 啟動時直接綁定 taskset -c 0,1 ./your_app如果物理機(jī)是NUMA架構(gòu)numactl比taskset更精細(xì)可以同時綁定CPU節(jié)點和內(nèi)存節(jié)點numactl --cpunodebind0 --membind0 ./your_app綁核的副作用也不小當(dāng)綁定的核被占滿任務(wù)只能排隊等待即使其他核空閑也無法利用。所以綁核只適合明確知道資源需求的場景比如把網(wǎng)卡中斷、某個核心線程、關(guān)鍵業(yè)務(wù)進(jìn)程分別放到不同的核上互不干擾。一般性的Web服務(wù)反而不要綁死讓內(nèi)核調(diào)度器自由調(diào)度會更靈活。3. 內(nèi)存優(yōu)化從swap到大頁的取舍3.1 看懂free輸出buff/cache不是你想的那樣很多新人看free -h只盯著used那一列一看內(nèi)存用了90%就開始慌。其實Linux的內(nèi)存管理哲學(xué)是“空閑內(nèi)存不如拿來緩存”。buff/cache占用的內(nèi)存在應(yīng)用需要時可以隨時回收不應(yīng)該簡單理解成“被吃掉了”。真正需要關(guān)注的是available這一列它代表“在不觸發(fā)swap的前提下還能分配給新進(jìn)程的內(nèi)存總量”。我見過不少服務(wù)器free里used高達(dá)95%但available依然充裕系統(tǒng)跑得穩(wěn)穩(wěn)當(dāng)當(dāng)。如果你判斷內(nèi)存是否充足只看used遲早會被自己嚇出心臟病。判斷內(nèi)存壓力的核心指標(biāo)是swap的使用趨勢。如果swap的si和so列長期不為零說明系統(tǒng)確實在頻繁換入換出這時候才是真正需要考慮內(nèi)存擴(kuò)容或優(yōu)化內(nèi)存使用的信號。3.2 swappiness不是越大越好也不是越小越好vm.swappiness控制內(nèi)核回收匿名頁進(jìn)程堆棧與頁緩存文件緩存的傾向性。取值范圍在舊內(nèi)核是0到100新內(nèi)核已經(jīng)擴(kuò)展到0到200默認(rèn)60。數(shù)值越高越傾向于回收匿名頁也就是把進(jìn)程內(nèi)存往swap里寫數(shù)值越低越傾向于回收頁緩存。對數(shù)據(jù)庫、緩存中間件這類內(nèi)存敏感的服務(wù)常見建議是把swappiness調(diào)低讓內(nèi)核優(yōu)先回收文件緩存而不是進(jìn)程內(nèi)存sysctl -w vm.swappiness10 echo vm.swappiness 10 /etc/sysctl.conf調(diào)低之后最直接的效果是進(jìn)程的內(nèi)存頁不容易被換出訪問延遲更穩(wěn)定。但我踩過的坑是有人把swappiness直接設(shè)成0以為這樣就徹底禁用swap了。實際上0只是“極端避免匿名頁換出”不代表完全不換。只要內(nèi)存壓力到一定程度內(nèi)核依然會觸發(fā)swap。反過來也別輕易調(diào)高swappiness除非你明確知道自己在做什么。有些場景下把不常用的進(jìn)程內(nèi)存換出給頁緩存騰出更多空間反而能提升整體吞吐——但這需要非常謹(jǐn)慎的壓測驗證。3.3 dirty頁參數(shù)寫緩存是把雙刃劍Linux會把寫操作先緩沖到內(nèi)存的dirty頁里再由后臺線程刷到磁盤。vm.dirty_ratio和vm.dirty_background_ratio這兩個參數(shù)控制刷盤時機(jī)dirty_background_ratio后臺刷盤線程啟動的閾值默認(rèn)10%達(dá)到這個值內(nèi)核開始異步寫回不阻塞應(yīng)用。dirty_ratio進(jìn)程自身強(qiáng)制同步寫回的閾值默認(rèn)20%達(dá)到這個值所有寫操作都要等刷盤完成才能繼續(xù)相當(dāng)于瞬間寫停頓。把這兩個值調(diào)大能顯著提升大量小文件寫入場景的吞吐量因為更多寫入被合并到內(nèi)存里。但代價是斷電或內(nèi)核崩潰時丟失數(shù)據(jù)的窗口從幾秒變成幾十秒。我一般建議dirty_background_ratio控制在10到15之間dirty_ratio控制在20到30之間除非你做了電池備份或?qū)?shù)據(jù)丟失不敏感否則不要為了性能犧牲一致性。3.4 透明大頁看似美好實際是數(shù)據(jù)庫服務(wù)的痛點透明大頁THP是Linux內(nèi)核的“自動大頁化”機(jī)制把物理內(nèi)存自動聚合為2MB的大頁理論上能減少TLB miss。但是它的后臺內(nèi)存規(guī)整過程會引入延遲尖刺對延遲敏感的應(yīng)用極不友好。我優(yōu)化過的數(shù)據(jù)庫類服務(wù)幾乎無一例外在關(guān)閉THP后延遲穩(wěn)定性都明顯改善# 臨時關(guān)閉 echo never /sys/kernel/mm/transparent_hugepage/enabled echo never /sys/kernel/mm/transparent_hugepage/defrag # 永久關(guān)閉在 /etc/default/grub 的 GRUB_CMDLINE_LINUX 中添加 transparent_hugepagenever關(guān)閉之后數(shù)據(jù)庫寫入和內(nèi)存分配的長尾延遲下降非常明顯。但如果你跑的是數(shù)值計算、科學(xué)仿真這類對內(nèi)存帶寬敏感的任務(wù)THP反而可能是正向收益。所以我對THP的結(jié)論是默認(rèn)狀態(tài)下建議關(guān)掉除非你用量化數(shù)據(jù)證明它對你當(dāng)前負(fù)載有幫助。4. 磁盤IO優(yōu)化調(diào)度器、掛載參數(shù)與回寫策略4.1 iostat的高階讀法%util高不代表磁盤極限iostat -x 1的輸出里%util是最常被誤解的指標(biāo)。很多人看到%util接近100%就斷言磁盤滿了其實%util反映的是采樣周期內(nèi)設(shè)備“有請求待處理”的時間占比不代表設(shè)備的實際吞吐能力。NVMe固態(tài)盤隨便就能跑到好幾個GB/s的讀寫速度%util到100%也不代表性能到頂因為它背后是極高的并發(fā)隊列深度。真正要看的指標(biāo)是await平均IO請求處理時間和aqu-sz平均隊列深度。如果await很高說明單個請求排隊等待時間長可能是磁盤硬件跟不上也可能是文件系統(tǒng)鎖、cgroup的IO限制在作怪。我遇到過一臺機(jī)器%util只有30%w_await卻到了500多毫秒最后排查下來是cgroup的blkio限流導(dǎo)致寫請求在隊列里排隊而不是磁盤本身的問題。4.2 IO調(diào)度器機(jī)械盤和固態(tài)的完全相反的選擇Linux的IO調(diào)度器有多個流派選擇完全取決于底層存儲介質(zhì)# 查看當(dāng)前調(diào)度器 cat /sys/block/sda/queue/scheduler # 修改調(diào)度器以改為none為例 echo none /sys/block/sda/queue/scheduler傳統(tǒng)機(jī)械硬盤強(qiáng)烈推薦deadline或mq-deadline它會對讀請求做優(yōu)先級排序減少磁頭來回尋道的浪費。固態(tài)硬盤和NVMe盤推薦none也就是直通模式因為設(shè)備自己已經(jīng)有很好的請求合并和排序能力內(nèi)核再排一次序純屬畫蛇添足。千萬別在NVMe盤上繼續(xù)用cfq那是古董時期針對機(jī)械盤設(shè)計的調(diào)度器在多隊列時代早已被廢棄。新內(nèi)核的默認(rèn)調(diào)度策略通常會識別NVMe并自動選擇none但如果你從舊版本升級上來還是手動確認(rèn)一遍比較穩(wěn)妥。4.3 noatime一個零成本但收益實在的掛載選項Linux默認(rèn)的atime特性每次讀取文件都要更新訪問時間戳這對大量讀操作來說是純粹的浪費。每次讀文件都要觸發(fā)一次元數(shù)據(jù)寫回長期積累下來的開銷相當(dāng)可觀。推薦在文件系統(tǒng)掛載時加上noatime尤其是日志、靜態(tài)文件、圖片資源這類讀多寫少的場景# /etc/fstab 示例 /dev/sdb1 /data ext4 defaults,noatime,nodelalloc,commit60 0 2如果不想承擔(dān)任何atime丟失的風(fēng)險relatime是折中方案atime只在mtime或ctime變化時更新或者距離上次更新超過一天才更新。現(xiàn)代Linux發(fā)行版默認(rèn)就是relatime但很多服務(wù)器從舊版本升級過來還是老的atime配置這點值得檢查一下。4.4 文件系統(tǒng)日志與回寫commit調(diào)大要付出數(shù)據(jù)安全代價ext4和xfs都支持日志journal目的是保證崩潰一致性。日志刷盤頻率由commit參數(shù)控制默認(rèn)是5秒意味著每5秒強(qiáng)制把日志和數(shù)據(jù)落盤一次。調(diào)大commit窗口比如commit600可以減少高頻寫入場景下的刷盤次數(shù)顯著降低IO壓力。但這件事要算清楚代價commit600意味著系統(tǒng)異常斷電時最多可能丟失最近10分鐘的數(shù)據(jù)而不是默認(rèn)的5秒。這已經(jīng)不只是性能優(yōu)化而是數(shù)據(jù)安全策略的調(diào)整。我只有在日志類、臨時緩存類數(shù)據(jù)的存儲上才會把commit調(diào)大到60以上核心數(shù)據(jù)庫永遠(yuǎn)不會這么干。4.5 我看到過的“假磁盤瓶頸”隊列排滿但設(shè)備空閑有一次壓測時發(fā)現(xiàn)w_await飆升iostat顯示aqu-sz隊列深度已經(jīng)到幾十但%util只有40%左右。排查方向一開始鎖定在磁盤硬件后來用blktrace一追發(fā)現(xiàn)是文件系統(tǒng)層面的鎖在排隊——ext4的某個日志操作變成了串行瓶頸。這種情況下光調(diào)整IO調(diào)度器或者換更快的SSD都解決不了問題。需要從文件系統(tǒng)掛載選項比如改成datawriteback、內(nèi)核日志模式j(luò)ournal_async_commit、或者干脆換文件系統(tǒng)層面重新設(shè)計存儲方案來徹底解決。這個案例給我的教訓(xùn)是指標(biāo)異常時別急著下結(jié)論把IO路徑上的每一層都排查清楚再動手。5. 網(wǎng)絡(luò)棧優(yōu)化隊列、緩沖與內(nèi)核參數(shù)的合理姿勢5.1 多隊列網(wǎng)卡與中斷分散讓每個CPU都參與收包網(wǎng)卡收包時如果所有中斷都落在同一個CPU核上這個核會成為瓶頸其他核閑著?,F(xiàn)代網(wǎng)卡支持多隊列和RSSReceive Side Scaling可以把不同隊列的收包中斷分散到不同CPU核上# 查看網(wǎng)卡支持隊列數(shù) ethtool -l eth0 # 開啟多隊列 ethtool -L eth0 combined 4如果網(wǎng)卡不支持多隊列或者跑在虛擬化環(huán)境里可以用RPSReceive Packet Steering讓內(nèi)核把收到的包軟件層分發(fā)到多個CPU核echo ffff /sys/class/net/eth0/queues/rx-0/rps_cpus echo 2 /sys/class/net/eth0/queues/rx-0/rps_flow_cnt這里的ffff是CPU掩碼表示分發(fā)到前16個CPU核。RPS適合小包高并發(fā)的場景大包傳輸場景收益有限。啟用后要用sar -n DEV觀察軟中斷分布是否均勻避免引入新的緩存親和性開銷。5.2 網(wǎng)絡(luò)內(nèi)核參數(shù)圍繞連接生命周期逐項看網(wǎng)絡(luò)相關(guān)的內(nèi)核參數(shù)特別多我這里只列幾個高頻使用且可控性強(qiáng)的按我實際調(diào)整的經(jīng)驗逐項說明參數(shù)作用我的建議net.core.somaxconnlisten隊列上限默認(rèn)128高并發(fā)服務(wù)建議設(shè)4096但要與應(yīng)用層listen backlog匹配net.ipv4.tcp_max_syn_backlogSYN半連接隊列長度抗SYN泛洪時調(diào)大一般8192夠用net.core.netdev_max_backlog協(xié)議棧接收隊列長度網(wǎng)卡突發(fā)流量大時調(diào)大建議8192net.ipv4.ip_local_port_range主動連接可用的臨時端口范圍短連接多的服務(wù)建議擴(kuò)到1024-65535net.core.rmem_max / wmem_maxsocket緩沖區(qū)上限大流量傳輸時影響吞吐可調(diào)大到16MBnet.ipv4.tcp_fin_timeoutFIN_WAIT_2狀態(tài)超時默認(rèn)60秒短連接場景可調(diào)小到30秒給出一段我常用的基礎(chǔ)配置cat /etc/sysctl.conf EOF net.core.somaxconn 4096 net.ipv4.tcp_max_syn_backlog 8192 net.core.netdev_max_backlog 8192 net.ipv4.ip_local_port_range 1024 65535 net.core.rmem_max 16777216 net.core.wmem_max 16777216 net.ipv4.tcp_fin_timeout 30 EOF sysctl -p這些參數(shù)的共性邏輯就一句話把內(nèi)核的瓶頸從“默認(rèn)保守的緩沖區(qū)大小”里釋放出來讓連接建立和傳輸效率匹配上層應(yīng)用的并發(fā)模型。但參數(shù)不是越大越好比如socket緩沖區(qū)調(diào)得過大在長肥網(wǎng)絡(luò)中反而導(dǎo)致延遲不穩(wěn)定。每一個改動都需要壓測驗證。5.3 驗證網(wǎng)絡(luò)優(yōu)化的效果重傳率與連接隊列是關(guān)鍵優(yōu)化完網(wǎng)絡(luò)參數(shù)不要只看帶寬有沒有跑滿更要看連接質(zhì)量指標(biāo)。我常用的驗證命令# 查看網(wǎng)絡(luò)吞吐、丟包、重傳 sar -n DEV,EDEV 1 5 # 查看TCP連接狀態(tài)分布 ss -s # 查看具體重傳統(tǒng)計 netstat -s | grep -i retrans重傳率上升說明網(wǎng)絡(luò)包在鏈路上丟失或者接收緩沖區(qū)太小導(dǎo)致內(nèi)核直接丟棄。如果重傳集中在某一個連接上多半是應(yīng)用層的問題如果全局重傳率都高先檢查網(wǎng)卡丟包統(tǒng)計再檢查socket緩沖區(qū)設(shè)置。網(wǎng)絡(luò)性能優(yōu)化的目標(biāo)不是“參數(shù)拉滿”而是讓重傳率和丟包率降到合理范圍同時延遲穩(wěn)定。6. 常見問題排查實錄與誤區(qū)盤點6.1 場景一load average居高不下但CPU和內(nèi)存都“正?!边@是我在前一家公司遇到的真實問題。某天監(jiān)控報警load average飆到20看top和free一切都很正常CPU usage不高內(nèi)存也充足。用ps排查后發(fā)現(xiàn)了十幾個D狀態(tài)的進(jìn)程全部卡在NFS掛載目錄上原因是網(wǎng)絡(luò)存儲所在的交換機(jī)出了故障。排查D狀態(tài)進(jìn)程還有一個隱藏技巧直接看 /proc/ /stack內(nèi)核棧會顯示進(jìn)程阻塞的內(nèi)核函數(shù)。如果是NFS棧里會有nfs_*相關(guān)的函數(shù)如果是本地磁盤會有ext4或scsi相關(guān)的函數(shù)。這個信息比wchan更精確定位問題的速度快得多。解決問題之后這張服務(wù)器的性能問題徹底消失因為根因壓根不在服務(wù)器本身。6.2 場景二關(guān)閉THP后延遲從抖動變穩(wěn)定某次優(yōu)化一個內(nèi)存分配極其頻繁的服務(wù)壓測時長尾延遲經(jīng)常飆到幾百毫秒P99完全沒法看。用perf分析后發(fā)現(xiàn)大量時間耗在內(nèi)核的頁面規(guī)整邏輯上罪魁禍?zhǔn)渍峭该鞔箜摰淖詣右?guī)整功能。關(guān)閉THP并禁用defrag之后長尾延遲直接降了一個數(shù)量級從最高700多毫秒降到30毫秒以內(nèi)。不過換一臺純計算型任務(wù)的服務(wù)關(guān)閉THP沒有任何可觀測的收益反而因為頁表項變多導(dǎo)致TLB miss增加性能小幅回退。這個案例說明同一個優(yōu)化手段在不同負(fù)載模型下效果可能完全相反移植經(jīng)驗之前一定要先在自己的環(huán)境里做對照實驗。6.3 場景三sysctl改了沒生效或者生效了但副作用明顯sysctl.conf改完一定要sysctl -p重新加載否則配置只在當(dāng)前運行環(huán)境中生效重啟就丟。改/proc下的文件也是同理重啟后需要重新寫入。有一個更隱蔽的坑是容器環(huán)境容器內(nèi)的/proc是只讀掛載內(nèi)核參數(shù)需要在宿主機(jī)上調(diào)整容器里改sysctl要么權(quán)限不足要么改了也影響不到宿主機(jī)。副作用方面我見過最典型的是把vm.min_free_kbytes調(diào)得過高結(jié)果內(nèi)核為保留空閑內(nèi)存提前觸發(fā)了內(nèi)存回收工作導(dǎo)致系統(tǒng)整體性能不升反降。調(diào)參要有度先用sysctl讀取當(dāng)前值再做小步調(diào)整每步都要有指標(biāo)驗證。6.4 實用速查Linux系統(tǒng)性能優(yōu)化關(guān)鍵參數(shù)基線把我這輪優(yōu)化沉淀下來的參數(shù)基線整理成一張表方便大家對照自己的環(huán)境評估優(yōu)化對象核心參數(shù)/操作推薦值注意事項內(nèi)存換出vm.swappiness10不要設(shè)0swap是最后救生圈臟頁回寫vm.dirty_background_ratio / dirty_ratio10 / 20調(diào)大丟數(shù)據(jù)窗口變長大頁transparent_hugepagenever數(shù)據(jù)庫類服務(wù)強(qiáng)烈建議關(guān)閉IO調(diào)度器/sys/block/*/queue/schedulerHDD: deadline, SSD: none別用cfq文件系統(tǒng)掛載選項noatime,relatime日志目錄慎用commit調(diào)大網(wǎng)絡(luò)連接net.core.somaxconn4096應(yīng)用listen backlog要同步改網(wǎng)絡(luò)緩沖區(qū)rmem_max / wmem_max16MB過多加大延遲抖動CPU調(diào)度kernel.sched_*默認(rèn)非必要不調(diào)這套基線不是金科玉律每臺機(jī)器的負(fù)載類型不一樣適用的參數(shù)組合也不同。我每次做優(yōu)化之前都會先把當(dāng)前參數(shù)快照存下來改完一批就做一輪壓測確認(rèn)沒有回退再進(jìn)入下一批。這樣即使出現(xiàn)意外也能快速回滾到上一個穩(wěn)定版本。6.5 一個習(xí)慣每輪優(yōu)化只動一件事最后分享一個讓我少踩很多坑的習(xí)慣每一輪優(yōu)化只改一個子系統(tǒng)里的一個參數(shù)改完留出足夠的觀察和壓測時間再考慮下一個改動。同時改CPU調(diào)度、swap、IO調(diào)度器、網(wǎng)絡(luò)參數(shù)一旦出問題你根本不知道該回滾哪一項。我見過有人一天之內(nèi)改了十幾個內(nèi)核參數(shù)結(jié)果系統(tǒng)性能暴跌最后只能重置一整套系統(tǒng)配置。正確的姿勢是把改動記錄在一張表格里每行寫清楚改了什么、為什么改、預(yù)期收益是什么、壓測結(jié)果如何這既是給自己留的臺賬也是以后做復(fù)盤的第一手資料。這輪Linux系統(tǒng)性能優(yōu)化做完之后我最深的體會是大部分問題在開始動手之前就已經(jīng)注定能不能解決了。把80%的時間花在定位問題上真正調(diào)參數(shù)往往只需要幾分鐘。監(jiān)控工具用好、排查思路理清、每步改動可回滾這三件事做好性能優(yōu)化就沒那么玄乎。希望這篇記錄能讓你少走幾個我走過的彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
好吊丝aV| 五月丁香婷婷基地| 丁香六月色| 99在线免费观看| 碰碰女| 久久99色色| 超级久久久| 91九色国产熟女| 色视频2025| 五月美女婷婷风骚| 97人妻碰碰中文无码久热丝袜| 丁香五月激情综合网激情五月| 中文字幕视频在线播放| 久久66精品| 9热在线视频精品| 91精品综合久久婷婷九色| 五月婷婷丁香啪啪| 色色欧美色色| 亚洲精品亚洲人成人网| 思思 热 99| 久热9| www。五月,com| 啪啪91| 日日舔夜夜操| 国产精品色色色色| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 久久精品婷婷| 激情五月视频在线婷婷| 这里只有精品视频国产| 激情四射婷婷| 九色七七| 色激情五月| 偷偷与邻居做爰完整视频| 久久九九热视频| 亚洲网站在线鸭子av| 丁香五月婷综合| 日本片日本片祼观看网站在线看中文版网页在线看| 人人摸人人澡人人| 99久久久久久www| 五月天a婷婷伊人| 91AV视频| 97婷婷狠狠久久综合9色| 日本婷婷五月天| 色婷婷狠狠| 婷婷深爱五月天在线| 中文字幕av在线| bukadeavzaixian| 日本狠狠干| 天天色丁香| 六月合五月婷| 怡红院视频| 亚洲射激情| 狠狠做五月| 九九色色色| 超色欲天天| 久热无码| 播五月婷婷开心| 中文字幕,综合,91| www色哟哟| 级人人91| 99啪啪网| 婷婷放心五日爱| 91视频精品99| 第二色AⅤ| 精品婷婷五| 色色九九五月天 | 色九月综合网| 色 噜噜 九月 婷婷| 思思re最新视频| 天天日天天插| 一本色道久久综合狠狠躁一二三 | 中国女人内射6XXXXX| 五月激情六月综合| 亚洲乱码日产精品BD| 欧美成人AAA片一区国产精品| 国产色色视频| 婷婷香蕉精品| 精品在线网站| 色播五月丁香综合| 色婷婷狠狠| 五月婷婷天天| 日本久久网| 婷婷99狠狠| 六月丁香啪啪| 欧美婷婷精品激| 99热碰碰| 亚洲99激情| www.狠狠干| 丁香五月激情六月综合| 91丨九色丨丰满人妖| 婷婷激情九月| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月天开心色色网| 青青草轻轻操| www99热| 丁香五月天堂网| AV中文网| 综合久久99| 思思99热在线| 91色吧网| 艹B高清无码| 婷婷色基地在线看 | 高清无码网址| 香蕉AV777XXX色综合一区| 麻豆观看夏晴子| 熟美女麻豆| 伊九九三级区| 丁香六月婷婷综合在线| 狠狠操狠狠| 欧美怡红院黄站| 日本97久久久精品| 久99热| av在线中文| 99这里都是精品| 人妻视频一区而且二区| 色婷婷丁香六月| 99精品在线下载| 九九这里只有精品| 免费在线观看av网站| 色欧美影院| 嫩草AV久久伊人妇女超级A| 五月丁香亚洲综合网| 夜夜夜夜夜骑撸| 91狠狠综合久久久| 五月天最新网| 性生生活大片又黄又| 国产成人AV在线播放| 五月丁香激情五月天| 免费观看欧美成人AA片爱我多深 | 思思热在线观看| 国产又爽又猛又粗的视频A片| 99精品国产在热久久婷婷| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 狠狠狠夜夜夜| 天天综合区| 五月婷婷久久久| 久久网站观看免费欧洲国产| 丁香五月色| 五六月婷婷久久| 天天做天天爱天天爽夜夜揉| 五月婷中文字幕| 九月婷婷在线视频| 婷婷六月激情丁香| 成人国产欧美大片一区| 久1色色| 亚洲成人网站在线播放| 九九人人看| 99久久思思| 久久婷婷成人综合色怡春院| www久久久| 五月婷婷啪啪啪| 丁香五月婷婷激情四射深爱激情| www.色婷婷| 婷婷九九视频| 99日在线视频| 99性视频| 免费做A爰片77777| 26uuuavcom| 综合婷婷| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 五月丁香婷婷色| 91九色PORNY中文啦| 97色伦另类图片小说视频| 色五月激情综合网| va婷婷在线| 色999;丁香五月| 久久精品4| 丁香五月天社区| 91啪啪啪啪| 色综合色综合色综合| 日韩一本操| 99九九精品视频| 色播丁香婷婷五月激情| 久久精品99久久久久久| 久久丁香五月天| 99热这里只有精品99| 丁香五月婷婷黑人妻黄色电影院| 天天干电影| 99开心五月五月丁香激情| 丁香六月色婷婷| 日韩一级A片黄色| 五月丁香综合| 天天干,天天舔| 99热精品在线| 激情综合五月天| ji'qing'luan'ren'lun| 日本色超碰| 思思热国产在线| 综合六月久久| www999日韩精品| 婷婷激情综合网| 色九月婷婷| 色。 日日日| 欧美日本免费一道免费视频 | 骚货艹网站视频| 亚洲人成播放网站| 亚洲综合色色色| 国产色色网站网址| 激情五月丁香五月综合| 丁香婷婷六月天| 婷婷五月色播网| 99精品偷自拍| 热99在线精品| 人妻videos人妻高清| 九色婷婷| 天天日综合| 手机旧版看人妻1025| 天天日,天天干,天天操| 婷婷激情五月天视频在线| 91九色欧美| 伊人激情影院| 婷婷爱五月天| 婷婷丁香五月六月激情| 色噜噜狠狠色综合日日| 五月天婷婷色综合| 99热亚洲| 丁香婷婷色色| Www.狠狠| 99在线视频在线观看| 日日操夜夜操中国无码| 免费无码毛片一区二区A片| 美国色五月天婷婷资源站| 亚洲另类电影| 九九久久精品國產| 激情五月丁香五月色| 5月婷婷五月天| 欧美在线操| 日欧一片内射VA在线影院| 婷婷深爱五月天| 91色综合| 国产激情在线| 婷婷激情五月天桃花网| 国产肥白大熟妇BBBB视频| 天天天操天天天日| 五月天自拍视频| 久久久久久97| 久久婷综合网| AV中文字幕夜夜操b天天摸bb| 丁香六月婷婷久久综合| 国产激情AV| 五月综合色播播丁香婷婷| 久久婷婷东京热大香樵| 超碰人人操人人干| 182TV大香蕉| 黄色片久久| 婷婷丁香五月色| 中美日韩成人在线| 色五月色五天色情网址| 久久xxxx| 亚洲99在线| 日韩精品999| 一本色道久久88综合日韩精品| 91精品综合久久久久久五月丁香| 一區四區歐美日韓| 狠狠干狠狠色| 99热国产婷婷| 好叼操在线观看| 99精品热| 欧美色九| 亚洲国产精品综合色区| 丁香五月图片| 婷婷激情四射网| 午夜69成人做爰视频| 婷婷综合一二三| 26UUU精品一区二区c〇m| 网色99| 深爱激情五月天| 99re鈥哸鈥唙| 色性日本| 思思热再线视频| 久久久999精品| 97干资源在线观看| 亚洲黄色网址| 久久精品A片777777| 超碰九色| 五月激情综合网| 思思热AV| 日逼免费视频| 久久久久人无码人妻| 婷婷操久久| 亚洲无码性爱| 影音先锋五月婷婷| 天天色中文字幕女优AV| 国产成人AV| 亚洲精品亚洲人成人网| 婷婷涩五月| 色99网| 久热视频这里只有精品68| 玖玖在线视频| 婷婷五月深情丁香深爱日韩| 99热精品观看| 99久re热| 99ri在线播放| 激情五月色婷婷| 91在线看片| 五月J香蕉婷婷| 免费无码毛片一区二区A片| 丁香五月天啪啪| 日本成人噜噜噜| 丁香五月五月婷婷五月天激情四射| 五月婷婷另类| 丁香六月婷婷综情欧美| 色狠狠激情五月| 99综合| 日本三级黄色大片| 玖玖爱综合网| 日本色道视频网站| 婷色成人| 婷婷五月天在婷| 九月婷婷丁香| 色婷婷六月天在线| 婷婷丁香色情五月天| 亚洲va欧美va国产综合久久久| 色综合久久伊伊婷婷五月| yazhou seshipin| 色色色在线免费视频| 色五月久久成人婷婷| 26uuu色噜噜精品一区| 丁香五月天欧洲在线| 99re66热这里只有精品| 66久久视频在线| 久久性爱网站| 婷婷五月天开心网| 色偷偷五月天| 久久激情视频| 国产精品99久久久久久久女警 | 影音先锋偷偷色男人站| 日日噜狠狠| 99狠狠| 亚洲激情综| 五月婷在线观看| 久久激情视频99| 色播播之激情五月婷婷| 亚洲激情97五月天| 夜夜 操无码| 99热在这里只有精品| 五月婷丁香| 九九九九精品精| 日韩成人精品中文字幕电影| 激情丁香久久| 亚洲国产婷婷色五月 | 五月色综合网| www.五月天婷婷| 91久久久久久| www.99热精品99.com| 久久99网址| 玖玖爱综合网| 天天操夜夜爽| 五月香婷婷| 中文中文在线| 91丨人妻丨国产丨丝袜| 五月婷婷黄色| 丁香五月在线| 99热这里只有精品1| 99综合| 99情色五月天| 婷香五月网在线| 久久99热免费| 天天爽天天爽| 99精品视频在线观看| 久久综合站| 久艹伊| 大香蕉手机视频| 亚洲婷婷五月天激情综合| 五月丁香影视| 国产精品久久久久9999小说| 99色热视频| 色情播放| 伊人狠狠丁香婷婷综合尤物| 影音 五月 婷婷 久久| 色约约视频一区二区三区四区五区 | 日本色色网站| 综合色图婷婷| 99这里只有精品视频免费| 五月婷婷视频28| 久久久久久9| 丁香五月婷婷激情四射深爱激情| 99热自拍| 天天做天天爱天天爽| 俺也去色| 97久久超碰| 天天天天色天天天天天干| 久久婷婷久久| 激情婷婷。| 9999久久久久| 亚洲黄色精品| 十月色综合| 五月天大香蕉| 久久这里精彩免费在线观看| 96丁香六月婷婷蜜桃综合久久| 97色碰| 色私五月婷婷| 99热6精品| 国产又粗又大又爽又黄| 99 r热| 久久久人妻| 欧美综合激情| 天色综合网站| 九九黄色网| www.久久久.com| 色情五月婷婷| 婷婷婷五月香蕉| A√天堂网在线| 丁香五月性| 99色| 新激情五月天天在线网| 色色五月激情| 婷婷五月天在线一区| 影音先锋高清无码资源网| 丁香五月AV| 五月丁香婷婷成人综合网| 国产欧美精品AAAAAA片| 色五月婷婷婷婷婷婷婷婷婷婷| 婷婷五月天激情在线| 久久五月婷6 9| 五月婷婷久久综合| 99视频内射三四| 婷婷五月色综合| 天天日日夜夜爽。| 99热97美女| 洗浴中心操B视频| 96丁香婷婷九月蜜桃综合久久| 婷婷色五月天第7色| 五月丁香激情综合网| 日韩99视频| 丁香六月婷婷综合缴| 成人精品免费在线观看| 日日爱699| 99丁香婷婷综合网| 五月天精品视频| 婷婷激情97| 五月丁花六月丁香综合| 人人插9| 类似婷婷激情综合网站| 91凹凸在线| AV色婷婷| 色欲av伊人久久大香线蕉影院 | 激情99在线视频| 97人人操人人插| 激情婷婷五月女| 九九热最新| 色99视| 色一情一乱一伦一区二区三区| 77799热| JAPANRCEP老熟妇乱子伦视频 | 曰曰久久| 婷婷五月丁香基地在线视频官网| www色色com| 美女天天艹人人爽| 天天日天天爽| 五月婷婷亞洲中文| 久久香蕉福利| 99热免费| 五月综合激情视频在线| 日本在线视频www色| 婷婷五月在线视频| 丁香五月激情视频在线| 一起草av在线观看| 思思久久99| 极品 少妇 内射| 操99| 九九热视| 欧美色色色| 91久操| 开心五月丁香综合久久| 综合精品啪啪| 天天日天天摸| 五月婷婷基地| 久久性操| 五月桃花网综合| 九九热精品视频在线观看| 久久激情视频| 夜色热久| 亚洲午夜电影| 秋霞电影理论| 五月婷在线影院| 婷婷五月天小说| 伍月婷丁香花全集| 任我肏| 国产AV一区二区三区日韩| 五月天啪啪啪| 精品国产va久| 人人插9| 色吧综合网| 五月天另类图片| 色婷婷视频| 狠狠色综合五月人人| 色色综合激情| 五月婷六月天| 99er这里只有精品| 中文在线成人| 乱乱av| PORNY九色9l自拍视频成人| 色九月激情综合网| 婷婷无码视频| 69精品无码一区二区三区| 天天爱天天操| 欧美五月丁香| xxx综合在线| 9 1大香蕉| 91超级碰碰| 天天综合精品| 色婷婷丁香香香蕉视频| 五月天快乐开心激情网| 五月色丁香| 五月激情婷婷偷拍| 久久免费精彩视频| 色香欲综合| 婷婷五月开心中文字幕色| 夜夜大香蕉婷婷丁香| 婷婷最新地址| 五月激情在线| 色五月六月| 日本色五月| 五月丁香色婷婷基地| 婷婷色色五月天| 久久婷鲁| 婷婷丁香无码专区| 97啪啪| 91碰碰视频| 操一操| 九热在线这里有精品6| 97干免费视频| 久久久九九九 99| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | AⅤ网站在线看| 狠狠综合网| 狠狠爱五月婷婷| 婷婷激情五月天视频在线| 掩去也综合五月视频| 色色九九五月天 | 婷婷在线免费| 五月丁香另类网| 丁香狠狠| 中文无码婷婷| 国产色网站| 综合九九久久| 久久婷婷东京热大香樵| 色色色色色日韩午夜激情 | 六月丁香婷婷五月| www.婷婷网| 精品久久9| 久一网站| 97极品在线| 免费操超碰| 中文字幕高清av| www五月婷婷88导航| www.久久久久| 国产精品人成A片一区二区| 天天搡日日搡aaaaⅩ| 婷婷丁香五月综合免费视频百花| 亚洲激情另类| 久久久精品AV| 色婷婷影视| 五月丁香婷婷成人网| 色色色色网站| 狠狠色大香蕉| 国产激情久久久| 五月综合无码| 无码人妻AV久久久一区二区三区| 中文字幕有多少字| 婷婷综合在线网| 超碰妻人人| 精品夜夜澡人妻无码AV| www.91五月| 九九视频在线观看视频在线播放69| 欧美日韩一区二区三区四区| 九月丁香八月婷婷久久综合久97| 久久99久久99精品免观看粉| 五月婷婷六月丁香免费| 丁香五月激情婷婷激情| 超碰AAAAAAV| 丁香六月婷婷姐网| 99热只有这里才是精品| 噜噜狠狠色| 色婷婷婷婷五月天| 99精品久久久| 国产精品人成A片一区二区| www久久久久久久久久久| 五月色情精品| 超碰成人av| 在线网黄| 五月丁香六月婷婷免费| 亚洲色情在线| 色色色欧美| 五月丁香久久| 狠狠狠狠青草| 久久丁香五月天| 六月丁香婷婷天堂| 婷婷五月色播| JAPANRCEP老熟妇乱子伦视频 | 青草五月天| 天堂成人A片永久免费网站| 五月天婷婷狂暴白浆| 色99免费视频中文| 丁香色情五月天| 26uu| 噜噜噜久久| 婷婷伊人綜合中文字幕| 丁香社92视频| 激情小说婷婷小说| 这里只有精品免费视频| 天天干天天拍| 色99免费视频中文| 五月丁香亭亭成人电影| 79色色色色| 啪啪激情综合| 婷婷五月丁香激情| 久99久视频| 婷婷五月天论坛| 精品人妻在线| 青青草伊人婷婷| 综合99综合久久久久久久| 婷婷五月激情四月综合| 婷婷久久色| 天天干天天做| 色九九九九| 免费视频舔| 99色视频在线| 69超碰在线| 丁香五月九九| 婷婷激情蜜桃玖玖丁香| 99熟女| 超碰69天堂| 婷香五月网在线| 草综合14| 色欲av伊人久久大香线蕉影院| 激情网站综合五月天| 天天操中文字幕| 91se精品国产| 婷婷丁香六月五月天| 综合网激情| 综合色色五月| 免费精品66| 国产在线黄色| 五月婷婷很很色| sesesesezonghe| 婷婷五月天电影区小说区| 色婷婷电影网| 丁香五月电影| 九九热视频在线观看| 大地9中文在线观看免费高清| 91久久九色| 九九久久综合网站| 99在线精品免费视频| 亚洲无码播放| 26uuu另类亚洲欧美日本一| 91狠狠色丁香婷婷综合久久| 中文字幕黄色片| 久久人妻人人| 五月色情婷婷| 五月网网站| 九九性视频| 90色免费视频| 天天在线久久综合 | 啪啪啪啪五月天| 狠狠色狠狠操| 99re99在线看| 久久久婷婷婷| 日韩综合网络男女香蕉a片| 天天天天干| www.99免费视频| 草逼大片| 人人97操| 久色视频| 欧美大道不卡| 久久精品系列| 大香蕉综合视频在线| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 丁香色色色| YJLZZJLZZ亚洲乱熟无码| 99碰视频| 丁香色六月婷婷| 久99精品视频| 色停停五月,在线观看| 婷婷五月丁香激情图片| 色五月婷婷小说亚洲中文字幕组| 亚洲精品无码A片一区二区| 精品久色| 狠狠干婷婷| 色婷婷婷av| 91狠狠色丁香婷婷综合久久| 99热色无码| 成人精品在线| 丁香五月综合| 国产在这里只有精品| 亚洲性天天| 国产精品人成A片一区二区| 色久婷婷网| 深爱五月天| 欧洲综合视频| 婷婷五月天久久久| 亚洲热综合网在线观看| 在线日本www| 丁五月激情视频免费| 亚洲激情五月| 五月开心网| 天天插天天射天天干| 五月天婷婷伊人| 9久国产| 开心五月网 | 五月情涩综合婷婷| 操b视频在线观看一区二区| 激情激情激情网| 青青草99re| 亚洲五月丁香六月婷婷| 激情五月天丁香| 被强行糟蹋的女人A片| 色五月综合婷婷| 人人插9| 五月丁香在线| 99色在线观看视频| 亚州操操| 99视频| 亚洲激情婷婷| 婷婷香香五月| 狠狠色噜噜狠狠狠777奇米| 老司机日日夜夜青草| 九九AV在线| 婷婷伊人綜合中文字幕| 99亚洲色色| 亚洲不卡| 婷婷五月天 丁香五月天 裸体| 激情五月五月婷婷| 午夜免费试看| 五月激情四射网站| 五月丁香婷婷综合网| 噜噜噜色噜噜| 天堂五月婷婷| 国产欧美精品AAAAAA片| 九九在线精品| 《诡秘之主》在线观看| 久久久9久| av色色国产| 六月丁香社区| AA丁香综合激情| 玖玖九九9999在线观看视频精品| 青青草五月天| www.夜夜操| 人人射av| 中文精品在| 思思干精品| 日本婷婷| 在线视频99| 俺去也在线官网| 色色色999| 99色在线视频| 熟女乱论网| 五月丁香综合影院| 欧美五月丁香在线观看| 婷婷五月色影视先锋| 中日韩美欧成人一区二区精品在线| 日韩在线视频网站| 九九无码视屏| 欧美天天干五月丁香| 99福利导航| 亚洲在线网站| 色色日本| 特级片神马电影| 婷婷五月在线视频| 免费黄色AV| 天天操夜夜橾| 日韩久久这里只有精品| 伦乱美欧| 中文字幕欧美精品久久| 精品久热| 伊人99热| 婷婷五月综激情| 操日挥操日日| 婷婷成人丁香色情基地30| 国产精品大香蕉| 久久色五月| 成人片在线免费看| 色九月丁香婷婷蜜桃在线观看| 伊人激情影院| 九九色热| 五月婷婷丁香综合| 性热视频99精品| 婷婷五月激情视频在线| 激情网婷婷婷| 就爱射中文字幕资源网| 色。 日日日| 激情婷婷综合| 99热这里只有精品在线免费| 五月天开心色情网| 91丨九色丨白浆秘| 婷婷综合九月| 99久久精品亚洲综合| 6 9式性爱视频在线播放| 激情综合网激情五月俺也去| 无码 av电影| 97很鲁在线视频| 无码免费人妻A片AAA毛片西瓜| 色色色色色色色色综合网| 激情99| 九九热精品在线| 亚洲五月情| 丁香六月婷婷综合在线| 99热精这里只有精品| 欧美丁香六月激情视频| 婷婷色日本| 婷婷丁香五月噜噜噜| 南京搡BBBB搡BBBB| 热久久视频99| 婷婷丁香五月综合激情视频| 久久人妻伦理| 狠狠操狠狠插| 91人妻人人做人碰人人爽九色| 日本久久综合| 99色色视频| 无码日本精品XXXXXXXXX| 国产成人精品一区二三区熟女在线| 丁香五月天啪啪| 五月丁香激情综合| 96精品成人无码A片观看金桔| 日韩精品无码一区二区| 色99视频| 超碰婷婷五月| 欧美日韩国产日本精品四虎网网站物| 天堂爱啪啪| 任你爽免费视频| 五月丁香久久精品在线观看| 国产夫妻操逼内射视频| 精品综合五月| 中文字幕 久久9999| 天天激情| 超碰男人色| 91操人| 最近中文字幕大全免费版在线| 老师的粉嫩小又紧水又多A片视频| 国产高清av黄色看片| 婷婷在线中文字幕| 五月婷婷色色网址| 丁香大香蕉| 99在线观看免费精品视频| 五月婷婷婷婷婷婷艺术| 五月婷婷综合在线视频小说| www,超碰| 婷婷激情四射| 丁香操逼| 欧美 日韩 成人在线| A一级操| 五月天影院| 九九亚洲综合| 日韩无码色色| 狠狠婷婷综合| 婷婷丁香花五月天| 婷婷六月中文字幕| 亚洲九九视频| 操逼视频一区| 久久五月丁香伊人青草| 色女伊人| 五月婷综合| 天堂呦 呦百度搜索-百度搜索| 国产精品99久久久久久久女警| 微拍92| 妇激情基地| 色婷婷五月影视| 色永久| 九月丁香亭亭| 最近韩国日本免费高清观看| 91趴趴| 狠狠色五月激情| 激情亚洲五月| www.久久久久久久| 任你躁XXXXX麻豆精品| 超碰在线94| 五月丁香美女| 狠狠色成人影片| 久热欧美| 久热精彩视频98| 99热99成人| 欧美日韩一区二区三区四区| 色色网站| 性色五月天| 色99色| 婷婷丁香成人色综合| 欧美三级视频| www.粉嫩av.com| 亚洲婷婷欧美婷婷| 来吧亚洲综合网| 激情五月天色色| 五月视频日本免费观看| 丁香婷婷色情| 久久您您综合网| 97色欧美| 婷婷十月激情综合网| 亚洲五月天激情| 97色热| 激情丁香六月| 五月天色影院| 操人精品| 我要看激情五月天| 久热伊人| 中文字幕,综合,91| 亚洲色婷婷五月| 色色国产| 超碰在线观看99| 九九精品免费| 超碰妻人人| 成人色情五月天婷婷丁香| 色噜噜综合网| 日韩精品超碰在线观看| jiqingliuyuetian| 精品香蕉99久久久久网站| 国产人妻操逼| 另类精品视频在线观看| 9999热在线观看| 丁香五月婷婷激情中文| 日韩色色色色| 六月丁香激情最新更新| 色五月天丁香| AV大片在线观看| 五月丁香久久丝袜啪啪| 国产做A爰片毛片A片美国| 国产在线黄色| 国产三级片91| 色综合偷拍| 五月开心激情| 在线色婷婷| 狠狠色综合五月| 高清资源站日A美A欧亚…| 久色网| 色99网| 99色干| 久久久8| 久久精品视频99| 啪啪综合| 女婷久久| 99色亚洲| 色婷婷婷婷| 超碰大香蕉网| 91久久综合亚洲噜噜成人在线| 六月婷婷色| 色五月色五天色情网址| 欧美成人性爱网| 超碰激情五月| 五月天国产| 天天se在线视频| 五月天婷婷操逼视频| 9有码中文| 97热视频| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 第一区久久网站| 中国女人内射6XXXXX| Va另类视频| 香港九九六区八区99| 亚洲天天综合| 亚洲成Av人片乱码色第1集| 91婷婷五月天嫩女| 日韩av在线免费观看| 97中文在线| 亚洲综合99| 激情五月综合| 天天做综合网色综合| 色呦精品| 狠狠另类视频| 中文字幕视频在线播放| 第四色色六月色综合| 99热99色| 色激情五月| 激情小说 五月天| 日本丁香五月婷婷| 天天肏天天肏天天肏| 婷婷91视频| 26uuu| 五月天久久网站| 六月婷婷九月丁香亚洲综合| 综合婷婷| 欧美噜噜免费观看| 99碰视频| 丁香婷婷色色| 超碰天堂网| 九九亚洲| 精品无码99| 五月综合婷婷开心网| 婷婷性爱五月天丁香网| 人妻熟人中文字幕一区二区| 中文字幕日本最新乱码视频| 99热在线观看| 99久久综合网| 538午夜激情| 一起草AV入口| 99精品网| 综合激情五月丁香9999久久精| 99热在线观看成人| 9久久久久| 五月丁香婷婷色| 丁香五月天成人| 99re热在线观看| 亚洲视频色色| 日本欧美999久久久三级片| 99性视频| 婷婷五月天激情五月天| 99人妻碰碰碰久久久久禁片| 天天干天天干天天| 激情五月天影院| 五月丁香网av| 丁香五月综合网| 久久多色| 婷婷五月天综合中文| 大香蕉久艹| 五月开心播播网| 婷婷激情在线| 天天综合天天玩夜夜玩天天玩夜夜玩 | 五月婷婷色| 丁香婷婷五月综合| 五月天激情婷婷五月天久久| 婷婷久久伊人| 日韩人妻AV在线| 久久xx| 天天插天天干| 丁香五月欧美色综合| 性爱先锋AV| 欧美日韩五月婷婷| 变态 另类 在线 | 一区二区免费看| 91色综合网站在线| 人人摸人人| 综合网啪| 99热这里只有在线| 77799热| 久久精品五月天| 67194线路二在线观看| 六月激情婷婷| 久久精品系列| 亚洲亚洲亚洲AAAAAA| 午夜爱爱爱成人| 综合狠狠伊人| 色色五月丁香婷婷综合| 国产精品第一国产精品| 色色色com| 亚洲综合五月天| 国精产品一区二区三区| 无码G高清天| 97人人超| 日本久久视频| 丁香六月婷婷久久亚洲天堂| 五月婷婷电影院| 丁香五月激情网| 色一情一乱一乱一区91Av| 狠狠操天天干| 六月丁香VA| 精品成人无码A片观看香草视频| 四虎成人精品永久免费AV九九| 色五月欧美| 丁香五夜激情四射夜夜夜| 色色999三级片| 日韩av一区二区在线/日产精品久久久 | 五月天久久网站| 人人叉久| 五月婷久久综合| 国产又爽又猛又粗的视频A片| 日韩综合久久| 丁香五月天.com| 欧美色宗和激情| 久久久久婷| 久久婷网| 激情第四色| 色五月涩涩婷婷| 六月激情久久| 天天干天天干天天干天天干天天干| 五月天婷婷中文字幕在线播放| 色久免费| 五月天在线视频尤物视频在线看| 亚洲激情区| 99色在线观看| 色婷婷狠狠干芒果TV| 热99只有里视频| 夜夜爽天天干| 激情五月婷婷五月丁香五月开心五月| 婷婷深爱五月丁香| 色五月综合| 99免费热视频在线| 丁香五月色| 丁香五月婷婷色情综合| 中文字幕AV在线| 久色| 99九九久久| 婷婷97狠狠成人网站| 亚洲亚洲人成综合网络| www五月| 黄桃AV无码免费一区二区三区| 狠狠干婷婷| 免费看成人AA片无码视频吃奶| 亚洲九N| 丁香八月综合激情| 黄色99热| 丁香五月色色| 五月花综合网| 亚洲 五月 婷婷 成人| 婷婷五月天综合激情| www.97视频| 激情五月深爱婷婷| 在线观看亚洲视频影院| 色啪网| 五月色综合网| 色99在线视频| 亚洲精品第一色色色色色色| 99国产视频网| 99久久99久久综合| 九九超日本| 一起草av| 色五月婷婷久久| 激情婷婷五月久久| 99久免费视频| 99这里| 丁香五月婷久久| 亚洲激情亚洲激情| 9精品国产在热久久| 99热最新| 俺去也五月天婷婷| 久热黄色| 天天综合天综合久久网| 五月综合无码| 丁香五月婷婷亚洲综合精品在线| 婷婷五月综合色拍| 国产精品成人网站| 中文字幕综合色| 婷婷五月丁香五月天| 成人超碰AV| 丁香五月天啪啪| 99.N在线视频| www.91色| 成人中文网| 五月丁香人妻| 久久婷婷青草五月天| 天天碰夜夜爽| 激情亚洲网| 91九色 熟| 人人干99| WWW.99热| 亚洲中文字幕av| 婷婷最新地址| 丁香六月婷| 天天干肏夜夜| 丁香五月色网| 风流少妇A片一区二区蜜桃 | 日本少妇裸体做爰高潮片| 丁香五月婷婷综合91| 热的国产,热的综合,热的有码| 99国产在线| 99热这里只有精| 99久久精彩视频| 99色热视频| 日韩久久色| 丁香五月色激情| 天天五月丁香五月| 情久久综合五月天| 天天干天天插| 亚洲成人网址在线观看| 99视频这里只有免费精品| 99热超| 黄久久久| 免费播放99性爱视频| 人妻AV在线| 天天肏天天肏| 六月丁香深深爱| 九九色色| 亚洲成人中文字幕| 日韩久久这里只有精品| 九九视频这里只有精品| 狠狠久久婷| 婷婷在线五月天观看| 五月丁香操亭亭网| 这里只有精品视频| 色五月婷婷操逼| 思思热精品在线观看| 色婷婷五月天| 亚洲色色色色色| 久久在线大香蕉| 色五月开心久久网| 天天综合五月| 九九热视频在线观看| 91人人超碰在线| 五月丁香激情综合久久| 五月丁香综合| 日本久久网| 情色五月天网站| 婷婷五月丁香综合桃花色网| 综合深爱五月| 免费观看欧美成人AA片爱我多深| 五月婷婷综合激情网| 色五月av| 亭亭玉月丁香| 色五月婷婷内射| 色色欧美。| 五月天a婷婷伊人| 五月婷婷成人| 天天久久人人| 九色PORNY自拍成人精彩视频| 亚洲视频1区| 丁香美女主播视频在线观看| 91 影音先锋| 欧亚洲在线高清视频| 91碰| 91色综合| 狠狠久久婷五月| 婷婷五月天堂| 丁香五月综合激情性爱| 六月丁香婷婷综合影院| 丁香婷婷激情五月色| 亚洲激情综合| 色五月激情问网站| 五月丁香六月| 五月婷婷久久激情| 五月丁香啪| 色婷婷综合五月| 亚洲激情四射色| 婷婷娱乐丁香综合网| 精品热九九| 激情五月色综合| se色婷婷视频| 色综合xx| 欧美A级成人婬片免费看理论| 久久久久妻| 丁香五月天堂| 久久狠色噜噜狠狠狠狠97| 97在线精品| 人人草成人视频| 久久综合九九| 99热这里有精品2| 99热爆在线| 一级操逼内射在线视频| 一起草aV| 六月婷婷五月丁香| 久操婷婷| 极品少妇XXXX精品少妇偷拍| 色五月激情五月丁香五月婷婷啪啪综合| 国产午夜伦鲁鲁| 欧洲第一久色| 91主播在线| 五月婷六月| 日本久久婷| 丁香激情网| 久热视频这里只有精品68| 久久九九囯产| 久99久视频| 3pAV| 99婷五月| 色婷婷狠狠| 亚洲性视频| 婷婷丁香五月综合| 丁香五月天激情综合网| AVV黄| 特黄三级片| 婷婷丁香五月天色区| 亚洲成人av在线观看| 色婷婷五月综合在线| 丁香六月天AV| 国产一区二区av免费| 人人操AV| 五月天婷婷xxx| 2018国产大陆天天弄| 六月丁香VA| 亚洲人妻电影| 噜噜五月天综合| 五月天激情子轮| 99热狠狠操| 99这里只有精品视频| 五月婷婷五月天亚洲无码| 丁香五月综合久久综合| 丁香久久| 这里只有精品视频一区| aa久久| 五月丁香五月婷婷|