欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

嵌入式Linux性能瓶頸排查與優(yōu)化:CPU、內(nèi)存、I/O與啟動時間全攻略

嵌入式Linux性能瓶頸排查與優(yōu)化:CPU、內(nèi)存、I/O與啟動時間全攻略 做嵌入式Linux開發(fā)這些年我踩過最多的坑不是功能實(shí)現(xiàn)不了而是板子跑起來了、功能也都能用但一到真機(jī)驗(yàn)證、量產(chǎn)階段各種性能問題就像洪水一樣涌出來。你盯著串口日志想定位問題結(jié)果日志本身就是瓶頸之一你以為是應(yīng)用代碼寫得爛查了一圈發(fā)現(xiàn)是內(nèi)核配置的問題你把優(yōu)化一通操作拉滿又發(fā)現(xiàn)啟動時間暴漲。這種“按下葫蘆浮起瓢”的體驗(yàn)凡是搞過Embedded Linux的人應(yīng)該都不陌生。這篇文章我就結(jié)合自己的實(shí)際經(jīng)歷把嵌入式Linux方案里常見的Performance Bottlenecks系統(tǒng)性地梳理一遍覆蓋CPU、內(nèi)存、I/O、啟動時間這幾個重災(zāi)區(qū)每個點(diǎn)都會給出排查工具、定位思路和實(shí)際優(yōu)化案例。無論你是剛?cè)胄械那度胧焦こ處熯€是被線上問題折磨已久的“老油條”這篇文章都值得你花十分鐘讀完至少能少走幾個月的彎路。1. 內(nèi)容整體設(shè)計與思路拆解1.1 嵌入式性能問題的特殊性在講具體瓶頸之前我想先聊一個認(rèn)知層面的問題嵌入式Linux的性能優(yōu)化和普通服務(wù)器端的性能調(diào)優(yōu)本質(zhì)上是兩碼事。服務(wù)器端資源相對充裕遇到瓶頸通??梢钥慷延布鉀Q——加CPU、加內(nèi)存、換SSD產(chǎn)品經(jīng)理那邊也好交代。但嵌入式方案是資源受限的CPU主頻固定、內(nèi)存焊死在板上、存儲用的是eMMC或者NAND Flash連電源余量都是按最低配置設(shè)計的。這意味著你必須在有限的資源內(nèi)把性能摳出來每一個微秒、每一兆內(nèi)存都可能有價值。還有一個更讓人頭疼的地方嵌入式系統(tǒng)通常有實(shí)時性要求。我的一個項(xiàng)目里主控CPU要同時處理HMI渲染、通信協(xié)議棧和運(yùn)動控制算法。HMI渲染被卡頓可以忍一下但運(yùn)動控制如果延遲抖動超過幾個毫秒設(shè)備直接就出安全問題了。這種“非實(shí)時任務(wù)拖垮實(shí)時任務(wù)”的場景在嵌入式Linux里非常典型。所以在排查嵌入式性能問題的時候不能只看平均負(fù)載更要關(guān)注“最壞情況延遲”和“尾部延遲”。有時候系統(tǒng)的平均CPU使用率只有60%但某個中斷響應(yīng)延遲已經(jīng)飆到幾十毫秒了。這種問題不通過專門的手段是根本看不出來的。1.2 性能優(yōu)化的核心思路先測量再優(yōu)化很多新手上來就喜歡“感覺哪里慢就優(yōu)化哪里”比如覺得系統(tǒng)卡是CPU頻率不夠直接把CPU調(diào)到最高頻結(jié)果電池掉電飛快、板子燙得能煎雞蛋問題卻沒解決。這是我見過最多的一種錯誤。正確的思路永遠(yuǎn)只有一個先量化再定位最后優(yōu)化。所謂量化就是把性能問題變成可測量的數(shù)值。系統(tǒng)啟動花了多長時間某個中斷響應(yīng)延遲是多少關(guān)鍵線程的調(diào)度延遲分布長什么樣內(nèi)存最高占用是多少只有把這些指標(biāo)量化了你才知道問題到底有多嚴(yán)重、優(yōu)化有沒有效果。接下來是定位。這一步需要借助工具鏈把瓶頸從“系統(tǒng)很卡”這種模糊的描述收斂到“某個進(jìn)程在某段時間內(nèi)發(fā)起了大量系統(tǒng)調(diào)用導(dǎo)致CPU占用飆升”這種精確的結(jié)論。perf、ftrace、strace這些工具在后面的章節(jié)我會詳細(xì)講怎么用。最后才是優(yōu)化。優(yōu)化手段從高到低有幾個層次算法優(yōu)化、架構(gòu)優(yōu)化、內(nèi)核配置優(yōu)化、硬件資源重新分配。最優(yōu)的方式是直接改應(yīng)用代碼因?yàn)椴挥|碰系統(tǒng)層、風(fēng)險最小但如果瓶頸在內(nèi)核或者配置層該改還是要改只是改動前必須在測試環(huán)境充分驗(yàn)證。我個人的習(xí)慣是同一個性能問題至少要量化兩次——優(yōu)化前一次優(yōu)化后一次。兩次數(shù)據(jù)對比才能確認(rèn)優(yōu)化真的生效了而不是“感覺變好了”。這個習(xí)慣幫我避免了很多次“白忙活”的尷尬。1.3 影響性能的關(guān)鍵維度劃分從工程實(shí)踐的角度我會把嵌入式Linux的性能瓶頸分成四大類CPU類瓶頸運(yùn)算能力不足、調(diào)度延遲過高、中斷風(fēng)暴、鎖競爭嚴(yán)重等。內(nèi)存類瓶頸物理內(nèi)存不足、內(nèi)存碎片化、分配延遲過高、swap抖動等。I/O類瓶頸閃存讀寫速度慢、文件系統(tǒng)日志開銷大、塊設(shè)備調(diào)度不均衡等。啟動類瓶頸內(nèi)核解壓耗時、initramfs加載慢、用戶態(tài)服務(wù)初始化串行化等。這四類問題在實(shí)際項(xiàng)目中很少單獨(dú)出現(xiàn)往往是互相牽制的。比如頻繁的I/O操作會拉高CPU占用內(nèi)存不足會導(dǎo)致OOM觸發(fā)、進(jìn)而引發(fā)I/O風(fēng)暴。所以排查的時候要有一個大局觀不能只盯著一項(xiàng)指標(biāo)看。還有一個維度經(jīng)常被忽略就是構(gòu)建與部署配置。同樣是代碼編譯優(yōu)化等級選-Os還是-O2跑起來性能差別不小內(nèi)核裁剪不當(dāng)沒用的驅(qū)動和子系統(tǒng)占著內(nèi)存、耗著電這些都屬于“隱形瓶頸”。我見過有的項(xiàng)目固件里明明沒有Wi-Fi模塊內(nèi)核還編譯了一堆Wi-Fi驅(qū)動白白占用內(nèi)存。這種問題改一行.config就能解決但沒人意識到。后面的內(nèi)容我就按這四個維度展開每個維度都會講原理、排查方法和實(shí)際案例。2. 核心瓶頸類型拆解與實(shí)操要點(diǎn)2.1 CPU類瓶頸從“跑滿”到“調(diào)度抖動”CPU類瓶頸是最直觀、最容易發(fā)現(xiàn)的因?yàn)镃PU使用率就放在那里一眼就能看到。但“看到CPU滿了”和“找到誰把CPU弄滿了、為什么弄滿”之間還有很長一段路。先說簡單的場景。用top命令看系統(tǒng)負(fù)載發(fā)現(xiàn)某個用戶態(tài)進(jìn)程CPU占用接近100%。這種情況通常是應(yīng)用層代碼出了Bug比如陷入死循環(huán)、頻繁輪詢、或者在事件循環(huán)里做了耗時操作。定位方法很簡單用perf top直接看當(dāng)前CPU熱點(diǎn)函數(shù)幾秒鐘就能找到問題函數(shù)。這種問題雖然好定位但我見過不少項(xiàng)目在代碼審查階段沒看出來等到測試階段才暴露白白浪費(fèi)了不少排查時間。復(fù)雜一點(diǎn)的是調(diào)度延遲問題。系統(tǒng)CPU看起來沒滿整體負(fù)載也不高但某個關(guān)鍵線程總是不能按時被調(diào)度導(dǎo)致外設(shè)通信超時或者控制周期抖動。這種問題的本質(zhì)是Linux默認(rèn)的CFS調(diào)度器是為“公平性”設(shè)計的它追求的是所有進(jìn)程共享CPU而不是優(yōu)先保證某個關(guān)鍵進(jìn)程的延遲。解決思路主要有兩種一是用線程優(yōu)先級RT調(diào)度策略SCHED_FIFO或SCHED_RR讓關(guān)鍵線程搶占普通進(jìn)程二是綁定CPU核心把關(guān)鍵線程固定在某個核上避免它被調(diào)度器在不同CPU之間遷移。我做過的一個項(xiàng)目里用cyclictest工具測量發(fā)現(xiàn)某個控制線程的最大調(diào)度延遲達(dá)到了400毫秒這顯然是不可接受的。當(dāng)時系統(tǒng)的CPU占用率只有40%所以問題不是資源不夠而是調(diào)度策略不對。解決辦法是把控制線程設(shè)成SCHED_FIFO優(yōu)先級90并且綁核到CPU2同時把其他非關(guān)鍵任務(wù)統(tǒng)統(tǒng)降級為SCHED_IDLE。改完之后最大調(diào)度延遲降到了150微秒以內(nèi)。這個案例很典型地說明嵌入式場景下不僅要看“CPU夠不夠用”還要看“CPU怎么被分配”。還有一種CPU類瓶頸是中斷風(fēng)暴。某個外設(shè)的中斷頻率異常高比如GPIO引腳沒有正確去抖、或者網(wǎng)卡收到了大量廣播包導(dǎo)致CPU頻繁進(jìn)入中斷處理程序。中斷的優(yōu)先級高于一切用戶態(tài)進(jìn)程所以中斷頻率過高會直接餓死業(yè)務(wù)線程。排查方式是用cat /proc/interrupts看哪個中斷號計數(shù)暴漲然后用echo禁用或屏蔽異常中斷源。這類問題在硬件不穩(wěn)定或者電磁干擾強(qiáng)的環(huán)境中特別常見。2.2 內(nèi)存類瓶頸碎片化、泄漏與分配延遲內(nèi)存瓶頸在嵌入式平臺上的表現(xiàn)形式和服務(wù)器很不一樣。服務(wù)器內(nèi)存不夠了可以看free命令然后加內(nèi)存或者調(diào)參數(shù)但嵌入式平臺內(nèi)存是固定的一旦出現(xiàn)內(nèi)存不足系統(tǒng)直接OOM觸發(fā)內(nèi)核的OOM Killer隨機(jī)殺掉一個倒霉進(jìn)程來騰內(nèi)存。這種“隨機(jī)殺人”在生產(chǎn)環(huán)境是絕對不可接受的。內(nèi)存類問題里面最隱蔽的是內(nèi)存碎片化。系統(tǒng)物理內(nèi)存總量充足但因?yàn)闆]有連續(xù)的物理頁面導(dǎo)致內(nèi)核無法分配大的連續(xù)內(nèi)存塊。這個問題在需要DMA操作的設(shè)備驅(qū)動中特別致命因?yàn)楹芏嘤布驞MA緩沖區(qū)在物理上連續(xù)。系統(tǒng)運(yùn)行幾天后某些驅(qū)動突然初始化失敗重啟就好了過幾天又壞了——這種典型的“運(yùn)行時間越長越容易出問題”的怪現(xiàn)象十有八九就是內(nèi)存碎片化。檢查碎片化的辦法是看/sys/kernel/debug/buddyinfo或/sys/kernel/debug/extfrag/index如果高orderorder3的連續(xù)頁面幾乎為0那基本可以確診了。改善手段包括啟用內(nèi)存規(guī)整功能在/etc/sysctl.conf里配置vm.compact_memory1、調(diào)整pageblock參數(shù)、或者在內(nèi)核配置中使能CMAContiguous Memory Allocator來專門管理大塊連續(xù)內(nèi)存的分配。再說說內(nèi)存泄漏。嵌入式Linux的應(yīng)用層內(nèi)存泄漏不像服務(wù)器端可以用Valgrind慢速排查很多時候你根本沒有那個運(yùn)行環(huán)境。我這邊常用的方法是在應(yīng)用里定期讀取/proc/self/status里的VmRSS把內(nèi)存占用的變化趨勢記錄下來分析是否持續(xù)增長更精細(xì)一點(diǎn)的做法是用tracepoint跟蹤kmalloc/kfree。內(nèi)存在嵌入式設(shè)備上是稀缺資源所以我的經(jīng)驗(yàn)是在開發(fā)階段就要把內(nèi)存監(jiān)控代碼寫進(jìn)應(yīng)用里這樣問題在上線前就能發(fā)現(xiàn)而不是等客戶用了半年后設(shè)備無故重啟才來溯源。還有一個經(jīng)常被忽略的點(diǎn)是分配延遲。在實(shí)時性要求高的場景里malloc()可能導(dǎo)致進(jìn)程進(jìn)入內(nèi)核態(tài)去申請內(nèi)存頁這個過程有時候會觸發(fā)內(nèi)存回收內(nèi)存頁換出消耗的時間可能是幾十微秒甚至幾毫秒。對于控制回路來說這種延遲是不能接受的。解決思路是啟動階段預(yù)分配內(nèi)存池業(yè)務(wù)運(yùn)行時從內(nèi)存池里取內(nèi)存避免在關(guān)鍵路徑上調(diào)用malloc()。2.3 I/O類瓶頸閃存特性的影響遠(yuǎn)超你的想象I/O瓶頸在嵌入式Linux里可以說是“最容易被低估”的一類問題。很多工程師習(xí)慣了PC上NVMe SSD的隨機(jī)讀性能下意識地認(rèn)為存儲不是瓶頸。但嵌入式平臺上用的eMMC、NAND Flash隨機(jī)小文件讀寫的速度可能只有幾十MB/s隨機(jī)寫IOPS更是低到感人。我做過一個數(shù)據(jù)記錄類產(chǎn)品需求是每秒鐘往Flash寫一條約4KB的日志。代碼很簡單就是open、write、fsync、close。跑起來后發(fā)現(xiàn)CPU占用率高達(dá)30%而且寫入速率經(jīng)常跟不上。一開始我以為Flash硬件有問題后來用strace一分析發(fā)現(xiàn)每次write之后調(diào)用的fsync會把數(shù)據(jù)強(qiáng)制刷到物理介質(zhì)上而Flash的塊擦除和寫入開銷遠(yuǎn)大于普通磁盤導(dǎo)致每次fsync都要卡好久。解決方案有兩層。第一層是代碼層面把日志先緩存到內(nèi)存環(huán)形緩沖區(qū)里攢夠批量數(shù)據(jù)后一次性寫入避免頻繁的小I/O第二層是文件系統(tǒng)層面換用更適合Flash場景的日志策略減少元數(shù)據(jù)更新的頻率。這樣一來同樣4KB/條的日志CPU占用降到了5%寫入速率也完全達(dá)標(biāo)了。文件系統(tǒng)選型也是嵌入式I/O優(yōu)化的關(guān)鍵環(huán)節(jié)。傳統(tǒng)ext4在全盤日志dataordered或datajournal模式下每筆寫入都要先寫日志再寫數(shù)據(jù)這在Flash上會造成嚴(yán)重的寫放大和延遲。我的建議是如果是只讀場景優(yōu)先考慮squashfs、erofs這類只讀壓縮文件系統(tǒng)如果是讀寫但數(shù)據(jù)不需要掉電保護(hù)可以選用ext4的datawriteback模式或者干脆上ubifs這種專為Flash設(shè)計的文件系統(tǒng)。另外還有塊層調(diào)度器的選擇。Linux內(nèi)核里有三種I/O調(diào)度器none、mq-deadline、bfq。在嵌入式設(shè)備上如果你用的是eMMC這類閃存設(shè)備本身已經(jīng)內(nèi)置了復(fù)雜的FTL映射和磨損均衡算法內(nèi)核層的調(diào)度器基本幫不上忙反而會引入額外開銷。所以我一般會直接設(shè)為none模式讓請求直通設(shè)備層減少一層軟件開銷。2.4 啟動時間瓶頸每一毫秒都要摳啟動時間是嵌入式Linux方案最容易被客戶感知的指標(biāo)之一。設(shè)備上電到主界面出現(xiàn)如果超過三秒用戶體驗(yàn)就很差在車載、工控這些領(lǐng)域啟動時間甚至要按百毫秒級別去要求。但Linux系統(tǒng)啟動鏈路很長Bootloader → 內(nèi)核解壓 → 內(nèi)核初始化 → initramfs加載 → 用戶態(tài)服務(wù)啟動每一環(huán)都有時間開銷。優(yōu)化啟動時間的第一步是先把各部分耗時量化出來。硬件上我會在啟動各階段的關(guān)鍵節(jié)點(diǎn)加GPIO翻轉(zhuǎn)點(diǎn)用示波器直接測量軟件上有Bootchart/Bootgraph工具可以自動收集各進(jìn)程的啟動耗時。拿到數(shù)據(jù)后通常會發(fā)現(xiàn)耗時大頭集中在這么幾處內(nèi)核解壓如果內(nèi)核太大、initramfs中庫和驅(qū)動的加載、systemd服務(wù)的串行啟動、Qt等GUI框架的初始化。針對內(nèi)核解壓耗時最直接的手段是減少內(nèi)核體積。把不需要的驅(qū)動和子系統(tǒng)全部裁掉開啟內(nèi)核的LTO優(yōu)化選項(xiàng)壓縮算法從gzip換用lz4或lzma。根據(jù)我的測試同樣的內(nèi)核用gzip壓縮的大約耗時400ms解壓改成lz4后能降到200ms左右代價是固件體積變大自行權(quán)衡。針對用戶態(tài)啟動慢主流手段是把systemd里非關(guān)鍵服務(wù)干掉或者延遲觸發(fā)只保留最核心的幾個服務(wù)立即啟動更激進(jìn)的方案是跳過initramfs直接讓內(nèi)核掛載根文件系統(tǒng)。如果用的是根文件系統(tǒng)在eMMC上的方案還可以在啟動階段只掛載只讀的squashfs鏡像需要讀寫的目錄再單獨(dú)掛overlayfs這樣文件系統(tǒng)掛載速度快得多。我在一個行車記錄儀項(xiàng)目里做啟動優(yōu)化原始啟動時間接近4秒。通過內(nèi)核裁剪省掉700ms換用lz4解壓省掉200msinitramfs精簡庫文件省掉500mssystemd服務(wù)精簡省掉1.2秒最終壓到了1.4秒。整個過程沒有改任何應(yīng)用代碼收益卻非常明顯。3. 工具鏈與排查方法解析3.1 基礎(chǔ)工具top、free、iostat的基礎(chǔ)與進(jìn)階用法排查性能問題我首先會用到一套“三板斧”工具top、free、iostat。這三個命令系統(tǒng)自帶部署方便在任何嵌入式環(huán)境里都能跑。top用來觀察CPU占用和內(nèi)存占用。但我的習(xí)慣不是看一眼CPU Total就完事而是重點(diǎn)關(guān)注每個進(jìn)程在用戶態(tài)us、內(nèi)核態(tài)sy以及等待I/Owa上的時間分配。us高說明是用戶態(tài)計算密集sy高說明是系統(tǒng)調(diào)用或內(nèi)核路徑開銷大wa高說明瓶頸在存儲I/O。這三個值的組合能快速把問題方向定下來。free主要看內(nèi)存的使用情況。但嵌入式環(huán)境下我特別關(guān)注available這一列因?yàn)樗攀恰罢嬲捎谩钡膬?nèi)存而不是free這一列。Linux會盡量把空閑內(nèi)存用作page cache來提升I/O性能所以free列很小不代表內(nèi)存不夠只有available很小才是真正的內(nèi)存不足。iostat可以查看塊設(shè)備的實(shí)時I/O情況包括tps每秒傳輸次數(shù)、KB_read/s、KB_wrtn/s以及await平均I/O等待時間。如果await值很大說明I/O請求在隊(duì)列里等待時間很長設(shè)備處理能力跟不上如果是r_await和w_await差異很大則要考慮閃存的讀寫性能不對稱問題。這三板斧雖然基礎(chǔ)但在大多數(shù)嵌入式項(xiàng)目里用它們就能定位到80%的問題。只有剩下的20%疑難雜癥才需要動用后面講的perf、ftrace這些重型武器。3.2 高級追蹤工具perf、ftrace與trace-cmd實(shí)戰(zhàn)perf是Linux性能分析的“核武器”它利用硬件性能計數(shù)器和內(nèi)核tracepoint來做采樣分析。在嵌入式平臺上的用法通常是這樣# 采集10秒CPU熱點(diǎn)數(shù)據(jù) perf top # 記錄全系統(tǒng)性能數(shù)據(jù)采樣頻率99Hz perf record -g -F 99 -- sleep 10 # 生成報告 perf report-g參數(shù)表示記錄調(diào)用棧這樣能把“哪個函數(shù)調(diào)用了哪個函數(shù)”的完整鏈條抓出來。比如系統(tǒng)卡頓你用perf record一拍可能發(fā)現(xiàn)是某個驅(qū)動在中斷上下文里做了大量線性搜索熱點(diǎn)函數(shù)一目了然。perf好是好但版本依賴內(nèi)核源碼嵌入式交叉編譯有時候比較折騰。如果不想編譯工具鏈可以用ftrace。ftrace是內(nèi)核自帶的事件追蹤器不需要額外安裝任何用戶態(tài)工具只需要內(nèi)核開啟了對應(yīng)的CONFIG_FTRACE配置項(xiàng)。我常用的是ftrace的function_graph功能它可以追蹤指定函數(shù)的調(diào)用耗時# 掛載tracefs mount -t tracefs nodev /sys/kernel/tracing # 追蹤某個特定內(nèi)核函數(shù) echo function_graph /sys/kernel/tracing/current_tracer echo do_sys_open /sys/kernel/tracing/set_ftrace_filter echo 1 /sys/kernel/tracing/tracing_on cat /sys/kernel/tracing/tracetrace-cmd則是ftrace的封裝工具提供更友好的命令行交互可以按事件名抓取數(shù)據(jù)并生成報告。我之前定位一個USB驅(qū)動偶發(fā)卡頓的問題就是靠trace-cmd抓到的usb_submit_urb函數(shù)調(diào)用延遲分布找到根因的。3.3 系統(tǒng)調(diào)用追蹤與啟動分析利器strace是我對應(yīng)用層問題定位的首選工具。它可以記錄進(jìn)程發(fā)起的每一次系統(tǒng)調(diào)用、參數(shù)和返回值在排查“程序卡在哪個系統(tǒng)調(diào)用”這類問題上效果極為顯著。嵌入式環(huán)境里strace一般放在debugfs分區(qū)里只在調(diào)試時掛載使用量產(chǎn)固件里不要打進(jìn)去因?yàn)閟trace會讓目標(biāo)進(jìn)程的運(yùn)行速度下降一到兩個數(shù)量級。啟動時間的專項(xiàng)分析工具我用得比較多的有兩個Bootchart和systemd-analyze。Bootchart會從啟動開始記錄每個進(jìn)程的CPU、內(nèi)存、I/O時間線生成SVG圖。從圖里能直觀看到哪些服務(wù)在并行執(zhí)行、哪些服務(wù)被串行等待拖累了。systemd-analyze更精準(zhǔn)它直接讀取systemd的啟動事件記錄# 展示各服務(wù)啟動時間 systemd-analyze blame # 展示服務(wù)依賴關(guān)鍵路徑 systemd-analyze critical-chainblame會按各服務(wù)的耗時從高到低排列critical-chain則能看出整個啟動鏈路里最長的關(guān)鍵路徑。一般來說服務(wù)啟動慢的要么是依賴等待比如等待某個設(shè)備節(jié)點(diǎn)出現(xiàn)要么是自身初始化太重這兩者都能通過這些命令快速定位。3.4 其他值得擁有的工具latencytop與cyclictest前面提到的工具主要面向“性能”問題但如果你的系統(tǒng)是實(shí)時性要求高的場景還需要重點(diǎn)關(guān)注“延遲”問題。這時候兩個工具會派上大用場latencytop和cyclictest。latencytop可以系統(tǒng)級地展示“哪些內(nèi)核路徑導(dǎo)致了用戶態(tài)進(jìn)程長時間無法運(yùn)行”它的輸出類似top命令但排序依據(jù)是進(jìn)程在等待延遲上的時間開銷而不是CPU占用。cyclictest是實(shí)時性測試領(lǐng)域的標(biāo)桿工具用來測量內(nèi)核調(diào)度延遲。它會創(chuàng)建一個高優(yōu)先級線程按固定周期睡眠然后測量實(shí)際喚醒時間與預(yù)期時間的偏差這個偏差就是調(diào)度延遲。我的習(xí)慣是讓它跑24小時以上統(tǒng)計最大延遲值只有最大延遲在可接受范圍內(nèi)這個系統(tǒng)才敢說滿足實(shí)時性要求。4. 實(shí)戰(zhàn)案例復(fù)盤與避坑指南4.1 案例一一個“永遠(yuǎn)跑滿”的CPU核心一個工業(yè)網(wǎng)關(guān)項(xiàng)目ARM四核A53平臺運(yùn)行過程中發(fā)現(xiàn)CPU3使用率幾乎一直是100%但CPU0-2都很空閑。客戶抱怨功耗偏高、機(jī)身發(fā)燙要求排查。我先用perf top采樣了幾秒結(jié)果熱點(diǎn)函數(shù)指向了一個內(nèi)核驅(qū)動模塊——某個傳感器驅(qū)動的中斷處理函數(shù)。這個驅(qū)動在每次中斷觸發(fā)時都去讀取一個慢速I2C設(shè)備中斷頻率極高所以CPU3被持續(xù)占用。我繼續(xù)看/proc/interrupts確認(rèn)中斷次數(shù)果然是網(wǎng)卡之外中斷次數(shù)最高的。深入看代碼后發(fā)現(xiàn)驅(qū)動作者在中斷處理函數(shù)里做了大量的輪詢式讀取這種寫法在快速中斷場景下非常糟糕。解決方式分兩步第一步把中斷處理函數(shù)里的底部處理邏輯移到tasklet或workqueue里讓中斷處理只做最少的確認(rèn)工作第二步降低I2C設(shè)備的采樣頻率并對采樣數(shù)據(jù)做滑動平均濾波避免對噪聲過度反應(yīng)。改完之后CPU3使用率從100%降到了8%功耗問題隨之消失。這個案例的教訓(xùn)是嵌入式平臺上的中斷處理函數(shù)不是隨便寫的任何不能在幾十微秒內(nèi)完成的操作都必須考慮延遲到非中斷上下文執(zhí)行。4.2 案例二啟動時間從4.2秒優(yōu)化到1.4秒某個帶屏的消費(fèi)類設(shè)備需求是上電到顯示主界面不超過2秒。原始版本實(shí)測4.2秒差得有點(diǎn)遠(yuǎn)整個優(yōu)化過程我按啟動鏈路分了三步走。第一步是Bootloader階段。U-Boot從Flash加載內(nèi)核鏡像原來的壓縮模式是gzip我改成了lz4這一步省了約200ms同時裁剪了U-Boot里不需要的驅(qū)動省了100ms。第二步是內(nèi)核階段。原來內(nèi)核打了大量沒用的驅(qū)動包括一些根本不存在的外設(shè)控制器驅(qū)動全部裁剪掉內(nèi)核映像從6MB減到了3.2MB解壓和初始化時間大幅下降這一塊總共省了約1秒。第三步是用戶態(tài)階段。原來的做法是systemd把十幾個服務(wù)全部按默認(rèn)方式串行啟動其中有藍(lán)牙、網(wǎng)絡(luò)、云平臺連接等但這些服務(wù)在首屏顯示之前根本不需要。我把顯示服務(wù)設(shè)為最優(yōu)先啟動其他服務(wù)全部設(shè)為延遲到首屏顯示后再啟動同時把initramfs里用不到的庫文件全部刪掉。這部分省了1.7秒。最終啟動時間穩(wěn)定在1.4秒。整個優(yōu)化過程總結(jié)起來就是一句話把不需要的東西都去掉把關(guān)鍵的路徑縮短。4.3 案例三內(nèi)存碎片化導(dǎo)致驅(qū)動隨機(jī)初始化失敗網(wǎng)卡驅(qū)動在某嵌入式設(shè)備上時常初始化失敗報的是DMA緩沖區(qū)分配錯誤。但系統(tǒng)空閑內(nèi)存明明還有200MB以上重啟后能正常跑一兩天后故障復(fù)現(xiàn)概率越來越大。我一開始懷疑是內(nèi)存泄漏但排查了一圈沒有發(fā)現(xiàn)明顯泄漏。后來偶然用cat /proc/buddyinfo看了一眼發(fā)現(xiàn)order3的連續(xù)頁面數(shù)量為0才終于明白問題的本質(zhì)系統(tǒng)內(nèi)存碎片化嚴(yán)重盡管總空閑內(nèi)存不少但無法滿足驅(qū)動的大塊連續(xù)內(nèi)存分配請求。這種問題的根源在于系統(tǒng)長時間運(yùn)行后內(nèi)存頁面被頻繁申請和釋放大的連續(xù)塊被逐漸切割成碎片。內(nèi)核對頁面分配無能為力的話就只能報錯。我用的解決方法是在內(nèi)核配置里確認(rèn)開啟CMA并將網(wǎng)卡的DMA緩沖區(qū)分配改為從CMA區(qū)域分配同時在內(nèi)存壓力大的時候定期觸發(fā)內(nèi)存規(guī)整echo 1 /proc/sys/vm/compact_memory。改完以后連續(xù)跑了兩個月故障沒有再出現(xiàn)。這個案例給我們的啟示是嵌入式方案在選型階段就要考慮設(shè)備的運(yùn)行時長和內(nèi)存行為規(guī)劃好DMA內(nèi)存的分配策略。等到現(xiàn)場出問題了再排查代價會高得多。4.4 常見問題速查表現(xiàn)象可能原因排查命令/工具解決思路單個核心跑滿中斷風(fēng)暴/調(diào)度不均cat /proc/interrupts綁核、延遲中斷處理系統(tǒng)卡頓但CPU不高鎖競爭/調(diào)度延遲perf sched、cyclictest調(diào)整優(yōu)先級、減少共享鎖內(nèi)存充足但分配失敗內(nèi)存碎片化cat /proc/buddyinfo啟用CMA、內(nèi)存規(guī)整寫入慢且CPU高fsync頻繁/文件系統(tǒng)日志strace、iostat批量寫入、調(diào)整日志模式設(shè)備越用越卡內(nèi)存泄漏定期記錄VmRSS定位泄漏點(diǎn)并修復(fù)啟動慢服務(wù)串行/內(nèi)核過大systemd-analyze blame裁剪內(nèi)核、并行化服務(wù)網(wǎng)絡(luò)時延抖動大中斷處理不當(dāng)/調(diào)度延遲perf、cyclictest網(wǎng)卡中斷綁核、RT補(bǔ)丁4.5 一些容易忽略的“隱形”瓶頸除了上面這些明面上的瓶頸還有幾個“隱形”問題我覺得值得單獨(dú)拎出來說一下。第一個是調(diào)試串口的拖累。很多嵌入式工程師習(xí)慣在代碼里到處加printf打印但串口波特率通常只有115200約合每秒十幾KB。如果代碼里大量打印光串口輸出就能把CPU拖垮因?yàn)槊枯敵鲆粋€字符CPU都要等待串口FIFO刷新。我見過一個系統(tǒng)僅僅是因?yàn)檎{(diào)試打印太多CPU占用就多了20%。量產(chǎn)固件里建議關(guān)掉所有調(diào)試打印或者用環(huán)形緩沖區(qū)在內(nèi)存里暫存日志按需導(dǎo)出。第二個是編譯優(yōu)化等級。內(nèi)核和應(yīng)用默認(rèn)的編譯選項(xiàng)是-O2但在嵌入式場景建議認(rèn)真試試-Os優(yōu)化體積。體積變小意味著緩存命中率提高、啟動時內(nèi)核加載時間變短有時候反而會比-O2更快。我在幾個項(xiàng)目里都驗(yàn)證過-Os編譯的內(nèi)核在某些負(fù)載下性能比-O2更好還節(jié)省了Flash空間。第三個是電源管理策略。現(xiàn)在的ARM SoC都支持動態(tài)調(diào)頻調(diào)壓DVFS。有時性能問題不是硬件不夠強(qiáng)而是CPU降頻了——可能是溫控策略太激進(jìn)可能是電源管理框架把CPU調(diào)到了低功耗檔位。遇到性能不達(dá)預(yù)期、但硬件配置客觀夠用的場景一定要先檢查/sys/devices/system/cpu/cpu*/cpufreq/scaling_cur_freq確認(rèn)CPU是否跑在預(yù)期頻率上。5. 一個值得嘗試的調(diào)優(yōu)順序與檢查清單我在實(shí)際項(xiàng)目中總結(jié)了一套相對固定的排查流程分享出來供你參考。遇到性能問題按這個順序走基本不會漏掉大方向確認(rèn)性能問題可量化先明確“慢”的定義。是啟動慢是某個操作響應(yīng)慢是處理吞吐不夠用指標(biāo)定義清楚比如“從觸發(fā)到響應(yīng)超過500ms”。收集基礎(chǔ)數(shù)據(jù)跑top看CPU分布free看內(nèi)存iostat看I/Odmesg看內(nèi)核有沒有報警。應(yīng)用層定位如果CPU高用perf top看熱點(diǎn)如果進(jìn)程卡住用strace抓系統(tǒng)調(diào)用。先排除應(yīng)用層的低級問題。內(nèi)核層定位應(yīng)用層沒問題再往內(nèi)核里挖用ftrace追蹤關(guān)鍵路徑用/proc/interrupts看中斷分布。針對定位結(jié)果做優(yōu)化每次只改一個變量改完重新量化對比確認(rèn)沒有引入新的問題。驗(yàn)證長期穩(wěn)定性性能優(yōu)化完成不代表結(jié)束尤其是涉及內(nèi)存、實(shí)時性的改動要在目標(biāo)環(huán)境上持續(xù)運(yùn)行幾天確認(rèn)無回歸。這個流程看起來簡單但很多人做不到原因就是“跳步”。看到CPU高就直接改代碼看到啟動慢就盲目裁剪內(nèi)核沒有先定位清楚最后往往是白忙活甚至越改越糟。另外一個常被忽略的點(diǎn)是優(yōu)化時要把“需求指標(biāo)”寫清楚??蛻粽f“我要系統(tǒng)跑得快”這個描述沒有意義。你得追問您是要啟動快操作響應(yīng)快還是持續(xù)業(yè)務(wù)吞吐高每個指標(biāo)對應(yīng)的優(yōu)化路徑完全不同選錯方向就是在浪費(fèi)團(tuán)隊(duì)時間。我每次在項(xiàng)目啟動前都會把性能指標(biāo)寫成一個正式的表格發(fā)給客戶確認(rèn)簽字這樣后續(xù)優(yōu)化有據(jù)可依也避免做無用功。做嵌入式Linux這些年我最大的體會是性能問題從來不是單點(diǎn)問題而是一個系統(tǒng)性問題。CPU、內(nèi)存、I/O、啟動時間、實(shí)時性每個維度都像木桶的一塊板哪塊短了水都會漏。但好在大部分瓶頸都有跡可循解法也都是成熟的技術(shù)關(guān)鍵在于你有沒有耐心去測量、定位、驗(yàn)證。還有一個心得優(yōu)化這件事越早介入成本越低。很多性能問題在設(shè)計階段就可以避免比如選型時評估內(nèi)存和存儲余量、設(shè)計時規(guī)劃好中斷優(yōu)先級、編碼時注意鎖粒度和系統(tǒng)調(diào)用頻率。等到設(shè)備量產(chǎn)了再出性能問題那種被客戶催著、被領(lǐng)導(dǎo)盯著的感覺真的希望你永遠(yuǎn)不要體驗(yàn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
能直接看的av网站| 天天肏夜夜肏| 色播五月综合网| 久久丁香五月婷婷| 99精品大片| 五月婷av| 国产精品电影网| 美女五月狠狠| 色综合久久88色综合天天看| 97干欧美| 涩五月婷婷| 在线婷婷| 婷婷色综合| 99久久网站| 大香蕉综合| 狠狠操狠狠干综合| 天天日夜夜帕| 美女天天爽| 久久九九蜜| 激情小说视频图片| 91色色色18| 99久久99九九九99九他书对| 99热最新| 色色999三级片| 五月婷无码| 91久久人人操| 欧洲不卡视频| 色婷婷五月基地在线| 五月色丁香婷婷中文字幕| 欧美婷婷五月天综合| 天天干、天天日日| 婷婷综合一二三| 97香蕉久久超级碰碰高清版| 九九热在线视频观看| 五月丁香六月激情在线| 不卡在线超碰| 久久久久婷| 丁香五月婷婷亚洲天堂| 97碰超级人人看| 久热9| 久久狠狠欧美| 丁香五月激情六月| 天天影院色| www.五月天婷婷| 亚洲AV人人操| 国产精品久久久久久妇女6080| 99精品久久久久| 色啪综合| 狠狠色噜噜狠| 性天堂久久| 玖玖在线视频| 婷婷五月丁香久久| 在线网黄| 人人插操| 色哟哟性爱av| 国产阿姨日皮艹逼内射视频| 亚洲热视频在线| 激情综合色婷婷啪啪六月天| www.99视频| 天天狠狠综合精区| 色婷婷A| 天天拍夜夜撸 | 五月婷色丁香| 激情五月婷婷| 久久婷婷操| 亚洲成人人人操| aa久久| 天天干夜夜谢| 97偷拍对白视频| 成人av在线网址| 色婷婷五月开心六月综合| 午夜丁香六月婷| 丁香六月激情国产| 五月天婷婷久久| 色99久草在线| 婷婷 久综合| 色婷婷五月婷婷五月婷婷五月| 色色亚洲五月天| 久热九九| 日本操B片| 久久久五月天| 五月婷婷综合在线观看| 天天干 夜夜爽| 国产婷伊人| 99久久玖玖| www.色欲丁香婷婷| 欧美在线视频99| 色五月天视频| 欧美色婷婷| 激情综合五月丁香六月婷婷| 99视频超级精品| 五月综合婷婷久久在线| 99热这里只有精品9| 色www99| 91AV婷婷| 性日本精品| 67194国产| 26uuu色五月| 九色视频91| 五月天婷婷高清无码| 99精品一二三四视频| AA片在线观看视频在线播放| 五月丁香婷婷久久| 色色网站在线| 一级操逼大片| 91久久久久久| 成人在线视频一区| 97搞在线| 99热精品在线播放观看| 超碰精品在线| 日本在线wwww| 97激情五月天| 超碰99在线观看| 五月激情小说| 激情欧美婷婷| 九色七七| 综合久久六月| 26UUU精品一区二区c〇m| VA色婷婷| www狠狠com| 亚洲激情 久久| 天天操夜夜爽歪歪| 天天干天天干天天干| 97五月婷婷| 久久人妻情侣| 99热这里只有精品8| 五月天婷婷色色网| 《蜘蛛女》梁铮1995| 五月天婷婷基地| 色五月婷婷91| 久热免费| 九月婷婷激情久久| 91凹凸在线| 国产色99| 丁香六月婷婷色XXXX| www超碰| 亚洲va欧美va天堂v国产综合| 激情又色又爽又黄的A片| 婷婷丁香花五月天| 99精品小视频| 五月婷婷激情啪啪| 五月花成人网| 在线只有精品| 色五月天天在线观看资源站| 婷婷99狠狠躁天天躁| 六月婷婷视频| 五月花激情| 五月婷婷中文字幕| 热99国产精品| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 丁香六月激情| 久九色| 中日韩狠狠色| 国产精品久久久久久久久久免费| 激情五月www| 亚洲av综合网| 极品少妇XXXX精品少妇偷拍| 婷婷六月成人| 五月色亚洲| Www.激情| 91精品91久久久中77777| 色久一| 国产FREESEXVIDEOS性中国| 91肏| WWW·天天操·视频?| 五月天激情www| 色播六月| 99视频网| 久热天堂| 婷婷婷婷色| 九九色婷婷五月天| 五月天成人手机在线视频| 开心色播色五月婷婷| 另类视频五月天| 亚洲啪啪视频| 99热99在线| 96精品久久久久久久久| 九九热精品在线| 另类图片五月天激情| 99在线视频在线观看| 狠狠干婷婷| 国产婷婷色五月| 九九Av| 五月丁香综合啪啪| 久久精品人妻| 欧美色播综合在线观看| 大香蕉九九| WWW,色五月| 五月开心久久| 就要去操亚洲成人精品五月天丁香婷婷| 亚洲色综合| 九九色色网| 久久婷婷色| 超碰在线人人| 天天日天天舔| 色婷婷4| 五月丁香啪啪啪| 精品视频99看在线视频| 国产欧美日韩性爱| 久久综合九色综合97婷婷| 激情人妻综合| 色婷婷9| 国产精品视频免费看| 九九精品在线观看视频6| 婷婷福利影院| 深情五月天| 久久久久久久久18久久| 香蕉AV777XXX色综合一区| www.99操| 狠狠爱五月婷婷| 99 re视频一区| 97干97色| 婷丁五月| 丁香六月婷| 六月天无码网址| 激情AV网| 综合激情视频| 亚洲激情视频在线观看| 日韩免费视频| 色丁香六月| 色婷婷欧美| 久久99婷婷| 思思热视频在线观看| 99超在线| www,奇米影视| 婷婷五月成人系列| 中文精品在| 五月丁香婷婷基地| 99re思思| 婷婷五月天av小说| 大香蕉伊人爱在线| 丁香六月婷婷综合激情欧美| 北京熟妇搡BBBB搡BBBB| 久久婷婷五月综合伊人| 99riAV国产精品视频| 97色色综合| 丁香五月婷婷狠狠色| 人人草碰| 超碰狠狠色| 日逼影音先锋男人资源站| 99爱视频在线| 99色激| 做爰丰满少妇1313| www,五月天激情| 五月天怕怕| 色婷婷五月色| 5月婷婷6月丁香aV| 黄色AAAA韩国guochansanji| 91丨九色丨熟女|新版| 丁香五月激情宗合网| 99国产精品白浆在线观看免费| www.久久66| 六月婷婷AV| 久久久8| 亚洲精品操一操、噜一噜、摸一摸、爽 | 97精品综合久久| 北京熟妇搡BBBB搡BBBB| 第五色婷婷| 怡红院 久久| 久久婷婷九月国产精品| aaa久久| 色综合激情| 青青草免费公开视频| 逼里香不卡| 日韩免费99| 中文av网| 亚洲激情免费视频观看| 97人人草| 亚洲免费99| 99热这里只有99| 在线18av | 激情五月丁香亭亭 | 亚洲色五月| 国产,欧美,学生妹,视频| 日日操夜夜爽| 五月天色官网| 97日在线视频| 九月丁香八月婷婷加勒比| 五月天婷婷操逼视频| 操国产人妻| 超级久久久| 五月色婷婷综合| 天天射天天射一道本日本社区 | 婷婷色色狠狠| 91嫩草久久| 久久婷婷热| 桔色成人在线| 99爱免费在线观看| 四射综合网| 91丨九色丨国产打屁股| 五月婷婷六月色| 色色亚洲无码| 久热99热| 色色综合网。| 性无码专区无码| 五月天伊人久久久久| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 五月丁了香蕉综合| 久久婷婷人人| 狠狠操狠狠| 99精品视频在线观看免费| 日本一毛片| 色播六月| 欧美性色五月天| 天天日日夜夜爽| 亚洲秘 无码一区二区三区妃光/1| 专区无日本视频高清8| 另类图片婷婷五月天| 这里只有精品视频| 色五月婷婷、老熟女| 日本系列_4页_777FP| 九九99一区| 婷婷内射视频在线| 五月天婷婷丁香六月| 超碰永久在线| 嫩草AV久久伊人妇女超级A| 五月天婷婷基地综合网| 毛片色五月| 99re久热只有精品6在线直播| 97久久五月丁香婷婷| 操人妻AV| 天天干天天插| 六月婷婷五月天| 激情噜噜噜| 激情五月色在线播放| 青青草性爱视频| 超碰人人艹| 光棍影院日韩精品| 99热第一页| 五月婷婷六月丁香色| 日韩好吊操| 成人一级片| 日本少妇AA一级特黄大片| 精品夜夜澡人妻无码AV| 色婷婷小说| 日本狠狠色| 激情婷婷六月| 春色激情第四色| 丁香婷婷久久 | 丁香五月婷婷99| 超碰在线50| 色色操| 亚洲综合九九| 色噜噜97视频在线观看| 99视频精品在线| 丁香五月停停av| 99久久99久久综合| 日韩人妻在线播放| 七月丁香婷婷 色色| 五月色综合| 国产亚洲在线观看| 丁香六月啪| 神马欧美精| 色综合久久综合| 国产成人精品亚洲线观看| 超碰人人色| 婷婷五月色综合| 狠狠操狠狠操AV| 999热在线视频| 狠狠色噜噜狠狠狠888了| 情五月亚洲婷婷| 99热免费网站| 精品色情一区二区三区四区| 99热乎| 色婷婷狠狠18禁| 69久久99精品久久久久婷婷| 国产老熟妇亲子乱对白| jiujiujiuwuyuetian| 综合爱久久| 国产AV成人精品| 操国产人妻| 91色综合网| 国产熟女大叫受不了| 成人网页在线观看| 九色激情网| 久99精品视频| 97超级碰碰碰| 久久精品综合色| 色欧美日| 精品动漫 无码av| 日韩三级视频一区二区| 九九九九中文字幕| 国产操肏网站| 婷婷丁香成人色综合| 午夜精品久久久久久久爽| 综合网五月| 九九视频在线观看| 婷婷五月天基地| 人人操日| 色无码| 天天爱天天爽| 无码免费人妻A片AAA毛片西瓜 | 五月婷婷激情网| Av九九| 成人一级片| www.久久久.com| 另类专区在线观看| 婷婷五月丁香五月| 四川BBB搡BBB搡多人乱亂| 色色国产| 激情综合色婷婷啪啪五月天| AⅤ在线播放网| 亚洲综合成人网站| 色综合天堂| 亚洲综合成人网| 男人天堂99| 超碰在线看| 高清无码.com| 婷婷婷五月天最新综合你懂的| 六月丁香射婷婷欧美色图片| 五月婷婷丁香色播网| 99热在线这里| 99玖玖在线视频| 五月婷婷色情| 激情六月天| 久久久婷婷五月天| 婷婷综合九月| 久9视频免费播放| 精品婷婷| 亚洲五月婷天天操| 日本激情五月天‘| 六月婷婷开心| 黄网免费观看| 久久精品99国产精品日本| 五月天丁香久久综合| 人人九色| 人人爱国产| 狠狠狠狠狠狠| 亚洲人妻av| www.夜夜騎夜夜狠| 久久婷婷五月国产激情综合片| 99久久亚洲精品视频| 天天做天天爱天天摸| 开心五月丁香综合久久| 九九热视| 丁香九月激情| 国产精品91抖高| 无码日本精品XXXXXXXXX | 91热视频| 日本大逼91| 色五月色图| 淫视馆aV二区一区| 婷婷色五月情| 97色天堂| 成人综合网站| 成人资源在线| 26uuu美女三级视频| 色婷婷成人在线| 亚洲99精品欧美一区| 色女伊人| 79精品视频在线观看,| 色综啪啪网| 色综合色色色色| 丁香五月婷婷久久综合激情网 | 国产精品美女| 99综合在线| 99视频| 91美女被操| 国产毛片精品一区二区色欲黄A片| 久久久久久久久18久久| 日韩黄黄| 色六月视频| 五月丁香久人妻中文| 99国产精品白浆在线观看免费| 热久久这里只有三级视频| 成人亚洲精品| 思思久久99热只有频精品66| 99成人| 夜夜夜夜夜操| 91伦| 丁香婷婷综合精品六月初| 久狠日av| 欧美99热| av在线免费网站| 久久99热免费| 狠狠狠狠狠狠色| 五月丁香成人网| 激情五月四色| 超碰人人干| 天天日日天天| 婷香五月激情视频| 五月丁香综合激情网| 亚洲网综合在线| 色婷婷啪啪啪啪啪啪| 森林影视大全,最好看的2019年视频 | 日韩人妻在线观看| 在线看AV| 欧美婷婷六月丁香综合色连续高潮抽搐| 成人丁香婷婷| 成 人片 黄 色 大 片| 色射7856五月天激情四射| 深爱 五月天| 99爱在线视频| 日本V在线观看不卡视频网站| 91操在线视频| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 丁香五月婷婷激情四射| 色综合开心五月深爱五月| 99九九在线| 丁香av网| 激情小说五月天中文字幕| 久99在线视频| 色婷婷成人做爰A片免费看网站 | 精品导航在线x不卡| 一区二区三区四区五区| 天堂综合久| 91操人人操| 狼人狠狠操| 五月天激情综合网站| 色色性爱视频| 久久综合激情婷婷激情| 色五月亚洲| 五月丁香亭亭电影久久| 五月天久久网站| tingtingjiqingwuyue| www.99热视频| 成人日韩欧美| 婷婷基地成人五月天| 婷婷五月小说色综合| 五月天婷婷婷| 九九99久久精品| 久久综合婷婷| 91要啪| 午夜天天精品视频| WWW.99视频| 五月婷婷激情四月| 亚洲经典三级| 久久精彩免费视频精彩免费视频| 99热这里只有精品免费观看| 精品一二三区久久AAA片| 色综合婷婷| 天天插天天爱| 国av网| 综合激情五月四射婷婷| 久色网| 五月久久婷婷天堂视频| 婷婷色正月| 中日韩美欧成人一区二区精品在线| 五月天伊人综合| 亚洲第一精品网站| 欧美丁香婷婷五月| 91久久| 玖玖五月丁香| 伊人天堂婷婷| 久久 视频这里只有精总| 无码AV久久久久久久久| 九九色中文| 99视频久久| 色欧美影院| 五月婷婷 激情五月| 久久AV无码精品人妻系列试探| 99超级碰免费视频| 91九色无码日韩| 99内射视频| 99热精品一| 国产午夜精品一区二区三区四区| 久久久8| 97超碰在线免费观看| 五月婷婷久草| 五月婷婷五月丁香综合| 五月天婷婷激情在线色图| 丁香六月啪啪啪| 天天操夜夜爽歪歪| 另类丁香五月天区图| 国产探花AV在线| 中文字幕按摩做爰| 日本色婷婷久久99精品91| 国产67194| 五月丁香另类图片| 66色在线日韩| www.综合久久| 六月婷婷色色色| 激情五月婷婷视频一区二区三区| 丁香六月婷婷| 丁香五月婷婷六月| 天搞天天天天天| 色99在线视频| 99色视| www.婷婷六月天| www.激情.com.| 狠狠色成人影片| 婷婷五月天色色| 五月花激情| 婷婷五月天成人导航| 可以直接看的av| 久久99热这里只有| 婷婷五月色| 97亚洲色 torrent magnet| 婷婷久久五月天| 99色综合| 国产精品一区在线观看你懂的| 色五月天中文字幕| 丁香五月婷婷激情97| 79色色免费| av免费在线观看0| 狼人婷婷久久| www久久久久| 97碰碰视频| 色色色五月婷| 99精品热| 婷婷丁五月| 夜夜穞天天穞狠狠穞AV美女按摩| 激情五月六月婷婷综合啪啪| 日日噜噜夜夜狠狠久久丁香五月| 婷婷五月AA五月在线| 黄网在线免费观| 亚洲激情精品| 97干在线观看| 久久久精品色| 六月丁香婷婷网| 久久婷婷老| 色五月天在线观看| AV在线免费播放| 色99视频| 性天天中文网| 97色女人在线| 天天日日夜夜| 99福利视频| 日韩精品无码AV| 成人一级片| 色区久久| 婷婷五月在线影院| 99视频在线观看网址| 免费观看亚洲AV片| 亚洲精品V天堂中文字幕| www,av好吊操| 色色色色色网站| 99热99热不卡| 色呦呦免费观看| 97人人操com| 色丁香五月| 99热这里只有精品2024| 国产欧美日韩综合精品一区二区| www夜夜操com| 7超碰自拍| 婷婷五月花| 国语精品探花| 性欧美日本| 国产美女无遮挡裸体毛片A片| 99热这里只要精品免费| 中文字幕综合网| 日本视频不卡123区| 日本成人噜噜噜| 超碰av在线| 日韩人妻白浆视频系列| 五月丁香成年黄色| 9er热在线精品视频| 成人无码髙潮喷水A片| 天天干天天干天天干天天干天天干| 日本一级黄色电影| 色色色色色色色五月| 午夜激情综合| 97ai婷婷| 五月丁香亚洲综合| 亚洲综合狠狠艹| 婷婷丁香宗合888| 欧美性生交A片免费看| 色色色热| AV五月丁香| 人人操操| 少妇AB又爽又紧无码网站| 亚洲精品永久久久久久| 思思久久网| 国产综合A片| 五月丁香啪| 六月久久狠狠| 婷婷六月激情小说网| 日韩综合成人| 激情文学久久| 婷婷亚洲色| 激情综合五月| 热久久这里只有三级视频| 婷婷五月六月| 激情五月小说婷婷| 亚洲精品操一操、噜一噜、摸一摸、爽 | 丁香狠狠色婷婷| 婷婷丁香亚洲五月天| 婷婷综合网性| 日本视频不卡123区| 色色丁香婷婷综合| 激情婷婷综合五月少妇| 婷婷激情中文综合| 丁香久久九九99| 亚洲国产精品SUV| 啪啪婷婷五月天激情| 丁香五月天激情AV| 五月丁香啪啪| 黄色一极大片| 久久激情五月| 久久久这里都是精品| 久99久在线观看| 婷婷五月天激情小说网站| 亚洲av成人在线| 狠狠色婷| 色色国产| 婷婷五月丁香六月| 五月丁香六月婷婷久久| 久草x色在线观看99 | 天天日天天插| 欧美天堂婷婷日韩| 五月激情丁香久久综合网| 婷婷五月综合体验看| 激情婷婷五月丁香啪啪啪| 99这里只有免费的小视频在线观看| 秋霞AV淫| 色婷婷成人久久| 婷婷欧美色| 五月天色婷婷基地| 五月天堂在线| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 色五月激情五月开心五月| 激情婷婷22月间| 九九九午夜影院成人| 五月婷婷|欧美| 97超碰99热99| 色五月久久成人婷婷| 九色无码| 婷婷五月小说色综合| 9久久精品视频| 日本三级99人妇网站| 99久久综合| 五月色网| www.91在线观看| 五月激情六月宗合| 亚洲99在线| 老司机午夜福利视频金瓶梅| 成人在线网| 国产免费av在线| 丁香操逼| 丁香综合| 成人综合网站| 亚洲精品亚洲人成人网| 丁香六月啪啪| 久久色9| 丁香花综合永久入口| 婷婷五月成人有| 男人天堂99| 中文AV在线观看| 狠狠干狠狠操狠狠爱| 久久婷婷六月综合国际| 五月丁香综合网| 9月色婷婷| 色婷婷久久综合中文久久一本| 丁香五月婷婷亚洲另类| 99re久热只有精品6在线直播| 另类图片天天影视在线观看| 9久国产精品| 狠狠色丁香久久| 91久草五月天婷婷| 伊人激情网| 丁香亚洲色综合| 色婷婷丁香女女| 四季8848精品成人免费网站| 少妇AB又爽又紧无码网站| 色色色欧美| 天天爱天天做天天操| 久操大香蕉| 日韩久久视频| 91日本在线| 五月婷在线| 91久久久久久| 色情综合| se99视频| 五月综合激情网| 天天综合在线网| 东京热免费视频| 久久婷婷热| www久久久| 99热在线播放| 五月婷婷综合在线| 五月天婷婷基地| 夜夜操夜夜操| 99热超碰在线| 五月婷婷丁香| 麻豆WWWCOM内射软件| 狠狠CAO日日穞夜夜穞AV | 超碰免费成人| 天天干,噜噜色,狠狠色| 五月久久噜噜| 69午夜成人影片| 婷婷五月天日日日干干干| 亚洲mm色| 99热这里只有在线| 天天爽天天摸天天爱| 五月天婷婷乱论小说| 丁香五月成人| 久草大| 99热精品无码| 激情婷婷六月天| 99免费视频| AA片在线观看视频在线播放| 国外亚洲成AV人片在线观看| 色欲久久99精品久久久久久| 97碰碰九九视频| 亚洲成人综合网在线免费观看| 超碰永久在线| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | www.com五月天| 色情五月天丁香社区| 五月天大香蕉| 激情五月天综合网| 亚洲三A| 国产人人操| 97碰碰在线观看视频| www99精品| 五月伊人综合| 热久久视频99| 99精彩视频| 99精品国产热久久91色欲| 婷婷五月天基地| 精品国产一区二区三区四区阿崩| 五月激情综合婷婷| 亚洲综合一区二区| 99色区| 26uuu欧美亚洲日韩| 婷婷开心久久| 婷婷丁香宗合888| 亚洲激情网| 97在线观视频免费观看| 丁香激情五月天| 亚洲午夜视频| 色小说婷婷五月天天天| 婷婷色av| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 第九色区av天堂| 欧美色必爱| 婷婷色五月激情强奸四射| 欧洲激情网站| 99爱视频免费看| 色香久久| 激情五月天在线视频| 麻豆WWWCOM内射软件| 亲子乱av一区二区三区的| 色婷婷五月色| 千人斩操逼| 婷婷开心六月| 超碰97人人操| 青青久在线视频免费观看| 综合色视频| 大香蕉九九| 狠狠干伊人| 丁香 亚洲 久久| 一起草av| 色婷婷在线视频| 91热久| 激情五月婷婷丁香六月| 五月丁香婷婷啪啪综合网| 婷婷九月在线| 亚洲激情在线| 夜色爱爱亚洲| 欧美槡BBBB槡BBB少妇| 2018国产大陆天天弄| 一区二区传媒视频| 91人妻PORNY九色大屁股| 99久久精品网| 99操视频| 久草x色在线观看99| 五月婷婷啪啪啪| 黄页大全十八禁| 五月天婷婷婷| 色色综合网站| 黄色激情网站在线观看| 九九aV| 狠狠五月天激情| 亚州色婷婷| 久月久在线视频| 激情伊人| 五月婷婷开心丁香| 欧美精品99| 五月婷婷六月激情| 乱码操操| 五月婷在线色视频| 激情婷婷色色| 狠狠狠狠草草| 69热在线| 99这里只有精| 成人精品视频99在线观看免费| 91在线操| 色五月色综合| 婷婷综合网| www.婷婷com| 日本99久久| 这里只有精品网| 色五月婷婷五月天| 996精品热视频| 天天爱天天做天天爽| 九色视频91| 人人操婷婷| AAAA亚洲| 99热国内精品| 丁香六月成人| 大香蕉五月天| 五月花在线观看视频| 99色色网| 五月天婷婷激情网| 蜜桃婷婷丁香五月天狠狠久久综合| 丁香六月激情国产| 欧洲色色| YW无码| 亚洲五月婷婷在线| 182TV大香蕉| 欧美97超碰| www.激情五月天.com| 久久久天天啊| 三级av在线| 97碰碰视频在线观看| 欧美国产一区二区三区| 日本精品久久久久中文字幕 | 色婷婷五月天在线| 99热国产| 中文字幕婷婷| 五月婷婷在线免费观看| 国产精品第一国产精品| 五月色婷婷亚洲 | 六月狠狠综合| 99热精品在线观看| 九九久久五月天综合伊人| 五月天六月婷婷| 久久99最新地址| 9.1综合网| 五月婷婷影院| 91n啪啪| 亚洲五月婷天天操| 人妻人人操| www.色9| 天天干夜夜谢| 日日夜夜九九| 狠狠操天天操综合| 涩综合婷婷| 啪啪综合| 先锋资源婷婷| 婷婷五月丁香综合桃花色网| 久久这里99| 97色色网| 五月丁香六月激情综合网| 激情五月天视频| 丁香操逼| 五月丁香婷婷综合网色欲| 久草热久草在线视频| 日本a片网址| 91性高潮久久久久久久久| 激情婷婷五月天| 99热人人艹| 五月丁香色色综合| 五月婷婷免费看| 五月婷婷色| 99久久精彩视频| 亚洲九九在线| 五月天婷婷影院| 色播五月综合网| 六月丁香激情婷婷| 色人久久| 久久99三级在线视频| 先锋av性爱成人电影| 91精品久久久久、久五月天| 乱乱av| 婷婷9月天| 99性视频| 激情五月天噢美| 性99网站| 激情综合婷婷| 热久69| 久热这里有精品视频| 夜夜久久综合网| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 《久久综合九色综合97婷婷| 色五月婷婷久久大| 五月激情天| 久天综合| 六月婷婷中文字幕| 一本色道久久88加勒比| 任你日视频| 97人人超| 久久精品4| 久久香蕉福利| 五月丁香性爱| 五月婷婷九九热| 婷婷色综合| 第四色五月婷婷| 91久久精品无码一区二区三区| 激情久久网 | 亚洲色碰| 婷婷久久综合久| 69精品人人人人| 久久久久9| 大香蕉啪啪| 婷婷五月激情图片| 久久亚洲婷婷综合色五月| 东京热免费视频| 久久六月天| www.久久| 五月丁香爱婷婷深深| 啪啪综合网| 情五月亚洲婷婷| 97人人操人人干| 五月丁香婷婷AV天堂| 成人中文网| 婷婷五月天另类网站| www.99热| 天天操夜夜夜拍拍拍| 97日韩无套内| 夜夜操,天天撸| 日本三级网址| 97色色网| 97人人干人人操| 人妻久久久久久| 亚洲久久婷婷丁香五月天| 久久免费少妇高潮99精品| 久久99热精品a片在线观看| av五月天婷婷丁香| 天天做天天爱天天要| 色婷婷狠狠久久YY| 婷婷综合精品视频97| 色色影院黄大片| 99热亚洲| 色婷婷中文在线| 另类视频五月天| 综合久久8| 亚洲色五月婷婷| www,999日本色| 五月伊人婷婷| 九九九九大香蕉| 啪啪啪大香蕉| 琪琪理论片| 丁香五月婷中字在线| 五月婷婷激情综合网 | 草榴视频网| 激情久久久久| 99热热九九| 亚洲亚洲人成综合网络| 丁香美女主播视频在线观看 | 无码色| 日本啪啪网| 色色热| 热99re| 日本97久久久精品| 开心激情五月天网| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | www99热| 国产真实乱了老女人视频| 激情丁香六月| 91成人视频| 专区无日本视频高清8| 颜射 精品性爱av| 另类婷婷五月天啪帕帕| 激情六月天婷婷| 69堂午夜视频最新地址| 五月丁香综缴情性爱| 五月婷婷激情五月| 天天做天天爱高潮片| 亚洲av| 色婷婷天堂| 激情小说五月丁香在线视频观看视频| AV中文网| 91人操人人人操人| 色综合xx| 久热9热| 任你日视频| 深爱激情小说五月婷婷| 97在线日本| 色播五月网| 成人性爱精品视频| 五月天天堂久久| 天天干天天干天天干| 日韩在线五月天婷婷| 精品人人操| 亚洲激情四射色| 色99热| 天堂五月婷婷| 激情久久综合网| 日本天天操| 色色com| 美女五月激情| 九九色情网五月天| 开心五月网| 久久婷婷六月综合| 欧美性二区| 任你干aa| 激情九九六月激情免费视频| 99久久这里只有精品免费官网| 五月丁香成人小说| 婷婷五月天777| 亚洲无码九九九| 五月丁香在线| 五月激情影视| 狠狠 婷婷| 超碰人人妻| 久久六月天| 欧美va在线| 亚洲激情淫网| 久久久久久久久久91| 国产五月视频| 92久久| 五月天精品视频| 日本女天天爽| 99久久五月婷婷| 人妻中文在线| 婷婷久久综合| 五月丁香在线视频观看| 91oumei| 五月天伊人| 欧美日本另类| 激情丰满熟妇五月| 九色视频91| 影音先锋91视频| 欧美日综合| 五月丁香婷婷成人网| 久99久视频免费观看| 天堂五月婷婷| 五月天丁香成人社| 99热国内| 久操人| 97色婷婷| 日韩操人| 色色色色色网| 99re熱| 欧美激情综合| 五月婷婷综合激情| 99成人网一区| 综合啪啪| 伊人色综合影院视频| 香蕉视频91| 婷婷色丁香五月| 665566 无码| 老师的粉嫩小又紧水又多A片视频| 婷婷丁香五月天激情| 成人av播放| 日本A片一区| 免费看欧美成人A片无码| 超碰超碰在线| 直接看的AV| 五月婷婷在线网站| 狠狠操.com| 激情综合国产| 亚洲图色五月天| 亚洲字幕AV一区二区三区四区| 五月丁香啪啪综合| 婷婷中文字幕网| 99久久综合精品五月天| 开心激情色婷婷五月天| 久久婷.com| 亚洲色图在线视频| 丁香五月天91| .精品久久久麻豆国产精品| 精品久热| 五月丁香婷婷人体| 91超级碰碰碰| 91婷婷伊人牛牛| 97性高潮久久久| www.丁香六月婷婷久久天堂影院.con| a在线观看| 超碰人人在线| 成人综合视频在线| 五月丁香成人视频| 深爱激情69热| 人人干AV| 色五月天成人在线| 91精品久久久久久综合五月天| 九热久| 色开心五月丁香| 综合久久婷婷99| 午夜天堂一区人妻| 婷婷丁香色五月亚洲| 久久九九国产| 大香婷婷| Aα在线免费观看| 色婷婷精| 色爽干| 婷婷五月天基地| 婷婷狠狠干| 五月丁香激情啪啪| 亚洲午夜视频| 婷婷狠狠操| www激情五月天| 亚洲精品国产精品乱码不99| 99热这里只有精品23| 久久五月天激情婷婷| 色情综合网| 九九激情综合| 97在线精品视频| 亚洲中文AV| 久草热8精品视频在线观看| 超碰免费在线| 在线99热| 激情AV| 五月丁香激情四射| 超碰免费大香蕉| 久久看婷婷| 五月天六月婷婷| 玖玖热视频| 丁香六月色婷婷综合| 久久AV电影| 激情美女五月天激情在线| 激情黄色小说色五月| 丁香影院五月综合| 亚洲岛国电影| 色五月色开心开心五月| www.1024久久| 99视频极品在线香蕉| 国产真实乱对白精彩| 少妇AB又爽又紧无码网站| 中文字幕无码人妻少妇免费视频| 荡乳尤物3HP1V5| 青草青草视频2免费观看| 日本人妻伦在线中文字幕| 成人做爰A片免费看网站找不到了 国产露脸150部国语对白 | 乱精品一区字幕二区| 久久九九免费视频| 狠狠干在线| 9久久久久| 五月天偷拍| 五月婷婷啪啪| 看国产探花操逼三级片| 丁香六月无码播放| 六月丁香婷婷六月激情综合| 五月丁香婷婷开心| 99热这里只有精品无码| 涩五月色婷婷| 这里只有精品视频免费在线观看| 五月亭亭网成人在线视频| 色五月婷婷老师| 99热在线看片| 久久婷婷色综合| 综合啪啪| 亚洲无码99| 日韩黄色影院| 日韩AC在线免费观看| 久久一操| 91婷婷搞| 久久久精品AV| 五月天激情黄色小说在线观看| 亚洲AV综合在线观看| 九九热视频精品2| 久久这里只有精彩| 狠狠va| 六月婷婷国产| 五月婷婷六月情| 碰碰91| 婷婷导航| 国产人妻人伦精品一区二区| 欧州婷婷五月天综合| 五月激情久久| 人人干女人| 丁香五月激情啪啪| 五月综合在线婷婷图片| 五月开心深深爱激情综合| 夜夜骑夜夜操| 99ri在线观看视频| www.zbzhongsen.com| 国产肥白大熟妇BBBB视频| www.久操| 亚洲综合色成丁香五月色| 激情色情五月天| 黄色成人网站在线播放| 99re热| 五月丁香婷婷潮喷中文字幕| 色婷婷综合影院| 婷婷五月天激情小说| 色99视频| 久久您您综合网| 日本97久久久精品| 九色婷婷| 欧美久久五月婷婷| 妻久久人久久| 综激情网| 丰满女老板BD高清A片|