欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

嵌入式內(nèi)存管理實(shí)戰(zhàn):泄漏、碎片化與棧溢出排查指南

嵌入式內(nèi)存管理實(shí)戰(zhàn):泄漏、碎片化與棧溢出排查指南 你有過這種經(jīng)歷嗎一個(gè)設(shè)備放產(chǎn)線上一跑就是好幾天突然某天早上現(xiàn)場打電話過來說設(shè)備掛了看門狗復(fù)位串口日志最后幾行全是亂碼。上去看了一眼CPU占用不高溫度也正常Flash也還有空間想了半天才發(fā)現(xiàn)是內(nèi)存的問題——不是內(nèi)存條壞了而是代碼里的內(nèi)存被悄悄耗光、踩爛、碎片化了。這就是我寫“一堂嵌入式內(nèi)存課”的原因。嵌入式開發(fā)里內(nèi)存從來不是“配置項(xiàng)”而是你每天都在跟它博弈的對手。很多人學(xué)單片機(jī)、學(xué)Linux驅(qū)動、學(xué)RTOS可以寫出一堆功能正常的代碼但一到長時(shí)間運(yùn)行、高并發(fā)中斷、多任務(wù)調(diào)度的場景就露餡。而內(nèi)存相關(guān)的知識點(diǎn)恰恰也是嵌入式面試?yán)锏母哳l八股結(jié)構(gòu)體對齊為什么浪費(fèi)空間malloc失敗是不是只有內(nèi)存不夠這一個(gè)原因棧和堆到底誰快全局變量為什么最好別亂用這些問題背答案容易真拿到代碼里說清楚很多人會卡殼。這篇文章不打算給你上一節(jié)學(xué)院派的理論課我會從實(shí)際項(xiàng)目的角度出發(fā)把嵌入式內(nèi)存的整個(gè)框架拆開內(nèi)存到底長什么樣、哪些地方容易出問題、出了問題怎么定位、平時(shí)怎么從設(shè)計(jì)上省內(nèi)存。無論你是剛轉(zhuǎn)嵌入式的小白還是被線上問題折磨的苦逼工程師或者正在準(zhǔn)備嵌入式崗位面試這篇內(nèi)容都值得你花十分鐘慢慢看完。1. 為什么嵌入式開發(fā)者必須把內(nèi)存當(dāng)成第一等大事1.1 一個(gè)跑了幾天的設(shè)備為什么說掛就掛先講一個(gè)我實(shí)際處理過的故障。一個(gè)遠(yuǎn)程升級后的終端設(shè)備用戶反饋平均每三天自動重啟一次。排查方向一開始完全跑偏了懷疑是網(wǎng)絡(luò)心跳超時(shí)導(dǎo)致看門狗復(fù)位又懷疑是Flash寫入導(dǎo)致系統(tǒng)卡死查了兩周沒結(jié)果。后來我把日志里每次復(fù)位前的上下文全部打出來發(fā)現(xiàn)進(jìn)程是在調(diào)用一個(gè)網(wǎng)絡(luò)報(bào)文解析函數(shù)時(shí)掛掉的再往深挖是函數(shù)里有一段對緩沖區(qū)寫入的操作長度沒有做邊界檢查數(shù)據(jù)稍大就把棧給踩了。這種問題在開發(fā)環(huán)境里很難復(fù)現(xiàn)因?yàn)闇y試數(shù)據(jù)量小你不可能每次都發(fā)超長報(bào)文可一旦上了產(chǎn)線各種極端情況都會冒出來。這個(gè)案例想說明一個(gè)非常樸素的道理嵌入式環(huán)境里的大部分嚴(yán)重故障根源都在內(nèi)存。棧溢出、堆越界、野指針、內(nèi)存泄漏它們不會立刻讓你程序崩掉而是像一顆定時(shí)炸彈跑幾小時(shí)、幾天、甚至幾周后突然發(fā)作。更麻煩的是這類問題通常在開發(fā)機(jī)上無法穩(wěn)定復(fù)現(xiàn)等到現(xiàn)場才暴露排障成本極其高昂。所以這塊內(nèi)容值得你提前用心學(xué)而不是等炸彈炸了再補(bǔ)課。1.2 從面試題到架構(gòu)設(shè)計(jì)內(nèi)存是嵌入式崗位的分水嶺嵌入式崗位的面試題里和內(nèi)存相關(guān)的題目幾乎必考。我隨手列幾個(gè)高頻的sizeof一個(gè)結(jié)構(gòu)體為什么不是成員大小之和malloc返回NULL的概率有多大返回非NULL就一定能用嗎free之后指針為什么要置NULL局部數(shù)組開多大才算合理遞歸在嵌入式里為什么危險(xiǎn)這些題目考的不是記憶力而是你有沒有真正理解程序運(yùn)行時(shí)的內(nèi)存模型。能背出答案的人很多但能把答案講透的人很少。比如結(jié)構(gòu)體對齊很多人知道CPU為了性能會填充字節(jié)但到了自己定義結(jié)構(gòu)體時(shí)依然把char、uint32_t、uint16_t隨便排列一個(gè)簡單的配置文件結(jié)構(gòu)體白白多占幾十字節(jié)。再比如malloc失敗很多人以為系統(tǒng)只剩下一點(diǎn)點(diǎn)內(nèi)存才會失敗但實(shí)際情況里堆碎片化導(dǎo)致連續(xù)大塊內(nèi)存分配失敗比真正物理內(nèi)存不足要常見得多。這些問題在工作中一旦遇到就非??简?yàn)?zāi)銓?nèi)存機(jī)制的理解深度。往上看一層嵌入式架構(gòu)師和普通開發(fā)者的差異也往往體現(xiàn)在內(nèi)存設(shè)計(jì)上。普通開發(fā)者考慮的是一段代碼怎么跑通架構(gòu)師考慮的是這個(gè)系統(tǒng)允許有多少個(gè)連接、每個(gè)連接占用多少緩沖、總量控制在多少、峰值情況怎么降級。內(nèi)存對于嵌入式系統(tǒng)來說就是預(yù)算花錢要有規(guī)劃不能想怎么花就怎么花。1.3 嵌入式內(nèi)存觀把“夠用”變成“省著用”PC和服務(wù)器上的程序員可以不用太在意內(nèi)存反正物理內(nèi)存不夠還有虛擬內(nèi)存虛擬內(nèi)存不夠還能加條子。但嵌入式的內(nèi)存觀完全不同我總結(jié)了幾個(gè)關(guān)鍵差異。第一嵌入式設(shè)備通常沒有swap交換空間。也就是說內(nèi)存告急就是真的告急操作系統(tǒng)沒法把一部分?jǐn)?shù)據(jù)挪到磁盤上緩解壓力系統(tǒng)只會直接分配失敗甚至觸發(fā)看門狗復(fù)位。第二嵌入式系統(tǒng)的堆空間往往是固定的比如你在鏈接腳本里給堆分配了64KB那就是64KB用完了就沒了。第三嵌入式系統(tǒng)里不僅有CPU訪問的內(nèi)存還有DMA緩沖區(qū)、外設(shè)寄存器映射、共享內(nèi)存、DDR和SRAM等不同物理內(nèi)存域它們的訪問方式、生命周期、對齊要求都不一樣比純應(yīng)用開發(fā)復(fù)雜得多。所以做嵌入式開發(fā)心態(tài)要調(diào)整成“省著用”。內(nèi)存不是拿來浪費(fèi)的而是要精確計(jì)算、合理分配的。這個(gè)意識會貫穿你整個(gè)職業(yè)生涯從第一行嵌入式代碼開始到設(shè)計(jì)一個(gè)完整的嵌入式Linux項(xiàng)目你都在跟內(nèi)存打交道。懂得內(nèi)存你才敢說自己入門了嵌入式。2. 先把內(nèi)存的全景摸清楚棧、堆、全局區(qū)與外設(shè)2.1 C程序的內(nèi)存布局背下來未必有用畫出來才有用嵌入式C程序的內(nèi)存布局其實(shí)非常固定但很多人從來沒有認(rèn)真畫過一遍。以典型的單片機(jī)或者嵌入式Linux用戶態(tài)程序?yàn)槔龔牡偷刂返礁叩刂反笾戮褪谴a段、只讀數(shù)據(jù)段、已初始化數(shù)據(jù)段、未初始化數(shù)據(jù)段、堆、棧棧頂以下是內(nèi)核映射區(qū)或保留區(qū)域。代碼段存放機(jī)器指令正常情況下只讀只讀數(shù)據(jù)段放字符串常量、const修飾的全局變量已初始化數(shù)據(jù)段也叫.data段放有初值的全局變量和靜態(tài)變量未初始化數(shù)據(jù)段也就是.bss段放沒顯式初始化的全局變量和靜態(tài)變量這一段不占用實(shí)際的Flash空間加載時(shí)被清零堆是向上生長的那塊動態(tài)內(nèi)存區(qū)域由malloc/new或者RTOS里專用的堆管理來分配棧是向下生長的存函數(shù)調(diào)用幀、局部變量、函數(shù)返回地址等。畫過一遍你就會發(fā)現(xiàn)C語言的很多經(jīng)典問題都可以在這個(gè)圖里找到答案。比如為什么函數(shù)里定義一個(gè)超大數(shù)組容易出事因?yàn)樗玫氖菞?臻g而??臻g通常只有幾KB到幾十KB一個(gè)4KB的局部數(shù)組對某些MCU來說已經(jīng)是災(zāi)難了。再比如為什么字符串常量不能修改因?yàn)樗≡谥蛔x數(shù)據(jù)段強(qiáng)行寫進(jìn)去就是越權(quán)訪問在MCU上會觸發(fā)硬件異常在嵌入式Linux上會拿到一個(gè)Segmentation fault。2.2 堆、棧、全局區(qū)/常量區(qū)分別該放什么不放什么我經(jīng)常被問到寫代碼時(shí)到底應(yīng)該把數(shù)據(jù)放在哪這里給出我個(gè)人的分法不一定適合所有場景但大部分嵌入式項(xiàng)目都可以參考。棧上放的應(yīng)該是生命周期很短的臨時(shí)數(shù)據(jù)比如函數(shù)里的解析緩沖區(qū)、循環(huán)變量、臨時(shí)結(jié)構(gòu)體。它的好處是自動分配自動釋放速度快基本沒有管理成本。缺點(diǎn)也很明顯空間有限函數(shù)退出就失效不能跨函數(shù)傳遞大塊數(shù)據(jù)。堆上放的是生命周期需要人工控制的數(shù)據(jù)比如動態(tài)增長的鏈表節(jié)點(diǎn)、接收緩存、協(xié)議幀隊(duì)列。它的靈活性最高但如果忘記釋放就會泄漏釋放之后繼續(xù)用就會出現(xiàn)踩內(nèi)存。全局區(qū)和靜態(tài)區(qū)適合放生命周期貫穿整個(gè)程序的數(shù)據(jù)比如協(xié)議棧的收發(fā)緩沖區(qū)、系統(tǒng)配置表、日志緩沖。它的訪問效率高沒有堆分配的開銷但要注意多個(gè)模塊同時(shí)訪問時(shí)會產(chǎn)生耦合而且全局變量多了代碼很難維護(hù)。這里有一條關(guān)鍵建議能用靜態(tài)和棧解決的就不要上堆。在嵌入式環(huán)境里堆是風(fēng)險(xiǎn)最集中的區(qū)域碎片化、泄漏、越界全都在堆上爆發(fā)。如果你發(fā)現(xiàn)自己的代碼大量使用malloc/free每隔幾毫秒就來一次那么第一反應(yīng)不應(yīng)該是“我的程序很靈活”而應(yīng)該是“我的設(shè)計(jì)是不是有問題”。2.3 寄存器、DMA、外設(shè)地址映射RAM之外的內(nèi)存嚴(yán)格來說嵌入式工程師口里的“內(nèi)存”不只是RAM。你寫的每一條訪問外設(shè)寄存器的語句本質(zhì)上也是在操作“內(nèi)存”。在STM32這類單片機(jī)上GPIO、UART、DMA控制器的寄存器都被映射到固定的地址空間你直接對指針賦值就能控制外設(shè)在嵌入式Linux上驅(qū)動工程師用ioremap把物理地址映射到內(nèi)核虛擬地址空間操作方式和操作內(nèi)存一模一樣。這里最需要注意的關(guān)鍵字是volatile。外設(shè)寄存器是隨時(shí)可能被硬件改變的如果你的代碼里用了一個(gè)普通指針去讀它編譯器很可能會做出錯(cuò)誤優(yōu)化把多次讀取合并成一次導(dǎo)致你讀到的永遠(yuǎn)是舊值。我見過不止一次串口接收標(biāo)志位明明已經(jīng)置1了但主循環(huán)一直讀不到就是這個(gè)原因。DMA緩沖區(qū)則是另一個(gè)容易出問題的地方。DMA直接搬運(yùn)內(nèi)存不走CPU所以如果CPU和DMA同時(shí)訪問一塊區(qū)域就存在數(shù)據(jù)一致性的風(fēng)險(xiǎn)。在帶Cache的嵌入式處理器上這個(gè)風(fēng)險(xiǎn)會被放大DMA寫入的數(shù)據(jù)可能還在Cache里沒有回到物理內(nèi)存CPU去讀物理內(nèi)存時(shí)讀到的是舊數(shù)據(jù)反過來CPU寫好的數(shù)據(jù)還躺在Cache里DMA去搬物理內(nèi)存時(shí)搬走的也是舊數(shù)據(jù)。正確的做法是在DMA操作前做Cache的clean或invalidate操作很多嵌入式Linux驅(qū)動里都能看到dma_map_single、dma_alloc_coherent這類API就是在幫你處理這種一致性。2.4 三種分配方式的實(shí)際對比靜態(tài)、動態(tài)、池化內(nèi)存從哪里來最直觀影響系統(tǒng)穩(wěn)定性的就是堆的管理方式。靜態(tài)分配、動態(tài)分配、內(nèi)存池分配三種方式各有適用場景工程上我會這樣取舍。靜態(tài)分配是在編譯期確定大小最簡單、最穩(wěn)定沒有任何運(yùn)行時(shí)開銷也不會碎片化但靈活性差。如果某個(gè)緩沖區(qū)設(shè)計(jì)小了就只能改代碼重新編譯。動態(tài)分配是malloc/free靈活度最高但碎片和泄漏的風(fēng)險(xiǎn)也最高。實(shí)時(shí)性要求高的系統(tǒng)還要警惕malloc內(nèi)部的鎖和復(fù)雜算法它可能在你需要毫秒級響應(yīng)的時(shí)候給你來一次幾十微秒的卡頓。內(nèi)存池分配是提前開好一塊內(nèi)存然后切成固定大小的塊用鏈表維護(hù)空閑塊。分配釋放都只是從鏈表頭摘節(jié)點(diǎn)速度極快沒有碎片問題代價(jià)是每個(gè)塊只能按最大規(guī)格使用會有內(nèi)部浪費(fèi)。我自己的實(shí)踐里網(wǎng)絡(luò)協(xié)議棧、消息隊(duì)列、RTOS的任務(wù)棧這一類高頻使用、大小基本固定的資源全部走內(nèi)存池偶爾一次性分配的大塊資源比如配置文件讀入、開機(jī)時(shí)申請的臨時(shí)大緩沖才用malloc至于那些貫穿整個(gè)生命周期的協(xié)議幀緩沖直接靜態(tài)全局?jǐn)?shù)組。這套組合拳在長時(shí)間運(yùn)行的設(shè)備上實(shí)測非常穩(wěn)內(nèi)存占用始終是一條平線不會有緩慢爬升的詭異曲線。3. 嵌入式內(nèi)存四大頑疾泄漏、踩踏、碎片與棧溢出3.1 內(nèi)存泄漏寫入緩沖區(qū)的方式和“拆東墻補(bǔ)西墻”內(nèi)存泄漏是嵌入式現(xiàn)場最經(jīng)典的問題。代碼邏輯本身沒有任何編譯錯(cuò)誤功能也正常但設(shè)備跑著跑著越來越卡最后內(nèi)存耗盡復(fù)位。我舉個(gè)最常見的錯(cuò)誤寫法void on_rx_data(uint8_t *buf, uint16_t len) { char *tmp (char *)malloc(len); if (tmp NULL) { return; } memcpy(tmp, buf, len); // 處理數(shù)據(jù)... // 忘記 free(tmp) }這段代碼里每次收到一幀數(shù)據(jù)就malloc一塊內(nèi)存處理完卻沒有free。一次兩次看不出來但嵌入式設(shè)備的網(wǎng)絡(luò)連接往往會長久保持每秒來幾幀數(shù)據(jù)幾個(gè)小時(shí)泄漏幾百KB幾天下來整個(gè)堆全被吃光。這種“寫入緩沖區(qū)之后忘記釋放”的模式在協(xié)議解析、日志上報(bào)、消息轉(zhuǎn)發(fā)的代碼里特別常見寫的時(shí)候很順手排查的時(shí)候特別煎熬。定位內(nèi)存泄漏常用的手段有幾招。Linux環(huán)境下可以用valgrind雖然慢但定位準(zhǔn)確也可以用AddressSanitizer編譯加-fsanitizeaddress就能在運(yùn)行時(shí)檢測泄漏。裸機(jī)和RTOS環(huán)境就比較原始了通常是在堆管理函數(shù)里加統(tǒng)計(jì)計(jì)數(shù)申請一次加一釋放一次減一定期把當(dāng)前剩余堆大小打印出來。如果一個(gè)模塊的剩余堆大小隨時(shí)間單調(diào)下降那基本就是它泄漏了。我自己的習(xí)慣是每個(gè)動態(tài)內(nèi)存申請點(diǎn)都記得在注釋里寫清釋放配對的位置雖然聽起來很傻但真的很管用。3.2 緩沖區(qū)溢出與踩內(nèi)存valgrind 與 ASan 雙殺緩沖區(qū)溢出和踩內(nèi)存是最讓人頭疼的問題因?yàn)楸ìF(xiàn)場和肇事現(xiàn)場往往不是同一個(gè)地方。你可能在A模塊往緩沖區(qū)里寫多了幾個(gè)字節(jié)B模塊的全局變量就被改掉設(shè)備在某一個(gè)完全無關(guān)的功能上表現(xiàn)異常。看這段典型的越界代碼void process_packet(uint8_t *data, uint16_t len) { uint8_t local_buf[64]; if (len 64) { // 缺陷沒有做長度檢查直接越界拷貝 } memcpy(local_buf, data, len); }當(dāng)len超過64時(shí)memcpy就會越過local_buf的邊界把后面的棧內(nèi)容——包括函數(shù)返回地址——全部覆蓋掉。程序跑完這個(gè)函數(shù)后返回地址已經(jīng)變成一個(gè)隨機(jī)值CPU跳飛硬件異常看門狗復(fù)位只是時(shí)間問題。更陰險(xiǎn)的情況是越界量比較小比如只多寫了2字節(jié)剛好覆蓋了相鄰變量程序還能繼續(xù)跑但某個(gè)變量值開始無規(guī)律變化這種問題排查起來需要極致的耐心。我的排障習(xí)慣是優(yōu)先用工具。嵌入式Linux下直接開ASan編一版出來跑測試它能精確報(bào)告是哪個(gè)文件哪一行越界了沒有ASan條件的話就用valgrind的memcheck工具把越界寫和非法讀都揪出來。裸機(jī)環(huán)境下通常沒有現(xiàn)成工具我會在可疑數(shù)組前后放特殊填充字節(jié)比如0xAA、0x55定期檢查填充字節(jié)有沒有被改寫。如果被改了說明附近有人越界。這個(gè)土辦法雖然原始但關(guān)鍵時(shí)候比什么高級工具都靠譜。3.3 堆碎片化bin/arena/分配器以及長時(shí)間運(yùn)行的隱形殺手內(nèi)存碎片化這個(gè)主題很多做上位機(jī)開發(fā)的程序員根本沒概念。PC上有swap機(jī)制虛擬內(nèi)存把碎片問題掩蓋掉了。但在嵌入式設(shè)備里堆碎片化是讓系統(tǒng)崩潰的隱形殺手。碎片化的原理不難理解你不停地malloc和free各種大小的內(nèi)存塊內(nèi)存空間被切成了很多小窟窿。每一塊單個(gè)看都不小但它們在物理上不連續(xù)。當(dāng)你需要申請一塊較大的連續(xù)內(nèi)存時(shí)雖然空閑內(nèi)存總額是夠的但沒有一塊連續(xù)空間能滿足需求malloc就會返回NULL。典型的例子是設(shè)備運(yùn)行三天后調(diào)用鏈穩(wěn)定的malloc突然開始失敗但你看free內(nèi)存還有好幾KB。glibc的malloc實(shí)現(xiàn)里fastbin和smallbin會在一定程度上減少碎片但長期交錯(cuò)分配大小時(shí)仍然無力回天。內(nèi)核側(cè)的伙伴系統(tǒng)和slab分配器本質(zhì)上也是在做碎片控制伙伴系統(tǒng)按2的冪次劃分頁塊slab則緩存同類型對象。這些思想在應(yīng)用層完全可以借鑒最直接的方案就是我前面提到的內(nèi)存池。固定大小的池沒有碎片問題因?yàn)獒尫呕厝サ膲K和申請的塊規(guī)格一樣如果有不同大小的需求就開兩個(gè)池子分別管理。這個(gè)設(shè)計(jì)在我的項(xiàng)目里能把堆分配次數(shù)降到接近零系統(tǒng)的長期運(yùn)行穩(wěn)定性提升非常明顯。3.4 棧溢出局部數(shù)組、遞歸和任務(wù)棧配置棧溢出在嵌入式系統(tǒng)里非常隱蔽因?yàn)楹芏鄷r(shí)候它不報(bào)錯(cuò)只是悄悄破壞數(shù)據(jù)。我在1.1里講的那個(gè)設(shè)備三天重啟一次的案例根源就是棧被越界拷貝踩了。常見引發(fā)棧溢出的行為包括局部數(shù)組開得太大比如在函數(shù)里定義uint8_t big_buffer[8192]而整個(gè)任務(wù)棧才8192字節(jié)遞歸調(diào)用沒有深度限制每個(gè)遞歸層級都消耗棧幀深層函數(shù)調(diào)用鏈加上大的局部變量在多層調(diào)用疊加后瞬間擊穿棧底。RTOS環(huán)境里每個(gè)任務(wù)都有自己的棧棧大小由你在創(chuàng)建任務(wù)時(shí)指定。很多人不重視這個(gè)參數(shù)隨手填個(gè)128或者512字節(jié)省空間結(jié)果運(yùn)行一段時(shí)間后任務(wù)棧溢出系統(tǒng)隨機(jī)死機(jī)。我建議的做法是在任務(wù)棧的底部放幾個(gè)特殊魔數(shù)定期去檢查魔數(shù)有沒有被改寫。如果被改了就說明棧溢出了然后逐步加大棧大小直到魔數(shù)保持穩(wěn)定。另外還可以用工具鏈提供的棧使用統(tǒng)計(jì)比如GCC的-fstack-usage選項(xiàng)編譯后能生成每個(gè)函數(shù)的棧占用報(bào)告匯總一下就能算出任務(wù)棧的理論上限非常實(shí)用。4. 實(shí)操一個(gè)嵌入式Linux項(xiàng)目的內(nèi)存優(yōu)化實(shí)戰(zhàn)4.1 對著 /proc 和 top 看內(nèi)存別只看 free嵌入式Linux項(xiàng)目里排查內(nèi)存很多人上來就敲free -m看到MemFree剩幾十MB就覺得沒問題。這個(gè)判斷方式會誤導(dǎo)你。Linux內(nèi)核會盡量把空閑內(nèi)存拿去做page cache所以MemFree低不代表內(nèi)存真不夠用MemAvailable才是系統(tǒng)當(dāng)前實(shí)際可以分配出去的內(nèi)存估算值。我習(xí)慣是這樣的先看/proc/meminfo里的關(guān)鍵項(xiàng)其次是具體進(jìn)程的內(nèi)存占用。給大家?guī)讉€(gè)最常用的命令組合# 系統(tǒng)級內(nèi)存總覽 cat /proc/meminfo | head -n 5 # 某個(gè)進(jìn)程的虛擬內(nèi)存和物理內(nèi)存峰值 cat /proc/pid/status | grep -E VmPeak|VmSize|VmRSS|RssAnon|RssFile # 按物理內(nèi)存占用排序進(jìn)程 ps -eo pid,comm,rss --sort-rss | head -n 20VmRSS代表進(jìn)程當(dāng)前實(shí)際占用的物理內(nèi)存這是最值得關(guān)注的指標(biāo)。如果一個(gè)長期運(yùn)行的進(jìn)程VmRSS持續(xù)增長那就要懷疑泄漏如果VmRSS保持平穩(wěn)但malloc偶爾失敗那要懷疑是不是虛擬內(nèi)存映射過多或者碎片化了。數(shù)據(jù)要看趨勢不要只看孤立的某一個(gè)瞬間。4.2 抓大放小按 VmRSS 找大頭再按調(diào)用鏈治本定位內(nèi)存大頭不能靠猜我有一套固定的實(shí)操流程。第一步用ps命令按RSS排序找到占內(nèi)存最多的幾個(gè)進(jìn)程第二步對嫌疑進(jìn)程查看/proc/PID/maps看清楚它映射了哪些庫、哪些大塊內(nèi)存第三步如果是自己的程序可以臨時(shí)打開glibc的malloc統(tǒng)計(jì)代碼里調(diào)用mallinfo()拿到uordblks等字段看堆里真正使用的字節(jié)數(shù)第四步結(jié)合代碼的調(diào)用鏈找出內(nèi)存增長的真實(shí)來源。有一個(gè)真實(shí)案例我印象很深。一臺嵌入式網(wǎng)關(guān)設(shè)備內(nèi)存總占用隨運(yùn)行時(shí)間穩(wěn)定爬升數(shù)值很規(guī)律每小時(shí)漲幾十KB。一開始懷疑是某個(gè)網(wǎng)絡(luò)會話泄漏排查了很久沒結(jié)果。后來無意中發(fā)現(xiàn)是日志模塊的問題日志字符串用的是追加寫入的方式每次寫日志都realloc擴(kuò)大緩沖區(qū)但日志滿了之后只做了截?cái)鄾]有把malloc的冗余容量realloc回來導(dǎo)致緩沖區(qū)容量越漲越大變成了幾十MB。這類問題本質(zhì)上是“偽泄漏”malloc的總量并沒有一直漲但緩沖區(qū)冗余越來越大反映在RSS上就是一條持續(xù)上升的曲線。定位到原因后我在日志模塊里加了一個(gè)容量收縮策略每次flush完就把緩沖區(qū)縮小到實(shí)際內(nèi)容大小內(nèi)存曲線立刻恢復(fù)正常。所以在做內(nèi)存優(yōu)化時(shí)第一原則是抓大放小。不要一開始就糾結(jié)那幾字節(jié)的結(jié)構(gòu)體對齊先用工具把內(nèi)存大頭找出來再決定值不值得優(yōu)化。真正的優(yōu)化永遠(yuǎn)是有數(shù)據(jù)支撐的優(yōu)化。4.3 結(jié)構(gòu)體重排、位域、環(huán)形緩沖……我常用的幾個(gè)省錢技巧在內(nèi)存大頭解決之后再來摳細(xì)節(jié)才有意義。我最常用的幾個(gè)“省錢”技巧全部在工程里實(shí)測有效。第一個(gè)是結(jié)構(gòu)體成員重排。因?yàn)榫幾g器會對齊訪問結(jié)構(gòu)體成員順序直接決定最終大小。看下面這個(gè)例子// 不推薦按隨意順序聲明浪費(fèi)空間 struct cfg_a { char type; // 1字節(jié) uint32_t value; // 4字節(jié) uint16_t id; // 2字節(jié) }; // sizeof 12 // 推薦按對齊字節(jié)數(shù)從大到小排列 struct cfg_b { uint32_t value; // 4字節(jié) uint16_t id; // 2字節(jié) char type; // 1字節(jié) }; // sizeof 8兩個(gè)結(jié)構(gòu)體字段完全一樣只是順序不同cfg_a占了12字節(jié)cfg_b只占8字節(jié)。如果一個(gè)數(shù)組有1000個(gè)元素差距就是4KB。規(guī)則很簡單從最大的類型開始放小的往后排最后統(tǒng)一補(bǔ)padding。至于#pragma pack強(qiáng)行壓縮對齊我建議慎用雖然能省空間但可能導(dǎo)致非對齊訪問在ARM平臺上輕則性能下降重則觸發(fā)硬件異常。第二個(gè)是位域。對于大量bool型的配置項(xiàng)與其每個(gè)都占一個(gè)字節(jié)不如按位打包。比如8個(gè)開關(guān)狀態(tài)用一個(gè)uint8_t就裝下了比8個(gè)uint8_t省7個(gè)字節(jié)。代價(jià)是代碼可讀性下降存取都要做位運(yùn)算所以只建議在配置結(jié)構(gòu)體這類對空間敏感的場景使用。第三個(gè)是環(huán)形緩沖區(qū)。協(xié)議解析、串口收發(fā)、日志輸出這類場景最理想的結(jié)構(gòu)就是ring buffer。固定大小、無動態(tài)分配、天然FIFO我用得非常多。一個(gè)常用的優(yōu)化技巧是把ring buffer的size設(shè)置為2的冪然后用位與運(yùn)算代替取模運(yùn)算性能會有明顯提升#define RING_SIZE 4096 static uint8_t ring_buf[RING_SIZE]; static uint16_t head, tail; int ring_push(uint8_t byte) { // 判斷是否滿保留一個(gè)空位區(qū)分空和滿 if (((head 1) (RING_SIZE - 1)) tail) { return -1; // 滿 } ring_buf[head] byte; head (head 1) (RING_SIZE - 1); return 0; }在嵌入式Linux同樣適用mmap加MAP_SHARED之后配合信號量或者自旋鎖做互斥。這里面有個(gè)隱藏的坑共享內(nèi)存里的結(jié)構(gòu)體涉及多端編譯時(shí)一定要顯式控制內(nèi)存布局否則一個(gè)平臺認(rèn)4字節(jié)對齊另一個(gè)平臺認(rèn)8字節(jié)對齊共享數(shù)據(jù)就全亂了。標(biāo)準(zhǔn)做法是定義明確寬度的整數(shù)類型加上packed屬性或者精心設(shè)計(jì)的對齊必要時(shí)還要固定大小端。這塊我后面講。4.4 多任務(wù)系統(tǒng)里的共享內(nèi)存與堆外內(nèi)存怎么玩嵌入式系統(tǒng)很少只有一個(gè)任務(wù)。RTOS環(huán)境里多個(gè)任務(wù)并發(fā)訪問同一塊內(nèi)存嵌入式Linux環(huán)境里多進(jìn)程通過mmap共享內(nèi)存這些都是普通應(yīng)用不常遇到的高級場景。RTOS里的任務(wù)間通信我首推消息隊(duì)列而不是裸的全局變量共享。消息隊(duì)列的本質(zhì)是內(nèi)核幫你管理一塊緩沖區(qū)發(fā)送方寫入接收方讀取不涉及直接競爭也就繞開了大部分并發(fā)訪問問題。但有些場景必須共享大塊內(nèi)存比如音頻數(shù)據(jù)、圖像幀這時(shí)候就要用到互斥鎖。要注意RTOS的互斥鎖有優(yōu)先級繼承機(jī)制普通信號量沒有用錯(cuò)了在實(shí)時(shí)系統(tǒng)中會造成優(yōu)先級翻轉(zhuǎn)這個(gè)細(xì)節(jié)在面試?yán)镆步?jīng)常被問。嵌入式Linux下最常用的共享內(nèi)存方式就是mmap。一個(gè)典型的做法是MAP_SHARED加寫回文件兩個(gè)進(jìn)程都能讀寫同一段物理內(nèi)存。這個(gè)過程里有兩個(gè)關(guān)鍵細(xì)節(jié)第一共享內(nèi)存區(qū)需要專門的初始化流程通常先由主進(jìn)程創(chuàng)建并清零再從設(shè)備節(jié)點(diǎn)或共享文件系統(tǒng)里映射第二跨進(jìn)程的共享內(nèi)存訪問必須配套同步機(jī)制否則兩個(gè)進(jìn)程同時(shí)寫就會出現(xiàn)數(shù)據(jù)錯(cuò)亂。至于“堆外內(nèi)存”這個(gè)概念在嵌入式的語境下通常指不經(jīng)過AC標(biāo)準(zhǔn)庫malloc管理的內(nèi)存。比如你直接用一個(gè)固定的物理地址做DMA緩沖區(qū)或者用mmap映射一塊設(shè)備內(nèi)存這些都算堆外內(nèi)存。它的好處是繞過堆管理器的碎片和開銷問題壞處是你要自己負(fù)責(zé)生命周期和對齊。嵌入式Linux里分配DMA連續(xù)內(nèi)存一般要靠CMA機(jī)制makedma_contiguous或設(shè)備樹里配置reserved-memory普通malloc拿不到連續(xù)的物理頁這是“大內(nèi)存架構(gòu)”設(shè)計(jì)里繞不開的一部分。5. 嵌入式內(nèi)存面試八股與排障速查5.1 嵌入式八股文哪些內(nèi)存問題會被反復(fù)問接下來說說面試。八股文這個(gè)詞在嵌入式圈子里很有爭議有人說面試造火箭、工作擰螺絲但內(nèi)存相關(guān)的八股我建議你還是好好背因?yàn)樗鼈兪乔度胧介_發(fā)的地基。下面是我整理的幾道高頻題和要點(diǎn)方便你快速過一遍。第一題sizeof結(jié)構(gòu)體為什么不是成員大小之和因?yàn)榫幾g器會做對齊填充具體和CPU架構(gòu)、編譯器選項(xiàng)、成員順序有關(guān)。第二題malloc失敗就代表內(nèi)存不足嗎不代表??赡苁嵌阉槠瘜?dǎo)致沒有足夠大的連續(xù)空間也可能是當(dāng)前進(jìn)程的虛擬內(nèi)存映射受限。第三題malloc返回非NULL就安全嗎不安全。Linux默認(rèn)開啟了內(nèi)存overcommitmalloc可能返回非NULL但真正訪問時(shí)系統(tǒng)已經(jīng)沒有物理內(nèi)存觸發(fā)OOM killer。第四題棧和堆哪個(gè)快???。棧分配只移動棧指針堆分配需要查找空閑塊、可能觸發(fā)系統(tǒng)調(diào)用、還要處理并發(fā)鎖。所以高頻的小塊臨時(shí)數(shù)據(jù)首選棧。第五題free之后指針要置NULL嗎要看場景。free之后指針本身還持有原地址這是懸空指針再次free或訪問就會踩內(nèi)存。在模塊內(nèi)置NULL是安全習(xí)慣但要清楚這只對當(dāng)前指針有效如果多個(gè)指針指向同一塊內(nèi)存只置其中一個(gè)意義有限。第六題結(jié)構(gòu)體里的柔性數(shù)組用來干什么柔性數(shù)組是C99的特性在結(jié)構(gòu)體尾部聲明一個(gè)不完整數(shù)組可以在不額外分配內(nèi)存的情況下攜帶變長數(shù)據(jù)很多協(xié)議棧的幀結(jié)構(gòu)喜歡這么設(shè)計(jì)既省空間又避免多次malloc。5.2 一份可以直接抄的排查流程每次遇到內(nèi)存問題我都按固定流程走很多團(tuán)隊(duì)里我也這么帶新人。整理成一套六步法你可以直接抄作業(yè)。第一步先歸類現(xiàn)象。是系統(tǒng)復(fù)位、是功能錯(cuò)亂、還是性能劣化不同類型的線索指向不同方向。復(fù)位優(yōu)先查棧溢出和返回地址被踩功能錯(cuò)亂優(yōu)先查野指針和緩沖區(qū)越界性能劣化優(yōu)先查泄漏和碎片。第二步保護(hù)現(xiàn)場。按1.1里說的把復(fù)位前最后一段日志打全把用到的全局狀態(tài)dump出來。沒有現(xiàn)場數(shù)據(jù)后面全是在猜。第三步盡量復(fù)現(xiàn)。嵌入式問題難復(fù)現(xiàn)但可以構(gòu)造條件比如把緩沖區(qū)長度調(diào)到極端值、把任務(wù)棧縮小一半、加大網(wǎng)絡(luò)報(bào)文頻率。第四步上工具。Linux下按優(yōu)先級排序是AddressSanitizer、valgrind、gdb、/proc統(tǒng)計(jì)MCU下按優(yōu)先級排序是棧哨兵、malloc計(jì)數(shù)、手工填充檢查。第五步追蹤趨勢。不要只拍一個(gè)瞬間的快照要連續(xù)采集內(nèi)存數(shù)據(jù)形成曲線看是線性增長、階梯增長還是偶發(fā)跳變不同曲線對應(yīng)不同根因。第六步驗(yàn)證修復(fù)。改完代碼不代表結(jié)束要跑足夠長時(shí)間的壓力測試確認(rèn)內(nèi)存曲線回歸平穩(wěn)然后保留監(jiān)控手段等數(shù)據(jù)說話。5.3 嵌入式內(nèi)存相關(guān)常見問題速查表最后送一張排障速查表平時(shí)遇到問題先對號入座能省不少時(shí)間。癥狀可能原因快速定位手段建議方案運(yùn)行幾天后malloc失敗堆碎片化/內(nèi)存泄漏malloc統(tǒng)計(jì)、mallinfo、valgrind內(nèi)存池化、定位泄漏點(diǎn)某個(gè)全局變量被莫名改寫緩沖區(qū)越界變量附近放canary、ASan檢查memcpy和數(shù)組邊界函數(shù)返回后跳飛/PC亂跳棧被踩/返回地址損壞gdb bt、棧哨兵模式檢查局部數(shù)組大小和遞歸深度設(shè)備頻繁hardfault棧溢出/野指針/非對齊訪問HardFault_Handler分析、RTT增大任務(wù)棧、查野指針內(nèi)存占用線性上升泄漏或緩沖區(qū)冗余監(jiān)控VmRSS趨勢、valgrind按調(diào)用鏈定位修復(fù)兩個(gè)進(jìn)程共享數(shù)據(jù)偶爾錯(cuò)亂缺少同步/結(jié)構(gòu)體布局不一致檢查互斥機(jī)制、比對各自sizeof加鎖、固定對齊和大小端DMA數(shù)據(jù)讀到舊值Cache一致性問題增加flush/invalidate調(diào)試使用標(biāo)準(zhǔn)DMA映射API這張表覆蓋了我在實(shí)際工作中遇到的大部分內(nèi)存問題場景。嵌入式內(nèi)存的排查沒有銀彈靠的就是對內(nèi)存布局的理解、對工具的熟練使用以及一步步逼近根因的耐心。我自己踩過很多坑最有感觸的一點(diǎn)是內(nèi)存問題的修復(fù)往往只需要幾行代碼但定位的過程可能花費(fèi)好幾天。所以一定要在系統(tǒng)設(shè)計(jì)階段就把內(nèi)存策略想清楚不要等設(shè)備上了產(chǎn)線再追著問題跑。說到底嵌入式開發(fā)拼的不是誰功能寫得花哨而是誰的系統(tǒng)能一年365天穩(wěn)定運(yùn)行不出岔子。內(nèi)存這一關(guān)每個(gè)人都繞不開。希望這堂“嵌入式內(nèi)存課”能幫你把這塊短板補(bǔ)上也歡迎你在評論區(qū)留下你自己踩過的內(nèi)存相關(guān)的坑一起交流一起進(jìn)步。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月婷婷丁香社区| 五月婷婷激情综合网| 亚洲VA在线| 第四色在线观看| 成人综合AV| 新伍月婷婷| 久久一热免费视频| 99re熱| 性色av大香综合| 一本到不卡高清DVD| 99这里都是精品| 亚洲欧美成人在线| 九九99九九99偷拍视频免费看| 色激情五月| 国产精品色色色色| 五月天婷婷色播综合在线| 中文字幕在线日亚洲9| 97超碰欧美中文字幕| 色网五月婷婷| 9色91视频| 99色| 伊人激情影院| 亚洲免费婷婷| www.婷婷.com| 九九99在线免费在线观看视频| 婷婷激情综合| 五月婷婷成人| 激情六月色| 五月天婷婷丁香六月| 色丁香在线视频| 成人五月天在线观看| 原琪琪色影院| 97色久| 加勒比日本一区二区三区| 日逼影音先锋男人资源站| 国产亚洲成AV人片在线观黄桃| 五月天偷拍| 亚洲天堂热| WWW免费视频碰碰碰碰| 六月丁香婷婷五月| 美国色五月天婷婷资源站| 亚洲激情综合五月婷婷啪啪| 男女久久婷婷五月天| 激情婷婷人妻| 亚洲五月婷天天操| A A色色| 丁香六月高清视频| 思思久久思思| 久噜久噜| A久网| 丁香五月天BBw| 亚洲狠狠婷婷综合久久久| 婷婷五月综合色中文字幕| 996热| 99热自拍| 亚洲精品色色| 天堂爱爱| 天天日夜夜夜操操操操| 天天成人综合视频| 91久久婷婷人人澡草| 79色色免费| 久热这里只有精品66| 99热这里有精品24| 五月婷婷我| 欧洲综合色| 午夜婷婷五月天在线| 九九久久综合网站| 99愛国产| 亚洲久久激情| 大香蕉中文| 日本激情91| 色99在线视频| 能看的av网站| 中文成人在线| seuuu婷婷| 婷婷五月丁香激情| 卡视频1区2区| 99热免费精品| 五月婷婷黄色| 综合色天天| 五月丁香婷婷六月天| 内射丰满人妻| 另类综合婷婷五月天欧美视频| 99热精品在线播放| 色婷婷五月综合在线| AV操逼网| 少妇综合网| 色五月激情综合网| 国产在线网| WWW.亚洲无码| 婷婷色色丁香| 色色五月天网站| 伊人久久大香网| 99热网站| 四五月婷婷| 丁香婷婷五月综合影院| 五月婷婷中文字幕| 色情久久久| 九九aV| 97人人射| 国产无遮挡又黄又爽免费网站| 激情五月丁香五月综合| 777久久久| 狼友超碰| 开心 五月 综合| 五月婷婷少妇之| 精品一区二区三区木瓜| 天天天干夜夜夜操| 亚洲中文字幕av| 色五月欧美| 精品亚洲国产成AV人片传媒| 色激情网| 99福利导航| 天天五月丁香五月| 激情婷婷狠狠干| 婷婷五月18永久免费视频| 四色99久久| 五月丁香在线| 欧美在线干| 夜夜嗨一区二区三区直播内容 | 狠狠干五月天| 丁香色婷婷色手机免费在线| 九九99男女视频在线观看| 天天色丁香| 激情五月开心五月在线视频| 五月激情丁香| 久大香蕉| 欧美搡BBBBB摔BBBBB| 日韩中出视频| 婷婷综合色图| 六月婷五月丁香| 日韩操| 精品99在线观看| 日日爽日日| 99re热视频这里只精品| 97婷婷五月激情六月丁香伊人| 五月婷婷激情久久| 五月丁香直播| 久热这里只有精品6| 99在线69| 成人无码髙潮喷水A片| 婷婷五月另类网站| 操97| 五月婷婷开心六月激情小说| 丁香九月综合激情| 少妇人妻丰满做爰XXX| 成人AV综合在线| 九月婷婷久久| 婷婷五月天亚洲综合| 99碰网站| 久久精品国产精品| 丁香五月婷婷偷拍| 狠色狠色狠色狠色狠色网| 色婷视频| 999热这里只有精品| 人人爽网| 成人av在线网站| 日韩抽插操逼| 99热综合| 99热在线播放| 婷婷玖玖丁香| 五月熟妇婷婷久久| 综合啪啪| www.色五月| 玖玖婷婷婷丁香五月| 亚洲国产精品五月天| 天天爽天天做| 99这里只有精品视频| 草草夜夜操| 人人搡人人| 久久er这里只有精品| 久久婷婷五月天亚洲欧美| 91久久综合亚洲鲁鲁五月天| 99年操人人爽| 激情五婷网| WWW.桔色成人.COM| 亚洲AV成人片无码网站| 五月丁香色停停啪啪啪| 欧美日韩91| 五月婷婷欲色| 久久婷婷综合五月天| 狠狠色婷| 五月婷婷综合热| 人人爱国产| 亚洲九九视频| 亚洲欧美国产A片免费观看| 天天插天天玩天天干| 人妻久久久久久久久久| 天天爽天天干| 国产激情在线观看| 伊人丁香婷婷东京| 五月婷婷丁香在线| 熟美女麻豆| 五月天婷a在线| 婷婷操婷婷干婷婷射| 亚洲AV成人在线| 久久久色情| 另类色视频| 无码操B| 色色色综合网| 色婷婷888| 在线A色| 久久色情| 色色丁香五月天社区| 丁香色六月| 婷婷伊人网| 超碰免费在线| 97碰久久| 熟女激情五月天| 熟女人妻一区二区三区免费看| 99久久玖玖| 另类小说五月天综合网| 五月丁香五月综合欧美| 激情图片久久| 婷婷五月天激情综合深爱激情| 色色99| 色九九七七| www激情网| 九九免费视频| 婷婷综合一二三| 丁香五月大片| 操骚货在线| 日本欧特黄色刺激一区影视久精品无码| 五月天婷婷自拍图片在线观看| www,色婷婷| 91综合视频丁香| 婷婷色五月婷婷姐妹| 五月婷婷之婷婷| 在线看九一V图片| AV中文在线| 亚洲综合五月| 色综合网页| 久久人妻爱爱| 久热九九| 视频这里只有精品| 黄色高清无码| 综合色在线| 九九这里有精品| 久久婷婷丁香花综合网| 综合网狠狠| 99在线视频在线观看| 九九色婷婷| 91色欲综合| 五月天婷婷网站| 色99网| 亚洲色图81p| 亚州精品久久久久AV无码| 色婷婷丁香五月| 666555。COm毛片| 无码se| 天天干一干| 人人操人人妻| 很很干五月天| 激情婷婷五月天| 97精品在线| 婷婷五月情| 婷婷久综合| 很很操96| 久热这里只有精品6| 一本久道综合99| 激情综合五月婷婷六月丁香| WWW.HENHENL.| 99久久综合精品五月天| 亚洲精品久久久久久久久久吃药| 狠狠色婷婷7| 97九色| 国产成人亚洲综合亚洲| 久久丁香久久| 香蕉久久五月| 天天日天天做天天操| 亚洲乱码日产精品BD| 久久五月天婷婷| 九色91国产| 日韩成人电影Av| 五月天电影网| 国产肥白大熟妇BBBB视频| 六月婷婷深深爱| 97久久久| 五月天婷婷色色| 五月丁香成人| 久久久五月五丁香| 综合久久久| 天天婬色综合| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪| 亚洲激情四射色| 五月婷婷这里都是精品| 欧美私人家庭影院| 人人添人人| 欧美日韩欧美| 99热思思在线观看| 97色在线| 26uuu.| 天天色视频| 精品久久99| 丁香六月久久| 99视频自拍| 丁香五月婷婷超碰在线| 狠狠操综合| 在线视频另类| 99热老网站| www色五月| www.jiujiujiu| 综合99久久天天综合| 五月天婷综合| 五月婷婷综合久久| 亚洲成人在线免费| 婷婷五月天伊人网| 亚洲色精彩| A久久| 丁香五月1页| 天天综合在线网| 婷婷午夜| 大香蕉伊人久久| 丁香六月婷婷缴情欧美| 国产午夜精品AV一区二区麻豆| 新久久五月天激情| 青青青在线视频国产| 袁子仪视频观看| 蜜桃人妻无码AV天堂三区| 深爱激情四射| 六月丁花香啪啪激情欧美| 狠狠干五码| 久久九九思思| WWW.婷婷| 激情视频91| 亚洲旡码| 、激情六月天| 成人做爰A片免费看视频| 另类图片五月天婷婷| 婷婷97狠狠成人网站| 亚洲射激情| 丁香五月影| 99热这里只有在线| 在线99精品| 91日日日| 色色五月婷| 另类视频五月天| 久久综合热17c| 99精品国产在热久久| 九九热在这里只有精品| 亚洲视频在线网| 99综合| 亚洲无码11| 九九99免费视频| 九九热a| 亚洲另类在线观看| 夜夜操狠狠操天天操| 婷婷激情五月天桃花网| 五月天婷婷色| 日本精品在线噜噜噜| 丁香五月天堂网| 5月婷婷六月丁香| 91九色偷拍| 亚洲综合五月天婷婷| 天天综合五月天| 五月天久久久| 爱草视频在线观看| 色婷婷人人| 久久怡红院| 久久HD| 狠狠综合网| 丁香五月天婷婷中文| 99热在线播放精品| 曰曰久久| 男人天堂亚洲综合| 婷婷丁香六月天激情四射网| 97性视频| 色噜噜伊人| 五月婷婷丁香日韩在线| 亭亭五月丁香五月天激情| 中文字幕不卡+婷婷五月| 五月婷婷丁香六月| 天天日夜夜爽。| 激情五月份婷婷| 狠狠色色| 激情五月婷婷综合网| 狠狠综合久久综合| www.婷婷| A A色色| 超碰9在| 色噜噜狠狠色综合日日| 九月婷婷丁香| 亚洲成人中心| 这里只有精品视频在线| 五月天涩涩| 91人操| 日本一级黄色电影| 深爱婷婷丁香五月激情| 丁香色色网| 国产成人AV| 在线观看中文字幕| 天天综合网、天天综合色| A片试看120分钟做受图片| 婷婷操婷婷干婷婷射| 九九综合| 激情5月婷婷| 五月丁香六月在线| 无码九九| 日韩有码一区| 婷婷五月天亚洲| 大伊久久| 九九热中文| 亚洲欧美在线观看| 天堂综合久久 | 久久er99| 五月激情啪啪啪| 老妇六区| 五月天开心色情网| 色噜噜在线| 欧美色图天堂网色| 97在线观看| 蜜臀99精品| 色情五月丁香婷婷网| 大香蕉久久久久久久久| 青草五月天| 五月综合色播播丁香婷婷| 色婷婷狠| 天天干天天av天天射| 97操碰视频| 99爱最新免费视频在线观看| 婷婷五月综合社区| 久久婷婷五月天激情新地址| www色五月| 思思w99| 99噜噜| 99婷婷精品推荐在线视频| 日本久久人| 天天艹夜夜爽| 亚洲AV人人操| 日韩一级淫乱片一区二区三区| 欧美99热| 五月天精品视频| 《诡秘之主》在线观看| 九九热91| 国产偷人爽久久久久久老妇APP| 激情图片婷婷丁香五月| 26UUU在线观看| 免费91久久精品| 91在线日| 五月丁香婷婷三级| 都市激情久久| 五月天激情啪啪| 日欧一片内射VA在线影院| 五月久久婷婷天堂视频| 色婷婷色五月综合| 99综合色色色| 伊人玖玖网| 少妇熟女视频一区二区三区| 国产97色在线| 婷婷五月图片小说视频| 天天干夜夜操A片| 欧美啪啪五月天| 成人午夜天| 色婷婷成人网| 开心激情网五月| 色五月激情问网站| 五月丁香啪啪综合| 中文字幕高清av| 色色色综合网| 久久人人九九| 五月丁香啪啪综合| 深爱开心激情网| -91九色大屁股| 日韩啪啪自拍| 中文字幕乱码亚洲精品一区| 久久九色| 夜夜骑天天操| 丁香五月在线观看综合| AV伊人青草丁香六月| 久久狠婷婷| 午夜天天精品视频| 996日日爱| 久久久久久久久久久久久久人妻视频| 亚洲天堂啪啪| 久久久噜噜噜www成人| 99性爱| 激情床戏| 婷婷六月丁香五月| 色综合综合色| 婷婷六月色丁香视频在线观看| 9l视频自拍九色9l视频自拍九色9l社区| 久久久潮喷-久久久九九-成人AV| 精品夜夜澡人妻无码AV| 色色色色网站| 99热亚洲| 国产亚洲色婷婷久久99精品91| 五月婷婷激清网| 99激| 色吧五月| 91大神操美女| 久久香蕉婷婷| av一区免费看| 偷拍丁香九月激情| 一本大道嫩草AV无码专区| 亚洲超碰在线| 婷婷97碰碰| 亚洲激情婷婷| 九九爱激情| 激情网第四色| 九九精品这里只有| 深爱五月月天| 91天天操天天干天天射| 久久婷婷五月综合激情国产| 99热999| 99@久久@99精品视频| 欧亚成人A片一区二区| 婷婷伊人綜合中文字幕小说| 婷婷综合亚洲| 日本天天色| 情婷婷五月天| 久久深爱激情网| 日本在线免费中文com.| 激情小说婷婷小说| www.粉嫩av.com| 久久久久久久97| 操日视频| 在线成人视频免费| 九9九9无码| 精品视频网| 99久久超级| 国产精品久久久爽爽爽麻豆色哟哟| 99久在线精品99re8| 国产激情久久久| 大香蕉99| 五月婷婷激情性爱| 欧美性猛交99久久久99| 天天日日夜夜| 开心婷婷五月| 免费亚洲婷婷五月| 99热在线只有精品| 六月丁香激情网| 五月网在线| 天天天摸夜夜夜玩| 巴基斯坦粉嫰无码视频| 26uuu亚洲色| 色综合久久88色综合天天人守婷| 国产婷婷综合| 五月熟妇婷婷久久| 丁香五月第九色| 婷久看人爽| 五月婷高清视频| 婷婷基地成人五月天| 色欲人妻综合aaaaaaaa网| 婷婷丁香五月综合| 99免费综合网| 激情四射五月天偷偷看婷婷| 婷婷欧美色| 久热这里这里有精品| 五月天婷a在线| 天天做天天爱天天日| 九九视频网| 激情视频婷婷五月花| 色婷婷丁香五月天| 久久久久久久综合狠狠综合| 婷婷免费精品视频| 九九热九九热精品| 337p午夜影院| 五月婷婷丁香五月婷婷| 狠狠搞亚洲| 久久免费婷婷视频| 激情五月天婷婷丁香 | 图片区 小说区 区 亚洲五月| 五月天激情国产综合婷婷婷| 人妻熟女一区二区AV| 午夜69成人做爰视频| 亚洲12p| 狠狠五月婷婷| 任你弄在线视频免费| 丁香婷婷浪潮AV久久综合| 久9草在线观看视频| 99re在线免费视频| 婷婷欧美激情| 婷婷97碰碰| 99人人干| 无码一区二区三区四区五区| 美女婷婷六月色| 婷婷五月天亚洲激情戏精品| 操逼棍操逼| 欧美成人性爱网| 婷婷八月丁香激情综合| 中文字幕在线免费| 99热66| 少妇人妻偷人精品无码视频新浪| 婷婷丁香五月天综合在线日韩| 67194中文在线| 久久一级免费黄色片| …亚洲黄色在线播放日韩、av中文a…| 欧美视频五区| 99色色热| 色丁香久综合在线久综合在线观看| 婷婷丁香激情| 五月婷婷丁香婷婷| 色婷婷六月天| 五月天啪啪啪| 538在线精品| 懂色av粉嫩AV蜜臀AV| 久久精品噜噜噜成人A∨色欲| 色色九九五月天| 亚洲成人一区| 成人色色综合| 99热亚洲精品66| 99热成人精品网站| 天天日,天天干,天天操| 三男玩一女三A片| 在线不卡AC| 色五月婷婷AV| 色噜噜狠狠色综| 五月丁香亚洲五月| 五月天婷婷激情在线色图| 成人在线视频一区| 色情婷婷五月天| 少妇伦子伦精品无吗| 大香蕉婷婷婷| 婷婷五月综合色拍| 五月丁香美女| 综合五月激情网| 九九热最新| 天天精品视频免费观看| 日韩av一区二区在线/日产精品久久久 | WwW天天干| 婷婷色av| 99热青青草| 日本一级一级一级一级| 亚洲成人av中文| 五月天天综合| 99rewww| 操操操操操电影网| 色噜噜狠狠色综无码久久合欧美| 天天骑天天操| 超极99精品| 五月丁香六月婷婷久久肏| 99色色热| 天天射色五月天| 激情综合99| 狠狠狠狠狠干| 超碰97色| 久久视这里只有精品| 开心五月色婷婷综合开心网| 丁香五月在线自慰| 少妇人妻偷人精品无码视频新浪| 精品九九婷婷| 99色这里| 开心婷婷五月天激情网| 91超级碰碰| 成人在线二区| …亚洲黄色在线播放日韩、av中文a…| 日日噜人人人做人| 五月丁香做爱视频| 久久久WWW| 碰97 久| enecarbon-materials.com污K127封锁请涟系@wip1688 | 99精品高潮| 性色人人爽| 99热的无码| 四虎成人精品永久免费AV九九| 最近免费中文字幕大全高清大全1| 九热电影av| 天天看片日日夜夜| 天天日天天爽夜夜爽| 综合网亚洲| 婷婷丁香五月在线观看91| 久婷婷| 操啊操av| 大香蕉伊人久久| 六月五月天婷婷涩播在线| 熟女网站久久| 激情 婷婷 丁香五月天| 欧美三级欧美一级| 久久综合婷婷激情| 九九色色色| 亚洲热综合网在线观看| 九九色综合网| 婷婷五月丁香基| 久久99婷婷| 久久久人妻门| 欧美va在线| 亚洲天堂青草| 丁香五月六月久久综合| 狠狠操狠狠操| 精品亚洲国产成AV人片传媒| 9有码中文| 九九久久综合网站| 婷婷激情五月| 97丁香视频| 99免费热在线精品| 99视频| 五月丁香激情综合网| 婷婷九月在线| 国产又黄又爽又激情不遮挡视频在线观看| 五月婷婷深深爱| 综合色图婷婷| 99亚洲精品视频在线观看| 国产无套精品一区二区| 天天做天天爱天天高潮| 丁香视频| 能看的av片| 激情婷婷丁香五月天| 日本三级99人妇网站| 色五月丁香六月资源站| 婷婷成人视频| 国产肥白大熟妇BBBB视频| 五月丁香婷婷久久| 色婷婷www| 欧美人与性动交CCOO| 色婷婷五月在线| 夜夜爽天操| 97精品综合| 碰97久久| 视频色色色色色色| EEUSS鲁片一区二区三区| 色婷婷六月天| 午夜色丁香| 99网| 99在线精品观看99| 99视频| 久草丁香婷婷1024| 丁香亭亭久久| 9精品在线| 九一牛视频探花| 5月色亭亭视频| 国产在线中文字幕| 99er热精品视频| 天天日天天操天天干| 色婷婷五月天偷拍| 超碰在线免费9| 六月丁香社区| 99国产在线精品视频| 丁香五月婷婷久久综合激情网 | 五月婷婷综合视频| 123日本不卡在线| 99久久国产宗和精品1上映| 大香蕉九操| 色婷婷最新域名| 99综合99| www.99色| 色婷婷久久| 秋霞AV淫| 毛片九九九九九九| 天天情色五月天| 九九在线视频| 丁香五月1页| 久操激情| 9999热在线观看| 色综合综合网| 99免费超碰在线| 天天搞夜夜叫| 99ri视频| 色久女| 99热这里只有精品99| 九九热内射| 成人狠狠成人狠狠成人狠狠成人狠狠| 啪啪91| 亭亭五月丁香综合欧美| 五月 激情视频| 夫妻超碰在线| 五月婷婷六月开心| 碰碰碰97国产| 婷婷六月久久| 欧美 日韩 人妻 高清 中文| 天天做综合| 色欲色香综合网| 色婷婷狠| 超碰在线超碰| 丁香五月大香蕉AV| 丁香五月五婷| 中文字幕婷婷9月天| 狠狠久久婷五月综合色| 丁香色五月 97干| 久久丁香| 欧美精品99久久久| 97资源碰碰| 五月天婷婷綜合院| 五月丁香婷婷啪啪综合| 丁香婷婷影院| 久久国产高潮白浆免费观看99| 久久这里只有欧美| 小香蕉av| 五月婷婷综合色啪首页| 成人免费120分钟啪啪| 玖玖色资源站| 日本欧美成人片AAAA| 激情五月婷婷丁香六月| 亚洲五月花| 激情五月婷婷| 99热这里只有精品2| 婷婷五月天av| 久久亚洲激情五码| www.激情| 婷婷天天色| 99久久婷婷国产综合精品青桔| 九九99精品| 91狠狠色| 成人 在线 日韩| 玖玖爱伊人| 97香蕉碰碰人妻国产欧美| 九色视频91疯狂| 欧美97色| 日本欧美在线| 色色色色色综合| 久久狠狠欧美| 亚洲五月天激情| 人人干天天舔| 激情丁香五月| 5月婷婷6月丁香aV| 国产亚洲成AV人片在线观黄桃| 婷婷伊人激情婷婷| 国产毛片欧美毛片久久久| 五月天色婷婷av| 国产精品第一国产精品| 五月永久激情| 蜜桃婷婷丁香综合久久开心亚洲| 日本在线噜噜| 久久久五月天婷婷| 婷婷狠狠干| WWW·色色色·COM| 96精品久久久久久久久| 丁香婷婷黄网站| 久久综合人妻| 97丁香花五月天激情小说| 色色五月婷婷| 精品99爱免费视频在线观看| 色婷婷成人色网| 五月天五月天成人网亭亭成人色网站| 超碰激情五月| 色五月婷婷影院| 97AV在线视频| 99色视频| 亚洲欧洲自拍图片专区五月天| 亚洲免费综合一区| 啄木鸟丝袜美女福利视频| 99色视| 九热免费视频| 99热91| 色婷婷亚洲婷婷| 婷婷六月久久| 超碰五月婷婷五月天| 夜色综合网| 激情五月综合| 国产午夜精品一区二区三区嫩草| 99色爱| 69色婷婷| 欧美日韩999| 国产va在线视频| 九色在线五月婷婷网址| 丁婷婷五月天在线播放| 综合 蜜月 婷婷| 国产精品视频| 婷婷伊人网| 97色色色| 久久婷婷五月草视频| 丁香深五月婷婷| 久久人人妻| 97操操操| www.狠狠操| 婷婷激情丁五月| 久久精品五月| 日本一道久久| 99re思思精品视频在线观看| 久婷婷视平| 激情五月天小说| 久久久A级视频| 亚洲天堂热| 天天色天天爱天天舔| 成人久碰| 久久婷婷五月天激情| 啊v视频在线观看| 天天干,夜夜爽| 丁香综合网| 五月天之色情综合网| 成人片在线播放| 丁香 婷婷五月| 丁香六月丁香婷婷激情| 99激情视频| 婷婷丁香六月| 午夜不卡久久精品无码免费| 久久思思精品| 欧美在线操| 久久怡红院| 六月丁香社区| 婷色五月天| 国产午夜精品AV一区二区麻豆 | 日日天天干| 久久人妻情侣| 91丨人妻丨国产丨丝袜| 色色色999| 婷婷中文字幕版| 婷婷色偷拍| 激情婷婷五月| 精品久久久久久久人妻| 大香蕉综合| 婷婷综合网在线| 91美女啪啪| 丁香六月婷婷综合激情欧美| 久久视频这里都是精品| 亚洲成人精品三区| 久操人妻| 秋霞电影理论| 狠狠色大香蕉| 99热这里是精品| 丁香五月婷久久| 久久婷五月婷| 久99婷婷色综合| 99啪啪网| 六月丁香激情最新更新| 操日本色| 天天操天天干天天日| 天天狠狠色综合| av在线观看网站| 欧美性生交XXXXX无码小说| 五月天婷婷7米| 思思视频这里是精品| 激情色情五月天| 天天日,天天干,天天操| 日本性激情色播| 亚欧州精品视频| 九九99九九精品免费| 五月婷在线| 一區四區歐美日韓| 国产精品视频网| 99热这里是精品| 天天插天天操| 丁香五月激情婷婷视频| 久久久久九九九九视屏小说88| 色色色欧美| 亚洲激情免费视频| 成人片在线播放| 五月精品99综合| 欧美成人A片AAA片在线播放| 欧美激情综合色丁香婷婷五月天 | 五月婷婷色综图片| 天天撸夜夜爽| 大香蕉五月婷婷| 日韩人妻白浆视频系列| 婷婷色网站| 欧美久久婷婷| 婷色五月| 久9草在线观看视频| 日本va欧美va国产激情| 色婷婷亚洲六月婷婷中文字幕| 五月伊人综合| 东北黄色一级| 天天射影院| 五月婷婷六月丁香| 九九久久综合网站| 婷婷人人操| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 激情五月小说婷婷| 九九热国产| 婷婷五月综合啪| 99热在线观看| 九九精品热播| 99福利视频| 草综合网| 欧美日韩五月婷婷| 日韩性爱AV| 97人人干| 五月天激情无码| 日日天天操| 日韩啪| 一区二区乱视频码| 蜜桃人妻无码AV天堂三区| 色天堂A| 操射国产日本| 樱花99视频| 日本99在线视频| 亚洲一二三网| 国产亚洲99久久精品| 日本色99| 99综合99| 噜噜噜噜婷婷五月天| 日韩一级网站| 热热色色五月天婷婷| www.激情五月| 91色涩| 色综合久| 婷婷五月激情五月丁香五月| 免费无码毛片一区二区A片| 亚洲欧美婷婷五月色综合| 女高怪谈在线观看| 另类图片 五月激情| 久久婷婷五月天| 亚洲有码在线视频| 婷婷五月天99综合网站| 91人妻PORNY九色大屁股| 六月婷婷久久| 天天爽,夜夜爽| 另类国产综合| 操91| 久久思思99| 99热在线极品极品| 天天色粽合合合合合合合| 五月婷色色| 亚洲九九视频| 激情五月少妇| 三十路磁力链接| 99久久丝| 久久综合干| 五月色丁香婷婷综合| 激情婷婷狠狠干综合| 97色在线| 99综合网| 91狠狠综合网| 97色色色| 日日爽天天| 思思热精品免费视频| 天天色情站| 97碰啪啪| 毛片新网地| 丁香熟女乱| av免费在线观看0| 大香蕉久久青青| 日本久久精品| 中文AV网站| 亚洲在线操| 伊人在线视频| 色五月婷婷五月天激情综合| 亚洲国产精品综合色区| 少妇激情五月婷婷| 天天操夜夜啊| 婷婷综合| 色婷婷免费观看| 成人综合视频在线| 二区成人视频| 亚洲综合色婷婷文学| 成人 在线观看国产| 超碰99在线| 五月天色综合| 婷婷六月丁香五月| 久久综合干| 97碰| 第四色五月婷婷| 色播五月| 欧美黄色AA片哗啦啦啦| 26uuu亚洲精品国产| 99re这里只有精品首页| 久久婷婷五月综合色播| 深爱婷婷色| 亚洲激情淫网| Av性爱网站| 色色狼人综合| 久久视频婷婷| 成人色图情色成人网 www.5b5b5bcom 五月天| 色婷婷小视频| 97成人丁香| 色天使久久综合| 色婷婷香蕉在线| 婷婷丁香综合网| 成人αV视频免费观看| 疯狂做受XXXX高潮A片动画| 日本狠狠干| 99色在线| 色五月av| 精品一区二区三区免费毛片爱 | 久久久国产精品黄毛片| 亚洲亚洲人成综合网络| 天天日夜夜爽| 99国产精品白浆在线观看免费 | 五月丁香六月| 五月婷婷草| 日本一毛片| 在线天堂9| 99久.| 综合啪啪| 国产精品国产| 丁香五月天婷婷久久综合| 日日天天操| 丁香六月色情| 日日撸天天干| 婷婷婷五月天最新综合你懂的| 婷婷涩涩网| 狠狠干青青草| 人妻videos人妻高清| 婷婷色香六月综合激情| 亚洲AAAA网| 99精品无码网站| 五月丁香婷婷伊人| 99热在线观看免费| 婷婷五月骚厕所| 丁香六月五月婷婷| 五月天婷婷色综合| 思思热视频| 激情五月天社区| 久久3p| 欧美精品999| 91久久久久久久| 丁香婷婷色五月激情综合| 婷婷99| 99re6在线视频精品免费| 1024在线一区| 婷婷五月精品| 激情婷婷。| 欧美网站视频4399| 夜夜资源站| 久久五月视频| 精品色情一区二区三区四区| 激情网狠狠干| 久久久99精品| 久色欧美| 夜夜操狠狠操| 久久婷婷五月综合色奶水99啪| 欧美99热| 久热9| 婷婷中文字幕| 亚洲字幕AV一区二区三区四区| 色九四色| 大香蕉在线99热| 4399精品一区二区| 色色婷婷色色| 成人综合AV| 色综合色五月| 草操网| 欧美Va在线| 婷婷五月婷| 97色欧美| 久久狠狠干| 激情五月天网站| 97色精品视频 | 人人草人人视| 综合网啪| a网站免费观看| 大香蕉综合网| 久久婷婷超碰| 99资源在线| 五月丁香婷婷色色色| site:xmssd.com| 六月婷婷七月丁香| www.婷婷,com| 婷婷涩涩五月天| 久综合色| 九九色色| 激情九月丁香婷婷| 99内射视频| 婷婷激情五月| 插插网爽妇五月丁香| 久久亚洲激情五码| 午夜成人天堂久久无码日韩久久| 亚洲综合婷婷| 丁香色婷婷色手机免费在线| 欧美日韩国产一区二区| 久久婷色| 婷婷九月激情网| 久久精品只有这| 久婷婷| 九九人人操| 久久ri精品| 精品人妻在线| 婷婷五月天改成什么了| 五月天狠狠干| www.9797国产| 99久久婷婷国产综合| 狠狠插.com| 婷婷色五月大香蕉在线观看| 激情五月,色五月| 97好吊操| 婷婷六月色开 | 99热这里有精品| 手机在线视频观看9| 亚洲精品视频在线播放| 丁香色情五月天| 视色综合| 狠狠色丁香婷婷基地| 五月亭亭直播| 成人看片网站| 久草婷婷网| 婷婷狠狠18禁久久| 久久女婷| 色婷婷六月精品| www.99日本| 亚洲精品无码一区二区| 日韩欧美性爱| 99精品久久| 丁香五月av在线| 婷色五月天| 亚洲乱码日产精品BD| 色五月婷婷激情基地| 狠狠狠婷婷五月综合| 五月天色视频| 色综合久久88色综合天天99| 亚洲爆乳无码精品AAA片蜜桃| 综合激情在线观看| 性爱AV天堂| 丁香六月无码播放| 深爱开心激情| httpwww色com日本| 久草性爱| 最新亚洲色色网| 久久婷网| 久久婷婷五月综合| 天天透天天干| 玖月婷婷爱丁香| 亚洲热热视频| 五月丁香婷婷综合| 中文字幕在线人妻| 天天操天天爱天天日| 六月色丁香中文字幕| 99精品热视频| 五月婷婷影视| 丁香五月香蕉| 深爱激情网婷婷| 色婷婷丁香五月| 国产小精品| XX久久| 久热这里精品免费| 五月丁香亭亭操逼| 久久综合婷婷激情| 9色视频在线| 婷婷六月天亚州| 中文字幕成人| 97碰91| 五月网激情| 久久九九免费视频| 日产精品一线二线三线芒果| 91pornav在线| 天天粽合合合合| 99热碰碰| 国产免费性爱| 91超碰九色| 五月色天情| 亚洲色另类| 91性人人| 色欲香综合网| 日本啪啪天堂| 99久| 性韩日色婷婷五月天激情啪啪XXX| 五月激情六月宗合| 可以免费观看的av| 婷婷中文字幕网| 99色热视频| 激情综合五月| 操婷婷基地| VA国产在线综合网站| 色色激情五月| 97成人丁香| 天天插天天插天天日| 久久这里只有精品99| 国产伦亲子伦亲子视频观看| 字幕网AV中文字幕| 一区二区三区XXXXXX| 婷婷五月天 偷拍| 欧美日韩123| 婷婷五月综合丁香久久| wuyuedingxiang99| 亚洲操操操| 天天躁日日躁狠狠躁日日躁2022年5月9日 | 欧日韩AV| 欧美日本黄色| 色综合99无码 | 天天干天天叉| 色综合久久888| 色五月欧美| 影音先锋人妻出差| 中文字幕黄色片| 色色五月天丁香婷婷| 五月丁香欧美在线| 大香蕉手机视频| 九热...av| 五月天婷婷在线播放| www.婷婷五月天| 丁香五月区| 婷婷五月天美女| 丁香六月婷婷久久综合| 610018岁成人视频| 婷婷五月天成人网| 欧美Va婷色| www.99操.com| 99 这里只有精品|