欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

嵌入式DMA與Cache一致性問題的三種解決策略

嵌入式DMA與Cache一致性問題的三種解決策略 1. DMA讀到舊數(shù)據(jù)根子出在Cache一致性做過嵌入式Linux驅(qū)動的人多半都遇到過這種詭異場景中斷明明對了DMA的描述符狀態(tài)字也確實更新了但CPU去讀接收緩沖區(qū)時拿到的卻是上一次甚至更早的陳舊數(shù)據(jù)。發(fā)送方向也一樣數(shù)據(jù)明明通過CPU寫進了buffer外設(shè)收到的卻是幾個節(jié)拍之前的舊內(nèi)容。排了半天指針錯誤、地址錯位最后才意識到是Cache在搗鬼。把這句話擺在最前面沒有硬件Cache一致性機制的平臺DMA繞過CPU緩存直接訪問物理內(nèi)存而CPU寫數(shù)據(jù)時可能只落在Cache里還沒寫回內(nèi)存DMA讀到的自然就是舊數(shù)據(jù)DMA寫進來的內(nèi)容也可能被CPU緩存里的舊副本擋住讓CPU看不到新數(shù)據(jù)。這幾乎是每個非一致性DMA系統(tǒng)都會踩的坑。這篇文章會先講清楚為什么會這樣再給出我實際處理這類問題最常用的三招正確使用DMA映射API自動刷Cache、手動Cache維護配合內(nèi)存屏障、以及直接分配一致性DMA緩沖區(qū)。這套方法既支持Linux驅(qū)動也適合裸機環(huán)境參考。內(nèi)容偏ARM嵌入式方向x86和其他自帶IO一致性DMA的平臺可以直接跳到后面看如何判斷。1.1 為什么硬件Cache會讓DMA犯糊涂現(xiàn)代CPU一般有L1/L2甚至L3 Cache。Cache的存在是為了讓CPU快速訪問高頻使用的數(shù)據(jù)。但在DMA場景下CPU和DMA是兩個“看不見彼此”的訪存發(fā)起方。CPU日常讀寫內(nèi)存時往往不是在改物理內(nèi)存而是在改Cache。采用write-back策略的Cache只有在Cache行被替換、手動Clean或硬件事件觸發(fā)時才會把臟數(shù)據(jù)回寫到內(nèi)存。也就是說CPU說“我寫好了”數(shù)據(jù)的真正歸宿可能還在Cache里躺著。DMA控制器通常直接掛在內(nèi)存總線上它不知道CPU的Cache里有什么也不會先看一眼Cache再去訪問內(nèi)存。于是在兩個方向都出問題發(fā)送場景CPU → DMA → 外設(shè)CPU往緩沖區(qū)寫數(shù)據(jù)Cache中產(chǎn)生臟行。DMA從物理內(nèi)存直接讀讀到的自然還是老數(shù)據(jù)。接收場景外設(shè) → DMA → CPUDMA把新數(shù)據(jù)寫進物理內(nèi)存但CPU之前可能讀過這塊緩沖區(qū)Cache里保留了舊副本。CPU去讀緩沖區(qū)命中的是Cache里的舊數(shù)據(jù)DMA剛寫入的新內(nèi)容被無視了。用個粗糙但好懂的類比CPU是秘書手邊有一堆“桌面草稿”Cache正式檔案存放在“文件柜”內(nèi)存。DMA是另一個部門只認(rèn)文件柜里的版本。秘書改了一版文件只放在桌上沒有歸檔DMA來取的時候拿到的當(dāng)然還是舊版反過來DMA把新版本放進文件柜秘書卻還盯著桌上的舊草稿自然也對不上。1.2 先確認(rèn)你的SoC到底要不要處理Cache一致性很多人一上來就常規(guī)性地刷Cache其實第一步應(yīng)該是查硬件的Cache一致性機制。部分現(xiàn)代SoC比如帶CCI/CMN總線的ARM高性能平臺或者x86架構(gòu)配合IOMMU、PCIe硬件SnoopDMA訪問已經(jīng)做到了硬件級一致。也就是說DMA操作同樣會參與CPU Cache的一致性協(xié)議硬件會自動做“監(jiān)聽”不需要軟件刷Cache。在這種平臺上如果你還是傻乎乎地每次收發(fā)都做clean/invalidate不僅白白損耗性能還可能把狀態(tài)搞壞。舉個真實踩過的例子某平臺手冊里寫了DMA引擎能自動監(jiān)聽L2 Cache驅(qū)動里卻保留了早期的刷Cache邏輯結(jié)果每次收發(fā)都會偶發(fā)“描述符狀態(tài)異?!比サ羰謩铀ache之后一切恢復(fù)。問題不在刷的動作而在于多余的操作破壞了硬件管理的一致性視圖。判斷方法一是查芯片參考手冊里的Memory Coherency或DMA章節(jié)二是看內(nèi)核設(shè)備樹里對應(yīng)設(shè)備節(jié)點是否有dma-coherent屬性。dma-coherent表示該設(shè)備DMA與Cache保持一致Linux這一側(cè)的通用DMA API會對應(yīng)走捷徑驅(qū)動代碼里不需要再做同步操作。如果你確定板子硬件不具備一致性能力再繼續(xù)往下看三招都基于“非一致性系統(tǒng)”這個前提。2. 第一招用DMA映射API按方向自動刷CacheLinux內(nèi)核的DMA API其實是把最標(biāo)準(zhǔn)的做法寫進了規(guī)范里。只要在合適的時機、按正確的方向調(diào)用dma_map_single和dma_unmap_singleCache維護這個臟活就交給內(nèi)核去辦了。這也是我在驅(qū)動里優(yōu)先推薦的方法。因為它不要求你自己動手寫任何刷Cache的底層操作只要守規(guī)矩就能保證CPU和DMA雙方都看到正確數(shù)據(jù)。2.1 DMA_TO_DEVICE 和 DMA_FROM_DEVICE 的正確姿勢搞清楚方向最重要。內(nèi)核DMA API用direction參數(shù)表達的是數(shù)據(jù)的“最終流向”DMA_TO_DEVICE數(shù)據(jù)由CPU寫入內(nèi)存然后由設(shè)備通過DMA讀取。對應(yīng)發(fā)送路徑。DMA_FROM_DEVICE數(shù)據(jù)由設(shè)備通過DMA寫入內(nèi)存然后由CPU讀取。對應(yīng)接收路徑。對應(yīng)到Cache操作上方向傳輸前傳輸后說明DMA_TO_DEVICE需要把CPU在Cache中寫入的臟數(shù)據(jù)Clean回內(nèi)存不需要額外操作DMA讀內(nèi)存不會改內(nèi)存關(guān)鍵是啟動DMA前讓數(shù)據(jù)真正落到RAMDMA_FROM_DEVICE需要處理Cache中的舊數(shù)據(jù)防止臟寫回覆蓋DMA內(nèi)容需要Invalidate CacheCPU再讀時才會取內(nèi)存中的新數(shù)據(jù)接收完成后必須讓CPU的Cache失效因此dma_map_single在傳輸前調(diào)用dma_unmap_single在傳輸完成后調(diào)用內(nèi)核會根據(jù)direction完成上述Cache維護。別小看API這套約定很多問題恰恰是調(diào)用時機錯了。一個規(guī)范的發(fā)送流程是這樣/* 發(fā)送 */ void *buffer ctx-tx_buf; size_t len packet_len; dma_addr_t dma_handle; memcpy(buffer, data, len); dma_handle dma_map_single(ctx-dev, buffer, len, DMA_TO_DEVICE); if (dma_mapping_error(ctx-dev, dma_handle)) { dev_err(ctx-dev, dma_map_single failed\n); return -EIO; } /* 把dma_handle和len寫到設(shè)備寄存器然后啟動傳輸 */ writel(len, ctx-regs TX_LEN); writel(dma_handle, ctx-regs TX_ADDR); writel(CTRL_START, ctx-regs TX_CTRL); /* 記住dma_handle傳輸完成中斷里做unmap */ ctx-tx_dma dma_handle; ctx-tx_len len;/* 發(fā)送完成中斷 */ if (status TX_DONE) { dma_unmap_single(ctx-dev, ctx-tx_dma, ctx-tx_len, DMA_TO_DEVICE); }接收流程要區(qū)分兩個階段。啟動接收時需要先把緩沖區(qū)map好傳輸完成后在中斷或tasklet里unmap并invalidate/* 接收前 */ dma_addr_t rx_dma; rx_dma dma_map_single(ctx-dev, ctx-rx_buf, RX_BUF_SIZE, DMA_FROM_DEVICE); writel(ctx-rx_buf_len, ctx-regs RX_LEN); writel(rx_dma, ctx-regs RX_ADDR); writel(CTRL_START, ctx-regs RX_CTRL); /* 接收完成中斷 */ if (status RX_DONE) { dma_unmap_single(ctx-dev, ctx-rx_dma, ctx-rx_len, DMA_FROM_DEVICE); /* 到這里rx_buf里的數(shù)據(jù)才是DMA寫進來的新數(shù)據(jù) */ process_packet(ctx-rx_buf, ctx-rx_len); }這里有個非常容易犯的錯在調(diào)用dma_map_single之后到dma_unmap_single之前CPU不能隨意訪問這塊緩沖區(qū)。API建立的是一個“外設(shè)訪問期”這期間CPU再寫緩沖區(qū)內(nèi)存里的數(shù)據(jù)是否最新就沒人能保證了。有些新手在map后還往buffer里memcpy結(jié)果DMA傳出去的還是舊內(nèi)容排查半天發(fā)現(xiàn)是訪問序違規(guī)。2.2 高頻傳輸時的替代方案dma_sync_single_for_cpu/device有人會問每次收發(fā)都map/unmap開銷是不是大了點對于高頻小包場景確實如此。尤其是有IOMMU的平臺map/unmap還涉及頁表操作頻繁調(diào)用代價不可小覷。這時可以用同步API替代反復(fù)map/unmap。思想是把map/unmap只看作“建立/釋放設(shè)備對內(nèi)存訪問權(quán)限”的過程而把Cache維護用dma_sync_single_for_cpu和dma_sync_single_for_device單獨完成。緩沖區(qū)只映射一次之后每次收發(fā)只做同步。接收路徑典型寫法/* 初始化時映射一次 */ ctx-rx_dma dma_map_single(ctx-dev, ctx-rx_buf, RX_BUF_SIZE, DMA_FROM_DEVICE); /* 每次啟動接收 */ static void arm_rx(struct my_ctx *ctx) { dma_sync_single_for_device(ctx-dev, ctx-rx_dma, RX_BUF_SIZE, DMA_FROM_DEVICE); writel(RX_BUF_SIZE, ctx-regs RX_LEN); writel(ctx-rx_dma, ctx-regs RX_ADDR); writel(CTRL_START, ctx-regs RX_CTRL); } /* 接收完成 */ static void rx_complete(struct my_ctx *ctx) { dma_sync_single_for_cpu(ctx-dev, ctx-rx_dma, RX_BUF_SIZE, DMA_FROM_DEVICE); dma_rmb(); process_packet(ctx-rx_buf, ctx-rx_len); arm_rx(ctx); }注意dma_sync_single_for_device和dma_sync_single_for_cpu只是Cache維護手段并不會像map/unmap那樣建立或釋放IOMMU映射。如果你的設(shè)備沒有IOMMU或者驅(qū)動不需要反復(fù)映射這個方法很適合。這套API最大價值是讓“刷Cache”這件事變得標(biāo)準(zhǔn)化。但它不是萬能鑰匙CPU訪問期和DMA訪問期必須嚴(yán)格交替互不重疊。一旦有一個CPU線程在DMA傳輸過程中插入訪問崩潰和臟數(shù)據(jù)只是一瞬間的事。3. 第二招手動Cache維護加內(nèi)存屏障自己掌控全局Linux API固然方便但有些場景繞不開手動操作老版本內(nèi)核、裸機驅(qū)動、或者需要極細(xì)致控制Cache維護時機的地方。另外面試或者排查問題時懂底層Cache指令也能省很多力氣。這一招的核心是兩件事Cache Clean/Invalidate操作以及配套的內(nèi)存屏障。很多只刷Cache不加屏障的驅(qū)動也能跑但屬于“運氣好”換個CPU、換個總線問題立刻現(xiàn)形。3.1 底層Cache操作接口與調(diào)用位置在ARMv7/ARMv8裸機環(huán)境下Cache維護通常通過協(xié)處理器指令或者CPI段中的Cache操作by MVA完成。例如Clean Cache LineDCCMVAC把臟Cache行回寫內(nèi)存。Invalidate Cache LineDCIMVAC丟棄Cache中的副本。Clean and InvalidateDCCIMVAC。在Linux內(nèi)核里不直接依賴具體指令而是使用封裝好的底層接口比如dmac_map_area、dmac_unmap_area。但更推薦的做法還是用dma_sync_single_*因為它在不同架構(gòu)間有可移植性。這里講手動方式是為了讓你理解API背后發(fā)生了什么。映射到實際操作位置發(fā)送方向在DMA啟動前對緩沖區(qū)做Cleanclean_cache_mva(buffer, len); dma_wmb(); writel(CTRL_START, dev-regs TX_CTRL);接收方向在DMA完成中斷里對緩沖區(qū)做Invalidatedma_rmb(); invalidate_cache_mva(buffer, len); dma_rmb(); process_packet(buffer, len);很多人會把Clean和Invalidate的順序搞反。發(fā)送前該做的是Clean而不是Invalidate接收完成后該做的是Invalidate同時對舊的臟行要先Clean再Invalidate否則臟行數(shù)據(jù)可能還沒來得及回寫就被揚了。3.2 為什么還必須配內(nèi)存屏障內(nèi)存屏障管的是“訪問順序”它和Cache維護是兩回事。我見過太多人把內(nèi)存屏障當(dāng)成刷Cache的替代品加了dma_rmb卻不做invalidate數(shù)據(jù)照樣錯然后百思不得其解。屏障解決的是亂序問題處理器、編譯器、總線都可能對內(nèi)存訪問重新排序。典型例子是發(fā)送方向/* 錯誤示范只寫數(shù)據(jù)不寫屏障 */ memcpy(buffer, data, len); clean_cache_mva(buffer, len); writel(CTRL_START, dev-regs CTRL);如果writel(CTRL_START)被CPU亂序提前執(zhí)行DMA控制器可能在你還沒Clean完成、甚至數(shù)據(jù)還沒完全寫入緩沖區(qū)時就開始傳輸。結(jié)果就是設(shè)備讀到了不完整的包或者讀到了舊值。正確做法是在數(shù)據(jù)準(zhǔn)備和啟動DMA之間插入寫屏障memcpy(buffer, data, len); clean_cache_mva(buffer, len); dma_wmb(); /* 保證clean_cache以及buffer寫入都對DMA引擎可見 */ writel(CTRL_START, dev-regs CTRL);接收方向DMA完成中斷里需要讀屏障if (readl(dev-regs IRQ_STATUS) RX_DONE) { dma_rmb(); /* 確保DMA寫入內(nèi)存的動作已經(jīng)完成且有序可見 */ invalidate_cache_mva(rx_buf, len); dma_rmb(); /* 確保invalidate之后CPU再讀buffer */ process_packet(rx_buf, len); }為什么中斷里還要加dma_rmb因為DMA控制器寫入內(nèi)存是外設(shè)側(cè)的主設(shè)備操作CPU觀察到中斷時DMA的寫如果還沒完全抵達內(nèi)存或總線上仍有排隊寫后續(xù)讀取可能讀到半新不舊的數(shù)據(jù)。屏障可以約束CPU端讀操作的順序這也是內(nèi)核文檔里明確建議的用法。3.3 手動Cache維護時的描述符Ring示例在裸機網(wǎng)絡(luò)驅(qū)動里我們經(jīng)常用描述符Ring管理收發(fā)。描述符本身也是DMA要訪問的內(nèi)存同樣存在Cache一致性問題。一個經(jīng)典做法是描述符數(shù)組放在非Cacheable內(nèi)存區(qū)域這樣CPU每次讀寫描述符都直接訪問RAM不需要維護Cache。但如果你偏要把描述符放在Cacheable內(nèi)存里就得按下面這種模式處理/* 寫發(fā)送描述符然后啟動DMA */ static void prepare_tx_desc(struct my_dev *ctx, int idx, dma_addr_t payload_dma, u32 len) { volatile struct tx_desc *desc ctx-tx_ring[idx]; desc-addr payload_dma; desc-len len; desc-ctrl DESC_VALID | DESC_LAST; /* 確保描述符內(nèi)容先寫入內(nèi)存 */ clean_cache_mva((void *)desc, sizeof(*desc)); dma_wmb(); /* 更新生產(chǎn)者索引讓DMA引擎開始搬運 */ writel((idx 1) % RING_SIZE, ctx-regs TX_PRODUCER); }接收完成同理static void handle_rx_desc(struct my_dev *ctx, int idx) { volatile struct rx_desc *desc ctx-rx_ring[idx]; u32 len; dma_rmb(); invalidate_cache_mva((void *)desc, sizeof(*desc)); dma_rmb(); len desc-actual_len; if (desc-ctrl DESC_DONE) { invalidate_cache_mva(ctx-rx_payload[idx], len); process_packet(ctx-rx_payload[idx], len); } }這樣搞確實繁瑣所以即使裸機驅(qū)動很多老手的做法依然是描述符放Non-Cacheable區(qū)Payload緩存用Cacheable區(qū)只在Payload上做Cache操作。只有非常追求性能、Payload也不大時才把環(huán)形緩沖整體放到手動管理里反復(fù)折騰。4. 第三招直接分配一致性DMA緩沖區(qū)從根上解決如果每次收發(fā)都要刷Cache、加屏障總還是太累了。有沒有一種辦法讓CPU和DMA操作同一塊內(nèi)存時硬件或軟件映射機制自動保證雙方看到的內(nèi)容一致有。這就是一致性DMA映射。Linux下對應(yīng)接口是dma_alloc_coherent和dma_free_coherent。用這個API分配出來的緩沖區(qū)CPU和設(shè)備不用再做Cache維護直接讀直接寫兩邊看到的結(jié)果都是同步的。4.1 dma_alloc_coherent 到底干了什么它的核心思路是把分配給DMA控制器使用的物理內(nèi)存區(qū)域在CPU頁表里映射為“不具備一般Cache緩存屬性”的內(nèi)存。通常是不允許Write-Back Cache緩存或者直接映射為保持“一致性”的硬件域。這樣CPU訪問該緩沖區(qū)時數(shù)據(jù)不只是停留在Cache而是直接落到內(nèi)存DMA訪問時自然也能拿到最新內(nèi)容。在某些支持硬件總線一致性的平臺上dma_alloc_coherent可能分配的仍是Cacheable內(nèi)存但硬件監(jiān)聽機制保證了DMA和CPU共同看到同一份數(shù)據(jù)。無論哪種實現(xiàn)對驅(qū)動代碼來說效果一樣不需要手動Clean/Invalidate。典型用法struct desc_ring { void *virt_base; dma_addr_t dma_base; u32 n_desc; }; static int alloc_desc_ring(struct my_ctx *ctx, struct desc_ring *ring) { ring-virt_base dma_alloc_coherent(ctx-dev, ring-n_desc * sizeof(struct desc), ring-dma_base, GFP_KERNEL); if (!ring-virt_base) return -ENOMEM; memset(ring-virt_base, 0, ring-n_desc * sizeof(struct desc)); return 0; } static void free_desc_ring(struct my_ctx *ctx, struct desc_ring *ring) { dma_free_coherent(ctx-dev, ring-n_desc * sizeof(struct desc), ring-virt_base, ring-dma_base); }分配成功后virt_base是CPU使用的虛擬地址dma_base是DMA引擎使用的物理地址。CPU操作virt_baseDMA操作dma_base共享同一塊物理內(nèi)存。這類內(nèi)存最適合放DMA描述符、環(huán)形隊列索引、硬件狀態(tài)字以及體積不大但訪問頻繁的控制信息塊。下面這段描述符Ring的消費端就用得干干凈凈static bool rx_ring_has_packet(struct my_ctx *ctx) { struct rx_desc *desc ctx-rx_ring_desc[idx]; dma_rmb(); return (desc-ctrl DESC_DONE) ! 0; }這里還需要dma_rmb嗎需要。一致性內(nèi)存解決的是Cache一致性問題但沒解決總線上的讀寫排序問題。DMA引擎寫完描述符后CPU并不保證馬上就能看到中間還有總線緩沖、寫緩沖。用一次dma_rmb確保讀到的是DMA寫入后的最新狀態(tài)。這是很多人的知識盲區(qū)我見過有人把一致性內(nèi)存當(dāng)成完全隔離結(jié)果還是讀到舊描述符狀態(tài)。4.2 哪些場景適合用一致性內(nèi)存哪些并不適合一致性內(nèi)存并不總是優(yōu)于普通內(nèi)存。它的主要代價是CPU訪問性能。如果CPU每次讀寫都直接繞過Cache沖到內(nèi)存那么對于大數(shù)據(jù)量Payload的解析和填充速度會明顯下降。所以實際驅(qū)動里最常見的組合是描述符Ring、狀態(tài)字、生產(chǎn)者/消費者索引這類“控制面”數(shù)據(jù)放一致性內(nèi)存。真正的網(wǎng)絡(luò)包Payload、大文件緩沖區(qū)這類“數(shù)據(jù)面”用普通Cacheable內(nèi)存通過dma_map_single在收發(fā)瞬間做Cache維護。舉個例子某網(wǎng)絡(luò)驅(qū)動里環(huán)形描述符共256項每項64字節(jié)用dma_alloc_coherent分配每個包的數(shù)據(jù)緩沖區(qū)單獨申請用dma_map_single做映射。這樣描述符的讀寫頻率非常高放到一致性內(nèi)存能省下每包都Clean/Invalidate描述符的開銷而Payload動輒幾KBCPU解析時訪存壓力大放Cacheable內(nèi)存再手動管理Cache收益更明顯。有一個容易踩的坑dma_alloc_coherent分配大塊連續(xù)內(nèi)存并不總是成功。它拿的是物理連續(xù)頁面還要滿足一致性內(nèi)存池或CMA分配器的限制。大塊分配失敗時驅(qū)動回退方案要么是改用dma_map_single配合分散頁要么用sg表。所以要分配幾MB甚至幾十MB的視頻幀緩沖別指望一致性內(nèi)存在所有平臺都能輕松給你。5. 實操避坑指南緩存行對齊與調(diào)試驗證很多Cache相關(guān)的問題不是方向搞錯而是對齊問題。Cache維護的基本單位是Cache Line不是字節(jié)。x86常見64字節(jié)ARM Cortex-A系列常見64字節(jié)老一些的ARM可能是32字節(jié)也有個別平臺是128字節(jié)。如果你的DMA緩沖區(qū)和其他變量共用了一個Cache Line那麻煩就大了。5.1 緩存行對齊——最容易翻車的隱藏規(guī)則假設(shè)分配了一個緩沖區(qū)buf從0x1000到0x1010只有16字節(jié)而緊跟著地址0x1010到0x1020里放了一個相鄰變量flag。Cache Line大小64字節(jié)也就是說0x1000到0x1040屬于同一行。CPU之前訪問過flag這個Line被緩存起來了。DMA往buf寫入新數(shù)據(jù)然后CPU對buf做invalidate操作。invalidate是以整個Cache Line為單位的0x1000到0x1040這一行會被直接丟棄。如果flag的數(shù)據(jù)還沒來得及回寫或者CPU后面再從內(nèi)存讀flag內(nèi)存里flag可能是舊值也可能因為臟行丟失而狀態(tài)錯亂。更惡心的是這種問題只在特定地址布局、特定時序下出現(xiàn)看起來完全隨機非常難復(fù)現(xiàn)。解決辦法DMA緩沖區(qū)首地址對齊到Cache Line大小。緩沖區(qū)長度向上對齊到Cache Line整數(shù)倍。不要讓DMA緩沖區(qū)和普通變量共享同一Cache Line區(qū)域。如果DMA只需要操作一段很小的數(shù)據(jù)你依然要給整個Cache Line“買全單”該操作整行就操作整行。Linux內(nèi)核里DMA映射API要求buffer地址按ARCH_DMA_MINALIGN對齊。自定義驅(qū)動里可以結(jié)合平臺信息用dma_get_cache_line_size取到Cache Line大小然后對緩沖做對齊分配。裸機環(huán)境直接用編譯期常量ALIGN即可。一個簡單分配代碼#define CACHE_LINE_SIZE 64 static unsigned char dma_buf[2 * CACHE_LINE_SIZE]; static unsigned char *aligned_buf; aligned_buf (unsigned char *)ALIGN((unsigned long)dma_buf, CACHE_LINE_SIZE);這里的冗余分配就是為了保證即使數(shù)組起始不對齊也能找到一段從Cache Line邊界開始的空間。5.2 打開內(nèi)核DMA調(diào)試開關(guān)讓問題自己浮出來Linux提供了一套嚴(yán)格檢測DMA映射使用錯誤的機制內(nèi)核配置項叫CONFIG_DMA_API_DBUG編進內(nèi)核后通過啟動參數(shù)或sysfs觀察。打開之后它會記錄每次dma_map_*和dma_unmap_*的調(diào)用檢測map/unmap次數(shù)不匹配在映射未釋放時反復(fù)map同一地址使用未映射的地址訪問設(shè)備越界訪問使用了錯誤的direction排查Cache問題時我第一件事就是先開它。它能排除掉“API調(diào)用本身寫錯”的可能避免在錯誤的方向上浪費大量時間。debug信息通常在/sys/kernel/debug/dma-api目錄下。內(nèi)核也會在檢測到問題時打印詳細(xì)堆棧。在設(shè)備驅(qū)動模型里還可以通過dma_debug_driver驅(qū)動名只跟蹤特定設(shè)備的DMA操作。這個過濾在大型系統(tǒng)里很有用否則log會被大量無關(guān)DMA操作淹沒。5.3 常見癥狀速查表現(xiàn)象大概率原因排查方向發(fā)送數(shù)據(jù)偶爾變成舊內(nèi)容重啟后第一次正常DMA啟動前Cache沒Clean或者map后又寫buffer檢查DMA啟動前的clean操作檢查訪問時序接收數(shù)據(jù)永遠(yuǎn)是上一次的內(nèi)容DMA完成后沒有InvalidateCPU命中舊Cache行確認(rèn)接收路徑invalidate是否執(zhí)行接收數(shù)據(jù)偶爾部分正確部分亂Cache Line部分被invalidate殃及相鄰變量檢查緩沖對齊、DMA與變量是否共享Cache Line加了內(nèi)存屏障還是出錯屏障不是刷CacheCache問題沒解決先確保Clean/Invalidate正確再加屏障平臺宣稱非一致性但怎么刷都還是舊數(shù)據(jù)可能是設(shè)備樹標(biāo)了dma-coherent或IOMMU配置導(dǎo)致查設(shè)備樹和IOMMU配置換了CPU或總線頻率后錯誤復(fù)現(xiàn)頻率變化亂序窗口被放大缺少內(nèi)存屏障在DMA啟動/完成路徑補全屏障最直接的驗證方法是把DMA緩沖區(qū)臨時映射為Non-Cacheable或Strongly-Ordered如果問題消失基本坐實是Cache一致性問題。不過要注意這只是排查手段正式方案仍應(yīng)回到上面三招里選型。6. 寫在最后我的幾點體會這類問題真正難的地方不是“刷Cache”這個動作而是你不知道什么時候該刷、哪個方向刷、刷多大范圍。我個人的經(jīng)驗是每接手一個新平臺的DMA驅(qū)動第一件事就是看SoC手冊里DMA Controller和CPU Cache之間有沒有硬件一致機制確認(rèn)之后再決定用哪一招。另外強烈建議在項目早期做一次最簡單的DMA Cache一致性自測分配一塊Cacheable內(nèi)存CPU先寫入一個特征字節(jié)然后啟動DMA去讀再看DMA寫回的特征字節(jié)CPU能否立即讀到。這個測試不到半天就能寫好但能省下后面幾個月的排錯時間尤其是硬件和驅(qū)動同時Debug的階段。如果非要總結(jié)一條最實用的心法那就是CPU和DMA是兩套完全獨立的內(nèi)存視圖你的驅(qū)動代碼就是它們之間的翻譯官。翻譯出錯數(shù)據(jù)自然錯亂。把方向、時機、對齊這三件事刻在腦子里Cache問題再詭異也能一步步拆解到源頭。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产午夜精品一区二区| 六月丁香色色| 欧美色99| 免费无码毛片一区二区A片 | 久久精品女人天堂AAA| 碰碰碰碰碰99| WWW,五月天| 99热 在线观看| 婷婷综合网站| 99精品在线观看视频| 大香蕉婷婷| 亚洲va综合va国产va中文| 丁香五月婷婷国产av| 伊人大香久久| 五月丁香婷中文| 青青操avbb| 婷婷五月天熟妇| 99久在线精品99re8| 日韩狠狠色| 超碰在线人妻| 天堂网啪啪| 人人人操Av| 襙比视频| 99re热精品视频国| 婷婷开心久久| 91色婷婷综合久久中文字幕二区| 久久久五月天网站| www色婷婷久久综合久色| 午夜婷婷六月天| 热99这就是精品视频| 中文AV在线观看| 丁香五月天婷婷激情| 日本精品人妻无码77777| 99re资源在线视频导航| 丁香五月婷婷六月婷婷| 丁香五月婷婷在线| 色五月亚洲| 色色色五月婷| 日本熟女内射| 深爱综合网| 婷婷色网址| 综合性爱网| 天天天天天操| 99热这里是精品| 91色色五月天| 99色6爱9热| Www,五月天| 久久免费精彩视频| av最新在线| 99色综合| AV色婷婷| 久777| 婷婷九九| 婷婷狠狠干| 日韩AAA| 激情五月天综合网| 97午夜一区二区| 午夜大香蕉| 99精在线| av不卡网站| 五月丁香婷婷爱激情综合网| 99视频网址| 亚洲亚洲人成综合网络| 人妻射精AV| 99精品免费视频| 久久人人妻| 任你干嘛免费视频播放| 国产亚洲精久久久久| 东京热免费视频| g00d人体西西| 五月丁香婷婷激情视频| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 桃色五月天| 激情性爱网站| 啄木鸟丝袜美女福利视频| 97综合在线| 99久久www| 激情婷婷五月天日本系列| 天天影院色| 久久嘟嘟丁香| 99热国产这里只有精品| 懂色av粉嫩AV蜜臀AV| 丁香香五月激情免费视频| 九九这里是免费的视频5| 开心激情站| 亚洲网站观看视频| www.五月天婷婷姐姐| 高清无码视频网址| 玖玖国产视频一区| 天天综合网站| 欧美激情五月综合| 天天爱天天操| 天天操夜夜啊| 日本久久精品| 深爱激情网五月| 99操逼| 精品爆操| 色日本综合| 婷婷九九色| 天天色伊人| 国产在这里只有精品| 久久久宗合| 婷婷五月天天天| 激情五月瑟瑟| 婷婷五月在线观看| 欧美日韩123| 99热精品免费| 国产免费一区二区三州老师F1F1| 国产免费AV在线| 中文字幕欧美久久| 中美日韩成人在线| 天堂A∨在线| 任你爽精品免费视频6| 99热91| 9 99免费视频| 综合色色婷婷| 狠狠艹狠狠艹| 99热网精品| 久色姿源| 67194中文在线| 天天色综合色| 久久婷青青草原| 热热久久久久久久久| 99热超碰在线| 五月婷婷伊人久久| 99caobi| 五月亭亭性| 色五月婷婷91在线| 丁香五月综合激情啪啪| 99久久66| 最新无毒无码AV| 日韩六六久久电影| 在线一起草av| 久热中文字幕| 99久99热| 色欲久久99精品久久久久久| 婷婷五月色激情欧美激情| 六月色婷婷综合影视| 亚洲中文乱字字幕在线永久| Av大香蕉| 成人综合网站| 欧洲亚洲精品| 最近中文字幕2019视频1| wWw色五月| 五月天社区| www.91有码.com| 99欧美热| 美欧日韩国产成人在战| 亚洲中文无码成人| 色五月激情综合网站| 五月丁香六月婷婷操操操| wWW九九在线播放| 丁香九月婷婷综合| 五月丁香在线偷拍视频| 日韩黄色电影| 人妻少妇色综合| 色操b| 岛国操B不卡在线| 五月婷婷黄色| 噜噜噜色噜噜| 九九热自拍| 婷婷色中文字幕| 人人做天天爱| 丁香六月婷婷激情综合| 四色五月婷婷| 久久综合人妻| 婷婷精品性视频| 伊人色综合久久久| 一级黄色影片| 激情五月婷婷六月丁香| 丁香五月综合高清在线| 九九视频在线观看视频6 | 五月婷婷九月婷婷九月婷婷| 日韩ac不卡无码| 久久一级AV| www激情五月天| 婷婷五月丁香综合瑟瑟| 女力报到正好爱上你| A级毛片高清免费不卡播放谢谢谢谢| 99这里只有| 秋霞影音91人妻久久| 91丁香五月| ..真实国产乱子伦对白在线_欧| 色日本五月天| 伊人婷婷激情| 亚洲精品国产成人AV在线| 操操操B| 久9热视频| 色婷婷成人影片| 青青久久大香蕉| 成人做爰A片免费看网站找不到了| 亚洲五月色| 五月丁香婷婷爱激情综合网| 婷婷欧美激情| 精品综合网在线| 小视频久久久aaa| 五月丁香婷爱在线| 极品 少妇 内射| 97超碰在线免费观看| 97色婷婷| 色播综合| 大香蕉五月丁香| 狠狠操狠狠做| 日日噜噜久久婷婷五月天| 五月婷婷六月丁香首页| 九色亚洲| 最新高清无码专区| 天天插天天干| 91狠狠综合久久久| 99热免费| 亚洲色优| 色播五月婷婷五月| 天天天天做夜夜夜夜做| 成人精品一区二区三区四区五区| 婷婷中文无码| 国产三级片91| 91色在线 | 日韩| 99五月香婷婷丁香在线视频| 欧类av怡春院| 第九色区av天堂| 91操熟女| 丁香六月婷婷开心| 丁香五月日韩| 久草视频一,二三四| 亚洲综合激情五月| 五月天激情av| 日日夜夜小色哥| 九九这里只这里只有精品| 婷久久| www.一起草av| 欧美久久久久久久久中文字幕| 免费看欧美成人A片无码| 五月婷婷六月色| 影视av久久久噜噜噜噜噜三级| 狠狠五月激情丁香六月| 色综合色综合网| 激情五月亚洲综合网| 九九99在线观看视频| 欧美在线97| 97碰成超视频免费视频| 伊人玖玖网| 9|在线观看视频| 国产精产国品一二三在观看| 乱精品一区字幕二区| www.婷婷| 少妇高潮A片无套内谢麻豆传| 九九热免费| AV网站免费在线| 婷婷在线视频| 另类视频综合| 26uuu精品一区二区| 日本色婷婷| 99热免费精品| 婷婷激情六月| 激情开心五月天| 五月丁香啪啪啪| 99热这里只有精品2| 婷婷综合网站| 99爱爱| 丁香六月综合| 国产小精品| 欧美性爱五月天| 超碰在线人妻| 天天射天天插天天干| 国产精产国品一二三在观看| 久久婷婷免费| 丁香熟女乱| www.五月婷| 91干网| 久99精品视频| www.91操| 激情综合五月激情17| 五月色婷婷在线观看| 久久婷婷五月国产色综合激情| 天天噜天天插| 99色热视频| 色婷婷狠狠久久综合五月| 色婷婷五月婷婷五月婷婷五月| 99热这里只有精品2016| 色激情五月| 激情綜合W W W,激情五月天| 9久久婷婷国产综合精品性色| 人妻久久婷婷| 九月婷婷久久| 成人AV片播放| 色女人久久| 日韩无码成人电影| 深夜婷婷五月丁香| 性生活久久朋友人妻| 狠狠做深爱婷婷久久综合一区| 丁香五月六月综合欧美| 操碰91| 久久狠狠干| 日本天天操| 激情婷婷丁香五月| 丁香婷婷五月人体| 狠狠色婷婷7777久| 色99综合视频| 婷婷九月丁香| 99热这里只有精品16| 色婷婷丁香| 五月天婷久久| 丁香五月婷婷偷拍| 五月六月激情婷婷| 夜夜爱网站| 五月天丁香网站| www久| 日本久久色| 色情婷婷。| 亚洲五月丁香综合网| 成人小说 五月天 婷婷| 日婷婷久久开心| 碰碰91| 欧美成人精品A片免费一区99| 色逼综合网| 久婷首页| 日韩激情婷婷五月天| 99成人精品视频| 色综合区| 色色网站日本91| 插逼综合网| 久久在这里有精品| 激情综合色婷婷啪啪六月天| 日本精品人妻无码77777| AV大片在线观看| 九九性视频| 九九久久五月天综合伊人| 色偷偷五月天| 久草热8精品视频在线观看| 婷婷色一二三区波多野结衣| 色狠狠激情五月| 久久人妻视步| 久热大香蕉| 超碰五月婷婷五月天| 成人综合网站| 毛片新网地| 婷婷丁香五月天在线视频| 丁香婷婷成人网| 丁香六月综合| 婷婷丁香成人五月天| 久久亚洲色导航| 精品人妻一区| 逼特逼在线免费播放| 色婷婷88| 久久婷婷五月综合色和| 天天插天天插| 香蕉国产2013| 激情丁香五月天图片| 五月丁香影院| 人人操人人操919999| 六月色色婷婷| 99碰碰| 婷婷的色色五月天| 噜噜狠狠色综合久| 五月天综合区| 天天爽天天| 密视AV综合在线| 色婷婷六月激情| 成人在线综合| 久久久九九九 99| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 国产在线中文字幕| 丁香五月天堂网AV| 婷婷无码视频| 中文字幕欧美日韩VA免费视频| 玖玖婷婷色五月| 九热视频这里只有精品| 五月丁香婷婷色| 九九综合色综合| 亚洲最大五月六月丁香婷婷| 少妇AB又爽又紧无码网站| 伊人网大香| 丁香五月婷中字幕| 内射 无码 伊人| 久久五月天综合视频网站| 久久丝袜婷婷| 色色综合热| 青青福利网| 成人片在线播放| 色色色婷婷五月| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 色婷婷啪啪| 激情五月婷婷综合视频| 婷婷五月色| 婷婷久久网| 99操免费视频| 亚洲av成人电影在线观看| 亚洲中文乱字字幕线在永久| 最近中文字幕2019视频1| 欧美日韩91| 97性视频| 天堂中文国产| 色噜噜狠狠色综合网| 欧美色色日韩| 激情婷婷五月| 五月婷婷激情日本| 爱婷婷都市激情| 99热97美女| 五月天久久成人| 五月天开心网| 六月香五月婷| 美国少妇性做爰| 婷婷五月天va| 欧美三级巜人妻互换| 丁香女人五月天| 第四色五月天| 婷丁五月| 天天插天天插| 操逼在线视频| 六六久久黄色| 激情深爱综合网| 五月婷婷激情在线| 婷婷激情小说| 亚洲成人中心| 大香蕉啪啪| 在线观看中文字幕亚洲| 大香蕉九九| 五月丁香另类图片| 狠狠搞狠狠操| 激情五月丁香色婷婷| 99国产精品久久久久久久久久久 | 美女妹子后射视频网站在线观看| yw.av| AAAA网站| 99五月婷| 五月婷婷五月天| 99热国产精品| 天天做天天爱| 色综合色色色色色| 99人人干人人操| 夜夜撸日日操| 激情五月天色色网| 五月天婷婷色色| 婷婷丁香久久五月综合| 五月综合激情网| 79精品视频| 欧洲毛片基地c区| 超碰在线国产| 丁香久久| 巴基斯坦粉嫩无码视频| 99re免费视频| 亚洲综合九九| 天天草天天舔| 无语停婷丁香网| 思思精品视频| 超碰人人草| 婷婷久久久| 丁香五月天激情综合网| 九色PORNY在线精品酒店| 在线视频激情网站| 亚洲视频a| 亚洲精品一区无码A片| 色色日韩无码| 丁香五月天婷婷91| 五月丁香色综合| 天天干天天干天天干天天干天天干天天| 九九婷婷激情综合网| 色色网站在线| 在线播放成人网站| 五月婷婷综合激情小说| 久久精品人妻| 婷丁香久综合| 国产免费av网站| 亚洲黄色精品| 色五月天天| 婷婷新网址| 婷婷久久亚洲| 天天射天天射一道本日本社区 | 婷婷爱五月天| 欧美婷婷色五月| 色九亚洲| 韩日另类| 99久在线精品| 亚洲99在线| 百度4399有码精品V在线观看| 婷婷五日b| 色综合色色色色色色综合| 欧洲一区二区| 深爱婷婷色| 婷婷综合在线视频| 99熟女| 婷婷五月综合激情免费视频| 五月婷婷综合激情| 无码人妻一区二区一牛影视| 欧美色婷婷| 这里只有精品在线免费视频| 久久九九网| 狠狠婷婷色| 97性视频| 久久九九大香蕉电院| 五月丁香亭亭操逼| 任你爽在线视频| 亚洲成人在线免费| 色性五月天| 狼人久草| 丁香久久九九99| 婷婷伊人| 婷婷综合色图| 欧美婷婷色五月| 99re热视频这里只有综合亚洲| 狼人伊人天堂| 亚洲综合婷婷| 日熟女| 久久婷婷五月综合色播| 99ri国产| 玖玖婷婷色| 丁香五月花| 色综合久久99色| 丁香五月中文字幕久色| 五月丁香色色综合| 色婷婷成人网| 日韩久久欧亚| yazhoujiqingav| 亚洲av网站| 丁香激情综合| 五月综合激情图片| 无码人妻少妇色欲AV一区二区| 深爱激情五月天| xxx日本东京热| 九月婷婷久久久| 综合久久综合五月天婷婷| 97人人干| 国产日比| 色欲午夜无码久久久久久张津瑜 | 99在线精品视频| 丁香激情网| 日本天堂网站99| 中文久久婷婷| 深爱激情网综合| 涩综合在线| 欧美日本黄色| 国内久久久精品99| 超碰成人影视| 日韩AV中文在线观看| 99热6精品| 五月天婷婷成人网| 婷婷五月另类网站| 婷婷五月天美女视频| 亚洲精品操一操、噜一噜、摸一摸、爽 | 久久少妇视频| 午夜电影网VA内射| 国产美女精品| 日本五月婷婷久久久六月丁香| 五月婷色色| 久久在线大香蕉| 色婷婷无吗| 久久色大香蕉| 欧美精品在线观看| 蜜桃人妻无码AV天堂三区| 亚洲综合激情五月久久| 99人碰碰碰| 婷婷激情六月视频| 爱婷婷都市激情| 91色情播放| 日韩乱玛久久| 亚洲成片在线观看| 六月色播| 婷婷五月天综合久久| 97韩国久久电影院| 五月丁香激情六月| 国内精品玖玖| 五月丁香六月婷婷手机无线| 婷婷五月天亚洲精品| 五月天婷婷丁香花| 一二三区视频韩国| 好好干av| 不卡影院午夜理论片| 五月婷婷在线网站| 婷婷五月天免费| 婷婷综合激情五月综合| 色情一区二区播放| 婷婷五月天综合色| 天天摸色吧天天摸色吧| 激情五月天电影| 五月婷婷中文| 九九无码| 91一起艹| 婷婷五月天电影网| 狠狠干综合| 免费看欧美成人A片无码| 超碰免费在线| 欧美69久成人做爰视频| 色啪久 | AV在线中文| 99精品国产热久久91色欲| 97干97色| 天天射影院| 99免费在线视频| 精品国产AV色一区二区深夜久久| AAA级久久久精品| 五月综合人妻| 亚洲AV永久无码影院黑人| 久久一级片| a九九热www| 另类天堂| 五月综合激情图片| 天天爽夜夜爽天天爽夜夜爽| 开心激情综合| 超碰在线观看99| 色综合五月婷婷狠狠干| 一级A片天天操夜夜操| 婷婷激情五月天视频在线| 久久人妻www| 丁香六月婷婷| 五月亭亭直播| 操人妻AV| 久久日韩婷婷五月| 成人片在线播放| 热的国产,热的综合,热的有码| 天天操天天操天天操| 99热99色| 91男同| 天天插天天干| 婷婷狠狠爱| 激情综合在线观看| 国产欧美婷婷五月| 五月丁香啪啪综合| 亚洲热久久| 久久久国产精品黄毛片| 亚洲成人无码免费| 综合激情伊人影视在线| 丁香五月天啪啪激情综和网 | 亚洲性爱干干| 色五月影视| 日韩成人av在线| 亚洲亚洲人成综合网络| 精品综合爱| a色色色色色| 五月天激情婷婷小说| 五月狠狠| 无码人妻丰满熟妇奶水区码| 久久久久婷| 丁香五月天天| 天天日天天草| 久久人妻精品| 日本视频欧美观看免费| 久久人妻爱爱| 免费视频无码| 国产99久久久国产精品免费看| 亚洲爱婷婷| 夜夜爽天天| 久机视频这只有精品| 狠狠色噜噜狠狠狠888| 五月天啪啪网| 欧美性生交XXXXX无码小说| 九九精品少妇| 夜夜骑日日操| 色爱综合网| 欧美日韩中文国产一区发布| 夜夜躁婷婷AV| www激情网| 丁香六月婷婷开心| 色综合女人99| 无码网| 91无码高清| 影音先锋自拍网| 激情综合网五月丁香| 欧美婷婷五月| 五月激情在线| 丁香五婷婷| 久久久区区一久久久久久| 婷婷五月丁香综合| 色五月婷婷91在线| 色小说婷婷五月天天天| 久久精典| 五月婷婷9| 色婷婷欧美在线| AV网站免费在线| 婷婷丁香五月天之开心少妇| 都市激情蜜桃婷婷五月天| 天天插天天射| 久热伊人91| 六月丁香五月激情亚洲AV| 丁香五月社区| 久草婷妨| 色亚洲婷婷| 九九色色| 婷婷精品综合| 婷婷色五月综合| 成人在线视频网| 中文字幕精品在线观看| 国产高清精品色| 五月天精品| 久久婷婷色情7777网站| 国产在这里只有精品| 精品一二三区久久AAA片| 99久在线视频| 五月丁香六月在线| 色操综合| 婷婷色播综合五月| 欧美99热| 婷婷久久五月丁香| 涩五月婷婷| 激情五月婷婷视频| 熟女强人妻一区二区三区四区无| 国产1区2区3区在线观| 婷婷五月色| 丁香五月天日韩无码| 国产在线6| 99热6精品| 久99热在线观看| 开心网五月色婷婷| 色综合视频在线| 五月婷婷色丁香| 激情丁香五月婷婷| 久久97| 69久久99精品久久久久婷婷| 日本情色一区二区| 女高怪谈在线观看| 99re资源在线视频导航| 婷婷丁香激情| av亚洲国产小电影| 天天爱天天做天天舔| 六月 丁香 视频| 超碰人人操人人干| 99干视频| 99热这里| 五月色婷婷中文字幕| 丁香六月婷| 思思热视频| 色久99| 婷婷六月丁香欧美视频在线| 激情av网| 激情文学五月丁香六月婷婷| 99ri6在线视频| 99热12| 99精品久久久久久| 色色五月婷婷丁香| 色99xx| 思思热精品在线观看| 99色综合久久| 成人丁香婷婷| 日本人妻操| www.色婷婷.com| 91综合在线观看| AV性爱网| 婷婷五月丁香欧洲| 综合大香蕉| 97超碰人人操| 激情五月激情综合网| 久久永久网址| 欧美大片| 成 久久| 久9热插入| 日本人人xxx| 久久激情五月| 操人视频91| 六月婷婷久久| 欧美色色色色色色色色色色| 人人操AV| 免费亚洲婷婷中文字幕| 夜夜夜夜夜操| 深爱激情四射| 丁香五月婷婷国产av| 开心激情网在线| 五月亭大香蕉| 五月丁香啪啪网| 开心五月六月婷婷| 久久小说| 丁香六月婷婷综合在线| 大香蕉伊在| 丁香五月日韩| 色色色色色级无码| 免费在线观看AV网站| 五月丁香黄色视频| 在线视频99| 丁香六月情| 日日色五月天| 日韩av高清| 女人被男人吃奶到高潮| 99久久婷婷国产综合精品青桔| 国产亚洲色婷婷久久99精品91| 1995年关宝慧版蜘蛛女| 九一牛视频探花| 亚洲另类婷婷综合| 久久综合网免费视频| 草草色情综合网| 五月天婷婷综合免费| 亚洲啪啪啪啪| 免费看欧美成人A片无码| 开心五月深爱五月丁香五月激情五月 | 99精品免费欧美小视频 | 久久草大香蕉| 亚洲综合丁香五月天| 久久新地此| 99热最新网址| 欧美爆乳一区二区三区| 91操在线视频| 另类少妇人与禽zOZZ0性伦| 丁香五月色欲| 中文字幕av在线| 强辱丰满人妻HD中文字幕| 久久综合丁香激情五月| 色综合婷婷| 欧美69久成人做爰视频| 91热网址| 都市激情五月婷婷综合| 五月婷婷AV| 国产寻花在线| 色婷婷偷拍| 99久热| 综合网亚洲| 激情宗合哪里能看| 91jiuseshunv| 狠狠综合网| 六月 丁香 视频| 91天天操天天干天天射| 久久男人网婷婷| 五月天色色网站| 在热视频精品| 大香网伊人久久综合| 影音先锋男人av资源站| 99热欧美| 人人草人| 六月激情婷婷色| 影音先锋天天日| 亚洲V国产V欧美V久久久久久| 狠狠插狠狠插| 激情五月网站| 六月婷久久| 亚洲精品**不卡在线播he| 综合色色婷婷| 丰满熟女人妻一区二区三| 色欲人妻综合aaaaaaaa网| 无码一级片| 激情99| 五月婷婷激情| 五月天色视频| 麻豆科斗777| 99久热精品在线| 久久无码成人| 人妻无码精品一区| 播五月丁香三月婷婷| 天天色综合色| 色综合色综合网| 1024在线视频| 激情综合五月天| 国产熟女一区二区三区五月婷| 人人操A| 五月色情婷婷| 99视频在线啪| 丁香五月亚洲综合丝袜| 日日夜夜狠狠| 色色五月天丁香婷婷| 婷婷激情5月| 五月伊人综合| 欧美久久网| 月丁香久久久| 人妻熟女一区二区AV| 欧美日朝成人| 中文AV网站| 日日懆天天懆| 婷婷中文字幕| 国内一级精品| 婷婷色色丁香| 牛牛澡牛牛爽| 亚洲乱码日产精品BD| 九九婷婷综合| 99激情视频| 五月色俺婷婷| 美女100%露全身无挡网站| 91一起操| 久久资源网五月婷| 国产免费av网站| 五月婷婷天| 六月婷婷国产| 五月天亚洲最大成人| 色狠狠五月天| 色五月天丁香婷婷| 97人妻碰碰碰久久| 九色视频入口91| yazhoujiqingav| 99久久9| 久久丁香五月天| 啪啪综合| 丁香婷婷五月六月久久| 色色婷婷丁香五月天| 色五月婷婷影院| 久久这里只有精品22| 六月色婷婷欧美| 3pAV| 亚洲视频a| 淫视馆aV二区一区| 97人人做| www.婷婷亚洲基地| 麻豆雪千夏| www.sebowuyue| 91久久久久久久91| 成人人操| 草草影院爱爱| 国精产品一区二区三区| 亚洲在线成人| 99视频在线看| 激情综合在线播放| 天天透天天干| av成人在线播放| 日韩一级网站| 综合 蜜月 婷婷| 久久天堂色| 五月深情久久| 婷婷久久18| 丁香婷婷午夜| 久久婷综合网| 婷婷色色欧美| 久久久精品AV| www.色婷婷| www,五月天com| xxxx五月激情| 电影《战争与艾拉》免费观看| 九九九九九无码| 丁香婷婷五月天亚洲| 色播播之激情五月婷婷| 26UUU精品一区二区c〇m| 丁香六月婷婷色XXXX| 淫荡工a| 五月婷婷久| 五月天伊人网| 99这里有精品视频| www.婷婷五月| 激情五月五月婷婷| 中文字幕日产A片在线看| 婷婷综合性爱网| 不卡成人免费| 狠狠色大香蕉| 久热91精品| 伊人婷婷青青cao| 嫩草AV久久伊人妇女超级A| 一區四區歐美日韓| 丁香六月天之亚州热女| 中文字幕,综合,91| 激情五月天色色网| 超碰99在线| 久久久久久久久久久久久久人妻视频 | 日夜夜天天| 亚洲情欲| 99精品在线观看视频| 噜噜视频| 成人精品视频99在线观看免费| 成人AV播放| 99久精品视频| 丁香五月成人| yazhouzonghesese| 天天日,天天射,天天舔| 婷婷丁香色情| 久热这里只有| 91人妻九色大屁股| 婷婷综合影院| 激情网第九色| 色六月天| 2025天天日爽| 日韩啊啊啊| 激情6月| Caop在线| 中文字幕丰满乱孑伦无码专区 | 99色色| 99热99色| 日操熟女| 天天久久狠狠色综合| 99在线免费视| 九九性视频| 99热这里都是精品| 亚洲亚洲人成综合网络| AVV黄| 亚洲小视频免费播放| 久久在线人妻| 丁香五月婷婷基地| 久久五月天婷婷| 97综合视频在线| 在线99色| 婷婷五月情色| 九九热精品视频在线观看| 色五月丁香婷婷| 色爱爱综合网| 97色片| 色婷五月| 99热99在线| 熟惀91九色在线| 久久久.COM| 成人羞羞啪啪 全 视频| 天天摸天天透天天舔| 色区久久| 色99视| 在线VA视频| 这里只有精品9| 婷婷五月无码| 五月婷婷丁香综合,亚洲天堂| 色综合激情| 亚洲丁香五月| 久久五月天婷婷| 久热精彩视频98| 日韩欧美一区二区三区四区| 狠狠干五月丁香综合网| 无码色| 无码一级片| www.25五月婷婷| 伊人色综合网| 色五月婷婷网| 欧洲一区二区| 五月婷婷激情四月| 婷婷色色综合激情| 91肏| 久草丁香婷婷1024| 天天爱天天做天天日| 日本人人xxx| 久热99| 97人人操| 66精品成人免费网站在线观看| 五月丁香天堂网| 色综合色婷色基地| 日本婷婷综合精品| 91操片| 丁香五月婷婷图片综合| 国产伦理精品高清在线观看网站一区二区 | AV片在线观看| 综合激情开心五月| 五月婷婷激情久久| 综合在线观看99| 这里只有精9| www.99婷婷| 开心五月婷婷伊人| 婷婷五月天激情综合婷婷五月天激情综合 | 婷婷丁香人妻天久久| 五月人妻婷婷视频| 婷婷色色欧美综合网| 丁香五月综合激情久久潮喷| 97色啪| 97久久超视频| 一二三区视频韩国| 婷婷五月激情网| 久久多色| 日本色狠狠| 天天操天天干天天射| 婷婷九月激情| 丁香九月激情| 大香蕉伊人爱在线| 亚洲亚洲永久无码777777| 碰97 久| 91精品熟女| 二色av| 色天堂A| 激情五月综合婷婷| 人妻有码乱操| 79色色免费| 风流少妇A片一区二区蜜桃 | 99热在线成人网站| 欧美亚洲色色色色| 婷婷丁香久久五月综合| 五月天婷婷视频| 婷婷97碰碰| 中文成人在线| 欧美碰碰| 丁香六月婷婷一区二区三区| 五月婷婷碰碰| 精品福利911| 五月色综合| 操操碰| 色婷婷中文在线| 色婷婷超碰| 婷婷九月丁香| 六月激情网| 婷婷五月六| 狠狠色中色| 天天干天天操| 五月婷婷综合色啪首页| 久久九九99亚洲国产久精综合| 成人精品视频99在线观看免费| 色婷婷视频| 久久久com| 很很操96| 婷婷五月丁香香蕉| 九九精品在线视频观看| 这里只有精品免费| 亚洲亚洲人成综合网络| 五月激情婷婷开心五月| 中文字幕无码人妻少妇免费视频 | 中文字幕高清av| 精品色色网| 一本色综合色| 99色爱| 99网址在线观看| 久久久久思思热| 婷婷综合伊人| 色婷婷狠狠18| 玖玖五月丁香| 99爽视频| 久久婷婷网| 九九精品热| 深爱五月激情综合| 色色婷婷五月天| 欧洲激情五月天婷婷| 99热热热99精品丁香| 九月婷婷丁香| 超碰免费观看| 婷婷激情六月| 97碰碰在线观看视频| 九九热中文| 色色综合色视频| 99色天堂| 麻豆123区| 91丨九色丨国产打屁股网站| 久久这里有精品视频| 9久9久| 激情综合无码| 性爱综合网| 精国产品一区二区三区A片| 婷婷五月综合啪| 亚洲人成网站999综合| 色色a| 黄网在线播放| 久操热线| 99热99这里有免费的精品| 日本丰满久久| 开心婷婷中文字幕| 五月天综合久久| 五月婷婷丁香六月| 天天干-天天日| 日韩精品无码AV| 中文AV在线播放| 婷婷五月天激情四射| 激情又色又爽又黄的A片 | 99.N在线视频| 色,激情五月天| 成人精品视频99在线观看免费| 激情五月www| 大香蕉久久婷婷精品综合| 99热日韩| 五月婷婷丁香伦理网| 9色操| 五月99久久| 深爱女色婷婷丁香五月亚洲图区| 在线视频区| www.com五月天| 六月丁香久久| 日本色色影片| 激情五月婷婷六月丁香| 粉嫩av懂色av蜜臀av熟妇| 亚洲精品又粗又大又爽A片| 人人人va亚洲视频在线| www.99日本| 久久久久久人妻| 婷婷五月天激情影片| 色情五月婷| 嫩草AV久久伊人妇女超级A| 人妻无码精品一区| 丁香激情久久| 狠狠色噜噜狠| 九九自拍网| 国产色婷婷亚洲| 男人天堂 久久| 欧美日综合| 婷婷开心激情五月激情网| 色播六月| 91聚色综合网| 67194中文字幕| 日日夜夜青青草| 99色日本| 性一交一乱一交A片久| 综合色激情| 激情婷婷丁香五月天小说| 久草婷| 五月丁香啪啪网| 婷婷五月丁综合| 影音先锋按摩| 天天肏视奸| 开心深爱激情网| 婷婷激情五月综合| 激情五月天啪啪视频| 日韩久久日| 激情五月综合亚洲另类| 色五月综合在线| 五月婷婷干干干| 日韩精品一区二区刘| 99精品在线播放| 亚洲色激情| 婷婷97狠狠干| 九九色播五月丁香| 色色色色欧美| 婷婷欧美综合| 天天xxxxxx天天日| 天天曰夜夜爽| 欧美日韩精品一区二区三区钱| 九九99久久| 99热1| 亚洲激情精品| 99re66热这里只有精品| 久久人操-久草婷婷-成人AV| 亚洲精品V天堂中文字幕| 丁香婷婷五月综合色情| 在线观看欧美3区| 成人精品视频99在线观看免费| 毛片新网地| 五月丁香六月婷婷亚洲| 99er这里只有精品| 激情伊人网| 操操操B| 五月天狠狠| 少妇性按摩无码中文A片| 色色色色色爱| 女人露出p毛视频www网站| 亚洲狠狠婷婷| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 大香蕉婷婷丁香天堂AV| 伊人久久大香蕉网| 狠狠操在线视频| 色婷婷五月天中文字幕| 超碰网站在线观看| 亚洲日本韩国| 五月丁香六月婷| 欧美日本另类| 99久久久国产精品免费蜜乳tv| 色五月天.con| 超碰二区| 日韩大片艹艹| 99re资源在线视频导航| 99这里只有精品| 色婷婷综合久久久久| 五月丁香综合激情网| 天天干夜夜b| 婷丁五月| 久久综合婷婷| 成人精品人妻| 97人人干。| 精品综合网在线| 少妇性按摩无码中文A片| 五月丁香六月| 黄色片区子| 超碰猛烈的性猛交| 人人爽天天爽| 99re最新地址| 色久五月| 久久国产精品乱子伦_靑青草…| 国产亚洲在线| 婷香狠狠爱五月| 久久ri精品视频| 在线视频九色97| 亚洲五月六月婷婷| 深爱五月天| 久久伊人大香蕉| 网站免费一站二站| 婷婷六月丁| 生活片五区| 九热免费视频| 婷婷六月天天| 操操自拍| 综合成人小说婷婷| 99热免费在线| 色五月婷婷色五月婷婷色五月婷婷| 五月婷婷综合潮喷| 色五月视频无码播放| 亚洲婷婷丁香五月亚洲| 国产va在线视频| 婷婷色播六月无码| 激情宗合哪里能看| 热99精品视频在线观看| 丁香五月在线人妻| WWW,色五月| 亚洲1区| 91狠狠色丁香婷婷综合久久| 久99热| 亚洲色9| 夜夜涩涩涩| 久久色五月天| oumeisesewang| 狠狠干在线视频| 国际国外精品欧洲南美洲专区无码不卡| 五月婷婷伊人网|