欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

嵌入式數(shù)據(jù)搬運(yùn)選型:DMA、NEON與CPU拷貝底層邏輯與實(shí)戰(zhàn)

嵌入式數(shù)據(jù)搬運(yùn)選型:DMA、NEON與CPU拷貝底層邏輯與實(shí)戰(zhàn) 寫這份分享時(shí)我剛在板子上調(diào)完一版 DMA 環(huán)形緩沖區(qū)順手把總線上的數(shù)據(jù)搬運(yùn)負(fù)載從 CPU 手里徹底剝了下來(lái)。說(shuō)實(shí)話在嵌入式或者驅(qū)動(dòng)開(kāi)發(fā)里“拷貝數(shù)據(jù)”這件事看起來(lái)基礎(chǔ)但對(duì)性能的影響往往是一票否決級(jí)的。你到底是該無(wú)腦 memcpy還是上 DMA或者干脆用 NEON 向量指令暴力搬運(yùn)我見(jiàn)過(guò)太多人在這個(gè)問(wèn)題上憑感覺(jué)選結(jié)果要么 CPU 占用率被打滿要么數(shù)據(jù)一致性踩坑。所以今天這篇就專門來(lái)盤一盤 DMA、NEON、CPU 這三種拷貝方式的底層邏輯、適用場(chǎng)景和實(shí)戰(zhàn)選型思路。這篇文章適合正在做驅(qū)動(dòng)開(kāi)發(fā)、嵌入式音視頻處理、網(wǎng)絡(luò)收發(fā)邏輯優(yōu)化以及任何被“數(shù)據(jù)搬運(yùn)太慢”困擾的朋友。1. 三種拷貝方式底層到底在干什么選型之前先把三者的本質(zhì)差異搞清楚。很多人以為 DMA 是“更快的拷貝”NEON 是“更快的拷貝”CPU 普通拷貝是“更慢的拷貝”這個(gè)認(rèn)知大方向沒(méi)錯(cuò)但底層機(jī)制完全不同直接決定了它們?cè)诓煌瑘?chǎng)景下的表現(xiàn)。1.1 CPU 普通拷貝的本質(zhì)CPU 拷貝最常見(jiàn)的就是 memcpy本質(zhì)上就是讓處理器內(nèi)核直接參與數(shù)據(jù)搬運(yùn)。具體流程是CPU 從源地址加載數(shù)據(jù)到寄存器再?gòu)募拇嫫鲗懟啬繕?biāo)地址。這個(gè)過(guò)程完全由 CPU 的流水線驅(qū)動(dòng)走的也是 CPU 的 Load/Store 單元。這里有個(gè)關(guān)鍵點(diǎn)容易被忽略CPU 拷貝的速度受限于主頻、內(nèi)存帶寬和緩存命中率。如果數(shù)據(jù)在 Cache 里熱著memcpy 可以非常快如果數(shù)據(jù)在 DDR 里冷著CPU 就得一路等內(nèi)存總線這時(shí)性能會(huì)嚴(yán)重下滑。而且CPU 在搬運(yùn)過(guò)程中沒(méi)法干別的活執(zhí)行流水線被占住這就是“阻塞”的本質(zhì)。還有一個(gè)不太好察覺(jué)的細(xì)節(jié)現(xiàn)代 CPU 的 memcpy 實(shí)際上會(huì)利用 SIMD 指令集。編譯器在處理大數(shù)據(jù)塊時(shí)會(huì)自動(dòng)向量化一次拷貝 16 字節(jié)甚至 32 字節(jié)而不是逐字節(jié)搬。所以單純從“指令效率”來(lái)看CPU 的 memcpy 已經(jīng)做了不少優(yōu)化。但在嵌入式領(lǐng)域尤其是 Cortex-A 系列這樣的應(yīng)用處理器上CPU 拷貝的核心瓶頸不在指令效率而在于它占用了 CPU 的執(zhí)行資源。你在 memcpy 大數(shù)據(jù)塊的時(shí)候中斷響應(yīng)延遲會(huì)明顯變差實(shí)時(shí)性受影響。1.2 NEON 拷貝的本質(zhì)差異NEON 是 ARM 平臺(tái)的 SIMD 指令集它的思路和 CPU 普通拷貝有很大區(qū)別它的定位是“用更寬的寄存器、并行處理更多數(shù)據(jù)”本質(zhì)上還是 CPU 在搬但它用的是 NEON 單元而非普通 Load/Store 單元。舉個(gè)例子Cortex-A7 的 NEON 寄存器是 128 位寬的Q0-Q15一次 vld1q 指令能從內(nèi)存一次性加載 16 字節(jié)vst1q 再一次性寫回。這比普通寄存器 32 位寬一次 4 字節(jié)要高效得多。NEON 拷貝的典型寫法是循環(huán)展開(kāi) 預(yù)取把內(nèi)存訪問(wèn)延遲壓到最低。NEON 在拷貝上的優(yōu)勢(shì)有兩個(gè)維度一是數(shù)據(jù)并行度二是 cache 友好性。你可以用 pld 指令把下一塊數(shù)據(jù)提前預(yù)取到 cache配合 vld1q/vst1q 流水線批量搬運(yùn)實(shí)測(cè)在大部分 ARM 平臺(tái)上NEON 拷貝帶寬是普通 memcpy 的 1.5 到 2 倍。但注意NEON 的優(yōu)勢(shì)僅限于“數(shù)據(jù)在內(nèi)存和寄存器之間搬運(yùn)”這個(gè)場(chǎng)景它并沒(méi)有繞開(kāi) CPU 核心所以它依然會(huì)占 CPU 資源。另一個(gè)值得提的點(diǎn)是 NEON 對(duì)數(shù)據(jù)對(duì)齊的要求。vld1q/vst1q 要求 16 字節(jié)對(duì)齊時(shí)效率最高未對(duì)齊時(shí)雖然也能工作但會(huì)觸發(fā)額外的內(nèi)存訪問(wèn)。這也是為什么很多高性能代碼里你會(huì)看到“先按字節(jié)把頭尾修的干干凈凈再用 NEON 刷中間大塊”這種典型寫法。后面講實(shí)操時(shí)我會(huì)給出具體的對(duì)齊處理思路。1.3 DMA 的本質(zhì)把數(shù)據(jù)搬運(yùn)變成外設(shè)邏輯DMA 和 CPU 拷貝、NEON 拷貝有本質(zhì)區(qū)別它壓根不用處理器核心參與。它的全稱是 Direct Memory Access直接內(nèi)存訪問(wèn)通過(guò)一個(gè)獨(dú)立的總線控制器在源地址和目標(biāo)地址之間傳輸數(shù)據(jù)傳輸完成后通過(guò)中斷或事件通知 CPU。整個(gè)過(guò)程中CPU 只需要做兩件事啟動(dòng)時(shí)配置好 DMA 的描述符包括源地址、目標(biāo)地址、傳輸長(zhǎng)度、突發(fā)大小傳輸完成時(shí)處理中斷。中間的大塊時(shí)間CPU 完全解放出來(lái)。這就是 DMA 最大的價(jià)值。但要注意DMA 的出現(xiàn)不是為了“更快”。它的性能并不一定高于 NEON 或 CPU 拷貝尤其是對(duì)于小數(shù)據(jù)塊DMA 的配置開(kāi)銷可能比本身傳輸時(shí)間還長(zhǎng)。DMA 的優(yōu)勢(shì)是“不占用 CPU”而不是“傳輸速度快”。這也直接影響了選型策略大批量、持續(xù)性的數(shù)據(jù)搬運(yùn)優(yōu)先 DMA小批量、偶爾一次性的數(shù)據(jù)搬運(yùn)CPU 或 NEON 反而更劃算。2. 不同場(chǎng)景下怎么選這才是真正的核心問(wèn)題理論上理解了三種方式后選型邏輯才真正落地。我的實(shí)際經(jīng)驗(yàn)是選型不只看數(shù)據(jù)量還得看處理頻率、數(shù)據(jù)特點(diǎn)、實(shí)時(shí)性要求甚至看你手里的硬件平臺(tái)支持什么特性。這里我把實(shí)戰(zhàn)中最常遇到的場(chǎng)景逐一拆開(kāi)講。2.1 大數(shù)據(jù)塊搬運(yùn)優(yōu)選 DMA但要處理對(duì)齊和描述符先說(shuō)最經(jīng)典的大批量場(chǎng)景從網(wǎng)卡 NIC 收包到內(nèi)存緩沖區(qū)從 ADC 采集 FIFO 搬到內(nèi)存或者從攝像頭傳感器把一幀 YUV 數(shù)據(jù)搬到內(nèi)存。這類數(shù)據(jù)傳輸?shù)奶攸c(diǎn)是單次數(shù)據(jù)量大可能是幾 KB 甚至幾 MB而且通常是周期性發(fā)生的。在這個(gè)場(chǎng)景下DMA 是絕對(duì)的主力。原因也很直白用 CPU 或 NEON 搬一個(gè)大塊的同時(shí)整個(gè) CPU 都沉浸在搬運(yùn)中而 DMA 可以把 CPU 釋放出來(lái)去做更緊急的事比如協(xié)議解析、狀態(tài)機(jī)處理、用戶態(tài)調(diào)度。你說(shuō) NEON 更快確實(shí)更快但在驅(qū)動(dòng)層跑 NEON 拷貝很容易導(dǎo)致中斷處理時(shí)間過(guò)長(zhǎng)觸發(fā)高層 watchdog。不過(guò)用 DMA 也有幾個(gè)細(xì)節(jié)要注意。首先是內(nèi)存類型。DMA 使用的緩沖區(qū)必須是 cache 一致性的或者你要手動(dòng)做 cache 無(wú)效化/clean 操作。否則會(huì)出現(xiàn) DMA 已經(jīng)把數(shù)據(jù)寫進(jìn)內(nèi)存了CPU 卻從 cache 里讀到舊數(shù)據(jù)的經(jīng)典 bug。在多核 CPU 上這個(gè)問(wèn)題更容易踩雷因?yàn)槟闵踔翢o(wú)法預(yù)判 cache line 被哪個(gè)核加載。其次是 DMA 描述符的管理。有些平臺(tái)的 DMA 驅(qū)動(dòng)是簡(jiǎn)單的寄存器模式一次配置一個(gè)塊傳輸有些則支持描述符鏈表比如 Zynq 的 SG-DMA可以把多個(gè)不連續(xù)的內(nèi)存塊串成一個(gè)鏈表逐個(gè)搬運(yùn)。后者在處理網(wǎng)絡(luò)報(bào)文分片時(shí)特別好用。但帶來(lái)的復(fù)雜度也直線上升你要小心描述符的回寫狀態(tài)、半傳輸中斷、傳輸完成中斷的時(shí)序。2.2 小批量高頻拷貝NEON 是甜點(diǎn)區(qū)DMA 反而累贅很多人上來(lái)就想用 DMA 優(yōu)化一切但小數(shù)據(jù)量場(chǎng)景下 DMA 的成本是完全不劃算的。舉個(gè)例子一個(gè) 64 字節(jié)的控制結(jié)構(gòu)體從內(nèi)核態(tài)拷貝到用戶態(tài)DMA 做什么你要分配 DMA buffer、配置描述符、開(kāi)啟通道、等待中斷——這一套動(dòng)作的延遲可能就得幾微秒而 64 字節(jié)用 NEON 四個(gè) vld1q four vst1q 指令納秒級(jí)完成。這種情況下 DMA 就是殺雞用牛刀而且刀還沒(méi)磨好。我建議的分界線大致是 256 字節(jié)以下走 NEON 或普通 CPU 拷貝256 到 1KB 之間看場(chǎng)景靈活切換1KB 以上才認(rèn)真考慮 DMA。這個(gè)閾值不是嚴(yán)格的黃金比例但它是基于“DMA 固定開(kāi)銷 中斷延遲”和“CPU 逐字節(jié)搬運(yùn)成本”交叉計(jì)算出來(lái)的經(jīng)驗(yàn)值。NEON 在做小批量拷貝時(shí)還有個(gè)底層優(yōu)勢(shì)它的預(yù)取指令可以讓“下一個(gè)塊”的數(shù)據(jù)提前進(jìn)入 cache。如果你在一個(gè)循環(huán)里反復(fù)拷貝多個(gè)小塊數(shù)據(jù)NEON 的小塊拷貝速度會(huì)特別穩(wěn)定。但要注意NEON 拷貝雖然不調(diào)操作系統(tǒng) API但你得自己保證內(nèi)存對(duì)齊。我的做法是在每個(gè)拷貝入口做一個(gè)指針對(duì)齊檢查未對(duì)齊的先用普通拷貝把首部修正再把中間的大塊交給 NEON。2.3 緩存一致性問(wèn)題DMA 和 Cache 的愛(ài)恨糾葛這一節(jié)必須單獨(dú)拿出來(lái)講因?yàn)檫@是區(qū)分“能跑”和“能穩(wěn)定上線”的關(guān)鍵。簡(jiǎn)單解釋一下什么叫 cache 一致性問(wèn)題。假設(shè)你有一個(gè) DMA 緩沖區(qū)它是一塊普通的內(nèi)存CPU 和 DMA 控制器都可以訪問(wèn)它。CPU 讀數(shù)據(jù)時(shí)優(yōu)先查 cache如果數(shù)據(jù)在 cache 里命中就直接用 cache 里的副本不會(huì)去訪問(wèn)內(nèi)存?,F(xiàn)在 DMA 控制器從外設(shè)把數(shù)據(jù)寫進(jìn)了這塊內(nèi)存新的數(shù)據(jù)已經(jīng)在內(nèi)存里了但 cache 里還是舊數(shù)據(jù)。CPU 再讀的時(shí)候命中 cache讀到的是舊數(shù)據(jù)——bug 出現(xiàn)了。解決這個(gè)問(wèn)題的思路有三個(gè)其一將 DMA 緩沖區(qū)配置為 non-cacheable也就是不走 cache每次 CPU 訪問(wèn)都直接打到內(nèi)存。這種方法最簡(jiǎn)單但性能會(huì)下降CPU 在上面頻繁讀寫的開(kāi)銷翻倍。其二在 CPU 讀 DMA 數(shù)據(jù)前顯式地執(zhí)行 cache invalidate 操作告訴 cache “老數(shù)據(jù)作廢”在 CPU 寫 DMA 數(shù)據(jù)前執(zhí)行 cache clean 操作把數(shù)據(jù)刷到內(nèi)存。這種方法是性能與正確性的平衡點(diǎn)也是驅(qū)動(dòng)開(kāi)發(fā)中最常見(jiàn)的做法。其三使用硬件自動(dòng)維護(hù) cache 一致性的機(jī)制比如 ARM 的 DMA 設(shè)備帶 inner/outer shareable 屬性或者用 IOMMU/SMMU 做地址重映射。這類方案在復(fù)雜 SoC 上越來(lái)越普及但在很多嵌入式平臺(tái)上并沒(méi)有完整實(shí)現(xiàn)所以不能拍腦袋依賴它。我在一輪實(shí)際調(diào)試中的體會(huì)是cache 問(wèn)題在單核簡(jiǎn)單 DMA 場(chǎng)景下還比較可控真正常常翻車的是多核 CPU 上的 DMA 緩沖。因?yàn)槲覜](méi)辦法預(yù)判某個(gè) cache line 是哪個(gè)核加載的只有嚴(yán)格按“DMA 寫 → invalidate → CPU 讀”、“CPU 寫 → clean → DMA 讀”的規(guī)范來(lái)才能真正避免那種“偶發(fā)性數(shù)據(jù)錯(cuò)誤”——這種 bug 是最難查的因?yàn)樗皇潜噩F(xiàn)而是偶爾出現(xiàn)一次復(fù)現(xiàn)周期可能是一小時(shí)甚至一天。3. 實(shí)操串口 DMA 接收不定長(zhǎng)數(shù)據(jù)的完整實(shí)現(xiàn)這一節(jié)我挑一個(gè)大家都熟悉的場(chǎng)景來(lái)完整走一遍串口 DMA 接收不定長(zhǎng)數(shù)據(jù)。這可能是 DMA 教程里點(diǎn)擊率最高的一類需求因?yàn)榇谕ㄓ嵲谇度胧介_(kāi)發(fā)中太常用了而 DMA 處理不定長(zhǎng)數(shù)據(jù)的核心技巧就是“空閑中斷 DMA 環(huán)形緩沖”。3.1 環(huán)境與基礎(chǔ)原理以 STM32F103 為例或者擴(kuò)大到任何帶 UART DMA 的 MCU。核心思路是把串口的 RX DMA 配置為循環(huán)模式讓 DMA 在內(nèi)存里一圈一圈地搬運(yùn)數(shù)據(jù)不關(guān)心什么時(shí)候收到一幀風(fēng)的數(shù)據(jù)。那怎么判斷一‘幀’數(shù)據(jù)結(jié)束呢就需要用到串口的空閑中斷IDLE當(dāng)總線上沒(méi)有新數(shù)據(jù)進(jìn)來(lái)時(shí)串口硬件會(huì)觸發(fā)一個(gè)空閑中斷這時(shí)候 CPU 去讀 DMA 當(dāng)前傳輸計(jì)數(shù)就能算出本輪收到了多少字節(jié)。這是串口 DMA 接收不定長(zhǎng)數(shù)據(jù)的經(jīng)典套路。它的好處是接收過(guò)程全程 DMA 搬運(yùn)CPU 幾乎不參與只有在一幀數(shù)據(jù)接收完成后CPU 才去處理一次。這就把一個(gè)高頻的“每個(gè)字節(jié)中斷一次”變成了“每一幀中斷一次”CPU 負(fù)載大幅下降。3.2 配置步驟和關(guān)鍵代碼以 HAL 庫(kù)為例初始化時(shí)開(kāi) UART 的 DMA 接收為循環(huán)模式再使能 IDLE 中斷。下面給出一個(gè)典型的初始化片段// 假設(shè) UART_Handle 已經(jīng)初始化好 // 配置 DMA RX 緩沖區(qū)和長(zhǎng)度 #define RX_BUF_SIZE 1024 uint8_t rx_buf[RX_BUF_SIZE]; // 開(kāi)啟 UART DMA 接收循環(huán)模式 HAL_UART_Receive_DMA(huart1, rx_buf, RX_BUF_SIZE); // 使能 UART 的 IDLE 中斷注意要直接操作寄存器 __HAL_UART_ENABLE_IT(huart1, UART_IT_IDLE);然后寫一個(gè)中斷回調(diào)處理函數(shù)這里有個(gè)技巧HAL 庫(kù)的 UART 中斷處理函數(shù)會(huì)把 IDLE 中斷吞掉所以你得先調(diào)用它的處理函數(shù)再自己判斷標(biāo)志位void UART_IDLE_Callback(UART_HandleTypeDef *huart) { if (huart huart1) { // 讀取當(dāng)前 DMA 剩余計(jì)數(shù) uint16_t remain __HAL_DMA_GET_COUNTER(hdma_usart1_rx); // 當(dāng)前 DMA 總共要搬 RX_BUF_SIZE 字節(jié)所以已接收長(zhǎng)度 uint16_t recv_len RX_BUF_SIZE - remain; // 這里 recv_len 就是本輪接收到的完整數(shù)據(jù)長(zhǎng)度 // 接下來(lái)就可以把 rx_buf 中的數(shù)據(jù)提交給協(xié)議?;蛱幚砗瘮?shù) process_recv_data(rx_buf, recv_len); // 關(guān)鍵步驟重啟下一次 DMA 接收 HAL_UART_Receive_DMA(huart1, rx_buf, RX_BUF_SIZE); } }當(dāng)然你需要在串口中斷服務(wù)函數(shù)里手動(dòng)調(diào)用這個(gè)回調(diào)因?yàn)?HAL 庫(kù)不會(huì)自動(dòng)調(diào)它。具體做法是在UART_IRQHandler里判斷 IDLE 標(biāo)志并清除然后調(diào)用上面的處理函數(shù)。3.3 環(huán)形緩沖區(qū)的進(jìn)階處理上面的例子是最簡(jiǎn)單的單緩沖區(qū)版本實(shí)際項(xiàng)目里我更推薦把 RX 緩沖區(qū)做成環(huán)形。也就是說(shuō) DMA 始終在一個(gè)固定大小的數(shù)組里循環(huán)搬運(yùn)每次收到一幀數(shù)據(jù)時(shí)幀的起止位置不一定在數(shù)組頭部而是在數(shù)組中間旋轉(zhuǎn)。處理思路是通過(guò) DMA 當(dāng)前計(jì)數(shù)計(jì)算讀寫偏移量然后按“先拷貝尾部再拷貝頭部”的方式把完整幀拼接出來(lái)。環(huán)形緩沖區(qū)的核心代碼邏輯大致如下// 環(huán)形緩沖區(qū)讀寫指針 volatile uint16_t rx_head 0; // DMA 當(dāng)前寫入到的位置 uint16_t rx_tail 0; // 應(yīng)用層已經(jīng)讀到的位置 void UART_IDLE_Callback(UART_HandleTypeDef *huart) { uint16_t remain __HAL_DMA_GET_COUNTER(hdma_usart1_rx); uint16_t current_pos RX_BUF_SIZE - remain; if (current_pos rx_tail) { // 數(shù)據(jù)沒(méi)有跨越緩沖區(qū)尾部直接分段拷貝 handle_frame(rx_buf[rx_tail], current_pos - rx_tail); } else { // 數(shù)據(jù)跨越緩沖區(qū)尾部需要分兩次拷貝 uint16_t first_part RX_BUF_SIZE - rx_tail; handle_frame(rx_buf[rx_tail], first_part); handle_frame(rx_buf[0], current_pos); } rx_tail current_pos; }這個(gè)環(huán)形方案的優(yōu)點(diǎn)是不用頻繁停止和重啟 DMA數(shù)據(jù)始終在流入丟數(shù)據(jù)的概率更小。缺點(diǎn)是代碼邏輯要處理邊緣情況比如 DMA 寫指針繞回時(shí)和讀指針相等要判斷緩沖區(qū)是空還是滿這個(gè)標(biāo)簽位判斷一定要小心否則會(huì)復(fù)現(xiàn)那種“看起來(lái)偶發(fā)丟數(shù)據(jù)”的詭異 bug。4. DMA 性能實(shí)測(cè)與參數(shù)選擇解析聊完原理和選型很多人會(huì)問(wèn)DMA 到底能快多少NEON 相比 memcpy 有沒(méi)有質(zhì)的提升這里我用自己的板子實(shí)測(cè)的數(shù)據(jù)來(lái)給一個(gè)直觀的參照。同時(shí)也會(huì)講到 DMA 驅(qū)動(dòng)里兩個(gè)很關(guān)鍵、卻經(jīng)常被忽略的參數(shù)burst size 和 alignment。4.1 實(shí)測(cè)數(shù)據(jù)CPU vs NEON vs DMA我基于一塊常見(jiàn)的 ARM 開(kāi)發(fā)板主頻 1.2GHzDDR3 內(nèi)存分別測(cè)試了 4 種拷貝方式在不同數(shù)據(jù)量下的吞吐量。測(cè)試方法很簡(jiǎn)單循環(huán)拷貝 1000 次記總時(shí)間除以總字節(jié)數(shù)得到帶寬。數(shù)據(jù)源是 16 字節(jié)對(duì)齊的內(nèi)存塊排除首末處理干擾??截惙绞?2B256B4KB1MBCPU memcpy0.9 GB/s1.8 GB/s2.1 GB/s2.2 GB/sNEON 優(yōu)化拷貝1.5 GB/s3.2 GB/s3.8 GB/s3.7 GB/sDMA含中斷開(kāi)銷0.05 GB/s0.3 GB/s1.5 GB/s2.8 GB/s這個(gè)數(shù)據(jù)很能說(shuō)明問(wèn)題。在 32 字節(jié)的小數(shù)據(jù)塊場(chǎng)景下DMA 的速度慢到令人發(fā)指因?yàn)榕渲妹枋龇?、啟?dòng)通道、等待中斷這套流程的固定開(kāi)銷遠(yuǎn)大于數(shù)據(jù)本身搬運(yùn)的時(shí)間。而 NEON 因?yàn)橄蛄坎⑿行?shù)據(jù)塊也能跑出不錯(cuò)的速度。在 4KB 這個(gè)檔位DMA 開(kāi)始接近 CPU 的帶寬但仍未超越。到 1MB 級(jí)別DMA 才真正展現(xiàn)出吞吐優(yōu)勢(shì)加上它能做到 CPU 零占用綜合價(jià)值就遠(yuǎn)高于另外兩種了。所以別再迷信“DMA 快”這個(gè)說(shuō)法。DMA 的價(jià)值是“解放 CPU”它的吞吐優(yōu)勢(shì)通常要在較大的數(shù)據(jù)塊下才能體現(xiàn)。4.2 Burst Size 的選擇與對(duì)齊策略DMA 配置里有個(gè)參數(shù)叫 Burst Size即每次總線事務(wù)突發(fā)訪問(wèn)的次數(shù)。假設(shè)系統(tǒng)總線寬度是 64 位burst size 為 4 意味著 DMA 會(huì)一次性連續(xù)讀取 4 個(gè) 64 位數(shù)據(jù)也就是 32 字節(jié)連續(xù)訪問(wèn)。這個(gè)參數(shù)極大地影響 DMA 的效率。理論上 burst 越大總線利用效率越高因?yàn)樗鼫p少了地址階段的切換開(kāi)銷。但 burst 太大有一個(gè)副作用當(dāng) DMA 與 CPU 同時(shí)訪問(wèn)內(nèi)存總線時(shí)DMA 會(huì)對(duì)總線進(jìn)行較長(zhǎng)時(shí)間的“占用”導(dǎo)致 CPU 訪問(wèn)內(nèi)存的延遲飆升影響整體性能。所以 burst size 并不是越大越好。我的建議是從小到大測(cè)試在典型負(fù)載下逐一測(cè)試 burst size 1、2、4、8選吞吐量和企業(yè)性能的平衡點(diǎn)。如果你的板子在 DMA 搬運(yùn)時(shí) CPU 表現(xiàn)明顯卡頓優(yōu)先減小 burst size。對(duì)齊策略則是另一個(gè)關(guān)鍵點(diǎn)。DMA 控制器通常要求源地址和目標(biāo)地址滿足一定對(duì)齊要求常見(jiàn)的有 4、8、16、32 字節(jié)對(duì)齊。如果你的 DMA 源數(shù)據(jù)是串口收來(lái)的字節(jié)流天然沒(méi)有對(duì)齊概念那就要在 DMA 描述符中配置允許非對(duì)齊訪問(wèn)或者顯式地把數(shù)據(jù)搬到一個(gè)對(duì)齊緩沖區(qū)再進(jìn)行 DMA。否則硬件會(huì)報(bào)錯(cuò)或產(chǎn)生未知行為。NEON 拷貝也是一樣的邏輯只不過(guò)它自身對(duì)齊的要求是 16 字節(jié)寬只要源和目的地址都是 16 字節(jié)對(duì)齊NEON 就能以最高效率運(yùn)行。如果源地址是奇數(shù)偏移你只能用 vld1q_u8 之類的非對(duì)齊加載指令性能有所下降但不至于出錯(cuò)。這也是為什么我在做圖像處理時(shí)會(huì)先把圖像數(shù)據(jù)的行地址統(tǒng)一 align 到 16 字節(jié)的原因。5. 實(shí)戰(zhàn)中常見(jiàn)的坑與排查技巧現(xiàn)在進(jìn)入“坑位預(yù)警”環(huán)節(jié)。這三種拷貝方式帶來(lái)的問(wèn)題通常都不是“性能不夠”而是“偶爾出錯(cuò)”“偶發(fā)卡死”“數(shù)據(jù)不對(duì)”。下面這些案例都是我自己或周圍同事實(shí)際踩過(guò)的把癥狀、原因、解決方案列出來(lái)大家可以對(duì)照排查。5.1 DMA 數(shù)據(jù)舊值問(wèn)題cache 一致性徹底翻車有次在調(diào)試一個(gè)網(wǎng)絡(luò)驅(qū)動(dòng)客戶端收包的時(shí)候偶爾會(huì)出現(xiàn)相同的一包數(shù)據(jù)被重復(fù)上報(bào)。排查了很久發(fā)現(xiàn)不是協(xié)議問(wèn)題而是 DMA 的 cache 一致性問(wèn)題DMA 把新數(shù)據(jù)寫進(jìn)了內(nèi)存但 CPU 讀取時(shí)從 cache 讀到的是上一次的舊數(shù)據(jù)。這種情況特別容易在“DMA 接收緩存剛好命中 CPU 之前讀過(guò)的 cache line”時(shí)出現(xiàn)因?yàn)?CPU 對(duì)這塊內(nèi)存是有緩存的它覺(jué)得自己讀的是最新數(shù)據(jù)實(shí)際卻是舊的。解決方法是在任何“DMA 寫完數(shù)據(jù)之后CPU 讀取該緩沖區(qū)之前”顯式調(diào)用 cache invalidate API。Cortex-A 平臺(tái)通常有dma_map_single或dma_sync_single_for_device這樣的接口驅(qū)動(dòng)層直接調(diào)用即可。對(duì)裸機(jī)開(kāi)發(fā)可以查 ARM 架構(gòu)手冊(cè)中的DC IVAC指令手動(dòng) invalidate。關(guān)鍵點(diǎn)在于這個(gè)動(dòng)作不能在 DMA 啟動(dòng)前一次性做完后就萬(wàn)事大吉必須在每一次 DMA 傳輸完成后、CPU 讀數(shù)據(jù)前執(zhí)行否則就會(huì)出現(xiàn)“偶爾”的數(shù)據(jù)錯(cuò)亂。5.2 小數(shù)據(jù)塊 DMA 反而把系統(tǒng)拖垮有人把 DMA 用在頻率極高但數(shù)據(jù)量很小的場(chǎng)景比如每 100 微秒傳輸 32 字節(jié)的狀態(tài)信息。表面看 DMA 在搬運(yùn)這 32 字節(jié)但底層它在每 100 微秒就要觸發(fā)一次中斷CPU 被中斷子程序包圍。雖然中斷處理很短但高頻中斷對(duì)流水線預(yù)取、cache 命中率的破壞是巨大的???CPU 占用率可能不高但系統(tǒng)實(shí)時(shí)性嚴(yán)重惡化。這種情況我的經(jīng)驗(yàn)是直接改用 NEON 或普通 memcpy。32 字節(jié)的搬運(yùn)是百納秒級(jí)別DMA 的中斷開(kāi)銷卻是微秒級(jí)別怎么算都不劃算。還有一個(gè)更隱蔽的坑DMA 中斷服務(wù)函數(shù)里的處理邏輯如果太復(fù)雜會(huì)導(dǎo)致下一次 DMA 中斷被延遲處理如果 DMA 通道沒(méi)有緩沖能力就可能丟數(shù)據(jù)。所以 DMA 中斷服務(wù)函數(shù)里要遵循“快進(jìn)快出”原則只做必要的數(shù)據(jù)指針更新和計(jì)數(shù)器維護(hù)真正的協(xié)議解析放到主循環(huán)或高優(yōu)先級(jí)任務(wù)里。5.3 NEON 拷貝在裸機(jī)上的數(shù)據(jù) ABORTNEON 指令本身不難難在它的使用環(huán)境。如果你在一個(gè)不帶 NEON 單元的老舊處理器上執(zhí)行 NEON 指令或者操作系統(tǒng)的 NEON 上下文保存與恢復(fù)機(jī)制沒(méi)有正確注冊(cè)就會(huì)觸發(fā) Undefined Instruction 異常。在 Linux 內(nèi)核模塊中使用 NEON 指令時(shí)要特別小心因?yàn)閮?nèi)核不保證 NEON 寄存器在上下文切換時(shí)被保存你需要先調(diào)用kernel_neon_begin()再執(zhí)行 NEON 代碼結(jié)束后調(diào)用kernel_neon_end()。裸機(jī)環(huán)境下相對(duì)簡(jiǎn)單你只需要確認(rèn)編譯選項(xiàng)里打開(kāi)了-mfpuneon鏈接時(shí)也要有對(duì)應(yīng)的浮點(diǎn)庫(kù)支持。否則即使代碼寫對(duì)了編譯出來(lái)的二進(jìn)制在真正執(zhí)行時(shí)也會(huì)異常。另一個(gè)容易踩的坑是指令集兼容性Cortex-A53 支持 NEON但某些入門級(jí)的 Cortex-M0/M0 根本不支持。所以在項(xiàng)目早期要明確目標(biāo)芯片的指令集范圍別把 NEON 拷貝代碼寫進(jìn)一個(gè)會(huì)被編譯到 M0 內(nèi)核的驅(qū)動(dòng)文件里那是災(zāi)難性的自找麻煩。6. 我自己的一套決策心法講了這么多原理和坑最后把這個(gè)選型思路凝練成一套簡(jiǎn)單的判斷流程方便大家在實(shí)際項(xiàng)目中快速?zèng)Q策。先問(wèn)三個(gè)問(wèn)題數(shù)據(jù)塊多大傳輸頻率多高CPU 是否有更緊急的任務(wù)如果數(shù)據(jù)塊小于 256 字節(jié)或者傳輸頻率極高但每份數(shù)據(jù)只有幾個(gè)字節(jié)直接放棄 DMA選擇 NEON 或 memcpy如果數(shù)據(jù)塊大于 1KB并且傳輸頻率合理DMA 是第一選擇如果數(shù)據(jù)量在中間地帶就需要進(jìn)一步評(píng)估當(dāng)前 CPU 負(fù)載是否吃緊如果吃緊即使單次傳輸不太大也傾向于 DMA畢竟任何 CPU 拷貝的帶寬消耗都會(huì)占用核心執(zhí)行資源如果 CPU 還很閑那 NEON 的簡(jiǎn)單高效就足夠了??紤]數(shù)據(jù)特點(diǎn)。如果源數(shù)據(jù)和目標(biāo)數(shù)據(jù)在內(nèi)存里天然是分散的比如多段不連續(xù)的內(nèi)存SG-DMA 的鏈表模式非常適合如果數(shù)據(jù)是連續(xù)的CPU 和 NEON 都可以簡(jiǎn)單處理??紤]實(shí)時(shí)性。如果系統(tǒng)對(duì)中斷有極嚴(yán)格的要求比如中斷必須在某個(gè)硬期限內(nèi)響應(yīng)那 DMA 是唯一選擇因?yàn)樗诎徇\(yùn)大塊數(shù)據(jù)時(shí)不會(huì)阻塞 CPU。反之如果中斷的抖動(dòng)不太敏感NEON 反而簡(jiǎn)單穩(wěn)定。這套心法的本質(zhì)就是一句話DMA 的價(jià)值不在“更快”而在“不占 CPU”NEON 的價(jià)值在“快而便宜”CPU memcpy 的價(jià)值在“簡(jiǎn)單可靠”。三者的分工非常清晰沒(méi)有誰(shuí)完全覆蓋誰(shuí)。你只需要識(shí)別出自己的瓶頸到底在吞吐還是 CPU 占用答案往往就自己浮現(xiàn)了。寫到這里想起踩過(guò)的不少坑其實(shí)大多不是原理不懂而是沒(méi)把“為什么選它”想明白。抱著“DMA 一定比 CPU 快”的想法去設(shè)計(jì)幾個(gè)迭代之后就會(huì)撞上 cache 一致性、中斷延遲、描述符管理這些墻。反過(guò)來(lái)如果你帶著“讓合適的工具處理合適規(guī)模的數(shù)據(jù)”的思路去選型大部分情況下都能少走很多彎路。最后再分享一個(gè)小技巧把所有拷貝路徑做成一個(gè)統(tǒng)一的抽象接口內(nèi)部根據(jù)長(zhǎng)度自動(dòng)選擇 memcpy、NEON 或 DMA這樣在項(xiàng)目初期不管你的選擇是否精準(zhǔn)后續(xù)調(diào)整都只需要改一處代碼不用把外層邏輯全部推翻。我就是靠著這個(gè)抽象層在一周之內(nèi)把整個(gè)通信驅(qū)動(dòng)的效率提了一倍也沒(méi)有引入新的難查 bug。希望這篇文章能幫你少掉幾根頭發(fā)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
深夜婷婷 丁香| www.五月天| 少妇真实被内射视频三四区| 久久性爱视频| 思思热热久久| 操久久网| 99久久精品视频女神1| 色婷婷久久| 五月丁香五月激情综合色综合| 婷婷五月深爱五月| 广东99色在线| 超级碰碰碰碰视频| 这里只有精品视频| 成人婷99最新| 九九色图| 国产欧洲欧洲精品久久| 思思精品久久艹| 97人人干。| 六月婷婷五月天| 96五月丁香熟女| 91久久久久久| 五月丁香偷拍| 久久女婷| 99爱爱| 五月激情基地| 日日夜夜噜噜爽爽| 深爱激情AV| 97欧美在线| 青青草婷婷五月天| 五月婷婷啪啪啪啪| 97色碰| 婷婷内射视频在线| 一级二级色大片| www,婷婷五月天,com| 全亚洲最大的婷婷五月天网站COM| 色吧五月| 超碰在线91| 99视频精品| 五月婷婷婷婷| 五月丁香啪啪| 99ri精品在线| 色播播五月| 色亭亭五月天网扯| 少妇久久诱惑视频| 熟女激情网| 99热这里都是精品| 国产成人精品一区二区三区视频 | 久操人妻| 亚洲激情五月| 色婷婷另类| 天天综合色| 久久婷婷五月综合激情国产 | AV天堂婷婷五月天| 天堂AV在线看| 五月丁香六月激情综合欧美| 天天摸,天天爽| 激情五月婷黄版| 一起肏在线视频| 9久热在线视频| 婷婷五月婷婷| 丁香五月色| 婷色五月天| 久久久久久久久99精品| 丁香婷婷深情五月亚洲| 99无码精品| www.色婷婷| 丁香六月婷婷色XXXXX| 五月99久久| 亭亭玉月丁香| 97干在线播放| 79精品视频在线观看,| 五月天成人在线精品| 激情婷婷五月久久| 热这里| 99色色网| 欧洲激情五月天| 狠狠看狠狠| 99综合色色色| 六月五月婷婷| 婷婷激情视频| 成人做爰高潮A片免费视频| 六月色婷婷| 中文字幕 中文字幕明步| 大香蕉啪啪啪| 五月丁香婷婷色播无码| 婷婷八月激情| 天干干夜夜操| 亚洲丁香五月| 91精品婷婷国产综合久久| 天天射综合网站| 一月婷婷色色| 97综合在线| 人妻熟人中文字幕一区二区| 东京热人妻一区二区三区在线| 欧美啪啪五月天| 任你爽精品免费视频6| 五月婷在线观看| 五月婷婷干干干| 五月婷婷久久综合| 欧美激情凹凸丁香网| 国产综合网在线| 色色亚卅| 婷婷激情四射| 日本综合99| 一区三区视频有限公司| 五月天色婷伊人| 色婷婷色五月综合| 97色97干| 天天日中文| 中文字幕五月久久婷婷| 欧美性丁香色色五月天综合爱爱| 婷婷另类小说| 久久久天堂国产精品女人| 激情碰碰碰| 玖玖热99| 五月色欧洲| 99久久激情视频| 婷婷激情社区| 国产色视频网站2| a色色片| 99色视频免费在线规看| 狠狠综合久久| 日韩AV中文字幕在线| 99色在线| 婷婷开心久久| 久热这里| 91操碰| 婷婷五月色网| 99久久久| www狠狠| 亚洲综合婷婷六月丁香五月| 天天日日夜夜| 激情婷婷综合网| 五月天激情综合网站| 九九在线这里只有精品视频| 色色色色热| WWW.五月com| 亚洲综合网区| AV中文在线| 变态另类色图| 性天天中文网| 久久五月天激情| 久久9精品| 天天激情综合| 99视频精品在线| 丁香五月婷婷www..com| 欧美婷婷五月天综合| 亚洲婷婷91丁香| 丁香五月影| 婷婷五月小说色综合| 五月天天爽| 日本综合久久| 深情六月婷婷综合久久| 热久精品| 五月天色色色色色| 婷婷五月六月| 丁香97综合| 五月婷婷久久网| 97人人做| 天花AV无码| 日本欧美国产| 影音先锋91网站在线观看| 99免费综合网| 亚洲国产99| 色五月大| 另类精品视频在线观看| 欧美色久| 在线看片av| 伊人久久大香线蕉综合网站| 婷婷五月天基地| 99热在线观看| www.狠狠色.com| 丁香五月婷婷网| 久热中文字幕| 丁香五月在线观看| 这里只有精品热| 久久婷婷视频| 99综合婷婷五月| 狠狠穞A片一區二區三區| 九九九九九九热| 亚洲性爱99在线| 国产亚洲精品久久久久久郑州| 1024日韩| 9久久精品| 亚洲AV人人操| 亚洲五月天激情| 天天色综合天天| 在线中文av| 97碰久久| 久久久中文| 99久久99视频只有精品| 亚洲综合99| 乱码操操| 国产小精品| 天天开心婷婷丁香五月| 樱花99视频| 亚州欧美黄色电影| 精品色色| 婷丁五月| 中文幕无线码中文字蜜桃| AAAA亚洲| 婷婷五月综合免费在线| 国产亚洲精品久久一区二区三区| 精品久热| 综合久久丁丁香婷| 五月婷婷五月天| 国产午夜精品一区二区| 99激情在线| 色色热99| 色约约视频一区二区三区四区五区| 五月丁香六月婷婷亚洲综合| 久久婷婷影院| 97操碰98| 国产精品国产| 看黄的网站18禁| 欧美槡BBBB槡BBB少妇| 天天精品视频在线观看视频| 婷婷天堂视频| 欧美超级视频97| 99色网站| 2025超碰| Av九九| 婷婷欧美激情综合| www.爱婷婷.com| 99性爱| 色九月婷婷综合| 久久激情五月| 天天操夜夜玩!| 久久久全国免费视频| 99这里是精品| 超碰93在线观看| 丁香五月伊人| 六月丁香婷婷五月| 成人天天爽| 五月天婷婷丁香成人网| 思思re99视频在线观看| aaaaaa片| 激情丁香五月AV| 五月天狠狠| 色婷婷精品小视频| 99在线免费视频播放| 婷婷五月天综合色| sS丁香五月婷婷| 一本婷婷丁香久久| 天天日夜夜爽| 在线中文字幕av| 伊人在线婷婷草| 久久婷综合网| 97人人干| 激情五月婷婷六月丁香| 99精品视频推荐| 欧美 日韩 成人 在线| 热热久久精品视频| 亚洲99在线| 极品人妻VIDEOSSS人妻| 任你爽精品免费视频6| 久久6这里只有精品| 嫩草国产| 亚洲天堂久久| 玖玖在线视频| 久青操| 亚洲激情五月婷婷日日| 久久香蕉网| 国产综合A片| 天天干,夜夜爽| 九九热精品| 97婷婷丁香五月| 97久久视频| 8050一级网| 人人操91| 97操碰视频| 这里只有在线精品| www久久五月com| 美欧成人视频| 91在线视频观看午夜福利| 99精品视频免费观看| 亚洲色色香蕉| 丁香五月综合在线观看| 激情宗合网激情五月天| 可以免费看av网站| 玖玖99福利| 大香蕉五月天婷婷| 久久最新色| 欧美精品狠狠色丁香婷婷| 婷色五月天| 五月色影院| 久久9精品视频| 婷婷开心久久| 五月丁香婷婷基地| 99热这里有精品| 日日日日操| 婷婷五月丁香五月天| 五月天色导航婷婷资源婷婷| 婷婷综合欧美| 人人97碰| 九九这里是免费的视频5| 自拍视频在线观看9| 五月天啪啪啪| 午夜婷婷| 国产精品天天狠天天看| 伊人激情AV一区二区三区| 日韩高清成人| 九九色综合九九色| 二色av| 激情五月丁香五月| 五月婷婷基地| 韩日另类| 91av无码| 99综合自拍| 另类视屏| 国产精品日日躁夜夜躁| 69色婷婷| 久久九九网| 9999久久久久| 激情五月天黄色小说| AV动漫不卡无码免费| 开心五月婷婷婷美女| 操逼巨乳91| 9月色婷婷| 丁香五月香蕉| 国产精品视频免费看| 亚洲免费观看高清完整版AV线| 超碰爱爱爱| 色9999综合久久| 中文字幕婷婷在线| 久久久婷婷婷| 激情五月婷婷综合视频| 婷婷丁香五月激情图片| 色吧五月婷婷| 婷婷久久五月丁香| 久久婷婷五月综合色奶水99啪| 久久五月激情综合| 涩五月婷婷| 五月丁香啪| 第四色在线观看| 九九色插| 五月丁香大香蕉| 综合综合色色| 激情婷婷五月社区| 人妻久久婷婷| 一级片操逼视频| 亚洲另类AV| 六月婷婷av| ww亚洲ww在线观看| 亚洲色欲欧美一区二区三区| 五月婷婷丁香在线视频| 2017人人操| 久久永久视频| 激情婷婷丁香五月| 色色色地址| 五月婷婷丁香成人网| 久热中文字幕在线线观看| 色婷婷www| 丁香五月电影| 五月丁香A片| 中文字幕在线日亚州9| 天天色伊人| 久久婷婷综合五月天| 天天肏天天肏天天肏| 久久久网站| 中文字幕在线人妻| 色色综合色视频| 夜夜爽天操| 综合久| 国产精品18久久久| 97黑人精品区| 噜噜噜精品欧美成人在线观看| 五月天开心婷婷激情网站| 欧美色色色| 91午夜婷婷狠狠久久综合9色| 亚洲综合另类| 婷婷五月天偷拍| 九九热最新地址| 91人人看| 婷婷四色五月| 国产亚洲在线观看| 色综合色五月| 九九热在线精品视频| 五月丁香六月婷| 五月天婷婷社区久久综合| 色五月天综合| 人人摸人人搞| 九九综舍久久| 国产伊人五月天| 婷婷伊在线| 五月婷婷视频| 天天婬色综合| www.六月丁香看AV| 国产午夜精品AV一区二区麻豆| 久操福利| 人妻少妇色综合| 婷婷五月天国产传媒| 久久五月综合| 亚洲无码成人| 偷偷操99| 亚洲中文乱字字幕在线永久| 五月天小说激情| 丁香五月婷婷成人色区| 亚洲色视频| 中文字幕,综合,91| 亚洲激情97五月天| 婷婷五月天久草在线| 婷婷五月天伊人在线| 96精品久久久久久久久| 丁香五月婷婷久久久| 日本ww亚洲| 色欲久久综合| 婷色人人狠| 色九区| 碰97久久| 在线看片av| 99噜噜噜在线播放| 五月亭亭六月天| 福利视频在线播放| 亚洲久久婷婷| 伊人五月综合网| 久久综合站| 99亚洲欧洲| 五月天激情电影| 99re在线视频| 97色久| 啪啪操操| 色婷精品91| 久草五月天| www.色婷婷.com| 综合亚洲AV| 欧美人妻一区二区| 伊人综合婷婷| 久色大| 国产三级在线播放| 亚洲六月色| 99操不停| 成人视频在线免费播放| 91ncm视频| 天天噜| www.com.色色| 激情丁香社区| 99视频这里只有免费精品| 婷婷丁香五月激情| 色九九综合| 99re在线观看| 成人网站在线观看视频| 综合色色网| 亚洲婷婷月丁香五月| 婷婷久久五月天| 天天在线久久综合| 色综合女人99| 色五月婷婷一二| 丁香婷婷超碰| 五月天激情综合| 99热在线里有精品| 五月天婷婷色综合| 99啪啪网| 国产五月丁香在线| 亚洲妇女熟BBW| 日日夜夜小色哥| 九九激情视频| 狠狠搞狠狠操| 蜜桃五月天色| 猫咪伊人久久| 被强行糟蹋的女人A片| 操逼在线视频| 伊人五月天97| 日韩成人电影AV| 超碰在线免费| 婷婷激情五月| 激情五月婷婷综合网| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 极品人妻VideOssS人妻| 天天操夜夜肏| 婷婷午夜精品久久久| 国内外色色色色色成人视频| 婷婷色丁香五月| 97五月天婷婷综合激情网| 五月天激情电影| 丁香激情六月天婷婷| 婷婷久久影院| 另类少妇人与禽zOZZ0性伦| 亚洲人妻一区二区| 大香蕉综合在线| 95精品区一区二| 激情综合色婷婷啪啪六月天| 婷婷五月免费观看| 激情五月综合久久| 任你艹| 久久ab| 91精品久久久久久久| 九九综合久久| 人人色性网| 嫩草视频。| 欧美色五月| 婷婷无码视频| 丁香五月天啪啪| 新激情婷婷| 97色片| 丁香五月婷在线| 七七九色| 激情文学 综合 九月| 婷婷99狠狠躁天天躁| 日韩在线五月天婷婷| 五月丁香美女视频| 久久99精品久久久久久三级| 亚洲视频综合网| 激情综合无码| 夜夜骑天天操| 五月丁香伊人网| 99热久97| 亚洲情欲久久| 另类少妇人与禽zOZZ0性伦| 婷婷在线播放| 五月草视频| 久久草大香蕉| 99久久精品国产色欲| 色婷网站| 欧美成人AAA片一区国产精品 | 极品少妇XXXX精品少妇偷拍| 婷婷久久网| www.99热这里精品| aaaaaa片| 五月色综合| 97久久五月丁香婷婷| 69凹凸成人综合网| 国产精品a无线| 国产成人网站在线观看| 久久超级碰碰| 极品另类| 色婷婷六月天| 久久九九色| 欧美激情凹凸丁香网| 色欲五月天| 久久99视频| 精品99视频| 色yeye色综合| 国产午夜精品一区二区三区嫩草| 丁香五月婷婷网| 免费视频无码| 丁香婷婷六月| 九九热最新| 五月天另类小说| 精品成人无码A片观看香草视频| av婷婷丁香 六月| 综激情网| 99精品一二三四视频| 亚洲黄3级片网站欧美| 996黄色片| 狠狠色综合图片| 久久桃花网色婷婷| 色区久久| 99精品成人无码A片观看金桔| 丁香五月天堂网| 久久国产色| 九九在线精品| 99网| 九九99精品视品| 九色综合网| 级人人91| 九热视频免费观看| 色婷在线视频| 成人婷99最新| 亚洲啪啪视频| 狠狠色婷婷在线| 婷婷五月丁香综合亚洲 | 99自拍视频在线| 无码动漫av| www.黄色片-久久成人国产精品在线播放-999AV | 四色综合网| 色激情综合狠狠婷婷| 99爱这里只有精品| 五月婷婷丁香av| 激情综合丁香五月| 五月激情网站| 婷婷伊人网| 国产激情综合五月久久| 丁香花社区av| 成人人操| 婷婷五月天成人在线视频| 99综合视频在线| 五月丁香在线婷婷蜜桃| 天天日,天天干,天天操| 成人电影在线免费试看| 夜夜撸日日操| 香蕉久久国产AV一区二区| 激情第四色| 91人在线观看| 日韩有码一区| 超碰不卡在线| 蜜臀av无码久久久久久久久| 五月婷婷激情综合拍| 天天色视频| 99热精品在线观看| 大香蕉在线99热| 亚洲婷婷激情综合激情999精品| 久婷婷| 五月婷婷在线网站| 美欧成人视频| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 在线另类视频| 新五月天婷婷激情电影| 日本久久人| 成人av免费观看| A久久| 精品热青草| 任你搞网站| 色婷婷五月丁香在线观看| 狠狠色综合精品视频在线| 人妻熟妇国产精品| 一本婷婷丁香久久 | 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 99热在线网站| 热久久成人| 婷婷五月天综合久久| 青青草成人网| 色约约视频一区二区三区四区五区 | www.激情五月天| 色播综合| 五月天婷婷激情四射综合| www.久久99热地址发布| 日日夜夜爽爽| 精品人妻一区二区三区四区不卡在| 五月婷婷很很色| 成人AV在线电影| WWW.桔色成人.COM| 99热这里只有精品16| 五月天大香蕉婷| 激情五月婷婷免费视频| 大香蕉久久婷婷| 亚洲黄色网址| 久久五月天色婷婷| 九九99香蕉在线视频播放| 疯狂做受XXXX高潮A片| 热99在线精品| 狠狠色综合五月| 色婷婷五月天在线观看| 色九九综合热99| 久久精品永久免费| 九九AV| 丁香五月黄色| 婷婷色欧美激情| 无码人妻少妇色欲AV一区二区| 狠干综合| 激情性五月天免费小说视频| 最近中文字幕2019视频1| 7超碰自拍| 亚洲五月天另类小说图片| 五月婷色| 只有精品视频在线观看| 大香蕉五月天婷婷| 婷婷丁香五月天影院 | 熟女少妇内射日韩亚洲| 六月丁香视频网站| 性爱视频99| 五月丁香六月激情综合| 综合网天天| 六月婷婷操逼| 噜噜噜噜噜色| 九月丁香八月婷婷加勒比| 五月综合激情| 超碰91人人操| 婷婷综合97| 天天做天天爽| 色射7856五月天激情四射| 天天干天天爽天天爽| 国产毛片精品一区二区色欲黄A片| 六月丁香啪啪| 国产 码在线成人网站| 丁香 亚洲 久久| 少妇激情五月天| 丁香六月婷婷久久综合| 99re热| 九九av| 成人视频九九| 99re6在线视频精品免费| 久久五月视频| 久热免费视频| 色综合开心五月深爱五月| 少妇2做爰HD韩国电影| 六月婷婷狠狠| 日韩无码AV电影网站| 五月丁香婷婷啪啪综合网| 99视频| 精品99爱免费视频在线观看| 久久婷婷五月综合色欧美| 天天干天天干天天干天天干天天干天天干天天 | 激情综合另类| 五月天堂六月丁香亚州中文字幕久久| 久久丁香婷婷五月天| 99久久a线观| 99精品国产在热久久| 六月米奇色综合| 91干婷婷| 婷婷亚洲综合| 99热青青草| 狠狠草在线观看| 六月婷婷狠狠| 啪啪日热| 婷婷香五月天| 五月天丁香网站| 天天天干夜夜夜操| 怡红院院在线导航网 | 五月天婷婷黄色视频| 性av| 中文AV网站| 九月丁香欧美综合| 欧美日综合| 99成人精品六| 综合久久六月| 99精品热| 米奇影视五月天| 综合色色综合| 亚洲操逼网| 丁香五月婷婷欧美成人色图| 五月丁香激| 日韩另类| 人人射人人高潮| 91人人超碰在线| 99热婷婷| 五月丁香六月婷婷操操操| 丁香六月激情四射| ..真实国产乱子伦对白在线_欧| 丁香婷婷婷五月| 五月丁香激情婷婷| 成人精品在线观看| 天天干 夜夜爽| jiqingtaose五月天| 亚洲va综合va国产va中文| 99爱免费视频| 超碰AV在线| 伊人久久丁香五月91| www.henhengan| 婷婷色婷婷亚洲成人| 天堂美国久久| 久久六月天| 五月天色婷婷伊人网| 丁香六月综合激情| 九九精品系列| 人人澡玖玖一| 五月激情另类| 激情五月天啪啪| 超碰日韩成人| 日韩无码成人电影| 97婷婷五月天| 五月天激日本色情在线| 天天se在线视频| 嫩BBB搡BBBB榛BBBB| 麻豆雪千夏| 小视频一区| 日韩中文欧美| 99精品久久久久久久久| 思思热在线视频精品| 久久久无码精品成人A片小说| 五月婷婷久久激情| 人妻综合网| 欧美69色| 狠狠五月婷婷| 无码99| 午夜婷婷久久 | 激情五月天社区| 激情五月婷婷伊人| 久色网址| 99日本视频| 最新无码专区| 婷婷五月在线视频| 99热99色| 综合五月丁香六月婷婷| 开心五月婷婷激情网| 九九成人精品免费视频| 偷拍91九色| 丁香花五月天婷婷成人社区| 中文字幕在线免费| 99爱视频在线观看| 午夜丁香五月天综合| 精品国产va久久久久| 亚洲性视频| 五月天婷婷色色首页| 青青久久五月| 日本操天堂| 可以看的AV| 另类专区在线| 五月天婷婷基地| 五月第四色| 五月天影院婷婷在线观看| 国产欧美婷婷| 婷婷五月天堂网| 久综合网| www久久99| 亚洲午夜一区二区| 丁香五月婷婷99| 久久一级免费黄色片| 91碰操| 色色五月婷婷网| 中文字幕有多少字| 婷婷91视频| 成人做爰黄A片免费看直播室男男| 婷婷五月花| 天天干天天插| www.超碰在线| 国产亚洲精品久久久久久牛牛| 色婷婷丁香五月| 日本久久高清| 日本久久精品| 久草热在线视频| 激情伊人五月天| 婷婷激情社区| 日本天天操| 日本99视频| 少妇真实被内射视频三四区| 亚洲最大成人综合网720P| 五月丁香啪啪网| 亚洲精品一区无码A片| 无码少妇高潮喷水A片免费| 少妇做爰免费视看片| 精国产品一区二区三区A片| 国产特级毛片AAAAAAA高清| 极品人妻XXXXOOOO| 久久久天堂国产精品女人| 狠狠做深爱婷婷久久综合一区| 99精品在线观看| 日韩九区| 久久黄色片| yw.av| 婷婷午夜综合| 国产成人av在线播放| 五月婷婷在线丁香| 久久99热这里只有精品首| 影音先锋女人av鲁色资源网小说免费 | 国产成人AV在线| 色婷婷久久| 精品一二三区久久AAA片| 伊人99久久| 色婷婷五月影视| 亚洲色图81p| 伊人久久五月天| 五月婷丁香| www.色婷婷。com| 99热这里只有精品国产精品| 久热亚洲| 六月丁香五月婷婷| 六月丁香婷婷爱| 丁香六月婷婷久久高清| 亚洲丁香五月综合| 久色网五月| 九九热精品视频| 99这里只有精品|v| 婷婷丁香无码专区| 九热久| 电影爱拉战争免费观看| va亚洲中文在线| 色婷婷综合久久久久| 丁香五月色情| 婷婷五月精品中文| 91人妻色色网| 99综合免费视频| 狠狠色婷婷7777久| 亚洲狠9| 色婷婷AⅤ| 激情无码五月天| 久久精品视频9| 亚洲综合网 665566| 成人片黄网站色大片免费毛片| 精品无码片| 色婷婷免费观看| 99热最新网址| 久久99婷婷| 久操香蕉| 大香蕉啪啪网| 国产日韩欧美| 午夜不卡久久精品无码免费| 五月婷婷黄| \\五月天婷婷激情| 精品久久久999| W色综合| 91色干| 婷婷丁香亚洲五月天| 超碰激情网| 天天日P天天射P| 丁香午月AV中文字幕| 天天插天天插天天插天天插| 97超碰在线免费观看| 五月婷婷啪啪啪啪| 天天狠狠婷婷在线| 天天爱天天操| 九九婷婷激情综合网| 69热在线| 991精品在线视频| 亚洲传媒在线观看| 99视频这里只有免费精品| 日夜夜久久| 五月色丁香| 久久五月情| 五月婷婷在线网站| 丁香色婷婷五月天| 久久一级片| 五月丁香六月花| 国产成人亚洲综合A∨婷婷| 97五月天婷婷综合激情网| 国际国外精品欧洲南美洲专区无码不卡| 婷婷五月激情综合| 超碰97久久| 大陆肏屄视频| 丁香五月天激情综合| 五月婷婷丁香综合| 亚洲va综合va国产va中文| 99色热综合| 激情综合激情五月| 香蕉婷婷| 婷婷五月天最新综合你懂的| 五月婷婷色播| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 91免费在线视频6| 天天干狠狠| 婷婷成人AV| 99这里只有精品视频| 大香焦A∨| 色婷婷婷婷成人网| 色五月婷婷中文字幕| 色丁香五月婷婷| 激情综合在线观看| 婷婷趴趴| 开心五月深爱五月| AV中文字幕夜夜操b天天摸bb| 五月四色色| 欧美大肥婆大肥BBBBB| 日本怕怕视频| 激情五月久久| 99久久66| 五月丁香影院| 就要爱综合| 激情影院丁香五月| AV激情五月| 日本综合久久| 99热99思午夜精品| 成人免费在线电影| 性爱五月丁香| 人人操插| 五月婷婷激情网| 亚洲综合99| 成人在线精品| 婷婷综合久久| 亚洲成人网在线观看| 久热大香蕉| 婷婷五月天综合激情| 狠狠的日| 丁香桃色综合网| 日本一級黃色一級片| 色爱99| 乱乱av| 五月婷导航| 狠狠色婷婷色| 五月婷婷AV| 伊人久久大香网| www五月| 婷婷伊人激情婷婷| 4399无码视频二区| 欧美成人色婷婷| 97性视频| 囯产精品久久欠久久久久久九大| 婷婷激情丁香五月天综合| 国产婷婷色综合AV蜜臀AV| 久久机热这里只有| 久碰久| 九九久久99精品免费观看www| 久久婷婷影院| 欧美性猛交99久久久久99按摩| 中文字幕日韩无码制服诱或| 67久久| www.五月丁香| 色六月丁香婷婷啪啪啪| 色婷婷成人做爰A片免费看网站 | 婷婷成人视频| 97久久超碰| 在线观看国产高清视频免费网站 | 热99精品视频| 99热丁香| 丁香五月天堂网| 秋霞影音91人妻久久| 五月婷婷综合激情小说| 色婷婷五月综合| 97人人干人人操| 国产AV影片| 色色亚洲| 这里只有精品在线视频精品| 99丁香五月| 另类 在线| 乱女乱妇熟女熟妇综合网站| 色在线免费观看| 婷婷五月激情丁香| 婷婷五月在线免费| www.ywav| 99re热在线视频| 亚洲色a| 九九精品综合| 综合色、色综合| 97色在线观看视频| 丁香五月亭亭六月综合激情网| 激情涩播| 久久九色| 狠狠色综合五月| 欧美日综合| 日本成人内射| 丁香激情久久| 婷婷丁香五月噜噜噜| 五月婷婷中文字幕| 丁香五月天天久久综合小说| 激情www| 色五月涩涩婷婷蜜桃| 激情五月婷婷色色| 五月激情啪啪| 亚洲成人无码网站| 夜夜天天久久婷婷| 亚州操操| 91夫妻网站九色| 色婷婷视频| 色五月丁香五月天| 婷色成人| 丁香五月婷婷亚洲综合精品| 日韩av在线播放综合网| 久久女人天堂| 五月丁香六月香综合激情| 97色婷婷五月天| 超pen个人视频97| 丁香五月婷婷手机| 婷婷色五月噜噜| 五月 婷 久| 久久XX| 午夜激情综合| 26uuu另类亚洲欧美日本一| 午夜丁香丁香婷婷| av最新在线| 五月天丁香婷婷视频网址| 亚洲色网络| 婷婷激情人妻| 色99热| 综合色五月天| 丁香五月婷婷狠狠色| 操碰久| 天堂成人A片永久免费网站| 91超级碰| 啪色综合| 婷婷五点亚洲| 91丨熟女丨首页| 91热99| 日本色久| 99九精品| 亚洲区1| A片试看50分钟做受视频| 人妻中文在线| 91九色国产在线| 激情婷婷丁香| 九月色婷婷综合| 亚洲开心激情网| 五月婷在线观看| 久久婷婷91| 国产精品国产| 婷婷中文网站| 亚洲图色五月天| 中文字幕色色| 中文不卡一二区| 婷婷五月天中文字幕.| 99久re热视频精品98| 影音先锋一区| 成人版视频在线观看| 国产91九色| 综合五月丁香97| 综合爱久久| 91九色在线观看免费| 超级碰碰碰久久网站| 1024成人免费看| 五月婷婷碰碰| 爱穴久久| 九九精品丁香花| 操草草草| 色吊操色妞| 夜色.cnm| 人操人人| 日91高清无玛| 久久宗合影| 丁香婷婷婷婷十二月在线观看视频| 123日本不卡在线| 91久久网站| 九月性爱网| 六月婷在线| 丁香五月大香蕉AV| 91九色精品| 久久停停超碰| 9久久婷婷国产综合精品性色| 久人人操| 色婷婷久久天天性爱| 亚洲AV日韩无码| 五月婷婷亚洲| 精品乱码视频| 婷婷五月丁香五月丁香| 五月丁香综合伦理片| 亚洲夜五月| 婷婷丁香五月激情图片| 狠狠狠五月婷婷六月丁香| 婷婷五月天香蕉| 色5月丁香婷婷| 九九色影视| 婷婷丁香五月综合| AV中文网| 久久婷婷的综合色丁香五月| 五月婷婷深深爱| 99re这里只有精品99| 天天肏天天插| 久久只有18视频| 天天色丁香| 丁香五月婷婷基地| www。五月,com| 六月丁香婷婷综合狠狠爱夜夜爱| 色噜噜狠狠色综合日日| 丁香色色色| www.五月天婷婷姐姐| 99亚洲无码| 久久婷婷色综合| 超碰AV在线| 人五月天婷婷喷水| 2022久久婷婷| 亚洲中文字幕网| 九九成人精品| 天天日天天干天天操| 中文字幕AV网址| 五月天色色网站| 99碰碰碰| 久久最新色| 五月天激情网图片 - 百度| 五月天色婷婷网| 婷婷色情网| 久久HD| 97操在线| 国产在线黄色| site:esunnet.com| http://www.sd-xiangsu.com/| AV操逼网| 婷婷丁香社区| 亚洲秘 无码一区二区三区妃光/1| 99色热视频| 五月丁香婷婷啪啪综合网| 99热精品在线观看| 乱精品一区字幕二区| 伊人热婷婷| 蜜臀A∨在线水帘洞| 66精品成人免费网站在线观看| 色噜噜狠狠色综合网| 99色综合| 久婷婷五月天影院| 久婷婷久草| 成人在线日韩欧美| 五月丁香婷婷五月色| 中文字幕综合网| 热久视频| 熟妇内谢69XXXXXA片| 操逼三区| 激情五月婷婷中文字幕| 日本综合久久| 婷婷五月丁香色综合| 伊人国产婷婷五月天| 色五月婷婷在线| 激情五月婷婷老师| 一起草av| 激情五月六月| 日韩无码亚欧无码| 日本美女天天日天天爽| 国产97色在线| 99热综合网| 久久精品无码一区| 五月婷婷无码| 色婷婷先锋| 色综合中文综合网| 色综合爱综合| 婷婷五月激情网| 九九综合网色全集 | 女性自慰系列第五页| 久大香蕉| 99碰碰碰| 91视屏在线观看com.wwwvv| 啪啪婷婷五月天激情| 九九成年视频| 五月天婷婷乱| 国产精产国品一二三在观看| 五月丁香婷婷在线| 九九在线精品| www.91热久久| 99热这里只是精品| 激情五月婷婷| 操人91| 色九九综合| 亚洲av日韩无码| 夜色综合网| 婷婷色一二三区波多野结衣| 六月丁AV| 97碰碰免费.视频| 伊人五月网| 成人国产欧美大片一区| 影音先锋xfplay资源男人网| 婷婷中文字幕| 婷婷99狠狠| 久久激情网| 青青热视频| 五月丁香综合| 影音先锋色婷婷| 色狠狠综合| 91色婷婷综合久久中文字幕二区| 婷婷五月天天爽| 91色在线| 99精品在线观看| 久久一品区| 91人碰| 99WWW免费视频| 五月丁香综合影院| www.99精品视频| 色五月成人| 日本美女上人| 五月伊人网| 久久综合中文| 99视频只有精品| 思恩热国产视频右线观看| 狠狠操狠狠操| 日本五月婷婷久久久六月丁香| 色色色综合网| 色六月丁香婷婷啪啪啪| 色色亚洲| 人妻熟妇六区| www99精品亚| 玖玖资源站中文| 四季AV综合网| 亚洲激情av| 99色这里| 精品亚洲国产成AV人片传媒| 俺也去综合| 五月天天综合网色婷婷| 久久久久久人妻| 五月丁香啪啪综合| 国产激情久久久| 五月天婷婷自拍图片在线观看| 日韩黄在免| 99热中文字幕久久| 亚洲AVDVD| 热99在线| 丁香五月六月婷婷自拍| 国产在线网| 色五月婷婷影院| 免费AV在线网址| 涩涩五月天综合| 男妓跪趴把舌头伸进我的嘴巴| 热久久精品视频网站| WWW.五月com| 国产日韩欧美性爱| 激情五月天黄色小说| 亚洲乱码日产精品BD| 丁香婷婷十月| AV操逼网| 五月天伊人| 激情综合丁香五月| 久久狠狠干| 丁香五月性爱| 国产午夜一区二区三区| 全高清无码视頻| 欧美精品XXXXBBBB| 5月婷婷五月天| 丁香婷婷色色| 国产亚洲成AV人片在线观黄桃| 亚洲婷婷激情五月天| 五月天天综合网色婷婷| 亚洲人妻av| 五月婷婷中文网| 91色色色18|