欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

SWIOTLB深度解析:從DMA地址難題到機(jī)密計算的關(guān)鍵角色

SWIOTLB深度解析:從DMA地址難題到機(jī)密計算的關(guān)鍵角色 最近在一套涉及機(jī)密計算環(huán)境的存儲節(jié)點(diǎn)上排查DMA報錯時我又被SWIOTLB這塊“老熟人”結(jié)結(jié)實實地上了一課。SWIOTLB全稱Software Input Output Translation Lookaside Buffer中文一般叫軟件IO TLB但我在實際工作中更愿意叫它“內(nèi)核的DMA轉(zhuǎn)運(yùn)倉庫”。很多做內(nèi)核、虛擬化或者高性能存儲的同行可能都有類似經(jīng)歷平時壓根想不起它一旦設(shè)備驅(qū)動在dmesg里甩出一句swiotlb buffer is full或者虛擬化環(huán)境里性能出現(xiàn)詭異的斷崖式下跌才發(fā)現(xiàn)自己根本沒有真正搞懂這個模塊。這篇文章就從DMA的本質(zhì)開始講一路拆到SWIOTLB的實現(xiàn)機(jī)制和調(diào)優(yōu)參數(shù)最后落到機(jī)密計算Confidential Computing場景里它為什么反而變成了不可替代的關(guān)鍵角色。內(nèi)容會盡量側(cè)重實操怎么判斷自己在用SWIOTLB怎么給它定大小日志報錯應(yīng)該怎么排查以及機(jī)密計算里shared/private內(nèi)存切換是怎么逼著內(nèi)核把SWIOTLB拿出來的。適合正在折騰Linux內(nèi)核DMA驅(qū)動、虛擬化IO路徑或者剛開始接觸SEV/TDX機(jī)密計算環(huán)境的工程師。1. 為什么要先聊DMA一次數(shù)據(jù)搬運(yùn)背后的地址難題1.1 從PIO到DMA把CPU從“搬運(yùn)工”位置上解放出來早期的外設(shè)驅(qū)動跟設(shè)備交換數(shù)據(jù)基本靠CPU一條指令一條指令地往IO端口里寫數(shù)據(jù)這種方式叫PIOProgrammed I/O。打個比方CPU就是個倉庫管理員每次貨物進(jìn)出都要管理員親手去搬管理員忙個半死倉庫吞吐量卻上不去。后來硬件上引入了DMADirect Memory Access設(shè)備控制器可以繞過CPU直接在內(nèi)存和設(shè)備之間搬運(yùn)數(shù)據(jù)。CPU只需要告訴設(shè)備“源地址在哪、目標(biāo)地址在哪、要搬多少”然后就可以去處理別的事情DMA控制器搬完再發(fā)個中斷通知一下就行。這個機(jī)制看起來非常美好但埋了一個很關(guān)鍵的問題DMA控制器真的能訪問物理內(nèi)存里的任意地址嗎在很多普通讀者看來內(nèi)存就是內(nèi)存地址就是地址??稍谡鎸嵪到y(tǒng)里設(shè)備能看到的地址空間和CPU通過頁表看到的物理地址空間并不是一回事。設(shè)備側(cè)的DMA能力受硬件設(shè)計限制比如一個網(wǎng)卡可能只能尋址32位地址空間也就是最大4GB而服務(wù)器內(nèi)存可能已經(jīng)插到了128GB甚至512GB。CPU可以通過內(nèi)存管理單元MMU把進(jìn)程地址映射到任意物理頁面但設(shè)備通常沒有這么完整的MMU能力或者即使有有些設(shè)備的地址線就是不夠用。這時候CPU管理的物理內(nèi)存和設(shè)備能訪問的內(nèi)存之間出現(xiàn)了一個“夠不著”的鴻溝。怎么解決最直接的辦法就是在內(nèi)存里劃一塊設(shè)備肯定能訪問的區(qū)域把數(shù)據(jù)先放到那里再讓DMA控制器去搬。這就是SWIOTLB誕生的原始動機(jī)之一。在后續(xù)的內(nèi)核演化中這個“中轉(zhuǎn)區(qū)域”的用途越拓越寬最后連機(jī)密計算場景都離不開它。1.2 設(shè)備能訪問的內(nèi)存不等于物理內(nèi)存DMA mask與地址約束每個DMA設(shè)備都有一個“地址能力上限”Linux內(nèi)核里用dma_mask來表示。比如一個老式PCI網(wǎng)卡只能尋址32位地址那么它拿到的DMA地址必須落在0到4GB范圍之內(nèi)否則設(shè)備就語法理解不了這段地址。我們調(diào)試驅(qū)動時經(jīng)常會看到類似dma_set_mask_and_coherent的代碼就是在跟內(nèi)核聲明“我這個設(shè)備能處理多少位地址”。問題在于x86服務(wù)器上很多內(nèi)存條插槽對應(yīng)的物理地址并不低。尤其在現(xiàn)代系統(tǒng)里物理地址分布可能很離散PCIe的MMIO窗口、內(nèi)存熱插拔區(qū)域、多路處理器之間的地址交錯都會讓“低位物理內(nèi)存”變得稀缺。即使系統(tǒng)只有64GB內(nèi)存想讓一個大塊DMA緩沖區(qū)落在4GB以內(nèi)往往也不是一件容易的事。更麻煩的是很多驅(qū)動使用dma_alloc_coherent()想一次性分配大塊連續(xù)的DMA緩沖區(qū)比如幾百M(fèi)B低端內(nèi)存區(qū)域早就被內(nèi)核的頁表、啟動參數(shù)、initrd等占完了哪還有這么大片的低端連續(xù)內(nèi)存。于是在沒有IOMMU、或者IOMMU被禁用/旁路passthrough的情況下內(nèi)核就只能在低端內(nèi)存里預(yù)先劃出一塊相對固定的區(qū)域把這些DMA操作“匯聚”到這塊區(qū)域里執(zhí)行。這塊區(qū)域就是SWIOTLB緩沖區(qū)。需要強(qiáng)調(diào)的這個設(shè)計并不是完美的因為代碼路徑里不可避免要多一次內(nèi)存拷貝從真正的數(shù)據(jù)緩沖區(qū)拷到SWIOTLBDMA設(shè)備再從SWIOTLB搬運(yùn)。這也是很多人抱怨SWIOTLB性能損耗的根本來源。1.3 IOMMU并不是萬能的解決方案不少讀者可能會想現(xiàn)在服務(wù)器不是都有IOMMU嗎Intel叫VT-dAMD叫IOMMU開了之后設(shè)備就能通過IO頁表訪問任意物理地址SWIOTLB是不是可以退休了理論上確實如此有完整IOMMU的設(shè)備DMA地址翻譯可以做到和CPU頁表類似的靈活映射設(shè)備無需限制在低端地址區(qū)域也無需做反彈緩沖拷貝。但現(xiàn)實很骨感。第一大量輕量級嵌入式平臺和部分低端服務(wù)器并沒有完整的IOMMU支持或者固件默認(rèn)不開啟。第二IOMMU開啟后會帶來額外的TLB開銷和頁表維護(hù)成本某些高性能存儲或網(wǎng)絡(luò)場景反而會選擇iommupt旁路掉換取更低的延遲。第三即使IOMMU存在設(shè)備一旦做SR-IOV虛擬化VF的DMA路徑可能走不了完整翻譯仍然要退回swiotlb或類似機(jī)制。第四在機(jī)密計算場景下IOMMU還面臨更復(fù)雜的shared/private內(nèi)存權(quán)限問題單純靠IOMMU并不能解決所有DMA隔離。所以在現(xiàn)代內(nèi)核中SWIOTLB不僅沒有消失反而因為虛擬化和機(jī)密計算的發(fā)展變成了更加核心的一塊基礎(chǔ)設(shè)施。只是它不再單純解決“32位設(shè)備訪問高內(nèi)存”的老問題而是承擔(dān)起了“內(nèi)存加密時代DMA如何安全訪問數(shù)據(jù)”的新職責(zé)。2. SWIOTLB到底是什么一個“軟件中轉(zhuǎn)站”的完整拆解2.1 內(nèi)核里那塊“轉(zhuǎn)運(yùn)倉庫”是怎么被創(chuàng)建的把SWIOTLB理解成“轉(zhuǎn)運(yùn)倉庫”非常貼切內(nèi)核在啟動早期從低端物理內(nèi)存中劃出一塊連續(xù)區(qū)域?qū)iT用來承接那些設(shè)備無法直接訪問的內(nèi)存數(shù)據(jù)。這塊區(qū)域在內(nèi)核里對應(yīng)一個全局結(jié)構(gòu)體struct io_tlb_mem其中維護(hù)了一個固定大小的內(nèi)存池io_tlb_orig_addr、位圖io_tlb_used等元數(shù)據(jù)用來記錄哪些slot已經(jīng)被占用。池子基本單位是slot一個slot的大小通常是2KiB對應(yīng)內(nèi)核里的IO_TLB_SHIFT。默認(rèn)情況下的區(qū)域大小是64MiB換算下來也就是32768個slot。如果你在啟動參數(shù)里看到swiotlb131072含義是“我要131072個slot”按每個slot 2KiB計算就是256MiB。早期內(nèi)核參數(shù)也支持直接寫字節(jié)大小不同內(nèi)核版本的解析邏輯略有差異建議先按照slot數(shù)量來理解這樣更直觀。這塊區(qū)域什么時候建立早到內(nèi)核初始化的早期階段。具體地說在mem_init之前通過swiotlb_init()或者swiotlb_init_late()來預(yù)留。如果預(yù)留太晚低端內(nèi)存可能已經(jīng)被各種分配器瓜分得七零八落就很難拿到足夠大的連續(xù)物理區(qū)域了。這也是為什么修改SWIOTLB大小后必須修改內(nèi)核啟動命令行并重啟而不能像個普通內(nèi)核參數(shù)一樣sysctl動態(tài)修改的原因。2.2 一次完整的數(shù)據(jù)映射流程map/拷貝/unmapSWIOTLB的工作流程看起來非常簡單但每一步都有講究。當(dāng)一個驅(qū)動準(zhǔn)備發(fā)起DMA讀或DMA寫時它通常會調(diào)用dma_map_single()或dma_map_sg()內(nèi)核會走到DMA層再根據(jù)設(shè)備能力決定是否走SWIOTLB路徑。整體流程大致是這樣的驅(qū)動傳入一個原始緩沖區(qū)地址內(nèi)核檢查這個地址是否在設(shè)備DMA mask可尋址范圍內(nèi)。如果在且設(shè)備本身愿意直接用則不經(jīng)過SWIOTLB直接映射原地址。如果地址超出設(shè)備能力范圍或者當(dāng)前環(huán)境強(qiáng)制走SWIOTLB比如mencrypt開啟的時候內(nèi)核就從SWIOTLB池中分配一個或多個空閑slot充當(dāng)“替身地址”。如果是DMA寫操作從內(nèi)存到設(shè)備內(nèi)核需要先把原始緩沖區(qū)內(nèi)容拷貝到這張SWIOTLB slot里然后把slot對應(yīng)的物理地址交給DMA控制器。如果不拷貝設(shè)備搬到的就會是它“看不懂”的高地址。如果是DMA讀操作從設(shè)備到內(nèi)存DMA會先把數(shù)據(jù)搬到SWIOTLB slot里內(nèi)核再等設(shè)備操作完成后把數(shù)據(jù)從slot拷回原始緩沖區(qū)并釋放slot。驅(qū)動調(diào)用dma_unmap_single()或dma_unmap_sg()時SWIOTLB層完成清理和狀態(tài)復(fù)位。從上面的過程能看出來SWIOTLB本質(zhì)上是一個“反彈緩沖區(qū)”bounce buffer。這種設(shè)計換來了通用性付出的代價就是數(shù)據(jù)路徑上多了一次內(nèi)存拷貝。用大白話說原本設(shè)備可以直接從倉庫A區(qū)取貨現(xiàn)在必須先把A區(qū)的貨全部搬到中轉(zhuǎn)倉B區(qū)設(shè)備再到B區(qū)取貨取完再把剩余信息搬回A區(qū)。一次DMA變成至少兩次內(nèi)存復(fù)制對吞吐量和延遲都有影響。2.3 它和傳統(tǒng)IOMMU的關(guān)系與區(qū)別很多資料會把SWIOTLB和硬件IOMMU放在一起對比這沒什么問題但要注意它們不是二選一而是在不同層面解決DMA地址翻譯的問題。硬件IOMMU是設(shè)備側(cè)的頁表翻譯器。內(nèi)核把設(shè)備要訪問的物理頁面映射進(jìn)IO頁表設(shè)備發(fā)出的DMA地址先經(jīng)過IOMMU翻譯再訪問物理內(nèi)存。這有點(diǎn)像給設(shè)備配了一副“眼鏡”原本看不清高地址戴上眼鏡之后就能看了。IOMMU的映射開銷主要在頁表維護(hù)和TLB miss上數(shù)據(jù)本身不需要拷貝所以帶寬損耗通常遠(yuǎn)小于SWIOTLB。SWIOTLB則是純軟件方案不需要硬件芯片參與。它通過“預(yù)先設(shè)置好交易時轉(zhuǎn)運(yùn)”的方式繞開設(shè)備地址能力限制。沒有IOMMU的時候SWIOTLB兜底有IOMMU但某些設(shè)備不支持、或者被配置成旁路模式時SWIOTLB也能繼續(xù)兜底。我在很多實際項目里的經(jīng)驗是系統(tǒng)里同時存在IOMMU和SWIOTLB很常見不要因為開了IOMMU就默認(rèn)SWIOTLB完全沒用。兩者在驅(qū)動模型中的位置也不同。IOMMU通常掛在DMA層之下如果dma_map_ops包含iommu相關(guān)的實現(xiàn)dma map請求會走iommu路徑如果沒有再落到direct DMA或者swiotlb路徑。具體到代碼里就是dma_direct_map_page和swiotlb_map之間的先后關(guān)系。理解這一點(diǎn)后面看性能瓶頸才不容易跑偏。3. 怎么判斷自己正在依賴SWIOTLB以及性能影響有多大3.1 裸機(jī)與虛擬機(jī)里的常見觸發(fā)場景SWIOTLB在哪些場景里最容易被觸發(fā)首先就是老設(shè)備驅(qū)動跑在現(xiàn)代大內(nèi)存機(jī)器上。比如某些專業(yè)聲卡、老舊的USB控制器、部分FPGA板卡自帶的DMA引擎dma_mask可能只有30位或者32位一旦驅(qū)動申請的緩沖區(qū)落在高位內(nèi)存內(nèi)核只能通過SWIOTLB中轉(zhuǎn)到低位。這類問題在嵌入式Linux平臺上尤其常見很多外設(shè)DMA控制器設(shè)計比較簡陋不支持64位尋址。第二種場景是虛擬機(jī)guest。虛擬機(jī)里的virtio等半虛擬化設(shè)備通常可以協(xié)商較寬的DMA mask但很多模擬設(shè)備或者直通設(shè)備對地址范圍有限制。尤其在x86虛擬化環(huán)境里Guest物理地址經(jīng)過EPT擴(kuò)展頁表轉(zhuǎn)換后真實物理地址可能在極高位DMA控制器如果沒有配合VT-d做地址翻譯就只能退回SWIOTLB。這就是為什么很多人在虛擬機(jī)里跑存儲性能測試會看到比裸機(jī)明顯更高的拷貝開銷。第三種場景是系統(tǒng)沒有開啟IOMMU。很多默認(rèn)配置下Linux為了兼容性會保留SWIOTLB能力甚至某些發(fā)行版會打印swiotlb: defaulting to cmdline size之類的日志。我們常調(diào)侃它屬于“平時靜悄悄關(guān)鍵時刻掉鏈子”的代碼路徑性能測試?yán)锊蝗菀鬃⒁庵钡侥承┨囟↖O模型把slot池打滿才會爆發(fā)問題。3.2 性能開銷多一次拷貝到底有多痛關(guān)于SWIOTLB性能損耗網(wǎng)上很多說法是“一次額外拷貝影響可以接受”。但我實測下來這個說法太理想了。額外拷貝在不同場景下的放大效應(yīng)完全不同。順序讀寫大塊數(shù)據(jù)的場景里假設(shè)DMA本身帶寬是2GB/s額外一次內(nèi)存拷貝雖然增加了幾十微秒的延遲但吞吐量可能只掉十幾個百分點(diǎn)。但是小包高吞吐的網(wǎng)絡(luò)/存儲場景比如NVMe隊列深度很高、每個請求只有4KB甚至更小SWIOTLB的slot分配和內(nèi)存拷貝開銷會非常顯眼。更棘手的是如果SWIOTLB池大小不夠驅(qū)動在分配slot時會等待或直接報錯延遲就會出現(xiàn)嚴(yán)重的毛刺。除了拷貝本身還有cache一致性的問題。DMA讀操作結(jié)束后CPU需要讀取被打到SWIOTLB區(qū)域的數(shù)據(jù)這塊區(qū)域在DMA控制器寫入后必須在CPU cache里做invalidate操作寫操作之前則要做clean/flush操作。雖然現(xiàn)代CPU普遍支持硬件cache coherent DMA但在某些架構(gòu)或者特定配置下這個開銷并不為零。這也是為什么很多性能敏感型驅(qū)動會想盡辦法避開SWIOTLB路徑。3.3 用內(nèi)核日志和事件快速確認(rèn)SWIOTLB在工作如果你不確定系統(tǒng)到底有沒有走SWIOTLB最簡單的方法是在啟動后執(zhí)行dmesg | grep -i swiotlb如果啟用了SWIOTLB你會看到類似software IO TLB: mapped ... bytes或swiotlb: dynamic allocation的日志。老版本內(nèi)核可能打印PCI-DMA: Using software bounce buffering for IO (SWIOTLB)看到這類信息基本就知道它已經(jīng)在工作了。想進(jìn)一步觀察運(yùn)行時是否頻繁被使用可以結(jié)合內(nèi)核trace事件?,F(xiàn)代內(nèi)核在SWIOTLB路徑埋了swiotlb_bounced之類的tracepoint雖然不是所有發(fā)行版都默認(rèn)開啟但我們可以用perf或者tracefs嘗試perf record -e swiotlb:* -a -- sleep 10 perf script如果當(dāng)前內(nèi)核沒有對應(yīng)tracepoint另一個笨辦法是用bpftrace掛swiotlb_map或swiotlb_alloc這類內(nèi)核函數(shù)統(tǒng)計調(diào)用次數(shù)。這個動作需要root權(quán)限而且生產(chǎn)環(huán)境上操作要謹(jǐn)慎。拿到數(shù)據(jù)之后就能量化評估SWIOTLB在整個IO路徑中的參與比例避免靠猜。4. 機(jī)密計算是怎么改變DMA規(guī)則的4.1 內(nèi)存加密之后設(shè)備突然“看不懂”內(nèi)存了前面講的都是地址空間問題到了機(jī)密計算這里問題又多了一個維度內(nèi)存內(nèi)容被加密了。機(jī)密計算的核心訴求是保護(hù)使用中的數(shù)據(jù)宿主機(jī)的內(nèi)核、hypervisor甚至物理機(jī)管理員都不該看到虛擬機(jī)內(nèi)部的內(nèi)存數(shù)據(jù)。AMD SEVSecure Encrypted Virtualization和Intel TDXTrust Domain Extensions都采用了內(nèi)存加密方案CPU把內(nèi)存中的機(jī)密數(shù)據(jù)用硬件密鑰進(jìn)行加密只有特定的可信上下文才能解密。這就帶來一個尷尬局面普通DMA設(shè)備不具備解密能力。設(shè)備在搬運(yùn)內(nèi)存時拿到的是物理地址上的密文可它需要的卻是能直讀的明文。如果設(shè)備是加密引擎、TEE安全芯片這類專門組件那么它可以配合做加解密但普通的NVMe控制器、網(wǎng)卡不會自帶客戶機(jī)密內(nèi)容的解密邏輯強(qiáng)行把機(jī)密內(nèi)存暴露給DMA要么數(shù)據(jù)出錯要么安全邊界崩潰。系統(tǒng)怎么解決答案是把內(nèi)存分成兩種類型private私有加密內(nèi)存和shared共享明文內(nèi)存。在SEV里通過C-bit標(biāo)記在TDX里通過Shared Bit標(biāo)記。CPU訪問private內(nèi)存時自動用客戶密鑰解密訪問shared內(nèi)存時不加密。機(jī)密虛擬機(jī)里運(yùn)行的應(yīng)用、內(nèi)核核心數(shù)據(jù)通常都在private內(nèi)存中而需要與外部設(shè)備共享的數(shù)據(jù)則放在shared內(nèi)存中。DMA設(shè)備能直接訪問的只有shared內(nèi)存。4.2 SEV/TDX里的shared/private內(nèi)存切換內(nèi)核在機(jī)密計算環(huán)境中經(jīng)常要做內(nèi)存屬性的切換這就是Linux中set_memory_decrypted()和set_memory_encrypted()這對API干的事。名字寫得很直白decrypted就是讓一段內(nèi)存變成sharedencrypted就是收回成private。聽起來很簡單但實際操作非常敏感。在x86 SEV環(huán)境下變更內(nèi)存加密屬性實際上涉及頁表項的C-bit翻轉(zhuǎn)還要考慮有沒有其他CPU正在并發(fā)訪問這塊內(nèi)存以及IOMMU頁表緩存是否還保留舊映射。在TDX環(huán)境下shared/private切換還要和TDX module通信做一系列安全檢查。如果搞亂了這個狀態(tài)輕則DMA讀到錯誤數(shù)據(jù)重則觸發(fā)安全漏洞或者系統(tǒng)性故障。那么DMA緩沖區(qū)到底該放哪邊答案是放在shared內(nèi)存里。但問題來了內(nèi)核里很多通用驅(qū)動申請DMA緩沖區(qū)時并不知道自己運(yùn)行在機(jī)密環(huán)境里也不會主動去調(diào)用set_memory_decrypted()。如果把private內(nèi)存直接交給普通DMA設(shè)備設(shè)備訪問時要么無法訪問要么就會數(shù)據(jù)錯亂。4.3 為什么機(jī)密計算反而離不開SWIOTLB這正是SWIOTLB在機(jī)密計算里翻身當(dāng)主角的關(guān)鍵原因。與其讓每個驅(qū)動都去適配shared/private邏輯不如讓SWIOTLB變成一個“永遠(yuǎn)放在shared內(nèi)存里的固定轉(zhuǎn)運(yùn)站”。所有DMA數(shù)據(jù)都先從private內(nèi)存拷貝到SWIOTLB的shared緩沖區(qū)然后DMA設(shè)備再訪問SWIOTLB。這樣對驅(qū)動來說它根本不需要關(guān)心內(nèi)存加密屬性只需要照常走DMA API內(nèi)核在SWIOTLB層完成了shared/private的隔離。以Intel TDX為例內(nèi)核在TDX guest里會強(qiáng)制掉進(jìn)SWIOTLB路徑原因就是所有設(shè)備DMA都需要經(jīng)過shared bounce buffer。AMD SEV場景也類似啟用mem_encrypton之后內(nèi)核會把SWIOTLB作為默認(rèn)的DMA回落方案。如果忽略了這一層很多DMA操作會在虛擬機(jī)里直接失敗或者靜默產(chǎn)生校驗錯誤。這也是為什么每次我接到“虛擬機(jī)里NVMe盤寫著寫著掉盤”“虛擬機(jī)網(wǎng)絡(luò)吞吐忽高忽低”這類排查需求時第一反應(yīng)就是去看SWIOTLB有沒有成為瓶頸而不是一上來就懷疑物理網(wǎng)卡或者SSD有問題。坦白說在每個機(jī)密計算環(huán)境里都存在SWIOTLB額外拷貝性能損失是在所難免的。但這是用一部分性能換安全邊界的完整性。除非硬件廠商實現(xiàn)了完善的shared I/O DMA引擎或者IOMMU直接支持共享映射否則SWIOTLB就是業(yè)界目前最通用、最不依賴特定硬件平臺的方案。4.4 安全邊界與性能取舍在機(jī)密計算里使用SWIOTLB還帶來一些安全設(shè)計上的細(xì)節(jié)值得展開講一講。第一SWIOTLB緩沖區(qū)本身是shared明文內(nèi)存它里面的數(shù)據(jù)在DMA完成后不能殘留敏感信息所以內(nèi)核在做slot釋放時會做適當(dāng)?shù)那謇韯幼鳌5诙hared內(nèi)存對hypervisor而言是可讀的所以機(jī)密計算環(huán)境里的SWIOTLB區(qū)域應(yīng)該盡量只承載設(shè)備DMA數(shù)據(jù)不要拿來當(dāng)普通內(nèi)存亂存用戶隱私。第三SWIOTLB緩沖區(qū)大小必須足夠覆蓋預(yù)期DMA并發(fā)量因為如果slot池耗盡更糟糕的結(jié)果不是在低性能中運(yùn)行而是直接出現(xiàn)IO錯誤。性能取舍方面我通常給客戶的建議是先監(jiān)控SWIOTLB的使用峰值。如果確認(rèn)超過了池容量優(yōu)先調(diào)整啟動參數(shù)擴(kuò)大池大小如果頻繁出現(xiàn)滿池但實際并發(fā)不高則要檢查驅(qū)動是不是用DMA方式做了本來可以用PIO完成的小數(shù)據(jù)量操作。很多嵌入式驅(qū)動為了省事把串口、SPI、I2C這類低速設(shè)備的收發(fā)全掛到DMA上其實這類傳輸根本不需要這么大的并發(fā)窗口只是浪費(fèi)了SWIOTLB slot。做一個簡單的QoS分流比盲目加內(nèi)存有效得多。5. 調(diào)優(yōu)、避坑與實戰(zhàn)排障5.1 SWIOTLB大小怎么定確定SWIOTLB大小最直接的方法是看業(yè)務(wù)的實際DMA并發(fā)量。假設(shè)一個NVMe驅(qū)動單個請求涉及的最大數(shù)據(jù)量是1MiB隊列深度是256那么理論上最壞情況需要256MiB的DMA映射空間。但實際情況往往沒那么極端因為部分請求可能不會全部同時走SWIOTLBIOMMU或者設(shè)備的高位尋址能力也能分擔(dān)一部分。保守起見可以先用默認(rèn)64MiB跑一段時間業(yè)務(wù)觀察是否出現(xiàn)swiotlb buffer is full或者tracepoint觸發(fā)的頻繁等待再決定是翻倍到128MiB還是256MiB。修改方式是在內(nèi)核啟動參數(shù)中追加# 每個slot 2KiB131072表示256MiB swiotlb131072在GRUB環(huán)境里通常編輯/etc/default/grub的GRUB_CMDLINE_LINUX然后執(zhí)行g(shù)rub2-mkconfig -o /boot/grub2/grub.cfg并重啟。需要注意內(nèi)存碎片嚴(yán)重的系統(tǒng)在啟動早期可能申請不到巨大的連續(xù)物理內(nèi)存如果設(shè)置的SWIOTLB過大導(dǎo)致啟動失敗需要適當(dāng)降低。另一個方向是徹底禁用SWIOTLB使用swiotlb0但只建議在確認(rèn)設(shè)備、IOMMU、內(nèi)存加密等路徑都不需要它的場景里操作否則很容易引發(fā)DMA無法映射的嚴(yán)重問題。5.2 日志與排查那些讓人抓狂的DMA報錯SWIOTLB相關(guān)的常見報錯其實沒有太多花樣但每個都足以讓人頭疼一陣。我整理過一張自查表基本能覆蓋大部分情況常見日志含義處理思路swiotlb buffer is fullSWIOTLB slot耗盡DMA請求無法獲得中轉(zhuǎn)緩沖區(qū)擴(kuò)大SWIOTLB減少DMA并發(fā)檢查是否泄漏DMA: Out of SW-IOMMU space類似上一項部分內(nèi)核用這個打印同上同時檢查驅(qū)動是否頻繁map/unmapswiotlb: coherent allocation failed一致性DMA內(nèi)存分配失敗增加連續(xù)內(nèi)存或調(diào)整一致性內(nèi)存池大小Cannot allocate memory for SWIOTLB啟動時SWIOTLB預(yù)留失敗檢查內(nèi)存碎片降低SWIOTLB大小Cache/IOMMU conversion failed內(nèi)存加密屬性或IOMMU映射切換失敗多與SEV/TDX的shared/private切換有關(guān)排查時要做的第一件事不是改參數(shù)而是搞清楚報錯出現(xiàn)的頻率和上下文。我見過一個案例某驅(qū)動在中斷上下文里調(diào)用DMA映射函數(shù)但該函數(shù)在某些配置下可能睡眠等待slot導(dǎo)致內(nèi)核異常。這種報錯表面看是SWIOTLB空間不夠本質(zhì)是驅(qū)動設(shè)計違反了原子上下文約束。所以看到swiotlb buffer is full時先把dmesg里的調(diào)用棧保存下來結(jié)合/proc/interrupts和驅(qū)動源碼確認(rèn)調(diào)用上下文再做參數(shù)調(diào)整。5.3 我的調(diào)優(yōu)建議與個人體會最后分享幾個我在實際項目里反復(fù)踩過坑以后總結(jié)出的經(jīng)驗。第一SWIOTLB不是性能問題的原罪很多場景真正的瓶頸是驅(qū)動頻繁map/unmap帶來大量拷貝和cache操作。與其盲目擴(kuò)大SWIOTLB不如優(yōu)化驅(qū)動把零散的DMA請求合并成dma_map_sg批量請求減少映射次數(shù)。第二在虛擬化或機(jī)密計算環(huán)境里如果業(yè)務(wù)對延遲極其敏感可以考慮把存儲隊列深度適當(dāng)降低讓并發(fā)DMA請求數(shù)控制在SWIOTLB能力范圍內(nèi)這樣雖然隊列深度低了但總體時延反而穩(wěn)定。第三設(shè)置完SWIOTLB之后一定要做壓力測試不要只測順序讀寫還要測高并發(fā)隨機(jī)讀寫和冷啟動瞬時IO峰值真正打滿slot池之后才能暴露配置是否合理。我個人的體會是SWIOTLB屬于那種“平時你看不見它出問題時它比誰都重要”的底層設(shè)施?,F(xiàn)在的內(nèi)核代碼已經(jīng)相當(dāng)完善文檔資料也不算少但真正讓它發(fā)揮價值還是要回到對DMA路徑的理解上誰在訪問內(nèi)存、設(shè)備能不能訪問、中間有沒有加密隔離。搞懂了這三件事SWIOTLB就不再是一個神秘的啟動參數(shù)而是一塊可以預(yù)判、可以計劃、可以兜底的安全墊。希望這篇文章能幫你在下次遇到DMA相關(guān)疑難雜癥時少走一點(diǎn)彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
嫩草AV久久伊人妇女超级A| 色五开心五月五月深深爱| 五月香婷婷| 婷婷丁香成人五月天| 五月天婷婷乱论小说| 黄色高清无码| 激情av在线| 色欲五月婷婷| 色色操| 99热只有精品在线播放| 亚洲激情四射色| WWW激情五月天| 97热91| 中文字幕日韩无码制服诱或| 热久91| 成人色色视频| av激情在线| 五月色影院| 国产性爱色| 成人丁香五月| 久久综合99| 欧美在线干| 婷婷五月天无码视频| 成人做爰高潮A片免费视频| wWw色五月| 狠狠干.com| 婷婷五月丁综合| 激情五月婷婷色色| 色爱五月天| 華人性愛AV在線| 国产这里只有精品| 欧美成人精品老美女噜噜噜| 五月丁香久久网| 六月激情婷婷| 亚洲六月婷| 日韩ww| 人人人舔人人人操人人人摸人人人97| 天堂爱啪啪| 99色婷婷| 激情五月天伊人影院| 婷婷综合在线播放| 亚洲欧美在线观看| 欧美色色色色色色色色色色| 丁香五月天堂婷婷| 99久.| 综合久久婷婷五月丁香| 丁香五月天社区婷婷| 五月婷婷五月天| 一本久道综合色婷婷五月| 97人人超| 五月天成人在线视频网站| 五月丁香色色网| 97精品人人A片免费看| 亚洲色在线观看| 91人操| 国产日比| 成人五月天丁香婷| 久狠日av| .操區COm| 精品亚洲国产成AV人片传媒| 久久久婷婷五月天| 色婷婷丁香五月| 五月天激情美女久久| 91综合在线视频| 狠狠干综合| 色五月婷婷在线观看| 超碰在线人妻| 日本97在线| 久久人妻熟女一区二区| 97在线视频观看| 五月丁香婷婷中文网| 色婷婷情片| 极品少妇XXXX精品少妇偷拍| 碰碰女| m色激情网| 婷婷五月电影| 久久大香蕉同僚| 99热精品10| 色综合色婷色基地| 婷婷狠狠青青| 99久久国产宗和精品1上映| 五月婷婷五月天| 激情欧美婷五月| 日本三久久| 草草色情综合网| 日本片日本片祼观看网站在线看中文版网页在线看| 天天透天天爱| 丁香五月综合在线观看| 天天综合天天玩夜夜玩天天玩夜夜玩| 激情丁香婷婷六月天| 久久码久久无清| 成人做爰高潮A片免费视频| 99爱视频在线观看| 激情五月婷婷丁香| 天天综合社区| 色综合天天天天做夜夜| 米奇影视资源777狠狠色婷婷五月天激情网 | 99性爱| 欧洲色色| 婷婷社区五月天| 亚洲一区二区无码蜜乳av| 五月天综合网| 五月色在线| 色婷六月| 99精品视频网站| 亚洲色网址| 特级片神马电影| 96人人操人人操人人| 91干视频| 四虎成人精品永久免费AV九九| 九九热青青草| 人妻在线网站| 99热只有精品在线| 婷婷五月色色| A在线观看| 91人无码久久久久久| 亚洲精品一区无码A片| 亚州色色色| 成人电影在线免费试看| 黄网免费看| 丁香五月色| www.成人婷婷综合| 亚洲天堂aaaa| 婷婷六月丁香五月| 六月 丁香 视频| 婷婷激情五月天小说| 99久久成人| 丁香五月婷婷色五月| 丁香五月六月久久综合 | 97干网站| 99热免费精品| 天天拍天天操| 婷婷激情社区| 婷婷激情综合| 啪啪婷婷五月天激情| 99色五月| 夜夜躁爽日日| 成人亚洲精品久久久久| 97人碰人操| j五月香在线| 久久无码成人| 亚洲成人无码免费| 色婷婷中文在线| 婷婷五月天激情电影| 色蜜婷婷| 五月丁香六月综合情在线观看| 五月婷婷色影院| 97色欧美| 99er6| 婷婷六月激情啪啪| 丁香六月婷婷一区二区三区| 婷婷 丁香 精品| 色五月激情网| www99热| 激情五月天网| 97大香蕉五月天| 玖玖婷婷五月天毛片| 丁香五月综合激情久久潮喷| 91丁香五月| 女婷久久| 丁香5月综合啪啪| 五月婷婷六月奇米网丁香| 五月丁香六月综合基地| 丁香婷婷色五月| 99热在线播放| 久久网思思| 深爱激情丁香五月| 日本三级大片| 九久久九精品视频| 大香蕉婷婷色| 五月婷婷九| 国产玖玖资源| 久久精品这里只有精品免费首页| 99热热热天天人人人超超碰| 久久久五月五丁香| 就爱干 在线| 丁香五月五月婷婷五月天激情四射| 日日夜夜狠狠操| 99操无码视频观看| 久久人妻少妇嫩草AV| 国产av第一专区| 91九色超碰正在播放| 极品色丁香| 婷丁五月| 激情综合五月婷婷| 另类少妇人与禽zOZZ0性伦| 五月天丁香色色| 第1影院之五月婷婷| 色五月综合在线| 日本特黄aaaaa| 狠狠干天天日| 性做爰A片免费视频A片直播| 99久久婷婷五月综合| 精品一二三区视频立| 欧美婷婷丁香五月| 99热国内| 热99精品视频五月| 开心婷婷五月综合| 在线视频色五月| 午夜婷婷六月天| aa久久| 亚洲网综合在线| 99九九在线视频| 丁香狠狠| 性一交一乱一交A片久久四色| 精品成人在线| 五月天激情小说婷婷| 婷婷五月天激情网站| 天天操天天曰| 99久在线精品99re5热视频| 久久婷婷成人视频| 色婷婷狠| 91久久日日| 另类精品视频在线观看| 五月天久久综合婷婷丁香| 激情五月天婷婷| 婷婷色狠狠| 狠狠搞五月天| 爽极品色| 99热欧美精品| 涩五月色婷婷| 不卡在线视频| 一区二区三区四区五区| 婷婷丁香色五月| 色婷婷无吗| 丁香五月婷婷国产av| 97视频.干com| 开心五月网| 亚洲精品又粗又大又爽A片 | 婷婷第六色| 能看的av| 五月丁香久久色| 激情婷婷狠狠干| 丁香五月婷婷影院| 成人在线网| 99在线精品免费视频| 免费看欧美成人A片无码| 色琪琪一综合久久激情五月视频| 操骚货在线| 超碰日韩成人| 亚洲色域网| 天天干夜夜谢| 九九热只有这里精品| 狠狠操综合| 91呦呦呦| 婷婷爱五月天人人爱| 午夜少妇在线观看视频| 91精品熟女| www.minyis.com【JT】实力收量可预付QQ2101460746 | 天天综合区| www.狠狠操.con| 26uuu欧美日本| 国产日韩av片| 丁香五月日韩| 五月婷在线影院| 婷婷五月天开心网| 五月婷婷综合久久| 五月丁香婷草| 九九综合伊人| 操人无码| 久热只有精品| 五月香蕉综合| 极品少妇XXXX精品少妇偷拍| 九九精品这里只有| 成人做爰高潮A片免费视频| 婷婷激情五月| 超碰91在线| 久久这里这里有精品免费视频| 9精品在线| 色婷婷激情| 综合伊人久久| 91色色色| 精品人妻一区| 欧美日韓成人亚洲精品另类| 日本色色影片| 天天操电影院色狼性av| 狠干综合| 99热老网站| 91精品久久久久| 91chinese在线| caop在线| 色五月婷婷网| 战争与艾拉电影免费观看| 婷婷五月天A V| 亚洲色亚洲精品| 爱iii做iiii日日| 99爱在线视频观看| 在线观看996精品| www久久艹| 97操在线视频| 天天操综合网站| 婷婷六久久| 六月丁香六月婷婷欧美| 丁香六月婷婷综合激情欧美| www.婷婷五月天| 亚洲无码成人性爰网| 日本欧美成人片AAAA| 激情WWW| 操大屄五月天视频| 免费看欧美成人A片无码| 永久免费一区二区三区| 五月丁香网站| 99er6热在线观看精品6| 99色在线观看视频| 99在线免费观看| 激情五月婷婷啪啪| 久久五月情| 五月天综合激情网| 色五月婷婷少妇人妻| 99国产精品久久久久久久久久久| 亚洲热久久| 久久婷.com| 五月色丁香| 伊人天天色| 九九久久久综合| 99热99极品观看| 色 免费网站视频| 国产精品VIDEOSSEX久久发布| 97韩国久久电影院| 五月丁香av中文| 极品人妻VIDEOSSS人妻| 天天肏天天肏天天肏| www.婷婷五月天,com| 亚洲亚洲人成综合网络| 久久久婷婷婷| 婷婷五月天综合久久日美女| 久久九九网| 五月婷婷开心色伊人| www.91AV.com| 五月天社区| 精品无码99| 综合久久高清| 丁香五月综合狠狠| 99色婷婷视频| 九九婷婷五月天| www.久久爱| 欧美十二区| 99热99美国在线观看| 九九热这里精品| 牛牛澡牛牛爽| AV人人操| 99热亚洲| 先锋av性爱成人电影| 99热销国产这里有精品| 日本V在线观看不卡视频网站| 思思热在线| 五月婷婷六月丁香激情综合网| 午夜日日| 激情综合色五月丁香| 五月综合丁香婷婷| 色色网五月激情| 色丁香五月天射婷婷爱婷婷| g00d人体西西| 夜色五月天| 久久久精品色| 91无码高清| 日夜夜天天| 日韩一级A片黄色| 97日本在线播放| 五月婷婷婷婷| 久久伦乱| 丁香婷婷影院| 激情综合亚洲色婷婷五月| 五月丁香六月综合情在线观看 | 91热视频| 亚洲国产精品二二三三区| 激情综合网激情五月天| 婷婷王月天影院| 欧美va国产va| 99热婷婷| 91色在线/日韩| 99久久終合| 中文字幕无码人妻少妇免费视频 | 色九九丁香九月色九九色| 亚洲日韩一页精品发布| 超碰人人草| 精品人人操| 亚洲丁香婷婷丁香五月天激情| 激情精品久久| 五月天婷婷三级黄| 久久婷婷青草五月天| 久久婷婷草| 五月婷婷香蕉视频| 少妇水多A片太爽了| 五月婷婷在线视频| 丁香久久| 激情综合五月| 激情婷婷色色| 91狠狠色| 五月丁香精品| 99操视频| 97中文在线| 狠狠做婷婷| 天堂中文国产| 婷婷成人五月天成人文学| 五月精品免费XXX| 五月婷婷综合激情| 五月久久噜噜| 天天草狠狠擦| www 五月天 com| 久久亚洲色导航| 五月丁香六月婷婷综合在线| 亚洲一个色| 91精品婷婷国产综合久久| 一婬一伦一区二区三区| 亭亭玉月丁香| 久久婷婷内射| 色五月综合激情| 91无码视频| 婷婷九月狠狠色| 久久婷婷丁香视频网| 欧美超碰亚洲| 色综合香蕉| 性爱人人网| 超级碰碰碰碰视频| 91精产一区三区免费观看| 大胆伊人久久| 色婷婷19| 五月丁香日本在线视频观看| 亚色网站小视频| 99这里只有免费的精品| 丁香婷停五月激情综合深爱| 激情五月狠狠| 激情99| 超碰资源在线| 六月激情婷婷| 五月婷婷丁香六月| 99精品久久久久久| 黄色成人AV在线| 亚洲色图在线视频| 九九99免费视频| 五月丁香A片| 天天爽夜夜爽夜夜爽精| 丁香五月天啪啪激情综合网| 色 色 色综合com| 激情九色| 婷婷爱五月天| 精品人妻在线免费观看| 色婷婷色| 精品九九在线观看视频| 激情综合网 激情五月天| 亚州精品久久久久AV无码| 亚洲第一精品成人999久久精品| 色色日本| 色婷婷久久| 大香蕉啪啪网| 3DAV亚洲香蕉久久 一区二区| 啪啪操操| 99r久久这里只有精品| 婷婷五月丁香成人| 九九色图| 一本色道久久综合狠狠躁小说| 天天色情站| 丁香婷婷综合影院| 影音先锋色婷婷| 深夜婷婷五月丁香| 五月婷婷在线免费| 97色色网| 色婷综合| www,8050,午夜三级| 日韩av大全| 夜夜干夜夜操| 色色色99| 五月婷婷www| 九九香蕉网| 天天干天天色天天干| 久热这里只有精品99re| 五月婷婷香| 国产在线激情视频| 日本三级日本三级三级人妇四虎| 婷婷开心综合人妻小说网址| 亚洲六月婷婷| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 欧美丁香婷婷天天操| 色999;丁香五月| 99亚洲视频| 被男人添B超爽视频| 丁香婷婷五月综合欧美另类| 色情综合网| 丁香婷婷视频一区二区| 丁香成人五月天| 九九色网| jiujiu无码五区| 五月天综合| 最近韩国日本免费高清观看| 久操福利| 丁香五月综合在线观看| 俺去也五月天婷婷| 人妻操日日| 啪啪啪啪五月天| 五月久久婷婷天堂视频| 超碰色热| 日本在线免费中文com.| 在线观看的av| 欧美激情 日韩无码 婷婷 五月天| 99色在线视频| 天天爽天天| 中字幕视频在线永久在线观看免费| 久久综合色五月| 婷婷丁香一月| 热99在线| 91艹人| 婷婷激情欧美| 成人综合网站| 久久99综合| 激情六月综合| 久久九网| 狠狠 婷婷| 97碰久久| 99碰视频| 久久六月天| 国产精品美女久久久久AV超清| 婷婷色五月丁香六月欧美啪| 日本成人噜噜噜| 色色色色色色色色色影院| 久久九九99| 欧美丁香五月| 久久久久五月丁香| 五月丁香基地| 久久五月天激情| 操操操av| 亚洲五月婷| 婷婷无码视频| 超碰在线9| 9在线9在线婷婷在线国产| 五月丁香九九九综合| 丁香五月天综合| 丁香五月影视| 国产精品日日躁夜夜躁| 久久激情天堂| 婷婷五月天高清无码| se色婷婷视频| 精品一区二区三区木瓜| 极品人妻VIDEOSSS人妻| 色五月亚洲五月天| 五月婷婷六月色| 天天插天天插天天操| 99色激| 婷婷色片| 人人操女人| 99热这里只有精品1| 美女爆乳18禁www久久久久久| 婷婷丁香五月天小说| 国产人妻人伦精品一区二区| 这里只有精品视频国产| 亚洲精品又粗又大又爽A片| 日日干日日色| 青草视频在线观看视频| 五月天成人在线精品| 99在线精品视频| 五月天婷婷午夜丁香| 人人草人人爱| 99视频久久免费视频| 97人人干| 五月深爱婷婷| A短视频免费在线观看| xxx综合在线| 黄色片久久| 婷婷五月AV| 亚洲精品第一国产综合亚AV | 亚洲日韩一页精品发布| 人人综合五月人人婷婷| a免费在线| 久久这里有精品视频| 夜色爱爱亚洲| 在线观看婷婷5月| 99自拍视频在线| 亚洲av成人在线| 丁香五月电影| 五月人人丁香婷婷五月人人丁香| 婷婷婷婷婷婷婷婷婷婷丁香| 五月色色激情网| 777久久久| 欧美乱码国产一级A片| 亚洲午夜Av| 996er热| 五月婷婷激情刺激| 日本人妻伦在线中文字幕| 人妻 性久久久久久| 1级欧美日韩| 丁香五月欧美| 天天色播| 一本大道伊人AV久久综合| 五月丁香青草综合啪啪| 大香蕉Av在线| 亚洲午夜AV| 天天色天天舔天天爱天天爽| 五月婷免费视频| 色婷婷色99国产综合精品| www.婷婷网| 婷婷综合丁香| 亚洲午夜电影| 色综合播放| 婷婷九月丁香中文| 色狠狠色| 色情久久久| 超爽内射| 五月婷婷之综合激情| 婷婷综合成人五月天| 久热天堂| 狠狠穞A片一區二區三區| 99色播| 激情五月天色婷婷综合| 99九九久久| 五月停停激情网| 午夜激情婷婷| www.丁香六月婷婷久久天堂影院.con| 影音先锋天天日| 五月天六月丁香| 7777久久亚洲中文字幕| 色色色免费视频| 激情五月天婷婷视频| 五月婷婷色啪| 日本欧美成人片AAAA| 色色色色色色网站| 欧美日韓成人亚洲精品另类| 99啪在线| 免费无码毛片一区二区A片| 激情丁香图片| 五月天色婷伊人| 久久丁香九| AA丁香综合激情| 99A片| 五月天激情黄色小说在线观看| 丁香狠狠干| 午夜成人网站在线观看| 久草xx性爱视频| 久热超碰| www.无码com| 欧美电影在线观看| 99啪| 激情五月天无人视频在线| 五月天色色激情综合| 久久99jiu9| 六月丁香激情婷婷| 开心五月激情网| 九九综合88| 中字幕视频在线永久在线观看免费 | 99色看| 色 免费网站视频| 激情五月婷婷她| AA片在线观看视频在线播放| 任你艹| 天天爱天天做天天| 狠狠狠五月婷婷六月丁香| 美日韩成人| 久久久久久久久久久月丁| 嫩草极品| 激情丁香五月婷婷| 九九婷婷综合| 79精品视频在线观看,| 亚洲 在线 性爱| 五月天婷婷xxx| 天天se在线视频| 久久这里只有精品视频15| 亚洲天天操| 色爱综合网| 天堂草在线观看| 五月婷婷色播网| 婷婷久久五月| 久七香蕉| 激情婷| 99久99久| 丁香五月婷婷欧美性爱| 午夜天堂一区人妻| 日本久久精品| 九九视频在线| 国产成人99久久亚洲综合精品| 五月婷婷婷丁香播| 婷婷深爱五月丁香| 五月婷婷五月天亚洲无码| 丁香五月婷婷五月天在线| 久久总和99| 日本WWW九九九| 亚洲婷婷丁香五月| 曰本aaaaaa丈片| 亚洲九九99精品视频在线播放| 色综合色色| 亚洲免费婷婷| 天天天天天天操| 99热在线精品观看| 丁香色五月天| 婷婷天天色| 99热91| 丁香五月色情| 久久国产色| 欧美日韩AAAAA| wWwCom夜操wwW| 99热最新地址在线| 激情五月天啪啪视频| 五月婷婷六月丁香激情深爱| 亚洲性受XXXX五月丁香| 日本a片网址| 婷婷激情五月天网站| 黄色99视频| 九九综合精品| 九九99在线观看视频| 日本色频| 九九热在视频| 大伊久久| 岛国AV网站| www.com五月天| 538在线精品| 色婷五月天| 久久久大香蕉| www.99热视频| 2018国产大陆天天弄| 欧美成人猛片AAAAAAA| 国产69久久久欧美黑人A片| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 五月婷婷无码| 九九在线精点品| 五月婷婷偷拍| 色婷婷激情| 最近免费中文字幕大全高清大全1| 日产精品久久久久久久蜜臀| 97碰碰叉| 欧美色97| VA婷婷| 日本噜噜色网| 色天五月天在线观看视频| 久久艹99| 五月丁香狠狠爱| 婷婷中文字幕网站| 色香久久| 欧美丁香婷婷天天操| 91dy.av| 九九视频这里只有精品| 色婷婷综合影院| www.操.com| 99久久户外勾搭| 国产黄色av| 亚洲精品视频在线播放| 亚洲激情无码久久| 丁香五月亚洲| 久久久网站| 色婷婷成人做爰A片免费看网站| 91碰免费视频| 99网址在线看| 呦呦v线| 精品人妻久久久久久| 婷婷午夜天| 日韩色色色色| 99超级碰碰| 99视频精品视频| 人人草人| 丁香五月成人| 9 大屁股在线视频精品| 天天爽在线视频| AV天堂婷婷五月天| 色婷婷成人网| 日韩成人中文| 激情五婷网| 婷婷五月天com| 久久色五月| 老师的粉嫩小又紧水又多A片视频| 久久婷婷资源| 丁香五月天人体| 五月天久久91| 国产精品第一国产精品| 99热99操| 天天射天天射一道本日本社区 | 久久精品视频99| 五月丁香婷中文字幕| 91九色在线视频| 玩熟女五十AV一二三区| 激情五月天色网站| 九九视频这里有精品| 夜夜撸夜夜骑| 玖玖婷婷色| 婷婷六月中文字幕| 五月婷婷激情综合| 中文在线视频久9| Xx色综合| 亚洲五月婷婷| 成人在线二区| 丁香五月亚洲激情婷婷射| 这里只有精品免费观看网占| 亭亭五月丁香五月天激情| 日韩成人电泉AV| 久久杏爱视频| 综合色色婷婷| 六月丁香成人| 99免费视频精品| 五月婷婷中文| 97五月天婷婷综合激情网| 91婷婷五月天综合视频| 激情色色色| 婷婷刺激综合| 色五狠狠| 成人精品视频99在线观看免费| 91vip在线观看| 五月天.com| 丁香五月影| 色色网站观看| 激情五月天视频| 成人在线高清| 婷婷爱五月天人人爱| 五月天激情婷婷| 生活片五区| 久久性爱视频网站| 99超碰欧美| 色播五月天天| 99re8这里只有精品99re8热视频| 日韩av网站在线观看| 天天舔天天摸天天透| 丁香五月av| 99久热| 伊人网大香| 五月婷婷综合性爱噜噜| 伊人AV五月婷| 婷婷五月天97干| 久久99热这里| 婷婷五月天伊人| 久久激情综合| 中文色婷婷| 亚洲无码黄色| 五月天四色房丁香亭亭| 五月婷婷激情啪啪| 春色激情第四色| 五月婷婷大香蕉| 九九热色视频| 国产在这里只有精品| 五月天操逼网| 天堂久久婷婷| 久久码久久无清| 五月丁香亚洲婷婷| 人妻有码乱操| 26uuu亚洲欧美| 婷婷五月天99综合网站| 五月天激情日色在线| 成人综合网站| 天天射射夜| 亚洲乱码日产精品BD| 激情五月天之六月婷婷| 亚洲视频在线观看| 婷婷色播六月无码| 欧洲MV日韩MV国产| 日日操日日射| 波多野结衣不卡AV| 丁香六月激情综合啪啪| 99精彩视频在线观看| 色色色色色色97| 欧美久久九九| 久久久精品色| 婷婷色吧| 日韩黄色电影| 97碰久久| 天天艹夜夜艹| jiujiu无码五区| 色五月激情五月| 婷婷五月天熟妇| 超碰2021| 婷婷五月天六月丁香| 久热丁香| 狠狠丁香| 新99思思视频| www.婷婷com| 久久九九热视频| 五月丁香成年黄色| 色色五月丁香婷婷| 欧美群妇大交乱婬网| 国产乱妇无乱码大黄AA片| 开心婷婷五月花| www.第四色99| 丁香五月社区| 婷婷丁香久久| 久久在线视频免费观看| 婷婷日日天天| 超91在线视频| 思思热在线观看| 九九综合久久| 爱爱网址9| 天天天综合网| 国产精品日日躁夜夜躁| 婷婷五月天基地| 五月天全国最大成人网| 五月婷婷,六月婷婷| 五月天开心色情网| 99这里只有精品视频在线| 亚洲日韩久久婷婷伊人| 99爱视频在线观看| 激情欧美婷婷| 亚洲六月综合激情久久下卡| 99热只有这里才是精品| 99精品高潮| 久久这里都是精品| 激情五月色综合国产精品| 1024亚洲| 婷婷五月天福利| 人人操人人爱丁香五月| 国产婷婷久久| 五月天成人小说| 日本va视频| 亚洲婷婷基地| 偷偷与邻居做爰完整视频| 天天插天天插天天插天天插| 日韩亚洲视频| 99国产精品白浆在线观看免费 | 日日干夜夜撸夜夜骑| 人妻激情网| 五月天激情网图片| 婷婷十月激情综合网| 久久亚洲婷婷| 国产精女同一区二区三区久| 久激情网| 天天色天天舔天天爱天天爽| 大香蕉婷婷五月| 三年高清大片免费观看国语| 婷婷丁香五月婷婷| 六月色婷婷欧美| 日本一级大片| 国产毛片精品一区二区色欲黄A片 极品人妻VIDEOSSS人妻 | 操逼毛片国语对白| 激情性爱五月天网页| 另类激情综合| 国产熟女日日骚五月丁香爱| 欧美在线看| 牛牛澡牛牛爽| 激情婷婷久久| 五月丁香六月婷婷在线播放| 色五月婷婷基地| 五月婷婷婷色| 亚洲综合九九| 婷婷五月天小说| 欧美丁香六月激情视频| 99久久精品色老| 5月丁香综合图区| 丁香六月综合激情| 美女五月天| 人人舔人人色人人高潮| 中文精品在| 九月婷婷综合在线| 中国女人做爰A片| 超碰色综合| 欧美成人五月天| 国产在线6| 婷婷五月天六点丁香五月| 99年操人人爽| 婷婷五月情| www,超碰| 五月丁香激情婷婷综合| 五月天伊人av| 久久免费9| 久久久香港| 秋霞少妇AV网站| 玖玖婷婷五月天| 91丨九色丨白浆秘| 99热这里只有精品3| 亚洲久久视频| 亚洲免费看片| 久9免费视频| 69人人操人人爽| 秋霞少妇AV网站| 免费视频无码| 婷婷综合激情| 大香蕉五月婷婷| 26uuu亚洲欧美| 五月丁香婷婷AV天堂| 激情丁香婷婷| 日韩av在线电影| www.99热这里精品| 万月丁香狠狠爱| 国产毛多水多女人A片| www.国产色| 99热免费| 永久精品| 日日做夜夜爱| 五月丁香在线偷拍视频| 最新日本A片| 五月丁香六月激情综合| 97操碰人人| 丁香五月婷婷激情中文| 色综久久久| 五月丁香婷婷伊人| 开心激情站| 婷婷操逼| 五月天色五月| 色婷婷电影网| 五月婷婷av| 中文字幕精品在线观看| 欧美大道不卡| 五月婷婷激情| 99这里有精品视频| 五月天精品视频| 丁香五月激情五月| 色99色| 婷婷五月天影院| 成人精品视频99在线观看免费| 乱岳熟女50岁| 国产精品第一国产精品| 99久久国产宗和精品1上映| 国产精品VIDEOSSEX久久发布| 六月婷婷综合| 九九热AV| 99热免费观看| 色色色9| 深爱五月婷婷| 五月婷婷色| 国产毛片欧美毛片久久久| 亚洲妇女熟BBW| 99在线精品免费视频| 99国产精品久久久久久久久久久 | 六月丁香成人| 激情伊人网| 久久色五月| 成片免费播放| 久久色五月| 五月丁香啪啪拍| 亚洲成色综合网站免费观看| 日 日干 日日做| 五月丁香婷婷伊人| 久久久精品色| 91九色中文| 91色色色| 亚洲激情在线| 色婷婷性爱网| 国产婷婷五月| 五月婷婷|欧美| 亚洲区视频| 成人短视频在线观看| 婷婷五月丁香五月丁香| 亚洲射激情| 成年人看Va免费视频| 五月天成人免费视频| 伊人狠狠丁香婷婷综合尤物| 97色片| 狠狠的日| 五月丁香婷婷五月色| 97人人操人人操人人操人人| yellow视频在线观看91| 狠狠色婷婷7777久| 人人草成人视频| 亚洲99视频| 亚洲天天操| 色婷久久| AA片在线观看视频在线播放| 色婷婷色和| 色女人久久| 丁香色情五月天| 婷婷五月天亚洲丁香| 超碰人人99| 激情五月综合亚洲另类| 丁香六月成人| 超碰在线免费9| 丁香五月 综合| 99热99干| 99热大香蕉| 99精品国产乱码久久久人妻| 97热超碰| 精品九九在线观看视频| 狠狠色婷婷六月激情网| 亚洲啪啪网| EEUSS鲁片一区二区三区| 久草热在线视频| 亚洲欧洲另类| 久久婷婷免费| 中美日韩成人在线| 99视频在线观看欧| 超碰在线观看9| 亚洲亚洲人成综合网络| 热久久这里只有三级视频| 香焦网五月天| 爱草视频在线观看| www.婷婷五月| 色婷婷综合网站| 丁香五月久久社区| 日韩欧美一区二区三区四区| 婷婷五月天天天| AA片在线观看视频在线播放| 久七香蕉| 99这里只有精品在线| 色五月激情网| www.色欲丁香婷婷| av 一区三区四区| 欧美色频| 97干干干丁香| 日韩欧美五月丁综合| 99热这里全都是精品| 日产精品一线二线三线芒果| 狼人狠狠操| 操日挥操日日| 欧美日综合| 婷婷爱爱蜜臀天天操| 99热这里只有精品最新网址| 精品人妻一区| 大香蕉中文| 丁香五月婷婷激情中文| 五月婷丁香| 激情爱爱网站| 九九精品网| 97人妻碰碰中文无码久热丝袜| 亚州操逼网| 99久久性爱| 91se视频| 精热在线综合网| 大香蕉99| 激情性爱网站| 操逼123网| 日本人妻A片成人免费看片| 99在线综合视频| 欧美英丁香开心快乐六月天网| 97av在线视频| 五月丁香综合在线| 这里只有精品免费视频| 婷婷色色欧美综合网| 婷婷四月 成人 狠狠干| 色婷婷导航| 色婷久九| 激情www| 最新婷婷五月丁香| WWW激情五月天| 99热欧美| 色婷婷黄色网络| 欧美日韩99| 91丁香五月| 色五月婷婷一二| 996黄色片| 99r这里| 欧美激情综合五月色丁香| 色色色综合视频| 婷婷五月婷婷| 97超碰人人操| 9999三级片| 国产成人高清| 美国十月色婷婷在线观看| 性爱网六月丁香| 色色网站| 被男人添B超爽视频| 六月婷婷之青青草| 五月婷婷色色| 激情com| 人人爱人人草| 久久久思思热| 五月丁香综合啪啪| 婷婷综合网| 99在线精品免费视频| 久九色| 丁香五月91| 婷婷亚洲影院| 无码任你操| 熟女色专区| 天天插天天射| 噜一噜免费视频| 色综合五月天| 精品人妻伦| 强壮公让我夜夜高潮A片视频| 激情播丁香| 无码激情AAAAA片-区区| 五月激情婷婷六月丁香| 日本人人超碰| 九九精品在线网| 亚洲av另类在线观看| 综合一区二区三区| 啪啪婷婷五月天激情| 1024国产| 色欲丁香| 日日天天天| 国产日产亚系列精品版优势| 日批在线看| 丁香婷婷AV| 99er久久| 日韩在线成人电影| 综合大香蕉| 久操热| 免费看欧美成人A片无码| 五月婷婷视频ab| 亚洲激情| 九热视频在线精品15| 亚洲黄色影视| 白人荫道BBWBBB大荫道| www久久久| 伊人久久大香线蕉av最新| 色色激情五月天| 丁香六月亚洲| 日产精品一线二线三线芒果| 99爱视频免费看| 看全色黄大色大片| 色婷婷丁香五月| 新99思思视频| 综合五月激情| 亚洲激情综| 激情婷婷五六月天| 狠狠爱深色婷婷综合| 尔尔AV一区| 综合色色网| 久久久天堂国产精品女人| 色日本网| 99热在线精品观看| 乱岳熟女50岁| 婷婷色网站| 色欲九区| 成人国产欧美大片一区| 色色色色av色色色色| 色久影院| 久草热8精品视频在线观看| 婷婷开心久久| 另类图片激情五月| 亚洲爆乳无码精品AAA片蜜桃| 性色视频| 亚洲AV成人片无码网站| 国产精品18久久久| 五月花综合视频| 亚洲天堂99| 五月婷婷碰碰| www久久艹| 五月婷婷色丁香| 五月天停婷基地| 天天日天天色| 天天爽夜夜爽| www.99久久久| 91日在线视频| 国产精品久久久海的味道| 99这里有精品视频3| 五月婷婷久久爱| 日韩黄色网络| 999影院成人在线影院| 久月婷婷| 羞羞嫩草视频| 99热手机在线精品| 99在线er热| 天堂久久大香蕉| 丁香六月婷| 国产婷婷五月在线视频| 色婷婷丁香网| avv在线| 国产人妻777人伦精品HD| 亚洲色婷婷五月| 六月丁香婷婷拍拍| 久久九九九九| 成人中文网| 丁香五月六月综合激情| 激情网第四色| 人人操日| 丁香婷婷综合色五月激情国产基地| 夜夜爽天天爽| 真实亲子乱子伦高清在线观看| 亚州激情网| 97电影99热| 国产精品99久久久久久久女警| 99热首页| 亚洲久久婷婷丁香五月天| 大香蕉婷婷久久| 97人人操人人插| 天天天天天日| 性爱视频久久| 深爱丁香激情| 99热 这里只有精品 国产 日韩| 色综合色综合色综合| 亚洲亚洲人成综合网络 | 九九综合| 中文字幕人妻在线| 四色五月婷婷在线观看| 婷丁香五月天| 91丁香五月| 五月丁香婷婷老司机| WWW.久久.COM| 丁香五月天电影| 久久99热免费最新版| 色婷婷激情视频| 久久综合网免费视频| 色99日韩| av在线观看网址| 人操综合| 无遮羞AV| 九九综合|