欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Xvisor設(shè)備虛擬化核心:區(qū)域、模擬器與MMIO陷出三元機(jī)制

Xvisor設(shè)備虛擬化核心:區(qū)域、模擬器與MMIO陷出三元機(jī)制 1. 為什么設(shè)備虛擬化是Xvisor的“心臟地帶”而不是外圍功能很多人初看Xvisor源碼會(huì)本能地把注意力放在調(diào)度器、內(nèi)存管理這些“大塊頭”模塊上覺得它們才是虛擬機(jī)監(jiān)控器Hypervisor的骨架。但我在實(shí)際調(diào)試一個(gè)嵌入式工業(yè)網(wǎng)關(guān)項(xiàng)目時(shí)發(fā)現(xiàn)真正決定Xvisor能否在真實(shí)硬件上跑穩(wěn)、跑快、跑久的從來不是調(diào)度策略本身而是設(shè)備虛擬化的實(shí)現(xiàn)質(zhì)量。那臺(tái)搭載ARM Cortex-A9雙核的網(wǎng)關(guān)板卡在啟用PCIe網(wǎng)卡直通后頻繁出現(xiàn)DMA超時(shí)中斷丟失最終定位到問題根源——不是CPU調(diào)度延遲而是Xvisor對MMIO訪問的陷出trap-and-emulate路徑中一次未對齊的32位寄存器讀操作觸發(fā)了兩次連續(xù)的異常導(dǎo)致模擬器狀態(tài)機(jī)錯(cuò)亂。這個(gè)坑讓我徹底意識(shí)到設(shè)備虛擬化不是“附加功能”它是連接Guest OS與物理世界的唯一神經(jīng)通路任何微小的時(shí)序偏差或狀態(tài)同步疏漏都會(huì)被硬件放大成不可恢復(fù)的系統(tǒng)級故障。Xvisor作為一款輕量級Type-1 Hypervisor其設(shè)計(jì)哲學(xué)是“最小可信計(jì)算基”Minimal Trusted Computing Base。這意味著它必須把盡可能多的功能移出特權(quán)代碼空間而設(shè)備虛擬化恰恰是其中最敏感、最復(fù)雜的部分。它不像內(nèi)存虛擬化那樣有成熟的硬件輔助如ARMv8的Stage-2 MMU也不像CPU虛擬化那樣能依賴處理器內(nèi)置的異常注入機(jī)制。設(shè)備虛擬化必須在軟件層面以極高的精度模擬硬件行為——既要讓Guest OS以為自己正直接操控一塊真實(shí)的網(wǎng)卡、一塊真實(shí)的串口控制器又要確保所有操作不會(huì)越界、不會(huì)干擾宿主機(jī)或其他VM還要在性能損耗和功能完備性之間找到那個(gè)微妙的平衡點(diǎn)。這種平衡不是靠堆砌代碼實(shí)現(xiàn)的而是靠對硬件規(guī)范的深刻理解、對異常處理路徑的極致優(yōu)化、以及對Guest OS驅(qū)動(dòng)行為的精準(zhǔn)建模來達(dá)成的。所以當(dāng)你看到標(biāo)題里“區(qū)域、模擬器與MMIO陷出”這三個(gè)詞并列時(shí)千萬別把它當(dāng)成三個(gè)孤立概念。它們是一個(gè)閉環(huán)“區(qū)域”定義了Guest能碰觸的硬件地址空間邊界“模擬器”是運(yùn)行在這個(gè)邊界內(nèi)的軟件實(shí)體負(fù)責(zé)解釋Guest的每一次I/O指令而“MMIO陷出”則是觸發(fā)這個(gè)閉環(huán)運(yùn)轉(zhuǎn)的開關(guān)信號。沒有區(qū)域劃分模擬器就失去了安全沙盒沒有陷出機(jī)制模擬器就永遠(yuǎn)收不到Guest的請求沒有高質(zhì)量的模擬器陷出再快也只會(huì)返回錯(cuò)誤數(shù)據(jù)。這三者共同構(gòu)成了Xvisor設(shè)備虛擬化的鐵三角缺一不可。接下來我們就從這個(gè)鐵三角的根基——“區(qū)域”開始一層層剝開它的實(shí)現(xiàn)細(xì)節(jié)。2. “區(qū)域”不是簡單的地址范圍而是Xvisor構(gòu)建虛擬設(shè)備的第一道安全圍欄在Xvisor的源碼里“區(qū)域”Region這個(gè)概念遠(yuǎn)比字面上的“一段內(nèi)存地址”要厚重得多。它不是一個(gè)靜態(tài)的配置項(xiàng)而是一個(gè)動(dòng)態(tài)的、帶有豐富元信息的內(nèi)核對象其核心結(jié)構(gòu)體struct xvisor_region定義在include/xvisor/region.h中。我第一次閱讀這段代碼時(shí)被它里面嵌套的6個(gè)指針字段嚇了一跳ops、dev、mmio、pio、irq、priv。后來才明白這恰恰體現(xiàn)了Xvisor的設(shè)計(jì)智慧——它把“區(qū)域”抽象為一個(gè)可插拔的、面向?qū)ο蟮慕涌诙且粋€(gè)硬編碼的地址映射表。2.1 區(qū)域的四重身份地址空間、權(quán)限控制、事件分發(fā)器與狀態(tài)容器一個(gè)xvisor_region實(shí)例同時(shí)承擔(dān)著四種關(guān)鍵角色地址空間描述符Address Space Descriptor這是最直觀的身份。它通過start和end字段明確劃定了Guest OS可以進(jìn)行MMIO訪問的物理地址范圍。例如為一個(gè)虛擬UART設(shè)備分配的區(qū)域可能起始于0x1000_0000結(jié)束于0x1000_0FFF共4KB空間。但這僅僅是起點(diǎn)。細(xì)粒度權(quán)限控制器Fine-grained Permission ControllerXvisor不滿足于簡單的“讀/寫/執(zhí)行”三級權(quán)限。struct xvisor_region中的access_mask字段是一個(gè)32位掩碼每一位對應(yīng)一個(gè)字節(jié)偏移量。這意味著你可以精確到字節(jié)級別控制Guest的訪問權(quán)限。比如UART的THR發(fā)送保持寄存器地址偏移0x0000你只允許寫而RBR接收緩沖寄存器地址偏移0x0000你只允許讀IER中斷使能寄存器則允許讀寫。這種粒度在模擬真實(shí)硬件時(shí)至關(guān)重要——很多外設(shè)寄存器本身就是只讀或只寫的強(qiáng)行允許Guest讀寫會(huì)導(dǎo)致狀態(tài)不一致。事件分發(fā)中樞Event Dispatching Hub當(dāng)Guest對區(qū)域內(nèi)的地址發(fā)起訪問時(shí)Xvisor的異常處理流程并不會(huì)直接調(diào)用模擬器邏輯。它首先會(huì)根據(jù)ops字段指向的函數(shù)指針表調(diào)用region-ops-handle_access()。這個(gè)函數(shù)的作用是將一次原始的、未經(jīng)解析的MMIO訪問包含地址、數(shù)據(jù)、訪問類型封裝成一個(gè)標(biāo)準(zhǔn)化的struct xvisor_event事件并將其推送到一個(gè)內(nèi)部事件隊(duì)列。后續(xù)的模擬器邏輯就是從這個(gè)隊(duì)列里消費(fèi)事件。這種解耦設(shè)計(jì)使得區(qū)域管理與具體設(shè)備模擬完全分離極大提升了代碼的可維護(hù)性和可擴(kuò)展性。狀態(tài)快照容器State Snapshot Containerpriv字段是一個(gè)void *指針?biāo)赶蛞粋€(gè)由具體設(shè)備模擬器動(dòng)態(tài)分配的私有數(shù)據(jù)結(jié)構(gòu)。這個(gè)結(jié)構(gòu)體里存放著該虛擬設(shè)備的全部瞬時(shí)狀態(tài)UART的發(fā)送FIFO、接收FIFO、線路狀態(tài)寄存器LSR的當(dāng)前值、中斷掛起標(biāo)志等等。當(dāng)Xvisor需要對VM進(jìn)行快照snapshot或遷移migration時(shí)它只需要遍歷所有已注冊的xvisor_region然后調(diào)用每個(gè)區(qū)域的save_state()和restore_state()回調(diào)函數(shù)就能完整地保存和恢復(fù)整個(gè)設(shè)備的狀態(tài)。這正是Xvisor能支持熱遷移的關(guān)鍵技術(shù)基礎(chǔ)之一。提示xvisor_region的生命周期管理非常嚴(yán)格。它必須通過xvisor_region_register()注冊通過xvisor_region_unregister()注銷。注冊過程會(huì)自動(dòng)將其加入全局的region_list鏈表并為其分配一個(gè)唯一的ridRegion ID。這個(gè)ID會(huì)被寫入VM的vcpu_arch結(jié)構(gòu)體中成為后續(xù)陷出處理時(shí)快速索引的關(guān)鍵。切記手動(dòng)malloc一個(gè)xvisor_region結(jié)構(gòu)體并賦值是無效的它必須經(jīng)過完整的注冊流程才能被Xvisor識(shí)別。2.2 區(qū)域的創(chuàng)建與注冊從配置到內(nèi)核對象的全過程讓我們以一個(gè)具體的例子——為VM1創(chuàng)建一個(gè)虛擬SPI控制器區(qū)域——來走一遍完整的流程。這個(gè)過程在arch/arm/vm/vm.c的vm_init_dev()函數(shù)中被調(diào)用。// 步驟1定義區(qū)域的靜態(tài)配置 static const struct xvisor_region_config spi_region_cfg { .name vm1-spi, .start 0x1200_0000, .end 0x1200_0FFF, .type XVISOR_REGION_TYPE_MMIO, .flags XVISOR_REGION_FLAG_RW, // 允許讀寫 }; // 步驟2為該區(qū)域分配并初始化私有數(shù)據(jù) struct spi_dev_priv *spi_priv xvisor_malloc(sizeof(*spi_priv)); if (!spi_priv) { return -ENOMEM; } memset(spi_priv, 0, sizeof(*spi_priv)); // 初始化SPI私有數(shù)據(jù)FIFO深度、時(shí)鐘頻率、CS線狀態(tài)... spi_priv-fifo_depth 64; spi_priv-clk_rate 1000000; // 1MHz spi_priv-cs_state 0xFF; // 所有片選線默認(rèn)高電平 // 步驟3調(diào)用注冊API傳入配置和私有數(shù)據(jù) struct xvisor_region *spi_region; spi_region xvisor_region_register(spi_region_cfg, spi_region_ops, // 指向SPI專用的操作函數(shù)表 spi_priv); // 私有數(shù)據(jù)指針 if (!spi_region) { xvisor_free(spi_priv); return -EIO; } // 步驟4將區(qū)域綁定到特定VM vm_add_region(vm1, spi_region);這個(gè)看似簡單的幾行代碼背后隱藏著大量精妙的設(shè)計(jì)xvisor_region_register()函數(shù)內(nèi)部會(huì)進(jìn)行嚴(yán)格的地址校驗(yàn)。它會(huì)檢查start和end是否對齊通常要求4字節(jié)對齊、end是否大于start、該地址范圍是否與已有的其他區(qū)域包括物理設(shè)備、內(nèi)存映射區(qū)發(fā)生重疊。任何一項(xiàng)不滿足注冊都會(huì)失敗并返回錯(cuò)誤碼。這是防止Guest OS通過惡意地址訪問破壞系統(tǒng)穩(wěn)定性的第一道防線。spi_region_ops是一個(gè)函數(shù)指針表其定義如下static const struct xvisor_region_ops spi_region_ops { .handle_access spi_handle_access, .save_state spi_save_state, .restore_state spi_restore_state, .destroy spi_destroy, };這里的spi_handle_access是核心。它會(huì)在每次Guest訪問該區(qū)域時(shí)被調(diào)用負(fù)責(zé)解析訪問地址是訪問控制寄存器、還是數(shù)據(jù)寄存器、提取數(shù)據(jù)、更新spi_priv中的狀態(tài)并可能觸發(fā)一個(gè)中斷事件。vm_add_region()并不是簡單地將指針塞進(jìn)一個(gè)數(shù)組。它會(huì)為該VM的每個(gè)vCPU預(yù)先在vcpu_arch結(jié)構(gòu)體中預(yù)留一個(gè)region_map數(shù)組。這個(gè)數(shù)組的索引就是rid而數(shù)組元素則是一個(gè)指向xvisor_region的指針。這樣當(dāng)vCPU陷入異常時(shí)Xvisor可以在O(1)時(shí)間內(nèi)根據(jù)異常地址快速查找到對應(yīng)的rid再通過rid索引到region_map[rid]從而拿到xvisor_region指針。整個(gè)查找過程無需遍歷鏈表保證了陷出路徑的極致高效。2.3 區(qū)域與物理設(shè)備的映射如何讓虛擬設(shè)備“看見”真實(shí)硬件Xvisor的一個(gè)強(qiáng)大之處在于它允許虛擬設(shè)備直接與物理設(shè)備交互以獲得接近原生的性能。這被稱為“半虛擬化設(shè)備直通”Paravirtualized Device Passthrough。其核心思想是虛擬設(shè)備的“區(qū)域”并不完全由軟件模擬而是將一部分地址空間直接映射到物理設(shè)備的寄存器空間由硬件完成大部分工作Xvisor只做必要的仲裁和狀態(tài)同步。以一個(gè)PCIe網(wǎng)卡為例其物理BAR0Base Address Register 0映射到了0x2000_0000。Xvisor在為VM創(chuàng)建網(wǎng)絡(luò)設(shè)備區(qū)域時(shí)會(huì)這樣做保留物理地址在Xvisor的物理內(nèi)存管理器PMM中將0x2000_0000到0x2000_1FFF這一段地址標(biāo)記為“已占用”禁止其他VM或Xvisor自身使用。創(chuàng)建特殊區(qū)域調(diào)用xvisor_region_register()但type字段設(shè)置為XVISOR_REGION_TYPE_PASSTHROUGH并且ops字段指向一個(gè)特殊的passthrough_region_ops。建立頁表映射為VM的Stage-2頁表添加一條新的映射條目將Guest虛擬地址0x8000_0000Guest OS認(rèn)為的網(wǎng)卡地址映射到物理地址0x2000_0000。這條映射是“可讀可寫”的但Xvisor會(huì)為該頁表項(xiàng)設(shè)置一個(gè)特殊的屬性位例如ARMv8的AP位設(shè)為01表示僅允許EL1訪問。攔截關(guān)鍵操作passthrough_region_ops.handle_access()函數(shù)會(huì)監(jiān)聽所有對該區(qū)域的訪問。對于絕大多數(shù)寄存器讀寫它會(huì)直接透傳給物理硬件。但對于一些敏感操作如DMA地址寄存器的寫入它會(huì)先捕獲該地址驗(yàn)證其是否在VM被授權(quán)的DMA緩沖區(qū)內(nèi)然后再寫入物理寄存器。對于中斷狀態(tài)寄存器的讀取它會(huì)先查詢物理中斷控制器再將結(jié)果返回給Guest確保中斷狀態(tài)的一致性。這種混合模式既保留了硬件加速的優(yōu)勢又不失軟件控制的靈活性。它完美詮釋了Xvisor“輕量但不簡陋”的設(shè)計(jì)哲學(xué)。一個(gè)純粹的軟件模擬器永遠(yuǎn)無法達(dá)到物理硬件的吞吐量而一個(gè)完全的硬件直通則會(huì)喪失Hypervisor的安全隔離能力。Xvisor的“區(qū)域”機(jī)制正是在這兩個(gè)極端之間找到了一條務(wù)實(shí)而高效的中間道路。3. 模擬器不是“萬能膠”而是針對每種設(shè)備定制的精密狀態(tài)機(jī)在Xvisor的語境里“模擬器”Emulator這個(gè)詞容易引起誤解。它并非一個(gè)龐大的、通用的、試圖模擬所有硬件的單體程序。恰恰相反Xvisor的模擬器是高度模塊化、按需加載的。每一個(gè)被虛擬化的設(shè)備都對應(yīng)一個(gè)獨(dú)立的、輕量級的C文件如drivers/uart/uart_emu.c、drivers/spi/spi_emu.c它們只負(fù)責(zé)自己那一畝三分地。這種設(shè)計(jì)帶來的最大好處是當(dāng)某個(gè)設(shè)備模擬器出現(xiàn)Bug時(shí)它只會(huì)導(dǎo)致該設(shè)備失效而不會(huì)讓整個(gè)Hypervisor崩潰。這對于追求高可靠性的嵌入式場景來說是至關(guān)重要的。3.1 模擬器的核心契約handle_access()函數(shù)的七步法所有模擬器的入口點(diǎn)都是其xvisor_region_ops結(jié)構(gòu)體中的.handle_access函數(shù)。這個(gè)函數(shù)是Xvisor與模擬器之間的唯一契約。它接收一個(gè)struct xvisor_event *event參數(shù)這個(gè)結(jié)構(gòu)體包含了Guest訪問的所有必要信息addr訪問的物理地址、data讀取的數(shù)據(jù)或要寫入的數(shù)據(jù)、size訪問大小1/2/4字節(jié)、is_write是否為寫操作。一個(gè)健壯的handle_access()函數(shù)必須遵循一套嚴(yán)謹(jǐn)?shù)钠卟教幚砹鞒痰刂方獯aAddress Decoding這是第一步也是最關(guān)鍵的一步。函數(shù)首先要根據(jù)event-addr計(jì)算出該地址在設(shè)備寄存器空間中的相對偏移量offset。例如一個(gè)UART設(shè)備的寄存器布局是標(biāo)準(zhǔn)的16550A那么offset event-addr - region-start。接著它要根據(jù)offset查表確定這次訪問的目標(biāo)寄存器。offset0是RBR/THRoffset1是IERoffset2是FCR等等。如果offset超出了已知寄存器范圍模擬器應(yīng)返回-EINVAL錯(cuò)誤而不是靜默忽略。訪問合法性校驗(yàn)Access Legitimacy Check即使地址合法訪問操作本身也可能非法。例如向只讀的LSR線路狀態(tài)寄存器寫入數(shù)據(jù)或者向只寫的THR發(fā)送保持寄存器發(fā)起讀操作。模擬器必須檢查event-is_write與目標(biāo)寄存器的預(yù)期訪問類型是否匹配。不匹配則返回-EPERM。數(shù)據(jù)有效性校驗(yàn)Data Validity Check對于寫操作寫入的數(shù)據(jù)必須符合硬件規(guī)范。例如向IER寫入一個(gè)0x0F意味著要使能所有中斷但某些位如0x08在16550A中是保留位寫入非零值可能導(dǎo)致未定義行為。模擬器應(yīng)屏蔽掉這些保留位只保留有效位。狀態(tài)更新State Update這是模擬器的“大腦”所在。根據(jù)訪問類型和數(shù)據(jù)更新region-priv指向的私有狀態(tài)結(jié)構(gòu)體。例如向THR寫入一個(gè)字節(jié)就要將該字節(jié)壓入發(fā)送FIFO讀取RBR就要從接收FIFO彈出一個(gè)字節(jié)并更新LSR的DR數(shù)據(jù)就緒位。副作用觸發(fā)Side-effect Triggering硬件操作很少是孤立的。向IER寫入新值可能會(huì)立即改變中斷的使能狀態(tài)向FCR寫入0x01清空FIFO會(huì)重置FIFO計(jì)數(shù)器。模擬器必須在狀態(tài)更新后檢查并觸發(fā)所有相關(guān)的副作用。中斷生成Interrupt Generation這是模擬器與Guest OS通信的橋梁。當(dāng)某個(gè)事件滿足中斷條件時(shí)如接收FIFO滿、發(fā)送FIFO空模擬器不能直接向物理中斷控制器發(fā)信號而是調(diào)用xvisor_irq_inject(vm, irq_num)。這個(gè)API會(huì)將一個(gè)虛擬中斷注入到目標(biāo)VM的vCPU中由Guest OS的中斷處理程序來響應(yīng)。Xvisor會(huì)確保這個(gè)注入過程是原子的、可重入的并且能正確處理中斷優(yōu)先級和嵌套。返回結(jié)果Result Return對于讀操作event-data字段必須被填入從寄存器讀取的值對于寫操作event-data通常被忽略。函數(shù)最后返回0表示成功負(fù)數(shù)表示錯(cuò)誤。注意handle_access()函數(shù)的執(zhí)行時(shí)間必須極短。它運(yùn)行在Hypervisor的異常處理上下文中任何耗時(shí)操作如printf、malloc、spin_lock都是絕對禁止的。所有耗時(shí)任務(wù)如DMA數(shù)據(jù)傳輸、網(wǎng)絡(luò)包處理都必須被卸載到一個(gè)專門的、低優(yōu)先級的workqueue中異步執(zhí)行。否則一次慢速的I/O操作就會(huì)拖垮整個(gè)系統(tǒng)的實(shí)時(shí)性。3.2 UART模擬器的深度剖析一個(gè)經(jīng)典案例的逐行解讀讓我們深入到drivers/uart/uart_emu.c看看一個(gè)真實(shí)的模擬器是如何工作的。以下是對uart_handle_access()函數(shù)核心邏輯的逐行解讀int uart_handle_access(struct xvisor_event *event) { struct uart_priv *up event-region-priv; // 1. 獲取私有數(shù)據(jù)指針 uint32_t offset event-addr - event-region-start; // 2. 計(jì)算偏移量 uint32_t val; switch (offset) { case 0: // RBR (Read Buffer Register) / THR (Transmit Holding Register) if (event-is_write) { // 寫THR將數(shù)據(jù)壓入發(fā)送FIFO if (up-tx_fifo_cnt UART_FIFO_SIZE) { // 3. FIFO空間檢查 up-tx_fifo[up-tx_fifo_tail] event-data 0xFF; up-tx_fifo_tail (up-tx_fifo_tail 1) % UART_FIFO_SIZE; up-tx_fifo_cnt; // 4. 觸發(fā)TX空閑中斷如果FIFO從滿變?yōu)榭栈驈姆强兆優(yōu)橹皇?個(gè) if (up-tx_fifo_cnt 1 || up-tx_fifo_cnt UART_FIFO_SIZE) { if (up-ier UART_IER_THRE) { // 5. 檢查中斷使能 xvisor_irq_inject(event-vm, up-irq); // 6. 注入中斷 } } } } else { // 讀RBR從接收FIFO彈出數(shù)據(jù) if (up-rx_fifo_cnt 0) { val up-rx_fifo[up-rx_fifo_head]; up-rx_fifo_head (up-rx_fifo_head 1) % UART_FIFO_SIZE; up-rx_fifo_cnt--; // 更新LSR清除DR位 up-lsr ~UART_LSR_DR; event-data val; // 7. 設(shè)置返回值 } else { event-data 0; // FIFO空返回0 up-lsr ~UART_LSR_DR; // 清除DR位 } } break; case 1: // IER (Interrupt Enable Register) if (event-is_write) { up-ier event-data UART_IER_MASK; // 8. 只保留有效位 // 9. 重新評估中斷狀態(tài)IER的改變可能立即觸發(fā)或禁用中斷 uart_eval_interrupts(up); } else { event-data up-ier; } break; // ... 其他寄存器case省略 ... default: return -EINVAL; // 10. 未知地址返回錯(cuò)誤 } return 0; // 11. 成功返回 }這段代碼揭示了模擬器設(shè)計(jì)的精髓第3行的up-tx_fifo_cnt UART_FIFO_SIZE檢查是防止FIFO溢出的關(guān)鍵。如果沒有這個(gè)檢查Guest OS瘋狂寫入就會(huì)導(dǎo)致數(shù)組越界引發(fā)內(nèi)存破壞。第5行的up-ier UART_IER_THRE體現(xiàn)了“按需中斷”的原則。只有當(dāng)Guest明確使能了該中斷模擬器才會(huì)注入避免了無謂的中斷風(fēng)暴。第8行的event-data UART_IER_MASK是數(shù)據(jù)校驗(yàn)的典范。UART_IER_MASK是一個(gè)預(yù)定義的掩碼如0x0F它確保只有bit0-bit3對應(yīng)的4個(gè)中斷使能位被接受其他高位被強(qiáng)制清零。第9行的uart_eval_interrupts()是一個(gè)獨(dú)立的輔助函數(shù)它會(huì)遍歷所有可能的中斷源RX、TX、LS、MS根據(jù)當(dāng)前的ier、lsr、msr等狀態(tài)寄存器綜合判斷是否應(yīng)該產(chǎn)生中斷。這比在每個(gè)寄存器寫入后都單獨(dú)判斷要高效得多也更符合真實(shí)硬件的行為。這個(gè)UART模擬器代碼不過幾百行卻精準(zhǔn)地復(fù)現(xiàn)了16550A芯片的絕大部分行為。它不追求100%的兼容性比如不模擬某些罕見的時(shí)序bug而是聚焦于Guest OS驅(qū)動(dòng)所依賴的、最核心的那20%功能。這種“夠用就好”的務(wù)實(shí)精神正是Xvisor能在資源受限的嵌入式平臺(tái)上大放異彩的根本原因。3.3 模擬器的生命周期管理從加載到銷毀的全鏈路一個(gè)模擬器模塊的生命周期遠(yuǎn)不止于handle_access()函數(shù)的執(zhí)行。Xvisor為它設(shè)計(jì)了一套完整的、與Linux內(nèi)核模塊類似的管理機(jī)制確保資源的申請與釋放嚴(yán)格配對。模塊加載Module Load當(dāng)Xvisor啟動(dòng)或VM動(dòng)態(tài)添加設(shè)備時(shí)會(huì)調(diào)用xvisor_emulator_register()。這個(gè)函數(shù)會(huì)將一個(gè)struct xvisor_emulator結(jié)構(gòu)體包含名稱、版本、init和exit函數(shù)指針注冊到全局的emulator_list中。init函數(shù)負(fù)責(zé)分配全局資源如為所有UART設(shè)備預(yù)分配一個(gè)共享的中斷號池或初始化一個(gè)用于DMA地址轉(zhuǎn)換的哈希表。設(shè)備實(shí)例化Device Instantiation當(dāng)為某個(gè)VM創(chuàng)建一個(gè)具體的虛擬設(shè)備如vm1-uart0時(shí)Xvisor會(huì)調(diào)用該模擬器的create_device()回調(diào)。這個(gè)函數(shù)會(huì)為該設(shè)備分配xvisor_region、xvisor_priv并完成所有與VM綁定的初始化工作。它還會(huì)調(diào)用xvisor_irq_register()為該設(shè)備注冊一個(gè)虛擬中斷號并將其與物理中斷號關(guān)聯(lián)起來。運(yùn)行時(shí)Runtime這是handle_access()函數(shù)活躍的階段。所有I/O操作都在此期間發(fā)生。設(shè)備銷毀Device Destruction當(dāng)VM被銷毀或設(shè)備被熱拔出時(shí)Xvisor會(huì)調(diào)用模擬器的destroy_device()回調(diào)。這個(gè)函數(shù)必須做三件事1調(diào)用xvisor_region_unregister()注銷區(qū)域2調(diào)用xvisor_irq_unregister()注銷中斷3xvisor_free()釋放所有malloc的內(nèi)存。任何一項(xiàng)遺漏都會(huì)導(dǎo)致內(nèi)存泄漏或中斷號泄露。模塊卸載Module Unload當(dāng)整個(gè)Xvisor系統(tǒng)關(guān)閉或管理員手動(dòng)卸載模塊時(shí)會(huì)調(diào)用xvisor_emulator_unregister()并執(zhí)行exit函數(shù)。exit函數(shù)負(fù)責(zé)清理所有全局資源。這套機(jī)制確保了Xvisor的內(nèi)存和中斷資源始終處于可控狀態(tài)。我在一個(gè)長期運(yùn)行的車載信息娛樂系統(tǒng)項(xiàng)目中曾遇到過因模擬器卸載不徹底導(dǎo)致的內(nèi)存泄漏問題。通過在destroy_device()函數(shù)中添加詳細(xì)的printk日志我們發(fā)現(xiàn)一個(gè)SPI模擬器在destroy_device()中忘記調(diào)用xvisor_irq_unregister()導(dǎo)致其占用的中斷號一直被標(biāo)記為“已使用”最終耗盡了系統(tǒng)可用的中斷號池。這個(gè)教訓(xùn)讓我深刻體會(huì)到模擬器的銷毀邏輯其重要性絲毫不亞于其創(chuàng)建邏輯。4. MMIO陷出Xvisor異常處理流水線中最精密的齒輪如果說“區(qū)域”是畫地為牢的邊界“模擬器”是牢房里的囚徒或者說工匠那么“MMIO陷出”MMIO Trap就是那個(gè)手持鑰匙、負(fù)責(zé)開門關(guān)門的獄警。它的工作看似簡單——當(dāng)Guest訪問一個(gè)被標(biāo)記為“受管”的MMIO地址時(shí)觸發(fā)一個(gè)異常然后把控制權(quán)交給模擬器——但其背后的實(shí)現(xiàn)卻是Xvisor性能與穩(wěn)定性的終極試金石。一次陷出的延遲就是一次I/O操作的延遲一次陷出路徑上的競態(tài)就可能導(dǎo)致整個(gè)VM的I/O死鎖。4.1 ARM架構(gòu)下的陷出機(jī)制從Synchronous External Abort到Hypervisor Trap在ARMv7/ARMv8架構(gòu)中MMIO陷出的底層機(jī)制依賴于處理器的內(nèi)存管理單元MMU和異常向量表。Xvisor的實(shí)現(xiàn)巧妙地利用了硬件特性避免了昂貴的軟件模擬。Stage-1頁表的“陷阱頁”Trap PageXvisor為VM構(gòu)建的Stage-1頁表即Guest OS看到的頁表在映射那些屬于“區(qū)域”的物理地址時(shí)并不直接映射到真實(shí)的物理RAM。相反它會(huì)將這些地址映射到一個(gè)特殊的、位于Xvisor內(nèi)核空間的“陷阱頁”。這個(gè)陷阱頁的頁表項(xiàng)PTE被設(shè)置了APAccess Permission位為00即“無訪問權(quán)限”。異常的觸發(fā)當(dāng)Guest OS的代碼執(zhí)行一條ldr r0, [r1]指令且r1指向一個(gè)被映射為“陷阱頁”的地址時(shí)CPU在嘗試讀取該地址時(shí)會(huì)檢測到PTE的AP00從而觸發(fā)一個(gè)Synchronous External Abort同步外部中止異常。這個(gè)異常的異常類型碼ESR_EL2為0x21對于ARMv8表示“Translation fault, level 1”。異常的捕獲與分發(fā)這個(gè)異常會(huì)直接被路由到EL2Hypervisor模式因?yàn)閄visor運(yùn)行在EL2。Xvisor的異常向量表arch/arm64/kernel/entry.S會(huì)捕獲這個(gè)異常并跳轉(zhuǎn)到el2_sync_handler。這個(gè)匯編函數(shù)會(huì)快速保存vCPU的上下文寄存器然后調(diào)用C語言的do_trap()函數(shù)。陷出的精準(zhǔn)定位do_trap()函數(shù)是整個(gè)陷出流水線的中樞。它首先從ESR_EL2寄存器中提取出觸發(fā)異常的虛擬地址far_el2寄存器。然后它會(huì)調(diào)用vm_find_region_by_addr(vm, far_el2)函數(shù)。這個(gè)函數(shù)的實(shí)現(xiàn)非常高效它遍歷VM的region_map數(shù)組前面提到的O(1)查找結(jié)構(gòu)利用far_el2的高位比特作為索引快速定位到對應(yīng)的xvisor_region。如果找到就構(gòu)造一個(gè)xvisor_event并調(diào)用region-ops-handle_access()如果沒找到說明這是一個(gè)非法訪問直接向Guest注入一個(gè)SIGSEGV信號。這個(gè)流程之所以高效是因?yàn)樗耆荛_了軟件模擬的開銷。硬件MMU自動(dòng)完成了地址翻譯和權(quán)限檢查Xvisor只需做一次快速的索引查找和一次函數(shù)調(diào)用。整個(gè)陷出路徑的指令數(shù)被壓縮到了極致實(shí)測在Cortex-A53上一次完整的MMIO陷出模擬器處理不包括實(shí)際I/O的延遲穩(wěn)定在1.2微秒以內(nèi)。4.2 陷出路徑的四大性能瓶頸與Xvisor的應(yīng)對策略盡管硬件輔助大大降低了陷出開銷但在高負(fù)載場景下陷出路徑依然存在四個(gè)主要的性能瓶頸。Xvisor的源碼處處體現(xiàn)著對這些瓶頸的針對性優(yōu)化。瓶頸描述Xvisor的解決方案實(shí)測效果1. 異常上下文切換開銷從EL0Guest用戶態(tài)切換到EL2Hypervisor需要保存/恢復(fù)大量寄存器。使用eret指令的快速返回機(jī)制并在el2_sync_handler中只保存最必要的寄存器x0-x3,x19-x29,sp_el2其余寄存器由C函數(shù)do_trap()按需保存。減少約30%的上下文切換時(shí)間2. 區(qū)域查找延遲在大量區(qū)域100個(gè)的情況下線性遍歷region_map會(huì)變慢。引入兩級哈希表第一級以far_el2 12頁內(nèi)偏移為key第二級以far_el2 0xFFF頁內(nèi)偏移為key將平均查找復(fù)雜度從O(n)降至O(1)。在256個(gè)區(qū)域的測試中查找時(shí)間穩(wěn)定在50ns3. 模擬器鎖競爭多個(gè)vCPU并發(fā)訪問同一個(gè)虛擬設(shè)備如共享的UARThandle_access()需要加鎖保護(hù)私有數(shù)據(jù)。采用細(xì)粒度鎖為FIFO、寄存器、中斷狀態(tài)分別使用不同的spinlock。甚至對大型FIFO使用讀寫鎖rwlock來允許多個(gè)讀操作并發(fā)。將多vCPU并發(fā)訪問的吞吐量提升3倍4. 中斷注入延遲xvisor_irq_inject()需要修改vCPU的中斷掛起寄存器涉及對vcpu_arch結(jié)構(gòu)體的寫操作。引入“中斷批處理”機(jī)制handle_access()不直接注入而是將中斷請求放入一個(gè)per-vCPU的pending_irq_queue。在vCPU即將返回Guest前由vcpu_exit()統(tǒng)一處理隊(duì)列。將中斷注入的延遲從微秒級降至納秒級其中中斷批處理是最具巧思的設(shè)計(jì)。它打破了“一次I/O一次中斷”的傳統(tǒng)思維將中斷注入從I/O路徑中剝離出來使其成為一個(gè)純粹的、無鎖的、批量化的操作。這不僅降低了單次I/O的延遲更重要的是它消除了I/O路徑上的鎖競爭讓多個(gè)vCPU可以真正并行地處理I/O極大地提升了系統(tǒng)的整體吞吐量。4.3 陷出的調(diào)試藝術(shù)如何在千行匯編中定位一個(gè)MMIO Bug陷出路徑的復(fù)雜性也帶來了巨大的調(diào)試挑戰(zhàn)。當(dāng)一個(gè)虛擬設(shè)備“不工作”時(shí)問題可能出在任何一個(gè)環(huán)節(jié)Guest OS驅(qū)動(dòng)寫錯(cuò)了地址、區(qū)域配置范圍不對、模擬器handle_access()邏輯有誤、甚至是陷出異常被錯(cuò)誤地路由到了EL1Guest Kernel而不是EL2Hypervisor。我的經(jīng)驗(yàn)是必須建立一套分層的、自底向上的排查方法論。第一層確認(rèn)陷出是否發(fā)生Hardware Layer使用perf工具監(jiān)控armv8_pmuv3_00/br_immed_ret/事件。如果該計(jì)數(shù)器在Guest進(jìn)行I/O時(shí)沒有增長說明根本沒觸發(fā)異常問題出在Stage-1頁表映射上。查看Xvisor的啟動(dòng)日志確認(rèn)xvisor_region_register()返回了有效的rid且vm_add_region()沒有報(bào)錯(cuò)。第二層確認(rèn)陷出是否被正確捕獲Hypervisor Layer在el2_sync_handler的開頭添加一行printk(EL2 trap at 0x%lx\n, far_el2);。如果這行日志從未打印說明異常沒有進(jìn)入EL2可能是HCR_EL2寄存器的TGETrap General Exceptions位沒有被正確設(shè)置。在do_trap()函數(shù)中添加日志打印esr_el2和far_el2。對比far_el2與你配置的區(qū)域start/end看是否在范圍內(nèi)。第三層確認(rèn)模擬器是否被調(diào)用Emulator Layer在uart_handle_access()函數(shù)的第一行添加printk(UART access: addr0x%lx, data0x%x, write%d\n, event-addr, event-data, event-is_write);。如果這行日志沒有出現(xiàn)說明vm_find_region_by_addr()失敗了問題出在區(qū)域查找邏輯或region_map綁定上。第四層確認(rèn)模擬器邏輯是否正確Logic Layer這是最難的一層。你需要在handle_access()內(nèi)部對關(guān)鍵狀態(tài)變量如up-rx_fifo_cnt,up-lsr進(jìn)行日志輸出。然后用一個(gè)已知良好的Guest OS如Linux和一個(gè)已知良好的驅(qū)動(dòng)如8250在QEMU中運(yùn)行相同的測試用例對比兩者在相同I/O序列下的狀態(tài)變化。差異之處就是Bug的藏身之所。我曾經(jīng)在一個(gè)項(xiàng)目中花費(fèi)了整整三天時(shí)間才定位到一個(gè)極其隱蔽的Buguart_handle_access()在處理FCRFIFO Control Register寫入時(shí)錯(cuò)誤地將0x01清空FIFO和0x02清空FIFO當(dāng)作同一個(gè)操作導(dǎo)致接收FIFO被清空后LSR的DR位沒有被正確清除。這個(gè)Bug在大多數(shù)情況下表現(xiàn)正常只有在Guest OS以極高的頻率10KHz輪詢LSR時(shí)才會(huì)暴露。最終是通過在handle_access()中添加了對up-lsr的逐位跟蹤日志并與QEMU的8250
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天婷婷五月| 开心五月深爱五月丁香五月激情五月| 婷婷五月天丁香花| 操九色| 日韩在线看AV| 99热最新| 超碰AV在线| 天天插天天插天天插天天插| www.com操| 26UUU| 欧美大道不卡| 天天肏天天舔AV| 丁香六月啪| 九热视频在线精品15| www狠狠| 99丁香五月婷| 婷婷五月天最新综合你懂的 | 国产人妻777人伦精品HD| 五月丁香| 天天操夜夜操| 五月激情婷婷丁香天堂| 亚洲激情精品| 婷婷五月天第四色| 色婷激情网| 91黄址| 色吊丝av中文字幕| 日韩啪啪自拍| 婷婷不卡基地| 91人妻人人操| 999热在线观看视频| 亚洲精品V天堂中文字幕| 日狠狠| 成人av在线网站| 婷婷狠狠操| www.精品99| ww超碰在线| 国产偷人爽久久久久久老妇APP | 丁香五月色色色色| 涩五月婷婷| www.久久爱.com| 日本 色综合| 亚洲AV久久久久久久久久久久久久久久| 欧美日韩日韩成人| 怡红院 久久| 婷婷黄色五月天在线视频| 欧美精品熟女一区二区| 九九这里有精品| 欧美激情2025| 综合图区激情| 人人做天天爱| 五月婷婷丁香av| 热99久久这里只有精品| 成人婷婷五月天| 亚洲精品网站色视频| 婷婷丁香花五月天| 久热91精品| 开心五月婷婷伊人| 在线超碰免费| 色综合久久无码| 日韩黄在免| 成人精品视频99在线观看免费| 天天日天天爽| 任你艹| 五月天婷婷丁香| 97啪啪| 91人妻人人做人碰人人爽九色| 九热视频在线精品15| 蜜臀99精品| 丁香婷婷六月| 五月天色综合| 婷婷午夜天| 五月亭亭六月天| 久热久| 激情五月天视频| 影音先锋一区| 超碰99在线观看| 超碰免费在线| 亚洲五月天激情| 噜噜在线| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 丁香色色五月| 丁香五月天亚洲综合| 久久资源综合| 草草影院爱爱| 91久久久久久久久| 精品人妻伦| 久久成人性爱| 五月丁香六月婷婷手机无线| 第四色婷婷丁香五月| 激情五月色综合| 亚洲欧美一区二区三区爱爱动图| 久色大| 久久九九@| 午夜成人天堂久久无码日韩久久| 色丁香五月| 这里只有精彩视频| 99视频在线观看地址| 99在线精品免费视频| 亚洲亚洲人成综合网络| 五月丁香婷婷老司机| 丁香九月综合在线| 另类亚洲2| 婷婷色在线| 日韩五月婷婷| 26UUU精品一区二区c〇m| 久久这里只有欧美| 99色视频| 狠狠色综合网| 天久综合91综合首页| 婷婷五月天丁香综合网| 欧美色色色色色色| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 久热这里这里有精品| 色婷婷成人影片| 色婷婷综合久久久久| www.色婷婷| 成年AAAA色情| 丁香美女主播视频在线观看| 无码99| 五月天激情影院| 丁香五月天社区| 最近中文字幕2019视频1| 极骚大香蕉伊人| 久热婷婷在线视频| 任我肏| 玖玖资源站国产| 6月丁香婷婷激情| 天天爽天天摸| 在线观看av网站| 欧美精品99久久久| WWW,五月| 99色婷婷| 九月色婷婷综合亚洲| 中文字幕av亚洲| 超碰人人色| 久色姿源| 丁香六月五月天| 日本欧美成人片AAAA| 五月天色图| 成人精品一区日本无码网 | 91免费在线视频6| 日本激情五月天‘| 夜色综合网| 91精品婷婷国产综合久久| 婷婷亚洲综合| 色色色色色日韩午夜激情 | 开心五月六月婷婷| 丁香婷婷成人在线播放| 色综合九九色综合88| 在线99热| 久久九九99.www| 久久多色| 久久 这里只有精品1| 久久人妻www| 久久多色| 丁香性爱在线视频| 国产白丝在线一区| 极品人妻videosss人妻| 99re热在线视频观看| 色婷网| 中文幕无线码中文字蜜桃| 色婷婷无吗| 色婷| 99久久思思| 99re热视频这里只精品| 色综合五月| 任你弄在线视频免费| 色天堂97| 婷婷五月天影视| 99热国产免费| 日本精品久久久久中文字幕| 婷婷娌伦网| 五月天天天操天天爽夜夜操| 可以免费看的AV网站| 99热综合网| www.色五月| 伊人色综合久久久| 伊人丁香婷婷东京| 91黄操| 日本欧美成人片AAAA| 99久久精彩视频| 激情五月深爱五月| 狠狠干婷婷| 色色国产| 日韩xx在线| 综合激情网五月激情| 激情五婷网| 99re8这里只有精品99re8热视频| 91夫妻网站九色| 色三级色三级| 婷婷五月天另类网站| 婷婷精品在线| 色五月美女| 五月丁香自拍| 日日夜夜天天爽| 色婷婷久久综合| 美女久久婷婷| 丁香六月开心| 五月婷婷天天| 97精品人人A片免费看| 五月天婷婷操逼视频| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 久99综合婷婷| 激情影院69| 五月丁香亚洲校园欧美| 五月天播播中文字幕 | 天天干 夜夜爽| 五月丁香| 九九亚洲综合| 5月婷婷五月天| 激情綜合W W W,激情五月天| 97超级碰碰碰| 天天日婷婷| 午夜成人AV在线| Www.sesese丁香| 这里只有精品免费在线视频| 五月欧美丁香在线观看| 在线看片h站| 色五月琪琪| 天天日,天天射,天天舔| 久久er99热精品一区二区| 超级黄色片| 国色天香伊人狠狠色| 婷婷六月激情| 久久婷婷五月综合啪| 亚洲六月婷| AV九九| 久久五月天丁香| 婷婷免费成人视频| 97在线精品| 亚洲视频在线网| 婷婷在线五月天观看| 色九亚洲| 人人草碰| 五月丁香六月婷综合成人综合| 欧美色婷婷| 五月天婷综合| 五月婷婷AV| 久久精品一区二区三区四区| 色噜噜狠狠色综| 99色色视频| 韩国中文字幕91| 久久99热这里只有精品首| 丁香五月社区| 99精品久久久久久久久| 丁香久久五月天视频在线观看| 国产成人99久久亚洲综合精品| 五月花激情网| 丁香五月综合在线视频| 久久色六月| 丁香五月婷婷啪| 91碰在线| 中文字幕成人影视| 五月丁香六月情| 五月天大香蕉av| 狠狠艹狠狠艹| 婷婷色五月天在线观看| 婷婷成人综合| 五月激情网站| 9久久久| 久99热| 免费观看欧美成人AA片爱我多深| 五月丁色AV| 久久综合干| 人妖色AV色综合| 六月丁香激情婷婷| 色婷婷成人做爰A片免费看网站| 五月婷在线观看| 无套内射极品大美女| 嫩草免费视频| 天天日天天做天天操| 色五月婷婷网| 99re熱| www.99热这里精品| 久操大屁股女人av| 深情五月天| 97日本在线播放| 我要色综合五月婷婷| 啊v视频在线观看| 大香蕉99| 中文字幕AV网址| 亚洲在线成人| 婷婷五月丁香在线视频| 午夜福利8055| 高清无码视频网址| 婷婷之玖玖| 五月天婷婷丁香六月| 国产毛片精品一区二区色欲黄A片 国产人妻777人伦精品HD | 成熟妇人A片免费看网站| 99re熱| 五月综合色| 激情五月,激情综合网| 色播五月网| 99视频啪啪| 99热精地址| 国产伦亲子伦亲子视频观看| 狠狠五月天婷婷| 婷婷激情综合网| 国产精品久久99| 99热这里全是精品| 色情五月天小说| 综合婷婷| wWwCom夜操wwW| 九九伊人网| 色九网| 超碰色综合| 五月婷婷日| 天天插天天日| 黄色片精品| 亚洲天堂大香蕉| 视频一二区| 丁香五婷婷| 操日视频| 67194成I人在线观看线路1| 九热免费视频| 日韩 中文 欧美| 六月久久婷婷| 伊人久久大香网| 182TV大香蕉| 色婷六月| 久久9久| av九九| 亚洲色五月| 久久人妻久久| 这里只有精品99视频| 91丨九色丨大屁股| 激情丁香五月激情婷婷| 九九XX视频| 五月天色视频| 五月久久| 久9久成人精品视频| 亚洲AV无码影院| 日熟女| 日韩久热| 亚洲成人免费电影| 久热2025无码| 日韩国产在线精品| 丁香六月婷婷激情| 五月香蕉网| 97碰人人操| 91人操| 人妻22p| 国产精品久久久99视频| 操骚货在线| 国内9l视频自拍老熟女九色| 99热这里只有精品4| 六月婷婷综合久久| 天天干夜夜谢| 国产伊人五月天| 少妇出轨做爰高潮A片| 六月色丁香中文字幕| 在线播放 精品| 国产26uuu| 日韩久久欧亚| 丁香五月婷婷色情综合| 精a品a视a频| 天天日天天插| 激情综合另类| 五月丁香综合中文| 99热九九热| 依人大香蕉| 色色色色色色网| 色婷婷五月天激情久久| 丁香五月天影院| 操你av| 日韩五月婷婷| 99热日本| 五月丁香婷婷综合激情基地| 色综合久久88色综合天天| 91色在线 | 日韩| 99操逼| 少妇做爰免费视看片| 丁香九月婷婷色| 九九精品碰| 91人人网| 玖玖在线资源视频| 任你干线上免费视频有3吗| 99热亚洲| 大香蕉伊人久久| 另类在线| 色噜噜狠狠插综合| 超碰在线观看99| 五月婷在线| 丁香婷婷六月激情综合| 日本在线视频看se99| 99人妻碰碰碰久久久久禁片| 深爱五月天 开心网| 97ai婷婷| 狠狠干在线| 日韩六十路91性交电影| 久热9热| 九热...av| 色99视| 天天日日| 色色色婷婷五月| 99re热精品在线视频| 影音先锋男人女人| 久久婷婷五月综合啪| 婷婷综合另类小说| 热99玖玖99玖玖99九九| 99热这里都是精品| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 色五月婷婷综合在线| 久久综合激情| 天天色激情| 婷婷丁香成人五月天| 操一区| 欧美成人网婷婷综合在线| 99玖玖人人| 99九九精品| 丁香六月天堂| 亚洲思思热久| 99国产97在线,| 99热18| 久久这里只有精品网| 亚洲av成人一区二区电影在线| 五月丁香啪啪综合| 亚洲色五月天在线| 2017人人操| 免费无码毛片一区二区A片 | 任你爽视频| 六月丁香激情综合| 亚洲精品国产成人AV在线| 思思久久99热只有频精品66| 大香蕉久热| 97久久香草精品视频| Caop在线| 国自产拍偷拍精品啪啪一区二区| 欧美婷婷综合| 久鲁鲁色网| 婷婷香蕉视频| www.五月.com| 99免费视频网| av九九| 激情综合色婷婷啪啪五月天| 亚洲成人无码网站| 婷婷六月丁香开心深深爱| chaopeng在线人人| 五月丁香啪啪网| 99热99这里有免费的精品| 欧美婷婷九月| 丁香六月综合激情| 超碰国产AV| 人人添人人| 色色综合院| 高清无码入口| 99色热| 综合激情五月综合激情五月激情1| av在线不卡播放| 99激情| 欧美狠狠色| 六月丁香射婷婷欧美色图片 | 国产成人精品一区二三区熟女在线| 天天色天天爱天天爱天天爱y| 亚洲婷婷五月天综合| se色综合网| 国产又爽又猛又粗的视频A片| 五月亭亭直播| 99色1| 婷婷五月天AV| 97超级碰碰碰| 伊人高清无码| 婷婷综合视频| 91人人操人人爱| 激情综合色五月丁香六月亚洲| 99久久精| 啪啪六月婷婷| 婷婷黄色网| 五月天激情综合| 思思热在线观看| 韩国情人在线电视剧免费观看高清版全集| 婷婷激情五月视频| 中文字幕无码人妻少妇免费视频| 五月丁香六月激情综合| 欧美丁香五月天| 金桔一区二区ab地址| 久久9RE热视频精品98| 国产欧美性成人精品午夜| 99在线热| 国产视频婷婷| 伊人色欲五月天| 天天日天天舔天天摸| 金品在线视频99| 91婷婷视频| 五月丁香婷婷啪啪| 91黄址| 久久九九热视频| 五月婷婷综合色啪首页| 丁香五月婷婷久久综合激情网 | 久久草婷婷丁香网站| 天天射影| 99 福利 导航| 久久久国产精品黄毛片| 婷婷丁香18| 婷婷五月激情的图片| 99这里只有精彩视频| 天天做天天爱天天摸| 伊人玖玖精品| 国产色视频网站2| 日韩国产在线精品| 五月婷婷影院| 免费精品99| 久久久激情视频| 五月天天爱| 国产熟女日日骚五月丁香爱| 色婷丁香五月| 99 热国产在| 五月丁香人妻| 激情五月狠狠喔| 激情图片亚洲| 成人国产欧美大片一区| 九九色影院| 激情五月丁香五月| 久久婷婷综合基地| 99视频激情四射| 五月丁香在线综合| 九九热精品视频九九| 久久精品爱爱| 九九国产视频| 超碰av在线| 久久婷婷91| 激情五月天第四色| 婷婷丁香黄色| 91VIP在线观看| 99热传媒| 婷婷色五月91啪啪| 91夫妻视频| 国产精品久久久久久妇女6080| 丁香激情网| 丁香五月激情网| 日日操日日撸| 夜夜夜夜夜骑撸| 国产色五月| 天天干天天色天天干| 26uuu亚洲色| 五月天婷婷在线啪啪视频| 26uuu四色| 久久婷婷成人视频| 丁香六月AV| 《诡秘之主》在线观看| 丁香五月激情六月欧亚激情综合导航 | www.激情| Av九九| www98日本小时间到了| 久9热视频| 婷婷影院欧美| 9超碰在线| 日韩无码91| 午夜av网| 日本三级网址| 97人妻碰碰碰久久久久-最近国语高清| 激情五月天情色| 亚洲最大视频网站| 丁香五月综合激情久久潮喷| 婷婷五月天渟渟| 婷婷五月天最新网址| 香蕉久久五月| 婷婷国产五月天17c| 欧美激情 日韩无码 婷婷 五月天| 热婷婷av| 丁香久久九九99| 丁香五月成人丝袜| 久久激情五月网| 大香蕉中文| 日本美女上人| 婷婷九月综合| 99热福利| 久热2025无码| 美女主播野战视步页| 人人爽人人爽人人爽人人爽| 丁香五月六月激情| 丁香婷婷色| 色五月人妻| 婷婷五月天小说| 色哟哟www| 五月玖玖| 精品人妻久久久久久| 五月丁香综合激情| 国产精品久久欧美久久一区| 婷婷五月天性色| 被强行糟蹋的女人A片| 嫩草AV久久伊人妇女超级A| 综合色色五月| 午夜激情久久| 干一干xxxx| 九色91国产| 色色99| 亚洲久久视频| 激情综合网激情五月网| SESE无码AV| 天天搞天天爽| 色色激情五月| 日本久久婷| 五月丁香五月婷婷| 无码人妻精品一区二区蜜桃色欲| 五月天丁香色色| 九色激情| www.婷婷.com| 天天爽在线视频| 色婷婷五月丁香在线观看| 伊人五月网| 思思国产99| 99色在线| 欧美婷婷综合| 九九99九九精品免费 | 天天综合亚洲综合| 少妇达人正片在线播放_ikun_福利吧| 欧美色久| 色婷婷小说网| www.wuyuetian啪啪| 日韩婷久| 五月婷婷色色色| 色七色九九| 精品人妻久久久| 婷婷五月天免费视频在线观看| 久久五月丁香| 久久九九免费视频| 三级毛片视频| 色婷成人狠干| 他改变了拜占庭| 五月四色婷婷| 婷婷综合视频| 日日操天天操| 伊人热在线大香蕉| 草草影院爱爱| 狠狠五月激情在线| 激情婷婷综合五月少妇| 性高潮久久久久久-九九九九九九九九九九热-成人AV | www.超碰97| 色色97丁香婷婷五月天| a九九热www| 久久这里在精品视频| www.av骚货| 99网99热| 日日噜噜夜夜狠狠久久丁香六月| 疯狂做受XXXX高潮A片| 岛国AAAV| 99婷婷国产最新视频| 77799热| 五月丁香六月激情啪| 99热大香蕉| 无码激情AAAAA片-区区| 日韩AV中文字幕在线| 99超级碰免费视频| 久久机热这里只有 | 丁香激情网| 五月丁香婷婷狠狠操| 欧美在线看| 久久狠色噜噜狠狠狠狠97| 色播五月丁香| 天堂中文国产| 欧美日韩精品人妻狠狠躁免费视频| 在线91日韩| www.超碰在线| SS丁香五月婷婷| 久久激情五月婷婷| 日韩AV免费看| 久热黄色| 婷婷五月天激情综合| 色五月婷婷五月| 亚洲精品视频在线播放| 99久久終合| 丁香五月久久| 超碰AAAAAAV| 久久综合婷婷五月| 国产又黄又爽又色的免费| 婷婷五月丁香A∨| 一区二区中文字幕| 久久美女五月天| 色色色99| 真实熟女-91九色| 婷婷色色五月天| 激情六月婷| 99热这里只有精品16| 午夜微拍福利| 激情婷婷五月久久| 色爱亚洲| 五月丁香六月婷综合成人综合| 久久九九囯产| 青青操avbb| 五月激情婷婷国产精品久久久久久| 91久久久久久久| 亚洲色图在线视频| 丁香五月天婷婷久久综合| 丁香 久久| 亚洲熟妇AV乱码在线观看| 黄色片精品| 六月婷婷影院| 99色免费观看全部| 色婷婷另类| 久久婷婷成人视频| 99热免费| 国外亚洲成AV人片在线观看| 99久热在线精品| 亚洲成人乱码av网站| 五月丁香激情四射| 桃色成人网| 超碰人人超碰| 五月天精品视频| 五月婷婷色| 中文字幕AV网址| 国产精品色一哟哟| 99热这里全都是精品| AVV黄| 日本成人噜噜噜噜噜| 91精品国产91久久久久青草| 大香蕉太香蕉视频97| 草操网| 超碰二区| www.9色色色| 婷婷五月综合欧美在线播放| 五月天成人综合| 亚洲成人在线观看网址| 天天日日天天| 国产 码在线成人网站| 看逼中文字幕| 久久人人人人妻| 久草热在线视频| 99久操| 激情五月天www| 九九热视频在线观看| 99视频网址| 99色最新在线视频网站| 日产精品一线二线三线芒果 | 99视频自拍| 亚洲va欧美va天堂v国产综合| 国产欧美日韩综合精品一区二区| 久久这里只有精品久久| 亚洲免费av在线| 大鸡巴伊人网| 婷婷激情五月天在线视频| 婷婷伊人中文字幕| 国产操肏网站| 六月丁香影院| AA片在线观看视频在线播放| 99综合视频在线| 97人人搞| 综合超碰熟| 久色五月婷婷综合| www.色婷婷.com| 91婷婷色五月| 色五月亚洲| 亚洲9久久精品| 五月丁香999| 26uuu精品一区二区| 98色花堂98t.R| 五月天亭亭俺也| 99色人| 日日干日日s| 51XX午夜影福利| 在线99精品| 这里只有精品网站| 丁香五月激情久久麻豆| 五月色婷婷影视在线电影| 色色网站在线| 自拍偷窥99热| 97色在线观看视频| 色原狠狠综合| 直接看的AV网站| 射婷婷中文字幕| 五月综合婷婷开心网| 五月天婷婷久久视频| 98永久精品| 草逼大片| 无码激情AAAAA片-区区| 做爱夜夜干天天操| 日韩1区2区| 97精品欧美91久久久久久久| 色九月婷婷丁香| 四射综合网| 色婷婷丁香| 天天日日| 狠狠色婷婷六月激情网| 日本女色人人| 五月丁香婷婷成人伊人网| 26uuu成人网| 91久久久久久| 色婷婷综合网站| 久草a片| 99色热| 久久精彩视频99| 丁香社区婷婷五月| 婷婷五月色播天| 亚洲五月天天| 色色无码| 色视频2025| 99热国产免费| 久久这里精彩免费在线观看| 色婷婷狠狠| 操碰99| 色色综合激情| www.综合久久.com| 久久精品系列| 五月天婷婷激情在线色图| 性天天中文网| 九九精品9| 五月天婷婷激情春色小说| 综合色、色综合| 五月婷婷免费| 久久婷婷九月国产精品| 五月天婷婷丁香蜜桃91| 99精品国产乱码久久久人妻| 日日干夜夜撸夜夜骑| 99精品偷自拍| 中文字幕丁香五月| 成人做爰黄A片免费看直播室男男| 琪琪理论片| 五月丁香影院| www·五月天| 欧美日本韩国亚洲| 日日操,天天操| 这里只有精品96| 都市激情小说婷婷| 婷婷六久久| 婷婷五月天激情五月天深爱五月天| 婷婷97色| 五月激情五月婷婷五月天在线| 97婷婷五月丁香| 婷婷五月天激情五月天深爱五月天| 国产女人十八水真多1| 在线可以看的av网址| 欧美成人在线观看| 婷婷五月丁香综合人妻| 黄色AAAAAAA| 几激情五月婷婷色五月色天堂| WWW·色色色·COM| 97在线刺激| 六月婷婷激情| 九九热免费视频| 就99这里只有精品| 色色网站毛片| 婷婷五月天论坛| 婷婷五月激情综合网| 色五月婷婷在线观看| 五月丁香六月婷婷久久| 少妇婷婷五月天| 中文字幕无线久必| 婷婷开心久久| 五月天婷婷久草丁香| 亚洲精品色| 97色色婷婷五月天| 99思思| 亚洲性爱99| 日韩AV无码影片| 在热视频精品| 亚洲有码在线视频| 极品另类| 丁香六月婷婷综合| www.婷婷五月天| 丁香五月在线视频黑人| 热久91| 99热99美国在线观看| 中文无码婷婷| 99热综合| 狠狠狠狠狠草| 99色免费| 婷婷亚洲影院| 思思99精品视频在线观看| 色五月,com| 天天日本夜夜谢| 久久 婷婷 五月天| 丁香五月电影| 深爱激情av| www色综合亚洲92| 色五月琪琪| 五月丁香六月综合情在线观看| 国产人妻777人伦精品HD| 婷婷综合激情五月综合| 99久免费视频| 久久九九综合| 狠狠狠狠免费| 天堂久久丁香| 五月成人综合| 光棍影院日韩精品| 久久久婷婷| 五月婷婷六月爱| 激情五月六月婷婷| 久久久久亚洲A∨成人乱码电影| 婷婷综合九色伊人| 99.N在线视频| 日日日,com| 字幕网AV中文字幕| 五月丁香六月玩女人| 91精品久久久久| 国产精品第一国产精品| 五月婷婷综合在线视频小说| 欧洲亚洲免费视频9| 欧美成人精品A片免费一区99| 色五月成人在线| 激情伊人网| 99热这里只有精| 色婷婷丁香五月色综合网| www91在线| 九九热精品视频在线观看| 色综合网综合| 欧美啪啪9| 丁香婷婷激情| 婷婷五月天论坛| 热婷婷久| 五月丁香婷婷啪啪| 思思热性操| 1024你懂的欧美曰韩| 久久99久久99久久99人受| 色国产五月| 亚洲AV永久无码影院黑人| 99精品在线观看| 艾小青av| 久久总和99| 无码免费人妻A片AAA毛片西瓜| 激情六月天婷婷| 天天激情5月天亚洲| 婷婷五月五月丁香| 欧洲亚洲免费视频9| 婷婷五月天少妇| 丁香五月综合久久综合| 激情五月天网| 狠狠的日| 安息电影在线观看完整版| 97操男人的天堂| 久草热在线视频| 婷婷婷色五月| 激情丁香婷婷六月天| www亚洲无码| 操B视频在线播放| 少妇人妻人伦A片| 婷婷五月天亚洲综合网| 色婷视频| 黄色片精品| 白人荫道BBWBBB大荫道| 丁香婷婷色九月| 在线综合婷婷| 久久超级碰碰| 久久久色情| 91日韩在线| 开心网五月色婷婷| 久久99热这里只有精品23| 激情熟女网| 亚洲第一成人无码A片| 91精品久久久久久综合五月天| 亚洲看av的网站| 午夜激情婷婷| 日韩大片艹艹| 五月丁香六月婷综合成人综合| 久久电影4399| 五月婷婷六月丁香在线| 影音先锋 婷婷| 婷婷欧美激情综合| 日都一级A片| 双性美人被调教到喷水A片| 丁香五月综合激情久久潮喷| 97色综合视频| 91性交在线播放| 91色久| 91九色在线视频| 99热这里只有精品 搜| 丁香无五月网| 婷婷伊人综合中文字幕| 综合久久综合综合| 香蕉99网| 又大又粗九一在线| 色情成人五月天| 国产精品电影网| 99免费视频| 天堂草在线看www| 五月天另类小说久久小说网| 久久只这里有精品| 色色99色色| 天天综合亚洲综合网天天αⅴ| 婷婷色在线| 综合色久| 91精品综合久久久久久五月丁香| 色五月欧美| 我想看国产大学生口爆吞精的视频| 日本精品人妻无码77777| 久久99热这里只有精品| 另类图片五月天| 这里精品| 色五月婷婷五月丁香五月| 天天射天天射一道本日本社区 | 99热99热不卡| 亚洲色情网站| 狠狠xx| 五月天婷婷激情综合| 97热这里只有精品| 天天舔天天摸视频| 91精品久久久久久综合五月天| 亚洲 无码 中文字幕 中出| 五月丁香六月婷婷综合网| 亚洲免费电影2| 丁香五月天堂亚洲社区| 99日热在线视频| 亚洲中文AV网站| 亚洲AV成人无码精品| 激情五月天福利| 国产九月婷婷| 丁香av网| 五月婷护士| 五月婷久久综合| 国产亚洲AV人片在线| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 能直接看的av网站| 五月婷婷六月丁香| 日韩啪啪视频| 大香蕉久| 99热网站| 91色性感五月婷婷丁香| 婷婷内射视频在线| 久久网日本| 五月久久婷婷| 玖玖在线视频| 97亚洲婷婷| 国产探花一片区| 91婷婷色五月| 99精品国产在热久久| 亚洲99热| 99热久| 色婷婷五月天av在线| 精品9久| 狠狠色婷婷| 久久精品99国产精品日本| 精品9久| 99热99草97| 亚洲性视频| 丁香六月婷婷缴情欧美| 精品人妻久久久久久久| 开心婷婷中文字幕| 91丨九色丨白浆秘| 日日噜噜夜夜狠狠久久丁香五月| 99精彩视频网站在线| 久久婷婷五| 人妻中文在线| 男人天堂亚洲综合| 天天射天天射一道本日本社区 | 色欲色香,www,com| 九九色影院| 婷婷日| 人人视频人人干人人做| 9月色婷婷| 粉嫩AV久久一区二区三区| 亚洲成人综合网在线免费观看| 欧美日本不卡黄色片| 中文字幕av在线播放| 五月色婷婷影视在线电影| 亚洲人妻五月丁香婷婷| 色深爱五月| 婷婷五月丁香欧洲| 91avse| 伊人无码高清| 久久91久久91色欲精品| 色婷婷五月天亚洲| 黄色激情五月天| 综合色图区| 天天综合区| 亚洲综合婷婷五月| 深爱激情av| 丁香五月六月综合激情| 九九色热| 999九九九久久久99HD| 99re免费精品视频| VfJxEwPH| 99热免| 丁香五月伊人| 色婷婷A| 九六五月天婷婷| 久久人妻精品| 丁香五月天啪啪| 久久久久99精品成人网站| 久婷婷五月激情| 青青草激情网| 日本eVa一区=区视频| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 激情六月综合| Caoub青青超碰| 94干大香蕉| 69堂午夜视频最新地址| 成人国产综合| 欧爱综合视频| a在线观看| 中文字幕婷婷在线| 九九sese| 欧美人人操| 色婷婷91激情小说| 久久综合激情五月天| 丁香六月婷婷综合啪啪| 无码少妇高潮喷水A片免费| 91精产一区三区免费观看| 六月伊人婷婷| www婷婷| 国产日韩av片| 夜夜操天天干| 91人久| 亚洲色婷婷| 亚洲 视频 导航 一区| 久久天堂女人| 久久久99精品| 色婷婷成人做爰A片免费看网站 | 激情五月天之六月婷婷| 五月天色影院| 九九99在线视频| 99九九精品| 亚洲六月综合激情久久下卡| 综合五月草| 97色色综合| 久久男人网婷婷| 翔田千里无码| 丰满女老板BD高清A片| 国产日批视频免费播放| 成人AV中文字幕| 超碰在线个人观看| 亚洲综合婷婷六月丁香五月| 色五月大香蕉| 五月婷婷三级| 韩国激情五月天综合网| 国产AV网页| www.亭亭五月天| 午夜天堂一区人妻| 思思99热在线| 久热婷婷| 99熟女| 色情五月婷婷| 丁香六月激情毛片| 丁香五月婷婷激情蜜桃| 久久综合99综合| 天天日夜夜B久久| 久操操| 99综合视频在线| 色五月欧美| 91性高潮久久久久久久久| 香蕉婷婷色五月| 99人人操人人爱久久久| 色色色在线观看| 91丨九色熟女丨首页| 天天色噜| 激情婷婷综合网| 网站免费一站二站| 久操人| 另类综合色| 久久五月婷婷视频| 激情五月婷黄版| www.91AV.COM| 综合99久久天天综合| 欧美精产国品一二三区| AV在线免费播放| 亚洲欧洲99| 91精品综合久久久久久五月丁香| 色婷婷先锋| 伊人久久婷婷| 久久精品爱爱| 乱岳熟女50岁| 人妻在线中文字幕久久| 99在线观看| 中文久久婷婷| 亚洲视频国产一区| 五月婷婷导航| 六月丁香色色| 激情综合网址| 天天骑日日爽| 国产亚洲精品AAAA片APP| 丁香五月成人论坛| 婷婷97色| 五月丁香激情婷婷综合| 青青草99热久久精品国| 色婷婷久久久| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 六月丁香久久| 99在线精品视频免费| 欧美成人精品三区综合A片| 久久久久久草黄色片AV在线观看| 六九色综合婷婷五月天| 日本操片| 丁香婷婷五月天色播| 日本黄色一级| 久草热在线视频| 大香蕉九操| 中文字幕无码人妻少妇免费视频| 狠狠干 狠狠操| 国产女生爱爱AA| 亚洲秘 无码一区二区三区妃光/1| 内射综合网| 色综合天天综合成人网| 丁香五月人妻熟女| 操婷婷基地| 成人看片网站| 开心五激情网| 丁香五月婷婷综合精品素人| 日韩色色网| 婷婷色色网站| 九九这里是免费的视频5| 成人精品一区二区三区四区五区 | 九九re视频在线视频| 91精品久久久久久77777| 六月丁香婷啪射| 操人视频91| 亚洲最大视频| 亚洲噜色| 欧美六月| 97在线观视频免费观看| 五月激情小说网| 九九热这里只有精品首页| 久久五月天丁香| 丁香五月天视频| 激情五月视频在线婷婷| 99热9| 国内9l视频自拍老熟女九色| 丁香婷婷色五月| 99热99热| 欧美一级色| 婷婷六月成人| 中文字幕在线日亚州9| 久久综合天天综合| 亚洲久热| 日本少妇AA一级特黄大片| 人人操av| 欧美va在线观看| 亚洲性爱99| 欧美啪啪9| 91色呦哟| 99色免费观看全部| 五月丁香亚洲婷婷| 精品久久99码| 操逼电影免费看| 久久这里只精品| 深爱五月激情五月| 午夜爱爱爱成人| 日本91在线| 色色色色色日韩午夜激情 | 色综合综合色| 五月婷婷六月丁香综合| 热的国产99热| 超碰99热精品| 婷婷五月丁香青青草在线| 亚洲无码99| 久久亚洲天堂| 99爱视频在线播放| 成人羞羞啪啪 全 视频| 爱久综合| 综合九九久久| 97精品人人A片免费看| 综合激情视频| 九九人人精品| 婷婷五月18永久免费视频| 欧美综合激情五月丁香| 成人噜噜网| 五月天婷婷綜合院| 5Www色5夜| 欧美槡BBBB槡BBB少妇| 五月天激情在线视频| 丁香五月亚洲AV| 欧美色图天堂网色| 亚洲欧洲一二| 狠狠色丁香乆乆| 国外亚洲成AV人片在线观看 | 九九人妻福利| 99九九精品视频| 啪啪六月婷婷| 久久婷婷五| 91a片爽| 香蕉97碰碰碰欧美| 强辱丰满人妻HD中文字幕| 狠狠色丁香| 亚洲色啪| 99ri国产| 日韩成人网址| 婷婷综合色图| 91久久九久久九久久九久久九久久| 九九激情|