欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ARMv8/v9 Generic Timer虛擬化深度解析:從硬件到KVM實現(xiàn)

ARMv8/v9 Generic Timer虛擬化深度解析:從硬件到KVM實現(xiàn) ARMv8/v9 Generic Timer虛擬化架構(gòu)拆解做虛擬化平臺的老哥們應該都有同感時間不對一切白給。無論是虛擬機的時鐘漂移、線程調(diào)度延遲還是容器網(wǎng)絡的超時重傳底層都是定時器在撐著。而ARM平臺上這個定時器地基就是Generic Timer。今天這篇不聊泛泛的架構(gòu)概念直接進到ARMv8/v9 Generic Timer在虛擬化場景下的內(nèi)部機制從硬件視圖、軟件分層到KVM落地實現(xiàn)一整套拆開揉碎講清楚。先說清楚這文章解決什么問題如果你正在做KVM虛擬化開發(fā)、BSP適配、或者排查虛擬機時鐘異常類問題這篇文章能幫你建立起從硬件定時器到KVM虛擬中斷的完整鏈路認知。如果你只是聽說過Generic Timer想入門跟著走一遍也能搞清楚它的核心機制后面遇到問題至少知道去哪一層排查。標題里V-15和A-40是我們內(nèi)部項目對虛擬化和架構(gòu)兩塊內(nèi)容的編號不必糾結(jié)具體含義下面直接進正題。1. 定時器虛擬化的三個核心難題1.1 時間在虛擬化世界里為什么這么難虛擬化最容易被低估的復雜度就是時間。CPU、內(nèi)存、設備都可以通過硬件虛擬化擴展來加速唯獨時間這個東西它的設備是每顆CPU核心自帶的而且它的讀取頻率極高——操作系統(tǒng)的時鐘節(jié)拍、調(diào)度器的tick、協(xié)議棧的超時計算全都在高頻讀時間。想象一下你有一個物理鬧鐘現(xiàn)在要把它分給10個人用每個人都想在自己的時間線上設置鬧鈴、讀取當前時間而且互相不能干擾。更麻煩的是每個人虛擬機還希望自己可以隨意撥快撥慢手表修改系統(tǒng)時間但不能影響別人。這就是定時器虛擬化的本質(zhì)難題。具體拆解成三個問題來看時間來源一致性所有虛擬機看到的當前時間必須有一個統(tǒng)一的基準不能每顆CPU各說各話否則遷移和多核場景直接崩。虛擬時間隔離每臺虛擬機需要自己的時間線這個時間線的起點可以不同比如虛擬機剛啟動時時間是2010年宿主機已經(jīng)是2024年而且虛擬機修改自己的時間不能影響宿主機和其他虛擬機。定時中斷路由每臺虛擬機要能設置自己的鬧鐘時間到了要正確觸發(fā)對應的虛擬中斷并且要精確到微秒級別不能靠軟件輪詢。這三個問題ARM Generic Timer的虛擬化架構(gòu)就是專門為它們設計的。1.2 ARM沒有給定時器單獨開一條虛擬化捷徑這里要說一個容易誤解的點。ARM在虛擬化上做了很多硬件加速比如GIC (Generic Interrupt Controller) 對虛擬中斷的直接注入MMU有Stage-2地址轉(zhuǎn)換。但定時器這個模塊ARM并沒有提供一個虛擬定時器設備讓你直接操作。它采用的方式是提供一組精心設計的硬件機制讓Hypervisor用trap-and-emulate的方式來實現(xiàn)虛擬定時器但是把這個過程的開銷壓縮到極低。為什么不像PCIe直通那樣直接把定時器直通給虛擬機因為定時器不是獨立設備它是CPU核心的一部分而且多個虛擬機共享同一顆物理CPU。直通等于讓一個虛擬機霸占硬件資源其他虛擬機就沒法用定時器了。所以說ARM Generic Timer的虛擬化架構(gòu)本質(zhì)上是一個硬件輔助的軟件虛擬化方案。理解這一點后面看KVM的代碼邏輯就會順很多。2. Generic Timer硬件機制全景拆解2.1 系統(tǒng)計數(shù)器整個時間世界的基準ARM Generic Timer的頂層是一套系統(tǒng)級的計數(shù)器叫System Counter。這個計數(shù)器是唯一的、全局的、單調(diào)遞增的整個SoC上所有核心看到的值都是一樣的。它通常由主板上的晶振驅(qū)動頻率一般在1MHz到50MHz之間。System Counter在軟件側(cè)體現(xiàn)為兩個寄存器視圖CNTPCT物理計數(shù)器和CNTVCT虛擬計數(shù)器。這兩個寄存器都是64位的單位是tick。但是注意ARM的spec規(guī)定軟件不能直接讀System Counter本身必須通過每個核心上的CNTPCT/CNTVCT寄存器來讀。為什么要區(qū)分物理和虛擬兩套計數(shù)器視圖答案很簡單物理計數(shù)器給宿主機用虛擬計數(shù)器給虛擬機用。虛擬計數(shù)器 物理計數(shù)器 - Offset這個Offset由Hypervisor設置。這就是前面說的虛擬時間線的實現(xiàn)基礎。2.2 每個核心上的定時器組件結(jié)構(gòu)每個ARM核心上有兩組重要的定時器組件一組是給非安全世界的一組是給安全世界的。我們做虛擬化主要關注非安全世界也就是EL1和EL2這兩層下面的結(jié)構(gòu)以這套為主。每個核心上有四種定時器物理定時器 (Physical Timer)通常用于EL1/EL0非安全世界中斷號是PPI 13。虛擬定時器 (Virtual Timer)通常用于給虛擬機提供定時中斷中斷號是PPI 14。EL2物理定時器 (EL2 Physical Timer)給Hypervisor自己用的定時器中斷是PPI 26。安全物理定時器 (Secure Physical Timer)給TrustZone安全世界用的虛擬化場景一般用不到。每一種定時器都有自己的一組寄存器CompareValue比較值、Control控制、Status狀態(tài)。定時器的原理很簡單當前計數(shù)值 CompareValue 的時候觸發(fā)一次中斷。2.3 關鍵寄存器與作用域劃分把寄存器按訪問權(quán)限和虛擬化角色拆開看落實到代碼和調(diào)試上會更有操作性寄存器訪問層級虛擬化角色CNTPCT_EL0EL0/EL1可讀物理計數(shù)器Hypervisor讀物理時間用CNTVCT_EL0EL0/EL1可讀虛擬計數(shù)器虛擬機讀當前時間CNTVOFF_EL2僅EL2可寫虛擬計數(shù)器偏移量虛擬機時間線原點CNTP_TVAL_EL0EL0/EL1可寫物理定時器的遞減計數(shù)值CNTP_CTL_EL0EL0/EL1可寫物理定時器控制使能、屏蔽、狀態(tài)CNTP_CVAL_EL0EL0/EL1可寫物理定時器比較值CNTV_TVAL_EL0EL0/EL1可寫虛擬定時器的遞減計數(shù)值CNTV_CTL_EL0EL0/EL1可寫虛擬定時器控制CNTV_CVAL_EL0EL0/EL1可寫虛擬定時器比較值CNTHP_TVAL_EL2僅EL2EL2物理定時器CNTHP_CTL_EL2僅EL2EL2物理定時器控制CNTHP_CVAL_EL2僅EL2EL2物理定時器比較值CNTHCTL_EL2僅EL2控制EL0對計數(shù)器和定時器的訪問權(quán)限CNTKCTL_EL1EL1可寫控制EL0對內(nèi)核定時器寄存器的訪問這張表建議存一下排問題的時候會反復用到。特別是CNTVOFF_EL2和CNTHCTL_EL2這兩個是整個虛擬化的樞紐。2.4 計數(shù)器讀路徑為什么虛擬機讀時間也要被攔截這里有一個很多初學者沒注意到的設計點虛擬機執(zhí)行CNTVCT_EL0讀取時間在KVM的默認配置下是不需要trap到EL2的。ARM通過硬件機制讓CNTVCT_EL0直接讀出來一個已經(jīng)減去了CNTVOFF_EL2的值整個過程發(fā)生在硬件層面虛擬機根本不知道偏移的存在。但是有一個例外當虛擬機運行在32位模式而Hypervisor需要讀取CNTPCT的時候情況就變得復雜了。32位guest訪問CNTPCT會拆成兩次32位load高32位和低32位這中間可能發(fā)生高低位不一致的問題。KVM內(nèi)核對這個問題有專門的patch處理路徑后面在常見問題部分會講到。3. KVM定時器虛擬化架構(gòu)設計3.1 分層模型Host Timer和Guest TimerKVM在arch/arm64/kvm/arch_timer.c中實現(xiàn)了完整的定時器虛擬化邏輯。整套設計圍繞兩條時間線展開Host時間線基于CNTPCT物理計數(shù)器KVM用它來調(diào)度vCPU的執(zhí)行、計算虛擬機的運行時間。Guest時間線基于CNTVCT虛擬計數(shù)器虛擬機里的操作系統(tǒng)看到的時間。兩條時間線之間的橋梁就是CNTVOFF_EL2。KVM在加載vCPU到物理CPU上的時候?qū)懭脒@個寄存器vCPU切走的時候不需要恢復因為下個vCPU加載時會重新寫這個操作在關鍵路徑上只有一次MSR寫開銷極低。定時器的虛擬化用到的核心結(jié)構(gòu)體在KVM中分成兩層struct arch_timer_cpu { struct arch_timer_context timers[NR_KTIMERS]; struct hrtimer hrtimer; bool is_timer_running; }; struct arch_timer_context { struct kvm_vcpu *vcpu; enum kvm_arch_timers timer; u64 cnt_cval; u64 cnt_ctl; bool loaded; bool ready; };第一層是per-CPU結(jié)構(gòu)的每個vCPU一組第二層是具體的物理定時器和虛擬定時器各自獨立的上下文。從結(jié)構(gòu)體上就能看出設計意圖物理和虛擬兩個定時器分別模擬各自維護比較值和控制位kvm根據(jù)guest的配置決定用哪個。3.2 Virtual Timer和Physical Timer的分工策略這是KVM定時器虛擬化設計里最精彩的部分。為什么要有兩套定時器給guest用表面上看有虛擬定時器就夠了guest設鬧鐘就用CNTV_CVAL_EL0時間到了觸發(fā)PPI 14中斷不就行了嗎真實原因是某些guest操作系統(tǒng)會直接操作物理定時器而不是虛擬定時器。比如Linux內(nèi)核早期的arch timer驅(qū)動它在某些配置下直接使用物理timer。還有32位的ARM guest內(nèi)核某些版本的代碼路徑上會讀取CNTPCT來校準時間。如果guest運行在EL1虛擬機里它訪問CNTP_TVAL_EL0和CNTP_CTL_EL0是會直接透過到硬件物理定時器的在trap沒有配置的情況下它會在沒有Hypervisor掌控的情況下直接產(chǎn)生物理中斷這個中斷會直接送進guest卻沒有任何虛擬化層的管理成為一顆無法關閉的定時炸彈。所以KVM的做法是分兩層guest的物理定時器和虛擬定時器操作都必須經(jīng)過KVM的接管和控制。它最終映射到Host側(cè)的實現(xiàn)是用Host的一個真正的物理定時器來backing guest的某個定時器再通過vGIC把中斷以虛擬中斷的形式注入回guest。具體到實現(xiàn)上KVM的策略是虛擬定時器用虛擬計數(shù)器CNTVCT作為時間基準backing hrtimer基于host的CLOCK_MONOTONIC實際讀取cntpct換算中斷走PPI 14通過vgic注入。物理定時器用物理計數(shù)器CNTPCT作為時間基準backing hrtimer同樣基于host時間中斷走PPI 13通過vgic注入。兩個timer的backing hrtimer在host上共用同一個hrtimer實體arch_timer_cpu-hrtimer通過hrtimer_start重新指定到期時間來實現(xiàn)兩個timer的切換和共享。3.3 中斷的虛擬化路徑從硬件中斷到Guest IRQ定時器中斷是整個虛擬化鏈路里最長的路徑之一值得完整走一遍Host物理定時器超時觸發(fā)host的timer中斷handler。KVM的timer handlerkvm_timer_irq_handler被調(diào)用。這個handler識別中斷來源是backing timer到期。KVM檢查對應的arch_timer_context確認是否應該向guest注入中斷。如果要注入調(diào)用kvm_timer_update_irq通過irqchipvgic設置對應的虛擬中斷為pending狀態(tài)。vCPU在下一次進入guest模式時vgic會把pending中斷通過list register注入guest在EL1收到中斷。這里面有一個容易被忽略的關鍵細節(jié)KVM在判斷是否應該向guest注入中斷的時候不是簡單看hrtimer到期就注入而是要對比當前的虛擬計數(shù)器值和guest設置的定時器比較值。因為hrtimer的精度和實際timer的精度存在微小偏差KVM需要做一次校準static bool kvm_timer_irq_can_fire(struct arch_timer_context *timer_ctx) { u64 cnt; u64 cval, ctl; cval timer_ctx-cnt_cval; ctl timer_ctx-cnt_ctl; if (kvm_timer_should_fire(timer_ctx)) return false; cnt kvm_phys_timer_read(); if (cnt cval) return false; return (ctl ARCH_TIMER_CTRL_ENABLE) !(ctl ARCH_TIMER_CTRL_IT_MASK); }注意最后兩個條件ENABLE位和IT_MASK位。這說明KVM嚴格遵循ARM定時器的硬件語義即使hrtimer到點了如果guest屏蔽了中斷或者禁用了定時器也不能硬注入。3.4 KVM如何處理Guest屏蔽定時器中斷這個場景在真實運行中經(jīng)常出現(xiàn)而且坑特別多。Guest的Linux內(nèi)核在處理定時器中斷時會先屏蔽中斷設置IMASK位清掉pending狀態(tài)處理完再重新使能。如果KVM在guest屏蔽中斷期間直接把hrtimer停了guest重新使能時會發(fā)現(xiàn)定時器已經(jīng)沒有在走時間直接卡住。KVM的處理方式是即使guest屏蔽了中斷hrtimer也要繼續(xù)跑因為hrtimer的到期只是一個信號真正的是否注入中斷還要看guest的屏蔽狀態(tài)。而且KVM在hrtimer到期時如果發(fā)現(xiàn)guest屏蔽了中斷會通過編程硬件定時器的比較值讓它在下一個預期的到期點再次觸發(fā)形成輪詢等待的效果。這個繼續(xù)跑、不注入的策略保證了guest重新使能定時器后馬上就能收到一個pending的中斷時間線不會斷。但是代價是host側(cè)會多次觸發(fā)定時器中斷增加一定的CPU開銷。這塊在性能敏感場景值得做profile看看是不是有大量的spurious wakeup。4. 定時器的生命周期管理與vCPU調(diào)度聯(lián)動4.1 vCPU加載與卸載時定時器狀態(tài)保存KVM在vCPU切入和切出時對定時器有明確的狀態(tài)管理。切出的場景是vCPU被搶占、運行時間片到期或者需要退出到用戶空間處理IO。切入的時候KVM做這么幾件事void kvm_timer_vcpu_load(struct kvm_vcpu *vcpu) { struct arch_timer_cpu *timer vcpu_to_timer(vcpu); struct arch_timer_context *vtimer vcpu_vtimer(vcpu); struct arch_timer_context *ptimer vcpu_ptimer(vcpu); kvm_timer_update_state(vcpu); if (timer-is_timer_running) return; timer-is_timer_running true; /* Set the offset for the virtual timer */ timer_set_voffset(vcpu-kvm, vcpu-arch.timer_irq.offset); kvm_timer_vcpu_load_nogic(vcpu); kvm_timer_unblock(vcpu); }關鍵在于寫入CNTVOFF_EL2把這條vCPU的虛擬時間線切到自己的坐標。更新vtimer和ptimer的硬件寄存器讓guest看到的定時器狀態(tài)連續(xù)。如果backing hrtimer已經(jīng)啟動過切回來時不需要重新啟動hrtimer它一直在跑只是到期事件可能因為vCPU不在而錯過了。這里有一個補課機制后面講。切出的時候邏輯對稱但要額外注意void kvm_timer_vcpu_put(struct kvm_vcpu *vcpu) { struct arch_timer_cpu *timer vcpu_to_timer(vcpu); struct arch_timer_context *vtimer vcpu_vtimer(vcpu); /* If the timer has expired, inject the interrupt */ if (kvm_timer_should_fire(vtimer)) kvm_timer_update_irq(vcpu, true, vtimer); if (!timer-is_timer_running) return; timer-is_timer_running false; timer_save_state(vcpu); timer-hrtimer.cancel(cancel_phys_timer); }這里有一個設計亮點即使vCPU被切出hrtimer也不是被cancel掉取消而是保留。如果guest設置的定時器到期時間還沒到hrtimer留在host的timer wheel里到期時照樣觸發(fā)如果guest設置的到期時間已經(jīng)過了那么在切出的時候KVM會立刻把虛擬中斷的pending狀態(tài)置上等vCPU下一次進入時直接處理。這就是為什么虛擬機的定時器即使在高負載宿主上也不會出現(xiàn)明顯漂移——因為KVM用的是host的硬件定時器來保證到期精度而不是依賴vCPU的調(diào)度。4.2 補課機制Guest錯過定時器中斷怎么辦展開講一下上面提到的補課機制。場景是這樣的guest的定時器在10ms后到期但是host負載很高vCPU在8ms的時候被切出了物理CPU直到20ms后才重新被調(diào)度回來。如果沒有補課機制這10ms的定時器事件就丟了guest醒來后發(fā)現(xiàn)時間已經(jīng)過去了20ms但它的定時器中斷一個都沒收到所有依賴定時器的邏輯全都錯亂。KVM的補課邏輯在kvm_timer_vcpu_load里static void kvm_timer_update_state(struct kvm_vcpu *vcpu) { struct arch_timer_cpu *timer vcpu_to_timer(vcpu); struct arch_timer_context *vtimer vcpu_vtimer(vcpu); struct arch_timer_context *ptimer vcpu_ptimer(vcpu); if (kvm_timer_should_fire(vtimer) ! vtimer-irq.level) kvm_timer_update_irq(vcpu, !vtimer-irq.level, vtimer); if (kvm_timer_should_fire(ptimer) ! ptimer-irq.level) kvm_timer_update_irq(vcpu, !ptimer-irq.level, ptimer); timer-hrtimer_active false; }kvm_timer_should_fire會做一次當前虛擬計數(shù)器和比較值的大小判斷。如果vCPU回來時發(fā)現(xiàn)當前時間已經(jīng)超過了guest設置的值就把中斷狀態(tài)更新為pending。因為這段時間guest的定時器中斷本質(zhì)上一直在pendingKVM通過這此判斷來模擬這個狀態(tài)。這個機制背后反映的設計哲學是定時器中斷本質(zhì)上是一個事件攜帶的機制只要最終狀態(tài)正確中間的丟失可以用狀態(tài)同步來彌補不需要逐個事件追溯。這與中斷控制器虛擬化中l(wèi)evel trigger的處理思路一脈相承。4.3 32位Guest的特殊處理與CNTPCT陷阱談32位guest之前先解釋一下為什么會有trap問題。當虛擬機運行在32位模式AArch32ARM架構(gòu)規(guī)定訪問某些64位寄存器的行為會primary變化。比如32位guest訪問CNTPCT_EL0會被trap到EL2。為什么因為32位guest無法一次完成64位load只能拆成兩次32位load兩次之間的高32位值可能已經(jīng)變了。如果不做trap處理guest會讀到撕裂的時間值。KVM的處理是接受這個trap然后模擬讀取用一次原子的64位讀拿到CNTPCT再拆成高32位和低32位返回給guest。所以這里多出來的開銷是必然的不是KVM實現(xiàn)的問題。但這里有一個嚴重的性能隱患如果guest的Linux內(nèi)核在時鐘校準里頻繁讀CNTPCT每次都會有trap整個系統(tǒng)時間校準路徑會變得特別慢。實際的KVM在arch/arm64/kvm/hyp/hyp-entry.S中有對應的handlertableel0_32_pc: ... el0_32_cntpct: ...它做了這樣的處理在hyp階段直接讀出CNTPCT拆成兩個32位值設置好返回寄存器后直接eret回guest全程不退出到host kernel。這個路徑把多次trap的開銷降到了單次trap一次內(nèi)存讀算是在架構(gòu)限制下的最優(yōu)解。我記得還有一處是CNTVCT的訪問在ARMv8.0的某個勘誤表里有提到32位guest讀CNTVCT_EL0也可能產(chǎn)生詭異的撕裂值個別內(nèi)核版本會在head.S里做一次重讀校準這里就不再展開了。5. KVM定時器實驗復現(xiàn)搭建一個最小觀測環(huán)境5.1 環(huán)境準備與內(nèi)核配置要點紙上談兵沒用。我自己的調(diào)試環(huán)境是QEMU KVM跑ARM64 guesthost是樹莓派的Ubuntu Server內(nèi)核5.15和另外一臺鯤鵬920服務器兩邊邏輯一致只是性能差很多。要復現(xiàn)本文講的定時器虛擬化行為需要確認以下配置項CONFIG_KVMyCONFIG_KVM_ARM_HOSTy這個不用多說。CONFIG_ARM_ARCH_TIMERyARM的arch timer驅(qū)動。CONFIG_ARM_GIC_V3y中斷控制器的v3版本。CONFIG_HZ_250或者CONFIG_HZ_1000guest里配置的時鐘頻率會影響定時器中斷頻率方便觀察差異。調(diào)試輸出方面建議打開tracefs的timer相關事件mount -t tracefs tracefs /sys/kernel/tracing echo 1 /sys/kernel/tracing/events/kvm/kvm_timer_update_irq/enable echo 1 /sys/kernel/tracing/events/kvm/kvm_hrtimer_start/enable echo 1 /sys/kernel/tracing/events/kvm/kvm_hrtimer_cancel/enable cat /sys/kernel/tracing/trace_pipe這三個trace event能完整還原KVM定時器的生命周期全貌從hrtimer啟動到中斷注入全鏈路可見。實測里面kvm_timer_update_irq的觸發(fā)頻率和guest的HZ配置強相關可以直觀看到虛擬定時器的tick節(jié)奏。5.2 一個觀測腳本確認CNTVOFF在不同VM間隔離要驗證CNTVOFF_EL2確實起到了虛擬機時間隔離的作用可以這樣操作在宿主機寫一個內(nèi)核模塊讀取CNTVCT_EL0和CNTPCT_EL0的差值不過這需要root權(quán)限和內(nèi)核模塊不是每個環(huán)境都方便更輕量的方式是跑一個只讀虛擬計數(shù)器的小程序#include stdint.h #include stdio.h #include time.h static inline uint64_t cntvct_read(void) { uint64_t val; asm volatile(mrs %0, cntvct_el0 : r (val)); return val; } static inline uint64_t cntpct_read(void) { uint64_t val; asm volatile(mrs %0, cntpct_el0 : r (val)); return val; } int main(void) { struct timespec ts; clock_gettime(CLOCK_MONOTONIC, ts); uint64_t v cntvct_read(); uint64_t p cntpct_read(); printf(CNTVCT%lu CNTPCT%lu diff%ld tick\n, v, p, p - v); return 0; }在宿主機上編譯運行diff會是一個固定值0或者某個常數(shù)取決于kernel啟動時是否設置了CNTVOFF為0在虛擬機里編譯運行同一個程序diff就是KVM設置的CNTVOFF_EL2值。兩個VM看到的diff不同這就能非常直觀地驗證虛擬時間線的隔離。實測中diff值通常是一個非常大的隨機偏移這就是KVM為每個VM分配的獨立時間原點。5.3 用ftrace驗證hrtimer與注入的因果關系更深入地驗證中斷注入路徑可以同時打開kvm和timer的trace事件echo 1 /sys/kernel/tracing/events/kvm/enable echo 1 /sys/kernel/tracing/events/timer/enable cat /sys/kernel/tracing/trace在guest里跑一個高頻率的定時器程序比如nanosleep 1msguest產(chǎn)生的定時器中斷會導致host側(cè)對應的backing hrtimer反復到期。trace里可以看到hrtimer_expire_entry到kvm_timer_update_irq之間通常只有幾微秒的延遲這說明中斷注入路徑是硬實時鏈路沒有經(jīng)過workqueue之類的延遲機制。如果發(fā)現(xiàn)hrtimer到期到中斷注入之間出現(xiàn)了超過100微秒的間隔那就要懷疑是不是host上有其他高優(yōu)先級中斷搶占了CPU或者vCPU沒有在物理CPU上運行導致hrtimer回調(diào)無法及時執(zhí)行。這個時候要改成per-cpu的hrtimerHRTIMER_MODE_ABS_HARD來保證硬中斷上下文中處理后面調(diào)優(yōu)部分會講怎么改。6. 高頻問題排查與性能調(diào)優(yōu)實錄6.1 虛擬機時鐘漂移最快排查清單虛擬機上最常被人吐槽的問題就是時鐘漂移本來以為是網(wǎng)絡問題查半天發(fā)現(xiàn)是時間不對導致TCP時間戳錯亂。遇到時鐘漂移按以下順序排查現(xiàn)象可能原因排查方法guest時間比host慢CNTVOFF配置異常host讀CNTVCT與guest讀CNTVCT對比guest時間跳變遷移后CNTVOFF未正確恢復檢查migration代碼路徑確認寫入CNTVOFF_EL2guest時間完全不動CNTFRQ未設置或異常dmesg看arch_timer驅(qū)動初始化日志定時中斷抖動大hrtimer模式不是HARD查/sys/kernel/debug/tracing看hrtimer回調(diào)上下文32位guest時間異常CNTPCT trap路徑問題strace guest內(nèi)讀時間函數(shù)看是否有頻繁trap最坑的一次經(jīng)歷是某個guest內(nèi)核版本里CNTKCTL_EL1的配置有bug導致guest無法在EL0訪問CNTVCT_EL0結(jié)果guest的vDSO里的時鐘讀取全部走了系統(tǒng)調(diào)用性能掉了一個量級。這種問題靠監(jiān)測是看不出來的要學會用perf trace去看guest內(nèi)時間系統(tǒng)調(diào)用的頻率是否異常。6.2 中斷風暴問題hrtimer空轉(zhuǎn)與RESCHED經(jīng)常有老哥反饋宿主機負載不高但CPU0的中斷占用率很高irqtop里看arch_timer中斷每秒觸發(fā)幾萬次。大概率是guest里的定時器配置了過高的頻率比如1000Hz而且guest處于idle狀態(tài)不斷進入WFI。KVM對guest的WFI處理會直接退出到host讓vCPU線程睡在hrtimer上等到下次虛擬定時器到期再喚醒。如果guest設置了非常短的定時器間隔vCPU就會不停地醒來再睡每次醒來都要走一遍完整的vCPU加載流程開銷非常大。調(diào)優(yōu)方向有兩個在guest里調(diào)低HZ從1000降到250能減少3/4的中斷觸發(fā)頻率絕大多數(shù)服務器場景完全夠用。在host側(cè)確認hrtimer的HRTIMER_MODE_ABS_HARD配置是否正確。KVM默認對timer hrtimer用的是hard模式在硬中斷上下文執(zhí)行hrtimer回調(diào)如果降級成了soft模式回調(diào)會進softirq延遲會明顯增加。同時要檢查KVM是否開啟了irqchip in-kernel模式。如果使用userspace irqchip比如老的kvmtool或者某些嵌入式場景虛擬中斷要通過eventfd通知到用戶空間再寫回每次注入都是兩次ioctl的開銷性能會差幾十倍。6.3 遷移場景下的定時器連續(xù)性保障vCPU熱遷移時定時器狀態(tài)遷移是一塊特別容易出bug的地方。KVM的遷移相關代碼在arch/arm64/kvm/arch_timer.c里有如下關鍵函數(shù)int kvm_timer_get_state(struct kvm_vcpu *vcpu) int kvm_timer_set_state(struct kvm_vcpu *vcpu)這兩個函數(shù)負責把當前vCPU的定時器狀態(tài)比較值、控制位保存到kvm_timer_context里然后在目標機上恢復。正常情況下遷移流程是源端暫停vCPU。kvm_timer_get_state保存vtimer和ptimer的cnt_cval、cnt_ctl。用戶空間QEMU/kvmtool把這些狀態(tài)傳給目標端。目標端kvm_timer_set_state恢復這些狀態(tài)。目標端vCPU啟動后在kvm_timer_vcpu_load時把cval寫入硬件寄存器。這里的坑在于目標機的CNTVCT值和源機的CNTVCT值不一樣因為兩臺機器的CNTVOFF_EL2不同?;謴蜖顟B(tài)時必須把源機的cval換算成目標機的cval換算公式是new_cval old_cval (new_vo - old_vo)。KVM在kvm_timer_set_state里會調(diào)用timer_set_voffset重新設置新VM的偏移然后根據(jù)偏移差調(diào)整cval。如果這一步做錯了guest遷移后定時器要么立即觸發(fā)一次虛假中斷要么延后好久才觸發(fā)。調(diào)試這個問題的辦法是在遷移前后各打印一下kvm_timer_get_state和kvm_timer_set_state出的cval和offsetecho 1 /sys/kernel/tracing/events/kvm/kvm_timer_get_state/enable echo 1 /sys/kernel/tracing/events/kvm/kvm_timer_set_state/enable對比兩份日志里的cnt_cval差值應該和兩邊的CNTVOFF差值完全一致如果不一致就是換算邏輯出了問題。6.4 從KVM向pKVM/槍口式虛擬化演進的影響ARMv9開始力推的CCAConfidential Compute Architecture和pKVMprotected KVM對定時器虛擬化的架構(gòu)影響值得提前關注。pKVM里Hypervisor本身被拆成了兩個世界root world高特權(quán)控制所有硬件和protected world受限的VMM運行環(huán)境。這意味著原來運行在EL2的KVM代碼被一分為二其中一部分降級到EL1。定時器虛擬化里最重要的CNTVOFF_EL2寫入操作在pKVM下由root world完成protected world的VMM不能再直接操作這個寄存器。整個中斷注入路徑也變了定時器中斷需要經(jīng)過root world的中轉(zhuǎn)才能到達protected world的VMM再到guest。這對系統(tǒng)軟件開發(fā)者意味著什么以前在KVM里直接操作timer寄存器做優(yōu)化的代碼路徑需要重新審視。比如原來用戶態(tài)通過KVM_CAP_ARM_TIMER控制定時器行為的方式在pKVM里可能不再可用因為那個狀態(tài)不在protected world的掌控范圍內(nèi)。好在ARM在硬件層面考慮了這一點EL2物理定時器PPI 26就是給hypervisor自己用的它不參與guest的定時器虛擬化所以hypervisor可以在不干擾guest虛擬定時器的情況下做自己的調(diào)度計時。pKVM也延續(xù)了這套設計用EL2物理定時器做自己的時間基準不和guest的時間線混在一起。7. 寫在最后的個人經(jīng)驗定時器虛擬化這塊看起來只是虛擬化體系里的一小塊但它牽扯到硬件架構(gòu)、中斷子系統(tǒng)、調(diào)度器、遷移等多個方向的交叉知識。串起來理解之后再去看其他設備的虛擬化比如vgic中斷虛擬化、PMU虛擬化很多設計思路都是相通的。我個人在做這套東西的過程中的幾個體會第一別上來就看KVM源碼先把ARM ARMARM Architecture Reference Manual里Generic Timer那章過一遍。很多KVM代碼里的常量和不直觀的位操作都是直接從寄存器語義翻譯過來的。第二排查時間相關問題的時候建立時間線世界觀特別有用。時刻問自己我現(xiàn)在看的是host時間線還是guest時間線CNTVOFF在中間扮演了什么角色一旦把坐標系分清楚至少70%的問題都能定位到正確方向。第三性能調(diào)優(yōu)不要憑空想。裝好ftrace和perf實測幾組數(shù)據(jù)再動代碼。很多時候你以為瓶頸在中斷注入的路徑上實際測出來的結(jié)果可能完全相反。沒有測量就沒有優(yōu)化。最后說一個調(diào)試小技巧如果你需要快速確認一個guest當前用的是vtimer還是ptimer只需要在guest里執(zhí)行cat /proc/interrupts | grep -E arch_timer|timer看中斷號。如果你看到的是一個外設中斷號非13/14說明guest代碼里做了自定義處理這時候就要懷疑它是不是在EL1直接操作物理定時器繞過KVM的虛擬化了。這種情況在改裝過內(nèi)核的安卓環(huán)境里尤其常見值得多留個心眼。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美在线| 99九九热视频免费| 99热这里只有精品8| 综合XX网| 26UUU精品一区二区c〇m| 五月丁香婷婷五月色| www.亭亭五月天| www99久久| 另类小说色婷婷| 这里只有精彩视| www综合久久| 色婷婷www| 婷婷六月久久| 丁香五月天欧洲在线| 激情5月婷婷| 五月开心网| 天天草天天爱| 婷婷五月激情网| 激情五月丁香五月色| 操骚货在线| 啊v视频在线观看| 九九精品在线视频观看| 伊人综合色干| av一区二区电影免费在线观看| 操操自拍| 婷婷五月天激情在线| 97干免费视频| 婷婷九月狠狠色| 粉嫩AV久久一区二区三区| 色婷婷的五月天| 色色啊| 久久九九亚洲| 精品导航在线x不卡| 97丁香五月| 日日夜夜青青草| 五月激情六月综合| 丁香婷婷成人在线播放| 五月丁香六月激情综合在线| 五月丁香六月香综合激情| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 亚洲激情99| 另类国产区| 久久人妻熟女一区二区| 少妇AB又爽又紧无码网站| www.色婷婷.com| 五月婷婷手机在线| 五月婷婷手机在线| www.夜夜.com| 欧美va亚洲va在线播放| 色播婷婷五月天| 人人爽人人射-美女久久久久久久久久-成人AV | 色都都狠狠色都都色综合色| 九九精品免费视频99| 亚洲中文乱字字幕在线永久| 中文字幕成人| 九九这里只有精品| 久热99中文字幕| 色播五月婷婷| 亚洲电影在线观看| 综合五月激情| wwwav大香蕉| 日日干四虎| 亚洲精品久久久久久久久久吃药 | 日本网站久久| 激情综合丁香六| 99热这里只有精品3| 日韩另类在线观看| 久久丁香五月天| 久久九色| 亚洲V国产V欧美V久久久久久| 国产亚洲在线观看| 亚洲妇女熟BBW| 九九视频在线观看| AA片在线观看视频在线播放| 国产精产国品一二三在观看| 草草色情综合网| 国产精品成人在线| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 九九这里有精品| 极品另类| 九久9精品| 淫视馆aV二区一区| 中文国产五月天| 五月婷婷激情综合视频| 国产成人av在线播放| 亚洲精品成人| 狠狠插.com| 亚洲啪啪精品| www.99热最新视频8| 亚洲五月婷婷在线| 欧美性爱五月天| 99精品性爱| 日本女人久久| 精品一二三区久久AAA片| 任你躁XXXXX麻豆精品| 丁香五月激情图片婷婷| 天天插天天射天天干| 一逼色综合| 五月在在观看| 色色色婷婷五月| av九九| 热99色| www.99精品视频| 色婷婷丁香| 五月丁香婷中文字幕| 丁香五月天AV| 亚洲成人在线免费| 婷婷94s| AV动漫不卡无码免费| 二色av| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 婷色五月| 五月综合丁香婷婷| 99爱免费视频| 噼里啪啦在线观看免费完整版视频| 91精选国| 久色姿源| 久久99网| 激情五月天99色| 91Chinese在线| 欧美激情-区二区三区| 影音先锋偷偷色男人站| 99视频日韩| www.婷婷五月天.com| 狠狠狠狠狠草| 91打屁股免费看| 九九综合色综合| 激情宗合网激情五月天| 国产美女无遮挡裸体毛片A片 | 偷拍九九热| 99热国内精品| 久狠狠| 欧美性做爰大片免费看办公室 | 欧美性生交XXXXX无码小说| 欧美婷婷综合| 大陆肏屄视频| 丁香五月亚洲综合丝袜| 婷婷激情五月天亚洲综合| 精品女人九九九| 丁香六月婷婷基地| 色婷婷九月综合| 伊人久久婷婷| 91vip在线观看| 激情综合网五月天| 久久久九九视频精品18| 日本婷婷| 人人97碰| 91丨九色丨东北熟女| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 噜综合| 五月天丁香综合| 超碰成人影视| 99视频在线精品免费观看2| 国产肥白大熟妇BBBB视频| 久久久婷婷| 99久精品视频| 久久婷婷影院| 久久五月婷| 激情四射婷婷| 夜夜夜夜夜操| site:wpjngj.com| 色噜噜狠狠色综合日日| 99热最新精品| av色婷婷| 欧美99| 久久视频婷婷| 久久久18| 四LLL少妇BBBB槡BBBB| VA五月激情在线| 99热91| 99久久精品色老| 极品另类| 婷婷五月天色色| 亚洲九区| 开心激情久久久久久久| ss视频xx91| 午夜天堂一区人妻| 欧美成人网99网| 亚洲韩国日产综合AV| 婷婷五月丁香综合激情| 激情五月份婷婷| 日本美女五月天| 日熟女| 9月色婷婷| 丁香五月色网| 婷婷六月天| 五月色情婷婷开心五月色情| 日韩AV免费| 狠狠草狠狠草| 亚洲小视频免费播放| 欧美色频| 五月婷婷无码| 色婷丁香五月| 亚洲成人精品三区| 五月婷在线观看| 天天爽天天日人人爱| 在线中文AV| 99热免| 9999热在线免费观看| 99色热| henhencao国产在线| 中文字幕在线免费看线人| 丁香五月在线观看完整版| 亚洲12p| 色99欧洲色19| 六月婷婷六月天天在线免费| 嫩模草| 99激情视频| 天天性视频| 黑人糟蹋人妻HD中文字幕| 伊人色综在线| 亚洲国产精品五月天| 天天干在线播放| 亚洲美女网Va| .青娱乐天天操B| 天堂草在线看www| 51XX午夜影福利| 亚洲V国产V欧美V久久久久久| 五月婷婷网五月在线| www.精品99| 久久大国产香蕉| 婷婷五月天综合网| 伊人久久丁香婷婷六月五月综合| 99色色热热| 91在线看片| 九九热在线99| 久久99大全| 这里只精品| 无码髙清| 天天艹| 婷婷丁香六月天| 五月综合六月婷婷| 亚洲1区| 中文字幕成人| 99在线观看| 深夜激情网| 俺来也综合网精品一区| 久久婷婷91| 中国无码av| 日日天天干| 第四色婷婷丁香五月| 91日韩在线| 大香蕉伊然在亚洲90| 九九热精品| 91热在线| 91九色视频| 天天操比比| 天天日夜夜B久久| www.henhenl| 男人的天堂在线婷婷| 成人免费120分钟啪啪| 五月天激情影院| 夜夜干夜夜操| 久久这里只精品| 丁香五月天精品| 色婷婷丁香网| 五月丁香手机在线| 98色花堂98t.R| 婷婷天堂综合网| 麻豆AV一区二区三区| 99精品热| 激情婷婷五月天| 中文字幕成人| 99热最新| 香蕉久久国产AV一区二区| 久久激情综合| 97caop| 精品亚洲国产成AV人片传媒| AV中文网| 久久九九re热| 精典久久| anquye伊人| 婷婷六月丁香开心深深爱| 色五月婷婷av| 久热这里只有精品在线观看| 欧美性猛交99久久久久99按摩 | 激情五月婷婷在线观看| 婷婷色婷婷| 五月婷在线观看| 99色精品| 婷婷中文字幕| 色婷婷六月| 色和综合网| 五月丁香婷婷色啪| 激情五月天福利| 任我干视频在线观看| 丁香色婷婷色手机免费在线| 9久热在线精品| 久草九九| 婷婷和五月天| 夜夜爽天天| 色婷婷欧美在线| 手机AVAV天堂看网| 激情綜合W W W,激情五月天| 综合婷婷| www.金莲av| 东北熟女高潮99综合99| 丁香色五月 97干| 五月激情五月丁香| www激情com| 久久99热免费最新版| 91精品婷婷国产综合久久| 五月天婷婷综合| 欧美在线| 免费国产视频| 99热精品一区| 在线婷婷| 亚洲亚洲人成综合网络| 操97在线观看| 天天操五月天| 久久激情综合| 五月天国产| 91欧美| 亚洲愉拍99热成人精品| 久久久久久9| 77799热| 大大香蕉综合在线| av在线资源| 欧美va| 色色日本欧美| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 国产日韩欧美性爱| 天海翼中文字幕高| 五月综合色| 精品久久久久久久久久久久人妻| 久久婷婷精品| 久久久久久久久久婷婷| 无码人妻一区二区三区四区| 日韩成人av在线| 爱99干99| 国产日批视频免费播放| 五月丁香欧美综合| 91综合网| 婷婷激情五月天色| 一起草AV| 极品色丁香| 色色色色色色色色色999| 国产日韩欧美| 久久久久久久11111111111| 98色花堂98t.R| 99秘 在线| 伊人婷婷大香蕉| 久久久久久久久久久-久五月天婷婷| 丁香五月婷婷av| 人人看人人要| 在线观看免费观看在线9久| 日本激情91| 婷婷丁香综合| 一二线视频 另类| 欧美久久婷婷| 99热一区| 丁香五月色情av| jiujiu热在线视频| 久久与婷婷| 五月丁香影视| 激情婷婷内射| 丁香五月社区| 这里只有精品热| 久综合| 丁香狠狠操| 五月丁香久久丝袜啪啪| 九月婷婷人人操人人舔人人爱| 狠狠狠婷婷五月综合| 操97| 秋霞性爱AV| 丁香激情五月| 最新久久网址| 在线成人网站| 久久久久久xxxxx| 人妻啪啪啪| 五月婷视频久久| 婷婷激情九月| 五月天色导航婷婷资源婷婷| 97人人干| 99爱这里只有精品| 亚洲色无码A片一区二区麻豆| 亚洲 综合中文| 日本色五月| 色婷婷五月开心六月综合| 玖玖无码中文| 五月丁婷香| 激情五月婷婷五月丁香五月开心五月| 久久超视频| 66成人网| 操操啪| 五月天婷婷综合网| 26uuuavcom| 99激情网| 播丁香五月婷婷欧美| 亚洲五月天狠狠| 大香蕉220| 五月婷婷综合潮喷| 亚洲综合另类| 婷婷五月丁香五月| 日韩精品二三区| 9久久网| 开心五月激情网| 中文字幕视频在线播放| 婷婷色色网| 天天开心AV色综合婷婷五月天| 色婷青青| 丁香五月情| 一级片sese片.COM| 九九九激情网| 亚洲成人网站在线观看| 欧美另类五月激情| WWW.久久久久久久久久久久久| 婷婷综合激情| 国产亚洲精品人人| 丁香激情五月| 亚洲在线播放| 久久久性爱视频| 伊人狠狠狠综合| 停停综合色色| 五月婷婷影院| 五月色欧美| 色五月大香蕉婷婷| 午夜精品人妻无码一区二区三区| 五月天激情开心网| 91操人视频| 亚洲丁香五冃97色| 人人爱国产| www.热99热| 午夜成人网站在线观看| 日韩五月婷婷久久| 亚洲激情在线| 99在线免费视频| 五月婷婷和六月| 伊人9在线| av五月天婷婷丁香| 亚洲激情在线| 狠狠久久婷五月| 青草久久五月婷伊人| 综合激情九月婷婷,激情综合婷婷中文字| 婷婷六月天激情| 婷婷爱五月天| 五月天久久婷婷| 五月丁香美女| 婷婷午夜精品久久久| 色伊人91在线视频| 超碰精品在线| 26UUU欧美| 五月丁香婷中文| 亚洲无码www| 少妇高潮呻吟A片免费看软件| 婷婷亚洲综合| 亚洲亚洲永久无码777777| 五月香婷婷| 99免费青青蜜臀| 97久久人人人干| 97人人射| 色色婷婷丁香五月天| 激情五月婷婷综合网| 97久久视频| 五月婷婷导航| 国产操逼视频网站| 蜜乳AV成人| 强壮公让我夜夜高潮A片视频| www.五月丁香| 激情性五月天免费小说视频| 五月天久久成人| 性色欲情 网站| 激情伊人网| 丁香五月婷婷久久久| 丁香五月婷婷图片综合| 欧美婷婷| av亚洲国产小电影| 丰满少妇乱A片无码| 色色操| 丁香色五月天| 久草热在线视频| 欧美日朝成人| 色婷婷婷婷| 婷婷五月天Av| 国产超碰在线| 欧洲亚洲免费视频9| 婷婷综合一二三| nvrentiantang av| 五月婷婷色综图片| 婷婷色五月天在线观看| 99热思思| 婷婷综合五月天| 思思热视频在线| 五月天综合久久| 久久婷婷久久| 99久在线视频| 欧美精品啪啪| 天天操夜夜啊| 思思re视频在线| 丁香美女主播视频在线观看| 青青草成人网| 91精品婷婷国产综合久久| 97碰碰在线看视频免费| 久久精品性爱| 99热在线极品极品| 99久在线精品99re5热视频| 色婷婷婷婷| 丁香五月先锋| 激情五月婷婷丁香| www.99热国产| 成人丁香五月婷| 极品色丁香| 一级黄色影片| 婷婷综合六| 六月丁香综合| 日日夜夜婷婷| 中文字幕AV网址| 26uuu国产| 少妇性按摩无码中文A片| 91|疯狂丨高潮丨对白| 五月停停99| 激情啪啪五月| 天天日夜夜草进麻麻的子宫| 九九99精品视频在线观看| 五月丁香欧美综合| 天天日天天久久青青| 久久婷婷草| www久久久| 五月丁香婷色| www.婷婷五月| 国产乱妇无乱码大黄AA片| 色99综合色88| 在线中文av| 清色五月天| 人人草人| 99综合免费视频| 亚洲无码免费看| 97超碰综合| 青草热视频这里只有精品| 天天摸天天舔| 色婷婷成人做爰A片免费看网站| 大香蕉伊人丁香五月| 丁乡久久| 337午夜福利| 久草婷婷| 激情九九六月激情免费视频| 色七色九九| 久青草影院| .精品久久久麻豆国产精品| 性爱七区| 天天做天天爱天天玩夜夜爽| 九月丁香| 五月婷婷六月丁香首页| 丁香五月在线视频黑人| 91婷婷| 九月色婷婷综合亚洲| 久久这里精彩免费在线观看| 婷婷婷婷婷开心无码播放| 天天色情站| 嫩草视频观看| 丁香六月高清视频| 婷婷五月天黄色| 久草五月丁香婷婷综合| 翔田千里无码| 国产成人网站在线观看| 99在线热| 激情AV在线| 丁香影院五月综合| 五月丁香六月激情综合啪啪| XX色综合| 色色婷| 婷丁香五月天| 久久在线视频免费观看| 久久激情视频99| 婷婷五月在线播放| 热99一二三| 夜夜撸日日骑| 五月天久久小说| 激情五月丁香色婷婷| 日韩色色视频| 婷婷五月天激情文学小说| 色五月婷婷基地| 91日韩美女被插视频| 国产裸舞福利资源在线视频| 九九99久久| 九九综合伊人| 亚洲成人免费电影| 91综合在线| 国产精品久久..4399| 婷婷 伊人 久久| 精品无吗va视频免费观看| 日韩三级高清无码| 久久综合网免费视频| 久久婷婷五月天| 九九综合伊人| 精品婷婷丁香五| 春色激情| 五月丁香综合| 男人的天堂婷婷色五月| 色 五月婷婷基地| 国产亚洲精品AAAAAAA片| 99这里只有精品视频在线| 人人摸人人干| 色婷婷色情| 97人人干视频| 夜夜爽天天爽| 五月丁香婷婷综合网| 狠狠色丁香| 五月丁香婷婷福利| AV在线不卡播放| 99热精品9| 成人性生活免费观看。| 久久五月天综合| www.五月天婷婷| 久久新地址| 婷婷激情伍月网| 成人国产欧美大片一区| 久久激情五月婷婷| 99热亚洲| 中国丰满熟女A片免费观| 久久久99精品| 色一情一乱一乱一区9| 丁香婷婷五月天激情四射| 26uuu青青| 午夜伊人大香蕉| 99精品大片| 久久久99久久| 九九色网专区| 色人久久| 五月丁香六月花| 69人妻人人澡人人爽久久| www.婷婷| 天天插天天玩天天干| 超碰在线网站9| 操逼巨乳91| 婷婷六月丁香开心深深爱| 黄网在线免费| 色婷婷欧美| 啪啪激情网站| 色婷婷文字幕| 性做久久久久久久免费看| 久久婷婷五月天激情唯美| www.sebowuyue| 欧洲色色| 日本久久性| 激情二色月| 天堂五月婷婷| 老师高潮流白浆喷水的A片| 婷婷五月电影| 思思热在线精品视频网站| 伊人五月天97| 婷婷色色丁香五月天| 欧洲日韩一区二区三区| 亚洲五月天婷婷| 超碰人人插| 五月亭亭六月天| 成人五月天视频播放| 开心婷婷中文字慕| 伊人五月天97| 天天日日| 久久ww| 第四色婷婷丁香五月| 成人五月天在线观看| 婷婷五月天综合亚洲| 色人久久| 日本天堂免费99| 五月天电影网| 色色婷五月天| 色色色色色级无码| 国产超碰在线| 色欲五月婷婷| 婷婷五月天大香蕉| 丁香九色不卡aaa| 99热在线观看| 91超级碰| 思思久久99| 五月天久久婷婷| 欧美性丁香色色五月天干干| 99热费观看| 五月激情开心婷婷| 免费的日逼视频| 男女99免费视频| 六月婷婷九月丁香| 9久久久| 操逼五月天| 五月伊人91| 久久97久久99久久综合欧美| 99精品偷自拍| 成人无码髙潮喷水A片| 亚洲天天操| www.狠狠| 这里只有精品视频在线| 丁香五月中文字幕色播| 色色热| 免费亚洲婷婷五月| 夜色综合网| 激情综合网五月婷婷| 色色色色av色色色色| 色综合久久88色综合天天| Jh7Uf088VHafNm| 亚洲激情图文小说| 婷婷五月天美女| 狠狠草天天草| 啪啪五月天啪啪| 99秘 在线| 婷婷爱综合| 色婷丁香五月| 婷婷五月天人妻| 夜夜撸日日骑| 亚洲bt丁香五月天婷婷激情小说| 天天插AV丝袜中| 亚洲综合色色色| 色色无码| 囯产精品久久欠久久久久久九大| 激情综合婷婷| 久久婷婷五月天丁香| 五月丁香婷婷伊人日韩| 婷婷综合日本| 99色综合网| 丁香五月天色| 成人色色视频| 玖玖爱综合网| 67194成I人在线观看线路1| 激情六月综合| 最新无毒无码AV| 中文字幕久久婷九女同| 色色婷婷色色| 婷婷八月激情| 99爱免费视频| www.婷婷六月天| 婷婷99狠狠| 国产亚洲精品久久久久久久久动漫| 校园春色亚洲色| 26.uuu丁香五月婷婷| 第四色婷婷日本| 天天综合天天玩夜夜玩天天玩夜夜玩| 五月婷婷丁香俺日污视频| 男女99免费视频| 国产精品久久久久久久久久久久 | 五月婷婷丁香瑟瑟视频| 99re热在线视频| 国产偷人爽久久久久久老妇APP| 91热在线观看视频| 婷婷五月成人| 噜噜色com| 99九九视屏| 九九这里是免费的视频5| 2018国产大陆天天弄| 五月婷免费视频| 立川无码av| 狠狠色成人影片| 人人操AV| 五月丁香黄色| 射久久丁香五月| 99性视频| av操B网站| 秋霞免费三级片| 99热精品在线免费观看| 99re在线播放| 亚洲永久免费| 日撸夜撸日操| 99热这里只有精品在线观看| 97人妻碰碰碰久久久久-最近国语高清| 婷婷五月天成人导航| 丁香六月色婷婷| 日日夜夜狠狠| 九九综合九九| 色色色色网站| 日操夜操天天操不卡| 久久视屏这里只有久久| 4438激情网| 91色呦哟| 99热成人精品| 另类天堂| 丁香五月手机视频| 五月丁香六月婷婷手机无线| 97人人射| 国产欧美日韩性爱| 伊人久久大香网| 久久九九re热| 天天爱夜夜爽| 激情五月丁香五月| 96精品久久久久久久久| 激情色色色| 久久九九热38| 丁香五月激情六月综合| 欧美婷婷五月丁香| www.婷婷六月天| 少妇性按摩无码中文A片| 九九艹女| 99热国产在线| 色九九综合色| www.人人操人人看人人想人人摸 人人人人操,COM| 大香蕉久久久久| 婷婷丁香宗合888| 五月天天综合| 婷婷色偷拍| 五月激情婷婷在线| 乱精品一区字幕二区| 狠狠88综合久久久久噜噜噜| 99在线免费视频| WWW.天天日| 99久视频| 日本精品。999| 色五月婷婷影院| 久久久久久久久久久97| 婷婷五月天成人| 五月天综合久久丁香91| 婷婷人人操| 99日本黄站| 婷婷六月丁| 99热大全在线观看| 国外亚洲成AV人片在线观看| 情欲综合网| 色婷婷丁香女女| www.夜夜夜| 亚洲精品国产A久久久久久| 天天色,天天操,天天射| 99热免费精品| 婷婷成人网五月天| 无遮挡国产高潮视频免费观看 | 台湾无码A片一区二区| 五月婷婷中文字幕| 久久永久网址| 婷婷丁香五月综合| 久久永久网址| 99ER热精品视频| AV五月婷婷露脸| 五月婷婷日| 婷婷五月天综合AV| 一级性感黄色内射视频| 九九这里只有精品| 五月色情网| 综合九色| 五月丁香亚洲综合| 色婷丨日丨天丨综合久久| 97干在线视频| 久久九九蜜| 欧美超级视频97| 色99在线视频| 天天日天天干天天插天天射| 99狠狠操一| 色色无码| 五月色婷婷激情| 亚洲有码在线视频| av在线资源| 天天爽天天摸| 综合久久综合| 丁香花社区av| 久久五月视频| 色九九一二| 99色视频在线| 婷婷五月天激情诱惑| 噜噜噜狠狠色综合| 嘿嘿视频免费看9| 人人爱操| 开心亚洲久久开心| 久久婷婷人人| 婷婷丁香社区| 五月婷婷深深爱| 午夜性爱影视一区77| 色婷婷五月天偷拍| 久久97久久99久久综合欧美| 91色在线 | 日韩| 色欲丁香久久| 丝袜人妻| 婷婷伊人综合| 狠狠色婷婷7777久| 久久婷婷五月综合色丁香| 天天插夜夜爽| 日韩操人| 亚州精品成人片| 福利视频在线播放| 激情五月天网| 只有精品在线观看| 超碰在线免费9| 欧美日本免费一道免费视频| 超碰人人操人人干| 能直接看的av网站| 深爱丁香激情| 色六月天天激情综合网| 激情综合在线观看| 亚洲图色五月天| 九九热最新| 久久92| 婷婷激情五月色综合| 国产精品噜噜在线视频| 91久热| 五月婷久久久| 曰本aaaaaa丈片| 国产欧美性成人精品午夜| 九九这里都是精品| 天天日夜夜曹| 五月色天情| 99色看| 五月丁香网av| 国产免费一区二区在线A片视频| 一级内射毛片| 96精品成人无码A片观看金桔 | 国产91九色| 东京热人妻一区二区三区在线| 亚洲无AV在线中文字幕| 色婷婷久久综合| 97色啪| 五月丁香激情综合网| 丁香五月欧美激情| 亚州精品久久久久AV无码| 色综合色欲综合天天免费 | 日韩色色视频| 丁香五月婷久久| 综合狠狠干| 国产精品成人网址| 中国女人内射6XXXXX| 日本不卡中文字幕| www.婷婷,com| 色私五月婷婷| 强伦轩人妻一区二区电影| 极品另类| 99热这里都是精品| 91丨九色丨丰满人妖| 色呦呦美女| 精品久久9| 99久热在线精品| 99热偷拍| 成人av在线电影| 色婷婷免费观看| 99视频久久| 婷婷香蕉| 日日夜夜狠狠| 激情涩播| 色级婷婷| 波多婷婷久久| 中文字幕久久婷九女同| 婷婷五月综合啪| 大香蕉久久草| 激情色播| 99er精品| 森林影视大全,最好看的2019年视频 | 婷婷五月天熟妇| 婷婷五月天狠狠搞干| 六月婷婷久久| 五月婷婷激情综合网 | 激情五月天综合| 嫩草AV久久伊人妇女超级A| 亚洲综合色色色| 欧美这里只有精品| 风流少妇A片一区二区蜜桃| www.lchjjc.com| 激情五月婷黄版| 六月婷婷七月丁香| 99热在线观看| 色五月视频无码播放| av操一操| 婷婷色在线视频| 色五月丁香五月| 久久九九99视频| 狠狠色大香蕉| 丁香5月激情网| 91综合色| 五月综亚洲| 亚洲亚洲激情| 婷婷五月天堂一本在线| 亚洲综合草草| 欧亚成人A片一区二区| 婷婷在线日韩综合| 91人人操人人爱| 丁香五月婷婷色五月| 午夜无码精品色综合久久| 99亚洲无码| 亚洲久热| 亚洲图片 丁香婷婷| 9|无码久久久久久| 狠狠草天天草| 亚州操人在线视频| 91精品综合久久久久久五月丁香| 色一情一乱一伦一区二区三区| 久久久久久久久久久久久久久久一道本| 亚洲综合在线网站| 五月婷婷狠天天色综合| 婷婷六月花| 五月叮香啪| 五月婷婷9| 五月婷婷免费在线| 色五月婷婷网| 六月丁香开心婷婷欧美| 丁香五月婷婷激情四射| 超碰精品手机在线| 色婷婷网| 色色色com| 国产精品成人在线| 99re99热| 五月婷婷啪啪| 激情五月婷婷综合秋霞| 亚洲AV成人在线| 99爱这里只有精品免费视频| 国产欧美日韩综合精品一区二区| 4399在线观看免费高清黄色视频| 婷婷丁香五月天色播网站| 996er热| 国产精品久久久久久喷浆| 日韩久操婷婷| 婷婷六月爽| 91婷婷丁香| 免费人人操| 亚州精品久久久久AV无码| 五月天婷婷激情| 久久99免费视频| 久久av电影| www.五月天婷婷| 91丨九色丨熟女丰满| 色婷丁香五月| 五月婷婷婷| 男女激情久久| 丁香六月啪啪| 激情五月天婷婷在线网址发给我 | 任你日视频| 免费无码毛片一区二区A片| 99热九九这里只有精品| 另类视在线| 色五月婷婷777| 人妻自慰在线| 色狠狠综合网| 97色综合视频| 五月丁香婷婷俺| 无码少妇高潮喷水A片免费| 99re热视频这里只有综合亚洲| 婷婷深爱五月天| 婷婷丁香婷婷97| 欧美天天性| 五月网站| 99热99思午夜精品| 97干在线| 九九色中文| 丁香五月AV| 婷婷五月天成人导航| 国产激情综合| 久久精彩综合视频| 99色精品| 五月丁香琪琪| 色九九九九| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 久久婷婷丁香六月天| 五月婷婷久草| 国产色五月| 国产又色又爽又黄又免费| 色婷婷丁香五月在线| 色九月婷婷| 丁香五月婷婷深爱综合激情| 99色在线视频| 欧洲激情五月天婷婷| 亚洲精品又粗又大又爽A片 | 久久机热这里只有精品免费视频| 色婷婷久久综合| 九九99在线免费在线观看视频| 六月丁香啪啪| 玖玖色资源站| 五月停性愛| 亚洲成人av在线播放| 黄色成人网站在线播放| 色色免费网站| 99在线热| 亚洲激情综合| 香蕉久久av一区二区三区| 婷婷综合伊人丁香| 久久大大香| 六月丁丁香| 99熟女| 久久婷婷五月| 久久一二三视频| 综合九九久久| 色99在线视频| 色色色视频| 91女人18毛片水多国产| 99热这里只有精品免费| 欧在线一区| 26uuu在线观看| 91偷拍视频| 三人荫蒂添的好舒服A片| 99色播| 色情终和网| 丁香六月婷婷久久综合| 激情五月深爱五月观看| av操逼网| 综合网亚洲| 中文字幕成人影视| 97色色色| 夜夜爱网站| 色狠狠激情五月| 色综合激情图区| 伊人激情影院| 六月激情婷婷色| www。五月,com| 99这里都是精品6| 丁香婷婷精品视频| 一区操| www色色com| 久久色情综合免费网站| 9.1综合网| 超碰人人妻| 91一起操| 天天操综合网站| 欧韩性爱| 色一情一乱一乱一区9| 婷婷午夜| 超碰不卡在线| 婷婷日日天天| 91超级碰碰碰| 欧美久人人| 日韩色色视频| 99精品热| 久久婷婷五月天激情| 六月婷婷久久| 日韩一级| 天天干,夜夜爽| 九九热自拍| 九九99视频| 五月婷婷久久爱| 亚洲AV网站| 91夫妻网站九色| 狠狠操狠狠| 久久婷婷综合基地| 玖玖五月丁香| 久色资源网| 思思热性操| 亚洲 综合中文| 99久久婷婷国产综合精品草原| 午夜日日| 在线观看日韩12345区| 久久五月视频| 日韩一级网站| 九九热思思| 久久aaaa片一区二区| 性生活视频98791| 9999热精品| 亞洲自怕| 欧美色片中文字幕久久久久| 99网| 激情九月婷婷| 激情综合在线观看| 丁香五月天激情综合| 久久久精品色色色| 99精品无码网站| 五月天天天开心激情网| 久久五月丁香| 这里有精品99| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 91视频一起草| 激情五月综合第一页| 狠狠色噜噜狠狠| 综合网色综合| 丁香五月WWW| 亚洲色五月婷婷| 99热销国产这里有精品| 99色免费| 丁香婷婷基地| 丁香五月六月欧美| 99热国产国产| 五月丁香六月婷婷在线小说视频| 成人va在线观看视频| 五月婷婷av| 成人网站在线观看视频| 丁香啪啪| 色热久资源| 婷久看人爽| www.粉嫩av.com| 人人澡天天色天天做| 永久思思热在线| 狠狠综合网| 国产AV一区二区三区日韩| A久久| 99精品免费| 专区无日本视频高清8| 亚洲乱码日产精品BD| 人人插操| 色噜婷婷| 色婷操逼| 丁香五月综合高清在线| 亚洲综合新99视频| 国产欧美日韩一区二区三区| 婷婷丁香五月高清| 26uuu国产| 美国十月色婷婷在线观看| 99热这里只有精品4| 狼人婷婷综合| 丁香六月欧美| 荫道BBWBBB高潮潮喷| 影音先锋日本三级资源| 超碰妻人人| 99狠狠操一| 天天摸.天天mo| 色综合色综合色综合| 五月丁香在线| 色情五月婷婷| 久久视频在线视频| 丁香五月激情五月| 九九综合网色全集| 欧美人人操| 99久久成人| 丁香五月婷婷香| 99这里只有| 91热爆在线| 中文字幕免费高清电视剧| 国产91在线视频| 欧美超级视频97| 99热 免费| 五月丁香啪啪综合| 99久久激情视频| 51精品国内探花| 成人丁香五月| 亚洲色综久久五月| 色亚洲欧洲| 殴美激情综合网| 香蕉久久av一区二区三区| tingtingseav| 久久久久久久丁香五月天婷婷| 嫩草综合网| 婷婷久久精品| 色色丁香| 婷婷五月网图片区| 丁香六月开心| 99色免费视频| 久久久久人妻| 欧美性色A片免费免费观看的| 久热精彩视频98| 天天色天天爱天天舔| 色色综合网络| 99视频在线精品| 日本人妻伦在线中文字幕| 丁香五月婷综合| 包操45分钟网站| 激情五月婷婷| 色欧美色色色| 婷婷五月天色色| 日婷婷久久开心| 欧美S码亚洲码精品M码| 91九色中文字幕女在线观看| 婷婷开心综合人妻小说网址| www.五月婷婷.com| 亚洲欧美综合7777色亭亭| 99精品在线| 丁香五月色欲| 五月天婷婷激情| 情色五月天网站| 噜噜噜噜噜色| 91婷婷| 4399在线日本A片| 五月丁香六月婷婷亚洲激情综合| www.色综合| 香蕉99网| 激情五月综合六月丁香婷婷狠狠干| 操碰97| 久热99热| 人人爽欧美婷婷久久久五月丁香| 91碰碰碰| 五月丁香六月婷综合成人综合| 色欲色香伊人| 操逼五月婷婷| 天天摸天天爽| 91蜜桃婷婷狠狠久久综合9色| 婷婷五月天六点丁香五月| 26uuu亚洲| 最近中文字幕大全免费版在线 | 深夜男女福利刺激影院一区完整| 婷婷六月综合激情| 亚洲 欧洲 国产 伦综合| 五月丁香青草综合啪啪| 成人中文网| 四虎成人精品永久免费AV九九| 思思热在线| 色玖玖网| 丁香五月婷婷大香蕉| 操碰色一区就去操| 欧美噜一噜| 就去色色五月丁香婷婷久久久| 秋霞影音91人妻久久| 久久女婷|