欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

全志SoC異構多核啟動與調(diào)試實踐:RISC-V從核電源時鐘與OpenSBI

全志SoC異構多核啟動與調(diào)試實踐:RISC-V從核電源時鐘與OpenSBI 先說點背景。這篇文章是“Bringing Up Heterogeneous RISC-V on Allwinner SoCs”的第二部分。第一部分主要聊了怎么把最小系統(tǒng)跑起來比如串口、時鐘、DDR 初始化還有怎么把 OpenSBI 引導進內(nèi)核。這一部分重點完全不同我們要面對的是真正的深水區(qū)異構多核。全志的 SoC 上RISC-V 核心往往不是孤零零一個而是和 Arm 主核、DSP、NPU 混在一顆芯片里有各自的內(nèi)存視圖、中斷控制器和電源域。把其中一個 RISC-V 核拉起來只是開始讓它們協(xié)同工作、不掉鏈子才是真正考驗功夫的地方。這篇文章適合誰適合已經(jīng)在嵌入式 Linux 或 RTOS 里摸爬滾打、做過一些板級 bring-up但還沒系統(tǒng)性處理過異構多核的人。看完之后你應該能理清全志異構平臺的啟動鏈路知道電源域和時鐘域要按什么順序處理理解 SBI/HSM 和 CPU hotplug 在啟動從核時扮演的角色也知道內(nèi)存一致性和消息通信該怎么驗證。內(nèi)容會比較硬核但我會盡量把每一步的“為什么”講清楚而不是直接甩一段寄存器操作讓你照著抄。1. 異構架構與啟動鏈路全景解讀1.1 異構從哪來一顆SoC里住著幾套“CPU世界觀”先明確一個概念這里的“異構”不是簡單的“大核小核”同構多核比如四顆 Cortex-A53而是指同一顆 SoC 里集成了不同指令集架構、不同特權級設計、甚至不同總線主控權的 CPU 核心組合。在全志的平臺上你經(jīng)常能看到這樣的組合一顆或幾顆 Arm Cortex-A 系列核心作為主控跑 Linux一到兩個 RISC-V 核心常見的是平頭哥 E907、C906、C910 這類用來做協(xié)處理、實時控制、低功耗偵聽或者干脆做 DSP 替代外加 NPU、DSP 這類加速器。為什么這么設計典型的場景是Arm 核跑復雜的應用系統(tǒng)但實時性不夠穩(wěn)定RISC-V 核跑 FreeRTOS 或者裸機任務專門處理中斷密集的 I/O 和傳感器數(shù)據(jù)。兩者共享 DDR各自又有私有的 SRAM。從硬件視角看它們就是“兩個世界”——不同的啟動地址、不同的時鐘源頭、不同的中斷號分配甚至看到的外設地址空間都有一部分是私有的。這對做 bring-up 的人來說意味著什么意味著你不能再用“一顆 SoC 一套 CPU 一套外設”的思維。你要同時管理至少兩套啟動流程協(xié)調(diào)兩個運行域的資源還要保證它們沒有互相踩踏。很多人第一次做這種平臺時最容易犯的錯就是只盯著自己要帶起來的那顆 RISC-V 核忽略了它和主核之間共享的資源PLL、DDR 控制器、MBUS、中斷控制器其實早就被對方初始化過了。1.2 啟動鏈路拆解從 ROM 到多核協(xié)作的完整旅程全志異構 SoC 的典型啟動鏈路我把它拆成了下面這幾個階段階段執(zhí)行主體主要任務是否涉及 RISC-V 核ROM BootSoC 內(nèi)置 ROM從 boot device 加載下一級引導SPL/Boot0通常不ROM 固定只會拉起主控核SPL/Boot0Arm 主核初始化 PLL、DDR、串口、存儲控制器不直接涉及但會配置到 RISC-V 核的電源和時鐘門控固件層OpenSBI/U-BootArm 主核進入 EL2/M-mode加載內(nèi)核和設備樹準備啟動 Linux會用到 SBI 的 HSM 擴展來管理從核內(nèi)核啟動Arm 主核SMP 初始化時依次喚醒 RISC-V 從核從核通過 SBI 調(diào)用或 DT 里的 enable-method 被拉起運行期協(xié)作所有核核間通信、共享內(nèi)存、設備中斷分發(fā)多核同時運行需要一致性保障這里有個很關鍵的點全志的 ROM 和 BootROM 階段默認只負責把主控核一般是 Arm 核帶起來。RISC-V 從核在系統(tǒng)上電后處于什么狀態(tài)通常是電源域未開啟、時鐘被關閉、復位拉死。也就是說它并不是悄悄地“空轉”而是徹底“斷電休眠”。所以整個 RISC-V 從核的 bring-up本質(zhì)上就是在啟動后期由主核主動完成一次“上電、解復位、加載固件、釋放啟動”的完整動作。搞清楚這條鏈路后面所有工作都是倒著往前推先讓主核的系統(tǒng)穩(wěn)定跑起來再一點點把從核的資源打開。2. 電源域與時鐘把從核“通電”是第一步2.1 電源域管理為什么不能一開始就把所有核都上電很多第一次做的人會有一個直覺上電就把所有核心的電源打開不就省事了嗎全志的 SoC 設計恰恰相反——它把不同核心的電源域做成可以獨立控制的目的就是讓你在低功耗場景下可以隨時關掉用不到的核心。這也是“異構”的真正價值之一按需供電。在全志的電源管理框架里你需要注意幾類寄存器電源開關控制POWER_SW_CTRL控制某個 CPU 域或 CPU 邏輯域的開關。復位控制CPU_CFG / CPU_RST控制每個核的復位釋放。時鐘門控CLK_GATING控制 CPU 核的時鐘開關。以我調(diào)試過的平臺為例RISC-V 從核的電源域在默認狀態(tài)下是“已關閉且保持復位”的。你要按下面這個順序操作先把 CPU 電源域的供電開關打開等待電源穩(wěn)定通常需要輪詢電源狀態(tài)寄存器或者簡單延時幾十微秒再從時鐘樹里把 RISC-V 核的時鐘門控打開最后才釋放復位信號。這個順序不能亂。如果你先釋放復位再打開時鐘核心會處于“時鐘不存在卻開始執(zhí)行指令”的狀態(tài)輕則掛死重則總線訪問異常導致整個系統(tǒng)卡住。我曾經(jīng)因為圖快跳過電源穩(wěn)定等待在 10 次啟動里有 3 次出現(xiàn)從核取指異常后來查了好久才發(fā)現(xiàn)是電源未穩(wěn)就釋放了復位。2.2 時鐘樹與分頻配置從核跑多快不是你說了算全志的時鐘樹比較復雜但核心原則就一條CPU 核的時鐘來自 PLL 分頻而 PLL 通常已經(jīng)被主核初始化過了。你不需要自己創(chuàng)建一個新 PLL但你必須知道從核的時鐘源掛在哪個 PLL 的哪條分頻鏈路上。實操層面的步驟大致是找到該 SoC 用戶手冊里的時鐘樹框圖定位 RISC-V 核的時鐘源比如“CPU1_CLK_SRC”或“RISC-V_CLK”確認它的父時鐘是哪個 PLL以及當前頻率配置分頻系數(shù)讓從核運行在目標頻率打開時鐘門控并等待時鐘穩(wěn)定。這里最容易踩的坑是全志經(jīng)常把兩個核的時鐘源放在同一顆 PLL 上但允許獨立分頻。比如主核跑 1.2GHz從核可以通過分頻跑到 600MHz 或 400MHz。如果你在調(diào)整分頻系數(shù)時改錯了父 PLL很可能直接把主核的時鐘也帶偏整個系統(tǒng)瞬間死機。分享一個我常用的檢查方法改動任何時鐘相關寄存器之前先把當前的寄存器值完整 dump 出來并存到一個文件里。如果系統(tǒng)死機可以通過 JTAG 反復對比確認是哪一步改出了問題。不要憑記憶寫寄存器這種平臺寄存器的 bit 位定義五花八門同一個偏移在不同型號上可能含義完全不同。2.3 實操心得電源和時鐘操作的安全寫法按我現(xiàn)在的習慣凡是做從核電源/時鐘初始化的操作我都會擺成下面這個偽代碼結構。具體的寄存器基址和偏移以你手頭 SoC 的用戶手冊為準。void riscv_core_power_on(uint32_t core_id) { // 1. 打開核心電源域開關 writel(1U core_id, POWER_SW_CTRL_BASE CPU_POWER_ON_OFFSET); // 2. 等待電源域狀態(tài)確認 while (!(readl(POWER_STAT_BASE CPU_POWER_STAT_OFFSET) (1U core_id))) ; // 3. 配置時鐘源和分頻 writel(CLK_SRC_SEL_A 8 | DIV_VALUE, CLK_BASE RISC_V_CLK_CFG_OFFSET); // 4. 打開時鐘門控 writel(readl(CLK_BASE CLK_GATING_OFFSET) | (1U core_id), CLK_BASE CLK_GATING_OFFSET); // 5. 釋放復位 writel(readl(CPU_CFG_BASE CPU_RST_OFFSET) | (1U core_id), CPU_CFG_BASE CPU_RST_OFFSET); }這個順序我跑了多款全志平臺都很穩(wěn)。但請記住不同芯片的寄存器布局差異很大比如有的平臺通過“寫 1 清 0”的方式控制復位有的用“寫 1 置位”有的在電源域穩(wěn)定之后還要求先寫一個“ack 寄存器”。拿到新的開發(fā)板第一步永遠是先讀一遍參考固件fex/SCP 固件里對應的初始化序列而不是自己發(fā)明輪子。3. 固件層搭建OpenSBI、M-mode 與從核喚醒3.1 為什么要先談 M-mode 固件RISC-V 特權級模型RISC-V 和 Arm 的一個顯著區(qū)別在于它的特權級設計非常清晰M-mode機器模式、S-mode監(jiān)管模式、U-mode用戶模式。Linux 內(nèi)核跑在 S-modeOpenSBI 跑在 M-mode。這意味著所有涉及 CPU 硬件狀態(tài)的操作比如修改 mstatus、處理 IPI、管理內(nèi)存物理映射都不能由內(nèi)核直接做而要經(jīng)過 SBI 調(diào)用。全志平臺上的 RISC-V 從核跑系統(tǒng)時通常有兩種模式跑裸機或者 RTOS全程留在 M-mode不需要 OpenSBI自己直接操作所有硬件。跑 Linux必須先把 OpenSBI 加載到從核的 M-mode然后從核的 Linux 才能啟動到 S-mode。對于異構 Linux 場景主流方案是每個 RISC-V 核都跑一份 OpenSBI通過 SBI 的 HSMHibernate Suspend Mechanism擴展來協(xié)調(diào)啟動與休眠。HSM 擴展定義了一組標準調(diào)用比如sbi_hsm_hart_start、sbi_hsm_hart_stop用來讓一個 hart 啟動另一個 hart。這可比你自己寫一套跨核啟動協(xié)議要可靠得多。3.2 用 SBI HSM 擴展喚醒從核標準路徑怎么走假設你的系統(tǒng)現(xiàn)在這樣Arm 主核已經(jīng)跑起了 LinuxRISC-V 從核的電源和時鐘已經(jīng)準備好復位也已經(jīng)釋放。接下來就是要讓從核的 PC 跳到一段合法的啟動代碼。用 SBI HSM 的方式整個流程是主核上的軟件通常是內(nèi)核里的 cpu_ops發(fā)起sbi_hsm_hart_start調(diào)用OpenSBI 在 M-mode 檢查目標 hart 的狀態(tài)OpenSBI 將目標 hart 的啟動地址寫入它的stvec并設置啟動參數(shù)目標 hart 從復位向量開始執(zhí)行先進入 OpenSBI 的冷啟動或 warm start 路徑OpenSBI 初始化完成后跳轉到內(nèi)核的啟動入口。這個過程里最常出的問題是從核的復位向量和stvec之間的關系沒理清。RISC-V 從核上電后第一件事是從芯片規(guī)定的復位地址取指——這個地址通常是一個 Boot ROM 或者固定的 SRAM 地址。但 OpenSBI 接管后真正做的是把啟動入口寫到stvec而stvec必須指向 OpenSBI 自己的 trap handler。如果你直接讓從核跳到一個裸地址比如你編譯的 Linux 內(nèi)核入口除非你完全繞過了 OpenSBI否則幾乎不可能成功。3.3 啟動代碼細節(jié)從核第一次“睜眼”看到的世界從核的啟動匯編我習慣寫成非常樸素的版本先做最基本的棧指針初始化、bss 清零然后跳到 C 代碼。下面是一段典型的從核啟動入口以 RISC-V 匯編為例.section .text.init .globl _start _start: /* 關中斷 */ csrw mie, zero csrw mip, zero /* 設置臨時棧 */ la sp, _stack_top /* 清零 bss */ la a0, __bss_start la a1, __bss_end 1: bge a0, a1, 2f sd zero, 0(a0) addi a0, a0, 8 j 1b 2: /* 跳轉 C 初始化 */ call riscv_secondary_main loop: wfi j loop這段代碼本身沒什么玄機但有兩個細節(jié)需要特別留意。第一個細節(jié)是wfi死循環(huán)必須有。從核如果在初始化完成之前被踩到未定義狀態(tài)至少還有一個低功耗等待的退路如果沒有這個循環(huán)從核會直接亂跳把總線搞得烏煙瘴氣。第二個細節(jié)是棧指針。很多從核的私有 SRAM 非常小可能只有 64KB 或者 128KB。你如果在鏈接腳本里把棧放得太大從核一啟動就把 SRAM 踩穿接著蓋掉 OpenSBI 或者內(nèi)核的關鍵數(shù)據(jù)。我一般會把從核的棧放在私有 SRAM 的最高地址并且限定大小不超過 16KB因為從核啟動階段根本用不了那么多??臻g。4. Linux 內(nèi)核側適配設備樹與 SMP4.1 設備樹里怎么描述異構多核設備樹是 Linux 內(nèi)核了解硬件拓撲的主要途徑。異構多核要正常工作必須在 DT 里把每個核的cpunode 以及enable-method寫對。一段典型的多核描述長這樣cpus { #address-cells 1; #size-cells 0; cpu0: cpu0 { compatible arm,cortex-a53; reg 0x0; device_type cpu; enable-method psci; }; cpu1: cpu1 { compatible riscv; reg 0x1; device_type cpu; riscv,isa rv64imafdc; mmu-type riscv,sv39; enable-method sbi; cpu-release-addr 0x0 0x45000000; }; };注意幾個容易搞錯的地方。enable-method必須匹配實際使用的啟動方式。Arm 核繼續(xù)用psciRISC-V 核用sbi這倆不能混。riscv,isa必須和實際硬件一致。如果你寫的是rv64imafdc但實際核不支持 F 擴展內(nèi)核在檢測到非法指令時會直接 panic。用cat /proc/cpuinfo檢查實際導出的 ISA 是排查這類問題的第一步。cpu-release-addr只在舊式 spin-table 方式下需要。如果你走 SBI HSM這個字段可以省略但有些老內(nèi)核或者定制內(nèi)核還是會參考它。4.2 PSCI、SBI、spin-table三套 enable-method 怎么選全志平臺上的異構多核可能的組合我列個表方便你看組合主核RISC-V 從核典型 enable-method適用場景主核 Linux 從核裸機ArmRISC-V無從核直接跑裸機實時協(xié)處理、I/O 偵聽主核 Linux 從核 RTOSArmRISC-Vremoteproc 或自定義需要框架管理生命周期同構 RISC-V SMPRISC-VRISC-Vsbi通用 SMP LinuxArm Linux RISC-V LinuxArmRISC-Vsbi通過 OpenSBI雙系統(tǒng)異構 AMP實際操作中我見過最多的是第一種Arm 主核跑 LinuxRISC-V 從核跑裸機或 FreeRTOS 完成特定實時任務。這種場景并不一定需要在內(nèi)核設備樹里給從核建 node反而用 remoteproc 框架管理更合適一個固件文件負責描述加載地址、啟動地址和資源表。如果你堅持要讓從核也跑 Linux那就要走完整 SBI 路線。SBI HSM 比 spin-table 的優(yōu)勢在于它不僅能熱插拔還能處理休眠和低功耗狀態(tài)。但代價是每個從核都要有一份獨立的 OpenSBI而且在共享 DDR 上要處理好內(nèi)存空洞和保留區(qū)域否則主核 Linux 的內(nèi)存管理會覆蓋掉從核的代碼段。4.3 啟動日志解讀怎么看從核有沒有被真正拉起判斷從核是否成功啟動最直接的辦法是看主核內(nèi)核日志里有沒有類似下面的信息smp: Bringing up secondary CPUs ... [ 0.186093] smp: Booting CPU1 (cpu 1) [ 0.190216] CPU1: RISC-V CPU (rv64imafdc) running at 600 MHz如果你看到的是CPU1: failed to boot或者干脆沒有任何Booting CPU1的日志那么問題大概率出在三個地方電源和時鐘配置有問題從核根本沒有運行從核的啟動地址不正確OpenSBI 找不到入口SBI 調(diào)用失敗主核 OpenSBI 返回錯誤碼。排查時我一般會做兩件事第一在從核固件入口處加一個 GPIO 翻轉邏輯通過示波器或者邏輯分析儀看從核是否真的執(zhí)行到了 C 代碼。第二打開 OpenSBI 的詳細日志-DOPENSBI_ENABLE_DEBUG看主核發(fā)起 HSM 調(diào)用時返回了什么狀態(tài)。5. 內(nèi)存一致性與共享通信5.1 多核共享 DDR 的“假一致”陷阱異構平臺最容易出問題的不是性能而是內(nèi)存一致性。Arm 核和 RISC-V 核共享同一個 DDR 控制器時硬件上通常有一致性總線比如 CCI 或 MBUS但并不意味著 CPU 的 L1/L2 緩存天然一致。如果你的 RISC-V 核沒有參與硬件緩存一致性協(xié)議很多協(xié)處理核不支持那么主核對一段內(nèi)存的寫入從核讀到的可能是舊值。舉個真實例子。我在一個平臺上讓 Arm 核往共享內(nèi)存寫一批描述符然后通過 doorbell 中斷通知 RISC-V 核去讀。從核讀到的數(shù)據(jù)有一半是 0xff另一半是舊數(shù)據(jù)。查了總線協(xié)議、DMA 配置最后發(fā)現(xiàn)就是緩存一致性問題Arm 核的數(shù)據(jù)還留在 L2 cache 里沒有寫穿到內(nèi)存。解決這類問題的方式有三種共享內(nèi)存區(qū)域標注為 non-cacheable。在設備樹里用dma-coherent或者直接在頁表里關掉 cache bit。每次通信前做顯式 cache clean/invalidate。用硬件支持的一致性端口如果有的話把從核納入一致性域。最省事、也最穩(wěn)妥的方案是第一種犧牲一點性能換正確性。全志這類平臺的共享內(nèi)存通常本來就在 MBUS 和 SRAM 之間帶寬也不高強行追求 cache 優(yōu)化意義不大。5.2 緩存維護操作的“放之四海而皆準”寫法哪怕你決定走 cacheable 路線也要知道緩存維護指令怎么發(fā)。RISC-V 上常見的操作是fence.i和sfence.vma。前者用于指令緩存同步后者用于地址轉換緩存失效。void flush_icache_range(unsigned long start, unsigned long end) { asm volatile(fence.i ::: memory); }聽起來簡單但真正容易出問題的是跨核場景。Arm 核寫了一段從核要執(zhí)行的代碼然后你讓從核去取指——如果從核的 I-cache 里還緩存著舊指令它執(zhí)行的仍然是舊代碼。這種情況fence.i需要在從核上執(zhí)行一次才能清掉它自身的指令緩存。實際操作中我建議在共享代碼區(qū)更新之后除了主核做一次 clean還要讓從核在啟動路徑最開頭執(zhí)行一次fence.i。雖然會損失幾條指令的性能但換來的是“無論如何都不會執(zhí)行到舊代碼”的確定性。這在調(diào)試初期非常重要等你把整個鏈路調(diào)穩(wěn)定了再考慮優(yōu)化掉。5.3 核間通信選型mailbox、共享內(nèi)存還是信號量全志 SoC 上核間通信的方案不外乎下面幾種純共享內(nèi)存 標志位最簡單但需要自己處理并發(fā)和緩存維護。適合大數(shù)據(jù)量、低頻通知的場景。共享內(nèi)存 interruptdoorbell全志平臺每個核都有一組中斷控制器你可以在寫完成數(shù)據(jù)之后給對端核發(fā)一個 IPI。這是最常見的方案。硬件 mailbox部分型號有專用的 mailbox 硬件可以發(fā)送短消息比如最多 8 個字。適合控制類小消息不需要復雜緩存管理。我個人的建議是初期調(diào)試優(yōu)先選擇“共享內(nèi)存 IPI”靈活且可控。你先通過 GPIO 或者串口打印驗證 IPI 通路是否正常然后再去搞共享內(nèi)存協(xié)議。千萬不要一上來就搞一個復雜的消息框架否則一旦出錯你分不清是中斷沒到、內(nèi)存不一致還是協(xié)議解析踩空排查成本極高。6. 調(diào)試與驗證從“能跑”到“跑得穩(wěn)”6.1 調(diào)試手段選擇JTAG、串口日志、還是內(nèi)核輔助異構平臺的調(diào)試最大的痛苦在于“不知道從核到底在干什么”。串口日志是必須的但對核間這種時序敏感性極高的問題串口本身可能掩蓋問題——你加的打印延遲足夠把問題“治好”。我一般按下面優(yōu)先級組織調(diào)試手段串口日志用于確認從核啟動進度、打印關鍵分支GPIO 翻轉用示波器測時序判斷執(zhí)行路徑上幾個關鍵節(jié)點是否按預期到達JTAG/OpenOCD用于查看從核的 PC、堆棧、通用寄存器內(nèi)核側輔助比如從核跑 Linux 時用/sys/devices/system/cpu/cpu1/online控制熱插拔測試。調(diào)試時要有一個理念每次只改一個變量。比如你先驗證電源域和復位不要同時調(diào)時鐘和內(nèi)核配表。用 GPIO 在從核入口處翻轉一次如果翻出來了說明電源、時鐘、復位這條鏈路沒問題如果沒有你才需要往下查。6.2 驗證指標不只是“能開機”多核 bring-up 的驗證階段我給自己定的標準不是“能開機交差”而是下面這幾個指標驗證項目標驗證方法從核啟動時間從釋放復位到執(zhí)行第一個用戶代碼 50msGPIO/示波器測量核數(shù)識別內(nèi)核能看到所有預期核/proc/cpuinfo熱插拔穩(wěn)定性CPU off/on 循環(huán) 1000 次無失敗腳本自動化核間通信正確性100000 次消息傳輸零錯誤共享內(nèi)存回環(huán)測試長時間穩(wěn)定性雙核滿載運行 72 小時無崩潰stress 工具加自定義負載不要小看熱插拔測試。SBI HSM 的 warm start 路徑和冷啟動路徑往往不同很多平臺“冷啟動一切正常一執(zhí)行 CPU hotplug 就死機”。這個問題在異構平臺上尤其典型因為主核和從核共享了某些低功耗資源停核的時候沒有正確關掉該關的下次啟動時就會踩到未初始化狀態(tài)。6.3 壓力測試腳本逼出隱藏問題下面是一個簡單但實用的熱插拔測試腳本跑在 Linux 主核上#!/bin/bash CPU1 FAIL0 for i in $(seq 1 1000); do echo 1 /sys/devices/system/cpu/cpu${CPU}/online if [ $? -ne 0 ]; then echo online failed at iteration $i FAIL1 break fi sleep 0.01 echo 0 /sys/devices/system/cpu/cpu${CPU}/online if [ $? -ne 0 ]; then echo offline failed at iteration $i FAIL1 break fi done if [ $FAIL -eq 0 ]; then echo Hotplug test passed: 1000 cycles else echo Hotplug test failed fi跑這個腳本之前建議先在從核的固件里加一個計數(shù)器每次啟動時自增并寫到一個固定內(nèi)存地址。主核熱插拔一千次之后去讀那個地址確認從核確實全新啟動了一千次而不是只啟動了一次、后面都在假裝成功。這種“假成功”在 SBI 路徑上非常隱蔽我甚至遇到過從核第一次啟動后根本沒死只是被錯誤地標記為下線結果每次 on/off 操作只是在主核軟件層面打轉的情況。7. 常見問題與排查技巧實錄7.1 問題速查表我踩過的那些坑下面是我在多個全志異構平臺上實際遇到過的典型問題總結成表方便你遇到類似情況時快速定位現(xiàn)象可能原因排查方向從核一點反應都沒有電源域未打開/復位未釋放檢查電源控制寄存器狀態(tài)測量核心供電從核啟動后 PC 跑飛啟動地址錯誤或入口處中斷未關用 JTAG 看 PC 值確認 stvec 和復位向量從核代碼執(zhí)行到一半掛死私有 SRAM 溢出或棧溢出檢查鏈接腳本確認棧大小和內(nèi)存邊界主核內(nèi)核報 CPU1 failed to bootHSM 調(diào)用返回錯誤打開 OpenSBI 調(diào)試日志返回碼逐項比對從核能啟動但亂打印串口波特率/UART 時鐘配置不一致確認從核側 UART 時鐘源和主核側是否一致熱插拔第二次失敗停核時未正確關閉緩存/中斷檢查 SBI 停止路徑和緩存維護操作共享數(shù)據(jù)讀到舊值緩存一致性未處理共享內(nèi)存改 non-cacheable 或顯式 clean7.2 獨家避坑幾個文檔里不會寫的細節(jié)第一個坑是關于“從核啟動延遲”。很多時候你釋放復位后從核不會立刻開始取指而是要等幾十毫秒的 PLL 鎖定時間。如果你在釋放復位后立刻去檢查從核狀態(tài)寄存器的某個標志位大概率會失敗。正確做法是釋放復位后先等待一個固定的、足夠長的延時我一般用 100ms再去做后續(xù)檢查。第二個坑是內(nèi)存保留區(qū)。主核 Linux 跑起來后默認會管理整個 DDR它根本不知道哪一塊內(nèi)存是從核的固件和堆棧。如果你在設備樹里沒有用reserved-memory把這些區(qū)域圈出來Linux 的 page allocator 就可能把從核正在執(zhí)行的代碼頁面重新分配給其他進程后果就是從核毫無征兆地死掉。在你的 devicetree 里務必要有類似這樣的保留區(qū)reserved-memory { #address-cells 1; #size-cells 1; ranges; riscv_fw_mem: riscv-fw45000000 { reg 0x45000000 0x1000000; no-map; }; };no-map關鍵字非常關鍵它告訴內(nèi)核這塊內(nèi)存不允許做頁表映射從而避免任何虛擬地址別名問題。第三個坑是 IPI 中斷號。全志平臺上不同核的中斷控制器看到的 IRQ 編號空間可能不一樣。你在主核上發(fā) IPI 給從核時用的中斷號未必等于從核處理時看到的中斷號。一定要先在從核固件里通過csrr讀取中斷號確認值之后再寫正式處理函數(shù)不要想當然地復用同一個數(shù)字。7.3 排查方法論一步一步縮小范圍多核系統(tǒng)排查最忌諱的是“東改一下西試一下”。我建議你每次調(diào)試都按下面五步走確認目標核的硬件狀態(tài)電源是否打開、時鐘是否穩(wěn)定、復位是否釋放確認最小啟動路徑從核是否執(zhí)行到了我們加的 GPIO 翻轉點確認固件加載是否正確目標內(nèi)存區(qū)域的字節(jié)內(nèi)容是否和編譯產(chǎn)物一致確認 SBI/啟動協(xié)議交互主核的調(diào)用是否返回成功從核的入口地址是否正確確認系統(tǒng)軟件適配設備樹、DMA 內(nèi)存圈定、中斷路由是否和硬件一致。這五步一層層下來大部分問題都能在第五步之前暴露。我見過最多的失敗案例都是因為跳過前四步直接在內(nèi)核日志里找原因最后繞了一大圈發(fā)現(xiàn)只是某個 GPIO 復位信號沒拉高。8. 實測體會與后續(xù)擴展做異構多核 bring-up 這件事跟我們平時做普通單核或多核系統(tǒng)最大的不同是你要同時維護兩套“世界觀”。主核的世界里Linux 管理一切資源從核的世界里你可能只有一個裸機循環(huán)和幾個中斷處理函數(shù)。一條共享內(nèi)存報文從主核發(fā)到從核中間隔著的不僅是硬件總線還有兩個完全不同的軟件棧。我在實際調(diào)試中最深的體會是嚴格遵循“一次只動一個變量”的原則。異構平臺上變量太多了電源、時鐘、復位、固件地址、DT 配置、緩存屬性任何一個地方都有可能是問題。如果你同時改了三個地方然后系統(tǒng)跑起來了你永遠不知道自己到底是怎么調(diào)好的。反過來下次換一顆芯片你又要從頭開始踩坑。這套流程如果跑順了后面的擴展方向其實很豐富??梢酝?AMP 方向走讓 RISC-V 從核獨立跑 FreeRTOS負責實時控制也可以往 SMP 方向走讓多個 RISC-V 核共同分擔 Linux 負載還可以用 remoteproc 框架把從核的生命周期納入 Linux 管理實現(xiàn)運行時加載和卸載從核固件。我自己比較推薦先把“共享內(nèi)存 IPI”的通信基建打磨穩(wěn)這是所有后續(xù)功能的地基。最后再分享一個小技巧如果你手頭的全志平臺上有多個相同型號的板子務必在從核固件里加一個可配置的延時參數(shù)或者打印開關通過板子上的撥碼開關或調(diào)試串口輸入來調(diào)節(jié)。異構 bring-up 階段很多問題都是時序相關的能快速調(diào)節(jié)從核啟動時序比什么高級調(diào)試器都管用。祝你們調(diào)板順利。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
另类视频在线| 激婷网| 可以看的av| 亚洲成人无码专区| 亚州操操| 人妻肉射免费观看| 内射综合网| 色婷婷狠狠| 伊人免费视频9| 91大屁股精品| 五月天婷婷久久综合| 亚艹艹| 丁香婷婷九月| 婷婷中文字幕网站| 日本老女人黄页在线播放| 五月色婷婷综合丁香精品无遮挡| 夜夜操狠狠操| 中文幕无线码中文字蜜桃| 中文字幕人妻一区二区| 热99国产精品| 日本成人噜噜噜| 色婷婷小说| 国产麻豆视频| 婷婷丁香视频在线观看免费| 色色色综合色| 免费看欧美成人A片无码| 国产精品视频网| 欧美色狠婷久| 激情五月婷黄版| 人人操av| 色婷婷av在线| 天天舔天天操| 欧美日韩精品人妻狠狠躁免费视频| 激情五月婷婷啪啪| 五月欧美色色五月| 久久99网| 99色在线观看视频| 成 人 色 色| 天天色综网| 99久久婷婷国产综合精品电影| 91色在线/日韩| 亚洲综合色五月| 综合激情婷婷| 色色色色色五月| 五月亚洲激情| 丁香五月天之婷婷影院| 玖玖爱资源站| 99热在线看| 色婷婷狠狠| 久久亚洲无码| 99免费视频网| 天天做 天天爱| 色婷婷最爱五月| 成人免费高清在线播放| Www,五月天| 在线成人视频免费| 婷婷五月丁香国产| 日本高清久久| 色综合婷婷| 欧美综合在线五月天色婷婷| 综合亚洲色色| www.五月婷婷.com| 色综合久久无码| 久久九九色| 桔色成人在线| 激情 婷婷 丁香五月天| 婷色人人狠| 色综合av超碰| 天天综合网~91| 久综合网| 97丁香五月| 五月婷婷之六月丁香| 91九色国产熟女| www久久久久久久久久久| 99热天堂| 色五月在线播放| 深爱五月激情网| 婷婷色色丁香| 五月丁香久久激情综合| 成人免费黄色短视频| 狠狠操综合| 99热这里只有精品22| 亚洲色色在线| 久久66er久久| www。五月天激情| 99色在线视频观看| 日本色超碰| 亚洲乱码日产精品BD| 亚洲综合另类| 五月丁香网站| 五月天婷婷丁香| 人妻 性久久久久久| 色色色999| 97日本在线| 国内一级片| 夜夜爽天天干| 综合色播| 99在线免费视频| 成人欧美日韩| 91干| 婷婷五月天色| 色色网站| 婷婷99狠狠躁天天躁| 五月婷婷性爱| 天天插天天爽| 超碰在线成人| 香蕉久久av一区二区三区| 天天综合网在线| 超碰日日操| 五月天婷婷激情在线色图| 欧美一区二区三区不卡影视| 涩五月丁香| 激情五月天在线| 色区久久| 天天噜天天爱| 99九九视屏| 日批在线看| 九九婷婷五月天影视| 同性gv国产精品一区二区| 99这里只有精品| 在线不卡视频| 播播网色播播| 亚洲V国产V欧美V久久久久久| 97色色色| 欧美电影在线观看| 婷婷五月丁香色色| 亚洲精品成人片在线播| 久草五月天| 性爱人人网| a片在线免费观看一区| 丁香五月综合激情久久潮喷| 九月综合| 色婷婷五月天亚洲| 亭亭五月激情亚洲在线| 欧美xx激情视频在线观看| 五月激情久久| 五月天综合久久| 狠狠色狠狠干| 五月丁香婷中文字幕| 五月综合激情综合久| 天天干天天干天天干天天干天天| 五月天婷婷婷| 91爱操| 九月丁香亭亭| 伊人综合网站| 月丁香久久久| 午夜一区| 99热在线这里只有精品| 天天日夜夜曹| 色五月婷婷影院| 99热99色| 成人精品免费在线观看| 久久久99视频| 五月丁香婷中文字幕| 天天天天天天噜| 99热激情| 日本三级日本三级99| 少妇人妻丰满做爰XXX| 天天干人人奸97| 超级碰人人操人人干| 久久久久98| 亚洲综合99| 欧美激情五月天在线观看| 九九热视频免费观看| 噜噜精品| 日本色色色| 琪琪色综合网站| 888久久久| 色五月天激情| 综合激情深爱| 97福利视频| 色爱综合网| 99se丁香| 五月激情视频| 色五月六月| 色狠狠综合| 国产午夜精品AV一区二区麻豆 | 五月天综合色| 九色激情| 婷婷五月丁香六月伊人网| 亚洲性色XXXXX| 色色色色网站| 夜精品无码A片一区二区蜜桃| 久久五月丁香综合| 高清无码.com| 国产日韩欧美性爱| 五月天天丁香婷婷| 亚洲小视频免费播放| 五月丁香久久久| 97干视频在线| 五月婷婷香蕉| 五月天婷婷三级黄| 五月香婷婷| 五月丁香婷婷综合| 婷婷99视频精品| 五月丁香六月婷婷色| 国产婷婷色综合AV蜜臀AV| 超碰人人草| 大香蕉伊人丁香五月| 综合激情五月婷婷| 九九热只有精品| 亚洲免费婷婷| 五月天婷婷爱| 99在线精品免费视频| 五月花激情| 精品国产a| 激情综合青草| 91久久久久久久久18| 五月天婷婷狂暴白浆| 亚洲成人AV在线观看| 伊人色欲五月天| 五月丁香婷婷色| 亚洲成人电影在线免费观看| 婷色成人| 天天射影院| 欧美日本高清视频99| 激情黄色五月天| 狼人久草| 日本99在线视频| 丁香婷婷视频一区二区| 免费无码毛片一区二区A片| 9l视频自拍九色9l视频自拍九色9l社区 | 亚洲精品一区无码A片| 日91高清无玛| 97超碰,人人舔,人人操,人人摸 | 五月天婷久精视频| 五月丁香久久激情综合| 甈吧vv| 日本狠狠色| 国产97色在线 | 日韩| 久久五月婷天天干| 国产AV一区二区三区最新精品| 久久多色| 色情五月丁香| 婷婷伊人久久| 91爱啪啪| 超碰人人色| 丁香六月婷| 一区二区乱视频码| jizzdr| 综合欧美五月婷婷| 99这里只有精品在线观看| 丁香六月激情综合| 4399在线观看免费高清电视剧| 九月综合| 婷婷五月电影| 一起草Av| 日本久久精品| www.夜夜操.com| 丁香激情久久| 九九视频这里只有精品| 日日骑夜夜撸| 99这里只有精品| 五月婷视频久久| 色婷婷9| 综合网啪| 亚洲午夜视频| 夜夜夜天天操| 亚洲熟妇AV乱码在线观看| 色狠狠五月天| 午夜丁香| 天天操夜夜玩!| 日本欧美成人片AAAA| 99re这里只有精品免费| 免费三级黄色| 日本色色色| 精品国产a| 伊人五月成人| 四季AV综合网| 9久精品| 九色91视频| A1片久久久| Www99热| 超碰色综合| -91九色大屁股| 色播丁香| 777精品成人a v久久| 操操操B| www.丁香黄色五月天人与| 天天碰夜夜操| 婷婷婷婷婷婷婷婷| 亭亭色色五月天| 久操操| 久久综合网免费视频| 午夜不卡久久精品无码免费| 五月香六月婷| 色色五月天网站| 丁香六月五月天| 日日日,com| 无码日本精品XXXXXXXXX | 久久66精品| 91碰操| 97人人操| 色色色热| ji'qi'luan'ren'lun| 婷婷色五月天色| 大香蕉伊人99| 深爱网深爱综合网| 免费操超碰| 亚洲天堂啪啪| 99热这里只有精品13| 无语停婷丁香网| 99热这里只有精品9| 色综合婷婷| 青青青在线视频国产| anquye五月| 9超碰在线| 婷婷色在线观看| 五月丁香视频在线观看| 男人天堂 久久| 丁香五月电影| 丁香成人色情五月天| 丁香 久久| 六月婷婷激情| 婷婷社区五月天| 久久久久久久久久8888| 99在线免费视频播放| 五月天婷婷操逼视频| 亚洲色色图片| 精品网站:999WWW| 久久婷五月天| 99狠狠| 深爱五月中文字幕| 九色91视频| 香蕉AV777XXX色综合一区| 亚洲成人人人操| www.久久爱| 99网址在线观看| 欧美三日本三级少妇三99| xxxx五月| 久久超级碰碰| 真实的国产乱XXXX在线91| 激情五月天99色| 亚洲九九视频| 色婷婷五月天在线观看| 东北婷婷五月天| 婷婷五月色综合| 五月婷三级片| 五月婷婷五月天| 另类综合婷婷五月天欧美视频| 人妻AV在线| 97操女视频| 丁香五月婷婷在线| 丁香五月最新地址| 激情六月日韩| 婷婷天天综合| 激情 五月 婷婷 丁香| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 五月天综合网| 天天日夜夜| 99.色| 精品久热| 1024婷婷综合久久五月天| 久久精品国产AV一区二区三区 | 高清无码视频网址| 大香蕉伊人爱在线| 色五月激情五月天| 婷婷五月天电影在线| 色视频2025| 久久99看免费| 97人人干。| 久草热8精品视频在线观看| 色婷久久| 五月天伊人综合| 丁香婷婷伊人| 丁香五月天五码婷婷| 丁香五月香蕉| 在线网黄| 欧美在线看| 91日综合欧美| 丁香啪啪中文字幕| 天天肏在线视频| 无码激情AAAAA片-区区| 天天爽天天操| 五月开心网| 久久婷婷六月综合| 人妻人人操| 久久99大全| 五月婷婷激情视频| 丁香六月色婷婷| 婷婷色综合网日韩国产| 2050人人操免费工开爱| 美女婷婷激情亚洲| 五月婷婷香蕉| 色www99| 精品国产AV色一区二区深夜久久| 激情99| 天天日天天爽| 激情婷婷五月天| 色婷婷激情| AV电影在线播放| 玖玖色综合网| 91精品久久久久久77777| 激情綜合網址| 丁香六月激情| 玖玖综合色| 综合AV在线| 六月久久婷婷| 亚洲啪啪啪啪| 九九在线精点品| 日日干夜夜干| 国外亚洲成AV人片在线观看| 久久综合婷婷激情| 91色色色视频| 婷婷刺激综合| 99精品一二三四视频| 亚洲午夜电影| 婷婷五月综合在线| 99超在线| 激情婷婷综合五月少妇| 综合色五月| 久草五月天| 99热精品中文字幕| 日韩av在线电影| 婷婷永久在线| 丁香五月综合| 韩国中文字幕91| 精品9久| 久久天堂女人| 人伦30P| 久久免费精品小视频| 天天操天天爱天天日| 婷婷综合激情五月中文字幕| 激情都市五月天| 欧美狠狠地| 天天激情欧美美女| 色情五月婷婷| 亚洲字幕AV一区二区三区四区| 婷婷丁香五月综合网| 亚洲AAAA网| 婷婷色丁香六月| 五月天激情婷婷| 久久狼人天堂| 国产精品99久久久久久久女警| 91av传媒高清在线视频网| 嫩草视频。| 久热超碰91| 婷婷伊人綜合中文字幕| 97婷婷丁香五月| 久久偷拍综合五月天| 五月丁香六月婷| a网站免费观看| 人妻丰满精品一区二区A片| 97日本在线播放| 色涩影院六月丁香| 久鲁鲁色网 | 亚洲岛国电影| 久激情网| 五月 婷婷 成人| 婷婷中文字幕| 丁香五月影院| www.婷婷五月天,com| 97精品在线| 管管補管管紱| 久热黄色| 亚洲性爱AV在线| 成人网站av免费网站推荐| 五月6香色婷婷视频| 久色中文| 丁香色色色| 国产精品久久久久久喷浆| 91AV视频| 在线VA视频| 婷香五月激情视频| www.狠狠操| 99人人看| www。五月天。com| 91ncom.色| 天堂久久丁香| 99色综合网| 日韩综合久| 日韩草草草草草草草草草草草草| 五月天婷婷色综合| 亚洲国产无线乱码在线观看| 99精品久久久久| 亚洲五月天伊人| 激情爱爱网站超大免费| 久热伊人91| 97操操| 噜噜网免费视频| 精品久久人妻| 六月婷欧美| 日 日干 日日做| 色色狼人综合| AV在线二十六页| 色婷婷五月天激情| 综合一区二区三区| www.cao.com久久| 色婷婷六月性 | 色欲天天综合| 精品无吗va视频免费观看| 99热18| 欧美色色色色色色| 狠狠操婷婷| 任你艹| 热久国产| 可以看的AV| 久久99热网| 久久草大香蕉| 色丁香五月天| 99热在线观看99| 丁香五月色情| 亚洲无AV在线中文字幕| 婷婷五月综合婷婷| 日本色婷婷| 操婷婷基地| 激情亚洲婷婷六月| www.狠狠| 亚洲综合网区| 色五月六月| www,com,五月色色| 丁香婷婷月| 99久久超级| 五月婷婷天天色| 婷婷伊人綜合中文字幕小说| 天天搞天天色综合| 婷婷在线播放| 婷婷欧美激情| 99无码视频| 婷婷五月综合丁香久久| 亚洲日韩一页精品发布| 开心 五月 综合| 五月婷婷六月丁香| 九九aV| 色婷婷丁香五月| 91久久九九| 色永久| 69热91天堂| 五月婷婷成人w| 开心激情婷婷| 狠狠五月天婷婷| 99久久网站| 亚洲区,视频区,视频区免费| 色综合色综合网| 99 re视频一区| 操人久久| 色色色色色色色色五月先| 99爱视频| 91丨九色丨高潮丰满日本| 99爽视频| 婷婷色婷婷| 91综合在线| 色色日韩| 久久婷婷五月天| 五月丁香成人日| 五月综合激情婷婷六月色窝| 五月丁香天天| 五月婷婷黄色网址| 五月激情六月婷婷| 色日本综合| 激情综合国产| 99五月丁香丁| 伊人在线视频| 五月婷婷之美女图片| 碰久久精品w| 五月天色丁香| 久久激情五月天| 久久婷婷五月天| 久久这里只有国产| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 久久视频婷婷| 九九碰九九爱97| 五月天桃色深爱网| 五月丁香婷中文| 成人 AV播放| 久青操| 91狠狠综合久久| 北条麻妃九九九国产精品视频| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 六月成人网| 这里只有精品网站| 综合99综合久久久久久久| 丁香五月天堂| 亚洲99手机免费看视频 | 亚洲欧美日韩另类| 99在线免费视频| 入口五月婷婷六月香| 亚洲国产精品二二三三区| 五月停停激情网| 色婷婷五月天偷拍| 99精品在线| 开心五月婷婷在线| 亚洲超级碰| 天天插综合| 丁香婷五月| 五月天堂色色| 天天干,天天日| 色5月婷婷| 久久大香蕉同僚| 99热精品免费| 五月婷婷之综合激情| 日本色图综合| 99国产在线精品视频| 久久久久久人妻久久久久久久久久人妻久久久| 五月丁香久久久久| 麻豆AV一区二区三区| 欧美婷婷五月天| 日本va欧美va欧美va精品| 九月丁香八月婷婷加勒比| 五月天狠狠色| 激情五月天之五月婷婷| 99综合熟女| 国产人妻777人伦精品HD| 五月天狠狠草| 激情五月天噢美| 欧美三级大片AA在线看| 激情五月五月婷婷| 开心激情网五月| 色综合久久88色综合天天看| 人妻内射麻豆视频| 吊色AV男人的天堂| 欧类av怡春院| 婷婷综合亚洲| 五月激情综合深爱| 啪啪一区| 色播五月丁香综合| 婷婷激情五月| 99热九九热| 色婷婷丁香六月| 在线91日韩| 精品夜夜澡人妻无码AV| 婷婷成人AV| 婷婷色五月天综合网| 日韩另类在线观看| 色综啪啪网| 亚洲天堂久久| 五月丁香婷婷综合视频| 狠狠干五月丁香| 99玖玖在线视频| 丁香色五月 97干| 国产毛片精品一区二区色欲黄A片| 五月丁香久久综合| 五月婷婷三级| 欧美色色日韩| 超碰99热精品在线| 热九九精品| 天天插天天插| 天天摸色吧天天摸色吧| 天天在线久久综合| 激情五月天视频| 婷婷五月丁香综合桃花色网| 伊人久久婷婷| 日本色色色| 婷婷五月激情小说| 亚洲aV写真天天综合网久久| 色国产五月| 金桔一区二区ab地址| av成人在线播放| 香蕉久操| 538在线精品| av狠狠操| 久久性爱视频| 久色| 久久人妻久久| 巴基斯坦粉嫩无码视频| 色宗合,宗合网| 久久综合婷婷| 五月丁香亭亭操逼| 中文字幕,综合,91| 免费五月婷婷网| 五月色丁香国产在线视频| 五月丁香六月婷婷,婷| WWW99热| 丁香五月婷婷亚洲色图| 五月丁香婷婷激情四射迷人| 婷婷五月日本| 久久久亚洲成人无码A片| 国产特级毛片AAAAAAA高清| 五月综合激情网| 丁香九月婷婷综合| 五月丁香福利| 九九精品综合| 六月婷婷激情| 在线成人网站| 99综合网| 五月丁香大相交| 久久久久久人妻| 五月丁香六月激情在线| 国产激情婷婷| 色五月五月天色婷婷色五月| 26uuu| 停婷丁五月在线| 欧美人妻一区二区| 六月丁香激情网| 久久久这里有精品| 欧美黄色韩日网| 婷婷五月天伊人| 色婷婷小说网| 成人版视频在线观看| 熟女网站久久| 久久HD| 久久538| 91精品久久久久久77777| 99久在线精品99re8热| 色五月综合网| 超碰免费人| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 大香蕉在线观看9| 日韩伊人大香蕉| 久久一级片| 成人丁香色| 婷婷久久五月丁香| VA婷婷| 五月婷婷之综合激情在线| 99久久网站| 无码少妇高潮喷水A片免费| 荫道BBWBBB高潮潮喷| 97日本在线播放| 丁香9月婷婷| 婷婷丁香五月天影院| 变态另类9| 色婷婷狠狠| 综合网激情五月天| 日日舔夜夜操| 久久久精品AV| 亚洲精品视频在线| 六六久久黄色| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 婷婷综合色| 99久久网站| 五月天久久色| 五月天婷综合| 婷婷第六色| 天天色综合综合| 五月天成人在线视频网站| 欧美六月| 欧洲电影在线观看免费版英语版| 大大香蕉综合在线| 激情性爱五月天| 久久亚洲网| 骚。com| 激情久久肏屄视频| 成人美女网| 欧美在线视频9| 精品99这里有| 亚洲最大五月六月丁香婷婷| 六月丁香色色| 国精产品一区一区三区免费视频| 人妻中文av| 激情小说五月天社区丁香 | 丁香婷婷五月激情四射网| A1片久久久| 天色综合网站| 丁香五月天婷婷中文字幕| 天天操婷婷| 人人操人人妻| www.日本久久videos| 婷婷五月偷拍| av大香蕉| 色播激情婷婷| 深爱五月激情网| 99re热视频这里只精品5| 美女五月天| 久久成人亚洲欧美电影| 伊人五月天综合网| 99热在线观看精品免费| 亚洲啪啪啪啪| 亚洲无码影片| 婷婷五月天激情网| 成人在线高清| 丁香五月另类小说在线阅读| 五月天丁香综合久久国产| 狠狠精品干练久久久无码中文字幕| 97爱综合| www.操逼comm| 99久久婷婷| Y11111111111少妇电影院| av 一区三区四区| 色五月激情网| 色色五月天 亚洲| 婷婷色色网| 五月丁香六月综合激情| 精品香蕉99久久久久网站| 亚洲第一成人无码A片| 成人丁香婷婷五月天| 婷婷五月天成人网| 97碰人人操| 五月丁香六月婷婷手机无线| 五月丁香六月激情| 97香蕉人人在线观看| 五月天婷婷色小说| 96精品久久久久久久久| 91主播在线| 日本本土色网第一区| 成人网站免费在线播放| 91九九热| 五月婷婷丁香五月婷婷| 国产色色视频| 亚洲AV综合在线观看| 色深爱五月| 亚洲狠狠色丁香婷婷综合久久| 婷婷五月丁香五月| 日韩精品999| 夜夜AVV| 色婷婷九月综合| 免费AV播放| 大香蕉精品视频| 婷婷亚洲综合| 99资源人人| 亚洲色欲AAAAAA| 国产精品99久久久久久久女警| 婷婷天堂综合| 国产精品社区| 操久久精| 色五月AV| 一区中文字幕电影| 婷婷五月天在线观看免费| 天天揷综合网| 亚洲综合五月天综合| 人人草人人爱| 五月丁香综合| 五月丁香激情综合| 超碰超碰在线| 色五月婷婷在线| 色色五月天丁香婷婷| 婷婷综合五月天| 婷婷色色欧美| 开心五月网| 亚洲精品成人片在线播| 天天爱夜夜爽| 日韩AV中文字幕在线| 婷婷五月天堂一本在线| 男人的天堂在线婷婷| 精品怡红九九九| 激情综合色婷婷啪啪五月天| 五月婷综合性中心| 亚洲成人AV电影在线| 天天日日天天| 666555。COm毛片| 五月天婷婷激情干干| 三级片AAA久久久AAA久久久AAA | Av大香蕉| 久久99网站| 亭亭五月丁香综合欧美| 久久99热这里只有精品| 操操操www.com| 色色色色五月天| 丁香婷婷色五月| av九九| 五月丁香六月婷| 99r这里只有精品哦| 无码色| 五月激情婷婷色| 国产精品电| 天天干com| 91人人妻人人操| 五月丁香在线| www.zbzhongsen.com| 九九热在线精品视频| 亚洲第一色色色色| 国产黄色在线观看| 99久久6| 金品在线视频99| 亚洲第一黄网| 女性自慰系列第五页| 蜜臀AV在线观看| 激情小说之五月| 97超碰欧美中文字幕| 激情丁香九九五月综合网| 大香蕉婷婷| 开心激情站| 十月丁香九月婷婷综合| 丁香五月停停基地| 五月天色区| 丁香五月综合久久八| 91丁香色| 五月天成人在线视频网站| 色婷婷大香蕉| 精品夜夜澡人妻无码AV| 欧美VA在线观看| 成人AV中文字幕| 精品久久久人妻| 久久午夜理论| 日本情色一区二区| 五月开心激情| 视频这里只有精品16| 亚洲成人精品三区| 欧美日韩999| 好吊丝aV| 超色欲天天| 久热超碰| 99色免费视频| 婷婷色色丁香五月天| 天堂无码人妻精品AV一区| 婷婷色欧美激情| 五月婷婷与六月丁香图片激情| 超碰免费人人| 亚洲成人五月| 五月婷婷六月丁| 婷婷日韩| 五月丁香婷婷综合网| 久色网五月| 久久综合丁香| 99久久99综合| 黄色五月婷婷| 五月婷婷这里都是精品| 色五月婷婷自拍| 亚洲精品成人| 久久性爱视频网站| 久久久思思热| 欧美啪啪五月天| 精品人妻伦九区久久AAA片| 91精品综合久久久久久五月丁香| 婷婷五月天国产精品| 丁香五月天堂婷婷| 婷婷97| 五月丁香婷婷开心| 91久久久久久| 五月天天爱| www.五月天婷婷.com| 五月婷婷丁香大香蕉| 九九伊人网| 国产五月天欧美色| 98毛片| 99热综合色图| 天天激情站| 丁香五月激情综合| 热热久久99| 久这里只有精品| 婷婷终合色图| 天堂在线伊久| 色综合五月天| 91干在线| 五月婷婷六月丁香在线视频| 五月婷婷伦理| 日韩av在线电影| 亚洲黄网在线| 99久久国产宗和精品1上映| 超碰猛烈的性猛交| 99热777| 精品一二三区视频立| 色站9/| 婷婷丁香综合网| 色情成人五月天| 婷婷八月丁香激情综合| VA婷婷亚洲| 激情网五夜婷婷| 亚洲午夜视频| 久久丁香九| 色九九中文字幕| 婷婷99| 美国十月色婷婷在线观看| 婷婷五月天综合中文| 久久五月天合网| 亚洲五月婷婷| 色情婷| a片在线免费观看一区| 风流少妇A片一区二区蜜桃| site:pnnrt.com| 成人av中文字幕| 天天插综合| 99热成人在线观看| 亚洲亚洲激情| aaaaa黄色| 色欲九区| 丁香五月AV| 91chinese 在线| 9|在线观看视频| A片试看120分钟做受图片| 亚洲综合五月天婷婷| 九九色色网| 亚洲综合色网| 99精品综合视频| 日日.c| 精品草原久久视频| 天天日天天操天天干| 激情播丁香| 日本天天综合| 五月婷婷六月丁香激情深爱| 99,色| 色亚洲无码| 五月丁香综合激情| 激情视频网址| caop在线视频| 亚洲精品视频在线播放| 婷婷精品视频| 色五月综合激情| 99黄色性生活| 亚洲综合99| 97精品综合| 999久久久国产精品| 日韩精品成人在线| www.天天日| 五月天狠狠| 99热这里都是精品| 99亚洲精品| 亚洲黄色精品| 大香蕉人妻| 六月婷婷色综合| 免费视频无码| 激情五月综合网| 四川BBB搡BBB搡多人乱亂| 成人无码免费一区二区中文| 国产美女无遮挡裸体毛片A片| 日韩国产在线精品| 综合六月久久| 色五月色五天色情网址| 色综合久久综合| 日韩黄色电影| 婷婷五月丁香综合| 99re66热这里只有精品| 色婷婷精品小视频| 26uuu91| 亚洲色无码| 狠狠综合网| 色色日本欧美| 色播五月丁香| 婷婷黄色| 丁香五月色| 综合色在线| #NAME?| 亚洲色夜| 超碰免费人人| 夜夜人妻五月天| 色婷婷五月婷婷五月婷婷五月| 亚洲精品久久久久久久久久吃药 | 亚洲av网址| 噜噜操操| 激情六月丁香综合| 99爱无码| 99热天堂| 四色五月婷婷| 99久操视频| 9月色婷婷| 九九热在线亚洲免费视频| 五月丁香亚洲五月| 噜噜色婷婷| 五月天激情小说| 免费看欧美成人A片无码| 丁香五月停停av| 五月激情婷婷综合| 丁香婷婷人妻综合网| 丁香五月另类小说| 99在线视频播放| 精品夜夜澡人妻无码AV| 日本情色一区二区| 天天做天天爱天天爽夜夜揉| 婷婷五月天人妻| 2017人人操| 天天操夜夜操| 色噜久| 夜夜夜天天操| 国产精品热搜丁香五月婷婷| 成片免费播放| 日操熟女| 婷婷九色| 久久久久久草黄色片AV在线观看| 五月激情婷婷六月| 五月婷婷片| 中文字幕丰满乱孑伦无码专区 | 色婷五月| 久9视频| 成人.在线日韩| 97在线/亚洲| 色婷婷五月网| 人妻人人操| 丁香花综合永久入口| 婷婷的99视频网站| 婷婷五月天美女视频| a网站免费观看| 一级韩国产精品毛| 国产欧美日韩性爱| 色色射| 99色视频| 伊人婷婷大香蕉| 91打屁股免费看| 色婷婷www| 婷婷五月天在线观看av| 国产激情综合五月久久| 五月丁香久久| 婷婷爱爱蜜臀天天操| 五月婷婷久久综合| 91九色精品女同系列| 午夜在线成人网站免费观看| 91九色国产| 情久久综合五月天| 中国女人做爰A片| 色九月欧美| 九九无码视屏| 亚洲色五月| 一本久道综合99| 婷婷丁香五月噜噜噜| 九九精品热| 亚洲无aV在线中文字幕| AV天堂婷婷五月天| 深夜男女福利刺激影院一区完整| 96丁香婷婷九月蜜桃综合久久| 高潮毛片遮挡费高一百度| 69色婷婷| 久久久久久久,99精品视频| 色色色777| 天天操婷婷| 色丁香五月婷婷综合久久| 五月婷丁香久久久| 丁香六月色婷婷| 香蕉AV777XXX色综合一区| 丁香五月色| 丁香五月婷婷激情尤物| av一区二区电影免费在线观看| 婷婷基地成人五月天| 久久久.COM| 九九偷拍网| 狠狠色噜噜狠狠| 无码成人播放器| 丁香五月六月久久综合 | 色婷婷久久综合中文久久一本| 色五月,婷婷大香蕉| 牛牛碰免费| 色色激情| 色五月天激情| 熟女网站久久| 久久五月婷婷丁香| 婷婷丁香18| 五月丁香花激情啪啪网| 五月天小说激情| 天天综合精品| 人人干天天舔| 久久婷婷视频| 99精品在线观看| 26UUU欧美激情一区二区| 免费成片在线观看| 91啪级电影| 99自拍视频在线| 九九精品综合| 日韩超碰在线| 啪啪99| 俺去也五月天婷婷| 久99久视频精品| 国产精品视频久久99| 国产午夜伦鲁鲁| 日本五月丁香| 国产真人做爰视频免费| 婷婷五日b| 综合色播| 亚洲天天免费| 无码成人AAAAA毛片AI换脸| 那里有AV网址| 99热这里只有精品4| 激情网第九色| 在线观看中文字幕| 99色色网| www.婷婷五月| 丁香婷婷黄网站| 激情六月综合| 99久热在线精品| 五月丁香婷婷色色| 91精品久久久久久| 欧美久热| 九九99精品视频在线观看| 另类小说五月天| 丁香五月天激情婷婷丁香六月| 丁香五月婷婷五月| 色五月久久成人婷婷| 欧美性猛交XXXX乱大交极品| 日本va欧美va精品发布视频| 可以看的av| 亚洲久久婷婷丁香五月天| 欧美大片免费观看| 色综合久久伊伊婷婷五月| 色五月色综合| 丁香六月五月婷婷| 五月天怕怕| 日日夜夜干| 色月丁| 色婷婷综合久久久久| www久久久| 97色色色| 欧美性爱特黄一级aaaassss| 91在线视频观看午夜福利| 婷婷综合在线| 另类激情五| 涩五月婷婷| 日本成人噜噜噜噜噜| 国产成人精品一区二三区熟女在线| 五月天激情偷拍| 激情5月婷婷| 99热九九热| 亚洲黄色精品| 婷婷99狠狠躁天天躁| 密桃激情五月天综合网| 五月婷婷精品视频| 中文成人在线| 久热久色| 大陆极品少妇内射AAAAAA| 午夜丁香五月天综合| 超碰国产AV| 欧美一级色| 激情亚洲婷婷六月| 色五月天丁香婷婷色| 99玖玖免费视频| 婷婷放心五日爱| 久久婷婷五月丁香蜜桃网| 色色热| 婷婷香香五月| 婷婷色系婷色| 91精品啪| 激情深爱五月天| 69er小视频| 吊色AV男人的天堂| 五月丁香成人网| 五月丁花色综合网| 色婷婷国产精品综合在线观看| 91精品久久久久、久五月天| 丁香五月六月综合欧美| 超碰人人操在线| 日韩丁香涩| 丁香五月社区| 一级二级色大片| 婷婷王月天影院| 亚洲成人在线免费| 色色综合院| 在线成人国产| 极品人妻VIDEOSSS人妻| XX久久| 五月综合婷婷开心网| 91干网| 熟女少妇内射日韩亚洲| 五月丁香六月激情综合| 色婷五月婷婷| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 亚洲婷婷五月天| 天天拍夜夜爽| 欧美激情xxxXX| 开心五月深爱五月婷| 深爱激情网婷婷| 狠狠干狠狠干| 五月激情六月宗合| 美女天天艹人人爽| 99婷婷狠狠成为人免费视频| 久久久99免费视频| 久久这里只有精品5| 五月天丁香久久综合 | 五月丁香A片| 五月婷婷综合视频| 9+1视频网址| 色丁香影院| 这里只有精品日韩精品| 人人爽欧美婷婷久久久五月丁香| 色情综合| 久99| 黄色一级影片| 天天爱天天操| 99五月婷| 日本精品人妻无码77777| 日熟女| WWW.夜夜| 人妻久久久久久久久妻久久久久久久久 | 狠狠操狠狠做| 亚洲激情综| 热99热久| 国产婷婷色综合AV蜜臀AV| 久久色婷婷| 伊人五月久久| 噜噜干日本| 色欲五月丁香| 美日韩成人| 色情五月综合婷婷| www.亭亭五月天| 五月丁香婷婷色色| 久久久久久久久久久久久久久久久精典| 久久婷婷五月天懂色| av五月天婷婷丁香| www婷婷亚洲| 久久五月视频| 国产精品社区| 热久免费视频9|