欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

PCIe配置空間與BAR空間詳解:從枚舉到FPGA實戰(zhàn)調試

PCIe配置空間與BAR空間詳解:從枚舉到FPGA實戰(zhàn)調試 PCIe 這玩意兒剛接觸的時候最容易讓人懵圈的不是那些高速信號、鏈路訓練反而是軟件層面那兩個看起來平平無奇的東西配置空間和 BAR 空間。我見過不少做 FPGA 的兄弟邏輯寫得飛起DMA 也能跑通但一到主機識別不到設備、或者 BAR 地址映射錯亂就抓瞎了。問題往往就出在對這兩個空間的機制理解得不夠透。這篇就專門把配置空間和 BAR 空間掰開揉碎講清楚它們各自裝了什么、為什么這么設計、實際調試中怎么用以及那些文檔里不會寫的坑。1. 為什么 PCIe 需要配置空間和 BAR 這兩套地址體系要理解配置空間和 BAR得先回到 PCIe 設計的一個根本矛盾上。主機 CPU 訪問內存是按物理地址走的而 PCIe 設備自己內部也有一堆寄存器、緩沖區(qū)、控制邏輯這些東西也需要被 CPU 訪問。問題是設備插到哪個槽位、系統(tǒng)里掛了多少設備這些在開機之前都是未知的。你不可能給每個設備預先分配一段固定的物理地址那樣地址空間早就沖突了。所以 PCIe 采用了一套先枚舉、后分配的機制。配置空間就是設備的身份證加簡歷里面記錄了廠商 ID、設備 ID、類型、需要多大地址空間等固定信息。主機在枚舉階段掃描總線讀每個設備的配置空間搞清楚你是誰、你要多少資源然后統(tǒng)一分配地址。BAR 空間則是設備向主機申請的地盤主機分配好地址后把基地址寫回 BAR 寄存器設備就知道哦原來我的寄存器在主機眼里是這個地址。這套機制的核心價值在于地址無關性。設備不需要知道自己會被映射到哪個地址它只需要聲明我需要 4KB 的寄存器空間和我需要 16MB 的顯存空間剩下的交給主機。這也是為什么同一塊 FPGA 板卡插到不同主板上都能正常工作因為地址是動態(tài)分配的。從拓撲結構上看PCIe 是一棵樹根復合體Root Complex是根下面掛交換機Switch和端點設備Endpoint。配置空間和 BAR 的分配是沿著這棵樹逐級進行的。每個橋設備包括交換機端口也有自己的配置空間負責管理下游總線的地址窗口。理解這個層級關系對后面排查 BAR 分配失敗非常關鍵。很多人把配置空間和 BAR 空間混為一談其實它們是兩個完全不同的地址域。配置空間通過 CFG 事務訪問走的是獨立的配置讀寫通道BAR 空間則是通過 MEM 或 IO 事務訪問走的是正常的內存映射通道。這個區(qū)別在調試時非常重要。2. 配置空間里到底裝了哪些東西配置空間是 PCIe 設備的標準寄存器區(qū)域規(guī)范定義每個功能Function必須有至少 256 字節(jié)的配置空間PCIe 還擴展到了 4KB。這 4KB 不是隨便堆的而是按固定偏移劃分成一個個有明確用途的字段。理解這些字段的布局是讀懂枚舉日志和排查識別問題的前提。2.1 前 64 字節(jié)設備身份與命令控制配置空間的前 64 字節(jié)是所有 PCIe 設備都必須實現(xiàn)的這部分叫 Type 0 頭對于端點設備或 Type 1 頭對于橋設備。里面最關鍵的幾個字段Vendor ID 和 Device ID偏移 0x00 和 0x02廠商 ID 由 PCI-SIG 統(tǒng)一分配設備 ID 由廠商自己定義。主機枚舉時第一件事就是讀這兩個值如果是 0xFFFF說明這個位置沒有設備或者設備沒準備好。Command 寄存器偏移 0x04控制設備是否響應 MEM 訪問、IO 訪問、總線主控等。很多新手遇到設備能識別但訪問不了 BAR的問題十有八九是 Command 寄存器里的 Memory Space Enable 位沒置起來。Status 寄存器偏移 0x06反映設備狀態(tài)比如是否支持能力列表、是否有錯誤等。Revision ID 和 Class Code偏移 0x08 和 0x09Revision 是版本號Class Code 標識設備類型比如 0x020000 是以太網(wǎng)控制器0x010802 是 NVMe 存儲控制器。操作系統(tǒng)就是靠 Class Code 來加載對應驅動的。Header Type偏移 0x0E標識這是 Type 0 還是 Type 1 頭以及是否是多功能設備。BAR0 到 BAR5偏移 0x10 到 0x24六個基地址寄存器這是配置空間和 BAR 空間的交匯點后面單獨展開講。Capabilities Pointer偏移 0x34指向能力列表的偏移PCIe 的各種高級功能都掛在能力列表里。我實際調試中遇到最多的情況是FPGA 加載了錯誤的比特流Vendor ID 和 Device ID 讀出來是默認值或者全 F主機直接判定為無效設備。所以每次上電先確認這兩個 ID 是否正確是最基本的排查動作。2.2 能力列表PCIe 的高級功能入口從偏移 0x34 開始配置空間里掛了一條鏈表叫能力列表Capability List。每個能力項都有一個 8 位的 Capability ID 和一個指向下一項的指針。PCIe 設備必須實現(xiàn)的能力包括Power Management CapabilityID 0x01電源管理相關控制設備在不同電源狀態(tài)間切換。MSI CapabilityID 0x05消息信號中斷替代傳統(tǒng)的 INTx 中斷?,F(xiàn)代 PCIe 設備基本都用 MSI 或 MSI-X。PCI Express CapabilityID 0x10這是 PCIe 特有的包含設備類型、鏈路狀態(tài)、鏈路能力等信息。調試鏈路降速、降寬問題時就是讀這里的 Link Status 寄存器。MSI-X CapabilityID 0x11支持更多中斷向量NVMe 和高速網(wǎng)卡常用。能力列表的遍歷方式是從 Capabilities Pointer 開始讀第一個能力的 ID 和 Next Pointer然后順著指針一直走直到 Next Pointer 為 0。這個遍歷邏輯在寫驅動或者調試工具時經(jīng)常用到。2.3 擴展配置空間4KB 里的后半部分PCIe 把配置空間從 256 字節(jié)擴展到了 4KB前 256 字節(jié)保持和 PCI 兼容后面的 3.75KB 是 PCIe 擴展配置空間。這里最重要的是擴展能力列表Extended Capability List從偏移 0x100 開始每個擴展能力有 16 位的 ID。常見的擴展能力包括Advanced Error ReportingAER高級錯誤報告能精確報告是哪種錯誤、發(fā)生在哪個層級。排查掉卡、鏈路錯誤時必看。Secondary PCI Express Extended Capability包含鏈路均衡相關的寄存器調試鏈路穩(wěn)定性時用得到。SR-IOV Capability單根 IO 虛擬化網(wǎng)卡和 FPGA 加速卡常用。TPHTLP Processing Hints提示 TLP 的處理方式對性能優(yōu)化有幫助。訪問擴展配置空間需要用 PCIe 的配置事務傳統(tǒng)的 CF8/CFC 端口只能訪問前 256 字節(jié)。在 Linux 下可以用lspci -vvv看到擴展能力的詳細信息或者用setpci直接讀寫。3. BAR 空間設備向主機申請的地址地盤BAR 是 Base Address Register 的縮寫直譯就是基地址寄存器。它位于配置空間里但它的作用遠不止存一個地址這么簡單。BAR 是設備和主機之間關于地址空間的一份合同設備通過 BAR 聲明自己需要多大的空間、是什么類型的空間主機通過 BAR 告訴設備你的空間被映射到了這個地址。3.1 BAR 的探測機制寫全 1 再讀回BAR 的探測機制是 PCIe 里一個非常巧妙的設計。主機在枚舉時并不知道設備需要多大空間它的做法是向 BAR 寫入全 10xFFFFFFFF。讀回 BAR 的值。讀回的值中低位為 0 的位數(shù)就代表了空間大小的對齊要求。舉個例子如果一個 BAR 讀回來是 0xFFFFF000說明低 12 位是 0設備需要 4KB 的空間。如果讀回來是 0xFF000000說明低 24 位是 0需要 16MB 空間。這個機制的好處是設備不需要額外的寄存器來聲明大小BAR 自己就能表達。這里有個細節(jié)容易踩坑BAR 的最低位表示空間類型。bit 0 為 1 表示 IO 空間為 0 表示 MEM 空間。MEM 空間里 bit 1 和 bit 2 表示是否支持 64 位地址和是否可預取。所以實際計算大小時要把這些控制位排除掉。比如一個 64 位 MEM BAR低 4 位是控制位從 bit 4 開始才是地址對齊信息。寫全 1 探測 BAR 大小時一定要先保存原來的值探測完再恢復。有些設備的 BAR 在探測過程中如果被破壞可能導致設備進入異常狀態(tài)。雖然規(guī)范說這是安全的但實際硬件實現(xiàn)千奇百怪謹慎為上。3.2 MEM BAR 和 IO BAR 的區(qū)別與選擇PCIe 支持兩種 BAR 類型MEM BAR 和 IO BAR。MEM BAR 映射到系統(tǒng)的內存地址空間CPU 可以用普通的 load/store 指令訪問IO BAR 映射到 IO 地址空間需要專門的 IN/OUT 指令訪問。現(xiàn)代 PCIe 設備幾乎都用 MEM BAR原因很簡單IO 空間只有 64KB資源緊張而且訪問效率低。MEM 空間可以很大支持 64 位地址訪問方式統(tǒng)一。PCIe 規(guī)范雖然保留了 IO 事務但明確不推薦新設計使用。不過在實際項目中有些老舊的 FPGA 設計或者兼容性要求可能還會實現(xiàn) IO BAR。我的建議是除非有明確的兼容性需求否則一律用 MEM BAR而且優(yōu)先用 64 位 BAR。MEM BAR 還有一個屬性叫可預取Prefetchable。如果 BAR 聲明為可預取主機可以把它映射到帶緩存的內存區(qū)域CPU 讀取時可以利用緩存提高性能。但可預取的前提是讀操作沒有副作用讀和寫之間沒有嚴格的順序依賴。對于 FIFO、狀態(tài)寄存器這類有副作用的地址絕對不能聲明為可預取否則會出現(xiàn)讀一次數(shù)據(jù)就丟一次的問題。3.3 64 位 BAR 的配對使用一個 64 位 BAR 需要占用兩個連續(xù)的 BAR 位置。比如 BAR0 和 BAR1 組成一個 64 位 BARBAR0 存低 32 位BAR1 存高 32 位。BAR0 的 bit 2 置 1 表示這是 64 位 BAR此時 BAR1 不再是一個獨立的 BAR而是作為高 32 位地址寄存器。這個配對關系在寫驅動和做地址映射時特別容易搞錯。我見過有同事在設備樹里只寫了 BAR0 的地址結果高 32 位沒配訪問直接飛到錯誤的內存區(qū)域系統(tǒng)當場掛掉。正確的做法是先讀 BAR0 判斷 bit 2 是否為 1如果是說明是 64 位 BAR需要同時處理 BAR0 和 BAR1。對于 FPGA 開發(fā)者來說在 IP 核里配置 BAR 時也要注意這個配對。Xilinx 的 XDMA IP 和 Intel 的 PCIe Hard IP 都有 BAR 配置選項選 64 位 BAR 時它會自動占用兩個 BAR 編號。4. 從枚舉到映射配置空間和 BAR 是怎么被主機處理的理解了配置空間和 BAR 各自的內容接下來要把它們串起來看看主機從上電到設備可用到底經(jīng)歷了什么。這個過程叫枚舉Enumeration是 PCIe 系統(tǒng)啟動的核心流程。4.1 枚舉的完整流程枚舉是從根復合體開始沿著 PCIe 樹逐級掃描的過程。大致步驟如下掃描總線 0根復合體首先掃描自己下面的總線 0讀取每個可能的設備號0 到 31和功能號0 到 7的配置空間。讀 Vendor ID如果讀回來的 Vendor ID 是 0xFFFF說明這個位置沒有設備跳過。如果是有效值說明發(fā)現(xiàn)了一個設備。判斷設備類型讀 Header Type如果是 Type 1說明是橋設備需要繼續(xù)掃描它下面的總線如果是 Type 0說明是端點設備。分配總線號對于橋設備主機分配一個總線號范圍給它下面的子樹。探測 BAR 大小對每個端點設備寫全 1 探測每個 BAR 需要多大空間。分配地址主機根據(jù)所有設備的需求統(tǒng)一分配 MEM 和 IO 地址空間把基地址寫回 BAR。使能設備設置 Command 寄存器使能 MEM 訪問、IO 訪問和總線主控。配置中斷分配中斷號配置 MSI/MSI-X。加載驅動操作系統(tǒng)根據(jù) Class Code 和 Vendor/Device ID 匹配驅動。這個過程在 Linux 下可以用lspci -vvv看到結果在 Windows 下可以用設備管理器查看資源分配情況。調試時如果設備沒被識別就要順著這個流程一步步查是 Vendor ID 沒讀到還是 BAR 分配失敗還是 Command 寄存器沒使能。4.2 地址窗口與橋的轉發(fā)規(guī)則PCIe 樹里的每個橋設備都有三個地址窗口寄存器Memory Base/Limit、Prefetchable Memory Base/Limit、IO Base/Limit。這些寄存器定義了橋下面子樹使用的地址范圍。當 CPU 發(fā)起一個內存訪問時根復合體首先判斷這個地址落在哪個橋的窗口里然后把事務轉發(fā)給對應的橋。橋再往下判斷直到到達目標設備。如果地址不在任何窗口里事務就會被丟棄或者報錯。這個機制解釋了為什么 BAR 分配失敗會導致設備完全無法訪問。如果主機沒有正確配置橋的地址窗口即使設備的 BAR 被分配了地址事務也到不了設備。我在調試一塊多級交換機的板卡時就遇到過交換機端口的 Memory Limit 設小了導致下游設備的 BAR 地址超出了窗口范圍設備能識別但訪問就報錯。排查這類問題時可以用lspci -vvv查看每個橋的窗口配置對比設備的 BAR 地址是否落在窗口內。也可以用setpci手動調整窗口寄存器驗證。4.3 Linux 下的資源分配與 sysfs 接口Linux 內核在啟動時會做一次完整的 PCIe 枚舉分配資源。如果 BIOS 已經(jīng)分配好了內核一般會沿用 BIOS 的分配結果除非有沖突或者用pcirealloc參數(shù)強制重新分配。在 Linux 下每個 PCIe 設備在/sys/bus/pci/devices/下有一個目錄目錄名是domain:bus:device.function的格式。這個目錄里有很多有用的文件config配置空間的二進制內容可以用hexdump查看。resource0、resource1等BAR 空間的內存映射文件可以用mmap映射到用戶空間直接訪問。enable寫入 1 使能設備。driver指向當前綁定的驅動。對于 FPGA 開發(fā)者來說resource0特別有用。你可以寫一個簡單的用戶態(tài)程序mmap這個文件就能直接讀寫 FPGA 的寄存器不需要寫內核驅動。這在調試階段非常方便。# 查看設備的 BAR 分配情況 lspci -vvv -s 01:00.0 | grep -A 10 Region # 用 setpci 讀取配置空間 setpci -s 01:00.0 0x04.w # 查看 sysfs 下的資源文件 ls -l /sys/bus/pci/devices/0000:01:00.0/resource*5. FPGA 開發(fā)中配置空間與 BAR 的實戰(zhàn)要點對于做 FPGA 的工程師來說配置空間和 BAR 不是抽象概念而是每天都要打交道的實際配置。無論是用 Xilinx 的 XDMA、Intel 的 PCIe Hard IP還是自己寫 PCIe 核BAR 的規(guī)劃都直接影響系統(tǒng)的易用性和性能。5.1 BAR 規(guī)劃把什么放進哪個 BAR一個 PCIe 設備最多有 6 個 BAR怎么分配這些 BAR 是有講究的。常見的規(guī)劃方式BAR0控制寄存器和狀態(tài)寄存器通常幾 KB 到幾十 KB。這部分訪問頻繁但數(shù)據(jù)量小。BAR1DMA 描述符區(qū)域或者大塊數(shù)據(jù)緩沖區(qū)可能需要 MB 級別。BAR2/BAR3如果做成 64 位 BAR和 BAR0/BAR1 配對使用。BAR4/BAR5預留給擴展功能或者第二個功能。我的一般原則是把訪問頻繁的小寄存器放在一個 BAR 里把大塊數(shù)據(jù)緩沖區(qū)單獨放一個 BAR。這樣做的好處是小 BAR 可以映射成非預取的保證讀寫順序大 BAR 可以映射成預取的利用緩存提高吞吐。另外BAR 的大小要按 2 的冪次對齊。如果你聲明需要 3KB實際會占用 4KB。所以規(guī)劃時要留余量但也不要浪費太多地址空間。在資源緊張的系統(tǒng)里BAR 大小直接影響能不能枚舉成功。5.2 配置空間在 IP 核里的實現(xiàn)用 Xilinx XDMA IP 時配置空間的大部分字段是 IP 自動生成的但有幾個地方需要手動配置Vendor ID 和 Device ID在 IP 配置界面里填寫或者通過參數(shù)傳遞。Class Code決定操作系統(tǒng)加載哪個驅動比如 0x020000 是以太網(wǎng)0x010802 是 NVMe。BAR 配置選擇每個 BAR 的大小和類型XDMA 支持配置 BAR 為 MEM 或 IO32 位或 64 位。MSI/MSI-X選擇中斷方式XDMA 支持 MSI-X可以配置中斷向量數(shù)量。Intel 的 PCIe Hard IP 類似但配置方式不同。它的配置空間是通過 Avalon-MM 接口暴露的可以在邏輯里動態(tài)修改某些字段。這在需要動態(tài)改變設備 ID 或者 BAR 大小的場景下很有用。自己寫 PCIe 核的話配置空間的實現(xiàn)就更靈活了但也更容易出錯。最常見的問題是 BAR 大小聲明和實際實現(xiàn)不匹配導致主機分配了地址但設備不響應。我的經(jīng)驗是配置空間里的 BAR 大小一定要和邏輯里地址譯碼的范圍嚴格一致差一個字節(jié)都可能出問題。5.3 DMA 與 BAR 的配合DMA 是 FPGA 加速卡的核心功能而 DMA 和 BAR 的配合有幾個關鍵點DMA 描述符的存放位置描述符可以放在 BAR 空間里由主機寫入FPGA 讀取也可以放在主機內存里FPGA 通過 DMA 讀取。前者簡單后者靈活。地址轉換FPGA 發(fā)出的 DMA 讀寫請求地址是主機物理地址。如果 FPGA 邏輯里用的是虛擬地址或者偏移地址需要做轉換。XDMA IP 提供了地址轉換功能可以配置 AXI 地址到 PCIe 地址的映射。BAR 空間作為 DMA 目標主機可以通過 BAR 空間直接讀寫 FPGA 的緩沖區(qū)這種方式叫 PIOProgrammed IO適合小數(shù)據(jù)量。大數(shù)據(jù)量還是要用 DMA。我做過一個高速 ADC 采集的項目ADC 數(shù)據(jù)先寫入 FPGA 的 DDR然后通過 DMA 搬到主機內存。BAR 空間里放的是控制寄存器和 DMA 描述符數(shù)據(jù)緩沖區(qū)不映射到 BAR而是通過 DMA 直接訪問主機內存。這樣設計的好處是 BAR 空間很小枚舉容易而且 DMA 帶寬不受 BAR 大小限制。5.4 調試 BAR 訪問問題的排查鏈路BAR 訪問出問題是最常見的 PCIe 調試場景。我總結了一個排查鏈路按順序走基本能定位問題確認設備被識別lspci能不能看到設備Vendor ID 和 Device ID 對不對確認 BAR 被分配lspci -vvv看 Region 字段有沒有Memory at xxxx的分配結果如果顯示Region 0: Memory at unassigned說明 BAR 沒分配成功。確認 Command 寄存器setpci -s xx:xx.x 0x04.w讀出來Memory Space Enable 位bit 1是不是 1確認橋窗口如果設備掛在橋下面檢查橋的 Memory Base/Limit 是否覆蓋了設備的 BAR 地址。確認地址譯碼用setpci往 BAR 地址寫一個值再讀回來看是否一致。如果不一致說明地址譯碼有問題。確認 FPGA 邏輯如果前面都正常但讀寫數(shù)據(jù)不對就要查 FPGA 邏輯里的地址譯碼和寄存器實現(xiàn)。這個鏈路我用了很多次大部分 BAR 問題都能在前三步定位。第四步和第五步涉及橋和地址譯碼稍微復雜一些但只要有l(wèi)spci和setpci兩個工具也能查清楚。有一個坑特別隱蔽有些主板的 BIOS 會把 BAR 分配到一個和系統(tǒng)內存重疊的地址導致訪問 BAR 時實際訪問到了內存。這種情況在lspci -vvv里看不出來需要用cat /proc/iomem查看系統(tǒng)的內存映射確認 BAR 地址沒有落在 System RAM 區(qū)域。6. 那些文檔里不會寫的踩坑經(jīng)驗配置空間和 BAR 的規(guī)范寫得很清楚但實際硬件和軟件實現(xiàn)里有很多規(guī)范沒覆蓋的細節(jié)。這些細節(jié)往往就是調試時卡住的地方。6.1 BAR 大小探測的邊界情況寫全 1 探測 BAR 大小時有一個邊界情況如果設備實現(xiàn)的 BAR 大小是 0也就是不需要任何地址空間寫全 1 讀回來還是全 1。這時候主機應該跳過這個 BAR不分配地址。但有些主機會誤判給一個大小為 0 的 BAR 分配地址導致后續(xù) BAR 分配錯位。還有一種情況是 BAR 大小不是 2 的冪次。規(guī)范要求 BAR 大小必須是 2 的冪次但有些 FPGA 設計為了省地址空間聲明了一個非 2 冪次的大小。這種行為在枚舉時可能被主機糾正也可能導致分配失敗。我的建議是老老實實按 2 的冪次來別耍小聰明。6.2 熱插拔場景下的 BAR 重新分配PCIe 熱插拔是一個復雜的功能涉及到 BAR 的重新分配。當設備被熱插入時主機需要重新枚舉這條總線給新設備分配 BAR 地址。如果之前的地址空間不夠可能還需要調整已有設備的 BAR 分配。這個過程在 Linux 下由pciehp驅動處理。實際使用中熱插拔失敗最常見的原因是地址空間不足。特別是 32 位 MEM 空間在很多系統(tǒng)上已經(jīng)很緊張了。如果新設備需要大塊 32 位 BAR很可能分配失敗。解決辦法是盡量用 64 位 BAR把地址需求放到 64 位空間里。另外熱插拔時橋窗口的配置也需要更新。如果橋的 Memory Limit 沒有擴展到覆蓋新設備的 BAR 地址設備雖然被識別但訪問會失敗。這個問題在調試熱插拔時經(jīng)常遇到需要手動或者通過腳本調整橋窗口。6.3 鏈路降速與 BAR 訪問的關系PCIe 鏈路降速比如從 Gen3 降到 Gen1或者降寬從 x4 降到 x1通常被認為是物理層問題但實際上它也會影響 BAR 訪問。鏈路降速后配置空間和 BAR 的訪問延遲會增加如果軟件里有超時機制可能會誤判為設備無響應。更嚴重的是鏈路不穩(wěn)定可能導致配置空間讀取錯誤比如 Vendor ID 讀出來是 0xFFFF 或者隨機值。這種情況下主機會認為設備不存在或者設備故障直接跳過枚舉。排查這類問題時不能只看 BAR 分配還要檢查鏈路狀態(tài)寄存器確認鏈路是否穩(wěn)定在預期的速度和寬度。AER高級錯誤報告是排查這類問題的利器。使能 AER 后任何鏈路錯誤都會被記錄到 AER 寄存器里包括錯誤類型、發(fā)生時間、涉及的 TLP 等。在 Linux 下可以用dmesg看到 AER 報告的錯誤信息。6.4 不同操作系統(tǒng)對 BAR 分配的差異Windows 和 Linux 在 BAR 分配策略上有一些差異這些差異在跨平臺開發(fā)時需要注意Windows對 32 位 BAR 的分配比較保守如果 32 位空間不足可能會拒絕分配導致設備無法啟動。Windows 對 64 位 BAR 的支持較好但需要設備正確聲明。Linux默認沿用 BIOS 分配如果 BIOS 分配不合理可以用pcirealloc強制重新分配。Linux 對資源不足的處理更靈活但重新分配可能導致設備編號變化。我遇到過一塊 FPGA 卡在 Windows 下 BAR 分配失敗但在 Linux 下正常。原因是 Windows 的 32 位 MEM 空間被其他設備占滿了而這塊卡的 BAR 只支持 32 位。后來把 BAR 改成 64 位Windows 下也正常了。這個案例說明BAR 的類型選擇不只是技術問題還要考慮目標操作系統(tǒng)的資源管理策略。6.5 配置空間讀寫失敗的常見原因配置空間讀寫失敗通常表現(xiàn)為讀回來全 F 或者全 0。常見原因包括設備未完成鏈路訓練鏈路還沒建立配置空間自然讀不到。等鏈路訓練完成后再讀。設備電源未就緒有些設備需要外部電源電源沒上或者時序不對配置空間不可訪問。配置事務路由錯誤總線號、設備號、功能號不對事務被路由到了錯誤的位置。設備處于復位狀態(tài)復位沒釋放設備不響應配置事務。時鐘未穩(wěn)定PCIe 參考時鐘不穩(wěn)定鏈路訓練反復失敗。排查時可以用示波器看參考時鐘和復位信號用協(xié)議分析儀抓配置事務確認事務是否到達設備。軟件層面可以用lspci -xxxx讀原始配置空間看是否全 F。7. 從理解到落地把配置空間和 BAR 用起來講了這么多原理和坑最后回到實際使用上。配置空間和 BAR 不是只用來理解的它們在日常開發(fā)和調試中有一堆實際用途。7.1 用 sysfs 和工具快速查看設備信息Linux 下查看 PCIe 設備信息最常用的工具是lspci配合不同的參數(shù)可以看到不同層次的信息命令作用lspci列出所有設備的基本信息lspci -t以樹形顯示拓撲結構lspci -vvv顯示詳細配置空間信息包括 BAR、能力列表、鏈路狀態(tài)lspci -xxxx以十六進制顯示完整配置空間setpci讀寫配置空間寄存器lspci -vvv -s 01:00.0查看指定設備的詳細信息除了lspci/sys/bus/pci/devices/下的文件系統(tǒng)接口也很重要。每個設備的config文件是配置空間的二進制鏡像resource文件是 BAR 空間的映射信息。寫腳本自動化調試時直接讀這些文件比解析lspci輸出更可靠。7.2 用戶態(tài)直接訪問 BAR 空間對于 FPGA 調試用戶態(tài)直接訪問 BAR 空間是最方便的方式?;静襟E找到設備的 sysfs 路徑比如/sys/bus/pci/devices/0000:01:00.0/。打開resource0文件用mmap映射到用戶空間。通過映射后的指針直接讀寫寄存器。#include stdio.h #include stdlib.h #include fcntl.h #include sys/mman.h #include unistd.h int main() { int fd open(/sys/bus/pci/devices/0000:01:00.0/resource0, O_RDWR | O_SYNC); if (fd 0) { perror(open); return -1; } // 假設 BAR0 大小為 64KB size_t bar_size 64 * 1024; volatile unsigned int *bar mmap(NULL, bar_size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0); if (bar MAP_FAILED) { perror(mmap); close(fd); return -1; } // 讀偏移 0x00 的寄存器 unsigned int value bar[0]; printf(Register at offset 0x00: 0x%08X\n, value); // 寫偏移 0x04 的寄存器 bar[1] 0x12345678; munmap((void *)bar, bar_size); close(fd); return 0; }這段代碼的關鍵點是O_SYNC標志和volatile指針。O_SYNC保證寫操作立即生效不會被緩存volatile防止編譯器優(yōu)化掉看似冗余的讀寫。對于有副作用的寄存器這兩個都很重要。7.3 在 FPGA 邏輯里實現(xiàn)配置空間和 BAR如果自己寫 PCIe 邏輯配置空間的實現(xiàn)需要覆蓋規(guī)范要求的字段。最小實現(xiàn)包括Vendor ID、Device ID、Revision ID、Class CodeHeader Type、Cache Line Size、Latency TimerBAR0 到 BAR5Command 和 Status 寄存器Capabilities Pointer 和能力列表BAR 的實現(xiàn)需要做地址譯碼當 PCIe 事務的地址落在 BAR 范圍內時把事務轉發(fā)到內部邏輯否則返回 URUnsupported Request響應。地址譯碼的邏輯不復雜但要注意幾點BAR 的地址范圍要和配置空間里聲明的大小一致。64 位 BAR 要同時比較高 32 位和低 32 位地址。預取 BAR 和非預取 BAR 的處理方式不同預取 BAR 可以接受更大的突發(fā)長度。地址譯碼的時序要滿足 PCIe 的延遲要求不能引入太多組合邏輯。7.4 配置空間和 BAR 在虛擬化場景下的變化在虛擬化環(huán)境里配置空間和 BAR 的處理會多一層。虛擬機監(jiān)控器Hypervisor需要把物理設備的配置空間和 BAR 空間映射到虛擬機里讓虛擬機里的操作系統(tǒng)以為自己在直接訪問硬件。這個映射過程涉及到地址轉換虛擬機里的 BAR 地址是虛擬地址Hypervisor 需要把它轉換成物理地址。如果設備支持 SR-IOV每個虛擬功能VF都有自己的配置空間和 BARHypervisor 需要管理這些資源的分配。在虛擬化場景下調試 PCIe 問題要注意區(qū)分是物理設備的問題還是虛擬化層的問題??梢韵仍谒拗鳈C上確認設備正常再在虛擬機里排查。lspci在虛擬機里看到的設備信息可能和宿主機不同因為 Hypervisor 可能修改了某些字段。8. 寫在最后配置空間和 BAR 空間是 PCIe 軟件接口的基石理解了它們就理解了 PCIe 設備是怎么被主機發(fā)現(xiàn)、配置和訪問的。我剛開始接觸 PCIe 的時候也覺得這些東西瑣碎不如高速信號和 DMA 來得刺激。但后來發(fā)現(xiàn)大部分調試問題都出在這些瑣碎的地方。Vendor ID 讀不對、BAR 分配失敗、Command 寄存器沒使能這些問題看起來簡單但如果沒有系統(tǒng)的理解排查起來就是碰運氣。實際項目中我養(yǎng)成了一個習慣拿到一塊新的 PCIe 板卡先不急著跑功能而是用lspci -vvv把配置空間完整看一遍確認 BAR 分配、鏈路狀態(tài)、能力列表都正常。這個習慣幫我提前發(fā)現(xiàn)了很多問題比如 BAR 大小聲明錯誤、鏈路降速、MSI 配置不對等?;ㄊ昼娮鲞@個檢查比后面花幾個小時排查要劃算得多。對于 FPGA 開發(fā)者來說配置空間和 BAR 的規(guī)劃應該在設計初期就確定好而不是等到調試時再改。BAR 的大小、類型、數(shù)量Class Code 的選擇MSI-X 向量的數(shù)量這些都會影響后續(xù)的驅動開發(fā)和系統(tǒng)集成。前期多花點時間規(guī)劃后期少踩很多坑。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产26uuu| 色激情五月| 久久婷婷五月综合色奶水99啪| 综合色99| 第四色在线观看| EEUSS鲁片一区二区三区| 五月噜噜噜色综合| www.婷婷五月天| 丁香五月乱中文字幕| 国产操碰| 五月丁香黄色| www.com任你艹| 免费看成人AA片无码视频吃奶| 色婷婷五月天在线观看| 色五月综合激情| www.99热国产| 久思思久视频| 超碰国产在线| 26uuu青青| 亚州激情九月| 性爱五月婷| 国产XXXX搡XXXXX搡麻豆| 久热 91| 丁香六月激情综合啪啪| 热成人网| 5月丁香六月婷婷| 激情五月天在线观看色婷婷| 99综合视频| 殴美97色| 五月天大香蕉AV| 激情操逼婷婷| 极品人妻VideOssS人妻| 雪千夏麻豆| 狠狠色婷婷7777久| 夜夜干夜夜操| 国产在这里只有精品| 婷婷五月丁香六月| 九九热最新地址| 色狠狠色噜噜噜a天堂一区| 精品思思久久| 丁香亭亭久久| 亚洲 激情 中文| 六月丁香婷婷视频综合在线观看| 久久这里只有精彩| 色五月激情问网站| 色婷婷成人在线| 综合五月草| 婷婷五月在线免费| 久久狠狠色| 久久婷婷激情五月天一区二区| 97综合色片| 欧美亚洲成人在线| 91婷婷搞| 婷五月天天| 99精品在线观看| 婷婷五月天最新综合你懂的 | 激情网五月天| 五月天婷婷小说| 欧美色五月| 99九九精品| 综合一区二区三区| 大香蕉520| 亚洲超碰在线| 久99在线| 国产日韩av片| 六月五月丁香五月欧美| 久热中文字幕在线线观看| www.五月丁香av| 婷婷丁香综合| 99色干| 精品网站:999WWW| 久久伦乱| 激情第四色| 免费做A爰片77777| 色色影院黄大片| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 五月婷婷激情在线| 影音先锋色婷婷| 玖玖综合色| 大功率国产在线| 亚洲激情高潮| 国产这里只有精品| 色婷婷综合视频| 影音先锋女人AA鲁色资源| 日本不卡一区二区三区| 99热亚洲精品| 色香五月天| 草逼大片| 99啪啪视频| 四川BBB搡BBB爽爽视频| 啪啪夜久久| 色综合激情| 怡红院99| 操人久久| 婷婷丁香六月天| 日本在线视频看se99| 99ri在线观看视频| 亚艹艹| 久久五月激情| 九九XX视频| 9久久精品视频| 99这里是99在线视频| 欧美综合婷婷网| 影音先锋女人AA鲁色资源| 91viP在线看| 国产色婷婷亚洲| 天天干天天射综合网| 天天影院色| 国产激情久久久| 操操操97| 五月丁香色情| 五月丁香激情综合网| 激情99热| 97碰91| 久操激情| 天天干天天操天天拍| 思思热这里只有精品| 色色色九九九五月婷婷| 国产99美少妇| 中文无码婷婷| 91丨九色丨老农村| 丁香五月停停av| 午夜激情综合| 免费人人操| 丁香五月激情天AV无码| 六月丁香综合| 亚洲免费电影2| 丁香激惜男女| 五月丁香六月婷综合成人综合| 激情五月丁香五月色| www.maotanji.com| 五月婷亚洲精品| 丁香六月激情| 99五月丁香丁| 九色91视频| 五月婷A V在线| 99久久99九九99九九九| 国产97色在线| 久婷首页| 丁香婷婷激情六月五月开心| YW无码| 色A网| www.婷婷五月天| 99青青草99| WWW.天天日| 色久影院| 久久婷婷五月综合成人d啪| 婷婷四色五月| 影音先锋91在线资源站| 伊人六月丁香婷婷| 欧美日本日韩| 五月婷婷色播网| 99黄色性生活| 99精品激情| 色色亚洲| 久久久久久9| 婷婷五月婷| 国产亚洲精品久久久久苍井松 | 超碰免费在线| 中文字幕成人| 精品久久艹| 99久久精品色老| 九九99久久| httpwww色com日本| 国产精品五月天婷婷| 午夜不卡久久精品无码免费| 六月色五月天天婷婷| 色色色热| 五月丁香六月激情综合在线| www.色色色com| 激情综合激情五月| 热99玖玖99玖玖99九九| 婷婷婷婷色| 4399精品一区二区| 天天拍天天操| 九九色色网| 色色色婷| 深爱五月月天| 少妇人妻丰满做爰XXX| 国产裸舞福利资源在线视频| 超碰在线免费观看日韩| 亚洲99精品欧美一区| 狠狠爱婷婷五月天| 激情床戏| 亚洲天堂亚洲色色色| AA丁香综合激情| 天天做天天爱天天爽在| 一本婷婷丁香久久 | 日韩精品二三区| 亚洲成人网在线观看| 三级毛片视频| 五月天 无码| bukadeavzaixian| 婷婷亚洲综合| 99色精品视频| www.韩日视频| 人人色人人摸人人看| 99热这里只有精品免费| 99碰网站| 婷婷五月天av网| 狠狠狠狠狠干| 91啪级电影| 日韩99无码| 婷婷干五月综合在线播放| 大香久久综合网| 噜噜视频| 天天爱天天日| 91女人18毛片水多国产| 99热99在线| 久久精品爱爱| 综合另类激情| 开心六月婷| 午夜一区| 五月成人天| 亚洲色图45p| 人妻人人操| 99精品久久久久| 国产无套精品一区二区| 久热精品视频| 激情小说五月天社区丁香 | 97超碰欧美中文字幕| 久久WW| 欧美色色色| 激情文学综合婷婷五月天丁香花| 午夜成人AV在线| 99热精品少| 开心婷婷五月综合| 91精品久久久久久综合五月天| 丁香五月天激情综合网| 99久re热视频精品98| 中文人妻主播久久| 香蕉五月婷婷| 图片区 小说区 区 亚洲五月| 久久久久久性爱视频| 久久作爱| 九月婷婷综合网| 色婷婷电影网| 激情久久肏屄视频| 天天爽天天爽视频| 久久五月婷综合网| 超碰人人艹| 六月五月天婷婷涩播在线| 狠狠高潮精品亚洲1| 这里只有精品日韩精品| 97资源欧美日韩大香蕉超碰一区| 精品婷婷丁香五| 激情视频网址| 五月天综合| 五月丁香999| 色综合视频| 日韩一级一片内射视频4K| 激情五月丁香综合网站| www色五月| 黄色三级毛片中字| 国产精品美女| www.zbzhongsen.com| 99热日韩| 五月天在线视频尤物视频在线看| 天天搞夜夜叫| 超碰成人免费| 无码人妻电影| 97色97干| 日亚二欧美| www.91五月| 亚洲色网络| 丁香激情五月| 99热6色| 婷婷五月天激情综合婷婷五月天激情综合| 色综合综合色| 五月丁香激情四射| 婷婷九月综合| 99黄色在线视频精品熟女| 日本久碰| 亚洲av成人一区二区电影在线| 开心五月激情网| 亚洲在线操| 五月丁香婷婷婷激情爱爱| 4399在线日本A片| 色操b| av操B网站| 国产色丁香| 91精品久久久久久久久| 成人午夜视频精品一区| 欧美日韩成人| 色色色热| 国外亚洲成AV人片在线观看| 大地9中文在线观看免费高清| 99热这里全是精品| 天天日夜夜爽| 国产精产国品一二三在观看 | 一二线视频 另类| 天天射影院| 亚洲AV综合在线观看| 天天摸天天透天天舔| 99r这里只有精品在线观看| 五月激情婷婷六月丁香| 九九热最新| 色色热99| 怕怕av| 九九热这里有精品视频| 婷婷六月综合在线| 99热这里有精品24| 欧美成人精品一区二区 | 操操自拍| 五月丁香天堂网| 91精品久久久久| 亚洲色综合| 色一情一乱一乱一区91Av| 婷婷丁香久久| 97香蕉碰碰人妻国产欧美| 久热中文字幕在线线观看| 国产AV不卡福利| 色噜噜狠狠色综无码久久合欧美| 色婷婷基地 | 日本黄 色 片| 99热高清在线| 级情九色| 婷婷五月天Av| 成人综合伍月天| 激情婷婷五月社区| 操久久网| 俺去也五月| 超碰99热精品在线| 五月丁香网站| 五月丁香六月婷婷,婷| 六月婷伊人| 久久婷婷婷婷伊人| 国内外色色色色色成人视频| 久99| 久久婷婷五月综合色欧美| 色涩视频久久| 久久婷婷五月综合色奶水99啪| 婷婷精品| 99精品免费欧美小视频| 婷婷五月色情天| 久久九色| 国产无套精品一区二区| 日韩综合久久| 亚洲不卡| www.色婷婷.com| 五月天色网站| 97色热| 这里只有精品免费视频| 久热精品视频在线观| 青草视频在线观看视频| 超碰猛烈的性猛交| 午夜九九电影| 久久66er久久| 97丁香婷婷| 梁铮版蜘蛛女在线观看| 91综合在线观看| 色级婷婷| 免费日韩99| 久久A V无码视频| 九九色综合网| 五月色亭丁香| 丁香月五月天婷婷久久| av在线激情| 夜夜操加勒比| 99操| 五月婷在线观看| 成人va在线播放| 欧在线一区| 色狠狠五月天| 99精品在线观看视频| 人妻av在线| 亚洲AV电影美洲AV电影| 婷婷丁香久久五月综合| 色噜噜狠狠色综合日日| 伊人九九综合| 五月天婷婷高清无码| 成人av在线电影| 久热99中文字幕| 欧美久热| 9l视频自拍9l九色9l成人| 国产毛片精品一区二区色欲黄A片| 在线伦子99热| 婷婷五月成人系列| 91919191919久久成人视频| 久婷| 丁香婷婷色| 婷婷九九色| 香蕉婷婷色五月| 精品色色| 激情五月天婷婷色色色色色色色色色色色| 亚洲精品小视频| 亚洲另类在线观看| 五月丁香成人| 久久激情五月婷婷| 成人综合视频在线| 久久人妻人人| 9 1大香蕉| 色五月视频无码播放| 久久久久久久人妻| 五月婷婷综合网| 五月婷婷亚洲| 婷婷五月色影视先锋| 99精品久久久久久久婷婷久久 | 丁香五月六月激情久久| 男同91 | 久久区区一二三av| 精a品a| 亚洲网综合在线| 丁香六月婷婷开心| 9久久精品| 午夜色婷婷| 色婷婷成人网| 色9999日韩国产| yellow视频在线观看91| www999日韩精品| 婷婷五月色播| 国産精品| 五月丁香六月在线| 久久99热免费| 一本大道熟女人妻中文字幕在线| 丁香五月激情综合网激情五月| 国产精品色色| 五丁香激情综合| 99精品成人无码A片观看金桔| 亚洲性受XXXX五月丁香| 亚洲色综合| 这里只有精品视频视频在线观看| 99热精品在线| 白天AV月月| 97夫妻超碰| 丁香五月丁香伊人| 97人人操com| 丁香五月另类小说| 久久人人九| 婷婷色色丁香五月天| 色九月欧美| 91丨九色丨熟女丰满| 伊人玖玖精品| 综合久久99| 婷婷五月天成人动漫| 99re在线播放| 懂色AⅤ| 色五月色情| 色99色| √天堂资源在线人妻熟女| 精品色| 婷婷五月欧美综合| 五月婷视频| 婷五月天| 99色嘟嘟精品网站| 亚洲精品成人| 中文字幕无码AV| 婷婷伊人综合| 91免费看片| 综合欧美五月婷婷| 熟妇内谢69XXXXXA片| 99热只有精品在线观看| 丁香六月激情综合网| 中文字幕AV在线播放| 久久这里精彩免费在线观看| 大香蕉久久视频久久视频| 久久精品只有这| 九月影院義母在线播放| 密着浓厚中出乚交尾GvG935| 激情图片婷婷丁香五月| 热99视频精品| 久久婷婷六月综合综合| 亚洲激情久久| 丁香五月婷婷香| 开心五月婷婷激情| Aaa久久| 丁香五月日韩| 99精彩视频在线观看| 四色五月视频| 操人91| 日日夜夜狠狠干| 91黄操| 国产日韩欧美| 九月av| 五月婷婷色播网| 亚洲av无码精品色午夜| 免费看欧美成人A片无码| 色色色色综合| 久久香蕉婷婷五月天| 久久久久婷| 日韩另类| 超碰男人色| 五月天性色| 97热在线精品| 一区=区操屄高清大全av| 五月婷在线| 五月丁香AV在线| 91九色国产| 九九热内射| 另类小说五月天| 五月婷婷六月情| 亚洲综合网激情五月天| av色婷婷| 亚洲免费视频网站| 亚洲岛国电影| 综合激情五月丁香| 九热精品| 成年人丁香五月| 六月米奇色综合| 五月丁香啪啪综合网| 热久综合| 精品人妻午夜一区二区三区四区| 丁香五月婷婷基地| 婷婷五月天基地| 亚洲精| 久久婷婷青草五月天| 光棍影院日韩精品| 色五月综合网站| 国色天香成人网| 人妻22p| AV性爱在线| 五月丁香伊人网| 国产xxxxx在线观看| …亚洲黄色在线播放日韩、av中文a…| 丁香五月五月婷婷欧美大香蕉| 婷婷六月丁| 婷婷成人五月天| 开心五月激情婷婷| 色操b| 亚洲激情五月婷婷日日| 婷婷五月综合色中文字幕| 99热在线精品播放| 丁香五月开心亚洲| 啪啪夜久久| 久久天堂色| 伊久大香蕉| 538在线精品| 五月香婷婷| 欧美日韩成人| 色欲一区二区三区精品A片| 九九热re99re6在线精品| 六月丁香VA| 久久婷婷五月天亚洲欧美| 精品九九视频| 99色在线观看视频| 九九在线这里只有精品视频| 久热视频这里只有精品| 2025色婷婷| 久久久精品色色色| 色婷婷五月综合| 色五月婷婷色五月婷婷色五月婷婷| 99热这里只有精品最新网址| 另类小说激情五月天| 狠狠操狠狠做| 久久久这里有精品| 丰满人妻一区二区三区| 九色七七| 久碰视频| 99热这里只有精品9| 久青草影院| 久久精品99| 国产精品涩涩涩视频网站| 裸体做A爰片毛片A片免费| 99热免费| 丁香五月综合亚洲| 开心五月激情五月丁香五月婷婷| 六月丁AV| 久久最新色| 久久久8| 夜夜骑夜夜操| 超碰爱爱爱| 五月六月激情| 九九这里有精品| 色五月AV| 可以看的AV| 婷婷丁香在线| 淫视馆av三区| 激情综合99| 亚洲色五月| 一本久久亚洲五月婷婷| 天天操综合网站| 激情综合网色播五月| www.91在线观看| 色综合九九| 五月天成人综合| 五月天色区| 婷婷色色综合| 欧美伊人9| 久久永久网址| 天天爽日日爽夜夜爽| WWW.桔色成人.COM| 婷婷五月天丁香花| 国产在线视频1234| 五月亭亭六月色| 呦呦视频无码播放| 中文字幕婷婷| 99视频免费播放| 色v综合网| 色97综合婷婷天天色| 婷婷五月天在线综合| 婷婷综合精品| 99色热| 91在线资源| 久久免片| 久草五月天| 五月久久丁香| 婷婷丁香五月天中文字幕| 婷婷五月天首页| 六月丁香啪| 五月丁香六月| 91九色PORNY肉丝在线| 九九色逼| 天天干天天射色综合| 国产AV国片偷人妻麻豆| 久久人视频| 日日肏夜夜干| 98色丁香五月婷婷综合网| 五月丁香久人妻中文| www色综合| 97色色色| 在线观看中文字幕| 久热亚洲| 伊人久久大香线蕉精品| 久操人妻| 99热这里有精品| AA片在线观看视频在线播放| 色玖玖导航| 人人看人人要| 开心五月深爱五月| 色啪影院| 天天干一干| 婷婷中文字幕网站| 亚洲欧洲色色| 婷婷五月综合在线| 丁香玖玖| www.狠狠艹| 欧美人与性动交CCOO| 婷婷永久在线| 激情图片婷婷| 国产色香蕉精品五夜婷| 丁香五月婷婷乱| 久热伊人| 丁香五月天激情网址| 久久综合影院| 9精品一区| 天天射射夜| 色色色色网站| 91性高潮久久久久久久久| 99视频在线观看网址| 欧美综合婷婷网| 91超级碰| 99操中文视频| 综合99综合久久久久久久| 色综合9| 婷婷黄色五月天在线视频| 五月丁香| 国产精品成人在线| 久久久www| 色婷婷综合亚洲| 日韩aaaaa| 6 9式性爱视频在线播放| 欧美另类五月激情| 思思9久久| 久久久久亚洲A∨成人乱码电影| 91精品久久久久久77777| 日本视频99| 少妇人妻人伦A片| 大香蕉人人网| 97色啪| 一二区成人电影| 激情综合五月婷婷六月丁香| 97成人视频| 狠狠色综合久久| 亚洲AV久久久久久久久久久久久久久久| 五月伊人视频在线看| 欧美性猛交 XXXX 乱大交| 影音先锋女人av鲁色资源网小说免费| www.狠狠| 六月丁香婷婷网| www.97视频| 成人九九视频| 五月婷婷www| 99在线免费视频| 婷婷五月天丁香社区| 丁香五月激情网| 亚洲AV日韩无码| 婷婷精品| 99综合婷婷五月| 蜜桃婷婷丁香综合久久开心亚洲| 99热这里只有在线| 99热高清在线| 久操大香蕉| 五月天合网| 国产精品天天狠天天看| 国产精品成人av在线观看春天| 色情网综合| 99色热视频在线| 97在线综合| 天天做天天爱天天搞| 综合网五月| 激情五月婷婷色综合| 久久性都花花世界成人免费视频 | 五月丁香影院| 丁香五月六月激情| 色色九九五月天| 一起草性爱不卡视频| 五月天婷婷色紫薇阁| 噢美99| 色婷婷综合影院| 丁香 婷婷 激情 综合 五月| 亚洲蜜桃精久久久久久久久久久久| 激情综合六月| 激情婷婷在线中文字幕| 狠狠干婷婷| 丁香五月天在线| 国产激情AV| 色欧美一级| 日韩另类在线观看| 99久热这里有精品| 久久五月情| 五月丁香免费看| 去干网最新版本亚洲版| 夜夜大香蕉婷婷丁香| 99热欧美| 色婷婷亚洲六月婷婷中文字幕| 91狠狠综合久久| 亚州在线中文字幕| 97香蕉碰碰人妻国产欧美| 午夜九九电影| 久久婷婷91| 亚洲 在线 另类| 久久人人九| 白天AV月月| 99干日本| 欧美十二区| 色婷婷综合网站| 日韩操| 久99| 涩五月丝袜婷婷| 婷婷丁香五月综合| 六月婷婷久久| 精品久久久久久久人妻| 热的五码久久精品| 激情久久丁香| 丁香久久在线| 激情五月天社区| 夜夜操天天干| 亚洲九九九九| 天天色综合天天| 亚洲成人九九九| 午夜亚洲AV日韩无码| 婷婷久久网| 99热这里只有精品4| 色婷婷视频| 亚洲激情综| 五月丁香A∨在线| 日日影院 | 九九热最新地址| 久草热在线视频| 色婷婷五月亚洲| 国产亚洲色婷婷99精品| 亚洲五月天婷婷| 九九热青青草| 骚逼视频一区2区| 九月婷婷综合| 激情综合网五月婷婷| 五月丁香六月婷婷色日| 17.c黄色| 99精品久久久久久久婷婷久久 | 激情美女五月天| 96丁香六月婷婷蜜桃综合久久| 婷婷五月娱乐在线| 丁香五月婷婷色综合| 涩涩五月天| 色播五月天激情| 亚洲五月婷婷| 婷婷天堂综合| 色婷婷免费观看| 色激情五月| 成人丁香| 五月丁香六月婷婷色日| 一起草性爱不卡视频| 五月色俺婷婷| SS丁香五月婷婷| 婷婷色系婷色| 91dy.av| 六月伊人婷婷| 五月色 亚洲| 无码毛片992367| www。88热在线视频免费观看| 热99这里只是精品| 狠狠综合| 亚洲中文丁香| 99在线精品视频免费| 99er日韩| 91丨熟女丨首页| 美女天天久久| 欧美色骚婷婷五月天| 欧美成人无码一区二区三区| 激情深爱综合| 五月丁香999| 26uuu欧美亚洲日韩| 激情综合网亚洲色图| 先锋av性爱成人电影| 激情网开心网| 人人摸人人干人人做| 99久久激情视频| 人人爱国产| 五月婷婷在线免费| 丁香五月先锋| 久久久91| 五月天伊人| 亚洲亚洲人成综合网络| 丁香88AV五月婷婷| 久久一级免费黄色片| 1999天天操夜夜操| 97热视频| 日本天天综合| 99热99干| 日亚二欧美| 色五月六月| 天天爽夜夜操| 超碰免费人人肏| 美国不卡视频| 欧美日综合| 九九这里只这里只有精品| 婷婷五月丁香成人| site:pnnrt.com| 亚洲欧美婷婷五月色综合| 另类天堂| 丁香五月桃花在线激情综合| 9久国产| 激情综合五月激情XXXX| 婷婷六月天亚州| 99在线免费观看| 色九九综合| 亚洲日韩一页精品发布| 人人超碰99| 天天久久狠狠色综合| 一区二区三区四区五区| 天天插天天插天天插| 丁香五月婷婷大香蕉| 99爱在线免费视频| 六月婷婷综合网2| 综合久久高清| 六月伊人婷婷| 五月天综合色| 秋霞网在线观看理论91| 26uuu欧美日韩| 色区域网站视频| 玖玖爱综合网| 成人做爰A片免费看视频| www.一起草av| 狠狠搞五月天| 伊人久久五月天综合| 91一起艹| 久久综合26p| 日日干天天射| 日本va视频| 久久人人看| 玖玖@三月天天丁香婷婷| 久久综合综合久久| 人妻精品久久久久久| 久久激情综合| 99精品丰满| 人妻射精AV| 婷婷五月六| 五月丁香色综合| 天堂爱啪啪| 我爱宗和色| 五月丁香久| 久久婷婷超碰| 开心五月天私房婷婷| 色婷婷的五月天| 青柠影视免费高清电视剧| 久久精品63| 婷婷五月花西瓜| 色香蕉影院| 国产.亚洲.欧洲视频在线| 99性爱无码| 91精品综合久久久久久五月丁香| 超碰激情五月| 欧美五月丁香在线观看| 婷婷五月花| 日日噜噜久久婷婷五月天| 99亚洲综合| 大香蕉婷婷五月天| 色色五月激情| 综合五月激情网| 伊人激情AV一区二区三区| 婷婷黄色| 天天搞天天爽| 九九九九九九九九九九九九九九九九九九九在线视频 | 99操逼| caopeng97人人| 日日爽天天| 国产毛多水多女人A片| 色狠狠综合| 婷婷五月丁香色综合| 五月丁香A片| 亚洲综合色丁香五月天| 色情五月综合婷婷| 亚洲天堂99| 97碰碰在线看视频免费| 99婷婷五月天激情| 亚洲色色香蕉| 婷婷色综合网日韩国产| 五月丁香六月婷婷免费视频| 99久re热视频精品98| 97久久视频| 欧美久久婷婷| 琪琪色五月天| 色激情五月| 激情久久丁香| 另类激情综合| 国产婷婷久久| 色色网站在线| 碰碰碰碰碰99| 久久视频这里99| 超碰2021| 五月天六月婷婷电影| 丁香五月婷婷免费视频| 婷婷色日本| 国产五月视频| 久久精品永久免费| 日本无码专区| 99久久综合精品五月天| 五月综合激情啪啪啪啪啪| 免费久久这里只有精品99| 777精品久无码人妻蜜桃| 婷婷五月天777| 婷婷丁香社区| 丁香五月激情澎湃一区| 九月丁香八月婷婷加勒比| 好好干av| 1024成人免费看| 激情五月丁香综合网站| 九九中文色色| 五月婷婷六月情| 九九干视频| 久久综合五月天| 色五月色五天色情网| 久久99热这里只有精品| 99热大全在线观看| 国产亚洲精品AAAAAAA片| 99久久成人| 九九久久色| 97色色色| 丁香五月婷婷超碰在线| 五月婷婷激情综合| 六月丁香婷婷尤物| 国产色色小草视频| 99操免费视频| 超碰在线成人| 777精品久无码人妻蜜桃| 99热骚货| 超碰97色| 久久综合爱| 99精品这里只有免费视频 | 五月婷久久草| 色综合大香蕉| 99 热国产在| 国产精品色色| 伊人狠狠操| 色五月视频无码播放| 精品无码av丁香五月激情| 亚洲天堂99| 久婷婷婷| 超碰资源在线| 加勒比日本一区二区三区| 五月天天综合网色婷婷| 欧美色片中文字幕久久久久| 99热这里有精品| 亚洲高清在线| 五月天社区| 天天干天天日天天操| 99久久久久| 国产精品久久久久久白浆色欲| 99久久99久久| 色噜噜狠狠色综无码久久合欧美| 激情综合激情五月一起草| 久久九九在线视频| 婷婷四色成人综合色视| 欧美色色色| 婷婷激情丁五月| 另类图片婷婷五月天| 99热这里精| 婷婷丁香视频| 99.色| 五月婷婷乱| 五月婷婷激情综合拍| 人妻精品久久久久久久| 99爱免费视频| 激情亚洲网| 性色五月天| 天天色天天操天天射| 五月天另类激情在线| 日本九九视频| 99ri在线视频| 日本欧美成人片AAAA| 丁香五月偷拍| 日本二级毛片二级毛片| 人妻视频一区而且二区| yiqicaoav| 丁乡久久| 中文字幕av久久爽一区| 久思思热视频在线观看| 夜夜骑日日操| 狠狠干激情五月| 精品久久久久久久人妻| 五月婷婷中文字幕| 日韩另类在线观看| www.99色| 极品少妇高潮啪啪AV无码| 国产,欧美,学生妹,视频| 国产乱轮一区二区三区| av线电影| 99久久9| 亚洲综合激| 蜜桃婷婷丁香| 丁香五月婷婷香| 亚洲精品影视| 色情综合| 超碰人妻公开在线| 91oumei| 色色狼人综合| 成人视频九九| 激情婷婷五月基地| 伊人网啪啪| 亚洲操操操| 五月婷婷很很色| 99人妻碰碰碰久久久久| 欧美精品999| 色婷婷色五月丁香| 日日天天干| 综合网色| 专区无日本视频高清8| 中文字幕av久久爽| 91偷拍视频| 亚洲色婷婷网站| 九九热在线视频观看| 91精品久久久久久| 亚洲精品无人区| 婷婷久久五月天中文字幕在线观看| 91久久久久久久久18| 九九操综合网| 天天日天天舔| 久久婷婷五月天| www.99热精品99.com| 色情五月综合婷婷| 新激情五月开心五月婷婷五月丁香五月| 五月丁香综合在线| 人人操AV| 丁香五月ⅤA久久久| 亚洲欧美婷婷五月色综合| 五月久久亚洲| 另类图片色五月| 五月丁香婷婷色啪| www.婷婷| yw国产AV| 丁香婷婷久久 | 91狠狠综合久久久久久| 五月丁香六月激情啪| 婷婷五月综合在线| 久久男人网婷婷| 99久久久久| 深爱激清网| 九九色色| 亚洲4区国产欧美| 综合亚洲五月天| 思思热精品在线| 中国丰满熟女A片免费观| 五月婷婷六月丁香首页| 成人AV在线网站| 啪啪综合| 久久这里只有精品视频15 | 久久久久激情网| 八戒青柠影视剧在线观看| 亚洲色vA| 这里只有精品日韩| 91精品综合久久久久久五月丁香 | 久久婷色| 草榴视频黄色网| 开心六月丁香五月婷婷| 五月婷婷片| 嫩草AV久久伊人妇女超级A| 91久久九久久九久久九久久九久久| 婷婷热婷婷色| 九九99九九99| 婷婷五月综合基地| 日本激情ⅩXX免费视频| 97色色综合| 狠狠色综合图片| 玖月婷婷爱丁香| 99视频35精品视频在线观看| 九色综合五月天婷五月| 天天综合色丁香| www.五月天色色.com| 久久久潮喷-久久久九九-成人AV| 怡红院99| 成人av免费观看| 色天堂操| 婷婷香五月综合激情| 六月婷婷激情| 婷久久| 色五月在线观看| 免费无码毛片一区二区A片| 超碰av在线| 精品女人九九九| 一区操| 天天干天天操天天上| 91色久| 欧美三级欧美一级| 激情五月五月婷婷| 丁香五月激情五月| 操日本人妻视频| 丁香成人五月天| www.激情| 五月 成人 婷婷| 亚洲综合在线网站| 99热这里只要精品免费| 日韩无码AV电影网站| 丁香婷婷偷拍| 九九久久综合| 天天色天天搡| 操久久网| 国产精品视频免费看| 亚洲中文乱字字幕在线永久| 婷婷五月另类网站| 久久五月婷天天干| 欧美大片免费观看| 无码中文一区二区三区| 婷婷综合网| 99视频超级精品| 国产成人综合网| 亚洲综合久| 97碰| 另类精品视频在线观看| 久久丁香综合| 五月婷婷色啪| 午夜婷婷久久| 五月婷婷日| 99激情| 婷婷五月天亚洲综合| 99热免费| 国产精品国产| WWW.99热| 九热...av| 成人av中文字幕| www.五月婷婷| 99ri在线视频| 欧美操人| 婷婷丁香射射| 久久99视频| 五月丁香va| 三级片AAA久久久AAA久久久AAA | 91狠狠色丁香婷婷综合久久| 五月激情六月综合| 777色婷婷爱五月| 五月天婷婷成人网| 99热精品在线播放观看| 成人无码精品1区2区3区免费看| 6月丁香婷婷激情| 国产精品久久久爽爽爽麻豆色哟哟| 日日操夜夜爽天天天| 秋霞av吧| 久久久精品色色色| 久久99精品久久久久久青青AR| 狠狠色成人影片| 丁香婷婷色九月| 久久精品99| 婷婷五月在线综合| 色五月情| 开心五月深爱五月丁香五月激情五月| 琪琪狠狠干| h在线看免费版在线看| 国产在线黄色| 26uuu日韩| 襙比视频| 极品五月天| 婷婷五月综合色拍| 极品色丁香| 国产精品成人AV在线观看春天| 久久婷婷五月综合啪| 久久天堂精品| 99自拍视频在线观看| 日操| 丁香久久| 狠狠色婷婷丁香六月| 成人精品免费在线观看| 深爱激情五月网| 丁香六月婷婷综合激情欧美| 五月天婷婷在线视频| 激情婷婷狠狠干| 人妻中文字幕精品| 亚洲色另类| 婷五月丁香俺| 性无码专区无码| 在线A色| 久热爱大香蕉在线蜜臀悦色| 99综合网| 五月婷婷在线丁香| 激情人妻蜜夜系列区| 99亚洲视频| 99精品国产在热久久| 无码 av电影| 综合网天天| 久久99免费视屏| 成人免费黄色短视频| 久久ab| 99色色爰| 99re欧美精品| 99免费视频| 精品色情一区二区三区四区| 99久久婷婷精品视频| 久久最新色| 2020久久婷婷五月| 色约约视频一区二区三区四区五区| 亚洲AV人人操| sewuyue第四色| 69色婷婷| 久久伊人五月天| 夜夜撸天天操| 99啪啪| 亚洲a片免费观看| 人妻操逼视频| 激情五月少妇| 色五月琪琪| 1级欧美日韩| 丁香六月啪啪| 丁香五月天的网址。| 午夜激情综合| 激情 久久 婷婷| 久久9久| 先锋影音av色五月天资源站| www.99热在线观看| 天天舔天天插天天干| 久99在线视频| 2018夜夜草| www.超碰在线| 天天综合天综合| 天天人人综合| 久久精品五月| 精品人妻伦九区久久AAA片| 日本久久人| 久久久精久人妻| 成人av免费观看| 色色色五月天激情资源| 五月天另类激情在线| 婷婷在线激情| 丁香五月激情六月综合| 久草A片| 九九美女视频| 国产乱人偷精品人妻A片| 五月婷婷色综图片| 九九视频这里只有精彩| 五月婷婷伦理| 九九大香视频| 波多婷婷久久| 五月丁香狠狠爱| 操操天堂| 99精品大片| 五月丁香六月婷婷在线小说视频| 五月丁香六月综合基地| 99热亚州综合| 欧美S码亚洲码精品M码| 五月婷婷av| 综合激情五月天六月婷免费视频| 美女婷婷六月色| 特黄三级片| 婷婷色片| WWW.HENHENL.| 国产人妻人伦精品一区二区| 欧美日韩999| 色婷婷国产精品综合在线观看| 青青草原福利在线|