欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Wi-Fi驅(qū)動(dòng)異常排查:PCIe BAR讀全FF背后的MSI中斷重映射問(wèn)題

Wi-Fi驅(qū)動(dòng)異常排查:PCIe BAR讀全FF背后的MSI中斷重映射問(wèn)題 如果你在調(diào) Wi-Fi 驅(qū)動(dòng)時(shí)遇到過(guò)read return 0xffffffff、BAR 空間里讀出全 FF、或者/proc/interrupts里對(duì)應(yīng)設(shè)備那列中斷計(jì)數(shù)紋絲不動(dòng)那你大概已經(jīng)體會(huì)過(guò)這種感覺驅(qū)動(dòng)還掛在設(shè)備上、配置空間也還活著但設(shè)備和主機(jī)之間其實(shí)已經(jīng)斷了。這篇筆記記錄的是一次 Wi-Fi 驅(qū)動(dòng)異常排查我一開始只是發(fā)現(xiàn) PCIe BAR 空間異常最后卻不得不把 MSI 中斷機(jī)制從協(xié)議層一路翻到 IOMMU 的中斷重映射實(shí)現(xiàn)層。文中沒有從頭講教科書原理而是按我實(shí)際動(dòng)手的順序把現(xiàn)象、排除鏈路、根因和修復(fù)都攤開來(lái)講希望能給正在調(diào) PCIe 設(shè)備驅(qū)動(dòng)的朋友省掉一些彎路。1. 故障現(xiàn)場(chǎng)滿速打流十分鐘W 卡直接“失聯(lián)”事情發(fā)生在實(shí)驗(yàn)室那臺(tái) x86 測(cè)試機(jī)上。當(dāng)時(shí)我們?cè)谧瞿?Wi-Fi 6E 模組下文統(tǒng)稱 W 卡的長(zhǎng)時(shí)間吞吐驗(yàn)證內(nèi)核版本是 6.1網(wǎng)卡掛在 M.2 槽位上PCI 編號(hào)固定為0000:03:00.0。測(cè)試方法很簡(jiǎn)單開 8 條雙向數(shù)據(jù)流跑 30 分鐘看有沒有斷流、丟包或者復(fù)位。結(jié)果第 11 分鐘觀察終端突然冒出大量超時(shí)ping 從正常變成 100% 丟包iw dev也掃不到任何 AP。第一反應(yīng)是射頻或固件出問(wèn)題了因?yàn)檫@種模塊在長(zhǎng)時(shí)間高負(fù)載下偶爾會(huì)有底層固件 crash 的毛病。但接下來(lái)看到的日志讓我覺得事情沒那么簡(jiǎn)單[1384.611005] wcard 0000:03:00.0: request timeout, response: 0x00000000 [1384.611029] wcard 0000:03:00.0: queue 0 stuck for 2000 ms. [1384.612111] wcard 0000:03:00.0: Hardware error detected. restarting...緊接著 dmesg 里開始刷一種更詭異的日志夾雜在驅(qū)動(dòng)自己的超時(shí)信息中間[1384.612145] DMAR: [INTR-REMAP] Request device [0000:03:00.0] fault index 0x1f [fault reason 0x26] [1384.612201] DMAR: [INTR-REMAP] Request device [0000:03:00.0] fault index 0x1f [fault reason 0x26]這種DMAR / INTR-REMAP的日志平時(shí)很容易被當(dāng)成“平臺(tái)層面的雜音”忽略掉但它在滿速打流的場(chǎng)景里成百上千條地刷絕不是偶然。我先是懷疑電源管理策略像 ASPM、D3cold 切換這類老問(wèn)題于是關(guān)掉了相關(guān)的 kernel 參數(shù)重新復(fù)測(cè)結(jié)果第 11 分鐘照樣崩。復(fù)現(xiàn)了三次之后我確認(rèn)這八成不是射頻層問(wèn)題而是 PCIe 設(shè)備鏈路本身處于一個(gè)“主機(jī)服務(wù)不了設(shè)備”的怪狀態(tài)。更有意思的是故障發(fā)生之后ip link show wlp3s0顯示鏈路一直是 down 的。執(zhí)行modprobe -r再重新加載驅(qū)動(dòng)有時(shí)能恢復(fù)有時(shí)一加載就繼續(xù)掛真正能 100% 恢復(fù)現(xiàn)場(chǎng)的手段只有整機(jī)重啟。這種“只有重啟才能救回來(lái)”的癥狀往往意味著硬件狀態(tài)沒有被驅(qū)動(dòng)正常復(fù)位——不是配置參數(shù)沒設(shè)對(duì)而是某個(gè)底層狀態(tài)已經(jīng)臟了驅(qū)動(dòng)再怎么重來(lái)也抹不掉。我當(dāng)時(shí)的結(jié)論很簡(jiǎn)單先別管射頻和固件把 PCIe 配置空間和 BAR 資源先盤一遍看看設(shè)備在主機(jī)眼里到底是什么狀態(tài)。2. BAR 空間異常排查寄存器讀不回但配置空間依然完好2.1 先確認(rèn) BAR 本身沒被系統(tǒng)改壞要判斷“BAR 空間異?!钡谝徊绞谴_認(rèn) BAR 寄存器在配置空間里還正不正常。PCIe 設(shè)備通過(guò)配置空間里偏移0x10到0x24的六個(gè) BARBase Address Register聲明自己需要哪些 MMIO 窗這些對(duì) CPU 來(lái)說(shuō)就是一組“門牌地址”。看門牌用lspci -vvv就夠了03:00.0 Network controller: W-card NW-7300 Subsystem: W-card NW-7300 Control: I/O- Mem BusMaster SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx- Status: Cap 66MHz- UDF- FastB2B- ParErr- DEVSELfast TAbort- TAbort- MAbort- SERR- PERR- INTx- Interrupt: pin A routed to IRQ 289 Region 0: Memory at ef100000 (32-bit, non-prefetchable) [size16K] Region 1: Memory at ef120000 (32-bit, non-prefetchable) [size4096] Capabilities: [c8] MSI-X: Enable Count16 Masked- Vector table: BAR 0 offset 0x00001000 PBA: BAR 0 offset 0x00003000這里Region 0、Region 1的地址和大小都很正常Control行里Mem表示 memory decode 開著BusMaster表示設(shè)備允許發(fā)起 DMA 和 MSI 寫事務(wù)。也就是說(shuō)從配置空間看BAR 的“門牌”沒有丟地址映射也沒有被內(nèi)核重新分配掉。于是我把懷疑點(diǎn)挪到真實(shí)訪問(wèn)上。2.2 真正讀 BAR 的時(shí)候設(shè)備沒有回包配置空間正常不代表 MMIO 讀寫正常。BAR 里的地址只是一個(gè)窗口CPU 往這個(gè)地址發(fā)一個(gè) PCIe 讀事務(wù)要設(shè)備真正響應(yīng)并返回 read completion數(shù)據(jù)才算拿到。如果設(shè)備端沒有回包表現(xiàn)就取決于平臺(tái)有的橋路會(huì)一直讓讀側(cè)掛死有的會(huì)返回 0xFFFFFFFF還有的會(huì)直接觸發(fā) PCIe 錯(cuò)誤上報(bào)。我當(dāng)時(shí)先用devmem2嘗試讀 BAR 0 的物理地址0xef100000終端直接卡住CtrlC 都難響應(yīng)再試dd讀/sys/bus/pci/devices/0000:03:00.0/resource0也是一樣的癥狀。在另一臺(tái)同型號(hào)機(jī)器上復(fù)測(cè)則是干凈利落地返回了全0xFF。兩個(gè)表現(xiàn)本質(zhì)一樣設(shè)備端沒有返回正常完成。于是我把現(xiàn)象準(zhǔn)確地定為配置空間可讀BAR 內(nèi)容沒被改寫Mem已經(jīng)置位但 MMIO 窗口無(wú)響應(yīng)設(shè)備還在 PCIe 總線上沒有沒電或掉鏈路。2.3 一個(gè)常見的認(rèn)知陷阱BAR 全 FF 不等于“資源沖突”很多人在這一步會(huì)誤判成“BAR 空間被別的驅(qū)動(dòng)占用了”或者“地址分配沖突”。地址沖突的癥狀通常是lspci顯示[disabled]、resource0文件不存在或大小不對(duì)或者內(nèi)核報(bào)cant reserve region。而我們遇到的情況不是資源分配問(wèn)題——BAR 配置完好但后端不響應(yīng)。這更像設(shè)備內(nèi)部的狀態(tài)機(jī)已經(jīng)爛掉比如固件卡死、設(shè)備停在復(fù)位流程中、MMIO decode 被設(shè)備自己關(guān)掉或者它根本沒進(jìn)入能回包的 D0 狀態(tài)。要區(qū)分這兩種情況關(guān)鍵是看“門牌”和“屋里是否有人”兩個(gè)層面配置空間讀就是看門牌MMIO 讀就是看屋里人對(duì)不對(duì)你的敲門有反應(yīng)。門牌在、人不應(yīng)叫設(shè)備無(wú)響應(yīng)門牌被改掉、資源被收回才叫資源沖突。前者往往是設(shè)備或驅(qū)動(dòng)狀態(tài)機(jī)問(wèn)題后者才是內(nèi)核資源管理問(wèn)題。但這里還有一個(gè)更隱蔽的問(wèn)題為什么設(shè)備會(huì)處于“門開著但屋里沒人”的狀態(tài)我一開始以為是設(shè)備固件自主復(fù)位的副作用直到我注意到/proc/interrupts里那列紋絲不動(dòng)的計(jì)數(shù)器才意識(shí)到問(wèn)題很可能出在中斷投遞上。3. MSI 中斷機(jī)制拆解先搞懂“往內(nèi)存寫一筆”怎么變成一次中斷3.1 從 INTx 到 MSI為什么網(wǎng)卡不再喜歡“拉線”傳統(tǒng) PCI 時(shí)代設(shè)備靠 INTx 物理引腳申請(qǐng)中斷也就是每個(gè)功能一根硬線電平或者邊沿觸發(fā)由中斷控制器把信號(hào)送到 CPU。這種方式有三個(gè)天然痛點(diǎn)中斷向量數(shù)量少、多個(gè)設(shè)備往往共享一根線、每次中斷的觸發(fā)開銷和擾動(dòng)都不小。共享中斷尤其麻煩處理時(shí)不確認(rèn)設(shè)備確實(shí)發(fā)生了中斷就得逐個(gè)輪詢所有掛在線上的驅(qū)動(dòng)對(duì)高吞吐網(wǎng)卡來(lái)說(shuō)完全不可接受。MSIMessage Signaled Interrupts把“拉一根線”換成了“寫一筆內(nèi)存”。設(shè)備生成一個(gè) PCIe memory write 事務(wù)目標(biāo)是某個(gè)預(yù)先約定好的特殊地址數(shù)據(jù)里帶上預(yù)分配的中斷向量信息。這個(gè)“寫內(nèi)存”不是普通 DMA它不會(huì)真的往某塊緩沖里塞數(shù)據(jù)而是被中斷控制器識(shí)別并轉(zhuǎn)換成一次 CPU 中斷。對(duì)設(shè)備來(lái)說(shuō)發(fā)中斷變成一次普通的內(nèi)存寫不用再受引腳數(shù)量和共享限制對(duì)主機(jī)來(lái)說(shuō)MSI 天然按設(shè)備甚至按隊(duì)列分配向量不再需要共享。MSI 和 MSI-X 的區(qū)別在于擴(kuò)展性。MSI 最多支持 32 個(gè)向量所有向量共用一個(gè)目標(biāo)地址段MSI-X 則允許每個(gè)向量獨(dú)立設(shè)置自己的 address 和 data所以驅(qū)動(dòng)可以給每個(gè) DMA 隊(duì)列分配獨(dú)立的中斷向量。W 卡這種 16 隊(duì)列的設(shè)備用的就是 MSI-X。3.2 MSI-X 表為什么和 BAR 空間是“同生共死”的關(guān)系MSI-X 有一塊關(guān)鍵的硬件結(jié)構(gòu)叫 MSI-X Table向量表它就放在某根 BAR 指向的 MMIO 空間里。lspci -vvv里那行Vector table: BAR 0 offset 0x00001000就是在說(shuō)BAR 0 這段 16KB 的 MMIO 空間里從偏移0x1000開始放著一張向量表。每個(gè)表項(xiàng) 16 字節(jié)結(jié)構(gòu)如下偏移內(nèi)容說(shuō)明0x00Message Address 低 32 位中斷目標(biāo)地址通常落在中斷控制器區(qū)域0x04Message Address 高 32 位64 位地址的高半部分0x08Message Data中斷數(shù)據(jù)配合地址確定向量0x0CVector Control第 0 位是 Mask置 1 則屏蔽該向量注意這個(gè)細(xì)節(jié)向量表是設(shè)備普通的 MMIO 空間不是配置空間的一部分。驅(qū)動(dòng)或硬件可以把整張表讀出來(lái)、改掉、甚至填成垃圾PCI 配置空間完全不會(huì)察覺。標(biāo)題里的“BAR 空間異?!痹谖疫@次故障里其實(shí)就是這張表出了問(wèn)題——不是 BAR 地址丟了而是 BAR 背后的設(shè)備狀態(tài)連同這張表都陷入了一個(gè)不閉環(huán)的狀態(tài)。3.3 IOMMU 的中斷重映射為什么 MSI 不是“寫進(jìn)去就完事”在啟用了 DMA 重映射的平臺(tái)x86 上常見的中斷重映射機(jī)制或 Arm 平臺(tái)類似實(shí)現(xiàn)MSI 并沒有直接中斷 CPU而是先經(jīng)過(guò) IOMMU 做一次翻譯。設(shè)備發(fā)出的 MSI 寫事務(wù)會(huì)被 IOMMU 截獲IOMMU 根據(jù)寫地址里的“中斷句柄”去查一張中斷重映射表IRTE再把真正的向量和 CPU 投遞信息填入原本的 MSI 消息最終觸發(fā)中斷。這樣平臺(tái)可以把虛擬機(jī)、分區(qū)安全、設(shè)備隔離做得比較干凈同時(shí)也能做到按設(shè)備重映射中斷。重點(diǎn)來(lái)了IRTE 表項(xiàng)是主機(jī)側(cè)內(nèi)核管理的內(nèi)存結(jié)構(gòu)。當(dāng)一個(gè)設(shè)備的中斷被釋放比如驅(qū)動(dòng)卸載、解綁、或者復(fù)位流程里調(diào)用了pci_free_irq_vectors()內(nèi)核會(huì)把對(duì)應(yīng)的 IRTE 表項(xiàng)標(biāo)記為無(wú)效最常見的就是把表項(xiàng)里的 present 位清 0。如果這時(shí)設(shè)備還在用老的 MSI-X 向量表往外發(fā)中斷IOMMU 查到這條表項(xiàng)發(fā)現(xiàn)“無(wú)效”就會(huì)拒絕投遞然后在 dmesg 里打印一條 interrupt-remapping 故障。這就是我前面看到DMAR: [INTR-REMAP] ... fault index 0x1f的真正含義故障索引0x1f對(duì)應(yīng)的就是設(shè)備 MSI 消息里攜帶的句柄而 fault reason0x26在大多數(shù)內(nèi)核版本里翻譯過(guò)來(lái)正是“該 IRTE 已不在服務(wù)狀態(tài)present 位被清”。到這里整個(gè)因果鏈已經(jīng)隱隱約約出來(lái)了主機(jī)端的 IRTE 被釋放了但設(shè)備端的 MSI-X 表沒有同步清掉設(shè)備還在往一個(gè)已經(jīng)被回收的“號(hào)碼”上打電話。呼叫永遠(yuǎn)無(wú)人接聽設(shè)備自然陷入無(wú)人服務(wù)的狀態(tài)。4. 排查鏈路全程復(fù)盤從 DMAR 到中斷計(jì)數(shù)為 0 的關(guān)鍵證據(jù)4.1 證據(jù)一/proc/interrupts 里零增長(zhǎng)的中斷計(jì)數(shù)拿到 DMAR 日志后我做的第一件事是打開/proc/interrupts找 W 卡對(duì)應(yīng)的那行。結(jié)果非?!案蓛簟盋PU0 CPU1 CPU2 CPU3 CPU4 CPU5 289: 0 0 0 0 0 0 PCI-MSI-X 0000:03:00.0 wcard-0中斷編號(hào)是 289設(shè)備名也綁定在wcard-0上但六個(gè) CPU 的計(jì)數(shù)全部是 0。一個(gè)正在跑 8 條數(shù)據(jù)流、忙得不行的網(wǎng)卡居然一個(gè)中斷都沒收到。這說(shuō)明 MSI 消息要么根本沒有發(fā)出來(lái)要么發(fā)了但被 IOMMU 攔掉了。結(jié)合 DMAR 日志答案顯然是后者消息一直在發(fā)只是每次都被 fault 攔截根本不送不到 CPU。中斷計(jì)數(shù)是排查這類問(wèn)題最便宜的探針。如果某個(gè)設(shè)備在負(fù)載下中斷數(shù)紋絲不動(dòng)先別懷疑“它是不是沒用中斷”更常見的是“它想用但投遞不到”。4.2 證據(jù)二lspci 里的 MSI-X 表位置以及它和 fault index 的對(duì)上號(hào)再確認(rèn)一次lspci -vvvMSI-X 是 Enable 狀態(tài)表在 BAR 0 offset0x1000。于是我用devmem2繞開驅(qū)動(dòng)直接讀物理地址0xef101000處的向量表內(nèi)容0xef101000: f0 1f 02 00 00 00 00 00 00 20 00 00 01 00 00 00 0xef101010: f0 1f 02 00 00 00 00 00 00 20 00 00 01 00 00 00看到第一行后我就懂了。每個(gè)表項(xiàng)的 16 字節(jié)里低 32 位 Message Address 是0x00021ff0Data 是0x0020。在中斷重映射開啟時(shí)地址中的低若干位就是 IRTE 索引的來(lái)源0x1f赫然就在其中。這和 dmesg 里反復(fù)出現(xiàn)的fault index 0x1f完全對(duì)應(yīng)上了設(shè)備還在用這個(gè)老句柄發(fā)中斷而內(nèi)核早就把這一項(xiàng) IRTE 釋放了。換句話說(shuō)設(shè)備的“電話號(hào)碼本”里還存著一個(gè)舊號(hào)碼主機(jī)這一側(cè)卻已經(jīng)把號(hào)碼注銷了。這種情況常見于設(shè)備復(fù)位時(shí)序和驅(qū)動(dòng)卸載流程互相打架驅(qū)動(dòng)發(fā)現(xiàn)固件異常觸發(fā)設(shè)備復(fù)位和重新初始化過(guò)程中先把內(nèi)核的 MSI-X 向量釋放掉但設(shè)備這個(gè)復(fù)位流程是先發(fā)生后向內(nèi)存字節(jié)的——它復(fù)位完成、固件開始跑以后向量表里還是老數(shù)據(jù)于是固件按老編號(hào)發(fā) MSI被 IOMMU 擋下。4.3 證據(jù)三把故障時(shí)間線排出來(lái)因果就清楚了把日志按時(shí)間排序之后故障鏈非常清楚時(shí)間事件狀態(tài)T0固件隊(duì)列 0 超時(shí)觸發(fā)內(nèi)部復(fù)位設(shè)備開始復(fù)位MMIO 窗口暫時(shí)不可靠T00.1s驅(qū)動(dòng)走 teardown釋放 MSI-X 向量?jī)?nèi)核把 IRTE present 位清 0T00.3s設(shè)備固件重啟從舊向量表發(fā) MSIIOMMU fault中斷未投遞T01s驅(qū)動(dòng)輪詢 BAR 0 等待 FW ready讀回 0xffffffff / 讀 hangT010sDMAR fault 持續(xù)刷屏設(shè)備永遠(yuǎn)等不到主機(jī)服務(wù)徹底卡死這里要特別強(qiáng)調(diào)一點(diǎn)嚴(yán)格來(lái)說(shuō)BAR 空間讀失敗是“果”不是“因”。設(shè)備在復(fù)位過(guò)程中 MMIO 本來(lái)就可能短暫不可用這本來(lái)可以恢復(fù)真正讓它恢復(fù)不了的是 MSI 投遞鏈路被主機(jī)端提前切斷而設(shè)備側(cè)的向量表沒有同步刷新導(dǎo)致固件永遠(yuǎn)收不到主機(jī)給它“繼續(xù)跑”的許可中斷。于是整個(gè)設(shè)備就死在這個(gè)不閉環(huán)的狀態(tài)里BAR 讀全 FF 只是這個(gè)死循環(huán)的外部表現(xiàn)。4.4 為什么手動(dòng) unbind/rebind 時(shí)好時(shí)壞我試過(guò)用echo 0000:03:00.0 .../drivers/wcard/unbind再 bind有時(shí)候能救回來(lái)有時(shí)候不行。原因也在這個(gè)向量表上單純的內(nèi)核 bind/unbind 并不會(huì)觸發(fā)一次真正的 PCIe 熱復(fù)位或功能復(fù)位設(shè)備側(cè) MSI-X 表里的臟數(shù)據(jù)不會(huì)被硬件主動(dòng)清除。救回來(lái)的那次多半是驅(qū)動(dòng) probe 流程里重新寫了整張表或者設(shè)備正好被鏈路電源管理打到了一個(gè)會(huì)更徹底復(fù)位的狀態(tài)救不回來(lái)的時(shí)候就是設(shè)備已經(jīng)處于“向量表怎么都寫不進(jìn)正確值”的復(fù)位死區(qū)。這也是我為什么后來(lái)直接上removerescan而不是反復(fù) shave 驅(qū)動(dòng)綁定。remove會(huì)把設(shè)備從內(nèi)核 PCI 設(shè)備模型中摘掉rescan再重新枚舉一次相當(dāng)于讓設(shè)備經(jīng)歷一次“消失再出現(xiàn)”大多數(shù)情況下 BIOS 側(cè)和內(nèi)核側(cè)都會(huì)從干凈狀態(tài)重新配置它。5. 修復(fù)方案與代碼級(jí)規(guī)避先把中斷卸干凈再做硬件復(fù)位5.1 現(xiàn)場(chǎng)搶救remove rescan 的正確姿勢(shì)如果以后你在類似故障現(xiàn)場(chǎng)最快的搶救辦法是echo 1 /sys/bus/pci/devices/0000:03:00.0/remove sleep 1 echo 1 /sys/bus/pci/rescanremove會(huì)走一次完整的設(shè)備移除流程驅(qū)動(dòng) detach、中斷釋放、DMA 資源回收rescan會(huì)觸發(fā)新的枚舉重新分配 BAR、重新注冊(cè) IRQ。執(zhí)行完之后檢查三件事lspci能看到設(shè)備、/proc/interrupts出現(xiàn)新的中斷號(hào)、并且中斷計(jì)數(shù)開始增長(zhǎng)。如果rescan后中斷號(hào)還是 289 且計(jì)數(shù)仍為 0那基本說(shuō)明平臺(tái)側(cè)的 IOMMU 狀態(tài)也要參與復(fù)位這時(shí)候重啟是唯一干凈路徑不用浪費(fèi)時(shí)間反復(fù)綁驅(qū)動(dòng)。另外如果目標(biāo)設(shè)備是主板上靠近某些會(huì)被平臺(tái)固件接管功能的槽位建議在搶救之前先把正在使用的應(yīng)用和網(wǎng)絡(luò)接口 stop 掉避免 remove 過(guò)程中應(yīng)用層不停訪問(wèn)已消失的設(shè)備節(jié)點(diǎn)引發(fā)不必要的奇怪報(bào)錯(cuò)。5.2 驅(qū)動(dòng)層面的根治teardown 順序決定一切根因既然是“主機(jī)先釋放 IRTE設(shè)備還在發(fā)老向量”那驅(qū)動(dòng)側(cè)的修法就很明確在硬件復(fù)位之前先把設(shè)備側(cè)中斷生成徹底關(guān)掉再釋放內(nèi)核 IRQ最后才碰硬件復(fù)位。我在這個(gè)項(xiàng)目里給驅(qū)動(dòng)補(bǔ)了一段 quiesce 流程核心順序如下static void wcard_quiesce_before_reset(struct pci_dev *pdev) { struct wcard_priv *priv pci_get_drvdata(pdev); /* 1. 先把設(shè)備側(cè)的中斷源全部 mask 掉清掉 pending */ wcard_write32(priv, WCARD_INT_MASK, 0); wcard_write32(priv, WCARD_INT_CLEAR, ~0U); mb(); /* 確保 posted write 落達(dá) */ /* 2. 關(guān)掉總線主控防止 DMA 和 MSI 繼續(xù)往外發(fā) */ pci_clear_master(pdev); /* 3. 現(xiàn)在才釋放內(nèi)核 IRQIOMMU 的 IRTE 隨之清掉 */ pci_free_irq_vectors(pdev); /* 4. 最后做硬件級(jí)復(fù)位 */ pci_reset_function_locked(pdev); }順序?yàn)槭裁粗匾憧梢园阉氤刹鹚鼙仨毾仍谠O(shè)備的“總閥”把中斷生成關(guān)掉再放掉內(nèi)核側(cè)的向量資源。如果反過(guò)來(lái)IRTE 已經(jīng)清了設(shè)備還開著中斷源那么設(shè)備隨時(shí)可能用老句柄發(fā) MSI正好撞上 IOMMU 的 fault 邏輯。僅這一步就把故障復(fù)現(xiàn)率從“必現(xiàn)”壓到了“不再出現(xiàn)”。順帶說(shuō)一句如果你維護(hù)的驅(qū)動(dòng)里存在 firmware 自主復(fù)位后重新寫 MSI-X 表的邏輯務(wù)必在復(fù)位完成后顯式地把整張向量表重新寫一遍而不是只信一個(gè)“上一個(gè)驅(qū)動(dòng)已經(jīng)寫好了”的前提。硬件復(fù)位會(huì)把設(shè)備內(nèi)部大部分寄存器清回默認(rèn)值但往往不會(huì)保證把 MMIO 類型的 MSI-X 表一并清干凈這就是臟狀態(tài)的溫床。5.3 用中斷重映射開關(guān)做二分驗(yàn)證為了確認(rèn) fault 確實(shí)出在 IRTE 這一層而不是 MSI 寫入本身有別的毛病我試過(guò)在 grub 命令行臨時(shí)加intremapoff啟動(dòng)一次系統(tǒng)復(fù)測(cè)。結(jié)果很有意思設(shè)備的吞吐恢復(fù)正常DMAR fault 一條都不再出現(xiàn)故障時(shí)間點(diǎn)推后甚至消失。這說(shuō)明問(wèn)題不是設(shè)備寫錯(cuò)了地址——而是主機(jī)側(cè)重映射表狀態(tài)和設(shè)備的實(shí)際狀態(tài)不同步。復(fù)測(cè)完成后我把參數(shù)去掉恢復(fù)正常啟動(dòng)方式。這個(gè)方法僅建議拿來(lái)做二分定位不建議生產(chǎn)環(huán)境長(zhǎng)期關(guān)閉中斷重映射。重映射既保護(hù)了設(shè)備隔離也是很多虛擬機(jī)直通場(chǎng)景的必需品。我們的修復(fù)最終是落在驅(qū)動(dòng) teardown 順序上而不是靠關(guān)掉平臺(tái)保護(hù)。6. 這次排錯(cuò)留下的避坑清單與方法論這次排查最值錢的不是“某個(gè)驅(qū)動(dòng)改了幾行”而是形成了一套下次可以直接照做的判斷流程。我把它整理成清單供同樣在調(diào) PCIe / Wi-Fi 驅(qū)動(dòng)的朋友參考先盤配置空間再碰 MMIO。任何“BAR 異常”都先看lspci -vvv的 Region 和 Control 位。Mem、地址值、size 都在說(shuō)明是設(shè)備無(wú)響應(yīng)地址沒了或 size 變成 0才是資源分配問(wèn)題。中斷計(jì)數(shù)是全場(chǎng)最便宜的探針。設(shè)備在高負(fù)載下/proc/interrupts對(duì)應(yīng)行計(jì)數(shù)為 0基本可以斷定中斷投遞鏈路斷了。別急著懷疑設(shè)備模式先懷疑“設(shè)備想發(fā)、但發(fā)不到”。DMAR / IOMMU fault 不是噪聲。它明確告訴你主機(jī)側(cè)哪個(gè)中間件把哪一筆中斷或 DMA 攔住了。fault index 往往是設(shè)備地址編碼的關(guān)鍵線索拿它去和設(shè)備 MSI-X 表內(nèi)容比對(duì)能精準(zhǔn)對(duì)上號(hào)。見到 0xFFFFFFFF 別急著回寫。設(shè)備無(wú)響應(yīng)時(shí)MMIO 讀回全 1 只是“沒有完成”的一種表現(xiàn)。如果此時(shí)驅(qū)動(dòng)盲目寫寄存器可能把硬件推到更深的未知狀態(tài)。先弄清設(shè)備處于什么電源狀態(tài)、是否在復(fù)位中比亂寫更安全。MSI-X 表在 BAR 里和配置空間不在一個(gè)血統(tǒng)。配置空間里 MSI-X cap 顯示 Enable 只是表象真正的向量數(shù)據(jù)躺在 BAR 內(nèi)存區(qū)。所以排查時(shí)一定要把lspci -vvv的 Vector table 位置換算成物理地址直接把表 dump 出來(lái)看。bind/unbind 和 remove/rescan 不是一回事。前者只在內(nèi)核軟件層重走驅(qū)動(dòng)生命周期后者才會(huì)讓設(shè)備經(jīng)歷一次完整的 PCIe 枚舉消失再出現(xiàn)。遇到硬件狀態(tài)臟了優(yōu)先removerescan。teardown 順序永遠(yuǎn)遵守“先關(guān)設(shè)備源再釋放主機(jī)資源”。不管你的設(shè)備是網(wǎng)卡還是 NVMe只要涉及 MSI/MSI-X中斷源的 mask/disable 一定要早于free_irq否則就可能留下一個(gè)“設(shè)備還在打電話、號(hào)碼已經(jīng)注銷”的窗口期。最后再說(shuō)一個(gè)實(shí)操習(xí)慣我現(xiàn)在跑 Wi-Fi 長(zhǎng)時(shí)間測(cè)試都會(huì)在后臺(tái)開一個(gè)循環(huán)每?jī)擅胱ヒ淮?proc/interrupts里設(shè)備中斷號(hào)的增量順便監(jiān)控 dmesg 里 DMAR 關(guān)鍵字。系統(tǒng)在真正斷流之前中斷計(jì)數(shù)早就會(huì)先出現(xiàn)異常這個(gè)“提前量”非常重要。很多難復(fù)現(xiàn)的偶發(fā)問(wèn)題就是靠這種看似笨拙的觀察才抓到了第一現(xiàn)場(chǎng)。其實(shí)排錯(cuò)本身并不神秘難的是在正確的時(shí)間看到正確的證據(jù)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产成人精品一区二区三区视频| 色婷婷综合电影| 婷婷色系婷色| 婷婷五月天色色| 亚洲深喉AV| 婷婷久月| 狠狠插日日干撸| 99熟女| 超碰人妻公开在线| 天天色粽合合合合合合合| 亚州操人在线视频| 五月丁香激情欧洲啪啪| 熟女五月天久久综合| 七七久久婷婷| 超碰v| 天天爽天天爽视频| site:ornaments52.com| 天天日人人爽| 丁香六月爱综合| 国产ava| 成人在线观看国产| 国产成人一区二区三区在线观看| 另类激情综合| 女婷久久| 婷婷五月丁香欧洲| 伊人网啪啪| 精品二区| 9九九久久精品无码专区| 99热手机在线精品| 久热大香蕉| 天天天天天久久久久久| 91人妻视频| 99久久婷婷国产综合| 丁香九月激情在线视频| 超碰啪啪网| 欧美三级巜人妻互换| 综合网色| 人人草人人爱| 玖玖在线视频| 91色呦哟| YW无码| 91人人人人人| 一级内射毛片| 狠干综合| 91九色小视频| 亚洲av网站| 久久九九婷婷| 丁香婷婷久久 | 九九热视频精品| 99九九综合久久九九| 五月丁香亚洲婷婷| 婷婷丁香亚洲色综合91| 这里只有精品1| 97碰人人操| 五月丁香六月激情在线| 伊人久久99| 日本精品99网站| 丁香五月中文字幕色播| 亚洲综合色色| 国产偷人爽久久久久久老妇APP| 五月花婷婷| 思思99热| 日韩人人操| 婷婷五月欧美AA片免费| 日本超碰在线| 成年人99热| 五月丁香久久激情网| 六月婷婷中文字幕| 国产精品久久久久久久久久| 七七色综合| 97碰 在线视频观看| 欧美成人AAA片一区国产精品| 99热在线观看| 99热在线爱| www久久久久久久97| 日韩av在线电影| 97视频91| 青青福利网| 日本操B视频| 九九大香视频| 免费观看全黄做爰的视频| 婷婷色综合| 久久久全国免费视频| 亚洲电影中文字幕| 天堂AV三级| 情欲综合网| 四月婷婷丁香| 婷婷五月天综合网| 91久久国产综合久久| 91九色国产熟女| 激情五月婷婷丁香六月| 五月天网站亭亭| 黄网免费看| 婷婷丁香六月天| 日本熟妇乱妇熟色A片蜜桃| 日韩国产在线精品| 亚洲激情在线| 99热精品中文字幕| 天天日天天久久青青| 1769在线观看欧美国产| 激情五月天激情网| 狠狠狠狠狠狠色| 精品一二三区久久AAA片| 五月天丁香久久综合| 99网| 99色综合| 婷婷色九月| 色婷婷激情视频| 久久精品99久久久久久| 麻豆123区| 九九伊人网| 五月花亭亭| 欧美日本黄色| 婷婷五月色色| 九九热精品| 亚洲色无码A片一区二区麻豆| www.狠狠操.con| 六月婷婷AV| 99热这是里只有精品| 五月婷婷六月少妇激情| 日本色啪| 99视频这里只有久久精品| www婷婷| 色婷丁香91| www久| 日日夜夜小色哥| 日本超碰在线| 亚洲AV综合在线观看| 婷婷丁香五月天在线| 亚洲免费婷婷| 丁香成人五月天| 激情五月天综合| 婷婷九月| www.狠狠狠狠| 青青草国产亚洲精品久久| 91精品久久久久久久| 亚洲性爱区无码区| 一区二区你懂的| 嫩草综合网| 五月婷婷五月天| 国产激情在线| 婷婷色播婷婷| 国产乱码久久| 99综合| 亚洲国产婷婷色五月| 亚洲免费婷婷| 91精品综合久久婷婷九色| 激情美女五月天激情在线| 六月色婷婷| 97视频久久| 婷婷六月色开| 欧美日比视频| 国产99热| 精品五月丁香| 亚洲网站观看视频| 夜夜夜夜夜骑撸| www天堂99| 色五月丁香婷婷综合| 99热这里只有精品首页| 五月婷婷深深爱爱| 日韩精品一区二区三区,四区,五区视频| 六月婷婷网| 99色热| 婷婷久久综合久| 97碰久久| \\五月天婷婷激情| 色爱爱综合网| 秋霞A V毛片| 日韩精品999| 欧日韩成人| 狠狠爱激情网| 国产看真人毛片爱做A片| 婷婷六月婷婷| 色色丁香色五月| 五月丁香六月色| 91在线观看www| 99精品无码| 日韩在线99| 成人网在线视频| 五月婷婷亚洲色视频| 婷婷色在线播放| 久久久精品AV| 丁香五月婷婷动漫| 夜夜爱爱亚洲| 五月婷婷大香蕉| 97色伦另类图片小说视频| 久久九九激情五月天 | 五月天com| 婷婷五月电影院| 色狠狠综合| 精品99只有。| 五月丁香av中文| 六月激情婷婷| 综合成人小说婷婷| 六月丁香婷婷网| 一区=区操屄高清大全av| 99热日| 丁香五月性| 精品一区久热| 高清无码网址| 婷婷丁香亚洲色综合91| 成人丁香婷婷五月天| 婷婷色情五月| 青柠影视免费高清电视剧| 五月婷婷色激情| 色婷婷狠| 婷婷色六月| 天天插综合网| 色吧婷婷| 久久五月天婷婷| 五月丁香六月婷婷,婷| 五月做爱| 国产做爰视频免费播放| 日韩视频99| 久久久久99精品成人片| 五月天色色网站| 亚洲欧美在线观看| 五月丁香六月婷综合成人综合 | 色播六月| 综合久久首页| 色五月播五月| 久久九区| 欧美五月婷婷| 天天肏天天爽夜夜爽| 99视频91| 五月婷婷影视| 成人无码精品1区2区3区免费看| 天天夜天天色天天| 天天日夜夜B久久| 人妻中文av| 五月天激情四射| 蜘蛛女侠2003满天星免费观看| 操碰97| 狠狠色婷| 激情文学综合婷婷五月天丁香花| 欧美99热| 中文AV网| www.99在线| 99亚洲无码| 亚洲婷婷丁香五月在线| 大香蕉婷婷丁香视频在线| 五月天另类激情在线| 噜噜五月天综合| 五月色 亚洲| 最熟少妇乱码| 五月天伊人久久久久| 丁香网五月天| 26UUU欧美| 久久99激情丁香婷婷小说网| 26uuuuuuuu国产| 九月丁香| 久久er视频6| 色九九一二| 五月天色小说| 大地资源色婷婷视频在线| 日本高清久| 伊人久久五月天综合| 国产精品久久久久久白浆色欲| 激情婷婷另类| 狠狠狠狠狠草| 久久婷婷五月综合激情国产| 丁香五月天av| 精品皮股午夜AV| 激情校园 亚洲| 欧美精品99| 激情骚五月| 激情五月婷婷综合网| 91久久久久久| 无码激情AAAAA片-区区| 大香蕉AV电影在线| 99久久久精品| 综合五月丁香六月婷婷| 久久婷婷五月丁香网| 热婷婷av| 91狠狠色丁香| 99视频在线| 综合久久9| 婷婷欧美激情| 色五月激情视频在线综合| 九九香蕉网| 色播丁香| 丁香婷婷综合五月天| 婷婷大美在线| 色色色无码| 丁香成人色情五月天| 五月婷婷激情四月| 狠狠干综合| 日本一级特黄大片AAAAA级| 4438激情网| 五月第四色| av人人干| 极品人妻VideOssS人妻| 亚洲乱码日产精品BD| 99精品偷自拍| 2013AV天堂| 九月av| 久热婷婷| 婷婷五月天亚洲精品| 亚美欧色影院| 26UUU欧美激情一区二区| 99精品久久久| 日本不卡一区二区三区| 九九九九九九综合| 久久人妻乱子伦| 五月色导航| www.ppypp| 第四色五月婷婷| 丁香五月天啪啪| 国产毛片欧美毛片久久久| 午夜不卡久久精品无码免费| 操操自拍| 欧美色色色| 五月色网| 五月丁香六月婷| 天天婷婷| 色色色网站| 色婷婷呢狠禁久禁| 五月丁香婷婷综合久久| 色色丁香激情五月| 亚洲热视频| 狠狠爱深色婷婷综合| 99视频91| 美国天天日天天操| 六月婷婷激情| 69人妻人人澡人人爽久久| 一夜福利不卡| 色丁香五月婷婷| 97啪在线观看视频| 五月天婷婷色五月天| 久久综合丁香激情五月| 香蕉人妻AV久久久久天天| 五月婷免费视频| 开心五月婷婷激情| 狠狠操狠狠插| 日日夜夜九九| 6080av| 综合99综合久久久久久久| 天天爱天天爽| 黄网在线免费观看| www.婷婷.com| 五月婷婷久久网| 五月丁香色色网| 日日噜狠狠色综合久| 五月天婷婷色| 久久久五月天| 激情小说五月天| 亚洲狠狠爱婷婷| 欧美婷婷| 色色99| 色综合久久综合| 欧类av怡春院| 婷婷色丁香五月| 66精品成人免费网站在线观看| 99精品视频在线观看| 五月天伊人综合| 激情99在线视频| www.婷婷| 天天久久人人| 五月丁香婷婷综合| 思思热99er在线视频| 网站免费一站二站| 丁香五月婷婷色偷偷| 五月天激情婷婷小说| 九色PORNY9l原创自拍| 日本精品99网站| 在线成人视频免费| 97在线刺激| 狠狠操狠狠插| 亚洲视频二区| 日本精品99| 日本久久性| 国产精品美女| 草榴视频网| 久久538| 亚洲天堂碰碰婷婷| 五月丁香啪啪| 人人操99| 久久精品性爱| 甈吧vv| 大香蕉在九| 五月丁香婷婷成人伊人网| 国产日韩欧美| 精品五月天| 亚洲无码免费看| 丁香婷婷噜噜| 狼人狠狠操| 丁香婷婷大香蕉| 九九热a| 99热国产免费| 人人天堂操| 亚洲视频一区| 噜噜国产| 99re熱| 色婷婷影院| 2023天天日夜夜爽| 五月天基地| 九九99九九99偷拍视频免费看| 天天久久狠狠色综合| 可以看的AV| 婷婷爱综合| 色婷婷呢狠禁久禁| 停停五月色宗合| 香蕉国产2013| 江苏少妇性BBB搡BBB爽爽爽 | 丁香五月激情视频| 欧美日本国产欧美日本韩国99| Av大香蕉| 26uuu亚洲欧美日本| 五月婷婷久久大香蕉| 玖玖综合网| 色五月丁香总合网| 1024亚洲| 精品少妇人妻AV无码专区偷人 | 九九精品在线视频观看| 国产三级在线播放| 五月天婷婷丁香| 色婷婷五月综合在线| 久久国产AV| 人妻AV在线| 色五月成人婷婷| 欧美精品狠狠色丁香婷婷| 超碰人人操| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 日韩超碰在线| 色五月婷婷久久大| 新97人人上人人| 国产精品18久久久| 超碰女人天堂| 99热这里只有免费| 就99这里只有精品| 久久女人天堂| www.com任你艹| 99综合免费视频| 婷婷五月天成人网| 五月天婷婷色小说| 五月丁香日本一抹本| 欧美A A A A A| 婷婷久久色| 丁香无五月网| 九九精品综合| 嫩草视频观看| 欧美交换配乱吟粗大25P| 五月丁香激情综合网| 五月网激情| 成人在线免费网址| 婷婷色色亚洲| 九九99精品| 久久婷婷五月综合伊人| www.五月天婷婷姐姐| 国产99久久久| 色五月婷婷操逼| 中国丰满熟女A片免费观| 欧美三日本三级少妇三99| 激情美女五月天激情在线| 色五月婷色彩免播放器| 丁香五月亚洲综合丝袜| 中文字幕日产A片在线看| 久久九九@| 激情婷婷五月天日本系列| 亚洲色9| 久久久久99精品成人网站| 九九99精品免费播放| 99精品在线| 九九热精品视频| 六月丁香婷婷在线波多 | 日 日干 日日做| 午夜天堂啪啪| 97人人干人人操| 超碰不卡在线| 99热免费精品| 久9热| 婷婷五月丁香六月| 婷婷色播婷婷| 五月丁香美女视频| 久久66er久久| 热99视频精品| 开心日韩丁香婷婷五月| 襙比视频| 欧美激情-区二区三区| 色青五月天| 狠狠色激情在线| 在线VA视频| 五月天 综合 在线| 亚洲婷婷成人五月天| 天天干天天 亚洲| AV五月丁香| 婷婷激情蜜桃玖玖丁香| 婷婷五月丁香伊人网| 天天干天天操天天上| 99er免费在线观看| 婷婷五月天激情综合网| 天天爽天天摸天天爱| 夜夜干天天干| 色婷婷a| 色色五月天丁香婷婷| 91碰碰视频| 内射综合网| 日日夜夜天天综合| 九九一区| 五月丁香婷婷啪啪网| 激情五月天综合网| 婷婷第六色| 欧美激情xxxXX| 婷婷丁香五月综合激情视频| 91九色精品| 91碰碰碰| 五月丁香婷婷欧美色图视频五月丁香777电影 | 天天操天天插天天射| 色色色在线观看| 五月丁香婷婷综合网| 这里只有精品热| 色婷五月| 日日夜夜天天综合| 亚洲成人免费在线| www.婷婷com| 久久久久99精品成人网站| 二色av| 伊人五月人妻精品| 射区导航| 亚洲三A| 2015超碰| 综合xx网| 婷婷欧美| 尤物一区二区| 色综合天堂| 69婷婷丁香午夜| 五月丁香中文| 国产看真人毛片爱做A片| 五月婷婷9| 97人人草| 亚洲中文乱字字幕线在永久| 在线色色| 人妻激情网| 丁香五月婷婷久久久| 丁香五月五月婷婷五月天激情四射| www99精品| 久久五月婷综合| 玖玖无码中文| 五月天网站免费欧美| 五月丁香影院| 91在线日本| 求可以看的AV网址| 婷婷丁香人妻天天爽| 五月天久久小说| 超碰成人免费| 五月丁香六月天| 少妇出轨做爰高潮A片| 大香蕉婷婷丁香| 婷婷丁香五月天综合网| 香蕉狠狠爱视频| 玖玖婷婷色欲| 婷婷五月天熟妇| 中文字幕成人| WWW色色色COm| 亚洲第一综合| BBWCUCKOLD精品熟妇| 久9久9热久热| 色婷婷狠| 一本色道久久88加勒比—| 丁香五月婷婷乱| 丁香五月天激情视频| 激情久久婷婷| 思思re99视频在线观看| 婷婷色五月大香蕉在线| 婷婷亚洲五月丁香综合在线| 婷婷丁香18| 色婷| www.五月婷婷| 婷婷丁香激情综合色情| 男女免费视频999| 久草视频大香蕉99| 日韩在线五月天婷婷| 亚洲精品一区无码A片| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 美女五月天| 在线中文亚洲| 国产精品视频免费看| 一本色道久久综合狠狠躁小说| 激情色情五月天| 五月天久久色| 五月天开心婷婷久久 | www五月| 99在线er热| 二色AV| 91人人操.COM| 九九这里都是精品| 五月天天天综合| 亚洲操人| 激情五月天啪啪| 四川BBB搡BBB搡多人乱亂| 亚洲视频在线观看99| 成人国产欧美大片一区| 一级A片天天操夜夜操| 九九婷| 亚洲丁香五月| 成人在线综合| 99视频这里有精品| 秋霞三级影视资源| www.99色在线| 五月色色网| 99在线精品观看99| 国产亚洲精品AAAA片APP| 婷婷五月天AV激情| 大香蕉娱乐| 91色逼| 九九色精品| 97精品综合| va亚洲中文在线| 亚洲AV无码成人精品电影| 婷婷久久精品| 好吊操这里只有精品| 99色在线观看视频者| 婷婷成人视频| 色欲天天综合网| 国产熟妇的荡欲午夜视频| 无码天天操| 就去色色五月丁香婷婷久久久| 丁香桃色网| 大香蕉五月婷婷| 天天爽夜夜操| www.五月天婷婷| 五月天激情综合网俺也去| 免费观看18视频网站| 色婷婷九月| 激情久久肏屄视频| 黄急一级视频| 婷婷综合色色| 九色色| 99热最新精品| 97luluse| 色五月欧美| av免费人人| 在线婷婷| 任你搞在线观看视频| 久热免费视频| 五月丁香婷婷激情| 婷婷的99视频网站| 天天射天天操天天干| 热久久91| 丁香五月日本| 九九精品在线视频观看| 五月花激情网| www.9操| 99久久婷婷国产综合| 激情小说 五月天| 婷婷五月激情综合| 色一情一乱一乱一区9| 666555。COm毛片| 久久九九爽| 五月婷婷第四色| 台湾综合丁香五月蜜桃| 婷婷月综合| 字母不卡码人逼| 久久99视频| 色播五月综合网| 亚洲情a| 婷婷五六月丁香| 色婷婷综合综合网| 丁J香六月首页| 嫩草AV久久伊人妇女超级A| 91干| 91日视频| 婷婷五月天免费视频| 狠狠操天天操天天操| 久久伊人婷婷| 69人人操人人爽| 丰满少妇猛烈A片免费看观看| 久久婷婷成人综合色怡春院| 久久婷婷丁香| 这里只有精品视频在线| 99久久玖玖| 婷婷成人小说综合| 九九热这里精品| 大香蕉人妻| 97热精品| 69久久99精品久久久久婷婷| 久久亚洲无码| 丁香五月激情综合婷综| 激情婷婷综合网| 精品国产a| 五月婷婷,狠狠操| 常久最新免费的色吊丝| 久久五月婷婷电影| 国内婷婷丁香社区在线播放| 天天插综合在线| 操操操操操操婷婷五月天| 超碰成人在线观看| 久色网| 玖玖视频福利| 五月丁香婷婷网网网网| 五月婷婷熟女| 99啪啪| 99re最新地址视频| www。88热在线视频免费观看| 五月噜噜噜色综合| 五月天欧美 另类小说| 99综合婷婷五月| 色五月久久成人婷婷| 五月婷婷六月爱| 欧美综合五月丁香六月婷| 人妻VideOssS人妻| 人人摸人人搞| 色三级色三级| 五月激情小说| 综合色五月亭亭| 欧美日韩二区在线| 大胆伊人久久| 麻豆精品| 996er热| 夜夜骑操AV| 激情五月六月丁香| 天天狠狠夜夜狠狠2023| 欧洲色| 五月丁香福利| 性无码专区无码| OYIWbGcPu8H| av在线免费网站 | 五月综合激情久久| 2021日韩无码| 丁香六月婷婷综合| 天天干天天操天天干天天操天天干天天操| 婷婷五月六月| 国产超碰在线| 国产精女同一区二区三区久| 成人丁香婷婷| 色五月婷婷色| 亚洲激情97五月天| 久草大| 婷婷五月激情欧美大胆视频| 视频一二区| 热99热| 五月丁香六月婷婷久久| 亚洲激情婷婷| 9视频在线成人网站| 五月丁香色婷基地综合久久| 亚洲成人色五月天| 五月婷婷免费看| 色情综合| 婷婷丁香综合色AV| 五月综合视频在线| 五月丁香婷婷欧美| 极品少妇XXXX精品少妇偷拍| 大香蕉大香蕉在线影院| 狠狠999| 人妻激情在线| 99碰碰。| peg 2区三区四区的| 五月天久久91| 日韩AV免费看| eeuss人妻| 久久五月综合| 国产AV一区二区三区最新精品| 九九色院| 欧美激情综合色综合| 综合网五月| AV在线收看| 久久午夜理论| 天天干夜夜想| 色色色色色色色色色色色色色97| 色青青五月| 在线婷婷| 丁香五月激情综合婷综| 丁香五月亚洲婷婷| 大色鬼综合| 亚洲综合在线伊人婷| 亚洲色婷婷| 久热9热| WWW.夜夜| 欧美大肥婆大肥BBBBB| 激情五月综合网| 丁XX 成人| 久久99免费视频网站| 丁香六月狠狠| 婷婷五月天小说网| 黄色三级日本| 色婷婷免费视频| 激情婷婷网| 天天插天天插天天插| 精品一二三区久久AAA片| 婷婷五月色情天| 999婷婷综合| 色在线免费观看| 丁香婷五月| 777精品久无码人妻蜜桃| 91色色色| 色婷婷综合久久久久| A级毛片高清免费不卡播放谢谢谢谢| 99热这里只有是亚洲国产| 成人综合视频网址| 六月丁香婷婷色69| 婷婷在线中文字幕| 日韩av网址大全| 亚洲无码 图片区| 色播五月丁香综合| 99精品国产在热久久| 欧美日韓成人亚洲精品另类| 狠狠色丁香| 台湾综合丁香五月蜜桃| 91一起操| 热99久久这里只有精品| 婷婷六月天国产综合| 五月激情基地| 婷婷性爱视频在线| 99热这里是精品| 丁香五月综合久久| 大香蕉520| 亚洲网站在线鸭子av| 亚洲人妻av| 就爱操www com| 狠狠色丁香乆乆| 激情99在线视频| 人妻熟人中文字幕一区二区| 五月天黄色激情小说| YW无码| 五月天桃色深爱网| 色综合久久综合中文综合网| 五月天天天色| 欧美韩日AAA网站| 久久综合图片| 亚洲99热| 五月停停色色丁香| 欧美性生交XXXXX无码小说| 九九无码视屏| 99超碰人人| 久操热线| 婷婷草| 国产精品成人AV在线| 亚洲激情综合| 国产精品久久久60086| 哇嘎成人久久| 人妻中文在线| 天天日夜夜帕| 99在线精品视频观看免费下载| 国产亚洲精品AAAAAAA片| 五月天俺去也| 99噜噜噜在线播放| 99热人人艹| 五月天久久综合婷婷丁香| 激情综合网址| 婷婷色情 | 中文字幕AV在线播放| 五月人妻婷婷| 久久精品91视频| 婷婷五月天天| 91九色丨国产丨爆乳| 五月激情偷拍婷婷| 五月天婷婷操逼视频| 国产精品涩涩涩视频网站| 亚洲精品色色色| 丁香五月天堂网| 亚洲色99综合天堂| 99爱在线精品视频免费观看| 色丁香婷婷| 99久热| 亚洲精品另类| 色综合久久88色综合天天99| 色情免费视频播放| 超碰人人艹| 亚洲天堂AV综合网| 五月激情综合网| 日日操夜夜撸| 台湾佬天天日丁香婷婷五月天| 第五婷婷伊人丁香色| 激情都市另类| 色五月 五月婷婷| 99久久五月婷婷| 日本ww亚洲| 超碰人人操人人干| 午夜福利8055| 色色色色色色综合网| 超碰99久久| 思思久热6| 99rewww| 中文字幕av久久爽一区| 99re在线免费视频| 九九一区| 国产精品美女久久久久AV超清| 色99在线视频| 五月婷婷网五月在线| 日韩无码人妻一区二区三区综合| 另类图片色五月| 久久婷婷大香蕉| 成熟妇人A片免费看网站| 99热这里有精力| 免费国产视频| 色婷婷久久综合中文久久一本| 欧美婷婷五月无砖| 日韩中文欧美| 婷婷精品在线| 成人在线视频一区| 丁香六月激情综合网| 婷婷六月香| 激情综合丁香六| 少妇AB又爽又紧无码网站| 色色色免费视频| 99综合| 秋霞性爱AV| 亚洲精品在线视频| 婷婷丁香97| 丁香五月综合激情啪啪| 久久精品永久免费| 亚洲久久婷婷| 婷婷五月天亚洲丁香| 开心五月天激情网站| 天天日天天日天天搞| 国产又黄又爽又激情不遮挡视频在线观看| 激情播丁香| 亚洲色五月天在线| 啪啪一区| 婷婷亚洲五| www.sd-xiangsu.cpm| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 天天操夜夜肏| 插插网爽妇五月丁香| 五月激情另类| 亚洲热综合网在线观看| 婷婷五月天人妻| 国产精品视频久久99| 综合色色婷婷| 噜噜噜久久亚洲精品国产品91| 99热久久这里只有精品2010| 欧美日韩一区二区三区四区| 色五月婷婷在线观看| 五月婷婷天天| 深爱激情五月网| 久久免费婷婷视频| 亚洲无码99| 超碰色综合| 久久婷五月婷| 六月激情婷婷| 久久久五月天婷婷| 伊人婷婷91| 国产精品人妻在线网址| 女性自慰系列第五页| 中文字幕丁香五月| 婷婷五月丁香在线视频| 九九婷婷综合| 超碰99在线观看| 色亭亭丁香五月天| 亚州操操| 激情5月婷婷狠狠干| 狠婷婷五月| 久热这里| 99成人| 色色网站日本91| 99视频网址| 狠狠色婷婷7| 五月天婷婷青青草| 国产激情在线| 久热99| 99人人看| 欧美成性色| 国产色五月| 香蕉国产2013| 狠狠精品干练久久久无码中文字幕| 色域五月丁香| 久久综合爱| 这里只有精品久| 伊人久久大香线蕉av一区| 国产精品18久久久| 9热久久在线| 婷婷大香蕉| 伊人色综在线| 久操操| 亲子乱av一区二区三区的| 99黄色性生活| 亚洲色无码| 激情五月小说婷婷| 丁香花狠狠婷婷亚洲中文字幕| a色色色色色| 婷婷五月成人系列| 综合五月天| 久久久久久97| 五月丁香青草综合啪啪| 色欧洲| 免费观看2018www黄色操逼网站| 熟女乱论网| 国产精品美女| 色五月av| 踪合专区啪啪| 亚洲性爱区无码区| 国产成人精品一区二区三区视频| 亚洲成人中心| 人人爽人人爽人人爽人人爽| 天天摸天天肏| 91人人妻人人操人人爽| 99人这里只有精品| ww久久| 好吊兆人妻| 久久久久久天天日天天爱| 五月婷婷色| 久久久亚洲成人无码A片| 婷婷五月天成人五月天| 激情性五月天免费小说视频 | 亚洲综合婷婷| 色婷婷88| 欧美成人性爱网| 日韩成人不卡| 婷婷欧美色| 色色色国产| 婷婷亚洲综合| 九九色热| 97影院一级片| 婷婷九月丁香天堂丁香天堂| 丁香五月五月婷婷五月天激情四射| 91九九| 婷婷激情肏屄网| 强伦轩人妻一区二区电影| 4399伦理午夜| 色色色9| 五月婷婷 激情按摩| 97激情五月天| 丁香色色网| 六月婷婷天天操夜夜爽视频| 五月婷婷中文字幕| 粉嫩av蜜桃av蜜臀av| 综合大香蕉| 182TV亚洲| 台湾佬天天日丁香婷婷五月天 | WwW天天干| 99人妻碰碰久久久禁片| 五月天婷婷色播| 99熟女| 日韩成人综合网| 97人人草| 婷婷六月爽| 双性美人被调教到喷水A片| 丁香五月天天| 99国产精品久久久久久久久久久| 色婷婷成人丁香| 色九月| 激情五月天之六月婷婷| 国产人妻人伦精品一区二区| 婷婷六月丁香色| 久久性爱视频网站| 深爱女色婷婷丁香五月亚洲图区| 国产在这里只有精品| 久久99这里只有精品| 丁香婷婷激情| 国产欧美婷婷五月| 精品少妇人妻AV无码专区偷人| 综合五月丁香久久| 99热色精品| 五月天全国最大成人网| 色色色综合| 综合在线丁香五月| 五月丁香婷婷欧美色图视频五月丁香777电影 | 色情婷婷。| 99热这里只有精品9| 天天色综合色色色色色。| 欧美亚洲色色色色| 五月色天情| 97碰碰视频在线观看| 亚洲综合激情五月久久| 2025天天爽天天摸| 99久久婷婷国产综合亚洲| 五月天天天天天天天天天天天天天天天婷婷婷| av一区二区电影免费在线观看| 亚洲五月天激情| 五月丁香六月色婷婷综合五月天| 麻豆WWWCOM内射软件| 这里只有精品在线视频在线观看| 九九热99免费视频| 色色婷婷五月| 99亚洲无码| 九九色综合网| 丰满女老板BD高清A片| 狠狠干青青草| 日本久久超碰| 香蕉久久国产AV一区二区| 婷婷激情视频欧美视频自拍视频欧美剧| 欧美日韩成人在线观看| 性按摩玩人妻HD中文字幕| 玖玖资源在线视频| 9 1超碰九色| 久久您您综合网| 久久伦乱| 亚洲AAAA网| 一级二级色大片| 激情五月婷婷| 亚洲va欧美va天堂v国产综合| 国产99热| 日本久碰| 色五月综合| 亚洲中文乱字字幕线在永久| 五月婷婷亚洲综合在线| 丁香六月婷婷综合| 五月丁香另类图片| www.狠狠狠狠| 九九人人自拍| 五月丁香另类网| 99精品亚洲| 99性爱视频| 这里只有精品99www| 丁香婷婷性爱| 好叼操在线观看| 久久精品99| 99啪啪网| 婷婷激情五月综合| 色色色视频| 色五月婷婷久久| 91天堂网综合| 久久XX日本综合| 91精品久久久久久综合五月天| 激情四射婷婷| 五月婷婷开心综合| 五月天欧美 另类小说| 97人人看| 成人AV播放| 色丁香五月婷婷| 九九热自拍| 日日操夜夜骑| 婷婷五月天com| 在线五月婷婷小电影| 久久超级碰视频| 久久婷婷免费| 99热这里有精品| 大香网伊人久久综合| 国产在这里只有精品| 色婷婷色五月综合| 777久久综合视频| 九九re精品视频在线观看| 一级内射毛片| 97人妻超级碰碰碰碰碰| 中文av网站| 综合色五月| 色无码| 天天做天天爱天天综合网| 婷婷五月天综合蜜桃| 亚洲AV免费在线| 开心五月婷婷婷美女| 亚洲天堂制| 久热久69| 色五月激情问网站| 99在线视频。| 五月婷婷婷色| 久久XX日本综合| 五月天激情日色在线| Av狠狠色丁香婷| 97日本操| 国产av网| 99热全是精品| 五月天丁香啪啪啪啪| 99九九热视频免费| 国产三级在线播放| txt五月激情四射网综合俺也来了| 五月天大香蕉av| 99婷五月| 超碰在线免费观看3 9| 俺来也狠狠| 人人肏逼视频在线一区二区| 天天色2017| 色婷婷激情视频| 99玖玖视频| 亚洲另类AV| 人人操操| 91九色小视频| 婷婷91| 26UUU一区二区| 久久久久久xxxxx| www.天天干.com| 国产色五月婷婷| 日日日天天干| www.黄色片-久久成人国产精品在线播放-999AV| 五月综合激情视频| 91丨九色丨国产在线| 青青久在线视频免费观看| 极品少妇XXXX精品少妇偷拍| 久久五月婷6 9| 色五月色开心开心五月| 久久3级片| 丁香久久九九99| 99久热在线精品| 欧美色五月| 另类激情五月| 国产综合网在线| 亚洲婷婷91丁香| 成功精品影院| 香蕉久久国产AV一区二区| 级人人91| 九色 在线| 丁香五月天欧美成人| 五月天婷婷丁香视频| 婷婷五月av| 久久综合丁香| 亚洲精品99| 97人妻人人| 91日本在线观看| 五月六月激情| www天天爽| 99热这里只有精品66| 丁香六月综合| 久9综合| 激情色色| 激情综合亚洲色婷婷五月| 色色色国产| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 五婷婷综合网| 99人妻碰碰碰久久久久禁片| 五月天另类综合网| 狠狠99| 丁香色婷婷| 五月停停99| 五月婷婷丁香啪啪| 五月丁香婷婷激情久久| 天天五月天综合网址| 激情五月丁香婷婷| 丁香五月婷婷老师网站| 538任你爽| 久久婷婷婷婷伊人| 久久9精品| 亚洲国产精品VA在线看黑人| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 激情都市另类| 超碰成人在线观看| 99re最新地址| 丁香五月Av| 99熟女啪啪视频| 五月丁香激情综合欧美| 97性视频| 99爱操| 伊人网欧美在线男人天堂五月丁香| 五月丁香在线国产 | 国产三级秋霞| 人人色人人弄人人操| www狠狠| 国产婷婷色综合AV蜜臀AV| 亚洲国产精品二二三三区| BT综合在线视频观看| 亚洲99精品欧美一区| 天天综合精品| 人人操AV| 五月草影视| 婷婷五月天色| 99精品热| 夜色综合网| 婷婷综合在线视频| 天天干天天操天天干天天操天天干天天操| 亚洲av成人在线| 激情五月天情色| 六月丁香婷婷天堂| 婷婷成人视频| 99在线视频播放| 99热网站| 九久九精品| 狠狠狠人妻| 五月丁香影院| 五月天激情综合首页| 日本久久婷| 久久宗合影| 婷婷五月激情视频在线| j五月香在线| 九九热自拍| 色播五月婷婷| 久久综合网桃花| 色色色.COM| 久久精品凹凸分类| 五月丁香久久久| 免费无码毛片一区二区A片| 玖玖在线资源视频| 看片视频在线免费日产在线看| 激情婷婷五月| 久久九九综合| 操人91| www.色婷婷.com| 超碰在线综合|