欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

lspci實(shí)戰(zhàn):PCIe拓?fù)浣馕雠c鏈路協(xié)商排查指南

lspci實(shí)戰(zhàn):PCIe拓?fù)浣馕雠c鏈路協(xié)商排查指南 搞嵌入式或者服務(wù)器運(yùn)維的兄弟一定遇到過這種場景新買的PCIe固態(tài)硬盤插上去了系統(tǒng)沒識別GPU明明亮了燈但lspci里死活找不到或者更詭異的是設(shè)備在系統(tǒng)里能看到但跑著跑著就消失了。這種時候大部分人第一反應(yīng)是查驅(qū)動、看dmesg但往往忽略了最基礎(chǔ)也最有力的工具——lspci。這篇文章我就帶你從lspci出發(fā)把PCIe設(shè)備的拓?fù)浣Y(jié)構(gòu)一層層扒干凈搞清楚設(shè)備到底掛在哪條總線上、鏈路寬度和速率協(xié)商到什么狀態(tài)、以及當(dāng)設(shè)備“消失”時系統(tǒng)內(nèi)部到底發(fā)生了什么。這篇文章適合三類人看剛接觸Linux下PCIe設(shè)備調(diào)試的嵌入式工程師、做服務(wù)器硬件維護(hù)的運(yùn)維老哥、以及搞GPU/NVMe高性能計(jì)算平臺搭建的同學(xué)。我會從lspci最常見的幾個用法講起配合實(shí)際截圖場景把BDF號、總線編號、鏈路能力、Switch拓?fù)溥@些概念全部串起來??赐曛竽阍儆龅皆O(shè)備識別異常的問題至少能快速定位是“鏈路沒協(xié)商上”還是“配置空間讀不到”這兩個方向的排查路徑是完全不同的。1. 從一列輸出看透整棵PCIe設(shè)備樹1.1 先搞懂BDF號和PCIe總線編號規(guī)則lspci最基本的一條命令就是不帶任何參數(shù)直接跑輸出長這樣00:00.0 Host bridge: Intel Corporation Device 2020 00:01.0 PCI bridge: Intel Corporation Device 2021 01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd Device a809每一行的最前面就是PCIe設(shè)備的“門牌號”格式是BB:DD.F也就是Bus:Device.Function。Bus總線編號范圍0-255由系統(tǒng)在枚舉時分配。Device設(shè)備號范圍0-31是設(shè)備在某個總線上的槽位編號。Function功能號范圍0-7同一個物理設(shè)備下最多可以拆出8個獨(dú)立功能。這里最有意思的點(diǎn)是PCIe總線編號不是物理上刻死的而是系統(tǒng)啟動時由固件或內(nèi)核動態(tài)分配的。你可能注意到CPU直連的PCIe控制器Root Complex分配的總線號是0然后它下面每掛一個PCIe Bridge或者Switch就會分到一段新的總線編號空間。比如上面那個例子00:01.0是一個PCIe橋PCI bridge它把總線往下一級擴(kuò)展分配到了bus 1然后是01:00.0這個NVMe盤掛在bus 1上。這個機(jī)制可以類比成快遞分撥中心Root Complex就是總倉它下面每個PCIe Switch或Bridge就是分撥點(diǎn)分撥點(diǎn)再往下就是一個個末端網(wǎng)點(diǎn)。lspci的職責(zé)就是把整個分撥網(wǎng)絡(luò)的分層關(guān)系完整打印出來讓你一眼看出哪些設(shè)備掛在哪個分撥點(diǎn)下。這套編號規(guī)則理解透了你就能回答一個高頻問題——“為什么我的GPU是03:00.0而固態(tài)硬盤是01:00.0中間隔著的02:00.0去哪了”答案往往很簡單02:00.0可能是一個沒有掛任何設(shè)備的PCIe Switch下游端口系統(tǒng)給這一段總線分配了編號但實(shí)際是空槽所以lspci默認(rèn)不打印它。1.2 -tv參數(shù)是把“樹形”拓?fù)浯虺鰜淼年P(guān)鍵單純的列表模式只能告訴你有哪些設(shè)備看不出它們之間的父子關(guān)系。這時候要上lspci最核心的拓?fù)鋮?shù)lspci -tv輸出結(jié)構(gòu)大致如下-[0000:00]--00.0 Intel Corporation Device 2020 -01.0-[01-02]----00.0 Samsung Electronics Co Ltd Device a809 -02.0-[03]----00.0 NVIDIA Corporation Device 2230 \-03.0-[04-05]----00.0 Intel Corporation Device 3702看到那個[01-02]了嗎這是lspci -tv最有價值的信息之一。中括號里表示的是這一段PCIe橋管理下的總線編號范圍。比如01.0這個PCIe橋它管理bus 1到bus 2bus 2下面掛的是NVMe盤02.0這個橋管理bus 3bus 3下面掛GPU。這個輸出的縮進(jìn)層級就是設(shè)備在物理拓?fù)渲械恼鎸?shí)掛載關(guān)系??s進(jìn)越深離CPU越遠(yuǎn)。搞GPU服務(wù)器的人常用這個命令看一眼就知道這張GPU是直連CPU還是掛在PCIe Switch下面。如果是掛在Switch下面那還涉及Switch上下行端口的帶寬共享問題后面我會展開講。還有一個參數(shù)是-PP可以顯示橋的二級總線號secondary bus和從屬總線號subordinate bus配合-tv用能更清晰地看總線空間分配lspci -tvPP建議習(xí)慣性寫成lspci -tvPP因?yàn)槟J(rèn)的-t只畫了拓?fù)溥壿?PP會把每個橋的總線編號范圍標(biāo)得更清楚對理解總線段落劃分非常有幫助。2. 用lspci識別設(shè)備類型和Link狀態(tài)2.1 從class code看懂設(shè)備是干什么的lspci輸出中間那段字符串比如“Non-Volatile memory controller”、“VGA compatible controller”就是設(shè)備的類別名。這個類別由配置空間里的Class Code字段決定內(nèi)核會把它翻譯成人能讀懂的字符串。這個字段在排查時極其有用。比如你在一個嵌入式板卡上插了個PCIe設(shè)備但設(shè)備本身沒有固件、沒有驅(qū)動lspci很可能打出來一串mmo的“Device 1234”因?yàn)閺S商名和型號在數(shù)據(jù)庫里查不到。但只要類別能識別出來比如“Ethernet controller”或者“SATA controller”基本就能確認(rèn)設(shè)備默認(rèn)工作狀態(tài)是正常的只是缺少驅(qū)動或ID數(shù)據(jù)庫。如果你看到“PCI bridge”這個類別意味著這個設(shè)備是一個橋或者Switch它可以繼續(xù)擴(kuò)展下級總線。而“Host bridge”則說明這是CPU內(nèi)部的Root Complex組件一般不是獨(dú)立物理設(shè)備而是代表CPU內(nèi)部的總線入口。查看更詳細(xì)的類別信息可以用lspci -nn輸出會帶上PCI vendor ID和device ID的十六進(jìn)制編碼比如01:00.0 Non-Volatile memory controller [0108]: Samsung Electronics Co Ltd Device [144d:a809]方括號里前4位是廠商IDvendor ID后4位是設(shè)備IDdevice ID。這兩個ID是設(shè)備驅(qū)動匹配的核心依據(jù)驅(qū)動通過ID table來決定是否綁定這個設(shè)備。嵌入式開發(fā)中如果你的PCIe設(shè)備在Linux下不識別第一步就是確認(rèn)lspci -nn讀到的ID和硬件設(shè)計(jì)文檔里的注冊ID是否一致。ID對不上說明固件側(cè)的配置空間初始化有問題驅(qū)動再怎么寫都白搭。2.2 用-vvv抓取鏈路協(xié)商狀態(tài)lspci最強(qiáng)大的一個隱藏技能是-vvv它會把每個PCIe設(shè)備配置空間的關(guān)鍵寄存器全部dump出來。真正排查鏈路問題時我最常用的是看這幾段lspci -vvv -s 01:00.0重點(diǎn)關(guān)注LnkCapLink Capability和LnkStaLink Status。一段典型輸出如下LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM not supported LnkSta: Speed 8GT/s, Width x4這里的Speed就是當(dāng)前協(xié)商到的PCIe速率代際常見的對應(yīng)關(guān)系是2.5GT/s PCIe Gen15GT/s PCIe Gen28GT/s PCIe Gen316GT/s PCIe Gen432GT/s PCIe Gen5Width是協(xié)商到的通道數(shù)Lane數(shù)常見x1、x4、x8、x16。LnkCap顯示的是設(shè)備端和端口本身能支持的最大能力LnkSta顯示的是上電或復(fù)位后實(shí)際協(xié)商出來的工作狀態(tài)。這兩個值一旦對不上就能發(fā)現(xiàn)很多隱性問題。舉個例子我遇到過一塊PCIe Gen3 x4的NVMe盤LnkCap里寫的是“Speed 8GT/s, Width x4”但LnkSta卻是“Speed 5GT/s, Width x1”。這說明鏈路協(xié)商失敗了實(shí)際只跑在Gen2 x1性能損失慘重。導(dǎo)致這個現(xiàn)象的原因包括金手指接觸不良、插槽物理磨損、PCB布線過長導(dǎo)致信號質(zhì)量差甚至是CPU的PCIe控制器本身端口損壞。當(dāng)你看到LnkSta比LnkCap低一個檔次的時候第一個動作就是把設(shè)備拔下來重新插一次很多時候金手指接觸問題導(dǎo)致降速的概率非常高。還要重點(diǎn)看這段LnkSta2: Current De-emphasis Level: -6dB, Equalization Complete, Equalization Phase 3PCIe Gen3以上的鏈路協(xié)商依賴均衡Equalization機(jī)制。如果看到“Equalization Complete”說明訓(xùn)練成功如果停留在Phase 1或者Phase 2說明鏈路訓(xùn)練卡在了信號調(diào)優(yōu)階段大概率是鏈路信號質(zhì)量差或?qū)Χ嗽O(shè)備兼容性不佳。2.3 用-s定位特定設(shè)備并查鏈路上下游-s參數(shù)可以按BDF號過濾只查看某一個設(shè)備的詳細(xì)信息。但要注意一個細(xì)節(jié)-s支持的格式很靈活可以只填總線號、只填設(shè)備號也可以填完整BDF。常見的寫法lspci -s 00:01.0 -vvv # 查看橋設(shè)備 lspci -s 01:00.0 -vvv # 查看末端設(shè)備排查某個設(shè)備鏈路異常時習(xí)慣做法是把上游橋和下游設(shè)備都打一遍。為什么要這樣做因?yàn)镻CIe鏈路是由兩端端口共同組成的上游端口比如CPU Root Port或Switch上游端口在拓?fù)渲械慕巧珱Q定了它是否支持帶寬擴(kuò)展、方向反轉(zhuǎn)等特性。如果上游端口自身的能力不足下游設(shè)備再強(qiáng)也只能遷就低版本。舉個典型例子一塊PCIe Gen4的GPU插在主板上但主板的物理插槽實(shí)際由某顆PCIe Gen3的Switch擴(kuò)展出來。這時lspci -s 03:00.0 -vvv看GPU本身LnkCap能顯示Gen4能力但LnkSta會顯示協(xié)商到Gen3。這類問題不是因?yàn)樵O(shè)備壞了而是拓?fù)浔旧硐拗屏随溌匪俾蕦儆凇安邋e位置”導(dǎo)致的性能瓶頸。用lspci把每個橋的LnkCap打出來拓?fù)渲械亩贪逡荒苛巳弧?. 實(shí)戰(zhàn)從lspci輸出構(gòu)建完整拓?fù)鋱D的步驟3.1 用sysfs配合lspci確認(rèn)設(shè)備父子關(guān)系雖然lspci -tv已經(jīng)給了我們樹形圖但它本質(zhì)上是從內(nèi)核的PCI總線結(jié)構(gòu)里讀取的并不是讀取了硬件上的物理連線。為了完全確認(rèn)設(shè)備之間的父子關(guān)系可以結(jié)合sysfs來驗(yàn)證ls /sys/bus/pci/devices/0000:01:00.0/sysfs里會暴露幾個關(guān)鍵目錄和文件parent指向該設(shè)備的父級設(shè)備通常是PCIe Bridge端口subordinate僅橋設(shè)備才有表示它管理下的最大總線號driver設(shè)備當(dāng)前綁定的驅(qū)動config配置空間的二進(jìn)制鏡像相當(dāng)于lspci -xxx的數(shù)據(jù)源current_link_speed、current_link_width當(dāng)前鏈路協(xié)商的速率和寬度和lspci -vvv里L(fēng)nkSta一致最實(shí)用的一個驗(yàn)證方法是cat /sys/bus/pci/devices/0000:01:00.0/current_link_speed cat /sys/bus/pci/devices/0000:01:00.0/current_link_width這兩個文件是實(shí)時反映鏈路狀態(tài)的比lspci重新加載配置空間更直接。在排查鏈路降速問題時我習(xí)慣先用這兩個文件做快速判斷再用lspci -vvv對比兩端的LnkCap和LnkSta。另外一個sysfs里的隱藏幫手是/sys/kernel/debug/pci下的調(diào)試信息需要掛載debugfsmount -t debugfs none /sys/kernel/debug cat /sys/kernel/debug/pci/0000:01:00.0/device這里能看到lspci不直接輸出的更底層信息包括ASPM狀態(tài)、TR檢錯機(jī)制、可選的Completion Timeout設(shè)置等。嵌入式平臺調(diào)試早期這個目錄的價值非常明顯。3.2 手把手一張帶鏈路速率的完整拓?fù)浔韺?shí)際交付或者寫排查報(bào)告時我不會只給一張lspci -tv截圖因?yàn)檫@不夠直觀。我建議你按這個步驟做一張“帶鏈路狀態(tài)的拓?fù)浔怼钡谝徊较茸ピ纪負(fù)鋖spci -tvPP第二步逐個抓關(guān)鍵設(shè)備鏈路狀態(tài)for d in $(lspci | awk {print $1}); do echo $d lspci -s $d -vv | grep -E LnkCap|LnkSta done在服務(wù)器終端上跑這個循環(huán)不要加-vvv用-vv就夠了加上-grep過濾輸出速度會快很多幾百個設(shè)備也不會太卡。第三步把每個設(shè)備的Speed和Width填進(jìn)表格。以一臺典型雙路服務(wù)器為例整理出來的表格大概長這樣設(shè)備BDF設(shè)備類型上游橋當(dāng)前速率當(dāng)前通道數(shù)最大能力00:01.0PCIe Bridge (CPU Root Port)-8GT/sx168GT/s x1601:00.0NVMe SSD00:01.08GT/sx48GT/s x401:02.0PCIe Switch上游端口00:01.08GT/sx168GT/s x1602:00.0下游端口101:02.08GT/sx88GT/s x802:01.0下游端口201:02.08GT/sx88GT/s x8第三步的關(guān)鍵點(diǎn)在于判斷瓶頸。如果上游橋是x16的通道數(shù)下游設(shè)備全是x4的盤那確實(shí)沒有瓶頸問題但如果下游掛的是兩塊GPU每一塊都要x16而Switch下游端口只提供x8那么每塊GPU只能獲得x8的帶寬。這就是拓?fù)鋵用鎸?dǎo)致的帶寬損失任何驅(qū)動優(yōu)化都改變不了。這類情況在帶PCIe Switch的高密度GPU服務(wù)器上非常常見。設(shè)計(jì)者為了讓更多設(shè)備插入同一個CPU犧牲了單設(shè)備的通道數(shù)換來的是更多設(shè)備數(shù)量。用lspci的輸出去反推物理拓?fù)湓O(shè)計(jì)意圖是硬件工程師和系統(tǒng)運(yùn)維對齊信息的高效手段。3.3 用setpci讀配置空間看更多l(xiāng)spci不給的信息lspci已經(jīng)做了很多解析工作但有些原始寄存器值還是要靠setpci直接讀配置空間才能看到。比如想確認(rèn)某個設(shè)備的廠商ID是不是真的setpci -s 01:00.0 0x00.w讀出來的四位十六進(jìn)制就是Vendor ID。0x00.w表示從配置空間偏移0x00開始讀一個word2字節(jié)。同理setpci -s 01:00.0 0x04.w這個讀的是Device ID。可能你會問lspci -nn不是已經(jīng)顯示了嗎為什么還要setpci原因有兩個第一lspci依賴內(nèi)核的PCI子系統(tǒng)初始化完成如果設(shè)備在枚舉階段就出問題lspci輸出里可能完全不顯示但setpci只要總線號、設(shè)備號、功能號存在就能強(qiáng)行去讀配置空間不受驅(qū)動綁定影響。這在設(shè)備“枚舉失敗”但“物理鏈路存在”的排查場景下極為有用。第二lspci -xxx雖然能dump整個配置空間頭部但我想快速確認(rèn)某一位寄存器比如Link Control里的ASPM開啟位時setpci更精準(zhǔn)、更容易腳本化。舉個例子LnkCap在配置空間里的偏移地址一般是0x0cPCIe Capability結(jié)構(gòu)里但不同設(shè)備Capability的起始偏移不同不能盲讀。好在lspci -vvv已經(jīng)把這些信息解析成了可讀文本日常debug優(yōu)先用lspci。只有遇到lspci也解析不出、或者需要下修寄存器測試某種狀態(tài)時setpci才該出場。4. 場景實(shí)戰(zhàn)從拓?fù)涞焦收夏切﹍spci能幫你定位的事4.1 設(shè)備“掉卡”時怎么看拓?fù)浜腿罩竞芏喔鉇I服務(wù)器的人對“掉卡”這個詞不陌生。GPU跑著跑著從系統(tǒng)里消失lspci一開始能看到后來看不到了或者nvtop、nvidia-smi都找不到卡然后必須重啟才能恢復(fù)。這個問題在PCIe層面往往表現(xiàn)為鏈路不穩(wěn)定導(dǎo)致Surprise Down或Link Down事件。遇到這種時候第一步永遠(yuǎn)是dmesg | grep -i pcie典型錯誤碼包括PCIe Bus Error: severityCorrectedPCIe Bus Error: severityUncorrectedAER: Corrected error received: id01:00.0nvme ... link is down然后lspci就該派上用場了。如果設(shè)備BDF還在但鏈路狀態(tài)是downlspci -vvv的LnkSta區(qū)域會顯示Link Status為down。如果BDF整個消失說明上游橋已經(jīng)把這個設(shè)備從總線枚舉空間里移除了這是比鏈路down更嚴(yán)重的事件通常代表物理鏈路已經(jīng)高過閾值進(jìn)入了“Link Down”不可恢復(fù)狀態(tài)。定位是哪個橋出的問題看lspci -tv就夠了消失的設(shè)備和它的上游橋的從屬總線范圍一對比就能知道是哪一段物理鏈路斷掉了。比如GPU掛在03:00.0它上游是00:01.0這條Root Port管理bus 3。如果lspci里00:01.0還在但03:00.0沒了那問題就發(fā)生在00:01.0 - GPU之間范圍縮小到一根物理插槽或RISER板。這類問題的物理排查手段通常是重新插拔、換RISER槽位、清潔金手指、檢查主板/轉(zhuǎn)接線的信號完整性。lspci幫你劃定了排查范圍剩下的電工活兒就得手動干了。4.2 用lspci輔助判斷熱插拔問題熱插拔這個詞這兩年越來越熱PCIe熱插拔Hot-Plug在服務(wù)器里是標(biāo)準(zhǔn)能力。但嵌入式設(shè)備上要啟用熱插拔功能主控側(cè)需要Root Port支持Hot-Plug能力下游設(shè)備還需要有對應(yīng)的Presence Detect機(jī)制。當(dāng)熱插拔表現(xiàn)異常時lspci同樣能扮演關(guān)鍵角色。熱插拔的設(shè)備在拔出后該設(shè)備BDF應(yīng)該從lspci列表里消失同時上游橋的總線范圍會收縮重新插入后又會重新枚舉、重新分配BDF。如果拔掉設(shè)備后lspci里還能看到這個BDF大概率是Slot的Presence Detect管腳信號異常或Hot-Plug控制器驅(qū)動沒正確響應(yīng)。另外熱插拔場景下最容易遇到的是設(shè)備重新枚舉后總線號變了。比如第一次插入是04:00.0拔掉再插變成06:00.0。這本身是正常的不表示硬件出錯但如果你的軟件配置通過BDF號硬編碼綁定了設(shè)備就會出現(xiàn)找不到設(shè)備的情況。正確做法是用設(shè)備的廠商ID設(shè)備IDsocket物理位置聯(lián)合定位而不是固定寫死BDF。用lspci驗(yàn)證熱插拔是否恢復(fù)正常只要看鏈路協(xié)商結(jié)果lspci -vvv -s 06:00.0 | grep LnkSta如果LnkSta速度和寬度都恢復(fù)到了預(yù)期值熱插拔就算成功了。4.3 帶寬和穩(wěn)定性兼容性問題的lspci觀察法熱搜詞里反復(fù)出現(xiàn)“PCIe穩(wěn)定性/兼容性問題”這類問題的共性是設(shè)備能被識別但高負(fù)載下出錯率飆升或者性能遠(yuǎn)低于標(biāo)稱。lspci查LnkSta是一種靜態(tài)判斷還有一種動態(tài)判斷方法就是跑負(fù)載的同時反復(fù)讀取current_link_speed和current_link_width。在腳本里可以這樣while true; do cat /sys/bus/pci/devices/0000:03:00.0/current_link_speed cat /sys/bus/pci/devices/0000:03:00.0/current_link_width sleep 1 done配合FIO壓測或GPU算力壓測如果鏈路速率在壓力下掉到Gen1或者寬度減半說明鏈路的信號裕量不足觸發(fā)了PCIe的降速/降寬度機(jī)制。這種情況下lspci成為穩(wěn)定性監(jiān)視器比你抓AER日志要直觀得多。另一種兼容性問題典型現(xiàn)象是板卡插到A機(jī)器能識別插到B機(jī)器就枚舉失敗。這種時候把兩臺機(jī)器各自的lspci -tv和LnkCap打出來對比重點(diǎn)看鏈路兩端共同支持的速率代際有沒有交集。如果一方只支持到Gen4另一方最高只支持Gen3雙方協(xié)商的公共交集就是Gen3理論上不該出現(xiàn)枚舉失敗。一旦枚舉失敗多數(shù)不是速率協(xié)商的問題而是Initialization Pattern、參考時鐘Refclk格式、或者邊帶信號PERST、CLKREQ的時序不匹配。lspci能告訴你結(jié)果不對但要靠硬件設(shè)計(jì)文檔去推斷為什么不對。5. lspci排錯中容易忽略的細(xì)節(jié)與腳本技巧5.1 設(shè)備列表里的bridge設(shè)備別當(dāng)成無關(guān)信息很多朋友看lspci列表注意力都在GPU和NVMe盤上橋設(shè)備直接跳過。這其實(shí)是個壞習(xí)慣。橋設(shè)備的LnkSta和LnkCap決定了它下游所有設(shè)備的帶寬上限甚至能反映整條鏈路的熱狀態(tài)。比如CPU Root Port的LnkCap如果是x16但某個下游Switch上游端口的LnkSta協(xié)商成了x8這塊Switch下面所有設(shè)備的總帶寬直接少了一半。橋設(shè)備的問題還會成片影響——一個Switch帶8個NVMe盤如果它的協(xié)議轉(zhuǎn)換或內(nèi)部仲裁邏輯出故障8個盤都跑不動單看某一個盤的lspci完全找不到原因。先看上游橋狀態(tài)往往能幫你少走很多彎路。5.2 寫個一鍵腳本一鍵打印全鏈路拓?fù)浜蛥f(xié)商狀態(tài)配合嵌入式產(chǎn)品量產(chǎn)時的產(chǎn)測需求我通常會把lspci的檢查流程固化成腳本便于產(chǎn)線工位快速校驗(yàn)#!/bin/bash # 打印所有PCIe設(shè)備的BDF、類型、速率、寬度 for d in $(lspci -D | awk {print $1}); do speed$(cat /sys/bus/pci/devices/$d/current_link_speed 2/dev/null || echo N/A) width$(cat /sys/bus/pci/devices/$d/current_link_width 2/dev/null || echo N/A) desc$(lspci -s $d | cut -d -f2-) echo $d | $desc | $speed | $width done這個腳本在產(chǎn)測里的思路是固定型號的主板和CPU只要lspci輸出的設(shè)備數(shù)量和每個BDF的協(xié)商速率都在預(yù)期范圍內(nèi)就說明PCIe樹建立是健康的。比單純看設(shè)備能不能起來要多一層驗(yàn)證。5.3 別忽視ACPI和電源狀態(tài)對lspci輸出結(jié)果的影響最后一個容易被忽略的點(diǎn)是PCIe設(shè)備電源狀態(tài)。設(shè)備處于D3冷狀態(tài)時lspci -vvv里的LnkSta往往顯示的是協(xié)商前的狀態(tài)甚至可能讀不到完整的LnkCap。有些設(shè)備在睡眠后重新喚醒鏈路協(xié)商會重新進(jìn)行速率可能和冷啟動時的結(jié)果不同。所以對比兩套系統(tǒng)之間的lspci輸出時要確保雙方設(shè)備都處于同一電源狀態(tài)最好都在D0狀態(tài)、且沒有ASPM在中間搗亂。否則你查到的差異可能不是硬件性能差異而是電源狀態(tài)差異帶來的假象。調(diào)試中我經(jīng)常用這個命令強(qiáng)制設(shè)備回到D0echo 0 /sys/bus/pci/devices/0000:03:00.0/power/control然后重新讀lspci。如果鏈路狀態(tài)恢復(fù)正常說明整套電源管理和鏈路訓(xùn)練配合良好如果還是不行再去查硬件信號也不遲。這一步成本幾乎為零但能過濾掉大量“因?yàn)殡娫礌顟B(tài)沒到位導(dǎo)致的誤報(bào)”。文章寫到這里核心的lspci拓?fù)浣馕龇椒ㄒ菜阒v得比較全了。我自己在實(shí)際調(diào)試中最大的體會是遇到PCIe疑難問題時一定要先問自己兩個問題——這個設(shè)備在總線上到底存不存在枚舉問題以及它當(dāng)前鏈路協(xié)商到了什么狀態(tài)鏈路問題。前者看lspci -tv的樹形結(jié)構(gòu)后者看lspci -vvv的LnkCap/LnkSta。把這兩個問題搞清楚了排錯范圍就縮小了一大半。最后再分享一個小經(jīng)驗(yàn)做嵌入式板卡調(diào)試時建議在開機(jī)階段就用lspci -vvv把每塊板卡的鏈路信息保存一份歸檔一旦后續(xù)現(xiàn)場出了問題和歸檔數(shù)據(jù)一對比是硬件老化還是批次性物料問題基本就能看出方向了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日本三级第一页| 91chinese 在线| 天天爽天天摸天天爱| 亚洲V国产V欧美V久久久久久| 五月婷六月婷婷| 亚洲综合无码| 人人叉久| 五月伊人91| www.五月婷婷.com| 啪啪小说五月天| 国产亚洲成AV人片在线观黄桃| 日日操日日撸| av超碰在线| 99热69| 97人人看| 99精品无码网站| 婷婷伊人网| 中文字幕乱轮| 九九aV| 亚洲成人无码专区| 六月婷婷综合激情| 开心激情久久久久久久| 色欲Av五月天| 久热精彩视频98| 五月色婷婷夜色| 另类图片天天影视在线观看| 婷婷丁香激情综合色情| 九九色婷婷| 97成人丁香| 夜夜爱伊人| 久久6这里只有精品| 日日日影院| 色婷婷888| 色婷婷狠狠| 丁香操逼| 亚洲色情免费网| 妻久久人久久| 久久AAAA片一区二区| 97人妻碰碰碰久久| 人妻有码乱操| 天天插天天插天天日| 九月性爱网| 五月丁香色色| 在线色色| 免费黄色视频网址| 思思热精品在线视频| 久久婷婷五月天激情唯美| 亚洲色色在线| 另类五月婷婷| 欧美99热| 激情五月色综合国产精品| www.日韩国产| 国产精品A成V人在线播放 | 蜘蛛女侠2003满天星免费观看| 欧美人妻一区二区| 黄色99网| 婷婷五月天日本国产| 亚洲成人在线播放| 3pAV| 噜噜噜色噜噜| 丁香五月开心婷婷| 这里只有精品视频99| 丁香五月激情无码视频| 丁香五月婷婷日本| 久久网日本| 日韩在线视频中文字幕| 亚洲99在线| 国产精品色色| 99精品综合| 丁香五月五月婷婷欧美大香蕉| 性色av大香综合| 2023天天日夜夜爽| 99热精品无码| 激情综合网五月婷婷| 亚洲综合视频天天精品| 狠狠香蕉| 激情五月婷婷伊人| 能看的av片| 六月丁香综合网| 久久99热 这里有精品| 天天爽在线视频| 六月丁香花婷婷| 无码se| 狠狠色丁香久久久婷| 99成人网一区| 婷婷五月天电影在线| av性爱在线| 精品久久99码| 天天舔天天爽| www久久久久久久久久久久久久久久久| 婷婷99视频全集高清| 精品热九九| 久久婷婷六月综合综合| 亚洲九区| 久久ER视频com| 五月婷丁香亚洲| 99A片| 激情床戏| 超级碰碰97在线| αv中文字幕在线观| 亚洲 在线 另类| 色婷婷丁香AV综合| 欧美六月| 蜜桃五月天| 特级西西4444www无码| 人妻aV在线| 超碰人人91| 激情四射五月天| 99久久综合| 久久久久9久无码视频| seav天堂| 亚洲在线资源| 丁香五月六月激情久久| 色吧综合网| 天天肏在线| 春色激情第四色| 久操福利| 丁香五月综合网亚洲综合欧美狠狠 | 五月天色丁香| 超色欲天天| 淫视馆aV二区一区| 婷婷五月天欧美| 天天肏视频| 无码 av电影| 五月天激情综合网| 五月丁香狠狠地噜噜噜噜| tingtingseav| 婷婷放心五日爱| 天天 青草 丝袜制服 在线| 狠狠色综合网| 亚洲欧洲美女在线观| 超碰国产av| 97在线刺激| 这里只有在线精品| 色九区| 人人妖人人97| 99热日本| 婷婷伊人中文字幕| 久热久操久热久草国产91| 包操45分钟网站| 噜一噜在线| 久久精品国产AV一区二区三区 | 殴美97色| 五月天激情.com| 九九操操| 秋霞AV美国| aaa久久| 五月天狠狠干| 国产毛片精品一区二区色欲黄A片| 伊人九九综合| 伊人久久五月天综合| 婷婷五月色| 综合久久久婷| 天天爱天天吃狠天天透| yw.av| 婷婷六月开心网| 婷婷五月天奸女| 婷婷综合玖玖五月| 激情网婷婷婷| 九九操屄| 婷婷五月天亚洲精品| 色吧五月婷婷| 色播五月婷婷| 亚洲精品永久久久久久| 九九九九中文字幕| 日日干日日s| 伊人婷婷五月天| 影音先锋91网站在线观看| 9.1综合网| 99a级片| 在线播放成人| xx综合网| 少妇高潮呻吟A片免费看软件| 99re免费精品视频| 色综合色综合网| 久久五月天网| 9999三级片| 黑人无码一区| 婷婷丁香人妻天天爽| 美国少妇性做爰| 丁香五月天激情网址| 人人色婷婷| 99热在线观看| 激情五月婷婷综合网| 激情综合久久| 99热这里精| 免费视频无码| 日本 @ va 免费| 色99在线| 丁香五月av在线| 国产乱子轮XXX农村| 丁香五月激情宗合网| 色五月欧美| 丁香婷婷五月人体| 久re热视频| 99久久久久久www| AVDV久久| 91蜜桃婷婷狠狠久久综合9色| 激情综合婷婷| 亚洲色情激情丁香五月| 九九Y精品热播| 五月丁香啪啪伦理电影| 丁香婷婷五月综合影院| 五月丁香网站| 丁香五月婷婷俺也要去| 爱iii做iiii日日| 五月天五月天成人网亭亭成人色网站| 免费看无码视频A级| 99热只有| 美女久久婷婷| 成片免费播放| 婷婷综合激情| 激情综合网,五月| 嫩草视频观看| 久99久视频精品| 开心五月丁香综合久久| 一区中文字幕电影| 91五月天| 婷婷色爱| 综合久久伊人| 能看的av网站| 色丁香五月天婷婷| 久热伊人| 97啪在线观看视频| 97在线视频人妻九色| 日本婷久久| 性爱视频久久| 婷婷亚洲综合| 玖玖99福利| 人人摸人人操人人爱| 丁香五月天色婷婷| oumeisesewang| 不卡在线超碰| 亚洲午夜AV| 五月激情婷婷六月丁香| 亚洲视频无| 日本久久天堂| 欧州色色| 丁香激情合作五月| 九艹在线| 激情综合丁香| 99色热| 这里只有精品9| 色婷九九九| jiZZdr| 午夜婷婷五月天| www.色五月.com| 极品少妇高潮啪啪AV无码| 色综合综合网| 五月婷六月综合在线观看| 婷婷情色五月| 亚洲精品久久久无码| 激情开心五月天| 亚洲天堂AV免费片| g00d人体西西| 五月丁香六月婷| 婷婷九月丁香| 国产精品久久7777777精品无码| 91碰超| XX色综合| 99激情| 丁香六月久久| 就去涩涩丁香五月天| 五月丁香啪综合| 激情婷婷丁香| 1024操逼视频| 色综合色综合色综合色综合| 五月婷婷六月奇米网丁香| 久久婷婷成人| 一本九九色| 色噜噜综合网| 天天综合五月天| 五月丁香激情六月| 丁香五月天婷婷久久| 国产精品色婷婷99久久精品| 五月色婷婷夜色| 大香蕉综合网| www.五月天| 99这里有精品| 婷婷激情六月天视频| 天天射影| 亚洲色精彩| 草榴视频网| 色色色九九九五月婷婷| 国内一级片| 狠狠综合网| 日本一级特黄大片AAAAA级| 久草五月天电影网| 在线VA视频| 九九狠狠干| www.久久色.com| 亚洲亚洲人成综合网络| 91男同视频| 天天做天天爱天天爽| 久久Xx| 五月丁香色综合| 久久久人妻门| 激情深爱五月| 99色天堂| 丁香花五月天激情| 天天拍天天操| 欧美成人五月天| 99热日本精品| 米奇影视五月天| 碰碰碰97国产| 久9久成人精品视频| 久久久久网站| 久久综合九九| 五月天婷婷无码视频| 婷婷五月天中文字幕| 五月 激情视频| 日日噜狠狠| 色色国产| 色婷五月天激情| 日韩欧美一道四区中文字幕| 人妻精品一区二区三区| 丁香五月 六月婷婷首页| 日本色色影片| 色久影院| 色播五月丁香综合| 国产综合婷婷| 最近免费中文字幕大全高清大全1| 热99热9| 91制片厂久久久国产电影| 久久五月天综合| 久久性爱视频| 丁香五月婷婷国产av| 色5月丁香婷婷| 中文字幕永久在线| 四川BBB搡BBB搡多人乱亂| 99热无码首页| 综合激情开心五月| 五月丁香偷拍| 成人综合网站| 五月天丁香成人社| 丁香婷婷五月天亚洲| 色操综合| 99在线精品观看99| 99操免费视频| 思99热精品久久只有精品| 99人妻碰碰碰久久久久| 九九九九操逼| 9999三级片| 色丁香在线视频| 99啊精典免费视频| 色欧美色色色| 色婷五月| www.minyis.com【JT】实力收量可预付QQ2101460746 | 99热天堂| 亚洲区在线| 激情综合五月丁香| 色欲资源网| 大香蕉综合| 狠狠一日| wwwss在线观看| www.minyis.com【JT】实力收量可预付QQ2101460746 | 4399成人黄A片| 免费色婷婷| 91久操| 99综合色| 五月丁香啪啪啪啪| 九九人妻福利| 9l视频自拍9l九色9l成人| 一本色综合色| 色五月首页| 久久综合五月天| 丁香五月天婷婷中文| 久久精品99久久| 超碰在线网站9| 色婷婷精品视频| 狠狠狠五月婷婷六月丁香| www,五月天com| 人人插9| 婷婷99视频全集高清| 99久久婷婷国产综合精品草原| 天天色天天爱天天爱天天爱y| 久久视频这里都是精品| 91chinese在线| 大香蕉人人网| www.色欲丁香婷婷| 538在线精品| 日日夜夜婷婷| 草草操操| 婷婷久久五月丁香| 激情99| 26uuu亚洲精品国产| 亚洲精品操一操、噜一噜、摸一摸、爽 | 人人叉久| 色婷婷玖玖影院| 五月婷婷六月激情| 亚洲精品无人区| 亚洲色网络| 伊人色综合久久久| 亚洲最大五月六月丁香婷婷| www.五月天。com| 久久婷婷五月天蜜桃| 日本天堂久久| 丁香五月 激情文学| 久久精品99国产精品日本| 变态另类9| 国产美女视频久| 桔色成人在线| 五月婷婷影| 亚州精品久久久久AV无码| 五月天婷婷爱丁香中文字幕| 操日本人妻视频| 六月婷伊人| 都市激情蜜桃婷婷五月天| 色色色色色色色色五月先| 六月婷婷网| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 玖玖99免费视频| 婷婷va| 久久久久久久久人妻| 婷婷开心六月| 国产日日操夜夜操的肉棒视频| 五月天婷婷色小说| 国产成人va在线| 人妻在线中文字幕久久| 激情网狠狠干| 五月天五月婷五月激情网| 热久久成人| 九九热九九热精品| 国产热精品| 六月丁香五月激情婷婷| 五月婷婷网五月在线| 五月开心深爱激情网| 操人妻视频91| 猫咪伊人久久| 五月天激情久久| 五月激情影院| 中文字幕乱码亚洲精品一区| 亚洲AV久久久久久久久久久久久久久久 | 天天情天天狠天天透| 色五月婷婷五月丁香五月激情五月视频 | 啪啪视频99| 东京热人妻一区二区三区在线| 一级七香蕉| 五月天婷婷爱| 婷婷五月天改成什么了| www色中色综合| 欧美色爱五月天| 可以直接看的av| 五月婷婷偷拍| 久久久久人妻| 五月色婷丁香| 99热99色| 久久99这里只有精品视频| 欧美色五月天| 婷婷婷久久久| www.狠狠操| 5月丁香美女影院| bukadeavzaixian| 久久Xx| 欧美噜噜免费观看| www.亚洲激情| www99精品| 婷婷五月综合网| 九月丁香婷婷| 精品人妻伦九区久久AAA片| 秋霞少妇AV网站| 亚洲久艹| 97操在线视频| 激情婷婷狠狠干| 无人精品在线视频| 婷婷丁香五月天激情| 午夜亚洲AV日韩无码| 久久九九激情五月天| 色婷婷88| 五月天激情四射| 五月婷婷性爱网| 午夜爱插插| 婷婷激情中文综合| 婷婷丁香在线播放| 综合色播| 久久大香免费| 这里只有精品热| 天天综合亚洲| 91啪啪视频| 五月婷婷影视| 五月婷精品| 五月婷综合性中心| 九九热欧美| 日本操B视频| 亚洲免费观看高清完整版AV线| 天天日夜夜高潮| 精品A√| 99亚洲精品视频| 大香蕉婷婷婷| 再次出发二| 五月天国产| 综合五月天| 1024成人在线观看| 高清无码 一区 二区 三区| 色香欲综合| 无码人妻精品一区二区蜜桃色欲| 久艹大香蕉| 九九视频精品视频精品| 99热9| 免费观看2018www黄色操逼网站| 欧美天天五月丁香免费观看| 伊人网碰碰| 婷婷五月性感| 五月丁香好婷婷姑娘综合网| 91人人网| 亚洲精品成人片在线播| www.思思99热| 婷婷六月丁| 色婷在线视频| 丁香五月婷婷俺也要去| 白人荫道BBWBBB大荫道| 五月婷婷性爱| 99热在线精品播放| 97婷婷久久丁香| 这里有精品99| 五月婷婷亚洲色视频| 99ER热精品视频| 五月色网| 色综合大香蕉| 91丁香| 欧美激情-区二区三区| 久久综合激情| 狠狠香蕉| 在线观看中文字幕亚洲| 狠狠色九月| 婷婷五月噜噜| av操逼网| 俺五月| 五月玖玖| 色婷婷偷拍| 五月激情六月宗合| 九久九精品| 五五月五月| 婷婷久久五月天| 五月天综合久久| 五月丁香婷婷网在线在线| 久久综合55| 五月天婷婷激情春色小说| 免费观看18视频网站| 天搞天天天天天| 久久天天| 婷婷九月在线| 色色色色网色色网色色| 99精品视频播放| 婷婷丁香亚洲五月天| 中国丰满熟女A片免费观| 97色色婷婷五月天| 久久这里有精品| 大香蕉久久久久久久久| 五月丁香综合激情网| 1024成人免费看| 永久99免费视频网站| 五月天六月色| 欧美激情 日韩无码 婷婷 五月天 久久婷婷丁香五月一二三 | 激情色色色| 熟女人妻视频| 99色看| 激情网 久久| 99色1| 久久人人添人人爽添人人片αV | 天天天干夜夜夜操| 草美女在线观看视频在线播放| 五月色网| 天天干夜夜欢| 沈娜娜av| 六月婷婷久久大全| 美国天天操无码| 天天日天天插| 欧美日韩999| 99色视频| 青青五月天婷婷| 91操人人操| 九九草热在线观看| 欧美午夜乱妇午夜福利| 思思热在线视频99| 亚洲天堂有码| 91偷拍视频| 99久久免费性爱视频`| 天天射影院| 五月丁香六月婷婷亚洲激情综合| 68热超碰在线| 五月婷婷六月情| 综合网啪啪| 色爱亚洲| 婷婷基地五月色| 殴美97色| 99操视频| 天天日夜夜草进麻麻的子宫| 99干免费视频| 99超级碰碰| 亚洲av成人在线| 9+1视频网址| 婷丁香五月天| 97超碰欧美中文字幕| 五月丁香琪琪| 久久色在线视频| 婷婷五月色| 99热99热99热99热| 五月丁香成人| 成人中文网| 狠狠干夜夜干| 亚洲一个色| 色吧婷婷五月亚洲| 亚洲啪啪网| 99热精品少| 天堂网亚洲色图| 超碰9| 日韩抽插操逼| www久久久久久| www99精品| 色婷婷色五月另类综合| 偷拍99在线视频观看| 成功精品影院| 精品99这里有| 婷婷伊人綜合中文| 这里只有精品视频| 深爱激情综合网| 大香蕉九九| 婷婷亚洲综合| 五月婷婷天天| 开心五月婷婷六月丁香| 97黑人精品区| 久久9热好| 九色七七| 五月婷在线视频免费播放| 天花AV无码| 六月 丁香 视频| 伊人午夜综合色啪| 天天五月丁香五月| 久久丁香婷婷五月| 国产精品久久久久久喷浆| 日本99在线| 深爱丁香激情| 久久九九网| 97亚洲精品| 97色婷婷成人综合在线观看| 久久人妻人人槡| 婷婷综合| 3p久久| 日本不卡一区二区三区| 激情丁香社区| 中文AV网站| 色色色在线播放| 欧美性爱一区| 99操不停| 97在线精品| 日韩无码色色| 偷拍视频五月天| 色玖玖| 91超级碰人人操| 无码激情AAAAA片-区区| 色综合久| 9久热在线视频精品| 色宗合久久五月婷婷| 丁香五月影院| 婷婷欧美激情综合| 丁香五月婷婷色综合| 激情五月色婷婷| 大香蕉中文| WWW,五月| 五月丁香六月婷婷综合伊人| 婷婷五月天视| 色婷婷成人网| 日亚二欧美| 国产激情一区| 欧美三级巜人妻互换| 婷婷五月天色播| 中文资源在线a | 欧美99热| 日本色99| 99偷拍视频在线日本| 男人大jjc女人免费视频| 91Chinese在线| 久久久五月天| 超碰人人色| 噜噜在线| 五月婷婷六月丁香玖玖玫瑰91| 色色综合网络| 久久婷婷五月天亚洲欧美| 五月丁综合在线观看| 这里只有精品视频国产| 超碰人人超碰| 激情六月丁香| 玖玖综合色| 五月丁香91| 色综合av超碰| 99久久精品亚洲综合| 91综合在线观看首页| 日本色超碰| 久久99草五月婷婷| 中文字幕综合色| 9视频在线成人网站| 中文字幕无线久必| av操B网站| 97综合视频在线| ai97re99一本| 九九九九无码| 超碰av天堂| 人人操插| 色五月色五天色情网| 九九综合九九| 亚洲操操操| 双性美人被调教到喷水A片| 能看的av| 97五月婷| 在线综合91| 久久视频婷婷| 国产成人av在线播放| 99色色网| 激情99热| www.五月丁香av| 五月婷婷色五月| 噜噜色五月| 久久激情综合| 能看的AV| 婷婷五月综合中文字幕| 热九九九九| www.五月婷婷| 第四色色六月色综合| 丁香六月婷婷综合网| 色五月天在线| 婷婷丁香六月| 丁香五月欧美| 婷婷色五月大香蕉在线| 九月丁香欧美综合| 综合久久五月天| 色丁香五月天射婷婷爱婷婷| 婷婷五月天激情五月天网站| 99热都是精品| 激情綜合W W W,激情五月天| 亚洲视频一区| 欧美日韩五月婷婷| 亚洲国产婷婷色五月 | 精品人妻午夜一区二区三区四区| 婷婷久久色| 综合色五月天| 思思热精品免费视频| 婷婷五月六| 99精品久久| 免费视频WWW在线观看网站| 亚洲成人电影在线免费观看| 日本高清久| 色色色在线播放| 精品久久66| 99热这里是精品| 色五月欧美| 精品热九九| 婷婷成人综合| 丁香五月亚洲综合| 激情综合在线观看| 久久五月婷6 9| 五月天婷婷情色| 国产日批视频| 天天日天天色| 涩五月婷婷| 成人一区在线观看| 日日夜夜狠狠婷婷色| 在线1青婷| 天天干天天干天天干天天干天天干| 丁香五月天AV在线 | 狠狠操狠狠爱| 婷婷丁香色女人| 久久久久9999| 丁香五月六月婷婷殴美综合| 色色色色热| 久久久五月天婷婷成人网| 大香蕉啪啪啪| 99热在这里只有精品| 五月天婷婷成人网| 久久精品噜噜噜成人A∨色欲| 婷婷欧美偷拍综合| 亚洲精品婷婷| 蜜桃人妻无码AV天堂三区| 亚洲秘 无码一区二区三区妃光/1| site:picc-up.com| 日日撸夜夜操| 99热草草| 婷婷五月丁香六月伊人网| 色噜噜狠狠色综合日日| 夜夜做天天爽| 99久久激情视频| 五月激情综合网| 9l视频自拍九色9l视频在线观看| 狠狠色激情综合| 99国产在线| 亚洲人人操| 色亭亭五月天网扯| 国产成人AV在线| 久久性爱激情| 五月社区婷婷激情| 亚洲操b| 五月狠狠| 五月婷婷二月丁香| A片试看120分钟做受视频红杏| 久热91精品| 狠狠干综合网| 国产一级视频a| 99免费热在线精品| 日本色图综合| 婷婷伊人视婷婷婷| 五月丁香青草综合啪啪| 精品一区二区三区四区五区六区| 在线99热| 任你爽精品免费视频6| 在线日韩av| 亚洲九九99精品视频在线播放| 久热人妻| 99在线公开视频| www.av骚货| 九九黄色网| 99小视频| 综合色播| 亚洲综合色色| 丁香五月成人社区| 懂色av粉嫩AV蜜臀AV| 婷婷97狠狠干| 99爱视频免费| 91操碰| 婷婷九月综合| 人人操97| 91成人视频| 4438国产免费看| 五月婷婷免费在线观看视频| 色五月在线综合| 91成人视频| 色一情一乱一乱一区91| 色婷婷综合综合网| 99成人| 日本乱论99| 丁香五月天激情视频| 色婷婷色丁香色欲av| 亚洲色婷婷视频| 99九九精品视频推荐| 深爱五月亚洲| 97人碰人操| 日本AAAAAAAAAAAAAA片| 裸体做A爰片毛片A片免费| 五月婷婷偷| 嫩草AV久久伊人妇女超级A| 开心婷婷五月激情网小说| 色色a| 亚洲成人网在线观看| 97婷婷狠狠| 精品久热| 色婷视频| 综合色天天| 琪琪布丁香社区激情五月天| 婷婷五月天a| 日本三级99人妇网站| 男人的天堂五月丁香| 国产亚洲av片| 色综合久久中文| 99热青青草| 9久热| 亚洲夜五月| 一本大道嫩草AV无码专区| 色婷丨日丨天丨综合久久| 三级黄色大片视频| 久久这里有精品视频| 久久久精品99| 99九九综合久久九九| 97人人射| 丰满女老板BD高清A片| 人妻在线中文字幕久久| 1024人妻无码中文字幕| 丁香五月成人网| 婷婷色吧| 色婷婷色99国产综合精品| 色视五月天婷婷| 91操女| 26uuu丁香婷婷五月| 五月丁香啪| 久久久久久人妻| 五月综合色播播丁香婷婷| 99超碰人人| 色五月激情综合网| 天天摸天天爽| 色五月婷婷丁香凹凸| 噜噜色噜噜网| 九九热av| 国产伦亲子伦亲子视频观看| 有哪些A片网站| 成人电影在线免费试看| 在线不卡视频| www夜夜操comwww| 婷婷色色丁香五月天| 五月丁香网站| 婷婷在线免费| 欧美精品啪啪| 情欲禁地| 深爱五月激情五月| 激情网站五月| 婷婷五月天av小说| 激情九月综合| 五月婷婷黄色视频| 操操操91| 色99色| 直接看的AV网站| 亚洲乱码在线观看| 久久久国产精品黄毛片| 婷婷丁香六月天| 五月丁香久人妻中文| 久久丁香综合精品综合| 日韩999| 婷五月丁香| 激情伊人网| 日本猛少妇色XXXXX猛叫| 丁香欧美| 色婷网| a免费在线| 五月天精品视频| 天天爽天天做| 婷婷五月中文在线| 狠狠色综合久久久久| 亚洲高清在线| 五月丁香婷爱在线| 激情五月深爱五月观看| 久久五月天丁香花| 大香网伊人久久综合| 九九精品视频在线6| www.丁香五月| 久久久久视剧HD| 中文字幕成人| 婷婷久久五月天| 色色日韩无码| 精品人人操| 日韩av高清| 天天干 夜夜爽| av狠狠操| 玖玖精品视频99| 日韩综合网络男女香蕉a片| 91黄色五月天视频| 丁香五月自拍| 99在线精品视频在线观看| xxxx五月| 五月婷在线影院| 91婷婷丁香五月亚洲| 国产激情综合| 成人版视频在线观看| 97色色色色色| 国产欧美日韩一区二区三区| 丁香五月另类色婷婷麻豆| 色吊操色妞| 国产精品A成V人在线播放| 九九热九九| 色婷婷狠狠| 久久五月丁香六月婷| 开心六月婷| 激情性爱五月| 婷婷伊人视婷婷婷| av婷婷六月丁香社区在线观看| 五月天激情婷婷| 色五月色图| 婷婷夜夜操| 婷婷丁香五另类网站| 五月丁香激情综合网| WWW·色色色·COM| 日韩aaa| 热99这里只有精品视频| www色中色综合| 97丁香五月| 五月久久网| 五月丁香色| 久久久久人妻精品| 丁香五月天婷婷大香蕉| 久久色频| av大片在线| 97色色视频| 亚洲av网站| 中文字幕综合| 婷婷六月五月| 一级二级香港秋霞欧美欧美秋霞| 国产67194| 丁香五月婷婷婷婷欧美综合| 五月丁香婷婷综合久久| 色综合香蕉| 婷香狠狠爱五月| 99色1| 五月天激情国产综合婷婷| 五月丁香六月婷婷亚洲激情综合| 只有精品在线观看| 亚洲精品视频在线| www.99久| 噜噜噜狠狠色综| 日韩色久| 日韩啪| 婷婷五月激情五月激情| 岛国在线观看91| 五月丁香六月综合激情 | 激情六月天| 色情五月停停丁香| 成人网站在线观看视频| 午夜大香蕉| www.色五月| 99色热综合| 激情都市丁香婷婷| 五月婷婷免费在线| www.91五月| 色婷婷久久综合| 五月天四色房丁香| 日韩三级高清无码| 色青青五月| 天天做天天爱天天爽在| 天天草天天舔| 久久有码| 丁香婷婷在线| 手机免费福利视频| 无码任你操| 网站免费一站二站| 天天舔天天摸| 欧美精产国品一二三区| 337p大胆噜噜噜噜噜91Av| 啪啪 综合网| 欧美人妻一区二区| 狠狠干狠狠色| 日韩av一区二区在线/日产精品久久久| 婷婷碰碰| 色99免费视频中文| 狠狠五月激情丁香六月| 五月天激情综合在线| se色99| 五月天激情Av| 9这里只有精品| 五月婷综合| 亚洲免费99| 五月香婷婷| 日本不卡一区二区三区| 思思热99er| 99视频久久久| 九九av| 综合欧美五月婷婷| 日都一级A片| 丁香五月停停av| 99综合网| 丁香色婷婷| 久久亚洲色导航| 久草大| 91成人性爱视频| 婷婷五月激情五月丁香五月| 五月伊人91| 色九四色| 好好干Av| 深爱激情五月婷婷| 久久99精品久久久久久三级| 天天色域综合网| 国产成人99久久亚洲综合精品| 久久久久思思热| www.99情趣网| 99狠狠操一| 日日夜夜天天| 欧美大香蕉视频| 色色色婷婷五月天| 97在线视频观看| 99激情视频| 五月婷婷六月色| 五月J香蕉婷婷| 超碰五月婷婷五月天| 亚洲色情久久| 婷婷五月综合婷婷| 青青草搞屄视频网站| 激情婷婷五月女| 亚洲五月天综合| 天天爽夜爽| 亭亭色色五月天| 久久se 综合网| www.9797国产| 婷婷性爱无码视频| 丁香午夜天| 99热只有| 综合色色网| 欧洲MV日韩MV国产| 玖玖精品婷婷| 超碰成人在线观看| 天天肏在线观看| 亚洲激情网| 三日本无码| 一区二区乱码视频| 五月婷婷中文网| 另类A片| 婷婷五月激情欧美大胆视频| 91无码视频| 五月丁香激情六月| 久久综合五月| 婷婷综合在线视频| 亚洲婷婷丁香五月在线| 深爱激情综合网| 99ER热精品视频| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 色综合99色| 激情5月舔| 久久久免费精彩视频| 无码AV久久久久久久久| 欧美色99| 99热亚洲精品| 色五月激情五月| 色色色色综合网| 九九热视| 婷婷色情 | 美女激情综合| 一起草性爱不卡视频| 精品夜夜澡人妻无码AV| 最新久久网址| 激情五月天婷婷五月天| 思思9久久| site:901-07.com| 久热黄色| 免费视频1区| 国产精品噜噜在线视频| 激情综合亚洲| 婷婷综合影院| 五月婷婷丁香狠狠撸久久| 无码99| 欧美性爱五月天| 天天日天天插| 91主播在线| 激情综合激情五月| 久久婷婷色| 超碰超碰在线| 五月婷婷综合在线| 久久99久久99www| 婷婷久久六月天| 五月香婷婷| 在线中文av| 亚洲国产99| 五月色亭丁香| 婷婷五月天论坛| 白人荫道BBWBBB大荫道| 黄色99视频| 大香蕉九九| 91色在线 | 日韩| 婷婷五月天丁香久久| 丁香花五月天| 婷色五月| 色色综合无码| 久久婷婷六月综合| 91在线日| 久久婷婷啪啪视频| 婷婷色在线视频| AV操操操| 天天射色五月天| 日屌日日操日日色| www.97视频| 天堂婷婷五月在线| 九九热在线视频| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 亚洲第一成人无码A片| 久99久视频免费观看| 色婷婷电影网| 天堂五月婷婷| 五月天久久91| 丁香婷婷婷婷十二月在线观看视频| 99久久久国产精品免费蜜乳tv| 大香蕉色婷婷伊人在线| 开心激情久久久久久久| 这里只有精品96| 五月丁香六月欧美| 婷婷五月综合性爱| 深爱五月天天| 清纯唯美 激情四射| A A色色| www.婷婷激情网.com| 激情五月综合网最新| 4438全国最大视频成人网站在线观看| 久久这里只有精品22| 亚洲成人AV电影在线| 成人婷婷五月天| 99热在线观看| 青青草原福利在线| 日本专区久久| 久热91| 情婷婷五月天在线| 激情综合色婷婷啪啪五月天| 深爱激情五月婷婷| 五月天婷婷綜合院| 开心激情婷婷| 天天摸日日舔狠狠添婷婷婷| Caoub青青超碰| 庭庭久久内射| WWW.五月天9999| 碰超亚洲| 色婷婷69| 激情五婷精品网在线观看网址| 国产午夜精品AV一区二区麻豆| 噜噜噜噜在线| 99久久終合| 99操无码视频观看| 99久热| AA片在线观看视频在线播放| 亚洲激情免费视频| 久久一品区| 日韩欧美一级大黄网站| 婷婷五月蜜桃成人桃色丁香| 八戒青柠影视剧在线观看| 激情五月丁香在线观看直播| 91在线人| 97婷婷丁香| 性色播| 五月桃花网综合| 日本美女五月天| 国产成人av在线播放| 色婷婷综合网| 天天做 天天爱| 99热999| 超碰人人超碰| 99久久99热| 亚洲性爱AV在线| 婷婷五月天播播| 天天摸天天肏| 久久九色| 这里只有精品网| 97色婷婷五月天| 少妇人妻人伦A片| 《蜘蛛女》梁铮1995| 激情综合啪啪| 久久人妻少妇嫩草AV| 久热这里只有精品6| 久久精彩综合视频| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 热99只有里视频| 午夜激情综合| 99国产在线精品视频| 亚洲婷婷欧美婷婷| 第2色五月婷| 奇米四色五月天| 激情五月婷婷网| 色色亚卅| 超碰人人91| 九九综合影音先锋| 国产欧美第五十五页| 色色婷婷综合网| 啪啪激情综合| 色一情一乱一乱一区91Av| 五月婷婷狠狠干| 91午夜婷婷狠狠久久综合9色| 五月婷啪啪| 五月丁香激情深爱婷婷| 九九精品在线视频观看| 婷五月天| 天天色综合色色色色色。| 99热99在线精品| 丰满人妻妇伦又伦精品国产| 激情99热| 色欲久久久久| tingting五月天亚洲| 99资源在线视频| 青吴乐视频| www.99热| 色色免费网站| 天天插AV丝袜中| 开心五月丁香综合久久| 日韩不卡DvD| 五月丁香偷拍| 怎么样可以看免费的一级av| 天天干天天干天天干天天干天| 日日色综合| 五月婷婷丁香av| 婷婷丁香77777| 久久网日本| 亚洲AV成人无码电影| 天堂在线观看视频| 婷婷中文字幕| 亚洲超碰在线| 蜜臀99精品| 九九九九这里只有精品| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 久久婷婷成人|