欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

MegaSR c100 RAID驅(qū)動(dòng):安裝、調(diào)參與故障排查實(shí)戰(zhàn)

MegaSR c100 RAID驅(qū)動(dòng):安裝、調(diào)參與故障排查實(shí)戰(zhàn) 簡(jiǎn)介MegaSR c100 RAID驅(qū)動(dòng)是針對(duì)戴爾等服務(wù)器平臺(tái)中 c100 控制器的驅(qū)動(dòng)程序包面向負(fù)責(zé)服務(wù)器存儲(chǔ)配置、系統(tǒng)重裝或硬件維護(hù)的IT運(yùn)維人員。該驅(qū)動(dòng)負(fù)責(zé)在操作系統(tǒng)中正確識(shí)別控制器并啟用RAID陣列的配置、讀寫與故障恢復(fù)功能適用于需要部署RAID 0/1/5等模式的業(yè)務(wù)服務(wù)器。壓縮包共40個(gè)文件包含inf安裝信息、sys核心驅(qū)動(dòng)、oem簽名文件及cat安全目錄等覆蓋Windows Server 2003/2008等系統(tǒng)的x86與x64版本整體約1009KB安裝時(shí)可按系統(tǒng)位數(shù)對(duì)應(yīng)選用。資源已獲得186人學(xué)習(xí)瀏覽版本信息明確并附帶md5校驗(yàn)文件便于驗(yàn)證完整性。通過本驅(qū)動(dòng)包運(yùn)維人員可以在系統(tǒng)安裝或升級(jí)階段快速加載正確的控制器驅(qū)動(dòng)避免因缺少驅(qū)動(dòng)導(dǎo)致磁盤無法識(shí)別從而保障業(yè)務(wù)數(shù)據(jù)的安全性與存儲(chǔ)性能的穩(wěn)定發(fā)揮。1. 為什么服務(wù)器換上新盤后系統(tǒng)還是認(rèn)不出陣列前幾天幫某公司處理一臺(tái)老服務(wù)器RAID卡芯片是某代工廠貼牌的c100Linux內(nèi)核里對(duì)應(yīng)MegaSR驅(qū)動(dòng)模塊??蛻糇孕袚Q了兩塊硬盤在控制器BIOS里能看到虛擬磁盤已經(jīng)在重建但操作系統(tǒng)卻一直找不到根分區(qū)重啟后卡在“Loading megasr”后面黑屏。折騰到下午才定位到根因initramfs里根本沒有打包進(jìn)MegaSR驅(qū)動(dòng)模塊雖然在內(nèi)核里但啟動(dòng)早期根分區(qū)還沒掛載時(shí)它不會(huì)自動(dòng)加載。這個(gè)場(chǎng)景不是個(gè)例——很多發(fā)行版默認(rèn)不把MegaSR放進(jìn)初始內(nèi)存盤一旦你換盤、重建陣列或升級(jí)內(nèi)核系統(tǒng)就會(huì)直接失聯(lián)。這篇文章就圍繞MegaSR c100 RAID驅(qū)動(dòng)講清楚它是什么、怎么安裝、有哪些必調(diào)參數(shù)以及最常見的幾類翻車現(xiàn)場(chǎng)和修復(fù)辦法。給運(yùn)維Linux物理機(jī)的人省點(diǎn)排查時(shí)間也幫準(zhǔn)備接手二手服務(wù)器的人判斷這塊卡值不值得用。2. MegaSR c100驅(qū)動(dòng)到底是什么模塊加載邏輯與硬件識(shí)別2.1 驅(qū)動(dòng)在Linux存儲(chǔ)棧中的位置從SCSI到塊層的映射Linux里訪問RAID卷不是直接讀控制器寄存器而是走一條完整的存儲(chǔ)棧。MegaSR驅(qū)動(dòng)處在這條棧的最底層它通過PCI子系統(tǒng)找到RAID卡完成固件握手然后把控制器上每個(gè)邏輯卷注冊(cè)成一個(gè)SCSI設(shè)備再交給內(nèi)核的sd_mod驅(qū)動(dòng)最終變成你熟悉的/dev/sda、/dev/sdb這類塊設(shè)備。也就是說MegaSR本質(zhì)上是一個(gè)SCSI HBA驅(qū)動(dòng)不是直接的塊設(shè)備驅(qū)動(dòng)。這個(gè)設(shè)計(jì)帶來一個(gè)很實(shí)際的后果你在系統(tǒng)里看到的設(shè)備名和你在RAID管理界面里看到的邏輯卷順序并不保證一致。MegaSR驅(qū)動(dòng)枚舉卷時(shí)按照控制器固件返回的順序來創(chuàng)建SCSI設(shè)備而固件的返回順序可能與創(chuàng)建順序不同。比如你先建了RAID1卷再建了RAID5卷系統(tǒng)里sda可能是RAID5sdb反而是RAID1。這不是驅(qū)動(dòng)Bug是固件對(duì)卷排序有自己的邏輯。c100代表的是控制器芯片的核心方案并不直接對(duì)應(yīng)某個(gè)具體板卡型號(hào)。很多OEM服務(wù)器廠商會(huì)把同一顆芯片貼成不同的產(chǎn)品型號(hào)甚至PCI Device ID都不一樣。這就解釋了為什么你從網(wǎng)上下載一個(gè)別人編譯好的MegaSR驅(qū)動(dòng)加載時(shí)可能報(bào)“no such device”——因?yàn)槟K里內(nèi)置的PCI ID表沒有覆蓋你的板卡。所以判斷一塊卡到底用不用MegaSR驅(qū)動(dòng)不能看品牌要看PCI vendor和device ID。驅(qū)動(dòng)在初始化時(shí)會(huì)申請(qǐng)DMA緩沖區(qū)、設(shè)置中斷、讀取固件版本和BBU信息。如果這些步驟中任何一步失敗驅(qū)動(dòng)會(huì)放棄注冊(cè)該控制器然后在dmesg里記錄一條錯(cuò)誤。此時(shí)系統(tǒng)里就看不到任何RAID卷但控制器BIOS仍然可以正常管理陣列給人造成“硬件沒問題系統(tǒng)有問題”的錯(cuò)覺。2.2 確認(rèn)控制器型號(hào)與模塊匹配的三條命令在動(dòng)手之前先用三條命令確認(rèn)當(dāng)前機(jī)器到底認(rèn)不認(rèn)這塊卡以及該用哪個(gè)驅(qū)動(dòng)。# 1. 查看PCI設(shè)備ID確認(rèn)RAID控制器型號(hào) lspci -nn | grep -i raid輸出類似RAID bus controller [0104]: 某廠商設(shè)備 [vendor:device]。記下方括號(hào)里的vendor和device值MegaSR驅(qū)動(dòng)源碼里的ID表會(huì)和它們匹配。# 2. 檢查MegaSR模塊是否已加載以及它支持的PCI ID modinfo megasr | grep -E alias|description如果modinfo顯示這個(gè)模塊不存在說明內(nèi)核里沒有編入MegaSR。如果存在alias一行會(huì)列出支持的PCI設(shè)備ID。把上一步查到的vendor:device拿來比對(duì)一致才說明模塊可用。# 3. 查找驅(qū)動(dòng)文件是否在模塊目錄里 find /lib/modules/$(uname -r) -name *megasr*這里要特別小心megaraid_sas。有些系統(tǒng)同時(shí)具備megaraid_sas和megasr兩個(gè)模塊名字相似但支持的硬件并不一樣。c100屬于老方案時(shí)用MegaSR新一代SAS控制器啟用megaraid_sas。如果你同時(shí)加載兩者可能會(huì)發(fā)生驅(qū)動(dòng)搶占同一個(gè)PCI設(shè)備輕則一個(gè)不生效重則在啟動(dòng)階段直接崩潰。2.3 驅(qū)動(dòng)初始化流程為什么有的盤變成sda有的變成sdbMegaSR驅(qū)動(dòng)的初始化大致分四步PCI探測(cè)、固件握手、邏輯卷枚舉、塊設(shè)備注冊(cè)。PCI探測(cè)階段驅(qū)動(dòng)遍歷總線上匹配的PCI設(shè)備為每個(gè)控制器分配IO資源、設(shè)置DMA掩碼和中斷。固件握手階段驅(qū)動(dòng)發(fā)命令給控制器固件獲取控制器類型、緩存策略、BBU狀態(tài)等。邏輯卷枚舉階段驅(qū)動(dòng)通過控制器的內(nèi)部命令查詢每個(gè)卷的RAID級(jí)別、容量、條帶大小和狀態(tài)并為每個(gè)卷創(chuàng)建SCSI設(shè)備。最后一步sd_mod接管每個(gè)SCSI設(shè)備向核心注冊(cè)塊設(shè)備。這個(gè)流程中邏輯卷枚舉的階段最容易出問題。如果某個(gè)卷正在做一致性檢查或者介質(zhì)掃描還沒完成驅(qū)動(dòng)可能會(huì)等待該卷的狀態(tài)穩(wěn)定后再枚舉下一個(gè)卷。結(jié)果就是系統(tǒng)啟動(dòng)時(shí)在驅(qū)動(dòng)初始化處停留很長(zhǎng)時(shí)間看起來像死機(jī)。你可以在內(nèi)核啟動(dòng)參數(shù)里加loglevel7觀察驅(qū)動(dòng)打印的枚舉日志看它卡在哪個(gè)卷上。還有一個(gè)常見現(xiàn)象是啟動(dòng)后設(shè)備名稱變化。比如最近一次維護(hù)后業(yè)務(wù)腳本里寫的/dev/sda突然變成了/dev/sdb導(dǎo)致掛載失敗。原因是MegaSR驅(qū)動(dòng)對(duì)卷的掃描順序受PCI總線掃描順序影響而PCI總線掃描順序可能因?yàn)椴宀劬幪?hào)、BIOS設(shè)置而改變。解決方法是不要在腳本里用sda這種順序名改用/dev/disk/by-id/下的wwn或UUID。3. 從零裝上MegaSR c100驅(qū)動(dòng)安裝包、initramfs與系統(tǒng)盤三板斧3.1 編譯安裝前的檢查內(nèi)核源碼、工具鏈與固件如果沒有現(xiàn)成內(nèi)核模塊你需要自己編譯。第一步不是急著make而是確認(rèn)當(dāng)前運(yùn)行內(nèi)核和頭文件是否匹配。很多人在Ubuntu上執(zhí)行apt install linux-headers-$(uname -r)后直接編譯結(jié)果編出來的模塊加載時(shí)提示“version magic mismatch”。原因可能是內(nèi)核頭文件里帶著ABI版本信息而實(shí)際運(yùn)行內(nèi)核帶的是另一套配置。對(duì)MegaSR這種老驅(qū)動(dòng)模塊版本不一致是最常見的坑。我的一般做法是先查看uname -r ls -ld /usr/src/linux-headers-$(uname -r)確認(rèn)頭文件目錄存在并且目錄內(nèi)的Module.symvers和Makefile不是空的。如果內(nèi)核頭文件來自發(fā)行版?zhèn)}庫(kù)通常沒問題。如果是從內(nèi)核源碼手動(dòng)編譯的需要先進(jìn)入源碼目錄執(zhí)行make modules_prepare。編譯MegaSR模塊時(shí)需要工具鏈和依賴包。在Debian系上準(zhǔn)備編譯環(huán)境apt install build-essential bc dwarves flex bison libelf-dev然后進(jìn)入驅(qū)動(dòng)源碼目錄。對(duì)于MegaSR這種在內(nèi)核源碼樹里的驅(qū)動(dòng)你也可以單獨(dú)編譯cd /usr/src/linux-headers-$(uname -r) make Mdrivers/scsi/megasr modules但這里有個(gè)隱藏依賴drivers/scsi/megasr/Makefile里可能引用頂層目錄的頭文件單獨(dú)編譯時(shí)容易缺少生成的頭文件。所以更穩(wěn)妥的是直接把MegaSR編進(jìn)內(nèi)核再重新編譯整個(gè)內(nèi)核。很多老運(yùn)維嫌慢但MegaSR源碼已經(jīng)凍結(jié)多年直接進(jìn)內(nèi)核最省心。編譯完成后模塊文件一般是megasr.ko。手動(dòng)拷貝到模塊目錄cp drivers/scsi/megasr/megasr.ko /lib/modules/$(uname -r)/kernel/drivers/scsi/ depmod -a注意如果目標(biāo)系統(tǒng)的/lib/modules權(quán)限不足需要sudo??截愅瓿珊髆odprobe megasr能加載才算成功。3.2 重建initramfs讓驅(qū)動(dòng)在根分區(qū)掛載前生效內(nèi)核模塊放進(jìn)/lib/modules只是第一步。系統(tǒng)啟動(dòng)時(shí)根文件系統(tǒng)還沒掛載內(nèi)核先加載initramfs。initramfs里包含了磁盤驅(qū)動(dòng)、文件系統(tǒng)驅(qū)動(dòng)和一組啟動(dòng)腳本它負(fù)責(zé)在內(nèi)存中把必要的驅(qū)動(dòng)模塊按順序加載識(shí)別出根分區(qū)所在設(shè)備然后才掛載根分區(qū)。如果MegaSR驅(qū)動(dòng)不在initramfs里啟動(dòng)流程就斷了。所以安裝模塊后必須重建initramfs。Debian/Ubuntu的常用命令depmod -a update-initramfs -u -k $(uname -r)CentOS/RHEL 7用dracutdracut --force --regenerate-all如果你使用的是定制內(nèi)核并且initramfs工具檢測(cè)不到當(dāng)前內(nèi)核可以手動(dòng)指定內(nèi)核版本dracut --force /boot/initramfs-$(uname -r).img $(uname -r)重建之后確認(rèn)initramfs里確實(shí)包含megasrlsinitramfs /boot/initrd.img-$(uname -r) | grep megasr # 或者 dracut 系的系統(tǒng) lsinitrd /boot/initramfs-$(uname -r).img | grep megasr有些發(fā)行版默認(rèn)不會(huì)把所有驅(qū)動(dòng)都納入initramfs只在模塊依賴列表里出現(xiàn)。MegaSR因?yàn)槔峡赡鼙慌懦?。這時(shí)需要手動(dòng)把模塊名加到initramfs的加載列表。Debian系在/etc/initramfs-tools/modules文件里加一行megasr然后再次執(zhí)行update-initramfs -u。CentOS系在/etc/dracut.conf.d/megasr.conf里寫add_drivers megasr 再執(zhí)行dracut --force。這里有一個(gè)容易被忽略的細(xì)節(jié)initramfs會(huì)壓縮壓縮后一般只有幾十兆。但如果模塊依賴被遞歸拉入可能膨脹到幾百兆。重建完務(wù)必檢查/boot分區(qū)剩余空間df -h /boot3.3 老系統(tǒng)安裝路徑用U盤引導(dǎo)后chroot修復(fù)最常遇到的情況是系統(tǒng)已經(jīng)起不來了你沒法進(jìn)系統(tǒng)去執(zhí)行update-initramfs。這時(shí)需要一張Live U盤或者救援光盤在Live環(huán)境里掛載原系統(tǒng)的根分區(qū)然后chroot進(jìn)去修復(fù)。啟動(dòng)到Live環(huán)境后先確認(rèn)RAID卷是否可見。如果Live內(nèi)核本身有MegaSR驅(qū)動(dòng)lsblk里應(yīng)該能看到RAID卷。如果沒有你需要先加載Live環(huán)境里備好的驅(qū)動(dòng)模塊insmod /path/to/megasr.ko然后查看設(shè)備lsblk ls -l /dev/sd*找到根分區(qū)后掛載它和必要的虛擬文件系統(tǒng)mount /dev/sdb2 /mnt mount --bind /dev /mnt/dev mount --bind /proc /mnt/proc mount --bind /sys /mnt/sys如果根分區(qū)是LVM可能還需要激活卷組vgscan vgchange -ay然后chrootchroot /mnt /bin/bash在chroot環(huán)境中先確認(rèn)內(nèi)核版本再修復(fù)模塊和initramfsuname -r mount -t proc proc /proc需要注意的是Live系統(tǒng)內(nèi)核版本往往比原系統(tǒng)新。在chroot里重建的initramfs生成的模塊依賴是基于原系統(tǒng)的庫(kù)文件和模塊目錄所以最后生成的initramfs適用于原系統(tǒng)這一點(diǎn)不用擔(dān)心。但如果原系統(tǒng)的模塊目錄被刪了你需要從原系統(tǒng)備份里恢復(fù)。修復(fù)完成后先退出chroot再卸載掛載分區(qū)重啟。這個(gè)流程我至少做過十幾次每次成功的關(guān)鍵是掛載虛擬文件系統(tǒng)時(shí)別漏掉/dev否則在chroot里運(yùn)行update-initramfs會(huì)提示device節(jié)點(diǎn)缺失。4. MegaSR c100驅(qū)動(dòng)四個(gè)必調(diào)參數(shù)重建、緩存、對(duì)齊與超時(shí)4.1 陣列重建速度與rebuild優(yōu)先級(jí)怎么設(shè)MegaSR控制器的重建速率由固件控制驅(qū)動(dòng)本身不直接管理。但你在Linux里看到的IO卡頓往往和重建速率設(shè)得太高有關(guān)。重建進(jìn)程會(huì)持續(xù)產(chǎn)生大量讀寫請(qǐng)求如果重建速率設(shè)為100%控制器固件會(huì)把大部分命令隊(duì)列留給重建操作業(yè)務(wù)IO的延遲就會(huì)飆升。常見做法是使用管理工具調(diào)整。對(duì)c100這種老控制器舊版工具可能叫MegaCli新一點(diǎn)的命令是storcli。下面以storcli為例# 查看當(dāng)前重建速率 storcli /c0 show rebuildrate # 設(shè)置重建速率為60% storcli /c0 set rebuildrate60重建速率不是越大越好。業(yè)務(wù)高峰期建議把速率壓到3040凌晨維護(hù)窗口可以提高到80。如果控制器里有多組陣列同時(shí)重建建議將總速率限制在60以下否則命令隊(duì)列會(huì)被重建請(qǐng)求塞滿連狀態(tài)查詢命令都要等很久。這里要注意驅(qū)動(dòng)層也有IO請(qǐng)求排隊(duì)機(jī)制即每個(gè)SCSI設(shè)備的/sys/block/sdX/device/queue_depth。重建IO和業(yè)務(wù)IO最終都進(jìn)入同一個(gè)控制器命令隊(duì)列所以這個(gè)值也需要配合。不要為了壓隊(duì)列深度而把queue_depth調(diào)到1那會(huì)讓陣列重建慢到無法接受一般保持在32以上。4.2 寫緩存開關(guān)與BBU電池狀態(tài)聯(lián)動(dòng)MegaSR控制器支持寫緩存但寫緩存安全依賴BBU電池。如果電池失效或電量不足固件通常會(huì)自動(dòng)把策略改為透寫防止突然掉電導(dǎo)致緩存數(shù)據(jù)丟失。問題在于驅(qū)動(dòng)層看到的緩存模式可能沒有同步更新仍然顯示W(wǎng)riteBack這會(huì)造成數(shù)據(jù)不一致風(fēng)險(xiǎn)。在Linux下查看RAID卷的寫緩存模式hdparm -W /dev/sda輸出中write-caching on代表開啟。但hdparm顯示的只是塊設(shè)備緩存策略不完全是控制器直寫/回寫的狀態(tài)。更準(zhǔn)確的辦法是看管理工具里的當(dāng)前緩存模式storcli /c0/v0 show all | grep -E Current|Default更換BBU電池后一定要重新確認(rèn)緩存策略。我見過某次更換電池后控制器自動(dòng)把卷模式改為WriteThrough但系統(tǒng)里dmesg完全沒有提示業(yè)務(wù)側(cè)寫延遲突然升高到原來的三倍。后來用管理工具把卷改回WriteBack重啟后生效。如果你沒有BBU或者電池狀態(tài)是Failed建議強(qiáng)制把驅(qū)動(dòng)對(duì)應(yīng)的SCSI設(shè)備緩存設(shè)為透寫避免固件策略異常。在支持dynamic cache type的設(shè)備上echo write through /sys/block/sda/device/scsi_disk/0:0:0:0/cache_type注意這個(gè)路徑里的數(shù)字是SCSI host、channel、target、lun的組合需要先查看/sys/block/sda/device/scsi_disk/下的目錄名。4.3 4K扇區(qū)盤的alignment_offset怎么算現(xiàn)代大容量機(jī)械盤和SSD普遍采用4K物理扇區(qū)而傳統(tǒng)RAID卷常常暴露512字節(jié)邏輯塊。MegaSR控制器在創(chuàng)建卷時(shí)如果條帶大小沒有和物理扇區(qū)對(duì)齊就會(huì)出現(xiàn)寫放大一個(gè)4K邏輯塊可能跨越兩個(gè)物理扇區(qū)每次讀改寫要多讀一個(gè)扇區(qū)。查看卷的對(duì)齊信息cat /sys/block/sda/alignment_offset cat /sys/block/sda/queue/logical_block_size cat /sys/block/sda/queue/physical_block_size如果alignment_offset是0說明設(shè)備起始位置對(duì)齊了如果非0分區(qū)時(shí)需要使用能感知對(duì)齊的工具。用parted創(chuàng)建GPT分區(qū)時(shí)它會(huì)自動(dòng)計(jì)算最優(yōu)對(duì)齊parted /dev/sda mklabel gpt parted /dev/sda mkpart primary 0% 100% parted /dev/sda align-check optimal 1align-check optimal返回1 aligned才表示起始扇區(qū)正確。如果提示未對(duì)齊刪除分區(qū)使用以下方式強(qiáng)制按扇區(qū)對(duì)齊parted /dev/sda mkpart primary 2048s 100%2048扇區(qū)起始可以整除4K也滿足大多數(shù)RAID條帶大小。條帶大小如果是256KB則分區(qū)起始至少要是256KB的倍數(shù)也就是512個(gè)扇區(qū)的整數(shù)倍。MegaSR驅(qū)動(dòng)暴露的條帶大小可以在管理工具里確認(rèn)也可以在/sys/block/sda/queue/optimal_io_size里看到如果值為0說明驅(qū)動(dòng)沒有上報(bào)需要按實(shí)際RAID配置計(jì)算。4.4 命令超時(shí)值與熱插拔沖突的權(quán)衡SCSI設(shè)備有命令超時(shí)機(jī)制超時(shí)后內(nèi)核會(huì)觸發(fā)錯(cuò)誤恢復(fù)。MegaSR控制器在特定場(chǎng)景下會(huì)出現(xiàn)單個(gè)命令長(zhǎng)時(shí)間不返回典型的如硬盤介質(zhì)掃描、全局熱備構(gòu)建、大范圍重建。這時(shí)候如果命令超時(shí)內(nèi)核會(huì)報(bào)錯(cuò)并可能把卷置為離線。默認(rèn)超時(shí)在30秒左右可通過如下方式查看和修改cat /sys/block/sda/device/timeout echo 180 /sys/block/sda/device/timeout超時(shí)值調(diào)大可以避免正常重建過程中誤報(bào)錯(cuò)誤但你也要承擔(dān)控制器真正卡死時(shí)系統(tǒng)延遲感知的風(fēng)險(xiǎn)。我建議業(yè)務(wù)服務(wù)器設(shè)置為120180秒測(cè)試環(huán)境可以設(shè)300秒。不能無限大否則控制器固件異常后IO請(qǐng)求可能掛起很久才被上層發(fā)現(xiàn)應(yīng)用層已經(jīng)堆積大量超時(shí)任務(wù)。熱插拔場(chǎng)景下超時(shí)值不宜太大。當(dāng)硬盤被拔出時(shí)驅(qū)動(dòng)會(huì)在一定時(shí)間內(nèi)未收到回應(yīng)然后重發(fā)命令。如果超時(shí)太大盤符不會(huì)及時(shí)移除系統(tǒng)會(huì)一直認(rèn)為設(shè)備在線。配合MegaSR控制器熱插拔時(shí)最好把超時(shí)保持在60秒以內(nèi)這樣可以快速觸發(fā)SCSI錯(cuò)誤處理流程重新掃描設(shè)備。如果你既需要熱插拔又需要重建建議分時(shí)段調(diào)整平時(shí)60秒維護(hù)窗口調(diào)大。5. 五起MegaSR c100驅(qū)動(dòng)翻車實(shí)錄現(xiàn)象、根源與修復(fù)5.1 啟動(dòng)卡在“Loading megasr”后黑屏某臺(tái)服務(wù)器重啟后屏幕上顯示“Loading megasr ...”然后長(zhǎng)時(shí)間無響應(yīng)十幾分鐘后黑屏。強(qiáng)制斷電再啟動(dòng)依然如此。用U盤引導(dǎo)進(jìn)入Live系統(tǒng)后加載模塊成功查看dmesg發(fā)現(xiàn)是固件握手階段報(bào)錯(cuò)megasr: failed to acquire controller memory。后來發(fā)現(xiàn)是控制器上的DDR緩存松動(dòng)重新插拔RAID卡后恢復(fù)正常。這類現(xiàn)象容易被誤判為驅(qū)動(dòng)問題實(shí)際是硬件接觸不良。解決方法是先拔掉RAID卡清潔金手指重新插緊。如果故障依舊檢查控制器固件版本有些舊固件和某些型號(hào)DDR內(nèi)存兼容性不好。5.2 內(nèi)核小版本升級(jí)后RAID卷自動(dòng)掛載失敗某次例行更新系統(tǒng)內(nèi)核從5.4.0升級(jí)到5.4.0-xx安全更新版重啟后系統(tǒng)直接進(jìn)入緊急模式。檢查journalctl發(fā)現(xiàn)設(shè)備/dev/sda1不存在。原因是新內(nèi)核的initramfs里沒有包含megasr模塊而舊內(nèi)核的initramfs有。發(fā)行版?zhèn)}庫(kù)在生成內(nèi)核包時(shí)可能只將當(dāng)前加載的模塊打包進(jìn)新的initramfs如果升級(jí)時(shí)系統(tǒng)未加載MegaSR它就被漏掉了。解決方法是進(jìn)入舊內(nèi)核手動(dòng)重建新內(nèi)核的initramfs并確保/etc/initramfs-tools/modules里有megasr。這個(gè)坑在自動(dòng)化更新工具上很容易出現(xiàn)建議升級(jí)內(nèi)核后先驗(yàn)證lsinitramfs再重啟。5.3 IO錯(cuò)誤但控制器狀態(tài)顯示Online數(shù)據(jù)庫(kù)服務(wù)器運(yùn)行時(shí)報(bào)大量IO錯(cuò)誤dmesg里刷megasr: SCSI command timeout但登錄管理工具看到卷的狀態(tài)是Online。起初以為盤有問題換了新盤也沒解決。后來發(fā)現(xiàn)是業(yè)務(wù)高峰期大量隨機(jī)寫導(dǎo)致控制器命令隊(duì)列溢出驅(qū)動(dòng)在重試時(shí)超過超時(shí)時(shí)間。解決方法是降低應(yīng)用層的隊(duì)列深度同時(shí)把/sys/block/sda/device/timeout從30秒調(diào)整到120秒。另外控制器固件里如果開啟了controller cache dirty閾值偏高也會(huì)出現(xiàn)寫到一定程度后命令延遲陡增。這類問題屬于性能配置不當(dāng)不是硬件故障所以狀態(tài)顯示Online但I(xiàn)O側(cè)已經(jīng)異常。5.4 重啟后塊設(shè)備順序顛倒導(dǎo)致掛載錯(cuò)亂一臺(tái)機(jī)器原來/dev/sda是RAID1根分區(qū)/dev/sdb是RAID5數(shù)據(jù)卷。某次維護(hù)重啟后系統(tǒng)變成/dev/sda是RAID5根分區(qū)掛載失敗。原因在于MegaSR驅(qū)動(dòng)枚舉邏輯卷時(shí)順序取決于控制器固件的卷列表。固件版本升級(jí)后卷的順序發(fā)生了變化。排查過程很典型用Live系統(tǒng)啟動(dòng)lsblk看到兩個(gè)卷都在但設(shè)備名和fstab里寫的對(duì)不上。解決方法是把所有掛載點(diǎn)改為UUID或/dev/disk/by-id。fstab里改成UUID后重啟恢復(fù)正常。這起案例提醒我們不要在任何腳本里硬寫sda這類設(shè)備名MegaSR驅(qū)動(dòng)的枚舉順序沒有嚴(yán)格保證。5.5 休眠喚醒后陣列變成Degraded服務(wù)器支持S3休眠休眠前RAID1狀態(tài)正常喚醒后系統(tǒng)提示卷變成Degradeddmesg顯示一塊盤被標(biāo)記為failed。實(shí)際盤并沒有故障是休眠時(shí)硬盤供電被切斷喚醒后盤未在限定時(shí)間內(nèi)響應(yīng)固件握手命令控制器誤判離線。解決方法是在硬件層面關(guān)閉對(duì)供電敏感的節(jié)能特性同時(shí)升級(jí)RAID卡固件。軟件層面可以把SCSI設(shè)備的allow_restart設(shè)為生效echo 1 /sys/block/sda/device/allow_restart但這個(gè)參數(shù)只影響SCSI層重啟命令真正起作用的還是固件對(duì)熱插拔的保護(hù)邏輯。建議生產(chǎn)環(huán)境禁用S3休眠改用重啟。6. 進(jìn)階用官方管理命令聯(lián)動(dòng)驅(qū)動(dòng)并抓住性能驗(yàn)證的三個(gè)關(guān)鍵指標(biāo)6.1 用storcli核對(duì)控制器狀態(tài)與驅(qū)動(dòng)日志MegaSR驅(qū)動(dòng)運(yùn)行時(shí)除了dmesg里的內(nèi)核日志還可以用管理工具從固件側(cè)拿到事件記錄。我習(xí)慣在排查問題時(shí)同時(shí)打開兩個(gè)窗口一個(gè)看dmesg -w一個(gè)跑storcli /c0 show events。兩邊時(shí)間戳對(duì)照能判斷一個(gè)錯(cuò)誤是驅(qū)動(dòng)層先發(fā)現(xiàn)還是固件先記錄。比如上一節(jié)提到的休眠喚醒問題固件事件里會(huì)有phys diskin failed的記錄而驅(qū)動(dòng)日志里只有超時(shí)重試。如果只看驅(qū)動(dòng)日志很容易誤判為盤線纜故障。查看控制器整體狀態(tài)storcli /c0 show查看卷的當(dāng)前緩存模式和狀態(tài)storcli /c0/v0 show all | grep -E State|Cache如果系統(tǒng)里配置了很多卷可以用storcli /c0/vall show all。老控制器不識(shí)別storcli時(shí)用MegaCli64MegaCli64 -LDInfo -Lall -aALL兩條工具的底層原理一致都是通過內(nèi)核ioctl和控制器固件通信。注意MegaSR驅(qū)動(dòng)和多路徑軟件同時(shí)存在時(shí)管理工具的顯示結(jié)果可能受多路徑影響的設(shè)備路徑干擾因此最好在驅(qū)動(dòng)加載后、多路徑啟動(dòng)前執(zhí)行查詢。6.2 驗(yàn)證驅(qū)動(dòng)性能的三個(gè)指標(biāo)隊(duì)列深度、延遲和吞吐量調(diào)完驅(qū)動(dòng)參數(shù)后不能只看系統(tǒng)能啟動(dòng)就認(rèn)為沒問題。我通常用一組固定命令驗(yàn)證驅(qū)動(dòng)在重負(fù)載下的穩(wěn)定性。首先用fio測(cè)隨機(jī)讀寫fio --namemegasr-test --filename/dev/sda --direct1 --rwrandwrite --bs4k \ --iodepth32 --size4G --numjobs4 --group_reporting --time_based --runtime60重點(diǎn)看三個(gè)指標(biāo)隊(duì)列深度實(shí)際保持在哪里、平均延遲有沒有持續(xù)增長(zhǎng)、吞吐量是否波動(dòng)劇烈。用iostat -x 1看avgqu-sz和%util。如果avgqu-sz持續(xù)大于設(shè)備報(bào)告的最大命令隊(duì)列深度說明IO堆積嚴(yán)重如果延遲曲線每隔幾秒出現(xiàn)一次尖峰則要先查控制器是否存在定期刷新緩存的操作。第二個(gè)指標(biāo)是順序讀吞吐量fio --namemegasr-seq --filename/dev/sda --direct1 --rwread --bs1M \ --iodepth16 --size8G --numjobs1 --group_reporting --time_based --runtime30這個(gè)測(cè)試能快速暴露條帶大小與塊大小不匹配的問題。如果吞吐量只有理論值的一半檢查/sys/block/sda/queue/optimal_io_size和/sys/block/sda/queue/max_sectors_kb不順時(shí)嘗試把隊(duì)列塊大小調(diào)大echo 512 /sys/block/sda/queue/max_sectors_kb第三個(gè)指標(biāo)是IOPS穩(wěn)定性。用fio的--rwrandread跑十分鐘記錄每分鐘的IOPS方差。如果方差超過20%建議檢查控制器背板供電或RAID卡散熱。溫度過高的控制卡會(huì)導(dǎo)致固件觸發(fā)降頻保護(hù)IOPS會(huì)周期性下降??梢杂霉芾砉ぞ卟榭纯刂破鳒囟萻torcli /c0 show all | grep Temperature我的個(gè)人習(xí)慣是每次調(diào)完參數(shù)、升級(jí)固件、更換硬盤后都把這套測(cè)試跑一遍。確認(rèn)穩(wěn)定后再接入業(yè)務(wù)。MegaSR這類老驅(qū)動(dòng)雖然穩(wěn)定但固件和盤之間的兼容性坑比新卡多提前測(cè)試能省掉后續(xù)半夜報(bào)警的麻煩。希望這些經(jīng)驗(yàn)幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
另类图片五月天| 五月天激情亚洲| 久热黄色| 婷婷在线五月天观看| 狠狠色丁香婷婷基地| 婷婷五月开心中文字幕在线| 亚洲精品婷婷| 五月丁香在线| 九九综合网| 五月天丁香欧美激情| 天天综合 99久久婷婷| 色欲天天综合| 五月天色婷婷小说| 色五月天激情| α久久| 2025天天操| 五月天激情国产综合婷婷婷| 人人爱操| 日91高清无玛| 天天色五月| 色丁香六月| 婷婷综合视频| 精品亚洲国产成人A片在线鸭王 | 一级黄在线| 五月天大香蕉视频| 9九热视频| 日本不卡五月婷婷丁香| 伊人干综合| 夜夜躁爽日日| 亚州激情九月| 久久er+| 婷婷丁香五月高清| 天天爱天天操| 五月婷婷九| Av大香蕉| 99精品小视频| 成人精品视频99在线观看免费| 97操在线| 五月丁香日本片| www,五月丁,com| 五月婷激情影院| 狠狠色五月| 久热只有这里精品| 色热久| 99久久网站| 五月天婷婷无码| 久草大| 欧美韩日AAA网站| 天天综合五月天| 成人视屏在线观看| av一区二区电影免费在线观看| 激情五月综合| 亚洲国产精品VA在线看黑人| 91丁香综合| AV成人在线播放| 国产阿姨日皮艹逼内射视频| 激情综合五月婷婷丁香| 99在线资源视频| 久久99网站| 深爱五月日韩| 丁香五月花| 狠狠色丁香婷婷久久综合| 这里只有国产精品在线| 99re久久| 色天堂A| 五月丁香六月婷婷手机无线| 婷婷97| 非洲一级AV| 色五月婷婷大| 色优久久| 99热插| 一本综合丁香日日狠狠色| 91精品丝袜久久久久久| 婷婷五月天黄色网址| 婷婷五月天人妻| 草草操操| 冬月かえでAV无码播放| 五月婷婷综合精品| 97碰碰免费.视频| 婷婷丁香视频在线观看免费| 超碰人人91| 亚州在线中文字幕| 深爱激情九九五月天| 亚洲旡码| 第四色五月婷婷| 激情五月婷婷中文字幕| 国产av一区二区三区| 人人操99| 婷婷亚洲影院| WWW久久久| 99久在线精品99re8热| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 丁香五月电影院在线观看| 高清无码 一区 二区 三区| 51avj视频大全| 成人免费120分钟啪啪| 综合久久五月天| 婷婷99狠狠躁| 九九九九中文字幕| 99热这里只有精品免费| 婷婷色网址| 五月婷人妻| 久久精品这里只有精品免费首页| 欧美大肥婆大肥BBBBB| 色婷婷大香蕉| 一起草Av| 久9久9久9久9久9久9| 草综合14| 丁香九月激情久久| 激情婷婷久久| 天堂久久精品| 五月天六月色| 婷婷六月色开| 精品人妻一区二区三区四区不卡在| 久久久精品AV| 色欲色香综合网| 日本一级特黄大片AAAAA级| 色99色| 玖玖激情网| 丁香六月激情综合啪啪| 久久日婷婷| 久久深爱激情网| 色五月婷婷成人| 人妻尝试久久久久久久久久久久| 91久女| 日本在线噜噜| 综合 蜜月 婷婷| 婷婷五月18永久免费视频| 伊人在线视频| 亚洲激情免费视频| 色婷成人狠干| 99激情在线| 啪啪操网| 玖玖在线视| 人妻激情综合| 97天堂| 婷婷丁香五月天综合在线日韩| 国内婷婷丁香社区在线播放| 五月丁香婷婷欧美色图视频五月丁香777电影 | 凹凸7777操操操| 99爱在线视频| 五月丁香在线婷婷蜜桃| av人人操| 色婷丁香| 日韩99色| 超碰97在线观看免费| 色婷婷在线视频综合| 99天堂在线观看免费视频| 日日艹思思热| 综合狠狠干| 综合啪啪| bbwcuckold精品熟妇| 激情深爱五月天| 色狠狠999综合网| 男人操女人高潮91视频| 日韩aaaaa| 亚洲无码成人| 五月婷婷综合在线| 激情www| 亚洲一区二区无遮挡A片| 91色在线 | 日韩| wWW九九在线播放| 99日本黄站| 丁香亭亭久久| 婷婷五月天天激情| 日韩av在线免费观看| 五月丁香六月婷综合成人综合 | 99精品视频偷拍| 婷婷伊人綜合中文字幕| .精品久久久麻豆国产精品| Www.婷婷五月| 五月天婷婷香蕉狠狠超碰综合| 操91| 99日这里只有精品| 色五月婷婷自拍| 天天干天天操天天射| 色狠狠五月天| 色色综合网。| 中文字幕综合网| 十月丁香婷婷| 色444综合网| 色婷操逼| 操日挥操日日| 91碰碰| 国产精品人成A片一区二区| 五月丁香少妇网| 亚洲天堂碰碰婷婷| 天天操夜夜操| 天天爽天天| 久久99这里| 免费在线观看av网站| 婷婷色情网| 久久99最新| 激情婷婷视频在线| 国产精品扒开腿做爽爽爽A片唱戏| 日韩精品二三区| 五月丁香六月婷婷啪啪| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 日韩人妻在线观看| 洗浴中心操B视频| 丝袜人妻| AV六月丁香| 久久激情五月| 天天干天天拍| 久久aaaa片一区二区| 狠狠色丁香婷婷五月| 亚洲综合久| 激情婷婷另类| 99热大全在线观看| 操逼巨乳91| 六月婷婷综合| 久久久91| 五月亚洲| 99热最新网址| 色五月之第四色| 最新婷婷五月丁香| 99热成人| 婷婷中文字幕| 99在线视频免费| 婷婷五月精品在线| 成人va在线观看视频| 久久精99| 大战熟女丰满人妻AV| 亚洲色夜| 丁香六月久久| 一本综合丁香日日狠狠色| 久热伊人| 97久久五月丁香婷婷| av大片在线| 三级黄网站| 激情五月天婷婷在线网址发给我| 日日狠夜夜狠| 色。 日日日| 91一起操| 大香蕉九九操| 欧美成人AAA片一区国产精品| 九九青草热| 婷婷五月天成人基地| 久热精品视频在线观| caopeng97人人| 级人人91| www狠狠| 99久在线精品99re8热| 亚洲99视频| 夜夜夜天天操| 深夜男女福利刺激影院一区完整| 99热99极品观看| 久久丁香婷婷色情综合| 欧美精品XXXXBBBB| 久久伊人五月天| 婷婷五月天亚洲综合| 五月开心深深爱激情综合| 蜜臀av无码久久久久久久久 | www99精品| 十区AV| 五月婷婷 婷婷五月 一区二区 久久久| 免费视频99| 在线另类视频| 日韩久久视频| 婷久久| 婷婷五月精品中文字幕| 超碰不卡在线| 另类视频五月天| 五月天婷婷爱| 青青草五月天| 六月婷婷开心| 丁香五月六月欧美| 日本五月视频| 免费播放99性爱视频| 亚洲色情一区二区三区四区| 亚洲激情视频网| 99色6爱9热| 日韩成人无码片| 精品爱欲五| 国产真实乱了老女人视频| 色丁香久久| 日本婷婷| 无码人妻少妇色欲AV一区二区| 色婷婷综合网| 99精品偷自拍| 春色激情| 久久综合香蕉国产国产蜜臀AV| 伊久大香蕉| 亚洲亚洲人成综合网络| 欧美丰满熟妇BBB久久久| 99精品偷自拍| 日本在线播放97| 激情五月丁香五月色| 99国产精品久久久久久久久久久| 666555。COm毛片| 亚洲无AV在线中文字幕| 性一交一乱一交A片久| 欧美日韩欧美| 日本成人内射| 91久久色| 一级性感黄色内射视频| 成人AV在线网站| 色 免费网站视频| 国产 亚洲 在线| 97碰免费视频在线| 国产色色网站网址| 中文字幕日韩无码制服诱或| 人妻操在线看| 26uuu成人网| 女人天堂AV| 亚洲五月天婷婷| 综合激情视频| 婷婷99视频在线| 五月天综合在线网| 国产欧美大香蕉一区| 色色丁香色五月| 91性人人| 丁香五月1页| 欧洲激情五月天婷婷| 99色在线视频观看| 五月激情视频网| 丁香久久五月天视频在线观看| 午夜激情五月| 另类图片五月天| 九九色影视| 五月婷婷色五月| 亚洲欧洲中文日韩久久AV乱码| 国产乱人偷精品人妻A片| 99国产在线精品视频| 五月丁香亭亭激情操逼网| 丁香久久激情俄| 黄色五月婷婷| 天天操夜夜夜夜爽| 一级操逼内射在线视频| 99久久99九九九99九他书对| 亚洲国产精品VA在线看黑人| 蜜乳人妻一区二区三区| 专区无日本视频高清8| 婷婷色资源| 色婷婷丁香社综合| 五月激情五月丁香| 五月亚洲| 婷婷精品在线| 国产精品国产成人国产三级| 午夜日韩久久久网站| 五月婷婷色色色| 五月激情开心婷婷| 超碰三级片| 国产成人网| 亚洲中文字幕翔田千里| 九九综合久久| 综合色色色色色色| 色婷婷视频| 99热 日韩| 婷婷综合97| caobi四区| 五月激情站| 99精品免费视频| 最新国产AV| 婷婷五月天成人网| 日日爱699| 深夜男女福利刺激影院一区完整| 97caop| A级毛片高清免费不卡播放谢谢谢谢| 性爱先锋AV| 99在线精品视频在线观看| www.婷婷五月天| 日韩国产在线精品| 91婷婷丁香五月天免费视频网站| 美女丁香五婷婷| www.色婷婷.com| 狠狠久久婷婷| 五月天激情图| 开心激情婷婷| 激情国产综合| 琪琪秋霞| 日本熟妇精品99| 丁香久久在线| www,五月天com| 国产日韩欧美| 另类在线免费视频| 婷婷她六月天| 98色花堂98t.R| 色欲五月丁香| 欧美美女国产日韩一区二区久| 色色色色综合| 夜夜嗨一区二区三区直播内容 | 色五月婷婷基地| 深爱1激情网| 国产67194| pom538精品视频| 国产在线另类五月婷婷| 人人摸人人干| 丁香九月久久| 丁香五月激情婷婷婷婷在线观看| 99在线免费观看| 婷婷五月大香蕉| 婷婷情色激情| 香蕉97碰碰碰欧美| 日韩狠狠色婷婷| 日韩啪啪视频| 丁香六月狠狠干| 色色色免费视频| 亚洲精品一区中文字幕乱码| 色婷婷婷av| 97超碰在线免费观看| 嫩BBB槡BBBB搡BBBB| 9l视频自拍九色9l视频自拍九色9l社区 | 99色在线| 99久久99久久综合| 久久久99视频| 亚洲AV综合网| 大香蕉婷婷五月| 人人视频人人干人人做| 色yeye欧美| 性 色 婷婷| 六月丁香啪啪| 色婷婷视频| 91视频一起草| 婷婷久久丁香五月| 激情婷婷久久| 国产av影片| 五月天婷婷丁香基地在线观看| 日韩AV中文在线观看| 激情文学天天| 色情五月婷婷| 五月天激情网图片 - 百度| 99色在线观看| 色狠狠五月天| 色人久久| 五月天激情网图片 - 百度| 五月天精品| jiqingtaose五月天| 999热这里只有精品| 五月综合激情图片| 美女五月狠狠| 五月狠狠| 操久久网| 五月天婷婷综合久久| 九九免费视频| www.五月天婷婷.com| 狠狠做深爱婷婷久久综合一区| 亚洲第一成人无码A片| 九九热re99re6在线精品| 丁香久月婷| 婷婷五月综合啪| 玖玖色资源| 99ri视频在线播放| 婷婷五月丁香啪啪| 五月天综合在线| 激情五月深爱五月| av国产精品| 丁香六月av| 嫩草AV久久伊人妇女超级A| 99久热这里有精品| 夜夜嗨一区二区三区直播内容| 极品人妻videosss人妻| 国产精品成av人在线视午夜片| 色噜噜狠狠狠综合曰曰曰| 九九色中文| 97 A I色色| 操逼巨乳91| 玖玖爱综合网| 五月五婷婷网| 久草热久草在线视频| 婷婷丁香成人网址| 婷婷色情五月| 大香蕉人妻| 激情久久四色| 精品久9| 26uuu精品一区二区| 99久久99视频| 五月婷婷六月天| 五月深爱婷婷| 综合久久综合综合| 任我肏| 99在线精品视频免费| 亚洲乱码日产精品BD| 欧美色色色| 日笨久久网| 91九色国产熟女| 狠狠色丁香五月婷巨| 裸体做A爰片毛片A片免费| 婷婷丁香五月天在线| 九九中文字幕九| 欧美六月| 五月丁香激情婷婷综合字幕| 亚洲一区二区 成人网站戴套| 激情五月综合亚洲另类| 五月色婷婷亚洲 | 91人妻九色大屁股| 婷婷五月综合社区| 99激情网| 五月天色小说| 超碰在线网站| 丁香五月六月久久综合 | 五月婷中文娱乐综合| 久久久精品人妻| 欧美操人| 五月丁香色欲| 91精品综合久久久久久五月天| 91久久1118| 99视频在线9| 日欧大屏操| 精品久久99码| 五月精品99综合| 婷婷久久五月天丁香| 午夜色婷婷| 啪啪综合网| 九九久久视频| 久久性爱视频| 色爱爱综合网| 99综合网| 激情五月丁香亭亭 | 久久婷婷五月综合色奶水99啪| 五月婷婷激情网| 可以直接看的AV| 久热婷婷| 我想看国产大学生口爆吞精的视频| 99免费在线| 久色国产| 日日操夜夜爽白洁| 97干在线观看| 610018岁成人视频| 九九99免费视频| 久99久热只有精品国产99| 日本九九视频| 激情九月婷婷九月| 色播五月婷婷| 婷婷五月天激情网| 五月天激情网址| 婷婷五月综合色拍| 四色五月婷婷| 无码99| 六月婷婷激情| 五月婷婷花| 久久丁香五月综合六月激情红杏视频| 久久九九婷婷| WWW色五月| AV在线大香蕉| 久久一二三视频| 九九色黄色| 婷婷五月丁香六月| www.狠狠操| 五月天婷婷在线播放| 亚洲精品视频在线| 色欧美日| 7777国产盗摄农村女人| 六月丁香五月婷婷| 久久婷婷五月丁香| 日本操B视频| 日本九九九九| 丁香婷婷色情| 日韩小视频在线99| 亚洲视频在线观看| 国产精品色色| 日本99久久| 日日杆天天| 五月丁香六月停停| 亚洲 25P| 天天搡日日搡aaaaⅩ| 青青色com久久| 色色色色色色色色色影院| site:pnnrt.com| 欧美久久网| 五月天婷婷色综合| 丁香五月乱中文字幕| 亚洲九九免费| 婷婷色五月婷婷姐妹| 丁香色综合| 婷婷丁香社区| 欧美三级级99久久| 激情五月瑟瑟| 五月丁香婷婷老司机| 一起草AV入口| 青柠影视免费高清电视剧| 天天爽夜夜操| 亚洲天堂久久| 中美日韩成人在线| 天天久久狠狠色综合| 欧美Va婷色| 天天色天天日天天舔| 小视频久久久aaa| 五月综合色播播丁香婷婷| 欧洲激情五月天婷婷| 久久99久久99精品免观看粉嫩| 婷婷丁香激情| 无码人妻丰满熟妇奶水区码 | 呦呦AV| 深情六月婷婷综合久久| 亚洲综合色网站| 9l视频自拍9l九色成人| AV成人在线播放| 97电影99热| 亚洲婷婷激情综合激情999精品| 日韩三级视频一区二区| 色原狠狠综合| 激情久久 婷婷| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 亚洲人成网站999综合| 婷婷九月久久| 淫视馆av三区| 久草嫩草在线观看| 久久的爱大香蕉| 九热视频精品| 国产脫衣舞一区二区三区| 97久久精品| 久久久久久综合88| 99热这里在线精品| 五月丁香拍拍激情综合| 婷婷六月天精品| 亚洲综合色丁香五月天| 五月天另类图片| 日本颜色视频人人爱| 久久九九色| 综合99视频| 日本色色图| 五月天综合色| 国产肥白大熟妇BBBB视频| 香蕉久久国产AV一区二区| AV在线不卡播放| 欧美三级韩国三级日本三斤| 在线观看亚洲AV| 91人妻人人操人人爽| 五月色网| xxxx五月| 99热 在线观看| 婷婷五月天伦理| 丁香五月网在线观看| 激情五月丁香六月| 婷婷综合视频| 亚洲五月婷| 欧美性生交XXXXX无码小说| 任你干aa| 国产av影片| 99色在线观看免费| 五月天婷婷成人资源站| 丁香五月婷婷视频| 婷婷五月天亚洲| 日日操夜夜擼| 99人人操人人操人人精| 天天爽人人综合免费7799| 色五月av伊人| 色五月天成人| 天天综合精品| 九月性爱网| 免费国产视频| 婷婷五月开心中文字幕色| 亚洲AV色婷婷人禽五月天| 欧洲综合视频| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 丁香婷婷五月六月久久| 五月丁香六月婷精品视频| 天堂草在线看www| 任你日视频| 99精品偷自拍| 九九综舍久久| WWW.桔色成人.COM入口| 五月丁香啪啪| 超碰免费在线| 99噜噜噜| 99这里只有精品视频在线| 久久99性爱| 激情AV| 五月天丁香婷婷视频网址| 黑人熟妇一区二区三区| 中文不卡一二三区| 热99免费在线| 俺也去五月婷婷丁| 五月伊人网| 人妻尝试久久久久久久久久久久| 日韩在线9| 不卡在线超碰| 日韩黄黄| 婷婷丁香五月在线播放| 婷婷导航| 免费啪啪啪网站| 久热这里这里有精品| 成年人丁香五月| 伊人色综合网| 黄色激情久久| 欧美激情综合色综合| 丁香六月婷| 大胆伊人久久| 五五月五月| 另类专区在线| 婷婷五月天丁香久久| 婷婷五月色花丁香社区| 天天综合 99久久婷婷| 免费三级黄色| 五月开心婷婷网| 99成人免费热视频| 开心五月深爱婷婷| 国产精品久久久久久久久久| 日日噜噜夜夜狠狠久久丁香六月| 久久99视频| 久久五月天免费网站| 五月婷婷亚洲色视频| 久久久这里有精品| 99热这里有精品首页10| 五月停停丁香| 丁香六月啪啪| 91人人操人人| 狠狠色噜噜狠狠狠狠综合| 97超碰婷婷五月天| 只有精品在线观看| 色婷婷A| 美女被肏网站在线看| 天天做天天爱天天爽在| 九九亚洲视频| 丁香婷婷色九月| 开心激情播播五月天| 成人国产欧美大片一区| 色情性爱视频网址| 天天爱天天做天天| 国产乱子轮XXX农村| 9l视频自拍九色9l视频自拍九色9l社区| 六月久久狠狠| 免费在线观看AV网站| 丁香五月婷婷婷婷欧美综合| 97人人操人人| 超碰99资源站| 婷婷五月丁香伊人| 碰碰人人人| 天天摸天天舔| 五月综合色| 狠狠狠狠狠狠狠狠| 69精品无码一区二区三区| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 99干视频| 久久九九中文字幕| 天天色视频| 欧美三级巜人妻互换| 久鲁鲁色网| 久久综合五月| 五月婷婷大香蕉| 996er热| 91九色欧美| 丁香五月婷婷激情中文| 亚洲黄网AV| 天天天天天操| www.色五月| 五月婷婷成人w| 丁香婷婷综合激情五月色| 五月天色婷伊人| 亚洲色啪| 婷婷丁香五月天哟啪| 三级三久久线久久99久目本WW| 久久婷婷色情7777网站| 亚洲综合1024| 激情五月天色网站| 五月婷婷激情久久| 久久99热这里只有精品首| 狠狠色色| 五月天成人综合| 在线中文av| 久久久18| 99亚洲精品视频| 99综合视频在线| 丁香五月婷婷五月| 99er国产| 黄色热99| 九九爱激情| 伊人大香蕉综合在线| 五月天亚洲综合网| 丁香五月综合激情性爱| 狠狠久久婷五月| 操97| 亚洲激情综合| 激情五月婷婷色综合| 大香蕉久操| 丁香九月综合| 夜精品无码A片一区二区蜜桃| 森林影视大全,最好看的2019年视频 | 激情黄色五月天| 久久艹 五月天| 综合久久人妻| 91日日日| 思思久久99| 深爱激情四射| 丁香婷婷影院| 婷婷刺激综合| 亚洲色婷婷| 疯狂做受XXXX高潮A片动画| 思思re视频在线| 久久婷婷五月综合色天| 久久久久人妻精品| 成人做爰高潮A片免费视频| 开心五月色婷| 天天射色五月天| 91婷婷色五月| 欧美99热| 另类国产欧美视频| 婷婷综合精品| 亚洲久久视频| 中日韩美欧成人一区二区精品在线| 婷婷色狠狠| 九九re精品视频在线观看| 丁香五月手机在线| 五月色婷婷AV| 日韩大片艹艹| 99热这里只有精品1| 婷婷六月插屄激情| www.激情五月天.con| 久综合色| 色色丁香五月婷婷| 色婷婷女优有码五月亭| 综合网色| www 五月天 com| 久久香蕉婷婷| 免费观看的av| 国产VA亚洲VA96| 激情久久五月天| 婷婷色综合| 激情婷婷啪啪| 97人人射| 欧美情色电影一区二区| 激情网五月天| 99热99思午夜精品| 欧美月久久| 99∨VTV| 六月丁香社区| 99九九久久| 123日本不卡在线| www婷婷| 天天综合网亚洲综合网| 日韩不卡DvD| CHINESE熟女老女人HD视频| 97热这里只有精品| 狠狠色五月激情| 99热日本精品| 婷婷六月丁香五月| 97婷婷五月| 丁香六月婷婷久久综合| 婷婷94s| 激情综合婷婷| 丁香五月婷婷色播艳门照| 丁香色婷婷| 婷婷性爱五月天丁香网| 能看的av网站| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 同性gv国产精品一区二区| 日韩美女羞羞网站在线观看| 99热这里有精品| 伊人婷婷色| 婷婷五月天熟妇| 五月久久婷婷| 丁香婷婷影院| 五月色网| 国产激情在线| 思思热热久久| 99精品激情| 色色婷婷婷丁香五月天| 亚洲V国产V欧美V久久久久久| 婷婷六月综合激情| 五月激情婷婷六月丁香| 激情综合网五月丁香| 丝袜熟女一区二区三区| 超碰在线99| 五月色婷婷影院| 五月婷婷二月丁香| 电影蜘蛛女| 日本色天堂| 伦乱人妻| 性做爰1一7伦| 日日.c| 婷婷丁香五月综合| 狠狠狠五月婷婷六月丁香| 人人干人人干骚美女| 五月久久网| 综合色、色综合| 激情深爱五月天| 精品网站:999WWW| 99免费视频网| 激情五月婷婷伊人| 五月丁香婷婷爱激情综合网| 丁香五月色网| 91丨九色丨国产| 五月丁香色综合| 色狠狠综合| 婷婷五月天亚洲五码| 激情开心五月亚洲| 96人人操人人操人人| 丁香六月久久| 色婷婷五月天成人网| 99热人人操人人操| 天海翼中文字幕高| 亚洲综合在线视频| www,天天干| 婷婷99狠狠躁天天躁中| 99久久五月婷婷| 狠狠干五月丁香综合网| 色五月视频无码播放| 丁香五月在线视频| 天天综合网、天天综合色| 综合视频久久| 91视频综合网| 卡视频1区2区| 丁香色情五月综合激情| 999热视频精品99免费在线| 天天爽天天操| 五月激情视频| 日日操夜夜爽| 黄网在线免费观看| 婷婷激情九月| 97极品在线| 深爱激情五月天| 99热都是精品| 97 A I色色| 深爱激情网噜噜色| 丁香五月天激情小说| 欧洲日韩一区二区三区| 五月激情另类| 久久久人妻人伦| 91九色首页| 色99视频| 久久精彩免费视频精彩免费视频| 激情九月综合| 色五月天激情| 激情综合五月| 中文精品在| 91操片| 丁香色五月 97干| 伊人久久综合| 天堂综合久久| 久久婷婷五月综合成人d啪| 欧美日韩国产伦精品日韩人妻一| 亚洲综合999| 久久久久久久久久久97| 久青操| www激情网站| 婷婷性爱综合| 玖玖婷婷色五月| 99在线免费视频| 日韩操人| 超碰免费人妻| 色噜噜狠狠色综| 六月丁香基地| 五月色丁香婷婷中文字幕| 色婷婷五月网| 色婷婷色五月天| 五月婷婷激情五月| 五月 成人 婷婷| 色婷天天| 丁香六月婷婷色XXXXX| 五月婷婷六月丁香| 日韩黄在免| 91碰操| www.婷婷,com| 亚洲午夜av| 婷婷五月激情六月丁香 | 亚洲婷婷丁香五月| 综合色吧| 久久伊人大香蕉| 激情综合网之激情五月| 97色伦另类图片小说视频| 五月之婷婷| 丁香五月婷婷AV在线| 婷婷中文无码| 天天综合精品| 国产欧美日韩综合精品一区二区| 激情综合五月丁香六月婷婷| 五月伊人婷婷999| 大香蕉伊人99| 成人va在线观看视频| 婷婷色五月色妇| 日本人人xxx| www.99热在线观看| 综合激情婷婷| 婷婷碰碰| 玖玖午夜视频| 精品国产va久久久久| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 久久色婷婷| 天天日天天插天天操| 狠狠久综合| 网站免费一站二站| 日韩AV大全| 狠狠狠狠狠狠| 超碰99在线观看| 亚洲精品V天堂中文字幕| 97婷婷五月| 伊人久久婷| 久久婷婷青草五月天| 五月婷婷玖玖综合玖玖爱| 六月丁香五月婷婷| 伊人热在线大香蕉| 91热网址| 激情婷婷内射| 日韩爱操视频| www.99热这里精品| 九热视频| av网址在线播放| 中文AV在线观看| 国产99精品免费视频| 久久视频在线| 美女五月天| 五月婷婷久久网| 亚洲熟女乱色综合亚洲网站| 乱女乱妇熟女熟妇综合网站| 亚洲色综合性| 久久婷婷六月综合综合| 国产激情综合五月久久| 色婷丁香91| 激情AV在线| 99亚洲欧洲| 中文色婷婷| 久久久国产精品黄毛片| 色婷婷五月天成人网| 婷婷丁香久久五月综合| 亚洲色色色| 国产乱妇乱子在线播视频播放网站| 婷五月天六| 草美女在线观看视频在线播放| 天天情色综合网| 怡红院视频| 日韩操啪| 五月丁香综合伦理片| 色色激情五月| 婷婷五月天亚洲综合网| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 久久Xx| 森林影视大全,最好看的2019年视频| pom538精品视频| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 色狠久| 天天摸天天舔| 亚洲精品久久久久AV无码| 蜜臀av粉嫩av懂色av| 色情激情五月| 天天色综网| 99热在线爱| 狠狠色丁香婷婷综合久久97AV| 天天日日夜夜| 草草色情综合网| 久草 天堂| 狠狠狠狠狠狠狠狠| 免费无码毛片一区二区A片 | 婷婷丁香成人五月天| 99视频只有精品| 五月丁香趴趴| 美女激情婷婷| 五月天综合视频| 任你日热视频| 五月婷婷丁香色播网| 26uuu国产| av色婷婷| 婷婷五月综合视频| 女人高潮内射99精品| 久久精品婷婷| 亚洲激情网| www.lchjjc.com| 狠狠操天天操综合| 五月激情小说网| 偷偷操99| 天天舔天天爽| 伊人天堂婷婷| 五月色精品| 欧美大肥婆大肥BBBBB| 九九热视频精品2| 大香蕉伊人99| 亚洲成人中心| 狠狠草在线观看| 日本在线观看99| 99色播| 激情五月综合| 天天肏屄夜夜爽| 丁香五月大香蕉| 色停停香蕉视频| 丁香婷婷五月综合| 第四色网婷婷| 五月丁香六月欧美综合网站| 操逼亚洲天堂| 深爱激情av| 亚洲亚洲人成综合网络| 天天做天天双| 五月丁香色情| 79亚洲精品少妇| 丁香六月婷婷| 人人草成人视频| 欧美成人A片AAA片在线播放| 91成人看片| 这里有精品| 六月激情丁香一道本7777| 色天五月天在线观看视频| 六月色 亚洲| 十月色综合| 欧美日韩成人高清在线| 777影视理论片大全在线观看 | 一级黄色片看看| 午夜电影网VA内射| 国产性av| 狠狠操天天操综合| 97丨九色丨国产丨PORNY| 婷婷深爱五月天在线| 中文字幕无码人妻少妇免费视频| 日韩一66精品| 熟女人妻视频| 思思热热久久| 日韩小视频在线99| 99色色色色| 亚洲一级AV在线免费播放| 亚洲国产99| 日韩av在线免费观看| 思思99久久| 婷婷色吧| 国产67194| 天天色月| 在线观看免费视频| 五月天综合区| 大香久久综合网| 五月综合婷婷五月| 991国产精选视频在线播放下载| 五月婷婷丁香大陆免费| 91色色色| 五月天激情小说网| www·五月天| 亚洲xx在线| 色五月天成人| 婷婷六月天天| 五月丁香六月综合激情| 亚洲第一色色色| 欧美日韩欧美| 狠狠搞亚洲| 9婷婷内射| 涩五月婷婷| 婷婷丁香色五月天久久88| 思思久久久婷婷| www,26uuu,c0m,色情| 丁香色成人| www.日日夜夜.com| 婷婷六月天精品| 就爱日五月天| 成人在线综合| 66精品国产成人| 日本一级淫| 午夜五月天| 丁香婷婷六月天| 91日本在线观看| 五月丁香激情六月| 婷婷综合偷拍| 日日夜夜天天综合| 97久久香草精品视频| 人人草碰| 欧美婷婷丁香五月社区| 婷婷大美在线| www.夜夜爱.com| 大香蕉啪啪| 另类色网| 天天操天天国产三级片处女学生妹| h在线看免费版在线看| 成人天天爽| 青青久久五月| 丁香婷婷色| 日本本土色网第一区| 日本nghangse中文字幕| 99欧州偷拍视频| 五月天婷婷六月| 久久网址99热| 九九无码| 久色五月| 亚洲av网站| 日本黄色一级| 狠狠干天天日| 思思热国产视频| 丁香五月婷婷久久久| 久久人人看| 色欲资源网| www.五月婷婷.com| 日韩在线看AV| 亚洲乱码w在线观看| 婷婷丁香第一页| 日韩三及成人AV片| 丁香六月婷| 激情丁香五月天图片| 欧美噜噜免费观看| 月丁香久久久| 婷婷操逼| 夜夜操天天干| 成人片久久网站| 91精品综合久久久久久五月天| 色婷五月天| www.日日夜夜.com| 亭亭丁香久久五月| 牛牛色av| 国产伦亲子伦亲子视频观看| 思思热在线视频99| 成人av免费观看| 丁香婷婷婷婷十二月在线观看视频| 欧美日韩91| 激情深爱综合网| 五月丁香婷婷网网网网| 亚洲AV成人无码电影| 五月丁香成人网| 亚洲婷婷基地| 色五月天成人在线| 欧美日综合| 久久久久久婷| 91精品综合久久久久久五月丁香| 色婷婷五月综合| 激情黄色五月天| 日本一级一片免费视频| 99热每日| 日本99久久| 日日干天天爽| 五月色欧洲| 五月天色综合| 99国产欧美视频| 色婷婷丁香A片区毛片区女人区| 九九热啪啪| 深爱激情69热| 五月婷婷色综图片| 久久久ww| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 91婷婷五月丁香碰| 91干婷婷| 噜噜在线| 欧美97色| 五月婷婷丁香综合| 欧美激情xxxXX| 婷婷伊人綜合中文字幕| 色爱综合五月| 婷婷五月激情基地| 婷婷91| 日韩黄黄| 五月天综合在线观看视频| 欧洲免费视频色| 色色色综合视频| 五月丁香狠狠爱| 9福利性视频欧美| 丁香六月婷婷久久综合| http://www.sd-xiangsu.com/| 蜜乳.comcom| 婷婷丁香射射| 九九热99免费视频| 色五月97| 操逼电影免费看| 成人做爰A片免费看视频 | 丁香六月伊人| 天天日天天做天天操| 精品五月丁香| 综合天天综合| 五月天天堂久久| 特级操b片| 色综合99无码| 一级AV片| 成人中文网| 99久在线精品99re8| 天天弄天天操| 激情五月综合网| 久久免费精品小视频| 丁香伊人网| 超碰资源在线| 超碰色人妾| 色色色五月| 91日在线视频| 91丁香色| 狠狠干狠狠色| 久久久五月天| 91chinese在线| XX色综合| 色五月AV| 九九激情网| 99re8这里只有精品99re8热视频| 大香蕉人妻| 在线视频你懂得| 超碰在线人妻| 91爱操| 色婷婷丁香五月| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 视频久久9|