欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

RAID原理、選型與故障處理:從條帶化、鏡像、校驗到RAID 5/6/10實戰(zhàn)

RAID原理、選型與故障處理:從條帶化、鏡像、校驗到RAID 5/6/10實戰(zhàn) RAID 這個詞大多數(shù)人第一次見到是在裝機(jī)店的配置單上第二次見到是在機(jī)房的告警郵件里。它的中文名叫獨立磁盤冗余陣列核心思路說白了就一句話把幾塊普通硬盤用條帶化、鏡像、校驗這三種基本手法組合起來對外呈現(xiàn)成一個容量更大、讀寫更快、或者更不容易因為單塊盤損壞而丟數(shù)據(jù)的邏輯盤。這套東西從服務(wù)器機(jī)房一路滲透到家用 NAS、監(jiān)控錄像機(jī)、剪輯工作站幾乎只要涉及多塊盤的場景就繞不開它。但真正把 RAID 用明白的人并不多我見過太多把 RAID 當(dāng)成備份的、把 RAID 5 堆到十幾塊大容量盤還覺得穩(wěn)的、重建到一半第二塊盤亮紅燈的。這篇就把 RAID 從原理到選型、從建陣列到故障處理完整捋一遍不管你是剛接觸存儲的新手還是天天跟陣列卡打交道的老兵應(yīng)該都能撈到點東西。1. 先把話說清楚RAID 到底在解決什么問題1.1 單塊硬盤的三道坎一塊硬盤的能力是有物理天花板的而且這三道坎互相打架。第一是容量單盤再大也有上限而且盤越大單價往往越不劃算第二是性能機(jī)械盤受限于主軸轉(zhuǎn)速和磁頭尋道隨機(jī) IOPS 長期卡在一兩百這個量級順序讀寫也就兩三百 MB/sSATA 接口的固態(tài)盤雖然能跑到五百多但接口帶寬和主控通道數(shù)一樣有頂?shù)谌强煽啃匀魏我粔K盤都有故障率廠商標(biāo)稱的 MTBF 動輒上百萬小時可那是統(tǒng)計意義上的平均值落到你手里那塊盤上明天壞和五年后壞都是有可能的。更麻煩的是這三者往往不能同時滿足——想要大容量就得接受更多盤片和更長尋道想要高性能就得付出更高成本。RAID 的出發(fā)點就是用多塊盤協(xié)同這個手段把這三道坎分別往上頂一頂。1.2 RAID 的能力邊界它能救什么救不了什么很多人對 RAID 的期待過高這是所有事故的起點。RAID 真正能救的只有一類問題磁盤介質(zhì)的物理性故障。盤片劃傷、磁頭卡死、電路板燒了、固件掛了這類故障只要冗余還在陣列就能繼續(xù)對外提供服務(wù)你換塊盤插回去重建就行。但 RAID 救不了的東西同樣一長串誤刪文件、格式化錯分區(qū)、勒索軟件加密、文件系統(tǒng)元數(shù)據(jù)損壞、操作系統(tǒng)層面的邏輯錯誤、機(jī)箱進(jìn)水、電源浪涌把整機(jī)帶走、陣列卡或背板故障、機(jī)箱被盜。這些場景下RAID 的鏡像和校驗會非常忠實地把錯誤數(shù)據(jù)同步到每一塊盤上。所以行業(yè)里有句被說爛了但依然有人不信的話RAID 不是備份。備份要求的是時間維度上的多份副本和離線隔離RAID 給的是同一時刻的空間維度冗余兩者根本不是一回事。1.3 幾個必須先糾正的認(rèn)知第一個誤區(qū)是盤越多越安全。實際情況恰恰相反陣列里的盤越多單盤故障的概率疊加就越高重建時要讀取的數(shù)據(jù)量也越大重建窗口越長二次故障的窗口也就越長。一個 24 盤的 RAID 5年故障概率遠(yuǎn)高于 4 盤 RAID 5。第二個誤區(qū)是RAID 0 不算 RAID。它確實沒有冗余但它是最純粹的條帶化實現(xiàn)在臨時緩存、渲染中間文件、只讀鏡像分發(fā)這類數(shù)據(jù)可重建的場景里RAID 0 的性價比高得離譜。第三個誤區(qū)是陣列卡上的緩存越大越好。寫緩存只有在有電池或超級電容保護(hù)的前提下開 Write Back 才是安全的沒有掉電保護(hù)的寫緩存一次意外斷電就足以讓整個文件系統(tǒng)報廢。這幾點在后面的章節(jié)里還會反復(fù)提到先把地基打牢。2. 三塊積木條帶、鏡像、校驗2.1 條帶化把 IO 切碎了并行發(fā)出去所有 RAID 級別的地基都是條帶化。做法是把每一塊成員盤按固定大小切成一段一段這個固定大小叫chunk或者 strip常見取值 64KB、128KB、256KB、1MB。然后數(shù)據(jù)按順序輪流寫到各塊盤上第 1 個 chunk 寫盤 A第 2 個寫盤 B第 3 個寫盤 C寫滿一圈再回到 A。于是一個大文件的順序讀取就變成了 N 塊盤同時往外吐數(shù)據(jù)聚合帶寬接近單盤帶寬乘以盤數(shù)這是 RAID 0 和所有帶級別的性能來源。這里有個容易混淆的概念chunk 是單塊盤上的一段stripe是一次并行寫滿所有數(shù)據(jù)盤的總量等于 chunk 乘以數(shù)據(jù)盤數(shù)量。比如 6 塊盤的 RAID 5數(shù)據(jù)盤 5 塊chunk 64KB那么一個 stripe 是 320KB。這個數(shù)字很關(guān)鍵后面講文件系統(tǒng)對齊和條帶大小選擇時都要用到它。條帶大小選錯性能會明顯打折。基本原則是看你的 IO 特征如果業(yè)務(wù)以大文件順序讀寫為主比如視頻素材、備份歸檔、日志落盤塊可以給大一點256KB 到 1MB 都行這樣單次 IO 能覆蓋多個數(shù)據(jù)盤帶寬拉滿如果是數(shù)據(jù)庫、虛擬化這類以小 IO 隨機(jī)讀寫為主的負(fù)載塊要小一些64KB 甚至 32KB避免一次 8KB 的隨機(jī)讀反而觸發(fā)了跨盤尋道。這里有個反直覺的點條帶太小也不好同樣大小的順序讀會被拆成更多次跨盤訪問每次都要等所有盤響應(yīng)延遲反而上升。我個人的經(jīng)驗起點是數(shù)據(jù)庫類 64KB、文件服務(wù)器 128KB、媒體素材庫 256KB 到 512KB然后拿真實業(yè)務(wù)壓測再微調(diào)。2.2 鏡像最暴力也最可靠的冗余鏡像的邏輯簡單到不需要解釋同一份數(shù)據(jù)同時寫到兩塊盤上讀的時候從任意一塊讀都行。RAID 1 就是兩塊盤互為鏡像RAID 10 是先把盤兩兩配對做鏡像再把多組鏡像條帶化拼起來。鏡像的好處非常實在寫的時候要寫兩份寫放大是 2 倍但讀的時候可以兩塊盤并行讀不同的請求隨機(jī)讀性能接近翻倍重建的時候只需要從存活的那塊盤完整拷一份數(shù)據(jù)過去重建速度快而且重建過程中另一塊盤的狀態(tài)是明確的不存在校驗計算失敗的問題。代價是容量利用率只有 50%四塊 8TB 盤做 RAID 10 只有 16TB 可用這是硬成本。所以 RAID 10 一般用在兩個地方一是寫密集且對延遲敏感的業(yè)務(wù)二是盤位和預(yù)算都還算寬裕但數(shù)據(jù)非常重要的場景。鏡像還有個容易被忽視的細(xì)節(jié)它防不住邏輯性損壞的同步。如果文件系統(tǒng)寫入了錯誤數(shù)據(jù)或者某塊盤固件有 bug 返回了臟數(shù)據(jù)鏡像會把這個錯誤原樣寫到兩塊盤上你讀到的是兩份一致的錯誤。這一點決定了鏡像只能解決介質(zhì)故障不能解決數(shù)據(jù)正確性問題。真正要防靜默損壞靠的是上層文件系統(tǒng)的校驗和與定期 scrub而不是 RAID 級別本身。2.3 校驗?zāi)?CPU 換容量代價是寫懲罰校驗的思路是不存完整副本只存一份由所有數(shù)據(jù)塊異或運(yùn)算得出的校驗塊任何一塊數(shù)據(jù)丟了用剩下的數(shù)據(jù)塊和校驗塊異或回去就能恢復(fù)。RAID 5 用一份校驗允許壞一塊盤RAID 6 用兩份獨立的校驗通常是異或加伽羅瓦域運(yùn)算允許壞兩塊盤。容量利用率因此大幅提升RAID 5 是 (N-1)/NRAID 6 是 (N-2)/N六塊盤的情況下分別是 83% 和 67%比鏡像的 50% 好看太多。但校驗的代價藏在寫操作里這就是所謂的寫懲罰。一次隨機(jī)小塊寫RAID 5 需要先讀出舊數(shù)據(jù)塊、讀出舊校驗塊算出新校驗再寫回新數(shù)據(jù)塊和新校驗塊一共 4 次磁盤 IO 才算完成一次邏輯寫。RAID 6 更狠要讀舊數(shù)據(jù)、讀兩個舊校驗寫新數(shù)據(jù)、寫兩個新校驗6 次 IO。RAID 10 只寫兩份2 次 IO。把這個換算成可用寫 IOPS公式就很清楚了假設(shè)單盤隨機(jī)寫能力 100 IOPS8 塊盤的 RAID 5 有 7 塊數(shù)據(jù)盤寫 IOPS 大約是 7×100/4 175同樣 8 塊盤的 RAID 10 是 8×100/2 400。差了將近一倍多。這就是為什么數(shù)據(jù)庫這類寫密集業(yè)務(wù)很多時候?qū)幵笭奚萘恳惨?RAID 10。2.4 熱備盤與重建冗余真正兌現(xiàn)的時刻冗余在平時是沒有存在感的只有一塊盤掛掉、陣列進(jìn)入降級狀態(tài)的那一刻它才真正開始工作。這時候如果有熱備盤陣列卡或軟件會自動把熱備盤拉進(jìn)來頂替故障盤開始重建。熱備盤分兩種全局熱備可以被任意陣列征用專用熱備只服務(wù)指定的那個陣列。盤位緊張的時候用專用熱備更省但靈活性差盤位寬裕就用全局熱備利用率高。重建的過程本質(zhì)上是把缺失的數(shù)據(jù)重新算出來寫到新盤上。鏡像類重建是直接拷貝速度取決于源盤的順序讀能力校驗類重建要讀取同 stripe 內(nèi)所有其他數(shù)據(jù)盤和校驗盤一邊讀一邊算對整組盤都是滿負(fù)荷沖擊這段時間陣列性能會明顯下降業(yè)務(wù)側(cè)能感覺到延遲抖動。重建時間跟單盤容量強(qiáng)相關(guān)粗略估算一下一塊 8TB 的盤實際重建速率受限于單盤順序讀和陣列卡處理能力按有效 80MB/s 算8,000,000MB ÷ 80MB/s ≈ 100,000 秒差不多 28 小時。這還只是理想情況業(yè)務(wù)壓力大、盤本身有壞道、重建優(yōu)先級被限制拖到兩三天都很正常。這 28 小時就是你的風(fēng)險窗口窗口期內(nèi)再壞一塊盤RAID 5 直接歸零。所以重建速率限制這個參數(shù)要慎用它能保護(hù)業(yè)務(wù)性能但也實實在在地延長了危險期。3. 各 RAID 級別逐個拆容量、性能與適用邊界3.1 RAID 0 與 RAID 1兩個極端RAID 0 是純條帶容量利用率 100%讀寫性能隨盤數(shù)線性提升但沒有任何冗余任何一塊盤掛了整個陣列的數(shù)據(jù)全部不可讀。它的合理使用場景非常明確數(shù)據(jù)本身可以從別處重新生成或者重新下載且對性能極度渴求。比如視頻剪輯的代理文件緩存、渲染農(nóng)場的臨時輸出目錄、只讀鏡像的分發(fā)節(jié)點。反過來說只要這份數(shù)據(jù)丟了你會心疼就別用 RAID 0。RAID 1 是純鏡像最少兩塊盤容量利用率 50%讀性能接近翻倍寫性能基本等于單盤重建速度最快配置最簡單。它最適合小規(guī)模、高價值的場景系統(tǒng)盤、數(shù)據(jù)庫日志盤、小型辦公文件服務(wù)器。兩塊大容量盤做 RAID 1 現(xiàn)在很常見因為單盤容量上去了兩塊盤就能湊出夠用的空間而且重建窗口短、風(fēng)險低。唯一要接受的就是那一半的容量損失。3.2 RAID 5性價比之王也是踩坑最多的地方RAID 5 是最廣為人知的級別也是被誤用最嚴(yán)重的級別。它的賬面上確實漂亮最少三塊盤容量損失一塊讀性能接近條帶寫性能受寫懲罰影響但還能接受。在機(jī)械盤容量還停留在幾百 GB 到 1TB 的年代RAID 5 幾乎是默認(rèn)選項因為重建一塊 500GB 的盤只要一兩個小時風(fēng)險窗口很短。問題出在盤容量暴漲之后。一塊 8TB 甚至 16TB 的盤重建動輒二三十小時而重建過程中需要讀取整個陣列的所有扇區(qū)。這里有個繞不開的物理現(xiàn)實大容量機(jī)械盤在長時間滿負(fù)荷讀取時遇到不可恢復(fù)讀錯誤的概率不再是理論值而是實實在在會發(fā)生的事。一旦重建過程中某塊盤報出讀錯誤RAID 5 沒有第二份校驗可以兜底重建直接失敗整個陣列的數(shù)據(jù)就廢了。所以現(xiàn)在的通行做法是單盤容量超過 4TB 的陣列基本不推薦 RAID 5要么上 RAID 6要么上 RAID 10。如果非要用 RAID 5成員盤數(shù)量控制在 4 到 6 塊別堆到十幾塊。3.3 RAID 6 與 RAID 10大容量盤的現(xiàn)實選擇RAID 6 用兩份校驗換來同時壞兩塊盤還能活的能力最少四塊盤。它的價值不只是多一層保險更重要的是重建期間的安全性RAID 5 重建時只要再來一塊盤出問題就完了RAID 6 重建時還有一份冗余頂著而且第二份校驗?zāi)軒椭ㄎ坏降资悄囊粔K盤讀錯了RAID 5 只能發(fā)現(xiàn)這組數(shù)據(jù)錯了卻不知道是誰錯的。代價是寫懲罰更重6 次 IO寫性能比 RAID 5 再降一截容量利用率也更低。對于近線存儲、備份歸檔、監(jiān)控錄像、大容量 NAS 這類寫入不小但延遲不敏感的場景RAID 6 是非常合適的平衡點。RAID 10 走的是另一條路用容量換性能和恢復(fù)速度。它最少四塊盤容量利用率 50%讀性能接近條帶寫性能是 RAID 5 的兩倍多重建速度快、重建期間對同組盤的壓力小。對于數(shù)據(jù)庫、虛擬化宿主機(jī)、任何寫密集且延遲敏感的業(yè)務(wù)RAID 10 通常是首選。我見過不少團(tuán)隊在數(shù)據(jù)庫服務(wù)器上糾結(jié) RAID 5 和 RAID 10 的容量差最后因為一次重建超時把整個庫搞掛之后再也沒碰過 RAID 5。3.4 RAID 50/60組合級別的適用場景RAID 50 是多個 RAID 5 子組再條帶化RAID 60 是多個 RAID 6 子組再條帶化。它們的意義在于降低單個子組的盤數(shù)從而縮短重建時間和重建影響范圍。舉個例子12 塊盤如果直接做 RAID 6成員盤太多重建時要讀 11 塊盤拆成兩個 6 盤 RAID 6 子組再做條帶每個子組只有 6 塊成員盤重建只影響這個子組速度和風(fēng)險都更可控。代價是每個子組都要損失自己的校驗盤容量利用率進(jìn)一步下降而且故障域變成了每個子組各能壞 N 塊不是全局的。這類組合級別適合盤位多、容量大、又不想上 RAID 10 的中大型存儲池小規(guī)模場景沒必要折騰。3.5 一張對照表和幾個必須會算的數(shù)級別最少盤數(shù)可用容量容錯盤數(shù)隨機(jī)寫懲罰典型場景RAID 02N×C01臨時數(shù)據(jù)、可重建緩存RAID 12C1或 N-12系統(tǒng)盤、小規(guī)模高價值數(shù)據(jù)RAID 53(N-1)×C14讀多寫少、盤數(shù)少、小容量RAID 64(N-2)×C26大容量存儲、備份、歸檔RAID 104(N/2)×C每組 12數(shù)據(jù)庫、虛擬化、寫密集RAID 506(N-子組數(shù))×C每子組 14中等規(guī)模存儲池RAID 608(N-2×子組數(shù))×C每子組 26大規(guī)模存儲池容量算法很直白但要留意廠商標(biāo)稱容量的十進(jìn)制陷阱8TB 的盤在操作系統(tǒng)里看到大約是 7.28TiB六個 8TB 盤做 RAID 5可用容量是 5×8TB40TB 標(biāo)稱系統(tǒng)里顯示大約 36.4TiB再扣掉文件系統(tǒng)元數(shù)據(jù)實際能用的還要少一點。做容量規(guī)劃時按系統(tǒng)顯示的數(shù)值算別按包裝盒上的數(shù)字算。再算一個 IOPS 的賬。假設(shè) 8 塊萬轉(zhuǎn)機(jī)械盤單盤隨機(jī)寫 130 IOPS做 RAID 6數(shù)據(jù)盤 6 塊寫 IOPS ≈ 6×130/6 130幾乎和單盤持平同樣的盤做 RAID 10寫 IOPS ≈ 8×130/2 520是 RAID 6 的四倍。這就是為什么 OLTP 數(shù)據(jù)庫基本不考慮 RAID 6。如果換成固態(tài)盤單盤 IOPS 上萬寫懲罰帶來的絕對差值會被放大但固態(tài)盤本身沒有尋道開銷寫懲罰的影響方式又不一樣這塊后面單獨說。4. 落地從選型到建陣列的完整操作4.1 硬件 RAID、軟件 RAID還是干脆不用硬件 RAID 依賴獨立的陣列卡卡上有自己的處理器和緩存操作系統(tǒng)看到的是一塊邏輯盤跟底層細(xì)節(jié)完全解耦。優(yōu)點是管理簡單、性能穩(wěn)定、有掉電保護(hù)的寫緩存、熱插拔和重建都是卡自己完成的跟操作系統(tǒng)無關(guān)。缺點是卡本身是單點卡掛了你得找同型號的卡來導(dǎo)配置跨品牌遷移基本別想而且卡上緩存沒有后備電池或超級電容時千萬別開 Write Back。軟件 RAID 把活交給操作系統(tǒng)Linux 下的 mdadm、各類支持校驗和的文件系統(tǒng)、Windows 的存儲空間都屬于這一類。優(yōu)點是配置透明、不依賴特定硬件、遷移方便、陣列元數(shù)據(jù)跟著盤走出問題能在另一臺機(jī)器上直接組裝起來。缺點是要吃 CPU重建時對系統(tǒng)負(fù)載有影響而且沒有硬件緩存寫性能在某些場景下不如硬件方案。對于預(yù)算有限、盤位不多、或者用通用服務(wù)器搭存儲的場景軟件 RAID 完全夠用我個人的很多環(huán)境就是 mdadm 加一層文件系統(tǒng)校驗穩(wěn)定跑好幾年。還有第三種選擇不用 RAID?,F(xiàn)在云主機(jī)、對象存儲、分布式存儲系統(tǒng)在底層已經(jīng)做了多副本或糾刪碼你在單機(jī)上再做一層 RAID 5 屬于重復(fù)建設(shè)反而增加了故障點。單機(jī)場景如果數(shù)據(jù)量不大、恢復(fù)時間要求不高直接用單盤加備份比搭一個半吊子的 RAID 更實在。4.2 建陣列前必須敲定的幾個參數(shù)條帶大小按前面的原則選數(shù)據(jù)庫 64KB文件服務(wù) 128KB媒體 256KB 到 512KB。寫策略在有電池或超級電容保護(hù)的前提下開 Write Back沒有就老老實實 Write Through別為了跑分好看去賭斷電。初始化方式分快速初始化和完全初始化快速初始化只寫元數(shù)據(jù)幾秒鐘完成但后臺會慢慢補(bǔ)齊校驗這段時間陣列性能是抖的完全初始化會把所有扇區(qū)寫一遍耗時可能十幾個小時但完成后陣列狀態(tài)是干凈的我一般建議新陣列在不趕時間的情況下走完全初始化。文件系統(tǒng)對齊是很多人忽略的一步。如果文件系統(tǒng)的塊大小和 RAID 的條帶沒對齊一次邏輯寫會跨越兩個物理 stripe觸發(fā)讀改寫性能直接腰斬。用 ext4 的話mkfs.ext4時把stride設(shè)成 chunk 除以文件系統(tǒng)塊大小stripe-width設(shè)成 stride 乘以數(shù)據(jù)盤數(shù)。舉例chunk 64KB文件系統(tǒng)塊 4KB那么 stride 166 盤 RAID 5 數(shù)據(jù)盤 5 塊stripe-width 80。XFS 用的是su條帶單元和sw條帶寬度單位是塊數(shù)邏輯一樣。固態(tài)盤做 RAID 還有個額外的坑要確認(rèn) TRIM/DISCARD 能不能透傳很多硬件陣列卡是不支持的長期跑下去寫放大和壽命都會受影響。下面這套參數(shù)是我按常見業(yè)務(wù)負(fù)載總結(jié)的起點不是標(biāo)準(zhǔn)答案落到你的環(huán)境還得靠實測微調(diào)。# 六塊盤做 RAID 6條帶 64KB帶內(nèi)部寫意圖位圖 mdadm --create /dev/md0 --level6 --raid-devices6 \ --chunk64K --bitmapinternal /dev/sd[b-g] # 查看組裝狀態(tài)和重建進(jìn)度 cat /proc/mdstat mdadm --detail /dev/md0 # 文件系統(tǒng)按條帶對齊chunk 64K / 塊 4K stride 16數(shù)據(jù)盤 4 塊 mkfs.ext4 -E stride16,stripe_width64 /dev/md0那個--bitmapinternal是軟件 RAID 的一個實用開關(guān)。沒有位圖的時候一次非正常關(guān)機(jī)后重啟陣列要做全量一致性校驗才能上線8TB 級別的陣列可能卡幾個小時有了位圖只重掃臟區(qū)域幾十秒就能恢復(fù)服務(wù)。代價是寫路徑上多一點點開銷但在大多數(shù)場景下這個交換非常劃算。4.3 初始化完成之后要做的三件事第一件是記錄配置。把mdadm --detail的輸出、陣列卡的配置導(dǎo)出、每塊盤的序列號和槽位對應(yīng)關(guān)系全部存一份到別的地方。真出事的時候你會無比慶幸自己有這份記錄——尤其是硬件陣列卡壞了要換卡導(dǎo)入配置的時候槽位順序錯一位數(shù)據(jù)就可能對不上。第二件是建立監(jiān)控。至少要盯四個指標(biāo)陣列健康狀態(tài)、單盤 SMART 里的重映射扇區(qū)數(shù)和待定扇區(qū)數(shù)、文件系統(tǒng)使用率、重建/校驗任務(wù)的進(jìn)度。SMART 里的Reallocated_Sector_Ct和Current_Pending_Sector只要開始非零增長就說明這塊盤在走下坡路別等到它被陣列踢出去才動手。監(jiān)控采樣頻率別太高機(jī)械盤的 SMART 查詢本身有開銷一天一次足夠但陣列狀態(tài)要頻繁一點。第三件是設(shè)定巡檢周期。帶校驗的陣列要定期做一致性校驗也叫巡檢讀把整組盤的所有扇區(qū)讀一遍發(fā)現(xiàn)讀錯誤就嘗試用校驗修復(fù)。頻率一般一個月一次放在業(yè)務(wù)低峰期并且一定要給校驗任務(wù)限速否則它會把整個陣列的 IO 吃滿。# 手動觸發(fā)一次一致性校驗 echo check /sys/block/md0/md/sync_action # 限制后臺校驗速率避免打滿業(yè)務(wù) IO單位 KB/s echo 50000 /sys/block/md0/md/sync_speed_max # 查看當(dāng)前校驗進(jìn)度 cat /sys/block/md0/md/sync_completed4.4 壞盤替換的標(biāo)準(zhǔn)動作發(fā)現(xiàn)降級之后第一反應(yīng)不應(yīng)該是拔盤而是先確認(rèn)是哪塊盤真的壞了。看陣列狀態(tài)定位到具體槽位再去看這塊盤的 SMART 和內(nèi)核日志。如果只是超時被踢、SMART 全綠、日志里全是鏈路層錯誤CRC 錯誤、復(fù)位、超時那大概率是線纜、背板或者接口接觸問題換盤沒用換線或者換個槽位可能就好了。這種情況我遇到過不止一次急著換盤反而把好好的盤換走了問題依舊。確認(rèn)是盤的問題后熱插拔換上新盤然后把它加回陣列。軟件 RAID 的操作是這樣# 先把故障盤標(biāo)記為移除 mdadm /dev/md0 --fail /dev/sdc --remove /dev/sdc # 插入新盤后加入陣列開始重建 mdadm /dev/md0 --add /dev/sdc # 重建期間盯著進(jìn)度 watch -n 60 cat /proc/mdstat重建期間要控制業(yè)務(wù)壓力別在這時候跑大批量備份或者全表掃描。如果陣列支持重建速率限制把它調(diào)低一點用時間換安全。重建完成后一定要再做一次一致性校驗確認(rèn)新盤上的數(shù)據(jù)算出來是對的。5. 故障現(xiàn)場降級、掉盤、重建失敗怎么處理5.1 掉盤先別急著換盤前面提過一次這里展開說因為這是最高頻的誤判。一塊盤從陣列里掉出去原因至少有四類盤本身介質(zhì)故障、盤固件 bug 導(dǎo)致超時、鏈路問題線纜、背板、接口氧化、控制器或驅(qū)動問題。這四類里只有第一類需要換盤。判斷方法很樸素看 SMART 屬性里重映射扇區(qū)和待定扇區(qū)有沒有增長看內(nèi)核日志里是介質(zhì)錯誤還是超時/復(fù)位/CRC 錯誤。介質(zhì)錯誤的盤必須換鏈路錯誤的盤換上去大概率還會再掉。還有一個隱蔽的情況整組盤同時掉。這基本可以排除介質(zhì)故障往供電、背板、陣列卡、驅(qū)動方向查。我見過因為機(jī)箱電源老化導(dǎo)致瞬態(tài)掉壓幾塊盤同時被復(fù)位陣列直接崩掉。這種時候千萬別急著逐塊盤重建先把硬件問題解決否則重建一百次也會再崩。5.2 重建失敗的常見原因鏈重建失敗最典型的場景是 RAID 5 重建過程中遇到不可恢復(fù)讀錯誤。表現(xiàn)形式是重建進(jìn)度卡住日志里出現(xiàn)讀取失敗然后陣列要么把另一塊盤也標(biāo)記為故障整個陣列失效要么重建中斷。這種情況下如果數(shù)據(jù)重要不要再對陣列做任何寫操作先做全盤鏡像再說找專業(yè)數(shù)據(jù)恢復(fù)也比自己反復(fù)嘗試強(qiáng)。第二個常見原因是用了 SMR 盤。疊瓦式磁記錄盤在持續(xù)寫入時性能會斷崖式下跌重建過程中寫入速度跟不上陣列卡判定超時直接把新盤踢掉重建反復(fù)失敗。這類盤價格便宜、容量大很容易被誤買來做 NAS唯一的辨別方式是查廠商規(guī)格書里的記錄技術(shù)。做 RAID 慎用 SMR尤其是校驗類陣列。第三個原因是重建期間業(yè)務(wù)壓力過大陣列卡的處理能力被占滿重建任務(wù)被餓死或者超時。對策是限速加錯峰把重建優(yōu)先級調(diào)低讓它慢慢跑別追求速度。5.3 性能不達(dá)預(yù)期的排查順序按這個順序查能覆蓋八成問題。先看條帶對齊文件系統(tǒng)塊和 RAID 條帶沒對齊是最常見的性能殺手表現(xiàn)為小 IO 延遲明顯高于預(yù)期。再看寫緩存策略Write Through 和 Write Back 的寫性能差好幾倍如果最近改過配置或者電池失效自動降級到 Write Through性能會突然掉下來。第三看是否有后臺任務(wù)在跑一致性校驗、重建、快照清理都會搶 IO。第四看單盤是否已經(jīng)有壞道壞道會觸發(fā)重試一次重試幾十毫秒到幾秒足以把整體延遲拉爆。最后才去看陣列卡固件、驅(qū)動版本、隊列深度這些更底層的東西。固態(tài)盤做 RAID 還要額外看兩個點TRIM 是否透傳以及陣列卡是否支持直通模式。很多陣列卡會把固態(tài)盤當(dāng)成機(jī)械盤處理隊列深度受限性能跑不滿有條件的話用直通卡加軟件 RAID反而更容易發(fā)揮固態(tài)盤的性能。5.4 常見問題速查表現(xiàn)象最可能的原因處理方向單盤掉線SMART 重映射增長介質(zhì)老化換盤盡快重建單盤掉線日志大量 CRC/復(fù)位線纜、背板、接觸換線換槽先別換盤多盤同時掉線供電、背板、控制器查硬件勿盲目重建重建卡在某個百分比源盤有壞道或新盤 SMR停業(yè)務(wù)、降速、評估數(shù)據(jù)搶救寫性能突然腰斬緩存降級為 Write Through檢查電池/電容狀態(tài)小 IO 延遲高文件系統(tǒng)未條帶對齊重建文件系統(tǒng)并設(shè) stride容量比預(yù)期少保留空間、熱備、十進(jìn)制換算核對陣列與文件系統(tǒng)配置校驗任務(wù)跑不完限速過低或盤有壞道看日志評估換盤5.5 幾條用血換來的經(jīng)驗第一條新盤上手先做全盤寫測試。買回來的盤尤其是批次相同的盤先跑一遍全盤寫入加讀取校驗把早期失效的盤篩掉。同批次盤同時采購、同時上機(jī)故障時間也會趨同這是 RAID 最怕的同批次雪崩。有條件的話分批采購或者混用不同批次。第二條RAID 5 的盤數(shù)上限比容量上限更重要。我給自己定的線是單盤超過 4TB 不用 RAID 5成員盤超過 6 塊不用 RAID 5兩個條件滿足任意一個就換 RAID 6 或 RAID 10。這條線不是拍腦袋是重建時間、讀錯誤概率、二次故障窗口三個因素疊加出來的。第三條冗余和備份要分開設(shè)計。陣列負(fù)責(zé)盤壞了業(yè)務(wù)不停備份負(fù)責(zé)數(shù)據(jù)錯了還能回去。這兩件事的介質(zhì)、位置、周期都要獨立別把備份放在同一個陣列里也別用快照代替?zhèn)浞荨煺蘸驮磾?shù)據(jù)在同一個存儲上存儲掛了就一起沒了。第四條改配置之前先備份元數(shù)據(jù)。硬件陣列導(dǎo)出配置軟件陣列保存mdadm --detail和mdadm --examine的輸出文件系統(tǒng)的 UUID 和掛載參數(shù)也記下來。這些東西平時沒用出事的時候能省下幾十個小時。第五條定期做恢復(fù)演練。不是驗證備份文件存在就算完要真的從備份里恢復(fù)一份數(shù)據(jù)到測試環(huán)境跑一遍完整性校驗。我見過備份任務(wù)天天成功、真要用的時候發(fā)現(xiàn)備份的是空目錄的情況。RAID 陣列也一樣定期拔一塊盤模擬降級、觀察告警是否觸發(fā)、重建流程是否順暢這套動作做熟了真出事的時候才不會手忙腳亂。最后分享一個我一直在用的小習(xí)慣給每個陣列建一個純文本的檔案卡寫清楚建陣列的日期、成員盤的型號序列號槽位、條帶大小、文件系統(tǒng)參數(shù)、熱備盤分配、巡檢周期、上次校驗時間。放在監(jiān)控系統(tǒng)之外的地方比如運(yùn)維文檔或者打印機(jī)旁邊貼一張。這東西看著土但在凌晨三點排查故障的時候它比任何花哨的監(jiān)控面板都管用。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香婷婷五月激情四射网| 天天射色五月天| 99re这里只有精品99| 婷婷丁香综合成人| www.com.色色| 亚洲AV成人精品日韩在线播放| 丁香六月激情综合网| 午夜五月天| 婷婷综合天堂| 无码色| 97碰在线免费观看| 九月丁香婷婷| 亚洲色欲AAAAAA| 人妻中文在线| 色六月视频| 大香蕉丁香婷婷| 99爱精品视频| 久久久久久久久99精品| 婷婷伊人綜合中文字幕小说| 天天xxxxxx天天日| 996er热| 免费观看的av| 久久精热| 婷婷激情六月| 久久香视频| 九九热av| 九九热在线视频观看| 久久婷婷综合五月| 婷婷丁香亚洲色综合91| 婷婷日| 欧美亚洲999| 91蜜桃婷婷狠狠久久综合9色| 日日色五月天| 操人无码| 色欲久久久久| 淫视馆aV二区一区| 天天干天天日蜜臀av| 婷婷综合伊人丁香| 操久久网| 婷婷五月丁香激情| 综合网啪啪| 99在线精品观看99| 婷婷综合久久综合| 99网| 五月婷婷综合在线视频小说| 5月激情天| 久久久99精品免费观看| 91玖玖| 天堂婷婷五月在线| 久人人操| 性爱久久| 九九色色网| www,超碰| 色情五月综合婷婷| 五月丁香久人妻中文| 色婷激情网| 综激情网| 人人操 色| 丁香婷婷丁香五月欧美人| 天天爽天天干| av婷婷丁香| Av九九| 五月婷婷九月婷婷九月婷婷| 97五月天| 婷婷综合| 99热都是精品| 大香蕉久久婷婷| 亚洲综合丁香五月天| www激情| Www.sesese丁香| 激情无码网| 五月香蕉综合| 99日本精品视频热| av免费在线网站| 久久精彩视频| 碰碰91| 婷婷四色成人综合色视| 天天玩天天摸| 99久久久久久| www,色综合| 成人做爰高潮A片免费视频| 五月婷婷五月色| 日韩五月婷婷| 欧美一级色| 亚洲成人综合网在线免费观看| 热久久91| 六月丁丁香| 桃色激情婷婷伊人网| 欧美色九| 久久99精品久久久久久三级| 久热久re| 九九久久9 9在线观看| 思思热视频在线观看| 这里只有精品视频在线| 激情99在线视频| 狠狠va| 五月婷在线影院| 91a片爽| 久久久久久久久久8888| 深爱激情丁香| 五月亭亭直播| 五月丁香色婷婷久久| 色五月成人网| 激情狠狠丁香月| 99久热在线精品| 免费看无码视频A级| 黄色中文字目| 91se精品国产| 九月激情婷婷丁香| 成人网在线观看视频| 激情综合五| 五月丁香好婷婷A片网| 五月色色激情网| 五月丁香六月色情网欧美| 国产白丝在线一区| 日本视频99| 日韩无码系列| 久久99精品久久久久久三级| 色综合香蕉| www.久操| 婷婷中文字幕网| 91av色色乱视频| 狠狠色综合五月人人| 狠狠五月天| 久久综合丁香激情五月| 六月激情婷婷| 天天射夜夜骑| 婷婷色日本| 久久99热这里只有精品23| 26UUU| 91超碰在线观看| 亚洲人妻Av| 热久69| 97AV人人插人人操| 成人av播放| 色综合久久中文| 大陆极品少妇内射AAAAAA| 97碰碰在线观看视频| 日本颜色视频人人爱| 久久 这里只有精品1| 无码天天操| 色婷婷在线综合色播网| 99热九九在线| 99热在线只有精品| 一本道综合网| A在线观看| 五月综合无码| 五月丁香999| 色九九七七| 婷婷的色色五月天| 色色色综合网| 色色日韩无码| 色色a| 人妻操逼视频| www.zbzhongsen.com| 人妻人人操| 九九综合久久| 草草夜夜操| 国产操B| 一本婷婷丁香久久| 婷婷激情六月综合| 亚洲色情免费网| 思思综合热| 久色中文| 26.uuu丁香五月婷婷| 久久综合爱| 丁香五月天啪啪激情综合网| 这里只有精品免费| 91啪啪视频| 久久综合首页| 婷婷综合亚洲| 99操逼视频| 综合网五月| 久操热| 五月天成人综合| 色久五月| 99精品热视频| 欧美色色色色色色色色色色| 99re最新地址| 六月婷婷操逼| 五月天婷婷黄色| 色色五月婷婷狠狠| 在线视频99| 五月丁欧美| 五月丁香婷中文字幕| 天天操天天日天天爽| 丁香五月天堂网| 九九99久久| 色狠狠色噜噜AV天堂五区| 嫩草哈哈操| 热久久91| 玖玖资源站中文| 一起草Av| 色播激情婷婷| 最新热中文字幕| 久久aaaa片一区二区| 日本啪啪网| 噼里啪啦在线观看免费完整版视频 | 五月天天天开心激情网| 国产免费AV在线| 91人人人人人| 综合热无码| 99久久思思| 婷婷综合网| 色色五月婷| 99ri国产精品| 九九综合视频在线观看| 丁香五月天亚洲视频| 成人av免费观看| 亚洲色无码A片一区二区麻豆| 色情五月| 亚洲色综合性| 国产伦亲子伦亲子视频观看| 久久新地址| 色操b| 中文字幕在线日亚洲9| 久婷婷视平| 色九九综合| 日本va欧美va欧美va| 色五月激情五月| 久久天堂婷婷五月| 停停五月天激情网| 中文字幕按摩做爰| 色五月婷婷婷婷婷婷婷婷婷婷| 色婷婷五月天视频在线| 日本www免费九九| AV中文在线| 热99在线| 99艹精品在线观看| 天天模,夜夜模夜夜爽| 伊人久久大香网| 狠狠色狠狠色综合日日91| 99热国产这里只有| 天天爽人人综合免费7799| 国产视频福利| 天天干电影| 99久久婷婷国产综合精品草原| 特级操b片| 五月丁香婷婷三级| 色五月 婷婷, 大香蕉| 色色色色热热| 一起草性爱不卡视频| 人人爽欧美婷婷久久久五月丁香| 天天视频亚洲| 2025超碰| 五月激情婷婷六月丁香| 另类少妇人与禽zOZZ0性伦| 91人人爽狠狠狠| 99热精品中文字幕| 伊人久久中文网| 天天爽天天日人人爱| 91久久1118| Www99热| 五月天涩涩| 欧美日本免费一道免费视频| 丁香婷婷六月天| 99久视频| 色情丁香五月天| 亚洲操人| 色婷婷成人在线| 久久九九综合| 色的色综合| 丁香五月伊人| 久久在这里有精品| 综合色色网| av中文在线| 婷婷五月天色| 色之综合网| 思思热视频| 五月丁香激情啪啪| 成人AV在线电影| 色狠狠色综合久久久绯色AⅤ影视| 婷婷六月丁香五月| 九月综合| 中文字幕综合| 草草操操| 婷婷五月综合激情| 就去涩涩丁香五月天| 日本操天堂| 色情免费视频播放| 亚洲AV成人一区二区在线观看| 欧美成人网婷婷综合在线| 欧美精品在线观看| 久狠日av| 无码色综合| 午夜婷婷久久| 五月丁香婷婷色色| 五月天婷婷基地| 丁香婷婷射| 七月丁香五月婷婷在线| 婷婷五月草| 九九综舍久久| 色无码| 色久婷婷网| 激情性爱五月天网页| 国产色五月| 婷婷色一二三区波多野结衣| 婷婷五月天激情综合| 99精品在线播放| 五月丁香综合| 亚洲热久久| 影音先锋天天日| 五月天伊人久久久久| www99久久| 色欲天天综合| 99色丁香婷婷综合网| av五月天婷婷丁香| 中文字幕综合网| 五月丁香美女| 久久久久人无码人妻| 婷婷激情五月天视频在线| 国产做爰视频免费播放| 色五月婷婷亚洲| 成人Av在线大片| 久久久久久久97| 亚洲成色综合网站免费观看| www.色色com| 天天色丁香| 五月伊人综合| 五月婷九九草| 久久婷婷五月| 五月丁香在线婷婷美女| 久久婷婷五月激情综合| 色婷婷香蕉| 思思re视频在线| 日韩在线成人电影| 日韩久久成人| 久久五月丁香婷婷| 五月婷婷啪啪网| 99九九视频| 欧美日韩成人| 五月丁香六月婷婷成人电影| 影音先锋激情网| 性爱激情久久| 丁香六月激情综合| 婷婷五月色情天| 亚洲成人免费在线| 五月情涩综合婷婷| 六月婷婷色综合| 婷婷五月天另类网站| 中文精品在| 亚洲最大成人综合网720P| 狠狠摸狠狠摸| 五月丁香九九九综合| 热99热久| 五月丁香久久| 五月婷婷人人人操| 亚洲婷婷激情五月天| 99热91| 婷色综合| 亚州美女| 激情五月天电影| 丁香五月无码| 五月天开心婷婷久久| 夜色综合网| 国产成人精品123区免费视频| 激情五月天网站| 四五月婷婷| 91九色精品| 超碰在线免费观看日韩| 荷兰av一级| 成人婷婷五月| 五月天伊人av| www,色婷婷| 亚洲av综合在线| 日韩啊啊啊| 五月开行婷婷色五月| 激情六| 色色色五月婷| 色操综合| 精品一二三区久久AAA片| 五月天停婷基地| 热久久视频99| 日韩影院三级| 久久精品99久久久久久| 99视频在线观看视频| 成人无码精品1区2区3区免费看 | 成人龟情网丁香五月| 久青草影院| 亚洲婷婷激情综合激情999精品| 激情小说之五月| 丁香午月AV中文字幕| 琪琪色热色色| 91色吧网| 99九精品| 啪啪色区| 91美女艹逼网站| 欧美成人AAA片一区国产精品| 九九热视频精品| 曰曰久久| 三级三久久线久久99久目本WW| 中文av网| 婷婷久久色| 五月婷婷丁香狠狠撸久久| 就爱啪啪婷婷| 五月丁香色婷婷基地| 激情五月激情综合网一级丸片 | 久久加勒比| AV在线免费观看不卡| 精品久久久久成人码免费动漫| 丁香五月天激情综合| 婷婷综合激情| 日日干天天| 久久婷婷五月综合色丁香| 99热这里只有精彩| 婷婷深爱五月| 思思99热| 大香蕉久热| 五月丁香久人妻中文| 射久久丁香五月| 婷婷五月色播| 五月丁香六月婷婷姐| 在线可以看的av网址| 第一区久久网站| 丁香五月婷婷激情视频播放| 丁香五月激情无码视频| 超碰renrenai| 丁香五月综合网亚洲综合欧美狠狠| 激情五月天婷婷视频| 五月天激情网页| 久久这里只有欧美| 婷婷五月天激情文学| 深爱婷婷丁香五月激情| 激情文学五月丁香六月婷婷| 91九色精品| 中文字幕综合网| 99精品久久| 国产欧洲欧洲精品久久| 黄桃AV无码免费一区二区三区| 五月天婷婷在线播放| 久热婷婷| 人妻丰满精品一区二区A片| 日本人妻伦在线中文字幕| 丁香五月花| 亚洲成人日韩无码精品| 亚洲精品网址| 国产激情综合| 日韩五月天婷婷| 五月激情网综合| 五月天激情小说欧美激情| 丁香五月婷婷六月丁香| 五月婷婷中文字幕| 666555。COm毛片| 精品五月花| 天天综合 99久久婷婷| 精品久热| 久久久精久人妻| 久久99网| 天天射影院| 99re欧美精品| 碰碰碰91| 久久天天天| 国产99视频永久免费| 99热免费看| 色婷婷www| 色婷婷影院| 9九九久久精品无码专区| 中文字幕91,综合| 综合久久97| 五月婷婷熟女| 日本3级片一区2区| 国产精品久久久久久久久久| 丁香五月综合无码趴趴| 婷婷激情五月天综合| 久久深爱激情网| 色激情五月| 婷婷五月丁香五月| 大香久久综合网| 激情婷婷丁香五月天| www.狠狠狠狠| 精品久久这里热66| 三级片AAA久久久AAA久久久AAA | 欧美激情2025| 9久精品| 国产真实乱对白精彩| 久婷婷色| 综合激情综合啪啪| 五月丁香婷婷在线| 亚洲欧洲美女在线观| 色色五月天网站| 狠狠色综合777| 思思 热 99| 婷婷五月激情丁香| 丁香婷婷五月人体| 五月丁香激情综合六月涩涩爱| 99性爱视频| 无码激情AAAAA片-区区| 99精品在线观看视频| 天天综合亚洲综合| 色99在线视频| 中文字幕一色哟哟哟哟| 日本欧美在线| 婷婷五月天狠狠色| 真实的国产乱XXXX在线91| 9|无码久久久久久| 丁香六月五月婷婷| 强壮公让我夜夜高潮A片视频| 亚洲无码影音| 亚洲婷婷丁香五月天激情小说| 天天色视频| 日韩无码专区| 久操b网| 激情五月婷婷在线| 丰满少妇猛烈A片免费看观看| xx久久| 热成人网| 熟女人妻视频| 色情五月天视频网| 九九碰九九爱97超| 狠狠干在线| 1010日日无码| 最近免费中文字幕大全高清大全1| 午夜AV网| 777久久综合视频| 99re在线精品视频| 久久日曰| 天天高潮夜夜爽| 天天干天天干天天| 热九九在线| 大香蕉五月婷婷| 99精品网址| 五月色天五月色| 99ri视频| 综合五月草| 久久亚洲天堂| 97碰碰电影| 久久成人人妻| 在线一起草av| 99热无码| 996re热精品视频| www.狠狠狠.com| 久久婷色| 五月停亭六月,六月停亭的英语| 狠狠干狠狠干| 爆乳熟女一区二区三区爆乳 | 97人人干人人操| 日韩AV免费| 婷婷五月天亚洲综合| 538在线精品| 五丁香激情综合| 五月丁香综合啪啪| 激情99。| 欧美成人AAA片一区国产精品| 任你艹| 伊人久久艹| 久9视频免费播放| 五月丁香婷婷导航视频| 久久加勒比| 日本五月天网站| 久久九九一區| 99热只有这里有精品| 五月情涩综合婷婷| 激情五月综合亚洲另类| 国内久久亭亭| 91婷婷色五月| 激情综合五月| 婷婷久久五月| 婷丁香五月天| 婷婷五月天亚洲综合网| 久久爱综合| 婷婷五月天堂一本在线| 青青久久91| 五月天婷婷综合免费| 六月激情婷婷综合| 97色在线| 夜夜涩涩涩| 99精品视频在线观看| 丁香五月久久综合| 亚洲无码AV片| 翔田千里 50岁 无码| 精品国产乱码久久久久夜深人妻 | 综合激情四射一theav| 丁香六月激情国产| 国産精品| 少妇高潮A片无套内谢麻豆传| 99热精品一区| 亚洲成人在线观看av| 激情五月六月丁香| 97操碰在线97| 丁香五月婷婷五月| 97人妻碰碰中文无码久热丝袜| 丁香五月久久| 丁香五月综合网亚洲综合欧美狠狠| 色婷婷aV四虎| 色色五月婷| 伊人久久艹| 亚洲日韩乱码一区二区三区四区| 九九热精品6| 97人妻碰碰碰久久久久-最近国语高清| 人妻无码精品一区| 久久加勒比| 99色性爰网络| 99色热视频| 色五月婷婷天堂| 九九综合久久| 婷婷五月六月激情| 日韩黄色电影| 五月丁香在线| 伊人五月天| 开心久久xxx色| 亚洲三级无码| 狠狠穞A片一區二區三區| 99热网站| 色婷婷精品视频在线播放| 97色色综合| 国产成人VA| 久久99精品久| 26uuu日韩| 天天干夜夜欢| 9热久久| 五月丁香色综合| 丁香五月色五月婷婷宗合| 亚洲传媒在线观看| 久久五月天婷婷| 欧美激情-区二区三区| 婷婷的99视频网站| 99噜噜噜在线播放| 天天操无码| 另类小说五月天综合网| 开心五月综合激情网| 在线看九一V图片| 欧美色久| 五月综合精品| 中文字幕AV网址| 国精产品一区一区三区免费视频| 天天爱天天操| 婷婷五月AV| 九九色热| 色婷婷yy久| 天天插综合网| 综合一区二区三区| 五月婷导航| 婷婷激情五月吧| 天天肏高清在线| 五月丁香婷成人网| 欧美性丁香色色五月天综合爱爱| 婷婷五月天欧美| 亚洲成人无码网站| 九九热在线视频| 思思久久99热只有频精品66| 91婷婷五月丁香碰| 久久久人妻人伦| 激情狠狠丁香月| 天天爽免费视频| 一级操逼内射在线视频| 成人片在线播放| 97久久超级| 中文字幕日产A片在线看| 久99视频在线观看| www.夜夜操.com| 樱花99视频| 怎么样可以看免费的一级av| 俺去也综合| 五月天婷婷爱| 色婷婷小说| 99热这里只有精品69| 久久九九视频网站| 婷婷五月丁香综合| 丁香婷婷六月天| 婷婷久久图片| 婷婷五月丁香性爱| 天久综合91综合首页| 天天做天天爱| 婷婷六月色| 在线视频99| 伊人五月综合网| 26uuu国产激情视频| 啪啪干伊人婷婷| WWW色五月天| 欧美精品99久久久| 大香蕉五月天婷婷| 亚洲国产另类av| 碰超亚洲| 91狼友视频在线观看| 99久久国产宗和精品1上映| 120分钟婬片免费看| 丁香五月色| 五月婷婷啪| 自拍偷窥99热| 亚洲AV成人在线| 色综合网址| 九九热自拍| 亚洲激情婷婷| www久| 超碰91在线| 超碰人人操在线| 日本欧美国产| 在线婷婷| 亚洲激情婷婷| 九热视频| 成 人片 黄 色 大 片| 无码AV免费精品一区二区三区| 亚洲另类在线观看| 99视频| 大香焦啪啪啪| 91婷婷丁香五月亚洲| 操逼电影免费看| 天天日天天久久青青| 国产婷伊人| 五月婷婷伊| 亚洲成人精品三区| 99久久人人| 免费成片在线观看| 26.uuu丁香五月婷婷| 97精品自拍| 久久婷婷五月综合97色一本| 久久99激情| 五月丁香亚洲综合网| 激情综合色婷婷啪啪六月天| 婷婷狠狠色| 色五月大| 五月天婷婷影院影院观看| 婷婷五月天视频| 综合激情在线视频| 五月激情小说| 日产精品一线二线三线芒果| 影音先锋一区二区资源站| 久久中国毛毛片爱久久| 999激情视频| 激情五月丁香婷婷夜夜操| 翔田千里aV中文字幕| 天天干天天操天天干天天操天天干天天操| 婷婷综合色色| 色婷婷综合五月| 婷婷丁香五月在线播放| 91丨九色丨熟女|新版| 免费黄色片子| 婷婷丁香五月在线观看91| 日韩日比视频| 色色色综合视频| 狠狠色精品综合| 久久综合五月天| 狠狠干夜夜干| 1024欧美看片| 五月婷婷导航| 九月丁香| 五月丁香六月婷婷婷婷| 丁香五月婷婷av| 久热99| 午夜成人av在线| 五月色婷婷影院| 亭亭丁香久久五月| 激情五月丁香五月| 狠狠狠狠狠干| 玖玖婷婷色五月| 久久精品99国产精品日本| 一级七香蕉| 三级大香蕉网| 91大操| 1024日韩| 日日日日做夜夜夜夜无码 | 婷婷99狠狠躁天天躁| 99九九玖玖| 99在线热| 五月婷婷六月色| 久久亚洲色导航| 亚洲精品一区中文字幕乱码| 日韩欧美四五区| 激情五月婷婷综合网| 久久久精久人妻| 91九九热| 色五月AV| 操碰99| 天天综合色| 天天天天天操| 色情婷婷久久五月天| 天天干天天操天天拍| 97碰碰在线观看视频| 67194成I人在线观看线路1| 天天做天天爱高潮片| 任你草| 蜜乳国产网站| 激情婷婷九月| 婷婷色网| 怡红院院久久| 另类图片五月天激情| 婷婷五月天综合AV| 色婷婷丁香五月天| 亚洲精品久久久久久久久久飞鱼| 天天色综合图片| 婷婷五月天AV在线| 99九九视频| 狠狠色狠狠鲁| 九九无毛| 一级精品999WWW| 五月婷婷亚洲天堂激情在线| 久久综合久色欧美综合狠狠| 色播激情五月天| 久啪欧美| 99re8这里只有精品99re8热视频| 婷婷激情蜜桃玖玖丁香| 久久五月天 91| 午夜天堂啪啪| 思思色综合网站| 日韩五月婷婷| 日本三级中国三级99| 亚洲一色色色色色色色色| 大香蕉视频婷婷| 99亚洲视频| 小视频aaa久久久| AⅤ在线播放网| 97精品自拍视频| 色综久久AV| 一起草日本| 欧美久热| 五月丁香六月婷婷综合伊人| 综合激情肏逼网| 日韩操人| 六月婷婷开心| 99亚色色色| 人人操婷婷| 99热超碰| 五月天婷婷在线播放免费| 五月丁香婷婷综合久久| 精品影院| 九九99热| 丁香五月天精品| 久久性爱激情| 五月婷综合| 激情亚洲网| 久久婷婷成人视频| 青青草五月天| 久久xx| 六月份天丁香婷婷| 天天日天天摸天天| 97极品在线| 老妇六区| 免费视频99| 亚洲色99| 开心五月激情| 性爱激情小说AV五月丁香花| 天天日日夜夜| 久久超视频| 六月丁香婷婷开心综合基地| 99re免费精品视频| 99视频综合网| 色播丁香| 九九re精品视频在线观看| 婷婷丁香五月天亚洲| 99操碰| 99视频日韩| 婷婷色综合| 色九亚洲| 毛片毛片毛片毛片| 五月天色婷伊人| 成人网在线视频| 日本91在线播放| 久久机热/这里只有精品| 日韩1区2区| 奸逼视频| 无码地址| 九色无码| 色综合网页| www.婷婷| 五月丁香色情| 国产精品美女| 国产淫熟妇| 五月婷婷激情四季| 九九综合网色全集| 五月婷婷丁香日韩在线| 99这里只有精品| 狠狠爱激情网| 99精品视频网站| 99在线视频精品| 五月总合激情网| 视频一二区| 天天综合色99| 8090在线影视少妇| 九九精品热| 国产97色在线| 成人va在线播放| 狠狠干五码| 五月色婷婷影视在线电影| 久久激情视频| 久草视频一,二三四| 九月大香蕉| 欧美97超碰| 丰满老熟妇BBBBB搡BBB| 日本色色色| 91日韩在线| 精品色| 亚洲天天综合| 99.色| 夜夜噜夜夜奇| XXXX岛国| 淫荡家庭AV| 99ri在线视频| 亚洲旡码| 婷婷五月大香蕉| 免费看无码视频A级| 综合久久首页| 伊人大香蕉毛片| 婷婷五月天成人网| 亚洲高清在线| 婷婷五月综合社区| 五月成人网站| 欧美人妻一区二区| 午夜婷婷五月天在线| 男女99免费视频| 97丁香婷婷| 99综合一区| 亚洲成人在线综合| 激情图片99| 国产精品岛国片在线观看免费| 色月丁| 欧美三级视频下载| 黄色五月婷| 亚洲 欧洲 国产 伦综合| 中文字幕婷婷在线| 男人視頻站| 艹天天射| 另类激情码| 久久丁香五月| 色琪琪一综合久久激情五月视频| 丁香综合久久| 91嫩草久久| 日韩色久| 色狠狠色综合久久久绯色AⅤ影视| 色婷婷丁香AV综合| 人妻中文字幕精品| 色九月国产| 精品九九网| 九九精品热播| 久久总和99| 久久精品色| 这里只有精品视频222| 五月婷婷丁香啪啪| 亚洲色婷婷婷婷人人爽| 五月婷婷香蕉| 综合色色婷婷| 日日夜夜久| 色婷婷综合网| 久9久9久9久9久9久9| 六月 丁香 视频| 天天操天天插| 精品香蕉99久久久久网站| 万月丁香狠狠爱| 激情五月狠狠喔| 级人人91| 97干在线看| 丁香 亚洲 久久| 成人在线不卡| 国产乱码久久| 婷婷丁香五月六月激情| 九九在线这里只有精品视频| 五月开心久久| 婷婷丁香成人| 九九成人| 2025超碰| 日韩无码人妻一区二区| 激情av在线| 午夜婷婷丁香| 美女主播野战视步页| 欧美va在线| w婷婷五月婷婷w| www激情| 五月激情综合网婷婷| 五月丁香天堂| 97在线综合| 99热20| 天天日天天干天天插天天射| 色无码| 性色五月天| 婷婷综合婷婷| 五月婷婷丁香六月| 99久久精彩视频。| 色婷激情网| 丁香五月天狠狠| 深爱开心激情| 婷婷综合中文| 99ri在线播放| 久久欧洲久久| 女力报到正好爱上你| 久久久这里有精品| 五月丁香六月在线| 亚洲久久天堂| 激情六月天婷婷| 五丁香激情综合| 婷婷五月天手机版视频| 色色色色av色色色色| 亚洲激情四射| 日本三级99人妇网站| 色九亚洲| 天天操夜夜夜拍拍拍| 激情五月天在线免费美女视频| 丁香五月电影| 99re资源在线视频导航| 婷婷五月香蕉| 精品综合五月| 色哟哟www| 色五月情| 大香蕉婷婷丁香| 精a品a视a频| xxx.色婷婷| 超碰在线99| 一起草av在线观看| 日韩六十路91性交电影| 婷婷激情人妻| 变态 另类 在线| 亚洲欧洲国产精品| 丁香激情婷婷网| 婷婷视频网| AⅤ网站在线看| 黄网免费看| 亚洲bt丁香五月天婷婷激情小说| 婷婷99| 久久天堂女人| 日韩一区二区在线播放| 亚洲AV色婷婷人禽五月天| 欧美色婷婷| 超碰精品国产首页| 玖玖九九99| 久久婷婷热| 90色免费视频| 一起草AV| 久久五月天综合| 国产婷婷婷| 五月婷婷性爱| 女人被男人吃奶到高潮| 亚洲免费综合一区| 天天爱天天做天天日| 裸体美女丁香五月天。 | 婷婷亚洲色| 成人午夜无码视频| 玖玖激情五月天| 俺去啦综合网| 欧美成人精品三区综合A片| 久99久精品视频| 日韩欧美一级大黄网站| 婷婷99狠狠| 色色免费网站| 九九热视| 欧美特大片黄| 97综合在线| 五月婷婷六月色| 久久人人添人人爽添人人片αV| 婷婷五月天视| 91超碰九色| 操逼巨乳91| 五月天影院| 91中文狠狠综合| 五月花综合网| 97五月天| 在线色婷婷| xxx日本东京热| 大香蕉九九| 丁香五月欧美成人| 色婷六月| 国洲夜色亚热在线久久| 亚州视频九九99| 日日夜夜天天| 成人 在线 日韩| 夜夜爱网站| 五月色情精品| 五月婷婷视频啪啪美女| 性色五月天| 丁香五月首页| 天天肏高清在线| 丁香五月婷婷综合91| 色狠狠综合入口| 在线视频婷婷| 亚洲人妻一区二区 | 久艹大香蕉| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 激情欧美丁香五月| 婷婷五月综合国产精品| 丁六月激情| 日韩成人综合网| 五月色综合| 色五月综合| 丁香婷婷基地| 欧美综合123区| 六月丁香中文字幕| 久久色9| 91美女艹逼网站| 人人草人人爱手机视频看看| 五月丁香六月片| 无码激情精品色婷婷久久久久| 综合激情婷婷| 丁香婷婷精品视频| 色99色| 婷婷丁香五月av| 婷婷天天日婷婷| 久久久ww| 久久开心五月天激情| 墨西哥毛片内射精| 婷婷五月丁香伊人| 韩日AV片| 日本在线va| 狠狠综合色网| 久久久精品人妻| 婷婷中文字幕网| 亚洲AV日韩无码| 亚洲综合久| 色五月天在线观看| 色色婷| 中文av网站| Av狠狠色丁香婷| 99热这里| www.五月婷婷久久.com| 成人五月丁香花| 激情小说之五月| 情色五月天 网站| 激情五月丁香六月综合AVXXXX| 五月婷天堂视频| 五月天成人在线视频网站| 99九九在线视频| 丁香激情久久| 色噜噜狠狠色综合AV兰草影视| 91viP在线看| 色色网站免费在线视频| 天天操夜夜操| 五月天激情婷婷丁香| 欧美日韩一区二区三区四区| 婷婷五月天电影网| 久青操| 丁香五月欧美| 丁香五月AV综合激情| 影音先锋美国A| 久久色五月天综合网| www91精品| 亚洲综合99| 人人干天天舔| 亚洲精品无码一区二区| 天天操天天日天天爽| 亚洲无码性爱| 婷婷欧美| 91久久久久久久久18| 九九黄色网| 色五月婷婷啪啪五月| 91狼友视频在线观看| 亚洲五月天另类小说图片| 国产精品丝| 99热这| 99成人精品| 色五月丁香A欧美com| 久久精品这里只有精品免费首页| 丁香婷婷基地| 超碰v| 色色射| 99久在线| 激情视频网址| 好吊丝aV| 五月婷中文娱乐综合| 婷婷综合激情| 丁香五月狠狠综合欧美| 五月天婷婷涩涩| 99热老网站| 99精品视频在线6| 91免费啪视频| 天天操无码| 另类五月婷婷| 久久久免费图片视频| 久色婷婷200| 99re在线观看| 欧美性生交XXXXX无码小说| 五月婷婷真爱激情网| 超碰在线视屏| www.9操| 国产va视频| 人人干人人干骚美女| 亚洲成av人影院| 人人视频人人干人人做| 五月婷婷综合激情网| 色五月丁香com| 26uuu日韩| 五月天天天操天天爽夜夜操| 天天干在线播放| 国产精品色婷婷99久久精品| 日本女天天爽| 2022人人操人人看| 激情五月色婷婷| 五月丁香在线看| 久久五月激情| 日本无码专区| 婷婷玖玖五月天| 婷婷五月天激情在线观看 | 五月停性愛| WWW.99热| 天天做天天爱天天综合| 啪啪色激情五月天| 久久婷婷五| 91一起操| 五月天婷婷乱论小说| 天天综合激情| 欧美色97| 超碰只有精品在线| 99ri精品视频在线观看| 婷婷六月天亚州| 精品婷婷| 在线视频区| 亚洲中文av| 亚洲成人五月天| 亚洲婷婷丁香五月在线| 五月天婷婷激情网| 精国产品一区二区三区A片| h亚洲| 开心五月激情五月丁香五月婷婷| 中文字幕综合网| 久9热插入| 六月色婷婷| 性视频久久| 五月婷婷真爱激情网| 九九熱最新視頻| 色色色地址| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 99热资源在线| 久久婷婷青青| 99热这里只有精品3| 亚洲操B| 亚洲五月天狠狠| 色婷婷久久| 色噜久| 人妻激情久久| 夜夜躁爽日日| 婷婷久久精品| 能直接看的AV网站| 国庆精品久久| WWW99热| 成人免费网站免费看| 婷婷丁香成人色综合| 久久婷婷视频| 粉嫩av懂色av蜜臀av熟妇| 色婷婷AV久久久久久久| 天天干夜夜欢| 中文字幕在线日亚州9| 色婷av| 久久五月天丁香花| 久久久天堂国产精品女人| 综合色色网| 五月婷视频在线| 丁香五月激情综合啪啪| 五月丁香六月婷精品视频| 这里只有精品免费在线视频| 99热国产婷婷| 国产免费性爱| 9999久久久久| 亚洲激情AV| 色七七九九| 六月丁香婷婷综合在线| 激情五月婷婷伊人| 可以免费观看的av网址| 91精品久久久久| 六月久久婷婷| 日本97久久久精品| 亚洲成人中文字幕| 色色999三级片| 91打屁股免费看| 久久久久久人妻| 婷婷综合在线| 欧美色婷婷| 99热官网| 91热爆在线| AV在线大香蕉| 婷婷五月天激情网| 久久思思精品| 五月天成人在线播放丁香| 影音先锋日本三级资源| 玖玖婷婷五月天| 五月婷婷中文| 六月香五月婷| va中文资源在线观看| 欧美日韩99| 成人在线网址| 爱射综合| 丁香五月婷婷色|