欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

分布式存儲架構深度解析:從數(shù)據(jù)切分到容災機制,構建PB級可靠存儲底座

分布式存儲架構深度解析:從數(shù)據(jù)切分到容災機制,構建PB級可靠存儲底座 1. 內容整體設計與思路拆解1.1 “海納數(shù)據(jù)”背后的存儲困境拿到“霄云碧海分布式存儲”這個名字的時候我第一反應是這家團隊對存儲的理解確實有點東西?!跋鲈啤睂氖窃粕腺Y源強調的是存儲系統(tǒng)在云環(huán)境中的適應能力“碧海”對應的是數(shù)據(jù)本身的體量和流動性海納百川。但真正讓我覺得值得拆解的是后面那句“海納數(shù)據(jù)釋放價值”。過去幾年我接觸過不少企業(yè)級存儲項目有一個感受特別深大多數(shù)企業(yè)的數(shù)據(jù)不是不夠多而是散。生產線上的工業(yè)數(shù)據(jù)在A系統(tǒng)里ERP里的結構化數(shù)據(jù)在B數(shù)據(jù)庫里監(jiān)控視頻在C設備的本地硬盤里研發(fā)文檔在D同事的筆記本電腦里。數(shù)據(jù)一旦散落就談不上分析、談不上挖掘、談不上合規(guī)留存甚至連“備份”兩個字都是奢望。某次我陪一家制造企業(yè)做過一次存儲現(xiàn)狀摸底光是梳理數(shù)據(jù)資產就花了三周最后發(fā)現(xiàn)真正被有效利用的數(shù)據(jù)不到12%。這就是“海納”二字的痛點所在——先把散落的數(shù)據(jù)裝進同一個池子里才有后續(xù)的一切。分布式存儲在這條鏈路上的位置非常微妙。往下要兼容各種硬件往上要支撐各種應用中間還要把數(shù)據(jù)可靠性、性能、擴展性三者平衡好。這不是堆幾塊硬盤、裝個開源軟件就能解決的事。霄云碧海這類產品真正要回答的問題是當數(shù)據(jù)量從TB級漲到PB級應用從單一業(yè)務擴展到幾十個并發(fā)業(yè)務存儲系統(tǒng)能不能做到不推倒重來、不遷移傷筋動骨、不性能斷崖。1.2 為什么分布式存儲成了必選項我可以直接說結論單機存儲的天花板太低了而且低得越來越明顯。傳統(tǒng)存儲陣列不管是SAN還是NAS擴展方式基本就是換更大的柜子或者再買一臺新設備。這個模式在數(shù)據(jù)量小的時候問題不大但一旦數(shù)據(jù)量上去兩個問題馬上暴露。第一是性能瓶頸控制器就那么多CPU和緩存后端磁盤數(shù)量再多也要排隊。第二是管理復雜度一堆獨立的存儲設備各自建池、各自管理、各自運維數(shù)據(jù)在這臺設備上還是在那一臺上沒有人能說清楚。分布式存儲的核心思路是“把雞蛋分到多個籃子里但讓每個籃子看起來像一個籃子”。通過把數(shù)據(jù)切分到多臺服務器上同時保存多份冗余配合分布式元數(shù)據(jù)服務協(xié)調讀寫從邏輯上對外呈現(xiàn)一個統(tǒng)一的、無限的存儲空間。這就繞開了單機存儲的物理天花板你缺容量就加服務器缺性能就加SSD或加節(jié)點整個系統(tǒng)在線擴容業(yè)務不中斷。“霄云碧?!边@類產品在架構上走的是當前主流的分布式路徑但據(jù)我了解它在幾個細節(jié)上做得比較有特色。比如小文件處理在視頻監(jiān)控、AI訓練數(shù)據(jù)、海量日志這類場景里幾億個小文件會讓很多存儲系統(tǒng)直接崩潰它通過內存索引合并、熱點數(shù)據(jù)識別等手段來處理這恰恰是很多開源方案的重災區(qū)。再比如多協(xié)議互通同一個存儲池同時撐起文件、塊、對象三種訪問方式業(yè)務側不需要關心數(shù)據(jù)到底放在哪個協(xié)議層下面這在實際交付中能省非常多事。1.3 這個產品適合誰來用從落地場景倒推的話我接觸過的典型用戶大概分三類。第一類是數(shù)據(jù)量巨大且有持續(xù)增長壓力的企業(yè)典型如視頻監(jiān)控平臺、智能交通、平安城市這類項目動輒上千路攝像頭每天產生幾十TB數(shù)據(jù)要求存儲系統(tǒng)至少能穩(wěn)定跑五年以上。第二類是需要海量存儲同時不能停機的關鍵業(yè)務比如醫(yī)療PACS影像、金融票據(jù)影像、政務電子檔案數(shù)據(jù)不能丟、訪問不能停容量要隨業(yè)務增長平滑擴展。第三類是大數(shù)據(jù)與AI基礎平臺這類用戶要的是存儲池直接對接計算集群數(shù)據(jù)讀寫的吞吐要跟得上GPU集群的“胃口”同時成本和運維復雜度要可控。如果你只是個人或小團隊數(shù)據(jù)量在幾十TB以內坦白說沒有必要上分布式存儲一臺NAS加兩塊大容量硬盤就夠了。但如果你已經感覺到“數(shù)據(jù)堆不下了”“擴容太痛苦了”“機房里的設備越來越多但存儲空間還是不夠”那就應該認真考慮分布式存儲方案了。2. 核心技術原理與數(shù)據(jù)可靠性機制2.1 數(shù)據(jù)是怎么“切”開存放的分布式存儲的第一個核心動作就是“切”。一個文件進入系統(tǒng)后會被切成固定大小的數(shù)據(jù)塊散落到不同的存儲節(jié)點上。切塊的大小是個學問切得太小元數(shù)據(jù)量會爆炸找一塊數(shù)據(jù)要問很多次元數(shù)據(jù)服務切得太大數(shù)據(jù)分布不夠均勻某些節(jié)點容易過熱。我見過不少方案把條帶大小定在4MB到64MB之間實踐中4MB在混合負載下表現(xiàn)比較平衡但也要看具體的文件大小分布。切完之后每個數(shù)據(jù)塊還要經過哈希算法確定它落在哪些節(jié)點上。這里有個關鍵點不是簡單地把塊N放到節(jié)點N上而是通過一致性哈希的機制讓數(shù)據(jù)分布與節(jié)點位置解耦。好處很明顯——集群中某個節(jié)點掛掉或被移除時只有該節(jié)點負責的數(shù)據(jù)塊需要重新定位其他大部分數(shù)據(jù)不動。這就把故障恢復的影響范圍控制到了最小。關于副本存放位置稍有經驗的設計會要求副本跨機柜或跨電源域分布。我見過一個實際事故案例某客戶的副本策略是默認的簡單散列結果恰好兩塊副本落在了同一臺物理服務器的兩塊不同硬盤上。硬盤故障時數(shù)據(jù)還在但服務器主板故障時兩塊副本同時丟失數(shù)據(jù)永久損壞。這類教訓我在這篇博文后面的故障排查章節(jié)還會細講這里先提醒一句買存儲可靠性策略一定要手工確認別用默認值。2.2 副本與糾刪碼魚與熊掌怎么選數(shù)據(jù)可靠性最直接的手段是多副本。當前主流方案里三副本是默認配置意思是一個數(shù)據(jù)塊同時存在三份拷貝任意壞掉兩份數(shù)據(jù)都還在。三副本的優(yōu)點是邏輯簡單、恢復快、讀性能好但代價是硬盤利用率只有三分之一——你買了90TB的硬盤實際可用只有30TB這在PB級場景下成本壓力非常大。于是有了糾刪碼Erasure Coding。它的思路類似于數(shù)學上的校驗方程把數(shù)據(jù)拆成K份再根據(jù)這K份算出M份校驗數(shù)據(jù)總共KM份散落在不同節(jié)點上只要壞掉的數(shù)據(jù)不超過M份就能完整恢復原始數(shù)據(jù)。最常見的配置是42或82前者允許任意2個數(shù)據(jù)塊損壞利用率仍然有66.7%比三副本省一半以上的空間。但糾刪碼不是免費的午餐。它在寫入時要做額外的編碼計算讀取時如果命中的副本不可用需要從多個分片中重組數(shù)據(jù)性能開銷明顯高于多副本。所以我給你的建議是熱數(shù)據(jù)、核心生產數(shù)據(jù)用三副本保證讀性能和數(shù)據(jù)安全溫冷數(shù)據(jù)、備份數(shù)據(jù)、歸檔數(shù)據(jù)用糾刪碼追求空間利用率。霄云碧海的存儲池設計里對不同數(shù)據(jù)可以設置不同的冗余策略這一點在同類產品中做得比較靈活實際交付時非常有用。2.3 一致性哈希與數(shù)據(jù)均衡的靈魂分布式存儲的“靈魂”是數(shù)據(jù)均衡。均衡得好集群里每個節(jié)點的負載差不多磁盤壽命穩(wěn)定熱點不會輕易出現(xiàn)均衡得不好哪怕整個集群平均利用率只有60%某些節(jié)點已經跑滿性能就開始抖動。一致性哈希是解決這個問題的經典方案它的核心邏輯是把整個哈??臻g想象成一個環(huán)每個節(jié)點在環(huán)上占據(jù)若干位置每個數(shù)據(jù)塊根據(jù)哈希值落在環(huán)上對應的節(jié)點上。這個機制優(yōu)秀的地方在于節(jié)點增減時只有少部分數(shù)據(jù)需要遷移不會像簡單取模那樣幾乎全部數(shù)據(jù)都要搬家。但光有基礎的一致性哈希還不夠實際存儲系統(tǒng)里還要配合“虛擬節(jié)點”機制。具體做法是每臺物理服務器在哈希環(huán)上不是只放一個點而是放幾百個虛擬節(jié)點讓數(shù)據(jù)分布更均勻。同時后臺還要有均衡任務持續(xù)掃描發(fā)現(xiàn)某些虛擬節(jié)點的數(shù)據(jù)量偏離平均值超過閾值就自動觸發(fā)數(shù)據(jù)遷移把熱點數(shù)據(jù)搬到空閑節(jié)點上。這是需要長期打磨的活不是上線配置一下就完事了。我負責過的一個項目里存儲上線三個月后我還專門統(tǒng)計過各節(jié)點的磁盤占用率最大偏差不到3%分布式設計在數(shù)據(jù)均衡上做得好的系統(tǒng)確實能讓你少操很多心。2.4 數(shù)據(jù)中心容錯從單節(jié)點故障到機房級故障數(shù)據(jù)可靠性不能只在單個節(jié)點層面考慮必須層層往上推。單盤故障是最常見的說白了就是硬盤的機械結構或電子元件損壞。這個層級靠RAID或者分布式副本就能扛住。節(jié)點故障比如服務器主板燒了、電源壞了、系統(tǒng)盤掛了這時候靠跨節(jié)點的副本或糾刪碼塊來恢復。機柜故障相對少見但一旦發(fā)生就是災難級的比如機柜斷電、交換機整柜掛掉。機柜級的容錯要求副本策略設置時考慮機柜維度確保同一份數(shù)據(jù)的多個副本不會落在同一個機柜里。真正高規(guī)格的場景還要考慮機房級容錯。兩地三中心是比較經典的配置生產中心和同城災備中心再加異地災備中心。霄云碧海這類產品通常也支持跨站點部署兩個或多個站點間的數(shù)據(jù)保持同步復制某個站點整體不可用時業(yè)務可以通過另一個站點繼續(xù)運行。我可以很負責任地告訴你很多團隊在存儲選型時數(shù)據(jù)可靠性的討論止步于“三副本夠不夠”但我見過的重大數(shù)據(jù)事故里真正出問題的往往不是副本數(shù)量不夠而是副本擺放位置不對、恢復時間太長、或者跨站點容災配置不當??煽啃栽O計是一個完整的鏈路任何一個環(huán)節(jié)掉鏈子其他的配置都白搭。3. 產品核心功能拆解與關鍵參數(shù)解析3.1 存儲資源池從“物理硬盤”到“邏輯空間”對一個存儲系統(tǒng)來說最核心的操作入口是存儲池。傳統(tǒng)存儲里你需要手動規(guī)劃RAID組、手動分配LUN、手動掛載文件系統(tǒng)每一層都要精確配置出錯了還要手動調整。分布式存儲把這一套簡化成了“資源池”的概念你把這批節(jié)點的磁盤全部交給存儲系統(tǒng)它自動把分散的物理空間聚合成一個統(tǒng)一的大池子你再從這個池子里切出若干邏輯卷或共享目錄分配給不同的業(yè)務使用。這里有個很關鍵的參數(shù)條帶寬度。它是每個邏輯卷的數(shù)據(jù)塊分散到多少個節(jié)點上的度量。條帶寬度越大單個文件的并發(fā)讀寫能調用的節(jié)點越多大文件性能越好但相應地小文件場景下元數(shù)據(jù)開銷會上升。霄云碧海的默認設置在通用場景下表現(xiàn)均衡如果你的業(yè)務是典型的視頻文件寫入可以調高條帶寬度來換取更高的大文件順序寫吞吐。存儲池的配額管理也是實際使用中的高頻功能。生產環(huán)境里不同部門、不同業(yè)務共享同一個存儲池配額可以在邏輯層面做好隔離防止某個業(yè)務“吃”掉整個集群的容量。3.2 多協(xié)議互通文件、塊、對象的統(tǒng)一存儲傳統(tǒng)的企業(yè)存儲環(huán)境里每種數(shù)據(jù)都有自己專門的設備和協(xié)議文件數(shù)據(jù)用NFS/CIFS的文件存儲數(shù)據(jù)庫數(shù)據(jù)用iSCSI/FC的塊存儲海量非結構化數(shù)據(jù)可能再單獨上一套對象存儲。結果是每種業(yè)務各搞一套存儲物理設備林立運維成本居高不下。霄云碧海這個產品的設計思路是“一池多協(xié)議”。同一個存儲池你可以同時掛載NFS/SMB共享給文件工作負載通過iSCSI提供塊設備給虛擬化和數(shù)據(jù)庫通過S3接口提供對象存儲給互聯(lián)網應用和備份軟件。數(shù)據(jù)在底層是同一個池子里的數(shù)據(jù)只是對外暴露的訪問接口不同。這種設計帶來一個很實際的價值不同協(xié)議的數(shù)據(jù)之間可以互相流動。比如某應用通過S3接口寫入的數(shù)據(jù)另一套業(yè)務可以通過NFS直接讀取備份軟件通過iSCSI把虛擬機磁盤鏡像備份到對象存儲區(qū)域。數(shù)據(jù)不需要在不同系統(tǒng)之間拷貝來拷貝去一份數(shù)據(jù)多種用途省下的存儲空間和管理精力非??捎^。3.3 智能QoS與數(shù)據(jù)分級在多業(yè)務間找平衡多業(yè)務共享一個存儲池最怕的是“一顆老鼠屎壞了一鍋湯”——某個業(yè)務突然發(fā)起大量并發(fā)寫帶寬被占滿其他業(yè)務的延遲瞬間飆升。這時候就需要QoS服務質量控制來約束不同業(yè)務的資源占用。QoS的本質是給每個業(yè)務限定流量上限和優(yōu)先級。比如視頻監(jiān)控業(yè)務可以設置寫入帶寬不超過500MB/s數(shù)據(jù)庫業(yè)務設置高優(yōu)先級確保延遲穩(wěn)定測試環(huán)境設置低優(yōu)先級高峰期主動讓路。這個功能在分布式存儲里很重要因為有多個業(yè)務共享底層資源沒有任何保護機制的話熱點應用一上來整個存儲集群都會受影響。數(shù)據(jù)分級也是實際部署中的剛需。全閃存的性能好但價格高SATA大容量盤性價比高但延遲不行。霄云碧海支持在一個集群里同時管理SSD、SAS、SATA不同類型的磁盤并通過自動分層策略將熱點數(shù)據(jù)自動遷移到SSD性能層冷數(shù)據(jù)自動沉降到大容量層。對用戶來說業(yè)務訪問的始終是同一個邏輯空間感受不到分層的存在但成本和性能的平衡天然達成了。3.4 快照、克隆與遠程復制數(shù)據(jù)保護的完整閉環(huán)數(shù)據(jù)保護和數(shù)據(jù)備份不是一回事。備份是把數(shù)據(jù)復制一份放到另一個地方快照是給某一個時間點的數(shù)據(jù)做一份“瞬間凍結的視圖”它幾乎不占用額外空間創(chuàng)建速度極快。一個典型的應用場景是每晚定時給數(shù)據(jù)庫卷做快照然后備份軟件基于這個快照執(zhí)行備份業(yè)務不用停備份也不會把生產卷的性能拖垮。克隆是快照的延伸它創(chuàng)建一個獨立的、可讀寫的邏輯卷副本創(chuàng)建時同樣幾乎不占空間只有在后續(xù)寫入新數(shù)據(jù)時才逐步分配空間。測試環(huán)境需要一份生產數(shù)據(jù)的“復制品”時克隆是最省空間的方案。遠程復制用于跨站點容災。同城災備的場景里數(shù)據(jù)同步復制的延遲通常在毫秒級別跨地域容災場景里延遲會高很多一般會選擇異步復制業(yè)務數(shù)據(jù)先寫入本地再由系統(tǒng)異步同步到遠端。這里有個容易被忽略的坑異步復制的RPO恢復點目標不是零意味著極端故障下會丟失最后幾秒到幾十秒的數(shù)據(jù)。業(yè)務對數(shù)據(jù)丟失的容忍度直接決定你該用同步還是異步。3.5 監(jiān)控與告警體系別等故障照亮你的臉存儲系統(tǒng)最容易出現(xiàn)的一個狀態(tài)是“看起來一切正常實際上某個磁盤已經悄悄報錯很久了”。我見過太多案例系統(tǒng)運行緩慢業(yè)務投訴運維排查一周最后發(fā)現(xiàn)是某塊磁盤的壞道率持續(xù)上升存儲系統(tǒng)一直在嘗試數(shù)據(jù)重建性能被拖垮。好的存儲產品必須提供足夠細粒度的監(jiān)控指標。節(jié)點CPU、內存、網絡吞吐、磁盤IOPS、延遲、隊列深度、每塊磁盤的健康狀態(tài)都應該有實時曲線。霄云碧海在交付時通常會在管理界面預置一套常用的監(jiān)控看板但我覺得真正專業(yè)的做法是根據(jù)自己的業(yè)務特點再定制幾塊看板高峰期看延遲趨勢業(yè)務發(fā)布期間關注IOPS變化定期查看磁盤健康狀態(tài)。告警閾值也要因地制宜比如常規(guī)環(huán)境里磁盤延遲超過20ms才告警但如果是全閃存環(huán)境這個閾值就應該壓到5ms以下。4. 實操部署與配置指南4.1 部署前的硬件規(guī)劃與網絡設計部署分布式存儲之前硬件規(guī)劃是最不能省的一步。節(jié)點數(shù)量建議至少3臺起步這是數(shù)據(jù)可靠性的底線。3節(jié)點環(huán)境下即使采用三副本策略任意一臺節(jié)點故障另外兩臺還能保留完整的副本數(shù)據(jù)不會丟失。如果只有2節(jié)點無論怎么設計總有一類故障會導致數(shù)據(jù)不可用——而“集群過半可用”的選舉機制也會因為只有2個節(jié)點而變得非常脆弱。每臺節(jié)點建議配置2塊系統(tǒng)盤做RAID1用來安裝操作系統(tǒng)和存儲軟件數(shù)據(jù)盤根據(jù)容量需求配置。網絡方面生產環(huán)境強烈建議部署獨立的存儲網絡與業(yè)務網絡物理隔離。IP地址規(guī)劃要預留充足管理網、業(yè)務網、存儲內網、集群通信網至少規(guī)劃4個網段。我見過一個真實案例某項目圖省事沒有隔離存儲網絡存儲內網和辦公網混在一起結果辦公網內一臺中了病毒的機器瘋狂發(fā)包把二層網絡打滿存儲集群內部通信超時、節(jié)點被頻繁判定為故障整個存儲癱瘓了兩個小時。這類問題一旦發(fā)生排障成本極高。規(guī)劃階段多花一天工后期能少熬半個月的夜。4.2 存儲池創(chuàng)建與冗余策略選擇部署完成后第一件事是創(chuàng)建存儲池。這里涉及幾個關鍵參數(shù)池名稱建議帶上業(yè)務標識方便后續(xù)管理。冗余策略要根據(jù)數(shù)據(jù)重要性和未來數(shù)據(jù)量來權衡核心數(shù)據(jù)庫、虛擬化平臺建議選擇三副本機制備份歸檔、日志類冷數(shù)據(jù)建議選擇糾刪碼機制進行空間優(yōu)化。條帶寬度和熱備策略一般保持默認即可但我會建議把自動數(shù)據(jù)重建的并發(fā)數(shù)調低一點尤其當磁盤數(shù)量和業(yè)務負載都比較高時重建并發(fā)過高會搶占正常IO。存儲池創(chuàng)建時可以指定允許的節(jié)點范圍。比如把SSD節(jié)點單獨劃為高性能池大容量SATA節(jié)點劃為歸檔池兩者物理隔離避免性能互相影響。對象存儲桶、文件共享目錄、塊設備卷的創(chuàng)建都是在池的基礎上繼續(xù)細分每一步的命名和配額規(guī)劃建議在創(chuàng)建前就確定好。4.3 QoS與性能調優(yōu)的平衡策略QoS配置的核心是根據(jù)業(yè)務優(yōu)先級和負載畫像來確定參數(shù)。視頻監(jiān)控業(yè)務的特點是持續(xù)寫入、帶寬占用高、允許一定延遲典型配置可以設置帶寬上限在500MB/s左右避免它在高峰期搶占整個集群的寫入能力。數(shù)據(jù)庫業(yè)務的特點是IOPS要求高、延遲敏感配置時應該把優(yōu)先級設為最高并限定并發(fā)隊列深度保證延遲穩(wěn)定。測試環(huán)境這類非關鍵業(yè)務設置較低的優(yōu)先級和帶寬上限即可。性能調優(yōu)方面網絡參數(shù)的調整影響最直接。存儲內網建議開啟巨幀MTU 9000可以顯著降低大塊數(shù)據(jù)寫入時的CPU開銷。塊設備隊列深度默認值為128在高并發(fā)場景下可以適當調高到256甚至512但要注意觀察底層磁盤的延遲曲線不要盲目調高導致延遲飆升。文件寫入緩存建議根據(jù)業(yè)務類型開啟或關閉數(shù)據(jù)庫類業(yè)務通常建議關閉寫入緩存避免極端情況下的數(shù)據(jù)丟失視頻寫入這類順序寫業(yè)務則建議開啟寫入緩存性能提升非常明顯。4.4 上線驗證清單系統(tǒng)性檢查與長期巡檢上線前的驗證不能只是跑一遍性能測試就完事。我自己常用的驗證清單包括節(jié)點故障模擬測試是必選項拔掉一臺節(jié)點的網線或直接斷電觀察集群是否按預期觸發(fā)數(shù)據(jù)重建業(yè)務讀寫是否中斷。磁盤故障測試是在拔掉一塊數(shù)據(jù)盤后查看數(shù)據(jù)是否自動從其他副本恢復以及告警是否及時觸發(fā)。性能基線測試建議工具組合使用順序寫、隨機讀、混合讀寫都要覆蓋記錄下基線數(shù)據(jù)方便后續(xù)做對比。上線后的巡檢同樣重要“日看健康、周看容量、月看性能、季看報告”是我的個人習慣。每日檢查節(jié)點健康狀態(tài)、磁盤告警、網絡丟包每周查看容量增長趨勢估算可支撐天數(shù)每月對比性能基線確認是否有明顯劣化每季度做一次整體狀態(tài)報告檢查是否有節(jié)點負載失衡、數(shù)據(jù)分布不均等問題。這個節(jié)奏不一定適合所有團隊但“定期巡檢、數(shù)據(jù)留痕”這個思路本身建議每個存儲運維團隊都建立起來。5. 典型應用場景與選型建議5.1 視頻監(jiān)控與智能安防海量小文件與大流量的雙重考驗視頻監(jiān)控領域是分布式存儲最典型的落地場景之一。一個中等規(guī)模的智慧城市項目上千路高清攝像頭每路每小時產生大約4GB的視頻數(shù)據(jù)一天的增量就是幾十TB。更麻煩的是視頻文件不僅大還切得非常碎——以5分鐘為一個文件段的話一天產生幾十萬個文件一個月就是上千萬個。這種文件畫像對傳統(tǒng)存儲是災難。大量小文件的元數(shù)據(jù)操作會讓傳統(tǒng)NAS的性能斷崖式下降單目錄下的文件數(shù)量過多也會讓傳統(tǒng)文件系統(tǒng)的inode耗盡。霄云碧海這種分布式存儲通過內存索引合并、目錄分片等技術處理億級小文件場景要輕松得多。再加上糾刪碼帶來的空間優(yōu)勢同樣是100TB裸容量分布式方案可用的有效空間比傳統(tǒng)三副本方案多出一倍綜合成本優(yōu)勢非常明顯。5.2 虛擬化與私有云底座塊存儲的穩(wěn)定性挑戰(zhàn)虛擬化平臺的存儲需求核心是“穩(wěn)”。虛擬機磁盤文件是隨機讀寫密集的負載存儲延遲稍微波動業(yè)務系統(tǒng)就會卡頓。虛擬機的創(chuàng)建、克隆、遷移都要依賴存儲的快照和克隆能力沒有這些功能虛擬化運維效率會大打折扣。分布式存儲作為虛擬化底座的價值在于它天然支持橫向擴展虛擬機數(shù)量增加、存儲壓力增大時加節(jié)點就可以了不像傳統(tǒng)存儲那樣提前糾結容量規(guī)劃。iSCSI是最常見的接入方式配合快照功能實現(xiàn)虛擬機備份配合克隆功能實現(xiàn)測試環(huán)境的快速復制。如果你在部署私有云存儲層面的靈活性和彈性建議作為一個核心考察項來評估。5.3 大數(shù)據(jù)與AI訓練吞吐量與穩(wěn)定性的極限拉扯AI訓練場景對存儲有兩層要求第一層是海量數(shù)據(jù)集接入時的寫入吞吐動不動就是TB級數(shù)據(jù)灌入訓練集群第二層是訓練過程中頻繁讀取樣本數(shù)據(jù)時的IOPS和低延遲。訓練任務跑起來之后存儲IO稍有波動GPU的利用率就掉下來訓練時長被拉長平臺成本直接上升。霄云碧海在AI場景的適配主要靠三件事一是多協(xié)議互通同一個存儲池可以同時通過S3對象接口向大數(shù)據(jù)平臺供數(shù)、通過NFS向訓練集群掛載數(shù)據(jù)集二是QoS保障訓練任務的存儲吞吐可以被優(yōu)先保障三是與計算集群的協(xié)同規(guī)劃通過合理的條帶寬度配置讓訓練數(shù)據(jù)分布到更多節(jié)點上提升并發(fā)讀取能力。5.4 數(shù)據(jù)歸檔與備份大容量與低TCO的綜合考量歸檔和備份場景的特點是訪問頻率低、數(shù)據(jù)總量大、增長速度快。傳統(tǒng)方案通常是用磁帶庫或物理硬盤冷備管理復雜、存取不便。分布式存儲在這個場景下的優(yōu)勢是容量彈性大、協(xié)議兼容好備份軟件可以通過S3接口直接把備份數(shù)據(jù)寫入對象存儲桶到期后自動分層到歸檔池整個過程全自動。如果以TCO總體擁有成本來衡量這個場景建議重點關注糾刪碼配比和硬件選型。大容量SATA盤配合82糾刪碼能實現(xiàn)非??捎^的空間利用率。數(shù)據(jù)分級功能把近期備份保留在高性能層、歷史備份沉降到歸檔層性能和成本的平衡能達到比較理想的狀態(tài)。5.5 場景選型對照哪種需求最適合上分布式存儲場景數(shù)據(jù)特征分布式存儲優(yōu)勢推薦配置視頻監(jiān)控流式寫入、億級小文件元數(shù)據(jù)處理能力強、糾刪碼省空間三副本或42糾刪碼開啟寫緩存虛擬化/私有云隨機讀寫、延遲敏感多節(jié)點并行IO、快照/克隆齊全三副本高優(yōu)先級QoS大數(shù)據(jù)/AI大文件吞吐、并發(fā)讀取高吞吐、多協(xié)議互通三副本調大條帶寬度歸檔/備份低頻訪問、海量數(shù)據(jù)靈活分層、S3兼容82糾刪碼自動分層6. 常見問題與故障排查實錄6.1 節(jié)點故障后數(shù)據(jù)重建慢業(yè)務被拖垮有次做POC測試模擬了一塊磁盤故障數(shù)據(jù)開始自動重建。結果發(fā)現(xiàn)重建過程占滿了幾乎所有磁盤IO業(yè)務讀寫延遲從3毫秒飆升到200毫秒以上。問題出在重建參數(shù)的默認配置上——重建并發(fā)和帶寬限制設得太高沒有給業(yè)務IO留空間。解法很簡單把重建速度限制調低比如將重建帶寬設為總帶寬的20%到30%并設置重建任務只在業(yè)務低峰期加速執(zhí)行。磁盤數(shù)量比較多的集群可以設置“故障域內并行重建”但如果是小規(guī)模集群還是建議保守一點犧牲一點重建速度保住業(yè)務平穩(wěn)。這個原則在分布式存儲的運維里非常重要任何后臺任務都必須考慮對前臺業(yè)務的影響。6.2 同一塊數(shù)據(jù)的兩份副本落在同一臺機器上這是我在某個客戶的集群里發(fā)現(xiàn)的嚴重隱患。表面上看集群配置了3副本策略數(shù)據(jù)應該相當安全。但深度檢查數(shù)據(jù)分布后發(fā)現(xiàn)大約有5%的數(shù)據(jù)塊有三份副本中的至少兩份落在了同一個物理節(jié)點上。也就是說一旦這臺節(jié)點整體宕機這些數(shù)據(jù)塊會同時丟失兩份安全性完全依賴于剩余的那份。排查下來發(fā)現(xiàn)是初始化部署時節(jié)點尚未全部加入集群早期寫入的數(shù)據(jù)按照當時的節(jié)點拓撲做了副本分布后期節(jié)點擴容后后臺數(shù)據(jù)重建和遷移并沒有主動糾正歷史副本分布問題。這個案例給我們的教訓是容量和健康度之外副本分布也是巡檢時的重要檢查項。建議每季度做一次副本分布分析確認所有數(shù)據(jù)塊的副本都均勻分布在不同的故障域內。6.3 數(shù)據(jù)不均衡導致熱點節(jié)點性能時好時壞某客戶反饋存儲性能不穩(wěn)定業(yè)務高峰期延遲時高時低。排查后發(fā)現(xiàn)負載集中在一臺節(jié)點上這臺節(jié)點的磁盤IOPS接近飽和其他節(jié)點的利用率還不到40%。原因是業(yè)務側創(chuàng)建了一個巨大的存儲池池內只分配了一個文件共享目錄所有業(yè)務數(shù)據(jù)都往這個目錄里寫數(shù)據(jù)塊的分配集中在部分節(jié)點上。解決思路是拆池和分散目錄結構。我把已有的共享目錄按業(yè)務類型拆分成多個目錄掛載點同時把不同業(yè)務的數(shù)據(jù)目錄分散到不同的頂層前綴下讓數(shù)據(jù)塊的哈希分布更均勻熱點逐步被打散。分布式存儲雖然號稱自動均衡但業(yè)務側的目錄組織方式、邏輯卷規(guī)劃方式對最終的數(shù)據(jù)分布影響巨大。合理規(guī)劃目錄層級和掛載點數(shù)量是做好分布式存儲日常運維的重要環(huán)節(jié)。6.4 網絡抖動導致節(jié)點被誤判為故障存儲內網發(fā)生一個短暫的廣播風暴某個節(jié)點跟集群其他節(jié)點之間的通信斷開大約10秒鐘。結果這個節(jié)點被集群判定為心跳超時觸發(fā)了數(shù)據(jù)重建流程大量額外IO瞬間涌入集群造成嚴重的性能波動。這類問題在分布式系統(tǒng)里很常見網絡質量不穩(wěn)定集群就會頻繁觸發(fā)故障檢測和數(shù)據(jù)重建而每次重建都是額外的負載可能讓集群進入惡性循環(huán)——節(jié)點被迫下線重建引發(fā)性能下降性能下降導致更多節(jié)點心跳超時。根本解法是網絡層面保證質量存儲內網務必使用交換機獨立VLAN并關閉不必要的廣播協(xié)議集群層面的心跳超時時間和重試次數(shù)也可以適度調大提高對短暫網絡抖動的容忍度。6.5 容災演練中發(fā)現(xiàn)“備份”其實沒有生效我參與過某項目的容災演練原計劃是把生產數(shù)據(jù)從主站點切換到災備站點。結果演練一開始就發(fā)現(xiàn)問題災備站點的數(shù)據(jù)落后主站點超過四個小時而且部分目錄根本沒有同步過去。排查發(fā)現(xiàn)遠程復制策略只配置在了少數(shù)幾個核心卷上其他卷的復制策略要么沒配置要么配置后一直沒有觸發(fā)過完整同步。這類問題最好的解決方式是容災配置完成后做一次全量校驗確認所有需要保護的數(shù)據(jù)都納入了復制策略每個月做一次增量校驗確認復制鏈路的延遲在可接受范圍內。但最有效的還是每年至少做一次正式的容災演練演練過程中才能真正發(fā)現(xiàn)配置是否生效、業(yè)務流程是否依賴了未被保護的數(shù)據(jù)路徑。7. 從TCO角度看分布式存儲是否值得投采購成本只是存儲總成本的一部分甚至不是最大的一部分。一個存儲系統(tǒng)五年內的總擁有成本基本由采購成本、機房成本、運維成本、業(yè)務中斷成本和數(shù)據(jù)丟失風險五個部分組成。分布式存儲的優(yōu)勢在采購成本之外非常明顯機房成本方面同樣的有效容量分布式存儲加上糾刪碼之后需要的物理機架空間和功耗通常只有傳統(tǒng)三副本方案的三分之二。運維成本方面分布式存儲的管理界面通常可以統(tǒng)一管理幾百個節(jié)點相比管理同等容量的多套傳統(tǒng)存儲設備人力投入的差距是數(shù)量級的。業(yè)務中斷成本方面在線擴容、節(jié)點替換不影響業(yè)務的能力在7×24小時運行的環(huán)境里價值巨大。但分布式存儲也不是萬能解藥。小規(guī)模場景、超低延遲需求單次IO低于100微秒、強一致性要求極高的核心交易系統(tǒng)仍然需要認真評估??傮w來說如果你的數(shù)據(jù)量在50TB以上且每年有30%以上的增長打算改造或新建私有云或者正在為某一個數(shù)據(jù)大類的存儲方案發(fā)愁我建議你把分布式存儲作為重點候選之一。回到“霄云碧?!边@個產品本身我有個直觀感受它能在這個競爭激烈的存儲市場站住腳靠的不是某一個炫技的功能而是把數(shù)據(jù)可靠、容量可擴展、多業(yè)務共享、運維簡單這幾件“基本功”都做得比較扎實。名字里說的“海納數(shù)據(jù)釋放價值”在真正生產環(huán)境中其實是靠每一個細節(jié)打磨出來的。別管名字多響亮到了機房最終看的還是那塊壞了盤能不能自動補上、業(yè)務高峰時延遲穩(wěn)不穩(wěn)定、五年后數(shù)據(jù)還在不在。最后分享一個小經驗評估任何存儲產品別只看廠商提供的性能測試報告一定要自己在真實業(yè)務環(huán)境里做POC把你們最具代表性的負載跑上去把節(jié)點拔了測試故障恢復把容量寫到40%以上再看性能表現(xiàn)。分布式存儲最大的特點是“分布式”——不同產品的分區(qū)、均衡、故障處理機制各不相同紙上談兵完全看不出來只有真實環(huán)境的測試數(shù)據(jù)才靠譜。這也是我作為長期跟存儲打交道的人能給同行最實在的一條經驗。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99干免费视频| 久久机只有这里精品| 色综合色色| 欧美色婷婷| 亚洲视频一区| 999激情视频| sS丁香五月婷婷| 天天粽合合合合| 二色av| 婷婷丁香五月社区亚洲| 99久久网站| 成人五月天在线视频在线观看| 日韩成人无码人妻| 亚洲激情五月丁香久久久久| 91超碰在线观看| 欧美五月婷婷| 99热都是精品| 五月丁香花激情啪啪网| 婷婷五月天777| 久狠狠| 大地资源色婷婷视频在线| www99xxxx五月丁| 六月丁香婷婷在线波多| 99精品视频网| 久久久久久欧美精品se一二三四| 丁香五月激情综合网激情五月| 日本特黄aaaaa| 色播播五月天| Caoub青青超碰 | 婷婷趴趴| 996热re视频精品视频这里| 色五月综合| 色色色天堂网| 天天噜噜| 开心五月婷婷婷美女| 五月婷婷花| 亚洲操操操| 人人操婷婷| 婷婷久久久| 五月婷婷开心网| 婷婷伊人久久| 91Chinese在线| 五月天婷婷色情| 九九热免费| 丁香五月瑟瑟| 开心五月婷| 中文字幕丰满乱孑伦无码专区| 婷婷午夜精品久久久| 婷婷亚洲在线| 色九九中文字幕| 情欲综合网| 成人av中文字幕| 天堂在线9| 91干视频| 啊v视频在线观看| 欧美色色色色色色| 久婷婷婷| 丁香色五月天| 9这里只有精品| HD久久精品视频| 激情第四色| 99久久玖玖| 婷婷五月色惰| 日韩狠狠色| 狠狠色大香蕉| 婷婷九月色| 女人天堂AV| 亚洲五月天第一综合干| 性爱激情五月| 人妻aV在线| 97在线/亚洲| 噜一噜在线| 五月天综合在线| 久久99热这里只有精品| 天天碰天天插天天操| A片试看50分钟做受视频| 天堂AV在线看| 五月婷婷六月综合| 国产成人精品一区二三区熟女在线| 久一网站| 香蕉久久国产AV一区二区| www.操逼comm| 99热加勒比| 97干在线播放| 伊人春天av| 无遮挡国产高潮视频免费观看| 丁香九月婷| 欧美色骚婷婷五月天| 久久xx| 日韩抽插操逼| 五月丁香婷婷久久| 丁香婷婷老司机久操| 五月天色丁香| 五月丁香六月激情综合啪啪| 久久一品区| 婷婷无码视频| 亚洲精品大片| 呦呦v线| 九月综合| 亚洲黄网AV| 六月丁香婷婷综合狠狠爱夜夜爱| 成人欧美日韩| 九月婷婷综合八月丁香在线观看| 成人做爰高潮A片免费视频| 99热在这里只有精品| 996热re视频精品视频| 99久久这里只有精品| 天天插天天很| 天天日狠狠| 97热视频| 伊人玖玖综合| 五月丁香婷婷五月色| 国产成人综合在线| 久久a热| 久久免费精品小视频| www.97干视频| 超碰丁香五月| 国产精品涩涩涩视频网站 | 九九热再线九九视频免费在线观看| 国产欧美日韩综合精品一区二区| 天天爽夜夜爽天天爽夜夜爽| 国产色丁香| 五月天天堂久久| 色狠狠色综合久久久绯色aⅴ影视| 五月丁香久久| 六月丁香五月天| 五月婷婷内射网| 五月丁香花激情综合网| 黄色高清无码| 婷婷色情 | 色优久久| 91久久久久久| 亚洲综合五月天| 夜夜资源站| 玖玖资源站中文| 亚洲激情淫网| 麻豆123区| 俺五月| 美女激情综合| 欧美色图45678| 色欲五月婷婷| 六月激情婷婷综合| 日韩美女羞羞网站在线观看| 97久久五月丁香婷婷| 伊人激情综合| 久久婷婷六月综合综合| 婷婷中文字幕网| 久久ri精品视频| 久久五月天激情| 大伊香蕉精品视频在线 | 九月色婷婷综合亚洲| 7EzOBIhNq85TO| 精国产品一区二区三区A片| 九九热精品视频在线观看| 能看的av| 色婷婷五月综合色婷婷| 九九热99视频在线| 99久热在线精品| 婷婷偷拍网| 高清无码 一区 二区 三区| www.俺去也com| 深爱1激情网| 丁香五月天啪啪a日本| www久热com| 婷婷激情五月天小说校园| 色99网| 97色色色色色色色| 色色影院aaaav| 婷婷五月天改成什么了| av在线色五月丁香婷区久| 久热只有这里精品| 伊人久久婷| 九九伊人网| 亚洲偷| 91性人人| 梁铮版《蜘蛛女侠》在线| 婷婷色五月天综合网| 五月天播播中文字幕| www.婷婷| www.色多多婷| 91综合色| 提提热五月天婷婷| 五月天丁香啪啪综合| 2015好吊操| 五月婷婷综合激情| 538在线精品| 激情五月丁香五月| 99色久| 美女黄频aⅴ视频| 亚洲色激婷| 色狠狠色噜噜AV天堂五区消防| 棕合影院色色| 亚洲精品**不卡在线播he| 超碰色女| Va另类视频| 婷婷少妇激情| 九九热狼人| 无码色色色色色| 深爱五月最新网址| 丁香五月影院| 精品久久婷婷| 嫩草视频观看| 日韩久久这里只有精品| aa久久| 五月婷婷综合网| 欧类av怡春院| 性五月激情| 4399亚洲视频| 五月天婷婷色情| 插插干干干色| 国产成人亚洲综合A∨婷婷| 色九月综合网| av在线中文| 丁香五月天在线| 性色做爰片在线观看WW| 性色欲情 网站| 五月丁香激情四射| 九九99热| 综合网五月| 伊人狼人干| 色亚洲中文| 99久久9| 久久思思99| 丁香五月天激情网| 色婷婷伊人激情在线观看| 综合AV在线| 亚洲综合五月天婷婷丁香| 天天se在线视频| 99国产性感视频| 欧美三级巜人妻互换| 亚洲精久久| 五月丁香六月婷| 五月婷婷亚洲色图| 99热.com| 热热99爱爱| 精品草原久久视频| 超碰在线资源| 啪到高潮激情丁香五月| 国成人网| 玖玖精品视频| 九九九九九九毛片| 91色涩| AAA久久久AAA久久久AAA| 天天综合中文| 综合色婷婷| 丁香六月色香蕉视频| 99在线精品免费视频| 狠狠爱综合网| 亚洲亚洲人成综合网络| 五月婷婷久久网| tingtingseav| 99热这里有精品| 色婷婷a| 亚洲乱码在线观看| 99热精品在线观看| 五月香婷婷| 五月天综合区| 一级性爱大片| 婷婷97碰碰| 99热偷拍| 色啦啦视频| 伊人AV五月婷| 9 1超碰九色| 五月天婷婷基地| 婷婷五月天电影在线| 97色精品视频| 亚洲综合无码| 99噜噜噜在线播放| 国色天香伊人狠狠色| 中文字幕成人日韩| 影音先锋色婷婷| 思思99精品视频在线观看| 超碰成人公开| 99热官网精品在线| 五月综合激情综合久| 91九色无码内射| 美女激情综合| 色色影院aaaav| 另类丁香综合| 免费视频无码| 色色com| 欧洲一区二区| 99操不停| 五月丁香六月婷| 婷婷丁香五月噜噜噜| 激情伊人网| 婷婷丁香五月亚洲17cao| 五月成人综合| 在线观看国产高清视频免费网站| 五月丁香婷婷综合网色欲| 91人无码久久久久久| 久久天天| 婷婷五月在线观看| www.日韩艹| 久久久五月天网站| 在线观看国产高清视频免费网站| 激情综合五月婷婷丁香| 婷婷五月天.com| 国产在线自| 亚洲AV免费在线| 超碰99资源站| 成人精品亚洲性爱| 色播五月丁香婷婷| 欧美性爱一区| 日本在线wwww| 97超级啪啪在线观看| 九九热黄色| 色五月五月丁香| 人妻丰满精品一区二区A片| 婷婷深爱五月天| 色婷婷久久综合久色| 日本欧美999久久久三级片| 九九九九操逼| 日本欧美成人片AAAA| 99精品在线观看视频| 五月天婷亚洲天综合网综合| 久久9热| 婷婷五月丁香人妻无码高清| 青草视频在线观看视频| 久久久久人妻精品| 日日夜夜天天综合| 丁香五月天啪啪| 色欲婷婷五月天丁香| 思思热久久久在线| 99热在线免费观看精品| 6080av| 色婷婷基地在线| 五月丁香色婷婷色| 亚洲五月天色色| 影音先锋自拍网| 亚洲日韩乱码一区二区三区四区| 99精品视频网站| 97超碰在线免费观看| 久久婷婷激情| 婷婷涩五月| 99视频这里有精品| 婷婷情爱五月天6| 久热AA| 91狠狠综合网| 五月天婷婷网站888| 色五月婷婷五月| 九九视屏| 色色A| 丁香婷婷久久五月天| 嫩模草| 日韩日比视频在线| 亚洲亚洲人成综合网络| 九九色逼| 婷婷亚洲综合| 天天插天天插| 亚洲精品第一色色色色色色| 久婷婷视平| 丁香婷婷五月激情四射网| 综合av在线| 伊人爱爱日本| 久久9热| 精品乱码视频| 丁香亭亭久久| 色 五月婷婷基地| 美女天天爽| 一区视频网站| 国产肥白大熟妇BBBB视频| 免费无码毛片一区二区A片| 丁香五月婷婷总啪啪| 精品自拍99| 成人网丁香五月| 夜夜久久综合网| 久久这里只精品66| 操逼福利视频| 99久久免费精品| 99精品在这里| 亚洲人妻av| 亚洲乱码日产精品BD在线观看| 中文字幕日产A片在线看| 三日本无码| 久热伊人9| 97福利视频| 五月天婷婷色紫薇阁| 米奇影视五月天| 天天艹夜夜艹| 激情av| 久久久九九视频精品18| 视色网在线播放| 婷婷免费视频| 久久A极片| 婷婷 丁香 久久| 久久色天堂| 99热这里只有精品手机在线观看| 激情五月天激情小说| 日韩啪啪网| 99国产精品久久久久久久久久久| 五月丁香六月婷婷综合| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 激情色色| 99色热视频在线| 丁香五月婷婷基地| 五月丁香琪琪| www,26uuu,c0m,色情| 五月丁香人妻| 1024欧美日韩精品久久久| 婷婷久久五月| 桃色激情网| 国产免费一区二区在线A片视频| 婷婷七月丁香色色| 狠狠操狠狠狠| 丁香五月手机在线| 成人av观看| 伊人婷婷五月天av| AV电影在线播放| 黄色五月婷婷| 99视频这里有精品| AAA级久久久精品| 婷婷大乡焦噜噜| 欧美色性色好| 影音先锋一区二区资源站| 欧亚色色| 丁香婷婷六月| 操逼视频一区| 五月天婷久精视频| 日本在线视频播放91| 人人操超碰| 丁香五月亚洲综合| 久久激情五月| 99小精品| 狠狠操狠狠爱| 久久99精品久久久久久三级| 五月丁香啪啪综合| 久热爱大香蕉在线蜜臀悦色 | 亚洲无码影音| 五月开心播播网| 婷婷五月四狠狠| 成人va视频| 天天久久九九| 思思re99视频在线观看| 大香蕉狠狠爱主页| 激情综合色图| av在线中文| 五月天婷婷社区| 9999久久久久| 丁香五月婷婷国产在线| www.五月.com| 亚洲另类毛片| 色色色com| 久久思思99| 婷婷五月天影院| 日本97久久久精品| 思思热在线观看| 成人av在线网址| 99热资源在线| 五月丁香成年黄色| 67194成I人在线观看线路1| 亚洲情色一区| 久操大香蕉| 97婷婷丁香五月天激情图片| 免费在线a| 99综合网| 中文字幕视频在线播放| 91啪啪| 热久久思思热思思| 亚洲视频在线网站| 天天爱天天做天天| 草一草avb| 婷婷五月花| 久久九九99字幕| 日本视频不卡123区| 狠狠干2007| 色五月丁香A欧美com | 九九婷婷五月天| 97婷婷五月| 久99久99精品免| 五月婷色色| 天天透天天摸天天舔| 伊人免费视频9| 五月天综合在线观看| 爱狠射| 久久99大全| 女人天堂av| yw国产AV| 播播网色播播| 狠狠操之狠狠操| 五月婷护士| 91九色在线| 中文不卡一二三区| 超级碰人人操人人干| 婷婷五月丁香六月| 丁香五月激情啪啪| 丁香五月性爱| 日本黄 色 片| 伊人网碰碰| 99热精地址| 97干免费视频| 亞洲自怕| 91在线日| 婷婷丁香五月综合网上| 激情婷婷五月女| 另类丁香综合| 思思热在线视频精品| 婷婷久久丁香| 五月婷庭丁香在线| 九九99免费视频| 五月做爱| 午夜少妇在线观看视频| 青草激情综合| 五月丁香激情综合网| 青青操绿aaa一区日v| 九九伦子片| 色色色99| 丁香六月色婷婷| 五月天狠狠网| 国色天香伊人狠狠色| 激情婷婷五月天| 东北黄色一级| 一起操 91N.com| 国产亚洲精品久久久久苍井松| 亚洲av成人在线| 天天做天天爱天天玩夜夜爽| 精品一区二区三区四区五区六区介绍 | 大香蕉婷婷色| 丁香激情综合| 激情婷婷六月| 五月丁香婷婷人体| 蜜臀av无码久久久久久久久| 午夜天堂啪啪| 99热免费网站| 丁香五月香蕉| 久99视频在线观看| 五月婷婷丁香大陆免费| 亚洲有码在线视频| 伊人大蕉香| 中文字幕丰满乱孑伦无码专区| 欧美婷婷综合| 成人短视频在线观看| 五月天丁香成人| 六月丁香VA| 男人的天堂五月丁香| 亚洲第一视频 久久| 五月丁香六月综合激情网| 国产99精品免费视频| 色之综合网| 色一情一乱一乱一区9| 亚洲五月色| 99热精品在线免费观看| 色99热| 色播五月婷婷| www.99热精品| 五月婷婷综合在线| www.com亚洲网站在线免费| 97碰碰在线看视频免费| 丁香五月最新网址| 丁香婷婷五月| 激情婷| 26uuu国产激情视频| 婷婷五月丁香基| 五月婷婷深爱六月| 色婷婷成人做爰A片免费看网站| 五月婷婷色色| 99熟女啪啪视频| 婷婷丁香九月| www狠狠| 亚洲综合在线播放| 天天操加勒比| 欧美影院婷婷| 99热这里只有精品8| 激情欧美婷婷| XX色综合| 襙比视频| 婷婷.com| 欧美激情综合五月色丁香| 激情丁香五月天图片| 日韩99精品| www.99免费视频| 激情综合五月| 五月天六月天| 182无码| 日本色婷婷| 五月婷婷啪啪| 五月婷婷爽爽爽| 天天干天天射色综合| 九九九九九九综合| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 五月婷婷久久开心网| 久久色吧| 黄色AV日韩| 开心五月色婷婷综合开心网| 亚洲精品在线视频| 国产做爰视频免费播放| 国产色99| 99ri久久| 久久激丁香| 在线成人视频免费| 丁香六月av| 99re免费视频| 色婷婷综合网| 另类综合色| 成人五月天在线观看| 国产内射婷婷| 91一起操| 大天天伊人| 日本va网站| 99热大| 丁香五月婷久久| 呦呦v线| 日本天堂免费99| 秋霞免费视频| 日本色99| 色丁香六月| 这里只有精品偷拍| 2016日日夜夜操| 婷婷在线五月综合| 九九热视频在线观看| 久久久久久久久人妻| 激情婷婷五月女| 99热丁香| 久热99狠| 俺也去色| 思思热在线视频精品| 囯产精品久久欠久久久久久九大| WWW.桔色成人.COM入口| 九九久久精品| 久久全色| 成人亚洲精品久久久久 | 婷婷色综合中心站| 色久综合| 成人在线不卡| 99热免费| 婷婷社区五月天| 99热这里只有精品2024| 三区激情四射av| 亚洲AV成人在线| 九月丁香八月婷婷久久综合久97| 日本熟妇乱妇熟色A片蜜桃| 人妻人人操| 99热碰碰热| 激情五月天影院| 婷婷激情五月色综合| 2025天天爽天天摸| 久久99最新| 五月婷婷激情刺激| 激情综合区| 婷婷丁香九月| 色婷婷六月| 五月天啪啪| 欧美日本黄色| 日本婷婷在线| 婷婷五月综激情| 丁香五月六月婷婷综合| 色五月综合资源推荐| 亚洲成人噜噜| 亚洲激情五月天| 天天爱天天做天天| 五月丁香婷婷基地| 色色亚洲视频| 婷婷综合五月| 丁香婷婷基地| 伊人婷婷色| 超碰在线人人| 亚洲日日日| site:pnnrt.com| 思思热在线视频精品| 99热这里只有精品在线观看| www色色色com| 激情婷婷五月天| 色婷婷丁香| 五月综合激情婷婷六月色窝| 婷婷五月天 丁香五月天 裸体| 人与禽A片啪啪| 日韩人妻白浆视频系列| 久久婷婷五月综合网| 色吊操色妞| 热久久色| 女婷久久| 丁香色情五月天| 日韩抽插操逼| 骚货艹网站视频| 日本高清综合网五月丁香| 亚洲天天综合| 亚洲99在线| 婷婷久久五月天| 久久久婷| 色婷婷亚洲综合天堂| 高清国产AV| 超碰chaompinm| 这里只有精品在线视频精品| 亚洲五月六丁香激情| 最新五月天婷婷影| 日本狠狠色| 91久操| 国产AV一区二区三区最新精品| 久热精彩视频98| 91啪啪视频| 五月婷婷开心六月激情小说| 激情 婷婷| 亚洲欧美成人在线| 碰久久精品w| 亚洲视频二区| 五月丁香花激情综合网| 国产91视频| 成人 在线观看国产| 97碰人人操| 五月天婷婷基地丁香| 亚洲色色精品| 九九伊人网| 婷婷亚洲五月丁香综合在线| 五月天婷婷影院影院观看| 99九九热在线观看| 黄色国久久| 久热91精品| 婷婷中文字幕版| 五月天婷婷AV| 日产精品一线二线三线芒果| 狠狠爱婷婷爱| 五月丁香婷中文字幕| 99福利导航| 婷婷五月天综合网| 99在线资源| 亚洲瑟瑟精品在线| 色久女| 亚洲在线免费成人| 九九色大香蕉| 六月婷婷狠狠做| 精品99在线观看| 人人操人人妻| 亚洲 在线 性爱 | 欧美人妻一区二区| 殴美激情综合网| 夜夜躁爽日| 狠狠插.com| 丁香香五月激情免费视频| 五月婷婷激情久久| 99精品丰满| 亚洲欧洲自拍图片专区五月天| 任你日视频| 九九色网专区| 狠狠操天天日| 99热综合| 91久久久久久久久久久| 强伦轩人妻一区二区电影| 综合五月激情| 插少妇综合网| 精品久久人妻| 啪啪婷婷五月天激情| 婷婷色色婷婷| 久久五月天免费网站| 色综合久久88色综合天天| 色色色欧美色色| 婷婷五月色综合| 色蜜婷婷| 综合色色色| 五月天婷婷激情六月久久 | 丰满少妇猛烈A片免费看观看| 久久思思99| 狠狠高潮精品亚洲1| chaopeng在线人人| 天天综合天天玩夜夜玩天天玩夜夜玩 | 99热九九热| 国产成人在线精品| 九九视频在线观看| 久鲁鲁色网 | 能看的av片| 91丨九色丨大屁股| 另类五月婷婷| 99热久| 九九免费精品在线视频| 国产成人精品亚洲线观看| 开心久久xxx色| 少妇人妻人伦A片| 久久机只有这里精品| 五月婷婷色欲| 婷婷色婷婷| 色一色综合| 天天夜天天色天天| 婷婷五月日本| 天天色综网| 激情婷婷五月综合| 99视频| 激情熟女网| 五月天丁香综合久久国产| 九月色婷婷综合| 五月天成人在线播放丁香| 久热婷婷综合| www.henhengan| 欧美在线视频免费播放| 狠狠狠狠狠狠狠狠| 影音先锋综合网| 超碰91人人操| 成人av中文字幕| 丁香五月天激情综合| 五月丁香日本片| 丁香五月激动深爱欧美| 激情小说 五月天| 夜夜久久综合网| 99热这里| 丁香五月婷婷狠狠色| 91精品久久久久久77777| 色五月婷婷激情综合网| 狠狠综合| 五月婷婷婷婷婷婷艺术| 国产精品第一国产精品| 五月丁香六月婷婷免费视频| 玩熟女五十AV一二三区| 狠狠草综合网| 婷婷97碰碰| 五月天激情国产综合婷婷| 、激情六月天| 婷婷综合玖玖五月| 激情五月婷婷在线观看| 男女99免费视频| 亚洲人妻AV| 国产午夜一区二区三区| 久久精彩综合视频| 成人看片网站| 深爱激情网综合| 国内9l视频自拍老熟女九色| 亚洲超碰在线| 五月激情婷婷六月丁香| 99se丁香| 超碰成人在线观看| 五月丁香五月丁香| 日本天堂网站99| 色婷婷五月在线| 五月丁香久久激情网| 91综合视频在线| 99热这里全是精品| 婷婷五月天99| 激情丁香五月AV| 狠狠精品干练久久久无码中文字幕| www.lingjunshare.com| 成人免费高清在线播放| www久久99| 日韩色五月| 综合激情五月四射婷婷| 9热网站| 五月天婷婷激情小说电影| 丁香五月激情图片| 五月丁香啪啪啪综合网| 青青久在线视频免费观看| 五月丁香婷婷久久| 9久热这里只有精品| 色噜噜狠狠色综合伊人| 婷婷色资源| 八戒青柠影视剧在线观看| 五月丁香成人| 丁香五月AV综合激情| 色一情一乱一乱一区91| 99色综合久久| 婷婷六月丁香五月| 五月丁香婷草| 丁香五月六月欧美| 综合AV在线| 91呦呦呦| 三级片AAA久久久AAA久久久AAA| 夜夜躁爽日日| 亚洲aV写真天天综合网久久| 成人噜噜网| 久啪欧美| 婷婷五月天VI| 人人播| 91超级碰| 五月丁香婷婷免费视频| 婷婷久久久久久久| 9久国产精品| 免费看无码视频A级| 91在线操逼视频| 久久免费精彩视频| 五月婷婷婷| 米奇影视五月天| 亚洲激情图文小说| 丁香六月婷婷久久综合| 色五月色五天色情网| 六月婷婷开心| 丁香六月成人| 九九热只有精品| 九九视频这里只有精品在线播放| 激情五月天婷婷激情| 欧美色97| 91一道本| 在线观看免费狠狠色丁香香综合 | 99视频内射三四| 丁香婷婷性久久| 久热69| 成人丁香五月天Av| 婷婷五月精品在线| 99热大片| 夜夜天天久久婷婷| 1995年关宝慧版蜘蛛女| 亚洲五月六丁香激情| 性小说五月天| 久草五月婷婷| 国产亚洲在线| 久久婷五月天| 久热无码| 色色五月婷婷| 婷婷亚洲色| 色婷婷狠狠爱| 天天色播| 99亚洲综合| www.婷婷五月天啪啪| 亚洲丁香五月天在线视频| 日在线V视频在线播放| 丁香婷婷色六月| 五月天激情小说网| 综合网啪啪| 久久香蕉网| 96精品成人无码A片观看金桔| 伊人婷婷五月天| 伊久大香蕉| 久久44| 激情五月婷婷丁香综合网| 色婷婷呢狠禁久禁| 伊人久久婷婷五月综合97色| 综合久| 日本欧美成人片AAAA| 9色91视频| 久久密臀婷婷| 色欧美影院| 成人无码髙潮喷水A片| 日欧一片内射VA在线影院| 亚洲性爱AV| 五月丁香啪啪网| 欧美顶级少妇做爰HD| 色青五月天| 性色欲情 网站| 99在线精品视频免费观看20| 五月丁香婷婷色色| 色99综合色88| 激情综合网五月婷婷| 欧美激情丁香五月天久久婷婷一区| 日韩色色视频www| 97碰| 欧美性爱专区| 丁香五月香蕉在线| 这里只有精品在线视频在线观看| 久久9久| 五月综合激情啪啪啪啪啪| www色五月| 国产精产国品一二三在观看| 日亚二欧美| 丁香六月婷婷久久亚洲天堂| 丁香五月亚综合图片| 人妻激情综合| 五月激情综合网| av五月丁香| 67194国产| 五月天社区狠狠| 大香网伊人久久综合| 激情五月天综合网| 9久久网| 欧美婷婷五月天| 26uuu国产| 91chinese 在线| 噜色精品| 亚洲综合在线播放| 日本操天堂| 啪啪综合网| 99热视| 5月婷婷6月六月丁香| 嫩草AV久久伊人妇女超级A| 97色色婷婷| 五月天婷婷激情在线色图| 思思re最新视频| 日本女天天爽| 色啪网| 夜色综合网| 五月激情综| 久久99网| 99玖玖在线视频| www.五月.com| 99噜噜噜在线播放| 色婷婷97| 久机视频这只有精品| 婷婷综合视频| 小色小蛇伊人婷婷色香五月| 亚洲第一视频 久久| 91九九| 五月天婷婷色| 五月婷婷片| 秋霞av吧| 中文aV网| 国产67194| 91人人操.COM| 久热这里只有精品6| 成人无码精品1区2区3区免费看| 天天日天天狠狠操| 久久五月激情综合| AA久久| 99在线视频播放| 色色婷婷色色| 丁香婷婷视频在线| 久久久全国免费视频| 婷婷五月天成人综合网| 26uuu成人网| 天天拍久久| 国产毛片欧美毛片久久久| WWW,五月天| 亚洲天堂热| 久久综合九九| 亭亭色色五月天| 久热综合| 亚洲精品99| 热中文字幕| 99热这里有精力| 久草视频一,二三四| 色婷婷色99国产综合精品| 日韩精品一区二区刘| 夜色综合网| 色五月琪琪| 欧美六月| 五月丁香六月婷| 亚洲精品成人| 丁香婷婷人妻| 欧美99| 午夜国产精品AV在线播放| 97精品人人A片免费看| 看黄的网站18禁| 国产肥白大熟妇BBBB视频| 五月婷婷花| 久久ri精品| 国产精品色色色色| 69凹凸成人综合网| 五月婷婷干| 激情AV综合| 无码婷婷五月天| 久久久噜噜噜www成人| 99热这里只有精品55| 久久精品五月天| 成人日韩欧美| 这里只有精品免费视频在线观看| 色婷婷激情Av久久久| 五月六月婷婷| 香蕉97碰碰碰超视精品| 成人网站免费在线播放| 亚州操操| 天天插天天日| 五月丁香六月婷婷综合免| 国产特级毛片AAAAAAA高清| 国产淫熟妇| 亚洲五月激情| 六月丁丁香| 亚洲 六月 综合| 亚洲色图日韩网址| 婷婷丁香18| 狠狠干激情五月| 五月天婷婷操逼视频| 香蕉婷婷| 九九视频在线观看| 日韩色色网| 激情婷婷丁香色五月| 激情综合久久| 99热精品一区| 婷婷五月色图| 久久综合久色欧美综合狠狠| 涩五月色婷婷| 99爽视频| 五月激情综合婷婷| 色99视频| 激情都市五月天| 97九色| 五月天综合色| 婷婷精品在线| 色婷婷六月精品| 98永久精品| 婷婷五月丁香综合亚洲| 伊人五月综合网| 五月天色区| 天天色综合色| 色婷婷五月天偷拍| 丰满少妇猛烈A片免费看观看 | 五月丁香六月综合基地| www.日日日.com| 五月天另类激情在线| 巴基斯坦粉嫰无码视频| 女性自慰系列第五页| 91久久精品无码一区二区三区| 久久五月婷婷开心网| 成人在线精品| 99狠狠| 99视频激情四射| av中文网站| 精品久久久久久久久久久久人妻| 日韩草草草草草草草草草草草草| 999热在线视频| 欧美激情中文字幕| 综合网网欲色| 久久一伦| 丁香六月天婷婷| 精品视频二级九九| 无码AV免费精品一区二区三区 | 无码少妇高潮喷水A片免费| 超碰精品在线| 色婷婷久久综合| 亚洲视频二区| 人人干女人| 永久免费一区二区三区| 日本色爽| 中国女人内射6XXXXX| 丁香六月狠狠干| 天天天天天色| 欧美大香蕉视频| 九九热视频精品999| 亚洲另类婷婷综合| 99热这里只有精品官网| 色婷婷手机在线| 91九色中文| 五月婷婷香蕉视频| 国产成人99久久亚洲综合精品| 狠狠五月天激情| 好吊操这里只有精品| 日韩AV在线免费观看| 少妇被下春药玩弄A片| 人人妻人人澡| 99re这里| 影音先锋女人av鲁色资源网小说免费| 91人人操| 99网址在线观看| 久久久GOGO无码啪啪艺术 | 国产亚洲99| 99九九视频精彩在线| 91热久88| 风流少妇A片一区二区蜜桃 | 婷婷五月天成人| 丁香激情网| 99精品视频网站| 六月色色婷婷| 五月色婷婷在线观看| 91|九色|动漫| 东北熟女视频99| 亚洲三级无码| 色五月网址| 五月丁香啪啪网| 五月天四色房丁香亭亭| 婷婷五月天熟妇| renrencaoni| 91九色首页| 99男人天堂| 1024你懂的欧美曰韩| 丁香六月丁香婷婷激情| 亚洲精品亚洲人成人网| 久久网日本| 26uuu日韩| 五月婷婷网站| www.热99热| 色播丁香五月婷婷操:屄| 99热国产精品| 香蕉久久六月| 日本一级大片| 久久婷婷网址| 久久艹 五月天| 无码激情AAAAA片-区区| 五月丁香六月色| 操人无码| 久久久91| 日本在线99| 丁香婷婷视频在线| 五月丁香六月婷婷久久| 亭亭五月天黑人2014| 九九草热在线观看| 桃色激情婷婷伊人网| 丁香五月综合久久八| 色婷婷五月影视| 色五月婷婷婷婷婷婷婷婷婷婷| 91婷婷在线| 精品人人操| 五月丁香久久综合| 久草A片| 久久久久亚洲AV成人无码电影| 天堂久久婷婷| 欧美日比视频| 婷婷色中文| 99久操| 久久综合影院| 91丨九色丨熟女|老版| 色情婷婷。| 国产脫衣舞一区二区三区| 91九色小视频| 色婷婷先锋| 久热黄色| 亚洲99综合| 亚洲AV免费在线| 婷婷综合在线| 精热在线综合网| 开心婷婷五月激情网小说| 激情影院内射| 电影蜘蛛女| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 久久久婷丁香五月| 1级欧美日韩| 久久久9久| 色开心五月丁香| 婷婷色色欧美| 99黄色在线视频精品熟女| 欧美三级欧美一级| 国产激情久久久| 综合欧美五月婷婷| 婷婷婷色五月| 婷婷成人五月天一区| 麻豆五月丁香婷婷| 中文字幕婷婷五月天在线观看| 91精品综合久久久久久五月丁香| 五月丁香六月激情欧美综合| 天天日天天摸| 成人精品人妻| www色色com| 香蕉婷婷| 欧美性生交XXXXX无码小说| 嫩草视频。| 天天射天天插天天干| 一本久久婷婷| 丁香五月婷婷婷桃花影院| 91综合在线视频| 久婷婷| 色激情综合狠狠婷婷| 丁香久久五月天视频在线观看| 色婷婷在线视频综合| 亚洲欧美999| 天堂综合久久 | 日本色99| 日韩无码色色| 精品一二三区久久AAA片| 熟女强人妻一区二区三区四区无| 色五月激情图片| 99re热在线视频观看| 色99在线视频| 五月丁香色婷婷伊人| 天天爽天天爽夜夜爽| 丁香六月婷婷综合欧美| 五月丁香六月色| 欧美25p| 免费视频WWW在线观看网站| av操B网站| 五月婷婷婷| 久久久这里都是精品| 狠狠色婷婷丁香六月| 亚洲综合丁香五月天| 天堂久久婷婷| h在线看免费版在线看| 日韩人妻AV在线| 99天堂网最新| 天天操B| 亚洲熟妇AV综合网五月丁香伊人 | 五月情涩综合婷婷| 色五月五月天色婷婷色五月| 日本一级一级一级一级| 久久久国产精品黄毛片| 免费观看日韩成人av| 99热在线中文字幕| 国产日批视频| 五月开心深深爱激情综合| 久9免费视频| 激情综合五月| 久久丁香婷婷色情综合| 国产白丝在线一区| 99在线观看视频精品| 婷婷丁香五月综合激情小说| 手机旧版看人妻1025| 激情五月综合网| 97涩婷婷婷婷基地| 五月丁香成人| 婷五月丁香| 九九婷婷网五月天| 美女五月天| 九九99精品视品| 国产免费一区二区三区三州老师F1F1.CC| 9.1综合网| 中文字幕婷婷五月天在线观看| 九九九九综合| 五月色情|