欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

NetApp FAS3200存儲(chǔ)日常維護(hù)指南:從開(kāi)關(guān)機(jī)到巡檢排障

NetApp FAS3200存儲(chǔ)日常維護(hù)指南:從開(kāi)關(guān)機(jī)到巡檢排障 簡(jiǎn)介《NetApp存儲(chǔ)日常維護(hù)手冊(cè)》是一份面向NetApp FAS系列存儲(chǔ)硬件運(yùn)維人員與存儲(chǔ)管理員的技術(shù)文檔覆蓋設(shè)備日常巡檢、系統(tǒng)管理和故障診斷核心場(chǎng)景。手冊(cè)先從FAS3200系列硬件構(gòu)成講起說(shuō)明機(jī)架、電源、磁盤(pán)等組件的特性與檢查要點(diǎn)隨后介紹System Manager圖形管理接口和命令行CLI兩種維護(hù)方式并給出設(shè)備正常開(kāi)關(guān)機(jī)順序幫助建立規(guī)范的操作意識(shí)。日常操作部分包含登錄、創(chuàng)建存儲(chǔ)池Aggregate、創(chuàng)建靈活卷FlexVol、配置NAS共享CIFS/NFS、管理Snapshot快照和目錄配額等實(shí)戰(zhàn)步驟內(nèi)容貼近真實(shí)運(yùn)維任務(wù)。故障診斷章節(jié)可幫助快速定位存儲(chǔ)資源、性能監(jiān)控和日志檢查中的常見(jiàn)問(wèn)題技術(shù)架構(gòu)部分則講解FlexVol、FlexClone等數(shù)據(jù)保護(hù)和復(fù)制機(jī)制并延伸到存儲(chǔ)虛擬化解決方案。資源包為單個(gè)doc文檔約10.3MB按硬件說(shuō)明、設(shè)備管理、日常操作、項(xiàng)目管理、技術(shù)架構(gòu)、解決方案等模塊組織層次清晰便于查閱。目前已有1932人學(xué)習(xí)適合數(shù)據(jù)中心工程師、系統(tǒng)運(yùn)維人員系統(tǒng)掌握NetApp存儲(chǔ)維護(hù)方法也是提升設(shè)備穩(wěn)定運(yùn)行與存儲(chǔ)數(shù)據(jù)安全能力的實(shí)用參考。1. 先是最容易翻車(chē)的開(kāi)關(guān)機(jī)順序NetApp存儲(chǔ)日常維護(hù)從哪開(kāi)始我接手一臺(tái)FAS3200的時(shí)候以為最難的是分清后端SAS口、前端光纖口和心跳口結(jié)果第一個(gè)翻車(chē)的居然是開(kāi)關(guān)機(jī)。某次機(jī)房斷電維護(hù)同事憑手感先把控制器電源送上磁盤(pán)柜還全滅著控制器反復(fù)重啟進(jìn)不了系統(tǒng)最后排查才發(fā)現(xiàn)是開(kāi)機(jī)時(shí)序反了。NetApp存儲(chǔ)日常維護(hù)這件事難點(diǎn)不在命令有多復(fù)雜而在于整套設(shè)備從硬件指示燈、管理接口到日常操作都有一套既定順序亂一步就要多花半天時(shí)間。這份手冊(cè)覆蓋FAS3200系列的端口與指示燈識(shí)別、System Manager與CLI登錄、存儲(chǔ)池到共享的創(chuàng)建路徑、日常巡檢清單和故障報(bào)修流程適合剛接手存儲(chǔ)的運(yùn)維同學(xué)照著走也適合值班工程師拿來(lái)當(dāng)每日檢查的參照。2. 硬件設(shè)備說(shuō)明FAS3200系列端口、指示燈與磁盤(pán)柜2.1 控制器端口一眼分清后端、心跳、前端與管理口FAS3200系列我維護(hù)的具體型號(hào)是FAS3240A/B控制器后面板一排骨架端口第一次看必然懵。這堆口功能劃分其實(shí)很清晰照下表記就行端口用途0a、0b3Gb/6Gb SAS接口接NetApp后端SAS或SATA磁盤(pán)柜c0a、c0b8Gb/10Gb心跳線接口用于HA雙控制器內(nèi)部心跳0c、0d4Gb光纖接口可接后端FC磁盤(pán)柜也可接前端FC交換機(jī)或磁帶庫(kù)e0a、e0b1Gb以太網(wǎng)接口接前端交換機(jī)或前端主機(jī)e0M、SP100Mb管理口e0M用于遠(yuǎn)程網(wǎng)絡(luò)管理SP是遠(yuǎn)程串口e0P100Mb接口用于管理內(nèi)部磁盤(pán)柜slot1~slot6擴(kuò)展槽位可插10Gb以太網(wǎng)卡支持FCoE、2/4/8Gb光纖卡、3/6Gb SAS卡、PAM II卡等這里最容易寫(xiě)錯(cuò)的是c0a/c0b它們是心跳線不是業(yè)務(wù)口。我見(jiàn)過(guò)有人把業(yè)務(wù)線誤插到心跳口結(jié)果HA主備之間通信異常故障切換時(shí)另一半遲遲起不來(lái)。0a/0b是接磁盤(pán)柜的后端存儲(chǔ)口千萬(wàn)別挪給前端業(yè)務(wù)用。e0M是遠(yuǎn)程管理口平時(shí)維護(hù)都從它進(jìn)SP是帶外串口網(wǎng)口全掛的時(shí)候還有它兜底。這些端口的作用手冊(cè)里寫(xiě)得清楚但很多人裝機(jī)那天就忘了等到排障才來(lái)回翻。2.2 電源與控制器指示燈狀態(tài)面板上的指示燈不是裝飾每次巡檢第一眼就該掃它們??刂破髡r(shí)應(yīng)該符合這個(gè)組合Power綠燈亮、Fault橙燈滅、Activity A和Activity B綠燈亮或閃爍AE系列B燈不亮。只要指示燈狀態(tài)不符合上述組合就要找支持處理不要拖到業(yè)務(wù)告警才想起看燈。額外要注意的是NVMEM電池狀態(tài)燈。NVMEM Battery綠燈閃爍表示NVMEM處于電池備電模式系統(tǒng)運(yùn)行且Data ONTAP運(yùn)行時(shí)NVMEM會(huì)處于武裝狀態(tài)關(guān)機(jī)后NVMEM不武裝。如果這個(gè)燈狀態(tài)不對(duì)異常斷電時(shí)內(nèi)存里未落盤(pán)的數(shù)據(jù)可能保不住屬于隱性風(fēng)險(xiǎn)。Controller module fault琥珀色燈亮表示控制器正在啟動(dòng)、Data ONTAP正在初始化、控制器處于維護(hù)模式或檢測(cè)到控制器模塊故障。這里有個(gè)容易誤判的點(diǎn)升級(jí)后重啟時(shí)它亮一陣子是正常的啟動(dòng)過(guò)程不要急著報(bào)修先通過(guò)串口看是不是停在維護(hù)模式。2.3 磁盤(pán)柜、電源模塊與磁盤(pán)指示燈磁盤(pán)柜整體看Power、Warning、Activity三組燈正常是Power綠燈亮、Warning橙燈滅、Activity綠燈亮或閃爍。任何燈不符都按異常處理。磁盤(pán)柜里的電源模塊PSU狀態(tài)燈組合也值得背下來(lái)燈狀態(tài)含義狀態(tài)燈亮PSU正常AC missing燈亮該電源模塊沒(méi)有交流電輸入Fan fault燈亮風(fēng)扇故障電壓/電流/溫度故障燈亮輸出參數(shù)異常所有燈滅沒(méi)有電源輸入血淚經(jīng)驗(yàn)PSU的AC missing亮著但另一路供電正常系統(tǒng)還在跑很多人就不管。實(shí)際上冗余供電已經(jīng)悄悄降級(jí)再壞一路就是非計(jì)劃宕機(jī)。巡檢時(shí)每塊PSU都要看一眼尤其是機(jī)柜底部容易忽略的位置。單塊磁盤(pán)上兩個(gè)LED的判斷邏輯也要記牢LED1綠色亮或閃爍表示磁盤(pán)正常LED1滅、LED2滅表示沒(méi)有安裝磁盤(pán)LED1滅、LED2橙一秒亮一秒滅表示SES device identification被設(shè)置LED1滅、LED2橙亮表示SES device fault bit被設(shè)置也就是磁盤(pán)故障LED1滅、LED2橙三秒亮一秒滅表示磁盤(pán)端口被隔離。端口被隔離通常發(fā)生在環(huán)路抖動(dòng)后盤(pán)還在但通路斷了這種要看SES狀態(tài)處理不要盲目拔插。2.4 磁盤(pán)混插原則同類(lèi)型、同大小、同轉(zhuǎn)速建存儲(chǔ)池Aggregate時(shí)有一條硬性規(guī)定同一個(gè)Aggregate里的磁盤(pán)必須是同樣類(lèi)型、同樣大小、同樣轉(zhuǎn)速否則整個(gè)存儲(chǔ)池以上限為準(zhǔn)按轉(zhuǎn)速最慢、容量最小的磁盤(pán)類(lèi)型計(jì)算。SATA磁盤(pán)不能加到SAS磁盤(pán)的Aggr里反過(guò)來(lái)也不行。這條規(guī)則在擴(kuò)容時(shí)最容易被忽略我見(jiàn)過(guò)有人往SAS池里塞了幾塊SATA盤(pán)系統(tǒng)認(rèn)了但全池性能被拉到SATA水平。擴(kuò)容前先確認(rèn)盤(pán)柜里剩余磁盤(pán)的型號(hào)、容量和轉(zhuǎn)速只核對(duì)數(shù)量是會(huì)翻車(chē)的。2.5 布線核對(duì)序列號(hào)、Shelf ID與端口對(duì)照現(xiàn)場(chǎng)維護(hù)的第一步不是敲命令而是核對(duì)物理連接。每次上架或搬動(dòng)設(shè)備后把磁盤(pán)柜的Shelf ID、控制器的0a/0b端口、心跳線c0a/c0b兩端對(duì)應(yīng)關(guān)系、e0M管理口接的交換機(jī)端口全部登記一遍。我吃過(guò)虧某次廠商換線磁盤(pán)柜Shelf ID順序被打亂開(kāi)機(jī)后Aggregate起不來(lái)最后花兩小時(shí)重新對(duì)線。手冊(cè)里硬件說(shuō)明部分真正干活時(shí)價(jià)值最大的其實(shí)是那張端口用途表建議打印出來(lái)貼在上架記錄頁(yè)。3. 管理接口System Manager、CLI與開(kāi)關(guān)機(jī)順序3.1 System Manager圖形管理接口平時(shí)創(chuàng)建卷、配共享、看配額我習(xí)慣用OnCommand System Manager 2.1圖形界面??蛻舳谁h(huán)境要求不高Adobe Flash Player 8.0以上Java Runtime 1.6以上。但存儲(chǔ)端有幾個(gè)參數(shù)必須開(kāi)著否則客戶端連不上snmp.access legacy snmp.enable on ssl.enable on ssl.v2.enable on ssl.v3.enable on httpd.admin.enable on httpd.admin.ssl.enable on snmp community: public這些是System Manager連接所依賴(lài)的服務(wù)開(kāi)關(guān)。snmp.enable和snmp.access負(fù)責(zé)設(shè)備發(fā)現(xiàn)ssl和httpd.admin負(fù)責(zé)Web管理通道community字符串要跟客戶端填的一致。新裝機(jī)一般默認(rèn)全開(kāi)如果之前有人做安全加固關(guān)過(guò)這些服務(wù)圖形界面就會(huì)黑匣子一樣打不開(kāi)這時(shí)候不要反復(fù)重裝客戶端先去CLI確認(rèn)這幾個(gè)值。System Manager里的菜單路徑對(duì)應(yīng)關(guān)系很直接我抄了一張常用對(duì)照貼在工位操作分類(lèi)實(shí)現(xiàn)路徑卷管理Storage→VolumesCIFS共享協(xié)議管理Storage→SharesNFS共享協(xié)議管理Storage→ExportsLUN管理Storage→LunsQtree管理Storage→Qtrees配額管理Storage→Quotas磁盤(pán)管理Storage→Disks存儲(chǔ)池管理Storage→AggregatesSnapMirror管理Storage→SnapMirror用戶及組管理Configuration→Local Users and Groups以太網(wǎng)管理Configuration→Network協(xié)議管理Configuration→ProtocolsCIFS診斷Diagnostics→CIFS系統(tǒng)健康管理Diagnostics→System Health日志管理Diagnostics→LogsHA配置Ha Config新同事上手我先讓他們把這張表抄在工位上比背命令行快得多。圖形界面能完成幾乎所有的管理任務(wù)但排查深層問(wèn)題還是要落到CLI。3.2 CLI命令行登錄與基礎(chǔ)用法CLI是排障的最后手段圖形界面掛了也要靠它。登錄方式有兩種一是用隨機(jī)附帶的console線接CONSOLE口PC開(kāi)仿真終端串口參數(shù)是9600波特率、8位、無(wú)校驗(yàn)、1位停止位二是telnet登錄。缺省管理員是root密碼在初始安裝時(shí)設(shè)定可以用passwd命令修改。進(jìn)入命令行后輸入“?”或“help”就能看到全部命令。aggr、vol、snapshot、quota、cifs、exportfs、iscsi、fcp、lun這些都是日常高頻命令。想看某個(gè)命令的詳細(xì)用法用help加命令名FAS3240A help vol display or change characteristics of volumes The following commands are available; for more information type help vol command add destroy online size clone lang options split container media_scrub rename status copy mirror restrict verify create offline scrub這里我一般直接“help vol create”看參數(shù)比翻手冊(cè)省時(shí)間。用CLI有個(gè)習(xí)慣要養(yǎng)成操作之前先并行開(kāi)一個(gè)會(huì)話掛著date輸出回頭核對(duì)操作時(shí)間點(diǎn)對(duì)應(yīng)的日志排查問(wèn)題時(shí)能省很多事。telnet登錄的會(huì)話容易超時(shí)斷開(kāi)長(zhǎng)時(shí)間操作建議用SSH或開(kāi)個(gè)screen保持會(huì)話。3.3 設(shè)備正常開(kāi)關(guān)機(jī)順序開(kāi)關(guān)機(jī)順序是整個(gè)維護(hù)里最容易翻車(chē)也最不該翻車(chē)的部分。開(kāi)機(jī)順序按磁盤(pán)柜Shelf ID號(hào)從小到大依次開(kāi)啟磁盤(pán)柜電源大約20秒后再開(kāi)啟存儲(chǔ)控制器開(kāi)啟接有NetApp存儲(chǔ)的以太網(wǎng)交換機(jī)或光纖交換機(jī)開(kāi)啟掛載NetApp存儲(chǔ)空間的服務(wù)器或磁帶庫(kù)。關(guān)機(jī)順序確認(rèn)所有連接的應(yīng)用程序已關(guān)閉包括通過(guò)FCP或iSCSI連到存儲(chǔ)的數(shù)據(jù)庫(kù)等服務(wù)以及通過(guò)NAS連到存儲(chǔ)的應(yīng)用確認(rèn)連接到存儲(chǔ)的服務(wù)器已關(guān)閉通過(guò)串口或SSH以root或其他管理員賬戶登錄系統(tǒng)分別對(duì)兩個(gè)機(jī)頭執(zhí)行halt -f命令等到CFE狀態(tài)先關(guān)控制器電源再按照Shelf ID倒序關(guān)閉磁盤(pán)柜電源。為什么要先磁盤(pán)柜后控制器因?yàn)榭刂破鲉?dòng)時(shí)要枚舉后端磁盤(pán)磁盤(pán)柜沒(méi)就緒控制器可能認(rèn)不到盤(pán)Aggregate起不來(lái)甚至反復(fù)重啟。關(guān)機(jī)時(shí)先halt -f是為了讓Data ONTAP把緩存刷到NVMEM再下電直接拔電等于賭NVMEM電池沒(méi)問(wèn)題。CFE提示符是控制器固件層的狀態(tài)看到這個(gè)才算安全下電。雙機(jī)頭設(shè)備兩個(gè)節(jié)點(diǎn)都要halt別只停一個(gè)不然HA狀態(tài)會(huì)到partial的尷尬局面另一個(gè)節(jié)點(diǎn)會(huì)一直報(bào)partner down。4. 日常操作實(shí)戰(zhàn)從存儲(chǔ)池到共享創(chuàng)建的完整路徑4.1 System Manager創(chuàng)建存儲(chǔ)池Aggregate日常擴(kuò)容或新建存儲(chǔ)池一般由專(zhuān)業(yè)服務(wù)工程師完成但作為維護(hù)方要能看懂過(guò)程、能在緊急時(shí)自己操作。System Manager路徑Storage→Aggregates→Create。給新建聚合體起名比如aggr_testraidtype選擇Raid_dp。RAID-DP是NetApp的雙奇偶校驗(yàn)RAID允許同一RAID組里壞兩塊盤(pán)而不丟數(shù)據(jù)這是FAS3200系列建池的默認(rèn)推薦可靠性明顯高于RAID5。接著選擇添加的磁盤(pán)類(lèi)型再確定添加多少顆磁盤(pán)到aggr_test。這里再次強(qiáng)調(diào)同一個(gè)Aggregate里的磁盤(pán)必須同類(lèi)型、同大小、同轉(zhuǎn)速SATA不能和SAS混在一個(gè)池里。選完磁盤(pán)后把RaidSize設(shè)為16。FC/SAS磁盤(pán)的RaidSize默認(rèn)為16意思是每個(gè)RAID組最多16塊數(shù)據(jù)盤(pán)加校驗(yàn)盤(pán)SATA盤(pán)通常按官方推薦設(shè)置。RAID組大小影響性能和重建時(shí)間組越大有效容量越高單盤(pán)故障后的重建時(shí)間也越長(zhǎng)。實(shí)際選規(guī)模時(shí)要平衡追求容量就大組追求安全就小組。4.2 CLI創(chuàng)建存儲(chǔ)池與FlexVol圖形界面不方便時(shí)CLI下創(chuàng)建存儲(chǔ)池的命令同樣直接。以7-Mode風(fēng)格的Data ONTAP為例FAS3240A aggr create -t raid_dp aggr_test -d 16 FAS3240A vol create vol_test -s none aggr_test 500g第一條命令中-t指定RAID類(lèi)型為raid_dpaggr_test是新建聚合體的名字-d 16表示使用16塊磁盤(pán)創(chuàng)建聚合體。第二條命令在aggr_test上創(chuàng)建一個(gè)500GB的靈活卷vol_test-s none表示不啟用Snapshot保留。實(shí)際創(chuàng)建時(shí)要把磁盤(pán)數(shù)量、卷大小替換成現(xiàn)場(chǎng)規(guī)劃值建池之前先跑“aggr status -r”看池子當(dāng)前剩余空間別等卷建完才發(fā)現(xiàn)容量不夠。FlexVol是NetApp的靈活卷最大意義在于卷大小不用預(yù)先固化聚合體里有空間就能在線擴(kuò)容。創(chuàng)建后跑“vol status vol_test”確認(rèn)卷是online狀態(tài)再用“df -h”確認(rèn)容量按預(yù)期出現(xiàn)。卷的自動(dòng)增長(zhǎng)選項(xiàng)建議按業(yè)務(wù)需要開(kāi)啟auto-size策略要設(shè)上限免得卷無(wú)限膨脹把聚合體空間吃光。4.3 創(chuàng)建CIFS/NFS共享NAS共享分兩套協(xié)議CIFS給WindowsNFS給Unix/Linux。CIFS共享在CLI下的操作FAS3240A cifs setup FAS3240A cifs shares add /vol/vol_test -sharename sharedocs FAS3240A cifs shares change sharedocs -comment documents sharecifs setup是首次啟用CIFS服務(wù)的引導(dǎo)流程會(huì)詢問(wèn)域模式或工作組模式涉及用戶認(rèn)證方式cifs shares add把卷的根目錄導(dǎo)出為一個(gè)名為sharedocs的共享。CIFS共享名對(duì)客戶端可見(jiàn)命名最好統(tǒng)一規(guī)范按業(yè)務(wù)或部門(mén)縮寫(xiě)別用“test1”“test2”這種事后看不懂的名字。NFS導(dǎo)出用exportfsFAS3240A exportfs -a -p /vol/vol_test FAS3240A exportfs -io /vol/vol_test -o secsys,rw10.0.0.0/24第一條是允許導(dǎo)出卷-a表示全部導(dǎo)出-p表示持久化。第二條是帶選項(xiàng)的導(dǎo)出secsys使用AUTH_SYS認(rèn)證rw指定允許讀寫(xiě)的客戶端網(wǎng)段。NFS權(quán)限是兩層疊加的exportfs控制誰(shuí)能mount卷和目錄權(quán)限控制能怎么訪問(wèn)兩層都要對(duì)否則會(huì)出現(xiàn)“能mount但寫(xiě)不了”的怪問(wèn)題這種問(wèn)題先查exportfs選項(xiàng)再查目錄權(quán)限。4.4 Snapshot與目錄配額配置管理Snapshot是NetApp的快照機(jī)制按計(jì)劃對(duì)卷做時(shí)間點(diǎn)副本。配置路徑在Storage→Volumes里選卷后配置Snapshot計(jì)劃。CLI下常見(jiàn)操作FAS3240A snapshot create vol_test -s snap_before_upgrade FAS3240A snapshot list vol_testsnapshot create手動(dòng)打快照-s指定快照名比如升級(jí)前叫snap_before_upgrade??煺湛臻g不是白來(lái)的它占用卷預(yù)留的Snapshot reserve容量默認(rèn)通常保留5%到20%。文件量大、變更頻繁的卷建議把快照保留空間設(shè)到卷容量的10%以上否則快照滿了會(huì)導(dǎo)致文件系統(tǒng)鎖死這是存儲(chǔ)日常維護(hù)里最容易被業(yè)務(wù)投訴的點(diǎn)業(yè)務(wù)看到的是“磁盤(pán)寫(xiě)不進(jìn)去”實(shí)際看snapshot list才發(fā)現(xiàn)快照占滿了reserve空間。目錄配額配置路徑在Storage→Quotas。CLI下FAS3240A quota on /vol/vol_test FAS3240A quota add /vol/vol_test -tree -limit-type soft -disk-limit 100g FAS3240A quota reportquota on開(kāi)啟配額功能quota add加一條規(guī)則對(duì)tree目錄樹(shù)做軟限制磁盤(pán)限額100GB。配額規(guī)則加完還要“quota resize”讓規(guī)則生效只add不resize是新手常踩的坑規(guī)則不生效還找不到原因。配額規(guī)則按匹配范圍生效規(guī)則寫(xiě)得太粗會(huì)誤傷同卷下的其他目錄建議先出quota report看當(dāng)前用量分布再?zèng)Q定限額定多少。4.5 創(chuàng)建SAN共享License是第一道門(mén)檻SAN共享對(duì)應(yīng)FCP光纖通道和iSCSI兩種協(xié)議。這里先潑冷水如果沒(méi)有FCP或iSCSI的license這些功能根本無(wú)法使用System Manager里會(huì)直接不顯示入口或操作報(bào)錯(cuò)。裝機(jī)時(shí)先確認(rèn)license狀態(tài)FAS3240A license FAS3240A iscsi enable FAS3240A fcp configurelicense命令顯示當(dāng)前授權(quán)的功能模塊iscsi enable開(kāi)啟iSCSI服務(wù)fcp configure進(jìn)行光纖通道配置。iSCSI開(kāi)啟后再創(chuàng)建LUN并做映射FAS3240A lun setup -s 100g /vol/iscsi/lun1 FAS3240A igroup create -t linux linux_initiator_group FAS3240A lun map /vol/iscsi/lun1 linux_initiator_grouplun setup創(chuàng)建100GB的LUNigroup create定義一個(gè)啟動(dòng)器組lun map把LUN映射給該組。映射關(guān)系是SAN環(huán)境的核心映射錯(cuò)了等于把盤(pán)暴露給不該看的機(jī)器。每次做完映射用“l(fā)un show -v”核對(duì)一遍確認(rèn)WWNN或iSCSI IQN映射到了正確的igroup上。SAN這塊我建議嚴(yán)格按變更流程走LUN映射錯(cuò)誤在高可用環(huán)境里可能導(dǎo)致兩臺(tái)服務(wù)器同時(shí)掛載同一塊盤(pán)數(shù)據(jù)損壞風(fēng)險(xiǎn)極高。5. 常見(jiàn)問(wèn)題排查巡檢項(xiàng)、autosupport與故障報(bào)修5.1 每日巡檢清單日常維護(hù)的核心是檢查不是操作。我把巡檢項(xiàng)固定成一張清單每次按序執(zhí)行目測(cè)看控制器面板、磁盤(pán)柜、PSU、每塊磁盤(pán)的指示燈是否符合正常狀態(tài)硬件狀態(tài)檢查用sysconfig -a確認(rèn)控制器、內(nèi)存、磁盤(pán)、電源的硬件信息完整檢查網(wǎng)絡(luò)是否正常ifconfig -a看管理口和業(yè)務(wù)口狀態(tài)ping網(wǎng)關(guān)確認(rèn)鏈路通檢查Cluster狀態(tài)是否正常cf status看雙機(jī)HA狀態(tài)檢查卷容量是否正常df -h看空間使用率快到90%就要規(guī)劃擴(kuò)容或清理Inode數(shù)量檢查df -i看索引節(jié)點(diǎn)使用率100%時(shí)即使容量有剩余也寫(xiě)不進(jìn)新文件性能檢查sysstat -u看CPU利用率和NFS/CIFS操作數(shù)判斷是否有異常峰值日志文件檢查查看系統(tǒng)日志重點(diǎn)看硬件告警、磁盤(pán)錯(cuò)誤和協(xié)議錯(cuò)誤收集autosupport信息每周至少一次。FAS3240A sysconfig -a FAS3240A ifconfig -a FAS3240A cf status FAS3240A df -h FAS3240A df -i FAS3240A sysstat -u 5sysconfig -a輸出里能看到控制器型號(hào)、序列號(hào)、每塊磁盤(pán)槽位和狀態(tài)cf status返回正常狀態(tài)時(shí)能看到HA enabled或Cluster enabled字樣如果出現(xiàn)partial或down就說(shuō)明HA有問(wèn)題要優(yōu)先處理。sysstat -u 5表示每5秒采樣一次連看幾次取平均值就是性能基線我在業(yè)務(wù)高峰時(shí)段必跑存下來(lái)的數(shù)值就是日后判斷“是否異?!钡膮⒄?。檢查網(wǎng)絡(luò)時(shí)ping網(wǎng)關(guān)只能證明三層通還要看ifconfig -a里的errors和dropped計(jì)數(shù)長(zhǎng)期不為零說(shuō)明鏈路質(zhì)量有問(wèn)題。5.2 收集autosupport信息機(jī)頭出問(wèn)題或需要廠商介入時(shí)autosupport信息是給支持團(tuán)隊(duì)的關(guān)鍵材料FAS3240A autosupport invoke -node all -message daily_health_check該命令會(huì)把系統(tǒng)配置、日志、性能數(shù)據(jù)打包發(fā)送到配置的接收方-node all表示收集兩個(gè)節(jié)點(diǎn)-message里寫(xiě)用途說(shuō)明。每周固定發(fā)一份本地也留檔真出故障時(shí)手頭有故障前后的數(shù)據(jù)做比對(duì)能少走很多彎路。autosupport發(fā)送失敗的排查順序先看network配置里autosupport的郵件服務(wù)器或HTTP目標(biāo)地址再檢查網(wǎng)絡(luò)連通性最后看發(fā)送日志。這是容易被忽視的通道很多人直到報(bào)修時(shí)才發(fā)現(xiàn)autosupport從來(lái)沒(méi)發(fā)出去過(guò)。5.3 故障報(bào)修流程本地解決不了就要走報(bào)修流程。支持方式分幾級(jí)先找本地支持工程師處理不了一定要上升到GSCGlobal Support Center全球支持中心。案例開(kāi)立流程是登錄support.netapp.com或電話開(kāi)案例提供設(shè)備序列號(hào)和autosupport信息描述故障現(xiàn)象支持中心分配案例號(hào)按嚴(yán)重級(jí)別響應(yīng)。損壞部件更換流程一般是確認(rèn)部件損壞并記錄序列號(hào)開(kāi)案例判定后寄備件現(xiàn)場(chǎng)換件并做驗(yàn)證最后通過(guò)autosupport確認(rèn)新部件狀態(tài)正常。換盤(pán)操作我堅(jiān)持在維護(hù)窗口期做換完馬上看aggr status和磁盤(pán)狀態(tài)確認(rèn)RAID重建正常啟動(dòng)不要換完就走。5.4 高頻故障排查記錄這幾條是實(shí)際維護(hù)中反復(fù)出現(xiàn)的問(wèn)題每一條都按“現(xiàn)象→原因→解決”記錄下來(lái)現(xiàn)象一磁盤(pán)柜某塊磁盤(pán)LED2橙色常亮。原因是SES device fault bit被設(shè)置通常表示磁盤(pán)故障被系統(tǒng)標(biāo)記。解決先查sysconfig -a確認(rèn)盤(pán)的狀態(tài)是failed還是spare不要直接拔盤(pán)要在系統(tǒng)把盤(pán)標(biāo)記為fail后按槽位取下?lián)Q新盤(pán)等系統(tǒng)自動(dòng)分配為spare并開(kāi)始重建?,F(xiàn)象二控制器Fault燈琥珀色亮起系統(tǒng)卡在啟動(dòng)階段。原因是控制器啟動(dòng)時(shí)Data ONTAP初始化異?;蛉藶檫M(jìn)入了維護(hù)模式。解決通過(guò)串口看啟動(dòng)日志確認(rèn)是否停在Maintenance mode誤入就執(zhí)行halt回到CFE后重新啟動(dòng)反復(fù)初始化失敗就把日志打包發(fā)GSC同時(shí)檢查心跳線c0a/c0b是否松動(dòng)。現(xiàn)象三業(yè)務(wù)反饋NAS無(wú)法寫(xiě)入新文件但df -h顯示容量還有剩余。原因是Inode耗盡或Snapshot reserve被占滿。解決先跑df -i確認(rèn)Inode使用率100%時(shí)需要?jiǎng)h除大量小文件或調(diào)整卷的maxfiles如果Snapshot空間滿用snapshot list vol_test找到占用大的舊快照在保留策略之外可以刪?,F(xiàn)象四HA集群狀態(tài)顯示partial。原因一般是一個(gè)節(jié)點(diǎn)掛掉或兩個(gè)節(jié)點(diǎn)之間的心跳中斷。解決先看cf status和uptime確認(rèn)節(jié)點(diǎn)狀態(tài)再查心跳口狀態(tài)檢查c0a/c0b物理連接和網(wǎng)口配置。partial狀態(tài)說(shuō)明冗余已經(jīng)失效屬于優(yōu)先級(jí)最高的問(wèn)題要立即處理?,F(xiàn)象五擴(kuò)容加盤(pán)后整個(gè)存儲(chǔ)池性能下降。原因是混入了不同轉(zhuǎn)速或類(lèi)型的磁盤(pán)系統(tǒng)按最慢盤(pán)降速。解決擴(kuò)容前核對(duì)磁盤(pán)型號(hào)、容量、轉(zhuǎn)速三要素寧缺毋濫。已經(jīng)混入的只能替換出來(lái)沒(méi)有捷徑。這條我親自踩過(guò)從此建池之前必查磁盤(pán)批次。5.5 維護(hù)窗口與變更記錄還有一條不屬于技術(shù)但很關(guān)鍵的教訓(xùn)存儲(chǔ)維護(hù)的所有操作都要落在變更記錄里。哪個(gè)卷擴(kuò)容過(guò)、哪個(gè)存儲(chǔ)池加過(guò)盤(pán)、Snapshot策略改過(guò)什么全記下來(lái)。存儲(chǔ)是黑匣子出了問(wèn)題如果沒(méi)有變更記錄排查就像大海撈針。我現(xiàn)在每次操作前都先記錄當(dāng)前狀態(tài)操作后馬上再記一筆這習(xí)慣救過(guò)我兩次。變更記錄不用寫(xiě)多復(fù)雜時(shí)間、操作人、命令、影響范圍、前后狀態(tài)對(duì)照五欄就夠了。定期把變更記錄和巡檢基線一起歸檔后面做容量規(guī)劃時(shí)直接翻歷史趨勢(shì)。6. 驗(yàn)證跑通把巡檢命令做成一張檢查表設(shè)備裝好、配置完不代表萬(wàn)事大吉真正的日常是巡檢。我習(xí)慣把驗(yàn)證過(guò)程固化成一個(gè)半自動(dòng)化流程每次維護(hù)窗口或例行巡檢按順序執(zhí)行下面這組命令把輸出存檔拿上次的基線對(duì)比。FAS3240A sysconfig -a # 硬件狀態(tài) FAS3240A cf status # HA集群狀態(tài) FAS3240A df -h # 卷容量使用率 FAS3240A df -i # Inode使用率 FAS3240A snapshot list vol_test # 快照列表與占用 FAS3240A quota report # 配額使用報(bào)告 FAS3240A autosupport invoke -node all -message weekly_check每行命令都對(duì)應(yīng)一套驗(yàn)證結(jié)論sysconfig -a輸出里沒(méi)有Error字樣、磁盤(pán)狀態(tài)全部onlinecf status顯示HA正常df -h使用率低于90%df -i使用率低于80%快照列表里沒(méi)有異常占用的快照quota report沒(méi)有超限條目autosupport能成功發(fā)出。這套檢查做完基本可以確認(rèn)設(shè)備處于健康狀態(tài)。驗(yàn)證跑通之后還有一個(gè)加分動(dòng)作把開(kāi)關(guān)機(jī)順序做成貼紙貼在磁盤(pán)柜門(mén)上。真到斷電維護(hù)那天現(xiàn)場(chǎng)的人不會(huì)記得手冊(cè)第幾章寫(xiě)了什么但抬頭就能看到“先磁盤(pán)柜、后控制器halt -f回到CFE再斷電”。我還會(huì)把巡檢命令精簡(jiǎn)成一行“ping網(wǎng)關(guān) sysconfig -a | head -50 df -h”每天到崗先跑一遍輸出丟進(jìn)運(yùn)維群存底。從那以后我每次巡檢都強(qiáng)制自己走一遍完整清單連電源指示燈都不跳過(guò)——這條習(xí)慣救過(guò)我也希望能幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久人妻视频| 婷婷久久五月天| 天天网曰日曰夜夜综合永久免费| 婷婷五月激情图片| 99综合婷婷五月| 久久婷婷五月综合色和| 五月婷婷视频| 午夜爱爱网站| 99久久网站| 夜丁香五月婷婷| 91婷婷| 久久激情综合| 婷婷亚洲五月| 婷婷六月天精品| 成人做爰A片免费看视频| 丁香五月激情月| 激情综合婷婷久久| 色五月婷婷在线| 丁香六月婷婷综合色| 色婷婷中文| 九九热re99re6在线精品| 狠狠色丁香99| 99男人天堂| 四射综合网| 超碰色人妾| 人人视频人人干人人做| 99热天堂| 日日.c| 操逼三区| 狠狠干天天内射| 亚洲AV成人一区二区在线观看| 色婷婷久久综合久色综| 综合久久婷婷| 丁香五月天论坛| 久久五月婷| 天堂成人A片永久免费网站| 五月激情五月婷婷五月天在线| 久9久9热久热| 极品另类| 狠狠婷婷色| 天天爽免费视频| 啪啪婷婷五月天激情| 精品99在线观看| 这里只有精品久久| 激情五月天综合网| 丁香色情五月天| 五月丁香啪。| 91热久| 99热这里只有精品8| 久久狠狠干| 婷婷色在线观看| 亚洲精品白浆高清久久久久久| 在线只有精品| 久久久久久人妻久久久久久久久久人妻久久久 | 狠狠操天天干| 天天综合中文| 色色精品色| 色婷婷www| 狠狠爱丁香婷| 丁香五月婷婷操逼| 激情五月天影院| 色射影院| 成人免费va| 五月婷婷色男女| 欧美色图45678| 五月色婷婷影院| 老司机日日夜夜青草| 噜噜狠狠色综无码久久合欧美| 丁香五月 综合| 99色综合网| 久久电影4399| 五月丁香六月激情综合| 色婷婷a| 亚洲天堂色| 激情五月天。| 日噜噜色| 亚洲成人无码免费| 亚洲成人中文字幕| 呦呦v线| 狠狠精品干练久久久无码中文字幕| 丁香五月婷婷六月丁香| 婷婷五月丁香综合激情| 亚洲天堂aaa| 欧洲第一久色| 色色色色网色色网色色| 天天天天做夜夜夜夜做| 夜夜爽日日躁| 能看的AV网站| 91日精品| 99ri视频在线观看| 91九色成人原创视频| ww超碰在线| 9在线9在线婷婷在线国产| 久草婷婷网| 激情五月婷婷| 日本不卡高字幕在线2019| 最近免费中文字幕大全高清大全1| 极品少妇XXXX精品少妇偷拍| 国产乱子轮XXX农村| 玖玖婷婷免费| 激情婷婷。| 亚洲综合在线网站| 色偷偷色婷婷| 丁香五月婷婷啪啪啪| 中文字幕在线日亚洲9| 婷婷综合色| 九九久久五月天综合伊人| 97干在线| 九九精品热| 97热视频| 日韩久热| 久久久久人妻| 日韩成人无码人妻| 狠狠干无码| 国产67194| 日本欧美成人片AAAA| 51精品国自产在线| 中文字幕精品推荐免费在线观| 丁香六月av| 大香av| 久超超碰| 激情丁香五月天综合| 婷婷六月丁香1| 99热这里只有精品在线播放| 女人被男人吃奶到高潮| 五月婷婷av| 激情五月综合网| 色色欧美。| 无码少妇高潮喷水A片免费| 欧美午夜乱妇午夜福利| 欧美一级a | 99爱在线观看视频| 五月丁香六月婷婷色| 热99久久这里只有精品| 五月情涩综合婷婷| 丁香五月天堂| 97色热| 99视频| 婷婷五月,综合伊人| 大香线蕉伊人| 热99久| 91丁香色| 欧美操我| 9久久AV| 久久五月视频| 欧美又粗又大一区二区在线观看| 涩涩五月天综合| 久色欧美| 五月婷婷导航| 超碰自拍天堂| 六月综合婷婷开心伊人| 岛国在线观看91| 国产精品成av人在线视午夜片| 99热欧美精品| 久久99这里| 天天天天天久久久久久| 丁香五月天婷婷中文字幕| 五月婷婷基地| 色啪久| 人妻中文字幕网| 99自拍视频在线观看| 开心婷婷五| 色综合色色色色色| 激情五月婷婷网| 色噜噜狠狠色综合日日| 日韩av在线播放综合网| 91天天操天天干天天射| 天插天啪天啪天啪| 亚洲碰碰碰| 我爱大香蕉| 中文字幕成人版| 91久久五月天| 五月丁香六月婷精品视频| 亚洲操b| 婷婷九月| 中文字幕av久久爽| 華人性愛AV在線| 色操b| 亚洲综合另类| 99热网精品| 五月婷婷深深爱| 五月综合激情图片| 色玖玖导航| 性做久久久久久久免费看| 丁香六月色| 色综合九九| 亚洲狠狠狠色婷婷综合激情久久久| 五月天com| 九九视频这里只有精品| 一级七香蕉| 99九九精品| 夜夜爽天天日| 综合网激情| 精品九九久久| 好吊操这里只有精品| 婷婷va| 天天日天天舔| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 亚洲激情综| 国产精品久久久久久久久久免费| 色五月婷婷在线| 99re这里只有精品首页| 五月天色丁香| 日本久久9| 欧美日韩AAAAA| 亚洲这里只有精品| 国产黄大片在线观看画质优化| 久re热视频| 天天做天天干天天综合网| 第四色五月婷婷| 国产成人AV| 久久婷丁香五月| 五月婷婷香蕉| 久久久com| www,99视频| 五月婷亚洲精品AV天堂| 婷婷五月骚厕所| 91啪啪视频| 99婷婷综合| 中文网AV| 涩婷婷五月天在线精品视频| 激情色五月天| 婷婷丁香视频在线观看免费| 91精品久久久久久久久| 国产激情一区| 深爱五月天婷综合| 六月丁香啪啪| 色五月婷婷激情基地| 深爱开心五月天| 六月婷婷久久| 久久五月天丁香花| 日日色五月天| 9+1视频网址| 91丨人妻丨国产丨丝袜| 亚洲天堂亚洲色色色| 夜夜撸夜夜骑| 国产在线网址1| 九九热视频精品2| 人人干av| 岛囯综合激情网| 色色色综合视频| 激情五月激情综合网| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 婷婷五月花| 日韩综合久久| 色婷婷色婷婷五月| 又大又粗九一在线| 日本熟女三区| 26uuu精品国产| 91pornav在线| 国产玖玖资源| 337p大胆噜噜噜噜噜91Av| 一区二区乱码视频| 五月激情六月丁香| 九九激情| 丁香五月23111| 97人人干| 天天激情5月天亚洲| 国产精品美女| 丁香五月婷婷亚洲另类| 深爱激情69热| 五月婷三级片| 内射激情在线| 九九热在线视频| 91美女被操| 色五月 五月婷婷| 色色色色丁香| 伊人超碰| 欧美99热| 亚洲AV中文在线| www.亭亭五月天| 97精品人人A片免费看| 人妻操逼视频。| 新激情五月天天在线网| 日本久久极品| 思思 热 99| 高潮毛片又色又爽免费| 青青草a在线| 91色久| 99人人干人人| 能看的av| 久久91久久91色欲精品| 久久五月天婷婷| 色五月美女| 久久在线人妻| 久久大大香| 秋霞网在线观看理论91| 国产成人精品一区二三区熟女在线| 97干在线| 成人日韩欧美| 色婷婷基地| AV在线免费播放| 玖玖婷婷视频| 五月丁香六月婷婷啪啪| Caop在线| 五月天天久久香| 绿色小导航AV| 狠狠的日| 黑人无码一区| 狠狠99| 五月天婷综合| 日韩av在线免费观看| 五月婷婷六月丁香首页| 99在线免费视频| 五月丁香久久丝袜啪啪| 色爱亚洲| 亚洲精品中文字幕成人片| 欧美日本va| 亚洲成人AV一区在线观看| 五月丁香做爱视频| 97久久超级| 十月色综合| 97sese婷婷| 思思re99视频在线观看| 国精产品一区二区三区| 五月婷婷色五月| 色婷婷最新域名 | 久综合4| 久久综合天天综合| 日韩AC在线免费观看| 天天色综合综合| 99爱操| 久久九九在线视频| 九月婷婷激情久久| 六月丁香啪啪啪| 九九综舍久久| 九月丁香亭亭| 狠狠色丁香久久久婷| 欧美丁香婷婷五月| 久久99热这里只有精品23| 国产精产国品一二三在观看| 手机看片日日做夜夜| 九九热免费视频| 五月婷婷 六月丁香| 久久AV无码精品人妻系列试探| 五月丁香色五月| 成人免费黄色短视频| 呦呦v线| 玖玖99婷婷| 天天做天天爱综合| 伊人久久大香天蕉亚洲特级| 九九AV在线| 99ri在线| 超碰在线99| 丁香五月第九色| 亚洲宗合激情| 婷婷五月色情天| 色五月婷婷激情基地| 五月丁香亭亭操逼| 只有精品在线观看| 91精品国产综合久久久不卡电影| 欧美成人精品老美女噜噜噜| 我想看国产大学生口爆吞精的视频| 99热视| 亚洲色五月| 五月婷婷综合激情| 免费色婷婷| 亚洲热热视频| 久久资源网五月婷| 日日操日日撸| 婷婷五月天99| 人人干人人操外国| 婷婷久久大香蕉| 新久久五月天激情| 国产人妻777人伦精品HD| 淫荡工a| 狠狠久久婷| 久久草中文日韩欧美| 天天做天天爱高潮片| 丰满老熟妇BBBBB搡BBB | 天天爱天天操| 亚洲激情综| 久久成人人妻| 亚洲碰碰碰| 日韩无码色色| 思思re视频在线| www网站在线观看| 综合伊人久久| 日日夜夜狠狠婷婷色| 日本三级成人秘书精品片| 天天做天天摸| 91久久| 色婷婷婷婷| 丁香六月视频| 色噜噜五月丁香婷婷| 97超碰综合| 开心婷婷五月激情网小说 | 五月天婷婷丁香花| 开心五月网| 色五月视频无码播放| 婷婷激情综合色五月久久91| 婷婷久久亚洲| 中文字幕簧片| 色五月婷婷五月天激情综合| 99色视频| 开心五月色婷婷综合开心网| 久久九九玖玖| 精品人妻伦九区久久AAA片| 常久最新免费的色吊丝| 成片免费播放| 狠狠插.com| 夜夜躁爽日| 五月天啪啪视频| 亚洲精品久久久久久久久久飞鱼| 开心五月网 | 五月天婷婷社区| 五月丁香手机在线| 大香蕉视频婷| 老司机日日夜夜青草| 综合五月天天天天天五月| 婷婷五月色情| 婷婷中文字幕| 另类激情中文| 激情综合五月| 午夜激情四射影院| 一级性爱视频| www.99热. com这里只有精品| 任你爽精品免费视频6| 婷婷五月天网| 亚洲无码99| 天天弄天天爽| 色婷婷成人久久| 天天操天天曰| 色婷婷在线视频综合| 超碰资源在线| 精品久久久91久久影视网| 国产精品爽爽久久久久久| 伊人五月天男人的天堂在线| 色综合久网| 丁香六月婷婷| 天天色视频| 天天开心婷婷丁香五月| 97成人丁香| 在线成人网站| 艹| 色色五月天网站| 久久99热网| 人人人操| 久久99热精品a片在线观看| 亚洲天堂啪啪| 啪啪日本欧美| 色99色| 色屌丝中文字幕| 五月丁了香蕉综合| 九九色院| 日本色色色色色色色色一色二色| 碰碰91| 色爱终和网| 99热播放| 97成人在线视频| 五月丁香综合激情| 国产成人99久久亚洲综合精品| 五月婷婷六月丁香免费| 97爱综合| av免费在线看不卡无毒| 99热手机在线精品| 色五月亚洲| 狠狠色丁香婷婷综合久久97AV| 五月丁香亭亭操逼| 韩国97天堂| 亚洲精品99| 成人婷婷| 激情五婷网| 色9色| 色婷婷综合丁香五月天| 国产精品第一国产精品| 久久综合人妻| 色爱综合网| 五月婷婷视频ab| 日本va欧美va欧美va精品| 激情婷婷视频在线| 亚洲AV影片在线观看| 丁香五月在线| www久久艹| 99热的无码| 国产色色在线| 婷婷五月天综合久久| 丁香五月伊人| 午夜成人片400| 99九色视频在线观看| 国产无套精品一区二区| 噜噜噜噜在线| 久久婷婷五月国产激情综合片| 97超级碰碰碰| 色操综合| 无码激情AAAAA片-区区| 久久狠狠干| 国产精品色婷婷久久久精品| 五月婷婷开心综合| 婷婷的五月天另类视频| 色婷婷伊人| 国产亚洲色婷婷久久99精品9j| 97操操网| 六月丁香五月婷婷| 五月婷婷婷婷| 思思99热| 激情五月婷婷丁香| 婷婷六月天激情影院| 99re热精品视频国| 99精品久久久久久久婷婷| 青青色com久久| 爱久久小说下载网| JAPANRCEP老熟妇乱子伦视频| 狠狠综合网| 丁香六月婷婷综合| 久久99性爱| 激情影院免费视频婷婷五月天| 99久久99视频只有精品| 99热国产精品| 色九九九九| 欲色人妻| 99欧美精品99日本精品| 九九99久久精品| 婷婷伊人| 激情六月婷婷| 99热这里只有精品22| 精品网站:999WWW| 玖玖热视频| 亚洲狠狠操| 国产欧美日韩一区二区三区| 99视频精品视频| 亚洲综合激情五月久久| 婷婷中文在线| 欧洲综合视频| 成人AV中文字幕| 九九Y精品热播| 六月色丁香婷婷| 亚洲国产精品二二三三区| 久操婷婷| 99热这里都是精品| 在线只有精品| 五月天com| 婷婷欧美激情综合| 超碰国产AV| 无码区婷婷五月花开| 嫩BBB槡BBBB搡BBBB视频| 婷婷美女精品视频| 五月亭亭六月色| 婷婷五月天激情综合| 色五月婷婷影院| 色综合香蕉视频| 99色人| 5月丁香综合图区| 色香蕉精品五夜婷| 成人无码髙潮喷水A片| 丁香五月综合| 久草婷婷| 欧美槡BBBB槡BBB少妇| 亚洲精品亚洲人成人网| 六月丁丁香| 色色五月天婷婷| 九九热超碰| 狠狠干,狠狠操| 久久免片| 日狠狠| 激情五月天电影| 日本五月婷| 九九RE视频在线精品| 久久久久9| 色~性~乱~伦~噜| 久久久久久激情| 色播婷婷五月天| 激情综合无码| 丁香五月激情啪啪| 婷婷丁香六月| 中文字幕日产A片在线看| 欧美性做爰大片免费看办公室| 激情综合五月| 国产真实乱对白精彩| 国产AV一区二区三区日韩| 操老逼综合网| 婷婷五月天 丁香五月天 裸体| 曰本久久女| 丁香五月天大香蕉啪啪| 亚洲视频码| 久久五月婷婷视频| 久99久精品视频| 五月丁香无码| 天天综合网、天天综合色| 久久婷婷激情五月天一区二区| 五月丁香A片| 凹凸7777操操操| 天天日狠狠| www.狠狠色.com| 天天爽综合| 激情六月一二| 草五月| 日韩av在线免费观看| 色五月综合在线| 丁香五月婷久久| 美日韩成人| 另类小说五月天| 91se精品国产| 亚洲AV永久无码影院黑人| 9伊人网| 五月婷婷色影院| 超碰成人免费| 99热在线里有精品| 婷婷四色成人综合色视| 久久99热这里只有精品 | 久爱综合| 五月丁香激情综合网官网| 婷婷色情五月| 婷婷久久亚洲| AV伊人青草丁香六月| 色青青五月| 思思w99| 丁香五月综合AV在线| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 亚洲综合99| 久久婷婷久久| 色婷五月天| 亚洲乱码日产精品BD| 97se在线视频| 五月婷婷天堂| 天天日夜夜高潮| 深爱五月亚洲| 五月丁香婷婷欧美| 婷婷金品综合视频| 免费看欧美成人A片无码| 亚洲无码影音| 欧美色色干| 26uuu青青| 五月丁香婷婷六月天| 91色情播放| 99男人的天堂| 婷婷五月丁香五月| 黄色片久久| 五月丁香激情啪啪网| 97干在线播放| 亚洲激情淫网| 丁香六月五月婷婷| 五月伊人网| 成人国产欧美大片一区| 91伦| 色色色色五月天| 99er免费在线观看| 终合激情网| 成人看片网站| 色色色com| 五月天婷婷情色| 九九热99re8热免费观看| 亚洲久久婷婷| 久久久久亚洲AV成人无码电影| 91精品91久久久中77777| 岛囯综合激情网| 国产精典视频在线观看| 美女要搞搞天天搞搞搞网站| 色综合色综合网| 97人人做| 色丁香五月婷婷| 久色大香蕉| 五月丁香婷婷色| 六月丁香婷婷在线波多| 亚洲成人高清在线| 99ree6| 99人人操人人操人人精| 天天草人人摸| 五月丁香六月婷婷在线观看| 九九久久久综合| 9热在线观看| 九九sese| 99热97| 丁香婷婷久久 | 五月丁香少妇A| 天天干天天操天天爽| 99ri精品| 久久久久久久五月| 立川无码av| 日本成人噜噜噜| 国产成人网站在线观看| av在线不卡播放| 丁香六月婷婷开心| 日本婷婷色日| 九九99久久| 色五月中文字幕| 久久精品国产色| 噜噜狠狠色综无码久久合欧美| 亚洲中文字幕网| 久久五月天免费网站| 超黄亚洲瑟瑟网站| 五月丁香六月| 亚洲字幕AV一区二区三区四区| 婷婷狠狠18禁久久| 思思热热久久| 五月天激情电影| 久久久久久久久久久jjjj| 丁香五月婷婷狠狠色| 五月天精品视频| 婷婷狠狠操| 日本情色一区二区| 欧美激情xxxXX| 99热精品99| 婷婷视频在线| 九九亚洲视频| 少妇激情五月天| 97五月天| 伊人网碰碰| 免费播放99性爱视频| 99在线精品免费视频| 五月婷av| 五月 丁香 欧美| 另类A片| 色婷婷亚洲综合天堂| 丁香六月色香蕉视频| 天天天天干| 日本一级黄色片。| 丁香五月色| 夜夜干天天操| 日逼AV影音先锋男人资源站| 一起草av| 五月激情小说| 99ER热精品视频| 99热偷拍| 日日日,com| 色欲婷婷五月天丁香| 丁香六月婷婷操逼网| 人妻久久久久久久久妻久久久久久久久 | 综合激情五月丁香| 狠狠穞A片一區二區三區| 日本一级黄色片。| 日韩色色色99| www.日韩国产| 婷婷六月丁综合| 五月婷婷亚洲综合网| 一区二区成人电影| 色五月中文字幕| 久久网思思| 午夜天堂啪啪| 激情綜合網址| 99er精品视频| 思思久久99热只有频精品66| 天天操夜夜爽天天操| enecarbon-materials.com污K127封锁请涟系@wip1688 | 女力报到正好爱上你| 色色色色综合网| 亭亭色网| 丁香五月天成人网站| 九色综合网| 五月婷婷丁香深深爱| 26uuu丁香婷婷五月| 伦乱人妻| 五月天婷爱综合| 色五月综合在线| 亚洲AV第二区国产精品| 六月婷婷久久| www,999日本色| www。五月天激情| 久操激情| 成人五月天。COM| 亚洲成人电影aaaa| 久久激情网| 中文字幕人妻在线| 久久这里只有精品热在99| 香蕉久久五月| 99热精品一区| 天天拍天天操| 五月婷婷亚洲天堂97色婷婷| 日韩一区二区三区无码| 另类图片五月天| 激情五月天色色色| 欧美极品999| 亚洲综合五月天婷婷丁香| 亚洲综合成人网站| 日韩十国产极品久久| WWW.国产| 人人爽在线视频综合网| 色情综合网| 99热综合网| 丁香五月影院| 久久中国毛毛片爱久久| 99久久久| 91嫩草国产线观看亚洲一区二区| 桔色成人官方网站| 专区无日本视频高清8| 激情综合五月激情XXXX| 六月丁香激情网| 五月天激情久久| 色五月婷婷五月天| 97操男人的天堂| 日日插日日干| 91九九九九九九| 日本熟女一区二区| 国产性爱在线| 能看的AV网站| 中文字幕有多少字| 久久奄也去色色网站| 国产成人精品亚洲线观看| wWw色五月| 99视频精品在线| 久久免费精品小视频| 亚洲1区| 日韩综合网络男女香蕉a片| 婷婷伊人综合中文字幕| 久久婷婷国产| 一级精品999WWW| 日本一毛片| 久大香蕉| 色婷天天| 色噜噜狠狠色综合成人网| 14色综合婷婷| 另类图片激情五月| 五月天三级久久| 久热超碰91| 1024操逼视频| 国产精品日日躁夜夜躁| 99精品在线观看视频| 欧美 日韩 成人 在线| 中文精品在| 日韩成人中文字幕| 亚洲精品电影| 99爱视频在线| 婷婷五月天成人| 婷婷丁香五月激情| 五月伊人综合| 久久色情| 日韩AV免费电影在线播放| 伊人啪啪网| 99久久九九| 人人操插| 五月停亭六月,六月停亭的英语 | 色情成人五月天| 五月丁香狠狠爱婷婷综合| 96自拍视频九色在线观看| 婷激情五月| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 丁香五月成人社区| 色综合狠狠色| 婷婷月综合| 丁香五月性| 99热精品无码| 人妻操逼| 五月Huangsewang| 99成人小视频| 色色综合热| 思思热在线| 五月婷婷久久大香蕉| www.婷婷亚洲基地| 综合激情婷婷| 久久婷婷影院| 欧美激情五月天在线观看| 精品国产一区二区三区四区阿崩| 久热中文字幕在线线观看 | 丁香婷婷色五月| 婷婷久久五月| 五月天色色无码| 婷婷干五月综合在线播放| 99日视频在线| 人妻AV在线观看| aaaaa黄色| 国产精产国品一二三在观看| 婷婷五月丁香基| 午夜成人av在线| 色婷婷五月天久久| 久操无码| 国产成人网址| 丁香五月天激情AV| 夜夜AVV| 69久久99精品久久久久婷婷| 97操碰| 欧美成人AAA片一区国产精品| 日日操,天天操| 久久亚洲天堂| 色色激情| 五月天激情网址| 日本色色视频| 99热免费精品| 亚洲精品va| 影音先锋91在线资源站| 五月丁香婷婷六月| 五月激情啪啪啪| 免费观看全黄做爰的视频| www.五月天社区| 91综合色| 中文字幕在线观看视频www| 天天日夜夜爽。| 久久99久久久| 五月婷婷激情网| 色综合久久天天综合网| 伊人三级激情| 五月丁香色婷婷| 亚洲婷婷激情888精品久| 国产肏屄大片| 五月丁香六月激情综合| 日日做夜夜爱| 欧美三级黄色片久久| 五月天社区| 九九精品视频在线6| 久久免费操| 亚洲乱码日产精品BD在线观看 | 99精品视频偷拍| 再綫Av免费視品| 九一九九黄色| 中文字幕永久免费| 色五月色综合| 亚洲视频操| 天天射影院| 婷婷丁香五月色| 丁香五月综合高清在线| 99久久喉9| 久综合| 五月婷综合性中心| 玖玖激情五月天| 天天干天天干天天干| 五月天开心激情综合网| 激情婷婷丁香五月天小说| 丁香五月婷婷影视先锋| 五月婷婷六月丁香综合| 五月婷婷激情69| 人妻激情网| 激情99| 色五月婷婷很很操| 99re思思热在线视频| 狠狠色婷| 色色五月婷婷| 丁香婷婷五月基地| www.久久久久| 亚洲成人网址在线观看| 67194国产| 99热这里只有精品一区| 五月天激情四射| 五月天丁香久久综合 | 五月婷婷亚洲| 色色网站毛片| 婷婷人人操| 思思热热久久| 五月婷婷六月丁香综合| 久久九九热re6这里有精品| 国产熟女一区二区三区五月婷| 色婷婷五月婷婷五月婷婷五月| 国产精品丝| 欧美成人精品A片免费一区99| 97碰人人操| 26uuu国产精品| 婷婷爱爱蜜臀天天操| 乱精品一区字幕二区| 伊人玖玖精品| 五月天在线视频尤物视频在线看| 嫩模aV在线| 午夜微拍福利| 日本色五月| 日日操日日撸| xx色综合| 91碰| 婷婷五月成人社区| 思思热精品在线| 色播五月婷婷五月| 欧美日韩AAAAA| 99精品久久久久久久| 人妻丰满精品一区二区A片| 9久久婷婷国产综合精品性色| 激情五月,深深爱五月| 996热| 丁香五月www| 丁香五月天激情综合| 丁香五月先锋| 婷婷五月天性| 91操碰| 99热高清在线| 一二线视频 另类| 国产亚洲99久久精品| 久久婷婷五月天综合| 99热在这里只有免费精品| 91一道本| 亚洲网在线观看| 色色性爱视频| 免费在线观看欧美激情xx小视频| 亚洲九九九九| 亚洲丁香花色| 久久五月婷婷视频| 亚洲六月色| 久久538| 成人色图情色成人网 www.5b5b5bcom 五月天 | 国产熟女大叫受不了| 日本婷婷色| 九九激情网| 超碰色综合| 丁香六月激情综合啪啪| 久热这里这里有精品| 开心五月综合激情网| 亚洲99一级无嗎特制在线| 无码日本精品XXXXXXXXX | 激情亭亭五月| 丁香婷婷激情网站| 五月天婷婷青青| 色婷婷电影网| 97电影99热| 天堂美国久久| 99综合网| 五月婷婷基地| 开心五月深爱五月| 色婷婷五月天天天干天天操天天爽| 色A网| 婷婷色五月丁香六月欧美啪| 伊人色五月| 黄色高清无码| 精品亚洲国产成AV人片传媒| 五月丁香综合| 色综合区| 九九热在线精品视频| 欧美成人精品一区二区| 婷婷五月天va| 欧美天天爽| 六月丁香av| 人人爽欧美婷婷久久久五月丁香 | 大香蕉综合网| 五月丁香大香蕉| 亚洲秘 无码一区二区三区妃光/1| 99热这里只有精品在线播放| 五月五丁香婷婷| 色丁香五月婷婷婷| 综合婷婷| 久久综合色五月| 国产AV网页| 亚洲综合色成丁香五月色| 五月婷婷激情综合| 五月天色婷婷综合| 久久激情五月| www.久久99热地址发布| 五月激情六月丁香| 五月丁香婷婷成人综合网| 激情婷婷六月| 久久九九99字幕| site:jszngf.com| 99久久精彩视频。| 在线另类| 大香蕉网站,大香蕉综合| 天堂爱啪啪| 人妻激情网| www网站在线观看| 国产免费一区二区三州老师F1……| 97碰碰碰免费公开在线视频| 97人人干| 五月天另类激情在线| 超碰人妻在线| 97色婷婷成人综合在线观看| 久久五月婷婷丁香| 色综合伊人网| 色五月丁香六月欧美综合| 日日操,夜夜撸| 甈你aaaaa| 激情五月婷婷综合网| WWW五月天| 天天AV导航网| 美女五月激情| 婷婷五月成年人| 天天搽天天射| 日本a片网址| 99er6免费视频热播| 丁香五月影院| 五月丁香激情综合| 色婷五月| 丁香五月电影| 久久99大全| 五月婷婷七月丁香| 五月天丁香婷婷社区| 日本3级片一区2区| 99热日| 久色88| 婷婷久久影院| 99热日| 婷婷综合网性| 丁香五月色五月| 91婷婷搞| 欧美在线97| 9色视频在线| 狠狠色色| 五月天婷婷色在线视频免费观看 | 99热在线看片| 激情久久久久久久久久| 欧美色色干| 午夜爱插插| 久久人人九九| 99操逼视频| av九九| 丁香六月AV| 色婷婷婷av| 五月丁香怕怕综合| 五月丁香六月日逼| 一个色的综合| 五月婷在线色视频| 九九色视频| 99综合免费视频| 丁香六月婷婷综合在线| 开心激情网在线| 激情五月天 婷婷| 色欲午夜无码久久久久久张津瑜| 人妻久久婷婷| 亚洲午夜av| 中文av网| 99热国产| 八戒青柠影视剧在线观看| 婷婷色五月91啪啪| Www.se.久久| WWW.久久99| 亚洲成人另类| 99色综合网| 色,激情五月天| jiujiu无码五区| 五月丁花色综合网| 五月丁香婷婷激激激综合网色播| 五月天婷婷婷| www.天天干| 91丁香五月| 99婷婷| 亚洲操人| 精品香蕉99久久久久网站 | 玖玖综合色| AAA久久| 一级黄在线| 99色在线| 久久5 9视频免费观看| 亚洲激情| 六月丁香婷婷色狠狠久久| 色婷婷网| aaaaaa片| 伊人干练久| 五月婷婷综合久久| 色七七九九| 丁香五月激情婷婷| 91丨九色丨熟女高潮| 久久色六月| 五月丁香888| 97影院一级片| 五月在线婷色| 色五月综合网| 久久婷婷五月天蜜桃| 久99视频在线观看| 天天日日夜夜| 国产AV一区二区三区日韩| 丁香六月天婷婷| AA久久| 天天弄天天爽| 婷婷五月免费在线| 色综合久久88色综合天天99| 99热亚洲精品| 大香蕉久| 9色资源在线| 香焦网五月天| 黄色大片又大粗又爽| 色高清无码视频| 天天操天天操天天操天天操天天操 | 色婷婷五月天成人网| 精品色| 91精品久久久久久久| 99在线精品视频| 色婷婷播放| 国产.亚洲.欧洲视频在线| 色一区高清| 天天舔天天摸天天透| 天天色天天日天天舔| 婷婷六月啪啪| 激情五月综合网丁| 欧美啪啪五月天| 色五月激情网| 99热综合在线观看| 五月丁香六月综合激情| 日本一级一级一级一级| 91九九九九| 久激情| 丁香五月激情婷婷视频| 欧美丁香五月天| 色婷婷激情四射视频| 亚洲精品永久久久久久| 思思热在线视频精品| 亚洲色网址| 亚洲AV在线免费看| 伊人色五月| 婷婷五月黄色激情在线| 热的无码综合视频| 久久久久激情网| 九九色色| 99热999| 色情婷婷| 婷婷丁香综合| 91久久1118| 风流少妇A片一区二区蜜桃| 99碰在线视频| 99这里有精品久久97| 激情五月少妇| 玖玖综合色| 香蕉网婷婷| 激情99热| 五月夜丁香| 天天做天天爽| 大香蕉九九| 在线综合91| 狠狠搞五月天| 日日日日操| 五月婷婷中文字幕| 成人婷婷色综合| 影音先锋一区| 久色中文| 久久婷婷网站| 国产精品激情AV久久久青桔| 亚洲色综久久五月| 日本婷婷丁香五月| 亚洲婷婷免费| 狠狠色成人影片| 色停停影院五月天| 丁香五月天偷拍| 久久五月综合| www.狠狠| 亚洲av无码影院| 丁香六月婷婷激情综合| 五月花激情| 狠狠色综合网| 亚洲AV无码一区二| 亚洲精品乱码久久久久久综合| 婷婷五月免费视频| 中文毛片无遮挡高潮免费| 色婷久| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 99热在线观看成人| 97在线精品| www激情com| 激情综合久久| 久热爱大香蕉在线蜜臀悦色 | 日本色婷婷| 久久 中文 日本| 99热在线99| 天天肏天天肏天天肏| 中文字幕1区2区。| 丁香五月综合婷婷| 九玖欧洲亚洲| 99久热| 婷婷香蕉视频| 99热视| 色玖玖综合| 丁香五月欧美婷婷综合| 丁香五月久久| 色婷婷五月天综合网| 思思热99热| 奇米网大香蕉| 开心五月综合激情综合五月| 五月丁香久久综合| www.1024久久| 婷婷丁香六月影视| 五月婷婷深深爱| 涩丁香| 99综合视频在线| 婷婷五月天福利| 五月天婷婷婷| 亚洲综合在线视频| 五月丁香五月综合欧美| 激情内射人妻1区2区3区| 亚洲综合网 665566| 久久色这里只有精品| www.夜夜操| 色哟哟精品| 五月天伊人综合| 99无码精品| 激情四射网| 99思思热只有在这里看| 噜噜噜狠狠色综合| 欧美日比视频| 天天爽天天日天天舔| 全部老头和老太XXXXX| 97操在线视频| 色色射| 日韩在线看AV| 五月开心婷婷极品激情| 欧美日韩成人高清在线| 丁香五月婷婷社区| site:minyis.com| 亚洲欧美成人在线|