欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

軍工容災(zāi)備份中心第三方測(cè)試:從故障注入到RPO/RTO實(shí)測(cè)驗(yàn)證

軍工容災(zāi)備份中心第三方測(cè)試:從故障注入到RPO/RTO實(shí)測(cè)驗(yàn)證 1. 項(xiàng)目定位容災(zāi)備份中心的第三方測(cè)試到底測(cè)什么接手“軍工信息系統(tǒng)容災(zāi)備份中心建設(shè)軟件第三方測(cè)試方案”這個(gè)項(xiàng)目時(shí)第一反應(yīng)不是去翻需求文檔而是先想清楚一個(gè)前提問(wèn)題這套容災(zāi)備份系統(tǒng)在建設(shè)完成之后為什么還要單獨(dú)拉一支第三方測(cè)試隊(duì)伍進(jìn)場(chǎng)容災(zāi)備份中心的核心價(jià)值就一句話業(yè)務(wù)數(shù)據(jù)不丟、核心業(yè)務(wù)不停。對(duì)應(yīng)到技術(shù)指標(biāo)上就是RPO Recovery Point Objective恢復(fù)點(diǎn)目標(biāo)和RTORecovery Time Objective恢復(fù)時(shí)間目標(biāo)。RPO決定了你能容忍丟多少數(shù)據(jù)RTO決定了你能容忍業(yè)務(wù)中斷多久。軍工信息系統(tǒng)的業(yè)務(wù)連續(xù)性要求極高RPO和RTO往往卡得非常緊數(shù)據(jù)丟失和業(yè)務(wù)中斷的代價(jià)都不是用金錢(qián)能衡量的。第三方測(cè)試的價(jià)值在于“獨(dú)立性”。研發(fā)方自測(cè)天然存在盲區(qū)開(kāi)發(fā)人員對(duì)自己寫(xiě)的代碼有路徑依賴測(cè)來(lái)測(cè)去總是繞著熟悉的功能打轉(zhuǎn)運(yùn)維方關(guān)注的是日常運(yùn)行很難站在“故意搞破壞”的角度去驗(yàn)證系統(tǒng)的極限能力。第三方測(cè)試的核心思維是“假設(shè)它會(huì)壞然后想辦法讓它壞”。只有通過(guò)主動(dòng)制造故障、故意中斷鏈路、模擬極端場(chǎng)景才能把容災(zāi)系統(tǒng)真正的底牌摸清楚。這次項(xiàng)目的“部分內(nèi)容”定位也很明確不是從零開(kāi)始寫(xiě)一份完整測(cè)試方案而是針對(duì)容災(zāi)備份中心建設(shè)中的關(guān)鍵測(cè)試專(zhuān)項(xiàng)進(jìn)行細(xì)化設(shè)計(jì)。整體方案里已經(jīng)確定了測(cè)試范圍、測(cè)試資源、進(jìn)度計(jì)劃這部分內(nèi)容重點(diǎn)解決的是“具體怎么測(cè)、判定標(biāo)準(zhǔn)是什么、故障怎么注入、數(shù)據(jù)怎么校驗(yàn)”這些可落地的細(xì)節(jié)。適合讀這篇內(nèi)容的人主要是三類(lèi)一是做容災(zāi)備份系統(tǒng)測(cè)試的工程師可以參考測(cè)試項(xiàng)設(shè)計(jì)和判定準(zhǔn)則二是做數(shù)據(jù)中心建設(shè)項(xiàng)目的管理人員可以用里面的檢查點(diǎn)去監(jiān)督第三方測(cè)試質(zhì)量三是剛?cè)胄邢胱鰷y(cè)試方案設(shè)計(jì)的同學(xué)里面有很多實(shí)際執(zhí)行層面的坑和經(jīng)驗(yàn)。2. 第三方測(cè)試的總體策略與方案設(shè)計(jì)要點(diǎn)2.1 測(cè)試策略四類(lèi)測(cè)試的投入比例怎么定容災(zāi)備份系統(tǒng)的第三方測(cè)試我習(xí)慣劃分為四大類(lèi)功能性測(cè)試、性能測(cè)試、可靠性測(cè)試、安全性測(cè)試。這四類(lèi)不是平均用力而是根據(jù)系統(tǒng)建設(shè)階段和風(fēng)險(xiǎn)等級(jí)動(dòng)態(tài)調(diào)整。功能性測(cè)試重點(diǎn)驗(yàn)證容災(zāi)備份的基本能力包括數(shù)據(jù)同步是否正常、備份任務(wù)能否按策略執(zhí)行、切換流程是否完整、恢復(fù)操作是否可用。對(duì)于軍工信息系統(tǒng)功能測(cè)試要覆蓋“正常路徑”和“異常路徑”兩條腿很多人只測(cè)正常路徑結(jié)果故障演練的時(shí)候一步都走不通。性能測(cè)試關(guān)注的是同步延遲、備份窗口、恢復(fù)速度、并發(fā)處理能力等指標(biāo)。這里有個(gè)關(guān)鍵點(diǎn)容災(zāi)備份系統(tǒng)的性能指標(biāo)必須在“接近真實(shí)負(fù)載”的條件下測(cè)試而不是在空庫(kù)、低并發(fā)環(huán)境下測(cè)一個(gè)好看的數(shù)字。我在模擬項(xiàng)目X中接過(guò)一個(gè)項(xiàng)目前期的性能測(cè)試報(bào)告非常漂亮數(shù)據(jù)同步幾乎零延遲結(jié)果真實(shí)業(yè)務(wù)接入后延遲暴漲原因就是測(cè)試環(huán)境的寫(xiě)入并發(fā)只有生產(chǎn)環(huán)境的十分之一??煽啃詼y(cè)試是重頭戲包括故障注入測(cè)試、切換演練、斷電斷網(wǎng)模擬、數(shù)據(jù)損壞模擬等。這部分測(cè)試的投入占比至少要達(dá)到40%以上。可靠性測(cè)試不是“走個(gè)過(guò)場(chǎng)”而是要真正制造故障觀察系統(tǒng)的真實(shí)反應(yīng)。安全性測(cè)試在軍工場(chǎng)景下尤為重要包括備份數(shù)據(jù)的加密存儲(chǔ)、訪問(wèn)控制、傳輸鏈路安全、備份介質(zhì)管理等方面必須確保容災(zāi)數(shù)據(jù)本身不被泄露或篡改。2.2 測(cè)試環(huán)境搭建隔離、仿真、脫敏三原則測(cè)試環(huán)境是第三方測(cè)試的“試驗(yàn)臺(tái)”搭建得好不好直接決定測(cè)試結(jié)果的可信度。容災(zāi)備份系統(tǒng)的測(cè)試環(huán)境搭建我總結(jié)為三個(gè)原則隔離性、仿真性、數(shù)據(jù)脫敏。隔離性是底線。測(cè)試環(huán)境必須與生產(chǎn)環(huán)境完全隔離網(wǎng)絡(luò)不能互通存儲(chǔ)不能共用賬號(hào)體系也要分開(kāi)。有些單位為了省事在生產(chǎn)環(huán)境的空閑網(wǎng)段上劃一塊出來(lái)做測(cè)試這種做法非常危險(xiǎn)故障注入測(cè)試一旦失控可能直接影響生產(chǎn)業(yè)務(wù)。軍工信息系統(tǒng)對(duì)隔離性的要求更高物理隔離比邏輯隔離更穩(wěn)妥。仿真性決定了測(cè)試結(jié)果的有效性。網(wǎng)絡(luò)拓?fù)湟抡丈a(chǎn)環(huán)境容災(zāi)鏈路的帶寬、時(shí)延、抖動(dòng)參數(shù)要盡量接近真實(shí)情況。存儲(chǔ)設(shè)備型號(hào)、磁盤(pán)陣列配置、備份軟件的版本也要與生產(chǎn)環(huán)境保持一致。如果測(cè)試環(huán)境和生產(chǎn)環(huán)境差異太大測(cè)出來(lái)的RPO、RTO數(shù)據(jù)就沒(méi)有參考價(jià)值。數(shù)據(jù)脫敏是軍工項(xiàng)目不可跳過(guò)的一環(huán)。用生產(chǎn)數(shù)據(jù)做測(cè)試必須經(jīng)過(guò)脫敏處理涉密字段要替換關(guān)鍵業(yè)務(wù)數(shù)據(jù)要變換。但脫敏有個(gè)度的問(wèn)題脫的太狠數(shù)據(jù)特征失真測(cè)試結(jié)果不可信脫的不夠存在泄密風(fēng)險(xiǎn)。建議的做法是保留數(shù)據(jù)的結(jié)構(gòu)特征、數(shù)據(jù)量級(jí)、分布規(guī)律只替換具體的內(nèi)容值。2.3 測(cè)試工具選型商業(yè)、開(kāi)源、自研如何組合容災(zāi)備份測(cè)試的工具鏈?zhǔn)忻嫔蠜](méi)有一套完全通用的方案實(shí)際項(xiàng)目中往往是商業(yè)工具、開(kāi)源工具、自研腳本三者組合。商業(yè)工具方面磁盤(pán)陣列和備份軟件廠商一般會(huì)提供配套的測(cè)試工具比如存儲(chǔ)層的性能測(cè)試工具、備份軟件的驗(yàn)證工具。我的建議是廠商工具必須用但不能只用。廠商工具通常用來(lái)證明“我的產(chǎn)品沒(méi)問(wèn)題”第三方測(cè)試需要用獨(dú)立的視角去驗(yàn)證完全依賴廠商工具相當(dāng)于讓運(yùn)動(dòng)員自己當(dāng)裁判。開(kāi)源工具的靈活性更高。網(wǎng)絡(luò)層故障注入可以用Linux自帶的tc命令模擬延遲、丟包、亂序磁盤(pán)I/O故障可以用device-mapper工具模擬壞塊、讀寫(xiě)超時(shí)數(shù)據(jù)庫(kù)層的數(shù)據(jù)校驗(yàn)可以用Perl、Python腳本做比對(duì)。我在實(shí)際項(xiàng)目中網(wǎng)絡(luò)抖動(dòng)模擬、數(shù)據(jù)一致性校驗(yàn)大部分都是用腳本完成的。自研腳本主要解決兩類(lèi)問(wèn)題一是批量構(gòu)造測(cè)試數(shù)據(jù)二是自動(dòng)化執(zhí)行故障注入和結(jié)果采集。比如主備切換測(cè)試需要在高并發(fā)寫(xiě)入的場(chǎng)景下觸發(fā)切換純手工操作很難捕捉到精確的RPO值寫(xiě)一個(gè)數(shù)據(jù)生成腳本持續(xù)寫(xiě)入同時(shí)另一個(gè)腳本控制切換觸發(fā)最后比對(duì)寫(xiě)入序號(hào)和切換后數(shù)據(jù)庫(kù)中的數(shù)據(jù)就能算出真實(shí)的RPO。3. 核心測(cè)試項(xiàng)設(shè)計(jì)與實(shí)操過(guò)程3.1 主備切換與故障注入測(cè)試怎么“故意搞壞”系統(tǒng)主備切換是容災(zāi)系統(tǒng)的核心動(dòng)作也是測(cè)試中最容易出問(wèn)題的環(huán)節(jié)。設(shè)計(jì)切換測(cè)試時(shí)我遵循一個(gè)原則先分級(jí)、后注入、再驗(yàn)證。分級(jí)指的是切換場(chǎng)景分級(jí)。一級(jí)場(chǎng)景是計(jì)劃內(nèi)切換比如設(shè)備維護(hù)、軟件升級(jí)導(dǎo)致的主動(dòng)切換二級(jí)場(chǎng)景是計(jì)劃外切換比如主機(jī)宕機(jī)、存儲(chǔ)故障、網(wǎng)絡(luò)中斷導(dǎo)致的被動(dòng)切換。測(cè)試必須覆蓋兩個(gè)級(jí)別因?yàn)橛?jì)劃外切換的判定邏輯和執(zhí)行路徑與計(jì)劃內(nèi)切換完全不一樣。故障注入方式要多樣化不能只測(cè)“拔網(wǎng)線”。物理層故障包括主機(jī)斷電、存儲(chǔ)離線、光纖鏈路中斷網(wǎng)絡(luò)層故障包括核心交換機(jī)宕機(jī)、鏈路丟包率飆升、網(wǎng)絡(luò)抖動(dòng)加劇應(yīng)用層故障包括數(shù)據(jù)庫(kù)進(jìn)程崩潰、中間件服務(wù)假死、備份任務(wù)異常終止。我在模擬項(xiàng)目X中設(shè)計(jì)了一組故障用例對(duì)生產(chǎn)主機(jī)執(zhí)行了模擬斷電操作結(jié)果發(fā)現(xiàn)系統(tǒng)的雙機(jī)心跳檢測(cè)機(jī)制在8秒后才完成故障確認(rèn)比設(shè)計(jì)指標(biāo)多了3秒主要原因就是心跳探測(cè)的失敗重試次數(shù)配置了5次每次超時(shí)1.6秒正常情況下這個(gè)配置沒(méi)問(wèn)題但在高負(fù)載條件下心跳響應(yīng)變慢導(dǎo)致故障確認(rèn)時(shí)間超標(biāo)。切換功能的驗(yàn)證點(diǎn)包括故障檢測(cè)是否及時(shí)、切換決策是否正確、數(shù)據(jù)同步是否完整、業(yè)務(wù)是否平滑接管、切回操作是否正常。每一步都要有明確的判定標(biāo)準(zhǔn)和預(yù)期結(jié)果不能只看“系統(tǒng)沒(méi)報(bào)錯(cuò)”就判定通過(guò)。3.2 數(shù)據(jù)一致性校驗(yàn)與RPO實(shí)測(cè)別只看工具報(bào)表RPO是容災(zāi)系統(tǒng)最核心的指標(biāo)之一但很多測(cè)試團(tuán)隊(duì)測(cè)RPO的方法過(guò)于粗糙直接看同步軟件顯示“已同步到最新”就認(rèn)為RPO為零。這種做法在軍工項(xiàng)目中是不可接受的。正確的RPO實(shí)測(cè)方法應(yīng)該是這樣的在業(yè)務(wù)寫(xiě)入持續(xù)不斷的場(chǎng)景下人為制造主中心故障然后檢查備用中心的數(shù)據(jù)狀態(tài)計(jì)算出故障發(fā)生時(shí)刻與備用中心實(shí)際恢復(fù)點(diǎn)之間的數(shù)據(jù)差。具體操作上我通常會(huì)寫(xiě)一個(gè)帶有遞增序號(hào)的數(shù)據(jù)寫(xiě)入程序持續(xù)向源端寫(xiě)入數(shù)據(jù)同時(shí)在某個(gè)隨機(jī)時(shí)刻觸發(fā)主中心故障故障恢復(fù)后統(tǒng)計(jì)備用中心數(shù)據(jù)中最大的連續(xù)序號(hào)用“源端寫(xiě)入總量減去備用中心已接收量”換算成時(shí)間差就是真實(shí)的RPO。這里有一個(gè)很隱蔽的坑如果數(shù)據(jù)同步是異步模式正常時(shí)段同步延遲很小但在大事務(wù)提交、批量導(dǎo)入、日志備份的瞬間同步隊(duì)列會(huì)積壓RPO會(huì)瞬間拉大。只測(cè)穩(wěn)態(tài)下的RPO遠(yuǎn)遠(yuǎn)不夠必須在高寫(xiě)入壓力、大事務(wù)集中提交的場(chǎng)景下反復(fù)測(cè)試才能暴露真實(shí)的極端RPO。數(shù)據(jù)一致性校驗(yàn)不能只依賴數(shù)據(jù)庫(kù)自身的事務(wù)日志要獨(dú)立做數(shù)據(jù)比對(duì)。文件級(jí)別的系統(tǒng)可以比文件MD5值數(shù)據(jù)庫(kù)系統(tǒng)可以抽查關(guān)鍵表的記錄數(shù)和關(guān)鍵字段值中間件系統(tǒng)要驗(yàn)證消息隊(duì)列的未消費(fèi)數(shù)量和順序號(hào)。比對(duì)的時(shí)間點(diǎn)要在切換完成之后立即進(jìn)行拖的時(shí)間越長(zhǎng)后續(xù)新增數(shù)據(jù)越會(huì)干擾判斷。3.3 恢復(fù)演練與RTO實(shí)測(cè)切換成功不等于恢復(fù)成功恢復(fù)測(cè)試是最容易被低估的工作因?yàn)椤扒袚Q成功”和“業(yè)務(wù)恢復(fù)”是兩個(gè)概念。切換只是把服務(wù)從A點(diǎn)挪到了B點(diǎn)恢復(fù)則要求B點(diǎn)的服務(wù)能正常對(duì)外提供業(yè)務(wù)數(shù)據(jù)完整、權(quán)限正確、網(wǎng)絡(luò)可達(dá)、外部依賴都能工作。RTO的實(shí)測(cè)要精確到秒級(jí)。常規(guī)做法是定義一個(gè)計(jì)時(shí)起點(diǎn)和一個(gè)計(jì)時(shí)終點(diǎn)比如從“模擬故障注入完成”到“備用中心對(duì)外正常提供服務(wù)”之間的時(shí)長(zhǎng)。實(shí)際操作中計(jì)時(shí)點(diǎn)的定義很關(guān)鍵。如果故障注入還沒(méi)完成就開(kāi)始計(jì)時(shí)測(cè)出來(lái)的RTO會(huì)偏小如果把整個(gè)演練過(guò)程的準(zhǔn)備時(shí)間都算進(jìn)去RTO又會(huì)偏大。我的做法是在測(cè)試方案中明確約定故障注入生效的瞬間作為T(mén)0業(yè)務(wù)驗(yàn)證請(qǐng)求返回成功的瞬間作為T(mén)1T1-T0就是RTO。恢復(fù)驗(yàn)證要分三個(gè)層次系統(tǒng)層驗(yàn)證檢查服務(wù)進(jìn)程狀態(tài)、監(jiān)聽(tīng)端口、資源占用是否正常應(yīng)用層驗(yàn)證通過(guò)模擬業(yè)務(wù)請(qǐng)求確認(rèn)核心業(yè)務(wù)流程可以跑通數(shù)據(jù)層驗(yàn)證確認(rèn)數(shù)據(jù)完整性和一致性達(dá)標(biāo)。三層都通過(guò)才能判定恢復(fù)成功?;謴?fù)測(cè)試還要覆蓋增量恢復(fù)和全量恢復(fù)兩種方式增量恢復(fù)看重的是日志回放效率和斷點(diǎn)續(xù)傳能力全量恢復(fù)看重的是數(shù)據(jù)拷貝速度和一致性校驗(yàn)機(jī)制。我在某容災(zāi)項(xiàng)目的恢復(fù)測(cè)試中就踩過(guò)一個(gè)坑備用中心的數(shù)據(jù)庫(kù)服務(wù)成功拉起后表面看一切正常但遺漏了數(shù)據(jù)庫(kù)序列號(hào)的同步校驗(yàn)導(dǎo)致后續(xù)業(yè)務(wù)寫(xiě)入主鍵沖突整整排查了四個(gè)小時(shí)才定位到問(wèn)題。從那以后恢復(fù)驗(yàn)證清單上就永久加上了“序列號(hào)/流水號(hào)一致性檢查”這一項(xiàng)。3.4 備份有效性驗(yàn)證能備份更要能恢復(fù)容災(zāi)和備份是兩條腿缺一不可。容災(zāi)解決的是“業(yè)務(wù)連續(xù)性”備份解決的是“數(shù)據(jù)可恢復(fù)”。很多單位的備份系統(tǒng)每天都在跑備份任務(wù)全部顯示成功但真正到了要恢復(fù)數(shù)據(jù)的時(shí)候才發(fā)現(xiàn)備份文件損壞、恢復(fù)流程斷裂、備份介質(zhì)不可讀。備份有效性驗(yàn)證的核心思想就是備份成功不等于備份可用只有恢復(fù)成功的備份才叫有效備份。備份驗(yàn)證的測(cè)試設(shè)計(jì)要覆蓋備份的全生命周期備份策略配置是否合理增量備份和全量備份的組合是否滿足恢復(fù)需求備份文件的完整性是否經(jīng)過(guò)校驗(yàn)備份介質(zhì)的生命周期管理是否到位異地備份的數(shù)據(jù)是否可以直接用于容災(zāi)切換。實(shí)操中最常用的方法是“抽樣恢復(fù)驗(yàn)證”。對(duì)所有備份任務(wù)按一定比例抽樣執(zhí)行恢復(fù)操作驗(yàn)證備份數(shù)據(jù)可以直接用于恢復(fù)。抽樣要有代表性不能只挑小的備份任務(wù)驗(yàn)證。我通常的做法是不同業(yè)務(wù)系統(tǒng)的備份至少各抽一個(gè)不同時(shí)間點(diǎn)的備份各抽一個(gè)不同存儲(chǔ)介質(zhì)上的備份各抽一個(gè)。抽到的備份必須完整執(zhí)行恢復(fù)流程不能只做文件列表比對(duì)要真正把數(shù)據(jù)恢復(fù)到可用狀態(tài)。備份數(shù)據(jù)的安全性測(cè)試也值得專(zhuān)項(xiàng)設(shè)計(jì)。備份文件往往比生產(chǎn)數(shù)據(jù)更容易被忽視權(quán)限管控做得不如業(yè)務(wù)系統(tǒng)嚴(yán)格。要驗(yàn)證備份文件的存儲(chǔ)權(quán)限、傳輸加密、訪問(wèn)審計(jì)是否符合要求防止備份數(shù)據(jù)變成數(shù)據(jù)泄露的缺口。4. 執(zhí)行過(guò)程中的典型問(wèn)題與排查實(shí)錄4.1 故障注入后系統(tǒng)不切換心跳機(jī)制和仲裁策略的雙重陷阱故障注入后系統(tǒng)不切換是最常見(jiàn)也最頭疼的問(wèn)題。正常情況下注入故障后系統(tǒng)應(yīng)該在幾秒內(nèi)完成故障確認(rèn)并觸發(fā)切換但實(shí)際執(zhí)行中經(jīng)常出現(xiàn)“故障已經(jīng)注入了系統(tǒng)毫無(wú)反應(yīng)”的情況。我遇到過(guò)的一個(gè)典型案例是容災(zāi)系統(tǒng)的雙機(jī)心跳機(jī)制配置了網(wǎng)卡直連心跳和以太網(wǎng)心跳雙鏈路按設(shè)計(jì)任意一條心跳鏈路中斷都不影響故障檢測(cè)。實(shí)際測(cè)試時(shí)我斷掉了網(wǎng)卡直連心跳系統(tǒng)沒(méi)有觸發(fā)切換再斷掉以太網(wǎng)心跳還是沒(méi)有觸發(fā)切換。后來(lái)排查發(fā)現(xiàn)心跳檢測(cè)的閾值配置了“兩條心跳鏈路同時(shí)中斷才判定故障”這在設(shè)計(jì)文檔里沒(méi)有明確說(shuō)明配置人員和測(cè)試人員理解不一致導(dǎo)致測(cè)試預(yù)期和實(shí)際行為完全偏離。另一個(gè)典型問(wèn)題是仲裁策略問(wèn)題。分布式容災(zāi)系統(tǒng)通常需要仲裁機(jī)制防止“腦裂”如果仲裁節(jié)點(diǎn)的網(wǎng)絡(luò)路徑同時(shí)被故障注入波及系統(tǒng)的自我保護(hù)機(jī)制會(huì)優(yōu)先選擇“保持現(xiàn)狀”而不是“發(fā)起切換”這是正常的安全機(jī)制但是在測(cè)試設(shè)計(jì)階段如果沒(méi)有考慮到這個(gè)細(xì)節(jié)就容易被判定為測(cè)試不通過(guò)。解決方案是在測(cè)試方案中明確區(qū)分“仲裁節(jié)點(diǎn)故障”和“數(shù)據(jù)節(jié)點(diǎn)故障”兩類(lèi)場(chǎng)景分別定義預(yù)期行為。4.2 數(shù)據(jù)一致性校驗(yàn)差異別急著報(bào)缺陷先查業(yè)務(wù)特征數(shù)據(jù)一致性校驗(yàn)出現(xiàn)差異不一定都是容災(zāi)系統(tǒng)的問(wèn)題可能是業(yè)務(wù)數(shù)據(jù)自身的特點(diǎn)導(dǎo)致的。比如某些流水類(lèi)業(yè)務(wù)表存在“邏輯刪除”機(jī)制數(shù)據(jù)行的物理內(nèi)容沒(méi)變但邏輯狀態(tài)已經(jīng)改變某些系統(tǒng)存在定時(shí)任務(wù)批量更新數(shù)據(jù)的窗口校驗(yàn)時(shí)正好趕上更新過(guò)程中。我的排查路徑是這樣的第一步確認(rèn)校驗(yàn)比對(duì)的方法是否正確。是行數(shù)比對(duì)還是內(nèi)容比對(duì)是否考慮了表結(jié)構(gòu)差異和字符集差異第二步確認(rèn)比對(duì)的時(shí)間點(diǎn)是否有業(yè)務(wù)寫(xiě)入。如果校驗(yàn)直接在生產(chǎn)業(yè)務(wù)運(yùn)行期間執(zhí)行出現(xiàn)短暫的數(shù)據(jù)不一致是正常的要先確認(rèn)目標(biāo)系統(tǒng)的同步狀態(tài)是否為“實(shí)時(shí)”還是“準(zhǔn)實(shí)時(shí)”。第三步確認(rèn)差異數(shù)據(jù)的具體內(nèi)容分析差異是否有規(guī)律性是集中在一個(gè)業(yè)務(wù)表還是分布在各表是增量數(shù)據(jù)還是存量數(shù)據(jù)的差異。曾有一次校驗(yàn)發(fā)現(xiàn)備用中心某張表的行數(shù)比源端多了幾千行排查下來(lái)發(fā)現(xiàn)是備用庫(kù)上有人手動(dòng)執(zhí)行過(guò)數(shù)據(jù)補(bǔ)入操作和容災(zāi)系統(tǒng)本身沒(méi)有任何關(guān)系。這個(gè)經(jīng)驗(yàn)告訴我們發(fā)現(xiàn)差異后要保留現(xiàn)場(chǎng)先定位差異數(shù)據(jù)的具體內(nèi)容再判斷原因不要一上來(lái)就報(bào)缺陷。4.3 恢復(fù)超時(shí)大部分不是恢復(fù)慢是驗(yàn)證方法有問(wèn)題RTO實(shí)測(cè)超時(shí)的原因一半以上不是系統(tǒng)真的恢復(fù)慢而是測(cè)量方法不嚴(yán)謹(jǐn)。最常見(jiàn)的錯(cuò)誤是拿“服務(wù)進(jìn)程啟動(dòng)”當(dāng)恢復(fù)成功的標(biāo)志。數(shù)據(jù)庫(kù)進(jìn)程起來(lái)了不代表數(shù)據(jù)庫(kù)可以對(duì)外提供服務(wù)還需要完成實(shí)例恢復(fù)、日志回放、網(wǎng)絡(luò)監(jiān)聽(tīng)注冊(cè)等一系列工作。有些恢復(fù)測(cè)試把進(jìn)程啟動(dòng)時(shí)間作為RTO終點(diǎn)測(cè)出來(lái)的數(shù)據(jù)比真實(shí)RTO短了一大截。還有一類(lèi)常見(jiàn)問(wèn)題是恢復(fù)完成之后立刻做業(yè)務(wù)驗(yàn)證發(fā)現(xiàn)業(yè)務(wù)請(qǐng)求超時(shí)就把責(zé)任算到恢復(fù)頭上。實(shí)際上切換完成后網(wǎng)絡(luò)路由收斂、負(fù)載均衡權(quán)重調(diào)整、客戶端連接池重建都需要時(shí)間這些不算恢復(fù)時(shí)間但在RTO測(cè)量中必須預(yù)留余量。我的建議是RTO指標(biāo)應(yīng)該拆分為“系統(tǒng)恢復(fù)時(shí)間”和“業(yè)務(wù)恢復(fù)時(shí)間”兩個(gè)子項(xiàng)分別測(cè)量、分別考核避免混在一起互相掩蓋問(wèn)題。4.4 測(cè)試結(jié)果偏離指標(biāo)先質(zhì)疑測(cè)試方法再質(zhì)疑系統(tǒng)能力當(dāng)實(shí)測(cè)RPO、RTO偏離設(shè)計(jì)指標(biāo)時(shí)不要急于斷定系統(tǒng)不達(dá)標(biāo)。第三方測(cè)試的結(jié)論影響重大必須先排除測(cè)試方法本身的問(wèn)題。要檢視的測(cè)試因素包括測(cè)試工具的計(jì)時(shí)精度是否足夠、故障注入的力度是否與實(shí)際故障場(chǎng)景一致、數(shù)據(jù)寫(xiě)入的并發(fā)量是否達(dá)到預(yù)設(shè)值、網(wǎng)絡(luò)環(huán)境的背景流量是否模擬了生產(chǎn)情況。排除測(cè)試方法問(wèn)題之后再分析系統(tǒng)配置層面的因素比如同步模式是否被意外修改、壓縮傳輸配置是否生效、備份窗口是否與業(yè)務(wù)高峰重疊。在一個(gè)實(shí)際項(xiàng)目中實(shí)測(cè)RTO是設(shè)計(jì)指標(biāo)的2倍排查后發(fā)現(xiàn)是測(cè)試期間備用中心的殺毒軟件在進(jìn)行全盤(pán)掃描占用了大量磁盤(pán)I/O。這個(gè)案例說(shuō)明恢復(fù)測(cè)試必須保證備用中心的環(huán)境處于“干凈”狀態(tài)任何可能影響性能的維護(hù)操作都要提前禁止。測(cè)試執(zhí)行前我會(huì)專(zhuān)門(mén)發(fā)一份“測(cè)試期間環(huán)境約束清單”明確禁止在測(cè)試窗口內(nèi)執(zhí)行備份任務(wù)、系統(tǒng)升級(jí)、批量數(shù)據(jù)處理等操作。5. 測(cè)試記錄與交付要點(diǎn)5.1 測(cè)試記錄的可追溯性每一步都要能還原現(xiàn)場(chǎng)軍工項(xiàng)目的第三方測(cè)試測(cè)試記錄的要求比一般商用項(xiàng)目嚴(yán)格得多。每一項(xiàng)測(cè)試都要有完整的執(zhí)行記錄、原始數(shù)據(jù)、截圖佐證和操作人員簽名。這不僅是質(zhì)量管理的要求更是責(zé)任界定的依據(jù)。如果項(xiàng)目后續(xù)出現(xiàn)問(wèn)題測(cè)試記錄就是第一手的追溯材料。我的習(xí)慣是每次測(cè)試執(zhí)行前先錄制一份“測(cè)試準(zhǔn)備狀態(tài)確認(rèn)單”記錄測(cè)試環(huán)境的初始狀態(tài)、數(shù)據(jù)基線、配置版本測(cè)試執(zhí)行過(guò)程中關(guān)鍵操作通過(guò)腳本自動(dòng)記錄時(shí)間戳手工操作要在測(cè)試記錄表中注明操作人和操作時(shí)刻測(cè)試結(jié)束后立即輸出測(cè)試原始數(shù)據(jù)清單避免后續(xù)整理時(shí)信息丟失。測(cè)試記錄具體包括以下內(nèi)容測(cè)試用例編號(hào)、測(cè)試目的、前置條件、操作步驟、預(yù)期結(jié)果、實(shí)際結(jié)果、結(jié)論判定、問(wèn)題描述、執(zhí)行人、執(zhí)行時(shí)間、環(huán)境狀態(tài)。判定為“通過(guò)”的用例要保留通過(guò)依據(jù)判定為“不通過(guò)”的用例要保留問(wèn)題現(xiàn)象和故障現(xiàn)場(chǎng)數(shù)據(jù)。5.2 測(cè)試結(jié)論的表達(dá)問(wèn)題分級(jí)與整改建議第三方測(cè)試的交付物不止是測(cè)試報(bào)告更重要的是結(jié)論的恰當(dāng)表達(dá)。軍工項(xiàng)目的測(cè)試結(jié)論不能模棱兩可但也不能不加區(qū)分地一概否定。我的做法是對(duì)發(fā)現(xiàn)的問(wèn)題做嚴(yán)重程度分級(jí)A級(jí)問(wèn)題致命缺陷數(shù)據(jù)丟失、系統(tǒng)不可恢復(fù)、安全漏洞必須立即整改整改完成后重新測(cè)試。B級(jí)問(wèn)題嚴(yán)重缺陷切換失敗、恢復(fù)超時(shí)、數(shù)據(jù)不一致必須在項(xiàng)目驗(yàn)收前完成整改。C級(jí)問(wèn)題一般缺陷流程不完善、配置項(xiàng)缺失、文檔不完整可以在后續(xù)優(yōu)化改進(jìn)。D級(jí)問(wèn)題建議項(xiàng)操作便利性、監(jiān)控告警完善、性能優(yōu)化空間。整改建議要具體可執(zhí)行。比如針對(duì)“故障檢測(cè)時(shí)間超長(zhǎng)”的問(wèn)題不能只寫(xiě)“優(yōu)化心跳機(jī)制”而要寫(xiě)明“調(diào)整心跳超時(shí)參數(shù)將失敗重試次數(shù)從5次降為3次同時(shí)增加心跳響應(yīng)延遲的告警閾值”。針對(duì)“備份恢復(fù)流程文檔缺失”的問(wèn)題要列出文檔應(yīng)包含的章節(jié)和維護(hù)責(zé)任人。5.3 驗(yàn)收指標(biāo)核驗(yàn)與回歸測(cè)試策略第三方測(cè)試的最后一環(huán)是配合驗(yàn)收指標(biāo)的核驗(yàn)。軍工容災(zāi)備份中心項(xiàng)目的驗(yàn)收指標(biāo)通常包含具體數(shù)值RPO不超過(guò)多少分鐘、RTO不超過(guò)多少小時(shí)、備份成功率不低于多少百分比、恢復(fù)驗(yàn)證通過(guò)率不低于多少。每一項(xiàng)指標(biāo)都要有對(duì)應(yīng)的測(cè)試用例作為佐證。整改完成后的回歸測(cè)試策略要提前定好規(guī)則。我的經(jīng)驗(yàn)是A級(jí)問(wèn)題修復(fù)后進(jìn)行全量回歸重點(diǎn)驗(yàn)證問(wèn)題涉及的功能域及其關(guān)聯(lián)功能B級(jí)問(wèn)題修復(fù)后進(jìn)行功能域回歸確認(rèn)修復(fù)沒(méi)有引入新的問(wèn)題C、D級(jí)問(wèn)題的修復(fù)在后續(xù)測(cè)試輪次中附帶驗(yàn)證即可?;貧w測(cè)試不能只重復(fù)原用例還要補(bǔ)測(cè)與原問(wèn)題相關(guān)的邊界場(chǎng)景。6. 寫(xiě)在最后的幾點(diǎn)經(jīng)驗(yàn)容災(zāi)備份系統(tǒng)的第三方測(cè)試做了這么多年最大的體會(huì)是這套系統(tǒng)的測(cè)試不是驗(yàn)證“正常情況下的可用性”而是驗(yàn)證“異常情況下的生存能力”。很多系統(tǒng)在正常情況下運(yùn)行得非常好數(shù)據(jù)同步及時(shí)、備份任務(wù)穩(wěn)定、監(jiān)控告警完善但一旦遇到真實(shí)故障就暴露出各種設(shè)計(jì)缺陷和配置問(wèn)題。原因也很簡(jiǎn)單正常路徑是開(kāi)發(fā)人員天天走的路異常路徑是很少被走過(guò)的路。對(duì)于剛開(kāi)始做容災(zāi)測(cè)試的同行我給三點(diǎn)建議第一點(diǎn)測(cè)試方案要從指標(biāo)反推設(shè)計(jì)。項(xiàng)目定了RPO和RTO指標(biāo)你的測(cè)試方案就要圍繞驗(yàn)證這兩個(gè)指標(biāo)展開(kāi)設(shè)計(jì)能夠精確測(cè)量這兩個(gè)指標(biāo)的測(cè)試方法和工具。方案先于執(zhí)行測(cè)量方法先于系統(tǒng)實(shí)現(xiàn)這是保證測(cè)試不跑偏的前提。第二點(diǎn)故障注入不要只做一次。容災(zāi)系統(tǒng)的穩(wěn)定性需要通過(guò)反復(fù)測(cè)試來(lái)驗(yàn)證同一個(gè)故障場(chǎng)景至少執(zhí)行三次確認(rèn)每次的行為一致。有些系統(tǒng)的故障切換帶有偶發(fā)性第一次成功不代表每次都成功。第三點(diǎn)測(cè)試記錄從第一天就要規(guī)范起來(lái)。不要等到要寫(xiě)報(bào)告了再補(bǔ)記錄現(xiàn)場(chǎng)記錄哪怕潦草一點(diǎn)也比事后回憶可靠得多。項(xiàng)目收尾時(shí)整理的測(cè)試報(bào)告價(jià)值就藏在這些每天的原始記錄里。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
伊人99热| 热99这里只有精品视频| 日韩另类| 九月婷婷色色| 亚洲无码影片| 97色婷婷| 狠狠干五月天| 九九九色综合| 五月丁香狠狠地噜噜噜噜| 久久97| 超碰AV成人| 婷婷五月久久| 精国产品一区二区三区A片| 久久婷色| 1010日日无码| 丁香五月综合在线播放| 伊人六月无码视频| 激情99。| 色丁香五月婷婷婷| 天天日天天舔天天摸| 色月丁| 欧美黄色一级录像| 国产欧美精品AAAAAA片| 欧美在线| 天天日天天色| 激情综合亚洲| 丁香五月婷婷影院| 99re免费精品视频| 精品久久9| 激情五月婷婷综合| 天天爽天天摸| 五月天色婷婷成人| dingxiangtingtingliuyue| 六月婷五月丁香| 夜夜夜天天操| 狠狠色丁香乆乆| 夜夜操狠狠操| 精品色色| 日本人妻伦在线中文字幕| 99成人在线观看| 久久92| 综合激情视频| 亭亭玉月丁香| 六月婷婷五月丁香| 色在线99| 天堂中文国产| 亚州操操| 97精品综合久久| 91九色熟女| 婷婷丁香五月天激情| 操逼棍操逼| 亚洲另类久久| 婷婷五月婷婷五月| 亚洲丁香五月| 午夜做爱影院| 日本成人噜噜噜| 五月丁香六月婷婷久久| 五月婷亚洲精品| 99视频只有这里精品| 久色五月婷婷综合| 久久五月婷天天干| 九九色热视频| 99热这里只有精品3| 开心五月深爱婷婷| 丁香五月天在线观看| 人人爽欧美婷婷久久久五月丁香| 五月的色婷婷高潮| 男人的天堂五月丁香| 99ri精品在线| 婷婷六月久久综合导航| 91丨九色丨东北熟女| 天天干天天做| 狠狠干婷婷| 久久精品99| 在线播放中文字幕| 日本欧美成人片AAAA| 婷婷97狠狠成人网站| 国外亚洲成AV人片在线观看| 天天色天天操天天射| 久久精品国产AV一区二区三区 | 久久9热好| 亚洲天堂婷婷丁香| 久久久久久婷| 色五月大| 中文字幕不卡+婷婷五月| 玖玖爱综合网| 色视频2025| 激情com| 深爱激情五月天色婷婷| 五月丁香久久丝袜啪啪| 九九热99热| 啪啪亚洲综合| 99精品无码| 97色天堂| 激情五月丁香五月| 日本乱子人伦在线视频| 婷婷六月丁香五月图区| 国产亚洲成AV人片在线| 色婷天天| 九九家庭影院| 五月天停停基地| www.五月天社区| 99精品视频网站| 狠狠插狠狠操| 五月丁香香蕉| 久久精品国产精品| 99ri视频在线观看| 婷婷九月丁香| 九九爱看亚洲| 亚洲色小说在线综合| 色狠狠色狠狠| 亚洲99在线| 丁香六月啪| 337p大胆噜噜噜噜噜91Av| 男女啪啪做爰高潮无遮挡| 丁香六月婷婷缴情欧美| 韩国19 主播内部福利vip免费播放| 99九九在线观看免费| 99这里有精品久久97| 激情图片婷婷| 成人色五婷婷| 26UUU欧美| 欧美槡BBBB槡BBB少妇| 97成人操| 欧美日韩成人免费在线| 6月丁香婷婷激情| 丁香五月婷婷色播艳门照| 婷婷刺激综合| 26uuu欧美| 中文AV网站| 成人网丁香五月| 久热婷婷在线视频| 精品九九在线观看视频| 亚洲 六月 综合| 香蕉人在线香蕉人在线 | 亚洲人妻AV| 大地资源色婷婷视频在线| 91成人看| 丁香五月综合高清在线| 99综合免费视频| 久久99精品久久久久久噜噜| 国产精品久久久久久亚洲毛片| 四色五月婷婷| 二色av| 狠狠色婷婷丁香六月| 五月丁香黄色视频| 色色色热| 99久久婷婷五月| 欧洲不卡视频| 丁香五月在线视频黑人| 久久超级碰碰| 97在线99| 91尤物九色在线| 免费色色色| 色婷婷www| 色色五月天婷婷| 91精品国产综合久久久不卡电影| 色色色地址| 再次出发二| 伊人啪啪网| 少妇高潮一区二区三区99欧美| 九九99九九精品免费| 久久思思99| 激情久久四色| 99久久五月婷婷| 欧美激情综合色综合啪啪五月| 久久久全国免费视频| 9191avse| 五月六月激情| 五月天伊人网| 五月伊人婷婷999| av中文在线| 色天天综合成人网| 丁香六月情| 亚洲AV成人在线观看| 丁香五月天网站| 五月婷婷丁香六月在线| 99re思思热久久| 久久婷五月影院| 另类图片天天影视在线观看| 天天操夜夜橾| 人妻久久久| 99er热精品视频| 丁香色情五月天| 日日色综合| 国产成人网站在线观看| 少妇婷婷五月天| 思思99热在线| 啪啪 综合网| 久久国产一区二区三区| 99人碰碰碰| 婷婷激情丁五月| 久婷| 久久九九一區| 青青草深爱激情网| 日本欧美在线| 99热 在线播放| 激情播丁香| 玖玖婷婷色五月| 丰满人妻妇伦又伦精品国产| 五月婷婷黄色| 久久视频这里有精品99| 国产AV一区二区三区最新精品 | 五月天婷婷免费| 亚洲行行色色| 五月天激情婷婷| 婷婷色情五月| 亚洲精品色色色| 东京热免费视频| 久草 tingting| 这里只有精品99视频| 久久婷婷五月天激情| 色婷婷丁香花五月天| 精品人人操| 久久久精品色色色| 伊人在线视频| 99热这里在线精品| 久久草中文日韩欧美| 丁香六月成人| 婷婷五六日| 五月天婷婷基地综合网| 潮汕成人AV片在线| 久久这里只有精品视频26| 97婷婷色| 九九综舍久久| 五月丁香婷爱在线| 91人人人人人| 六月婷婷无码| 亚洲超碰在线| 婷婷趴趴| 婷婷亚洲欧美丁香五月| 七月婷婷色香综合网| 人人爽天天莫| 色综合久久综合中文综合网| www色婷婷com| 五月婷婷久草在线视频综合| 日韩一区二区A片免费观看| 大香蕉五月天婷婷| 9l视频自拍9l九色9l成人| 婷婷丁香色女人| 色天天久婷婷| www超碰| 黄色五月婷婷| 国产精品视频免费看| 99国产97在线,| 精品99网站| 精品人妻伦一二三区久| 日韩婷婷| 色爱综合网| 久久婷婷草| 一本综合丁香日日狠狠色| 色色操| 深夜男女福利刺激影院一区完整| AV成人在线播放| 曰本aaaaaa丈片| 欧美Va在线| 99热综合| 欧美婷婷六月丁香综合色连续高潮抽搐| 亚洲综合五月天婷婷丁香| 五月天婷婷丁香人人操91| 久久婷婷一级片| 99精品视频在线观看| 九九色综合| 99操久久| AV五月丁香| 九九热在线视频| 丁香六月欧美| 精品成人a v无码内射| 91干婷婷| 蜜桃五月天色| 香蕉影院色| 黄涩毛片| 成人无码精品1区2区3区免费看| 秋霞电影一级黄| 色播综合| 婷婷五月天色色| 国产精品成人AV在线| 色蜜婷婷| 五月色综合| AVV黄| 九九久久网| 丁香亚洲色综合| 人妻精品久久久久久| 色欲色欲久久宗合网| 亚洲爱爱无码婷婷色五月| 人人爱操| 五月婷婷丁香伦理网| 丁香九月婷婷| 69五月天视频| av大片在线| 69午夜成人影片| 狠狠精品干练久久久无码中文字幕| 丁香六月婷婷综合色| 五月天六月色| 婷婷五月天激情四射五月天激情| 久久激情综合| 天天婷婷天天| 99国产在线精品视频| 五月婷婷色丁香| 亚洲国产精品SUV| 日日干夜夜撸夜夜骑| 成人片黄网站色大片免费毛片| 久1色色| 国产亚洲精品久久久久久牛牛| 99在线观看精彩视频| 国产日韩欧美性爱| 久久99这里| 天天色情站| 五月婷婷久久内射| 日本久久色| 国产乱妇乱子伦| 欧美精品狠狠色丁香婷婷| 欧美久久婷婷| 亚洲婷婷丁香五月| 免费精品99| 丁香婷婷综合激情五月色| 九九热re99re6在线精品| 碰97久久| 夜夜骑夜夜撸| 国产日批视频| 玖玖婷婷色欲| 色五月激情| 久热久操久热久草国产91| 欧美激情五月天| 欧美啪啪9| 日本超碰在线| 天天日夜夜B久久| 国产真人做爰视频免费| 99爱无码| 五月色亚洲| yellow视频在线观看91| 国产片天天爽夜夜爽| 色9999日韩国产| 欧美激情xxxXX| 五月Huangsewang| 日日插日日干| 久久婷婷五月天激情四射| 97碰久久| 久久综合网免费视频| 欧美顶级少妇做爰HD| 久久婷婷五月天激情唯美| se婷97| 激情五月天综合网| 香蕉久久国产AV一区二区| 婷婷综合| 五月丁香龟婷婷| 六月婷婷视频| 五月婷婷婷| 婷婷在线操| 亚洲成人日韩无码精品| 六月婷婷视频| 99视频在线啪| 日本综合久久| 五月婷婷成人w| 婷婷五月天综合久久日美女| 九九人人精品| 激情五月第四色| 人人人操 超碰| 婷婷婷婷色| 在线你懂的亚洲欧| 97人人草| 五月丁香婷婷激情视频| www99精品| 五月婷在线| 这里只有精彩视| 射琪琪| 免费视频99| 五月婷婷在线网站| 9久久精品视频| 91狠狠综合久久久| sewuyuejiqingwang| 婷婷丁香色性爱| 久久98| 182TV大香蕉| 久久久久9| 五月丁香婷婷国产精品综合| 婷婷狠狠爱| 九九青草热| 天天爽夜夜爽夜夜爽精品| 97丨九色丨国产丨PORNY| 色五月激情婷婷| 婷婷六月天天| 99色| 天天天天天日| 99热精品在线播放| 久久R激情| 天天做天天爽| 欧美欧盟性爱网| 激情涩播| 亚洲免费99| 开心久久爱五月天| 黄色五月婷| 99视频内射三四| 五月丁香av在线| 五月丁香婷婷啪啪网| 激情AV| 99色视频在线观看| 色五月婷婷影院| 99只有精品| 97色色色色色| 丁香五月综合高清在线| 九热网站| 久久久性爱视频| 这里只有免费的精品| 欧美色色色色色色| 亚洲色五月| 五月婷亚洲精品| 香蕉综合网| 成人丁香婷婷| 婷婷的99视频网站| 五月婷婷丁香色播网| 8区视频在线| 少妇性BBB搡BBB爽爽爽视頻| 天天插天天插| 26uuu亚洲欧美另类| 第四色网婷婷| 国产成人精品一区二三区熟女在线| 欧美婷婷成人| 热这里只有精| 丁香五月天婷婷91| 午夜69成人做爰视频| 五月婷婷五月| 婷婷5月开心6月| 欧美、日韩、中文、制服、人妻| 婷婷亚洲色| 五月丁香偷拍| 婷婷五月天无码视频| 婷婷丁香综合| 白人荫道BBWBBB大荫道| 99色热视频| 九九热在线视频,| 91色噜噜狠狠狠狠色综合| 色五月激情五月| 久艹大香蕉| 丁香五月98| 99热网址| 五月成人丁香av91| 激情五月天小说网| 日本色爽| 欧美综合丁香网| 国产成人在线精品| 欧美97超碰| 久久ab| 亚洲五月花| 怡红院院在线导航网| 久久婷婷夜| 嫩BBB搡BBBB榛BBBB| 91久久九久久九久久九久久九久久| 婷婷丁香五月六月激情| 国产成人网| 婷婷中文字暮| 精品9197碰| 久久99精品九九久久久婷婷| 九九色综合视频| 五月丁香婷婷无码中文| 亚洲视频操| 色色色com| 夜夜骑夜夜撸| 激情五月天网站| 九九这里精品| 丁香五月情色| 五月丁香在线观看99| 丁香婷婷天堂| 超碰99热| 91超碰在线观看| av网站中文| 六月色日韩| 色婷婷五月综合在线| 亚洲超碰青涩| 亚洲精品无码一区二区| 97资源碰碰| 亚洲视频图片婷婷五月| 久一这里有精品国产| 久9久9久9久9久9久9| 色婷婷啪啪综合网| 国产欧美精品AAAAAA片| 亚洲色网络| 最新va在线播放| 五月欧美色色五月| 做爱夜夜干天天操| 久99久视频| 香蕉久久国产AV一区二区| 天天操夜夜爽| 色综合爽| 婷婷五月av| 九热电影av| 天天色天天色天天色天天色天天色| 亚洲av综合在线| 五月丁香六月| 九九热在线99| 五月丁香久| 精品人妻久久久久| 中文不卡一二区| 九九热视频网站| 伊人久久99| 亚洲99在线| 啪啪九九色| AA片在线观看视频在线播放| 丁香五月天婷婷激情| 婷婷99狠狠躁天天| 夜夜久久综合网| 亚洲99精品欧美一区| A色色| 色五月婷婷激情综合网| 在线播放中文字幕| 国产成人高清| 午夜福利8055| 婷婷六月成人| 色吧网91| 播丁香五月婷婷欧美| 久久久婷婷| 亚洲色99| www.99热这里只有精品| 超碰人人艹| 五月开心网| 色性五月天| 这里只有精品在线播放| 欧美色播综合在线观看| 再綫Av免费視品| 天搞天天天天天| 天天色图| 色婷婷9| 日熟女| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 日韩黄在免| 午夜婷婷| 婷婷五月天影院| 丁香五月人妻| 色色日本| 五月天六月色| 五月激情在线| 狠狠综合网| 色情五月综合婷婷| 丁香五月色| 亭亭五月色男人| 亚洲美女高潮久久久久久69| 99精品自拍视频| 激情丁香六月| 超碰9| 日本久热| 丁香色五月 97干| 色色色婷婷五月天| 99热在线观看| 色综合激情| 亚洲综合激情五月久久| 婷婷激情综合| 91超级碰| 五月丁香色婷婷| 九九久久综合| 国产成人一区二区三区在线观看| 欧美搡BBBBB摔BBBBB| 99热精品在线在线| 国产精品扒开腿做爽爽爽A片唱戏 青青草国产亚洲精品久久 | 婷婷月五天在线在线看| 亚洲五月婷婷| 六月五月丁香五月欧美| 激情涩涩网| 思思视频久久| 欧美色六月婷婷| 午夜九九电影| 欧美va亚洲va在线播放| 九九精品在线观看视频6| 丁香五月a| 五月天婷婷爱| 五月天丁香久久| 日韩人妻在线观看| 久色网| 欧美婷婷综合| 亚洲欧洲中文日韩久久AV乱码 | 色综合香蕉| 色吊丝永久访问网址| 精品网站:999WWW| 99九色视频在线观看| 日韩操人| 亚洲VA欧美VA| caopeng97日韩| 激情综合网 激情五月天| 久热A| 精品无吗va视频免费观看| 五月天天天天天天天天天天天婷婷婷| 99在线视频资源| 婷婷大香蕉| 4399成人黄A片| 精国产品一区二区三区A片| 亚洲国产精品VA在线看黑人| 亚洲中文字幕翔田千里| 婷婷综合在线视频| 日本在线视频播放91| 色色激情| 婷婷伊人激情婷婷| 国产精品蜜臀99| 五月丁香六月婷婷无码| 黄页大全十八禁| 亚洲夜夜操| 天天噜| 五月色色色| 99精品在线| AA丁香综合激情| 狠狠五月婷婷| 97在线日本| 97久人人| 五月丁香啪啪啪免费看| 五月婷婷少妇之| 婷婷五月中文字幕国产| 人人草人人爱| 99精品久久| 激情五月天色播| 黄色av网站在线免费播放| 色综合色婷色基地| 99热国产精品| 一二三区视频韩国| 亚洲欧美国产高清vA在线播放| 久色| 色欲久久综合| 丰滿爆乳一区二区三区| av无码电影| 五月丁香啪啪啪| 五月天色婷婷小说| 色七七色九九| 久久六月综合| 激情五月黄色| 婷婷久久精品| 青青热久久综合| 午夜婷婷六月天| 天天操夜夜操| 任你草| 丁香五月玖玖| 久久五月天色婷婷| 女人天堂av| 精品国产va久久久| 五月婷婷熟女| 免费观看全黄做爰的视频| 色婷婷综合在线| 99久久婷婷国产综合| 美女婷婷六月色| 亚洲va在线∨a天堂va欧美va| 亚洲国产成人在线| 色婷婷成人做爰A片免费看网站| AV片在线观看| 色色色国产| 色狠狠伊人久久五月丁香| 久久黄色片| 91狠狠色丁香婷婷综合久久| 九九操屄| 亚洲六月色婷婷| 五月天堂婷婷| 久久a热| 这里只有精品免费视频| 久久男人网婷婷| 色婷婷www| 色青青视频| 亚洲色图五月丁香| 少妇人妻人伦A片| 成人 九九九九| 精品视频这里只有精品| 狠狠色噜噜狠狠| www九九热| 99热草草| 狼人久草| 丁香五月在线观看完整版| 无码人妻电影| 五月婷婷电影院| 五月丁香福利| 五月婷婷丁香色吧网| 久久精品9| 国外亚洲成AV人片在线观看| 四季AV综合网| 六月色色综合| 婷婷五月综合社区| 超碰在线caop| 九九这里是免费的视频5| 久久这里只有精品视频26| 欧美啪啪9| 婷婷五月花| 强伦轩人妻一区二区电影| 26uuu亚洲色| xx久久| 苗黎美女四级成人版一级二级毛片| 亚洲婷婷基地| 日日操日日射| 激情综合久久| 极品五月天| 五月天激情播播网| 国产亚洲色婷婷久久99精品91| 激情五月激情综合网| 99视频在线观看网址| www.五月激情.com| 激情中文在线| 99亚洲精品综合在线| 丁香成人五月天| 九九视频这里有精品| 伊人婷婷五月天| 国产精品人妻在线网址| 丁香亚洲婷婷五月| 99在线精品观看99| 99热色综合| 激情五月第四色| 色爱综合网| www.91av.com| 综合五月草| 综合XX网| 婷婷色五月大香蕉在线| 9.1综合网| 九九热精品| 夜夜嗨一区二区三区直播内容 | 先锋男人99资源| 九九五月天| 久久免费干| 激情涩涩网| 久热 91| 九九九AAA热视频| 青青草搞屄视频网站| 日韩在线视频中文字幕| 婷婷六久久| 嫩草综合网| 九九热黄色| 色色网91| 久久婷婷婷婷伊人| 亚洲激情五月| 丁香六月婷| 天天操天天爱天天玩| 狠狠色婷婷7777久| 91人人操| 自拍盗摄 另类| 三男玩一女三A片| 色色五月天激情| www.色婷婷.com| 伊久大香蕉| 99re这里只有精品国产99| 日韩久热| 99在线视频女女视频| 五月丁香六月欧美| 欧美99| 成片免费播放| 五月天婷婷色| 色约约视频一区二区三区四区五区 | 激情五月婷婷在线| 欧美成人精品三区综合A片 | 色综合久网| 六月五月婷婷| 久久精品国产一区二区三区四区| 久久婷婷六月综合| 久久激情五月天| 久热天堂| www.俺去也com| 2018国产大陆天天弄| 99精品自拍| 91久久电影| 婷婷五月乱交换| 美国天天日天天操| 亚洲精品白浆高清久久久久久 | 禁欲电影完整版在线播放| 成人视频一区| 九九 激情 网| 碰碰操91| 伊人五月天在线| 五月婷婷激情在线| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 五月天综合网| 99操久久| 99精品超在线播放| 色导航色婷婷五月天在线观看| 激情综合色婷婷啪啪五月天| 婷婷激情五月天色| 久热无码| 五月婷丁香花| www夜夜| 九色婷婷| 9久久精品| 综合另类视频| 亚洲 视频 导航 一区| 亚洲午夜一区二区| 成年人丁香五月| 人人超碰99| 99er热精品视频| 色婷婷狠狠久久综合五月| 亚洲噜色| 久久久久久久久久久-久五月天婷婷| 婷婷久久国产视频| 97天堂| 色五月婷婷 成人| 五月丁香六月激情在线| 久久久人妻人伦| 九九这里都是精品| 中文字幕成人| 综合婷婷| 国产激情久久久| 久草天堂| 啪啪一区| 天天天干夜夜夜操| 九九热黄色| 五月丁香婷婷六月| 依人大香蕉| 激情五月影院| 亚洲小视频免费观看| 亚洲综合99| 日韩好吊操| 久热伊人| 激情网狠狠干| 亚洲妇女熟BBW| 色婷婷五月天激情综合| 精品香蕉99久久久久网站| www.夜夜夜| 综合天堂AV久久久久久久| 亚洲小说欧美激情| 久久性爱网| wwwC0maV五月花| 九九热这里只有精品9| 亚洲色无码| 丁香五月天婷婷大香蕉| 五月天久久婷婷| 黄久久久| 内射综合网| 日本99久久| 五月天啪啪啪| 久久亚洲色导航| 国产精品18久久久| 国精产品久久| 丁香五月激情啪啪啪| 婷婷伊人网| 五月丁香色综合| 欧美三级欧美一级| 久久五月婷婷电影| 99热这里是精品| 五月丁香婷色| 丁香综合| 激情五月综合网最新| 美腿丝袜AV天堂网| 日韩超碰在线| 久久这里只有精品久久| 99热在线播放| 色欲五月天| 国产亚洲99久久精品熟| 五月婷婷官网色| 人人九色| 开心激情综合| 久久狠狠色| www.99色在线| 日日爽夜夜爽| 中文字幕AV在线播放| 五月丁香六月激情在线| 91免费在线视频6| 久草婷婷网| 日韩在线婷婷五月天综合| 天堂综合久| 综合网色| 激情五月综合六月丁香婷婷狠狠干| 99久久九九视频| 五月丁香六月激情啪| 91疯狂操操操操| 亚洲综合婷婷| 国产精品操| 激情综合网五月激情| 欧美婷婷五月无砖| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 极品嫩草| 色五月天丁香婷婷| 丁香婷婷综合精品六月初| 少妇被躁爽到高潮无码文| 狠狠五月综合在线| 亚洲色婷婷五月天| 天天干天天操天天爽| 六月五月久久丁香| 美女被肏网站在线看| 久久总和99| 色色精品色| 色综合综合综合| 人人爽天天爽| 九九碰九九爱97超碰| 国产精品久久久久久亚洲毛片| 婷婷丁香五月天在线| 99热费观看| 色99在线观看| 色婷婷狠狠久久综合五月| 丁香六月婷婷开心婷婷网| 91久久99久久91熟女精品| mmm1717.6dbm人人爱人人操| 婷婷五月丁香四射| www.日韩国产| 狠狠色网| 久久人妻精品| 色婷婷香蕉丁丁网| www.综合久久.com| 五月天丁香网| 66精品成人免费网站在线观看| 婷婷色片| 激情五月综合| 丁香六月激情综合啪啪| 色月九九| 疯狂做受XXXX高潮A片| 久机视频这只有精品| 九九碰九九爱97| 日韩国产在线精品| 另类 在线| 韩国情人在线电视剧免费观看高清版全集 | 色婷婷亚洲精品天天综| 麻豆五月丁香婷婷| 99碰网站| 欧类av怡春院| 99性爱视频| 亚洲成人色五月天| 色色97丁香婷婷五月天| 久久伊人大香蕉| 99热这里只有精品一| 3p久久| 91超级碰碰碰| 丁香婷婷色五月| 婷婷五月天丁香| 精品视频二级九九| 色色色999| 天天射天天射一道本日本社区 | 99er免费在线观看| 久久综合综合综合| 五月成人网站| 99热成人在线| 色优久久| 色播激情| 色色色色色综合| 五月婷色激情五月| 亚洲中文字幕av| 91黄色五月天视频| 激情视频网址| dingxiangtingtingliuyue| 99精品热视频| 亚洲AV无码电影| 99思思| 九九热思思| 色八月婷婷| 人妻中文字幕网| 97自拍视频在线| 五月丁香六月婷婷啪啪| 婷婷在线五月天观看| 婷婷的色色五月天| 精品一二三区久久AAA片| 婷婷免费视频| 色色综合日韩| www.婷婷,com| 丁香婷婷狠狠97| 九九久久99| 天天夜夜爽| 26UUU| 综合九九中文字幕| 国产精品久久久久久久久久| 波多野结衣AV无码Porn| 五月色丁香婷婷中文字幕| 欧美色99| 天天综合区| 色9999日韩国产| 丁香婷婷激情五月天无毒不卡蜜桃| 色网站99| 激情五月丁香六月综合AVXXXX| 日韩少妇内射免费播放| 99热主页日本| 深爱五月天天| 激情四射五月天| 婷婷WWW久久| 国产做爰视频免费播放| 色综合丁香婷婷| 五月婷婷丁香在线视频| 丁香五月天无码AV| 色综合狠狠色| 婷婷五月天97干| 少妇综合网| 噜一噜在线| 五月丁香啪啪综合网| 丁香五月婷婷狠狠色| 婷婷丁香视频| 精品久久穴| 超碰免费在线| 开心激情网五月天| 伊人婷婷五月| 色玖玖| 免费看无码视频A级| 狠狠干.com| 五月天大香蕉| 色综合大香蕉| 五月激情综| 丁香五月激情站| 久久视网36| 超碰国产在线观看| 五月天小说激情| 五月激情小说| 五月丁香婷婷综合| 久久a热| 久久久区区一久久久久久| 综合天天综合| 女操碰| 五月丁香婷婷色播无码| 婷婷色影音天| 人人草人人舔| 九九操操| 五月婷婷av| 五月激情基地| 人人操Av| 日韩高清成人| 99九精品| 性色九九| 成人精品视频99在线观看免费| 色婷婷丁香五月天| 天天日天天舔| av操一操| 五月丁香啪啪啪啪| 五月丁香综合啪啪啪啪啪| 久久伦乱| 九月婷婷综合网| 久久日婷婷| 国产性av| www.夜夜操| 思思热视频在线| 丁香五月网址| 色噜噜狠噜噜视频| 色99欧洲色19| 久久婷婷亚洲五月天| 国产色色网站网址| 他改变了拜占庭| 成人婷婷| 久草五月天| 久草五月丁香婷婷综合| 狠狠婷婷色综合| AA片在线观看视频在线播放| 五月天激情网图片| 26uuu精品国产| 人人操插| 99精品国产在热久久婷婷| 五月丁香六月综合激情无码软件亮点 | 综合久久影院| 免费看成人747474九号视频在线观看| 51精品国内探花| 五月婷婷很很色| 97caop| 国产精产国品一二三在观看| 九月婷婷久久| www色五月| 成人丁香五月天| 婷婷伊人中文字幕| 日本在线视频播放91| 91九色欧美| 99热这里只有精品在线| 色99网| 婷婷五月美女直播| 五月天影院| 热的无码综合视频| 五月婷婷久久网| 色九月激情综合网| 天天综合天天做天天综合| 琪琪秋霞| 色色色综合视频| 丁香综合伊人| 久去色色| 99er这里只有精品| 激情综合色| 青草网在线观看| 色九月| 丁香五月激情宗合| 99re这里只有精品99| 色综合色色| VA色婷婷| 丝袜大香蕉| 99er这里只有精品| 婷婷丁香色五月亚洲| 九九成人精品免费视频| 任你草| 9er热在线精品视频| 亚洲激情亚洲激情| 色婷婷五月六月丁香综合视频| 五月天丁香六月综合| 热的五码久久精品| 精品色情一区二区三区四区| 婷婷久久婷婷色五月| 成人色站,在线视频,看片-SS1AV| 综合激情五月四射婷婷| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 9l视频自拍九色9l视频在线观看| 狠狠色五月| 色天使色婷婷| 在线另类视频| 五月丁香花视频| 成人婷99最新| 久热伊人| 激情图片亚洲| 亚洲色色图片| va婷婷在线| 国产热精品| 日韩久久这里只有精品| 永久AⅤ1| 色婷婷裸体色性在线| 色色色色色色网站| www.色九月| 色婷婷伊人| 无码任你操| 日韩成人网址| 欧美肉大捧一进一出免费视频| 四LLL少妇BBBB槡BBBB| 超碰在线免费观看日韩| 婷婷99狠| 色五月综合97| 色伊人啪| 香蕉综合在线| 丁香亭亭久久| 亚洲五月六丁香激情| 色五月色综合| 婷婷开心久久| 五月六月婷| h在线看免费版在线看| 亚洲成人网在线观看| 99亚洲视频| 色五月婷婷中文字幕| 五月天色图| 中国女人做爰A片| 精品自拍97| 蜜乳人妻一区二区三区| 九九99九九99| 色热久资源| 久久五月婷综合网| 色色色国产| 日韩1区2区| 99色在线观看视频| 超碰在线成人| 久久综合五月天| 大地9中文在线观看免费高清| 五月天久久色| 色九四色| 婷婷丁香www视频日本韩国| 久久综合婷婷五月| www.久久爱| 天天做天天视天天谢| 天干干夜夜操| 日韩色色视频www| 久热只有精品| 91ncom.色| 99综合网| 久久精品熟女亚洲AV麻豆| 色月丁| 91丨九色丨国产打屁股| 亚洲五月婷婷在线| 99视频网| 97人人操| 色综合五月| 青青久久五月| 人人妻人人澡人人爽| 久久伊人五月天| 69午夜成人影片| 婷婷五月丁香香蕉| 97碰碰视频在线观看| 99精品视频在线观看| www.玖玖九| 中文字幕丰满人妻无码专区| 五月天色色激情综合| 久久婷婷操| 综合图片色色| 亚洲这里只有精品| 婷婷丁香综合网| 性爱激情小说AV五月丁香花| 这里只有精品亚洲| 精品人妻久久久| 五月激情婷婷播播开心| 狠狠干五月天| 久久五月婷综合| 亚洲色图五月丁香| 六月婷婷之青青草| 五月婷婷开心丁香| 丁香五月欧美激情| 欧美槡BBBB槡BBB少妇| 色播色丁香五月| 五月丁香综合激情| 五月色婷婷AV| 婷婷五月天视频| 亚洲a色| 啪啪日热| 色综合久久99色| 99色啊| 亚洲热视频| 久久五月天综合| 9 7总站超级碰免费视频| 人人操人人操919999| sisi热国产| 天天摸天天舔| 欧洲色| 97色综合| 五月天丁香网| 天天综合网亚洲综合网| 日本色图综合| 久久久av久av久片一区二区| 99热欲| 色 免费网站视频| 九一99| 亚洲欧美成人在线| 九九操屄| 婷婷午夜丁香| 丁香五月网| 五月天激情久久| 日日夜夜天天| 另类小说五月天| 国产精品人人做人人爽人人添 | 天天插天天插天天插| 色综合久久99色| 97 天堂| 婷婷五月天综合久久| 亚洲丁香五月天在线视频| 激情五月久久| 天天色视频| 丁香97综合| 婷婷欧美激情综合| 天天婷婷色六月| 五月婷婷综合在线| 色综合久网| 伍月婷丁香婷| 久久五月丁香| 亚洲乱码日产精品BD| 偷拍九九五月丁香婷婷| 亚洲激情五月婷婷日日| enecarbon-materials.com污K127封锁请涟系@wip1688 | 亚洲美女网Va| 色色丁香| 偷偷操99| 婷婷丁香成人网址| 色色激情网| 日本综合九九| 91精品久久久久久久久久久久| 五月天婷婷丁香视频| www.91色| 婷婷福利影院| 五月天婷婷基地丁香| 亚洲综合五月天| 日本欧美成人片AAAA| 激情丁香六月| 这里只有精品9| 亚洲热热视频| aV欲望人妻中文字幕| 丁香六月婷婷高清| 波多野结衣AV无码Porn| 懂色av粉嫩av蜜臀av| 国产激情综合| 狠狠色综合久久| 99热精品在线| 在线天堂9| 亚洲色vA| 婷婷综合五月天| 色综合久久88| 色五月婷婷视频| www超碰| 婷婷丁香五月基地| 多精窝99在线视频| 婷婷在线综合| 色婷婷人人| 99在线观看免费精品视频| 中文字幕,综合,91| 免费在线观看av网站| 激情综合播播| 久艹大香蕉| 影音先锋一区二区资源站| 欧美丁香婷婷天天操| 激情綜合網址| 性爱技巧五月| 思思色播| 激情五月天综合网| 亚洲AV成人一区二区在线观看| 开心五月婷婷五月| 999久久久国产精品| 亚洲av另类在线观看| 国产日批视频免费播放| 丁香五月先锋| 欧在线一区| 人妻性爱| 激情九月婷婷| 亚洲午夜一区二区|