欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

上線流程全攻略:從發(fā)布前檢查到黃金盯守期的測(cè)試實(shí)踐

上線流程全攻略:從發(fā)布前檢查到黃金盯守期的測(cè)試實(shí)踐 1. 上線窗口前的最后檢查在發(fā)布按鈕敲下去之前測(cè)試在盯什么我見過(guò)太多項(xiàng)目組把上線當(dāng)成一個(gè)動(dòng)作實(shí)際上它是一整套流程里風(fēng)險(xiǎn)最密集的一段。很多測(cè)試同學(xué)對(duì)需求階段、開發(fā)階段、測(cè)試階段的活很熟練一到上線就發(fā)慌——因?yàn)樯暇€這件事拼的不是執(zhí)行測(cè)試用例的熟練度而是風(fēng)險(xiǎn)判斷、環(huán)境掌控和臨場(chǎng)決策的能力。聊一套我自己的上線前檢查路徑不一定適合所有團(tuán)隊(duì)但框架可以作為參考。1.1 上線前第一件事確認(rèn)要發(fā)布的版本到底包含什么聽起來(lái)像廢話但這是翻車率最高的環(huán)節(jié)。開發(fā)說(shuō)代碼已經(jīng)提了測(cè)試說(shuō)測(cè)試通過(guò)了結(jié)果上線后線上跑的版本和測(cè)過(guò)的版本根本不是同一套這種事在不少團(tuán)隊(duì)都發(fā)生過(guò)。我的習(xí)慣是上線前至少半天找開發(fā)要一份最終的版本變更清單然后做三件事用代碼倉(cāng)庫(kù)的版本對(duì)比工具查一遍從上一個(gè)已上線版本到當(dāng)前待發(fā)布版本的所有提交記錄確認(rèn)提交內(nèi)容與變更清單一致沒有夾帶私貨比如順手改了某個(gè)公共類、動(dòng)了某個(gè)配置項(xiàng)。把變更清單里的每個(gè)功能點(diǎn)和測(cè)試用例、缺陷單做一次映射檢查。已經(jīng)關(guān)閉的缺陷要重新確認(rèn)關(guān)閉時(shí)的驗(yàn)證環(huán)境、驗(yàn)證版本不能拿舊環(huán)境的結(jié)論充數(shù)。看變更清單里有沒有非功能性改動(dòng)——依賴升級(jí)、框架版本調(diào)整、數(shù)據(jù)庫(kù)腳本、定時(shí)任務(wù)配置調(diào)整。這類改動(dòng)往往沒有專門的功能測(cè)試覆蓋但恰恰是上線后最容易惹事的。提示如果團(tuán)隊(duì)里連一個(gè)像樣的變更清單都沒有建議在上線流程文檔里把這條固化下來(lái)哪怕一開始只是維護(hù)一個(gè)簡(jiǎn)單的共享表格也比上線前臨時(shí)翻代碼要可靠得多。1.2 風(fēng)險(xiǎn)評(píng)估上線前要說(shuō)清楚萬(wàn)一掛了怎么收?qǐng)錾暇€窗口前測(cè)試要做的不是拍胸脯保證肯定沒問(wèn)題而是基于現(xiàn)有測(cè)試覆蓋和信息判斷風(fēng)險(xiǎn)點(diǎn)都有哪些。我一般從三個(gè)角度來(lái)拆分改動(dòng)量維度這次是全新模塊、存量功能改造還是只更新了文案和樣式改動(dòng)量越大風(fēng)險(xiǎn)面越廣上線后需要盯守的時(shí)間就越長(zhǎng)。存量功能的改造往往比新功能更危險(xiǎn)因?yàn)樾鹿δ苡绊懙氖窃隽坑脩舳脑煊绊懙氖撬性谟糜脩?。影響面維度這個(gè)改動(dòng)是否涉及支付、登錄、訂單等核心鏈路是否涉及底層數(shù)據(jù)結(jié)構(gòu)的變更是否會(huì)影響多個(gè)業(yè)務(wù)模塊的公共接口通過(guò)影響面分析確定回歸測(cè)試的范圍至少把主鏈路、周邊強(qiáng)關(guān)聯(lián)模塊、基礎(chǔ)公共能力鑒權(quán)、配置加載、日志鏈路都過(guò)一遍。回滾成本維度這是很多人會(huì)忽略的一點(diǎn)。有的版本發(fā)布后如果出問(wèn)題回滾只需要把鏡像切回去幾分鐘就行有的版本伴隨數(shù)據(jù)庫(kù)表結(jié)構(gòu)變更、數(shù)據(jù)遷移腳本回滾就需要專門做數(shù)據(jù)逆向操作費(fèi)時(shí)費(fèi)力風(fēng)險(xiǎn)還高。對(duì)這類不可逆上線測(cè)試階段就要格外謹(jǐn)慎并且要提前和運(yùn)維、開發(fā)一起把回滾預(yù)案寫好。這三步走完之后我會(huì)輸出一份上線風(fēng)險(xiǎn)評(píng)估里面明確寫本次版本的高中低風(fēng)險(xiǎn)點(diǎn)分別是什么、每個(gè)風(fēng)險(xiǎn)點(diǎn)對(duì)應(yīng)的驗(yàn)證情況、哪些功能做了多少輪測(cè)試、哪些區(qū)域是測(cè)試盲區(qū)需要上線后重點(diǎn)觀察。這份材料既是給自己上線后的盯守做備忘也是給項(xiàng)目組的風(fēng)險(xiǎn)告知——上線不是測(cè)試一個(gè)人的事風(fēng)險(xiǎn)要讓每個(gè)參與者都知道。1.3 上線窗口選擇不是什么時(shí)候想發(fā)就能發(fā)上線時(shí)機(jī)的選擇測(cè)試的話語(yǔ)權(quán)往往不夠但我建議測(cè)試還是要參與意見。從測(cè)試視角看一個(gè)好的上線窗口至少要滿足三個(gè)條件不在業(yè)務(wù)高峰時(shí)段。之前有個(gè)同事曾經(jīng)想吃肯德基工作日中午去結(jié)果排隊(duì)排了20分鐘看著前面的隊(duì)伍心里焦躁得不行。上線同理高峰時(shí)段用戶請(qǐng)求量大出問(wèn)題后影響人數(shù)多排查問(wèn)題時(shí)壓測(cè)流量也容易干擾判斷。電商、金融類項(xiàng)目最忌諱的就是大促時(shí)段發(fā)布大版本。留出足夠的盯守時(shí)間。別周五下午四點(diǎn)半發(fā)版五點(diǎn)半大家準(zhǔn)時(shí)下班。上線后至少要有2到3個(gè)小時(shí)的黃金觀察期核心人員都得在線。配合灰度發(fā)布策略。現(xiàn)在很多團(tuán)隊(duì)會(huì)先發(fā)小流量比如先放給5%的用戶觀察半小時(shí)沒問(wèn)題再逐步放量。測(cè)試要提前了解這次的灰度策略明確自己在每個(gè)階段的驗(yàn)證動(dòng)作是什么。2. 環(huán)境差異為什么測(cè)試通過(guò)的系統(tǒng)上線后還是會(huì)有問(wèn)題經(jīng)歷過(guò)幾次線上問(wèn)題后我深刻意識(shí)到一件事測(cè)試環(huán)境驗(yàn)證通過(guò)只能說(shuō)明在測(cè)試環(huán)境里沒問(wèn)題不代表在線上環(huán)境沒問(wèn)題。環(huán)境差異導(dǎo)致的上線事故比代碼邏輯錯(cuò)誤更難排查也更容易被甩鍋。2.1 環(huán)境漂移配置對(duì)不上是最常見的隱形炸彈很多團(tuán)隊(duì)有多個(gè)測(cè)試環(huán)境、預(yù)發(fā)環(huán)境、沙箱環(huán)境環(huán)境之間大多沒有做好嚴(yán)格的配置同步。測(cè)試環(huán)境把接口地址指向了某個(gè)Mock服務(wù)到了線上忘了切換預(yù)發(fā)環(huán)境連的是測(cè)試庫(kù)結(jié)果驗(yàn)證數(shù)據(jù)的時(shí)候被一堆臟數(shù)據(jù)干擾。這些都是很典型的環(huán)境漂移問(wèn)題。應(yīng)對(duì)方式我是這樣做的在測(cè)試接近尾聲時(shí)拉著開發(fā)和運(yùn)維做一次上線環(huán)境的預(yù)演Dry Run把發(fā)布腳本、環(huán)境變量、配置中心的值逐項(xiàng)核對(duì)一遍確保線上配置文件里每一項(xiàng)關(guān)鍵配置和測(cè)試時(shí)理解的預(yù)期一致。人工核對(duì)配置容易漏可以用腳本把測(cè)試環(huán)境、預(yù)發(fā)環(huán)境、線上環(huán)境的關(guān)鍵配置項(xiàng)做一次diff把差異項(xiàng)打印出來(lái)人工確認(rèn)。這個(gè)過(guò)程哪怕只跑一次也能省掉不少上線后的折騰。配置變更要留痕。誰(shuí)的配置改了、為什么改、影響了什么要有記錄臨時(shí)手滑改完就忘的行為是配置問(wèn)題的最大來(lái)源。2.2 數(shù)據(jù)差異測(cè)試數(shù)據(jù)永遠(yuǎn)比線上干凈得多測(cè)試環(huán)境的數(shù)據(jù)量級(jí)、數(shù)據(jù)分布、數(shù)據(jù)特征跟線上完全不是一個(gè)量級(jí)的。最常見的坑是測(cè)試環(huán)境一張表幾萬(wàn)條數(shù)據(jù)SQL執(zhí)行得飛快線上那張表幾千萬(wàn)條同樣的SQL跑了幾百秒沒出來(lái)直接把數(shù)據(jù)庫(kù)拖垮了。這類問(wèn)題測(cè)試階段其實(shí)能做很多事壓測(cè)階段對(duì)核心SQL做執(zhí)行計(jì)劃分析看有沒有走全表掃描、索引失效的情況。對(duì)數(shù)據(jù)增長(zhǎng)量有預(yù)判。比如新功能上線后預(yù)計(jì)每月新增多少數(shù)據(jù)量核心查詢的耗時(shí)增長(zhǎng)趨勢(shì)是什么樣。特殊數(shù)據(jù)邊界比如超級(jí)長(zhǎng)的字段、null值、空列表、超大數(shù)據(jù)量下的分頁(yè)查詢都值得專門構(gòu)造測(cè)試用例去驗(yàn)證。2.3 功能開關(guān)與灰度配置改動(dòng)要留后路這一點(diǎn)我自己吃過(guò)虧有一次功能改造涉及老版本數(shù)據(jù)展示邏輯當(dāng)時(shí)覺得反正新版本數(shù)據(jù)都是新結(jié)構(gòu)就把兼容代碼刪了。結(jié)果上線后發(fā)現(xiàn)有用戶的歷史數(shù)據(jù)還是舊結(jié)構(gòu)的展示直接裂開。后來(lái)學(xué)乖了凡是涉及數(shù)據(jù)結(jié)構(gòu)變更、展示邏輯變更的都要求開發(fā)加一個(gè)功能開關(guān)默認(rèn)走新邏輯但開關(guān)一關(guān)就能回退到舊邏輯。這樣上線后即使出問(wèn)題也能快速止損而不是干等代碼回滾。至于開關(guān)加在哪個(gè)層級(jí)開關(guān)的默認(rèn)值是什么開關(guān)關(guān)閉后對(duì)數(shù)據(jù)是否有影響這些都要在測(cè)試階段驗(yàn)證一遍。上線流程文檔里也應(yīng)該把這個(gè)環(huán)節(jié)寫進(jìn)去。3. 上線當(dāng)天的測(cè)試節(jié)奏不是發(fā)完版本就結(jié)束了很多剛?cè)胄械臏y(cè)試同學(xué)以為上線就是運(yùn)維把包發(fā)出去然后測(cè)試點(diǎn)幾個(gè)頁(yè)面確認(rèn)一遍就完事。實(shí)際不是的上線當(dāng)天的測(cè)試工作要分三段走。3.1 發(fā)布過(guò)程中的觀察點(diǎn)一秒都不能走神發(fā)布動(dòng)作從開始到完成通常有幾秒到幾分鐘的時(shí)間窗口。這個(gè)窗口內(nèi)系統(tǒng)可能處于新舊版本交替、重啟、實(shí)例切換的狀態(tài)最需要盯的是發(fā)布日志有沒有報(bào)錯(cuò)。啟動(dòng)報(bào)錯(cuò)、連接超時(shí)、依賴初始化失敗的日志尤其是那些不影響啟動(dòng)但會(huì)影響功能的warning級(jí)別日志寧可早點(diǎn)發(fā)現(xiàn)早點(diǎn)處理也不要等用戶來(lái)報(bào)。鏈路狀態(tài)。如果公司在用注冊(cè)中心、網(wǎng)關(guān)這類基礎(chǔ)設(shè)施觀察服務(wù)實(shí)例是否正常注冊(cè)、流量是否在預(yù)期范圍內(nèi)切換。關(guān)鍵告警有沒有觸發(fā)。這時(shí)候不能只看業(yè)務(wù)日志CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)I/O這些系統(tǒng)指標(biāo)也得盯著一旦有異常波動(dòng)多半是發(fā)布出來(lái)的副作用。我的做法是準(zhǔn)備一個(gè)發(fā)布觀察清單上面列著本次發(fā)布需要關(guān)注的服務(wù)名、關(guān)鍵日志關(guān)鍵字、重點(diǎn)指標(biāo)發(fā)布的時(shí)候拿著清單逐項(xiàng)看不靠腦子記。3.2 冒煙驗(yàn)證清單從主流程開始優(yōu)先級(jí)最高的事先做發(fā)布完成后最先做的是冒煙測(cè)試不是全量回歸。冒煙測(cè)試的目的是用最快的速度確認(rèn)系統(tǒng)能跑通最核心的業(yè)務(wù)路徑比如用戶能不能登錄、主流程能不能走完、核心交易能不能完成。所以冒煙用例要短、要核心、要快優(yōu)先級(jí)排布可以參考這樣的邏輯第一條跑對(duì)系統(tǒng)存亡影響最大的鏈路比如登錄鑒權(quán)、網(wǎng)關(guān)轉(zhuǎn)發(fā)、數(shù)據(jù)庫(kù)連通性。第二條跑本次版本涉及的最核心功能改動(dòng)點(diǎn)。第三條跑老版本主流程確認(rèn)沒有明顯回歸。第四條看關(guān)鍵的聯(lián)調(diào)外部服務(wù)支付網(wǎng)關(guān)、短信服務(wù)、第三方推送等是否可連通。提前把這些冒煙用例寫成自動(dòng)化腳本可以節(jié)省不少人力而且比起手工點(diǎn)頁(yè)面腳本跑出來(lái)的結(jié)果更客觀也更快速。手工冒煙的缺點(diǎn)就是容易遺漏而且執(zhí)行人一緊張就容易操作變形。3.3 手工探索的核心區(qū)域重點(diǎn)用戶路徑的抽查自動(dòng)化冒煙過(guò)了不代表高枕無(wú)憂。我會(huì)再抽幾條重點(diǎn)用戶路徑做手工走查尤其關(guān)注和這次變更相關(guān)的邊緣場(chǎng)景。比如改了訂單狀態(tài)邏輯那就重點(diǎn)走一遍不同類型訂單的狀態(tài)流轉(zhuǎn)改了支付流程那就把各種支付方式都點(diǎn)一遍。這些手工走查的好處是可以結(jié)合界面上下文和各種異常狀態(tài)比腳本覆蓋的場(chǎng)景更靈活。4. 發(fā)布后的黃金盯守期前30分鐘到前3小時(shí)每一條告警都要當(dāng)回事版本發(fā)布后的頭幾個(gè)小時(shí)是最關(guān)鍵的。用戶反饋還沒大規(guī)模擴(kuò)散問(wèn)題發(fā)現(xiàn)得越早影響面就越小。這段時(shí)間測(cè)試不能閑著要做的事情很多。4.1 線上回歸的執(zhí)行順序與版本風(fēng)險(xiǎn)點(diǎn)逐一對(duì)應(yīng)我一般會(huì)做三輪線上的回歸盯守第一輪發(fā)布后15分鐘內(nèi)核心鏈路巡檢。用上面的自動(dòng)化冒煙腳本跑一遍加上關(guān)鍵日志的關(guān)鍵詞掃描比如ERROR、Exception、超時(shí)等看有沒有異常情況。第二輪發(fā)布后1小時(shí)內(nèi)圍繞本次版本變更點(diǎn)的功能驗(yàn)證。把測(cè)試環(huán)境驗(yàn)證過(guò)的業(yè)務(wù)場(chǎng)景在線上環(huán)境各走一遍主邏輯路徑。第三輪發(fā)布后2到3小時(shí)觀察用戶行為鏈路。這個(gè)階段更多是靠日志和監(jiān)控?cái)?shù)據(jù)比如核心接口的耗時(shí)趨勢(shì)有沒有上升、錯(cuò)誤率有沒有明顯波動(dòng)、用戶側(cè)有沒有形成投訴。測(cè)試階段的線上回歸目標(biāo)不是把線下的所有用例在線上重跑一遍——線上環(huán)境和數(shù)據(jù)條件都不允許。真正要做的是把風(fēng)險(xiǎn)最高的那部分驗(yàn)證點(diǎn)覆蓋掉然后用監(jiān)控?cái)?shù)據(jù)來(lái)兜底。4.2 線上問(wèn)題與Bug的處理邊界什么該提單什么該立即上報(bào)線上出問(wèn)題的時(shí)候最忌諱的就是按測(cè)試階段的方式走提Bug-開發(fā)修復(fù)-驗(yàn)證-關(guān)閉的流程這會(huì)耽誤事。線上問(wèn)題的處理要按嚴(yán)重級(jí)別分流嚴(yán)重級(jí)別表現(xiàn)處理動(dòng)作P0主流程不可用、大面積報(bào)錯(cuò)、資損、數(shù)據(jù)損壞立即上報(bào)通知研發(fā)/運(yùn)維/產(chǎn)品決策是否回滾測(cè)試配合復(fù)現(xiàn)和定位P1核心功能受損但有小路可走、部分用戶受影響30分鐘內(nèi)響應(yīng)評(píng)估影響范圍確認(rèn)是否有臨時(shí)該干的事P2非核心功能異常、不影響主流程正常提單按常規(guī)迭代節(jié)奏處理測(cè)試在線上問(wèn)題中的作用不只是復(fù)現(xiàn)一下這個(gè)bug更關(guān)鍵的是快速判斷影響范圍受影響的是哪些用戶群、哪些功能模塊、什么時(shí)候開始出現(xiàn)的。這些信息能給到?jīng)Q策層做判斷是緊急修復(fù)、回滾還是先撐一下再看。4.3 回滾決策的思路什么樣的評(píng)價(jià)要在一小時(shí)內(nèi)做出來(lái)回滾是一個(gè)很重的動(dòng)作但是很多問(wèn)題撐到最后也只能回滾。測(cè)試要清楚一件事回滾不僅僅是一個(gè)技術(shù)動(dòng)作它代表著一整套流程要倒退重來(lái)。所以回滾決策不是出了錯(cuò)就要回滾而是要看幾個(gè)因素問(wèn)題影響面是否還在擴(kuò)大。如果影響范圍可控可能先用功能開關(guān)把新邏輯關(guān)掉如果影響面不可控回滾要趁早。問(wèn)題的修復(fù)成本和時(shí)間。如果開發(fā)預(yù)計(jì)一小時(shí)內(nèi)能修復(fù)可能不必回滾先出個(gè)熱修包試試如果修復(fù)時(shí)間無(wú)法估算回滾是更優(yōu)的選擇。不可逆的變更要對(duì)沖。如果是涉及數(shù)據(jù)庫(kù)遷移之類的不可逆操作更要提前在發(fā)布方案里plan好回滾之后的補(bǔ)償邏輯。這里分享一個(gè)經(jīng)驗(yàn)回滾決策要前置回滾方案不要等出問(wèn)題的時(shí)候才臨時(shí)寫。測(cè)試在發(fā)布前評(píng)審階段就應(yīng)要求研發(fā)把每次發(fā)布的回滾方案寫清楚方案里必須有明確的觸發(fā)條件、執(zhí)行步驟、驗(yàn)證方法。多數(shù)團(tuán)隊(duì)能做好第一項(xiàng)和第三項(xiàng)第二項(xiàng)的執(zhí)行步驟往往寫不細(xì)。出問(wèn)題的時(shí)候運(yùn)維和執(zhí)行人要么靠臨場(chǎng)反應(yīng)要么靠不完全的方案動(dòng)作變形就會(huì)在后面造成更多麻煩。5. 上線流程里的三類不顯眼但致命的問(wèn)題數(shù)據(jù)、緩存、外部依賴有些問(wèn)題不是邏輯錯(cuò)也不是環(huán)境差而是軟件系統(tǒng)里一些底層模塊在上線流程里被忽略了。這三個(gè)大頭我單獨(dú)提出來(lái)給同行們多個(gè)參考維度。5.1 數(shù)據(jù)層面的上線動(dòng)作不是只有DDL那么簡(jiǎn)單發(fā)布單里有表結(jié)構(gòu)變更的測(cè)試階段必須驗(yàn)證數(shù)據(jù)遷移腳本的可執(zhí)行性和可重復(fù)性。有的腳本只能跑一次跑第二次就報(bào)錯(cuò)這種腳本在灰度發(fā)布場(chǎng)景下就很危險(xiǎn)。要專門驗(yàn)證腳本在空庫(kù)、有歷史數(shù)據(jù)、有大表等不同場(chǎng)景下的表現(xiàn)。初始化數(shù)據(jù)的冪等性也要驗(yàn)證。線上執(zhí)行初始化腳本時(shí)如果腳本里包含插入默認(rèn)配置之類的操作一旦執(zhí)行到一半因?yàn)槟硹l數(shù)據(jù)重復(fù)導(dǎo)致中斷后續(xù)再補(bǔ)跑就很容易出現(xiàn)數(shù)據(jù)錯(cuò)亂。規(guī)格上應(yīng)要求每次發(fā)布的腳本都把冪等邏輯寫清楚。老數(shù)據(jù)的清洗和兼容性處理要有專門的測(cè)試用例。新代碼上線后老數(shù)據(jù)必須能被正常讀出來(lái)、正常展示。我知道有些團(tuán)隊(duì)測(cè)試階段只造新數(shù)據(jù)不提前歷史數(shù)據(jù)這就遺漏了一個(gè)風(fēng)險(xiǎn)面。5.2 緩存層面的上線動(dòng)作版本更新后緩存怎么辦緩存是上線最容易被繞過(guò)去的環(huán)節(jié)。改了商品詳情的展示邏輯但緩存里有舊邏輯生成的商品數(shù)據(jù)用戶看到的和預(yù)期不符。這個(gè)問(wèn)題不致命但很容易讓項(xiàng)目組以為上線失敗了。處理方式有這么幾種按成本和效果排發(fā)布前評(píng)估本次改動(dòng)是否會(huì)涉及緩存結(jié)構(gòu)變化如有應(yīng)提前設(shè)計(jì)好緩存預(yù)熱方案別拿空緩存去扛流量。關(guān)鍵緩存設(shè)置好版本號(hào)發(fā)布時(shí)切換緩存版本新版本自然用新邏輯生成緩存。發(fā)布后巡檢緩存命中率如果出現(xiàn)命中率大面積掉下來(lái)的情況得留意是不是緩存key的變化導(dǎo)致緩存大量失效引發(fā)后端壓力升高。5.3 異步消息與時(shí)序問(wèn)題上線后最磨人的問(wèn)題來(lái)源還有一類問(wèn)題測(cè)試環(huán)境死活測(cè)不出來(lái)上線后間歇性閃現(xiàn)最后定位到是異步消息或任務(wù)調(diào)度的時(shí)間順序問(wèn)題。比如用戶下單后發(fā)送消息通知庫(kù)存扣減但消息消費(fèi)的時(shí)序在兩個(gè)環(huán)境里不一致定時(shí)任務(wù)在發(fā)布期間被重復(fù)觸發(fā)導(dǎo)致數(shù)據(jù)重復(fù)寫。應(yīng)對(duì)這類問(wèn)題的思路測(cè)試階段要設(shè)計(jì)時(shí)序類、并發(fā)類的用例別只測(cè)單線程場(chǎng)景。了解本次發(fā)布涉及哪些消息隊(duì)列、哪些定時(shí)任務(wù)確認(rèn)它們的消費(fèi)者/執(zhí)行器的變更情況必要時(shí)在發(fā)布期間屏蔽定時(shí)任務(wù)的觸發(fā)窗口。發(fā)布方案里把消息中間件、任務(wù)調(diào)度平臺(tái)的運(yùn)維注意事項(xiàng)寫清楚有需要暫停調(diào)度任務(wù)的話務(wù)必申請(qǐng)暫停時(shí)間。說(shuō)句實(shí)在的這三類問(wèn)題里數(shù)據(jù)問(wèn)題最要命緩存問(wèn)題最隱蔽異步問(wèn)題最磨人。但好在它們都是可以提前設(shè)計(jì)的只要在流程里固化相應(yīng)的檢查項(xiàng)上線風(fēng)險(xiǎn)能降一大截。6. 把上線流程固化成一個(gè)可復(fù)制的機(jī)制線上發(fā)布檢查清單與交付到這兒上線流程已經(jīng)不是某個(gè)人的經(jīng)驗(yàn)而是一個(gè)有章可循的標(biāo)準(zhǔn)動(dòng)作。項(xiàng)目團(tuán)隊(duì)最怕的是一批人走了流程經(jīng)驗(yàn)跟著走了下一批人重新踩坑。所以流程要落成文件、要落成清單這既是工作效率的保障也是測(cè)試團(tuán)隊(duì)話語(yǔ)權(quán)的體現(xiàn)。6.1 發(fā)布checklist該怎么設(shè)計(jì)設(shè)計(jì)checklist的時(shí)候如果條目太多就等于沒有checklist因?yàn)閳?zhí)行人根本看不完。我會(huì)把它分成兩類必做項(xiàng)硬性門檻變更清單完整、可回溯測(cè)試環(huán)境和線上環(huán)境的配置差異項(xiàng)已確認(rèn)已知缺陷的影響范圍評(píng)估完成且有處置結(jié)論數(shù)據(jù)遷移腳本已驗(yàn)證可執(zhí)行、可重復(fù)、可回滾回滾方案、功能開關(guān)預(yù)案已落實(shí)核心鏈路自動(dòng)化冒煙用例通過(guò)職責(zé)項(xiàng)按角色拆分的檢查內(nèi)容開發(fā)確認(rèn)代碼分支無(wú)誤、上線腳本已驗(yàn)證、配置項(xiàng)提交完整測(cè)試冒煙清單通過(guò)、監(jiān)控告警已接入、線上回歸計(jì)劃就緒運(yùn)維發(fā)布窗口已確認(rèn)、監(jiān)控大屏就緒、資源水位有數(shù)產(chǎn)品運(yùn)營(yíng)側(cè)公告/客服話術(shù)就緒、用戶溝通預(yù)案就位這套checklist的價(jià)值不只是上線前逐項(xiàng)打勾更是給大家一個(gè)統(tǒng)一的溝通語(yǔ)言避免同一件事你說(shuō)東他說(shuō)西。6.2 發(fā)布復(fù)盤怎么開才有用很多團(tuán)隊(duì)上線后例行開個(gè)復(fù)盤會(huì)結(jié)果開了兩張嘴皮子就散了沒留下什么可改進(jìn)的東西。我的建議是復(fù)盤會(huì)不要糾結(jié)誰(shuí)的責(zé)任而要復(fù)現(xiàn)三件事本次發(fā)布過(guò)程中的時(shí)間線。什么時(shí)候發(fā)布、什么時(shí)候發(fā)現(xiàn)異常、什么時(shí)候決策、什么時(shí)候解決。把這條時(shí)間線擺出來(lái)大家自然知道哪個(gè)環(huán)節(jié)花的時(shí)間不合理哪個(gè)環(huán)節(jié)的決策被拖住了。下一步需要改進(jìn)的機(jī)制性動(dòng)作。不能只停留在下次小心點(diǎn)這次多注意。要有明確的任務(wù)分配比如下次上線前測(cè)試要提前兩天檢查數(shù)據(jù)遷移腳本下次發(fā)布運(yùn)維要在發(fā)布開始前確認(rèn)告警通道可用。做得好的部分也要總結(jié)。別光盯著問(wèn)題。哪個(gè)環(huán)節(jié)因?yàn)榱鞒糖逦?jié)省了時(shí)間、哪個(gè)功能因?yàn)闇y(cè)試覆蓋到位沒有出問(wèn)題把這些經(jīng)驗(yàn)提煉出來(lái)變成后續(xù)流程的執(zhí)行標(biāo)準(zhǔn)。6.3 測(cè)試自動(dòng)化的切入點(diǎn)上線流程里的自動(dòng)化不只是為了省人力更是為了保證上線那一刻的動(dòng)作不變形。從我的經(jīng)驗(yàn)看以下幾個(gè)自動(dòng)化點(diǎn)收益最高值得優(yōu)先投入核心鏈路的發(fā)布后冒煙腳本?;ú涣颂喙ぷ髁康看紊暇€都能跑一遍安心程度提升一大截。數(shù)據(jù)/配置差異對(duì)比腳本。測(cè)試環(huán)境、預(yù)發(fā)環(huán)境、線上環(huán)境的配置對(duì)比用腳本掃一遍比自己人肉對(duì)一遍可靠得多。發(fā)布日志的關(guān)鍵詞監(jiān)控。在日志平臺(tái)里配好ERROR、Exception、timeout等關(guān)鍵字的實(shí)時(shí)告警異常情況不用人肉眼去翻日志。線上核心接口的自動(dòng)化巡檢。定時(shí)跑關(guān)鍵接口的正確率和耗時(shí)上線后如果指標(biāo)掉下去能提早捕捉到問(wèn)題。這些自動(dòng)化的投入不一定需要多大成本先從最痛的點(diǎn)開始跑順了一個(gè)再逐漸擴(kuò)展。我見過(guò)太多團(tuán)隊(duì)一上來(lái)就想著搞一套全自動(dòng)的發(fā)布流水線結(jié)果搭了三個(gè)月還沒跑通連最基礎(chǔ)的冒煙腳本都沒人寫。先小步快跑跑起來(lái)再優(yōu)化比大而全的空想方案強(qiáng)得多。說(shuō)白了項(xiàng)目上線流程這一整套東西本質(zhì)上是把一個(gè)高風(fēng)險(xiǎn)的儀式變成一套可控的、可預(yù)期的標(biāo)準(zhǔn)作業(yè)。測(cè)試在這個(gè)流程里既是最后一公里質(zhì)量的守門人也是發(fā)布風(fēng)險(xiǎn)的早期預(yù)警者。這一套流程能跑順不是某個(gè)人特別厲害而是每個(gè)參與者都對(duì)流程有敬畏心知道每一步該干什么、為什么這么干。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
bbwcuckold精品熟妇| 99热九九这里只有精品10| 久久综合影院| 五月婷婷五月天天| 国语对白性爱视频播放| 最近中文字幕大全免费版在线 | 极品人妻videosss人妻| 性爱激情小说AV五月丁香花| 无码成人播放器| 日韩AV色色色| 夜夜骑日日操| 中文字幕操比影片| 丁香六月婷婷综合| www.婷婷五月天| xx色综合| 久久精彩综合视频| 在线天堂9| 久久久激情| 色婷婷亚洲婷婷在线观看| 成人看片网站| 五月丁香激| 99操| 激情爱爱网站超大免费| 日日夜夜狠狠干| www.亚洲激情.com| 婷婷色综合| 丁香激情五月| 天天日天天摸| 综合久久人妻| 激情性五月天免费小说视频 | 成人片在线播放| 午夜AV网| 日产精品一线二线三线芒果| 色色色色色色色色五月先| site:xiongshengzz.com| 久久九九激情五月天| 亚洲最大在线| 9l视频自拍九色9l视频自拍九色9l社区 | 色婷婷影音| 99re久热只有精品6在线直播| 开心五月激情五月丁香五月婷婷| 超碰97在线观看免费| 草草操操| 久xxxx| 国产成人一区二区三区在线观看| 婷婷激情综合| 色色色成人网| 日韩AAAAA| 大香蕉伊人99| 久热九九| 中文字幕婷婷五月天| 一级性感毛片| 91视频久久久| 精品网站:999WWW| 久久这里只有精品99| 99在线免费视| 国产在这里只有精品| 国产精品99久久久久久久女警| 五月婷婷丁香| 免费日韩99| 99视频精品| 亚洲中文字幕在线观看| 91久久综合亚洲鲁鲁五月天| 粉嫩av懂色av蜜臀av熟妇| 精品少妇人妻AV无码专区偷人| 色热久资源| 天天狠狠夜夜狠狠2023| 婷婷五月激情中文字幕| 五月丁香六月婷综合成人综合| 亚洲精品色色色| 9999热免费视频视频| 类似婷婷激情综合网站| 色噜噜狠噜噜视频| 性爱111111| 色色九九五月天| 色约约视频一区二区三区四区五区 | 激情五月天色色| 99婷婷狠狠成为人免费视频| 丁香五月成人网| 五月天俺去也| 婷婷色色丁香五月天| 另类小说色婷婷| 五月丁香色婷婷色| 开心五月激情网| 色婷婷婷婷| 色五月天综合网| xx久久| 色丁香五月天| 99热 免费| www久久99com| 色五婷婷| 久久五月婷| 天干夜夜操| 天天噜噜| 91熟妇大香蕉| 五月色婷| 五月天狠狠干| 色五月婷婷五月天激情综合| 色婷婷AV五月天| 丁香六月婷婷综合网| a69在线视频| 婷婷五月天国产精品| 亚洲五月天综合色| 丁香六月婷婷综合在线| 无码激情| 久综合九综合99| 四色99久久| www.五月天婷婷| 99re热视频| 丁香视频| 日本一级一级一级一级| 91色婷婷综合久久中文字幕二区| www.夜夜操.com| 色综合久久久久| 91热爆在线| 欧美性色A片免费免费观看的| 射满了还射免费在线观看 -午夜版全集-新视觉影院 | 久九色| 婷婷第六色| www.91操| 色丁香婷婷| 爆乳熟妇一区二区三区爆乳照片| 黑人糟蹋人妻HD中文字幕| 精品视频二级九九| 久久视这里只有精品| 激情无码网| 色色五月天婷婷| 99久热这里有精品| 欧美日比视频| 亚洲精级| 五月婷婷 六月丁香| 99热这里有精品| 色五月播五月| 激情综合五月天| 伊人婷婷大香蕉在线| 色444综合网| 噜噜狠狠| 99精品免费视频| 99热精品在线播放| 九九热99熟女| 五月天婷婷激情春色小说| 青青草原伊人网| 中文字幕乱码亚洲精品一区| 五月综合视频在线| 五月婷婷激情视频| 人与禽A片啪啪| www.五月丁香| 99只有精品| 森林影视大全,最好看的2019年视频| 五月丁香综合啪啪| 色婷婷五月在线| 18久久| 夜夜骑日日夜夜| 婷婷欧美综合| 五月天激情啪啪| 99 re视频一区| 亚洲视频综合网| 97色干| 丁香五月久久综合| 伊人久久婷婷| 欧美情月伍月天| 五月婷婷成人| 国产熟妇的荡欲午夜视频| 婷婷五月综合色拍| 色综合天天| 粉嫩AV久久一区二区三区| 91超级碰在线视频| 激情五月婷黄版| 猫咪伊人AV| 99这里只有免费的精品| 综合色播| 欧美在线97| 色综合五月婷婷狠狠干| 成人无码髙潮喷水A片| 色欲婷婷五月天| 欧美日韩aaa| 一区操| 久久婷婷五月草视频| 91人妻PORNY九色大屁股| 久久久人人操A V| 色色色国产| 丁香五月激情综合| 深爱激情九九五月天 | 可以免费观看的av网址| 色五月激情网| 狠狠色丁香99| av大片在线| 精品国产va久| 天天插操| www.久久av.com| 久久久天堂国产精品女人| 99免费成人网| 无码人妻精品一区二区蜜桃色欲| 婷婷色色播五月天| 波多野结衣成人作品在线| 五月天婷婷深深爱| 亚洲中字AV电影在线网站| 另类视频一区| 天天日天天插| www.六月丁香看AV| 玖玖精品婷婷| 夜夜资源站| 成人无码中文| 五月婷婷啪啪| 4399在线观看免费高清黄色视频| 五月丁香久久网| 99热1| 可以看的AV| 99热资源在线| 五月亭亭六月天| AV伊人青草丁香六月| 天天天天天日| 丁香六月AV| 做爰丰满少妇1313| 婷婷丁香激情综合色情| 美女黄频aⅴ视频| www色色com| 五月婷婷人人人操| 国产偷人爽久久久久久老妇APP| 情五月亚洲婷婷| 伍月婷丁香婷| 丁香婷婷六月| 色婷操逼| 亚洲另类久久| 久久精品五月天| 色激情五月| 免费视频WWW在线观看网站| 五月综合激情| 97黑人精品区| 九九色影视| 六月丁香av| 任你擦免费视频| 亚洲第一第二网站| 欧美丁香五月| 狠狠狠色激情综合适合| 九九色情网站| 色婷婷精品| 丁香六月婷| 七七色色综合| 激情婷婷| 五月丁香六月婷综合成人综合| 在线亚洲综合| 超碰在线91| 骚货艹网站视频| 一二区成人电影| 丁香五月色情| 第四色五月天| 青青草视频福利| 青青草网武则天| 激情五月天丁香| 六月丁香婷婷网| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 欧美日韩成人在线网| 9有码中文| 日韩精品视频中文字幕| 国产免费AV网站| 五月婷人妻| 99久久99九九九99九他书对| 思思久久网| 婷婷五月天AV在线| 久久资源网五月婷| av高清无码| 久久999久久999久久999久久| 99亚洲天堂| 91久女| 日韩999| 欧美啄木乌丝袜人妻系列| 在线另类| 婷婷五月天中文字幕| 超碰v| 九九色人| 天堂五月婷婷| 婷婷十月激情综合网| 久久综合丁香五月| www.久久久.com| 精品九九婷婷| 国产精自产拍久久久久久蜜| 五月婷婷激情综合| 久久婷婷五月丁香网| 九一99| 91丨熟女丨首页| 超级碰碰99| 亚洲精品一区无码A片| 99色在线观看| 在线观看亚洲视频影院| 大香蕉伊然在亚洲90| 九热视频| 色99网站| 天天爽夜爽| 99视频只有精品| 这里只有精品视频一区| 99这里有精品久久97| 五月综合激情| 中美日韩成人在线| 成人午夜无码视频| xx久久| 国产精品成人AV在线观看春天 | 色五月婷婷九月| 亚洲精品五月| 99爱最新免费视频在线观看| 九热在线这里有精品6| 99视频久久| 五月婷婷深深爱| 国内久久久精品99| 久久久99婷婷久久久久久| 激情五月天色色色| www,com,五月色色| 9久久久久久久久久久| 丁香久久九九99| 4438全国最大视频成人网站在线观看| 丁香五月 无码| 99久久超级| 中文字幕成人版| 五月丁香婷婷欧美色图视频五月丁香777电影 | 婷婷五月天av| 九九在线精点品| 99久在线精品99re8| 九九99精品视频在线观看| 五月丁香在线| 99九九精品| 丁香六月啪| 丁香五月色色| 大香蕉啪啪啪| 婷婷久久综合| 久久婷婷五月综合网| 人人操婷婷| 九色porny在线观看激情四射| 日韩操啪| 日韩九区| 五月婷丁香在线视频在线| 色狠狠综合网| 五月婷六月婷婷| 五月婷婷丁香婷婷| 色噜噜狠狠色综合日日| 五月情婷婷五月| WWW激情五月天| 久久精品小视频| 五月丁香花激情综合网| 99热亚洲精品| 99精品在线播放| 97操操网| 99riAV国产精品视频| 97干在线视频| 狠狠狠狠狠操| 99热久草| 丁香五月花| 91丁香综合| 综合激情四射一theav| 五月天婷婷激情在线色图| 婷婷操无码| 美欧成人视频| 99热99热在线观看| 五月丁香六月婷婷啪啪| 大地9中文在线观看免费高清 | 影音先锋男人AV资源站| 99精品在线观看视频| 日日噜狠狠色综| 人人做天天爱| 狠狠做深爱婷婷久久综合一区| 激情五月天综合网| 色婷婷小说| 久久九九经典| 婷婷综合国产| 97色婷| 天天做天天爱天天日| 五月婷婷六月基地| 这里只有精彩视频| 人人看人人97| 99爱在线| 大香蕉啪啪网| 国产欧美第五十五页| 激情五月天婷婷| 欧美精品XXXXBBBB| 婷婷丁香18| 五月激情婷婷在线| 99这里只有| 日韩一66精品| 99婷婷| 欧美婷婷九月| 久热精品9999| 五月综合人妻| 超碰只有精品在线| 超碰在线人妻| 九九色影视| 99亚州综合精品成人网| 亚洲综合色棒| 五月丁香六月花| 五月丁香激情综合网| 亚洲av网址| 天天色2017| 色屌丝中文字幕| 日韩在线观看亚洲| 精品久久66| 99免费综合网| 色色色国产| 欧美va欧美va差| 久热无码| 五月丁香六月婷婷综合在线| www激情| 99九精品| 激情五月天的婷婷| 午夜爱插插| 五月丁香婷婷激情爱爱| WWW.五月com| 激情五月丁香五月| 五月丁香免费看| 色婷婷色99国产综合精品| 久久天堂网| 激情五月婷婷| 激情五月丁香婷婷| 久久婷婷五月天激情四射| 婷婷婷婷婷婷婷婷| 丁香五月在线观看| 天天色粽合合合合合合合| 亚洲免费婷婷| 色色色色色色色色综合网| 激情五月丁香六月婷婷| 特级片神马电影| 噜噜色婷婷| 久久精品99| 大香蕉丁香| 99色热视频| 欧美成人精品A片免费一区99| 99热色综合| 亚洲人妻电影| www.色五月天.com| 色欲色天天香综合| 丁香情色五月| 久久 婷婷 五月天| 久久婷婷综合基地| 青青草网武则天| 国产FREESEXVIDEOS性中国| 久久久天堂国产精品女人| 去色色五月天| 色婷婷五月天成人网| 久热视频这里只有精品68| 亚洲欧洲美女在线观| 2015WWW永久免费观看播放| 五月天久久综合| 无码网| 欧美综合五月丁香六月婷| 99激情| 五月天激情网站| 丰满老熟妇BBBBB搡BBB| 亚洲愉拍99热成人精品| 激情婷婷五月丁香啪啪啪| 丁香五月色激情| 激情五月天婷婷色色色色色色色色色色色 | 婷婷五月天中文字幕.| 97香蕉碰碰人妻国产欧美| 天天爽在线视频| 97人人操人人爽| 免费AV黄在线播放| 日日日天天干| 99综合免费视频| 色婷五月| 婷婷五月综合基地| 99玖玖在线视频| 99热在线爱| 五月丁香六月婷婷a v| 婷婷五月天六点丁香五月| 亚洲人妻电影| 年轻的妺妺伦理HD中文| 日本123区日韩欧美不卡在线看| 影视av久久久噜噜噜噜噜三级| www.久久| 婷婷五月噜噜| 激情五月天婷婷在线网址发给我| 久久久精品人妻| 人人色人人弄人人操| 婷婷综合偷拍| 日 日干 日日做| 五月婷婷六月丁香综合| 超碰91在线| 国产AV一区二区三区日韩| 任你干嘛免费视频播放| 天天天天天天天干| 快色t v在线入口| 天天综合五月| 久婷婷视平| 久久婷婷综合网| 五月天激情在线视频| 丁香五月六月婷婷殴美综合| 亚洲激情网| 亚洲中文AV网站| 丁香婷婷人妻| 天天爽天天操| 丁香婷婷成年| 久久婷婷热| 五月之婷婷| 婷婷99| 婷婷六月激情综合| 五月丁香啪啪啪综合网| 亚洲va在线∨a天堂va欧美va| 久久538| 亚洲色图在线视频| 午夜AV网| 熟女色专区| 五月丁香六月婷婷操操操| 婷婷五月天丁香花| 五月天堂色色| 天天日天天做天天舔| 婷婷五月天成人小说| 六月丁香久久| 婷婷伊人综合中文字幕| 99久久极情精品一区| 亚洲精品字幕在线观看| 亚洲综合九九| 99在线热视频| 婷婷色狠狠| 99热这是里只有精品| 久久伊人9| 伊人狼人干| 激情婷婷丁香五月天小说| 丁香五月伊人| 日韩AV免费| 婷婷色系婷色| 99热综合| 五月天婷婷久久日| 丁香婷婷久久 | 五月丁香婷婷色色| 丁香婷婷色五月激情综合| 色99色| 久久久久久激情| 五月草影视| 五月丁香六月色| 中文字幕第四色.999| 婷婷深爱网| 色色99| 99re热精品在线视频| 99热综合| 久久婷婷电影| 五月开行婷婷色五月| 97高清国语自产拍| 九九热精品| 在线视频另类| 亚洲 成人 电影av在线观看| 天天天天天久久久久久| 精品热青草| 五月丁香婷中文字幕| 五月天婷婷基地| 啪啪啪大香蕉| 色色色色综合| 亚洲精品色色| 激情综合五月| 99热啪啪| 中文av网| 五月丁香五月丁香| 啪啪一区| 天天日日天天| 丁香五月电影| 婷婷五六日| 丁香五月综合| 婷婷六月网| 中文毛片无遮挡高潮免费| 这里只精品| 人人草人人爱| 这里只有精品,日韩视频| 日本三级日本三级99| 五月婷视频久久| 丁香五月色色| 久久综合激情五月天| 天天日天天色| 丁香六月婷婷五月天| 天天肏夜夜肏| 婷婷色五月久久| 极品精品一区二区三区在线| 亚洲aV写真天天综合网久久| www.五月婷| 激情五月天偷拍综合网| 久久东京热婷婷五月| 亚洲AV成人在线| 丁香六月婷婷激情综合| 婷婷五月天社区| 亚洲欧洲色色| 超碰妻人人| 深爱五月日韩| 国产97色在线| 色情综合网| 另类天堂| 五月深爱激情网| 五月亭亭欧美女人| 啪啪婷婷五月天激情| 六月婷婷激情| 99视频内射三四| 亚洲综合网区| 丁香五月激情图片婷婷 | 97色五月丁香婷婷| 色五开心五月五月深深爱| 五月婷婷综合性爱噜噜| 九九碰九九爱97| 亚洲综合新99视频| 亭亭丁香97| 99热亚洲| 天干干夜夜操| 91xxxx九色| 久操综合| 天天操天天爽天天爱| 成人网在线观看视频| 欧美精品熟女一区二区| 无码啪啪| 极骚大香蕉伊人| 婷婷网五月天| 操B五月天| 一本道在线电影| 天天插天天插天天插天天插| 五月丁香网视频| 色五月亚洲| 欧美丁香五月| 五月色丁香成人| 8区视频在线| 五月五月婷婷| 99热这里只有精品99| 激情五月天色婷婷综合| 五月天婷婷操逼视频| 天天爽天天爽| 久久色五月| 色五月婷婷激情五月| 亚洲AV第二区国产精品| 色色欧美。| 亚洲六月婷婷| 激情五月婷婷综合色播小说| 色色综合成人网| 卡视频1区2区| 亚洲日韩乱码一区二区三区四区| 色色五月天丁香| 五月丁香欧美| 欧美狠狠草| 在线不卡中文字幕| 99热有精品在线观看| 婷婷色综合| 真实亲子乱子伦高清在线观看| 热久久77777| 人人九色| 中文字幕在线不卡视频| 亚洲 在线 另类| 色999亚洲人成色| 激情五月天开心总和网| 婷婷色5月天在线。| 99综合自拍| 婷婷99狠| 中文字幕一色哟哟哟哟| 大香蕉五月天| 五月总合激情网| 超级碰91| 久久99久久99久久99| 婷婷丁香六月| 91ncom.色| 亚洲九九视频| 人人噜天天上| 婷婷激情五月综合丁香社| 无码一区二区三区四区五区| 99热偷拍| 久久与婷婷| 久久久婷婷色五月资源网| 高清资源站日A美A欧亚…| 亚洲精品大片| 婷婷五月激情综合| 91se在线视频| 色色五月天网站| 几激情五月婷婷色五月色天堂| 99热九九在线| 亚洲无码成人性爰网| 五月丁香在线视频观看| 九九碰九九爱97超碰| 久久免费操| 9视频1在线| 91xxxx九色| 丁香婷婷老司机久操| 日韩熟女啪啪视频| 色色色九九九五月婷婷| 婷婷的五月天另类视频| 久久99热网| 免费无码毛片一区二区A片| 九九精品免费| 五月色网| 99性爱| 五月天激情影院| 可以免费观看的av| 丁香成人五月天| 色五月综合| 亚洲色综合| 天天干天天干天天干| 色婷婷丁香五月| 开心五月婷婷激情| 亚洲国产精品二二三三区| 激情小说五月天| 六月激情网| 色五月激情五月| 久久人妻熟女一区二区| 久久久久久久久久久-久五月天婷婷| 五月天电影网| 五月天大香蕉av| 无码字幕中文| 影音先锋综合网| 久久99看免费| 婷婷99狠狠躁天天| 九九视频免费| 综合色天天| 精品怡红九九九| 色五月丁香伊人五月| 五月婷婷69| 国产成人AV在线播放| 激情久久五月天| 亚洲情欲| 黑人巨粗进入警花疼哭A片| 色五月婷婷7777| 亲子乱av一区二区三区的| 日本九九九九九九| 超碰人人操在线| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 久久久av久av久片一区二区| 色婷婷五月丁香色| 日韩色色一区| 六月99天天婷婷激情综合| 99成人网站| 99日韩网站| 天天噜| 六月婷婷色| 天天肏在线| 九九九九九九九九九九九九九国产精品| 亚洲色基地| 97中文在线| 丁六月激情| 五月婷婷丁香社区| 久久99久久99精品免视看婷婷| 天天日天天插| 噜噜五月天综合| 99自拍网| 色五月色综合| 色欲五月婷婷| 亚洲视频一区| 色色丁香五月天社区| 日韩无码专区| 色狠狠图片| 亚洲婷婷五月| 夜精品无码A片一区二区蜜桃| 31色区视频免费看| 五月婷婷欧美| 亚洲久久婷婷| 亚洲视频二区| 婷婷五月天97干| 一起草无码| 伊人五月人妻精品| 91人操人人人操人| 日韩精品无码一区二区| 九九av在线| 久久er+| www.9797国产| 欧美色色色色色色色色色色影视| www激情婷婷com| 小视频久久久aaa| 91美女啪啪| 婷婷丁香社区网| 99热这里只有精品免费观看| 欧美激情VA永久在线播放| 欧美日韩一区二区三区四区| 婷婷久久综合| 激情五月小说婷婷| 亚洲欧洲中文日韩久久AV乱码| 玖玖精品婷婷| 26UUU精品一区二区Com| 99自拍视频在线| 97婷婷五月丁香| 亚洲国产精品成人免费一区久久久在线观看AAAA | 99爱视频| 五月婷婷影视| www.粉嫩av.com| 丁香婷婷激情五月天无毒不卡蜜桃| 欧美性猛交 XXXX 乱大交| 久久hd| 影音先锋人妻出差| 亚洲九区| 99 re视频一区| 婷婷激情五月天视频在线| www狠狠| 久综合九| 国产成人99久久亚洲综合精品| 婷婷五月丁香五月| 色婷婷丁香九月| 五月婷婷欧美激情| 五月综合激情婷婷六月色窝| 思思热久久艹| 噜噜狠狠色综无码久久合欧美| 香蕉久久国产AV一区二区| 大香蕉婷婷色| 五月婷婷婷丁香播| 五月九九综合| 99热这里精| 91Chinese在线| 五月 成人 婷婷| 丁香婷婷噜噜| 99热草草| 襙逼网| 欧美色婷婷| 97人妻碰碰碰久| 色欲久久久久久综合网综合网| 99热人人操人人操| 五月天在线视频尤物视频在线看| 一起草av| 99在线观看视频免费| 色婷婷19| 婷婷色五月开心五月| 在线观看中文字幕| www色哟哟| 天天摸天天高潮天天爽| 中文字幕丰满孑伦无码专区| 婷婷丁香六月五月天| 超碰99在线观看| 91丨九色丨丰满人妖| 俺去也婷婷| 久久久婷婷色五月资源网| 久久久久人妻精选| 亚洲AV日韩在线观看| 色大综合| 丁香五月婷婷免费视频| 99色热视频| 午夜天堂一区人妻| 日韩婷婷五月天| 欧美黑人巨大性生话| 狠狠干天天内射| 综合网色| 伦乱美欧| 国产全是老熟女太爽了| 五月婷婷丁香大陆免费| 亚洲字幕AV一区二区三区四区| 激情99。| 成人无码精品1区2区3区免费看| 欧美激情 日韩无码 婷婷 五月天| 久久综合五月| 久久激情网| 91欧美| 只有精品在线观看| 亚洲综合五月天| 激情六月五月婷婷综合网| 五月丁香另类网| 五月停停大香蕉| 久久久久人妻中文| 久久资源综合| 日本va欧美va欧美精品88| 日韩一级网站| 久久六月天| 五月天激情综合网俺也去| 人妻久久久久久| 噜噜噜噜噜日本视频| 精品久久久久成人码免费动漫| ss99热| 丁香五月激情五月| 精品人妻伦一二三区久久| 碰97久久| 婷婷丁香十月| 亚洲狠狠婷婷综合久久久| 碰碰人人人| 妻久久人久久| 日韩精品999| 五月婷婷激情| 开心综合激情综合| 一区二区aV电影免费看| 六月久久婷婷| 无码九九| 琪琪色综合网站| 丁香婷婷婷五月| 超碰男人色| 99色综合| 996热re视频精品视频这里| 综合久久首页| 日韩成人无码人妻| 婷婷五六日| av人人操| 久久曰曰| 色青青视频| 性爱五月婷| 丁香五月色色| 五月激情婷婷色| 996热re视频在线观看视频| 色久女| 亚洲 精品 综合 精品| 97成人丁香| 99热久草| 五月深爱婷婷| 色婷在线视频| 激情五月天网站| 丁香六月五月婷婷| 黄网免费看| 无码一区精品一区视频| 久久人妻视频| 色婷婷丁香六月| 五月婷婷久久爱| 中文字幕AV在线播放| 色婷婷伦理| 噜噜色五月| 性做久久久久久久免费看| 日本va欧美va欧美精品88| 婷婷五月天成人| 182tv992tv人之初午夜免费观看| 久久久99视频| 久久五月婷天天干| 91一起操| 婷婷五月综合基地| 亚洲激情视频在线观看| 久久99成人性爱高清视频| 99热主页日本| 99热8在线| 91色色色| 五月婷婷六月开心| 99色这里| 五月激情综合性爱| 精品一二三区久久AAA片| 日韩综合久| 色色色.com| AV在线观看网站| 91狼友视频在线观看| 亚洲天堂久久| 99无码黄色视频| 亚洲色色爱| 极品色丁香| 色婷婷成人色网| 成年人丁香五月| 综合色播| 99精品在| 六月丁香花婷婷| 久久大香免费| 亚洲精品第一色色色色色色| 久久女婷| 五月色丁香| 激情综合网亚洲色图| 久久五月婷| 麻豆精品| 天久综合91综合首页| 婷婷九月| 91精品久久久久久久久| WWW.99热| 99爱免费在线观看| 婷婷的99视频网站| 色九综合| 午夜AV网| 中文字幕丰满孑伦无码专区| 国产精品电影| 欧美在线97| 婷五月天| 丁香五月婷婷图片综合| 99色色网| 91热久久| 久久婷婷五月天激情| 深爱激情网五月天| 26uuuu精品一区二区| 狠狠色婷婷在线| 激情六月丁香| 久一网站| 成人在线观看一区| 日本97人人| 婷婷丁香18| 国产真人做爰视频免费| 91色婷婷综合久久中文字幕二区| 91色综合| 站长推荐无码播放| 99无码精品| 亚洲日日日| 婷婷丁香五月综合激情小说| 色色色.com| 丁香五月婷婷丫| 夜夜躁狠狠| 色色综合无码| 色优久久| 激情五月丁香五月| 97狠狠色| 成人版视频在线观看| 91啪啪网| 日韩另类在线观看| 99亚洲精品视频| 99免费在线视频| 免费成人网在线观看| 色婷婷综合在线| 五月丁香偷拍| 综合网狠狠| 免费AV在线网址| 五月丁香婷婷啪啪网| 丁香色影院| 97婷婷丁香五月天激情图片| 免费成片在线观看| 丁香五月天婷婷91| 亚洲无aV在线中文字幕 | 激情五月婷在线精品| 日日日影院| www色中色综合| 欧美激情五月| 五月深爱激情网| 99精品福利视频| 思思热在线精品视频| 丁香五月天视频| 99色综合| 国产免费AV网站| 婷婷五月丁香基地| 五月综合激情网| 在线日韩视频| 免费无码毛片一区二区A片| 99久久九九视频| 91狼友视频在线观看| 丁香五月婷婷www..com| 九9九9无码| 婷婷午夜精品久久久| 久热9| 天天天操天天天爰| 色青青视频| 激情五婷网| 五月天激情小说网| 99在线观看| 99热综合| 狠狠ri| 狠干综合| WWW.99热| 婷婷色播六月无码| 九九无码视屏| EEUSS鲁片一区二区三区| 丁香六月婷婷开心| 婷婷六月色| 级人人91| 2016日日夜夜操| 四色永久成人网站| www.色婷婷。com| 国产成人+亚洲+欧洲| 另类 在线| www.婷婷五月天| 影音先锋自拍网| 伊人综合婷婷| 激情五月综合色| 婷婷激情丁五月| 99这里有精品| 综合久久99| 婷婷香蕉精品| 五月天伊人久久久久| 这里只有精品视频222| 99秘 在线| 六月丁香啪啪啪| 五月天成人综合| 久久99久久99久久99| 97色女人在线| 婷久看人爽| 欧美25p| 99热这里只有精品青草| 亚洲综合网在线| cao久久| 五月婷婷中字在线| 精品人妻久久久久| 99热亚洲精品| 亚洲综合色婷婷文学| 国产免费AV网站| 欧美综合五月丁香六月婷| 大香线蕉伊人| 成人精品视频99在线观看免费| txt五月激情四射网综合俺也来了| 97干在线视频| 亚洲综合婷婷六月丁香五月| 亚洲不卡| 亚洲AV影片在线观看| 色v综合网| 成年人99热| 色啪影院| 五月婷狠狠| 99re熱| 久久人妻乱| 最近中文字幕大全免费版在线| 五月婷婷九九久久| 欧美美女国产日韩一区二区久| 九九無妻| 97碰碰碰免费公开在线视频| 色五月偷偷| 另类小说五月天综合网| 久久xxxx| 丁香婷婷综合色五月激情国产基地| 亚洲人妻AV| 人人草人| 日本欧美成人片AAAA| 久久婷婷五月综合激情国产| 五月婷婷六月激情网| 综合久久婷婷| xxxx五月天色色| 干婷婷五月天| 中文字幕综合网| cao视频,现在观看| 日韩成人网站精品久久大全| 天天搞天天色综合| 丁香五月停停av| 激情99热| 五月停亭六月,六月停亭的英语| 潮汕成人AV片在线| 激情5月婷婷狠狠干| 粉嫩av蜜桃av蜜臀av| 9999热在线| www.五月激情.com| 欧美一级色| 99久久五月天| 丁香婷婷色五月天| 激情久久久| 97干欧美| 激情五月天影院| 五月花在线观看视频| 亚洲成av人影院| 99视频内射三四| 欧美大道不卡| 午夜激情久久| WWW.开心五月天.COM| 日本久久99| 色色色色综合网| 五月天桃色深爱网| 丁香五月性爱| 国产Va视频| 激情五月婷婷开心网| 人人干99| 99噜噜噜在线播放| 超碰激情五月| 国产婷婷五月中文字幕高清| 婷婷色影院| 亚洲人妻av伦理| 丁香婷婷激情综合五月激情 | www激情| 亚洲中文字幕AV在线| 日韩狠狠色婷婷| 色五月av| 九月丁香婷婷| 4399成人黄A片| 亚洲婷婷丁香| 激情99| 九月大香蕉| 天天激情| 丁J香六月首页| 欧美婷婷五月| 日韩人妻白浆视频系列| 五月丁香婷婷激情在线| 蜜桃人妻无码AV天堂三区| 99热这里只有精品26| 97av在线视频| 五月婷久久| 五月天天天色| 久久久久这里都是精品| 九九99精品视频在线观看| 人妻人人操| 成片免费观看视频大全| 丁香五月婷婷啪啪啪| 色情综合| 久久精彩综合视频| 99热8| 激情五月黄色小说| 丁香五月天啪啪| 九九九九九无码| 欧美日韩中文国产一区发布| 九九热在视频| 熟女少妇内射日韩亚洲| 久久综合色五月| 色青青视频| 变态 另类 在线| 婷婷六月色情| 99热热热天天人人人超超碰| 婷婷丁香综合成人| 亚洲电影中文字幕| www.婷婷五月| 色九九综合热99| 久久免费操| 久久九色| 欧美日韩99| 伊人日日干| 99视频热99| 五月天婷婷在线AN| 色播五月综合网| 久久九九爽| 狠狠艹狠狠艹| 丁香五月花| 激情性五月天免费小说视频 | 日日噜狠狠色综合久久| ai97re99一本| 欧美黄色韩日网| 91九色丨国产丨爆乳| 99亚洲精品视频| 色五月久久成人婷婷| 久久激丁香| 成年人丁香五月| 成人AV在线网站| 嫩草AV久久伊人妇女超级A | 99思思热只有在这里看| 99热一本久道| 激情综合区| 这里只有精品,日韩视频| 婷婷五月色播天| 十一月婷婷激情四射| 色五月91| 少妇性BBB搡BBB爽爽爽视頻 | 亚洲综合999| 婷婷色五月天在线观看| 色婷婷伦理| 99热www| 久久精品4| 欧美婷婷五月激情| 激情色情五月天| 五月丁香婷婷基地| 成人婷婷桔色| Av在线不卡一区| 五月天激情图片| 欧美色六月婷婷| 成人人操| 五月激情小说| 激情小说之五月| 日本97在线视频| 狠狠干,狠狠操| 激情综合网五月激情| 色婷五月| 男人大jjc女人免费视频| 99色在线观看视频| 老司机午夜福利视频金瓶梅| 国产99久9在线+|+传媒| 九九操操| 五月丁香婷婷伊人| 情色婷婷五月天| 69超碰在线| 久久久久网站| 五月天婷婷网站| 99视频久久久| 国自产拍偷拍精品啪啪一区二区| 五月丁香婷婷综合视频| 噜噜色五月| 超碰人人操人人9| 操人无码| 久久天天| 3p日韩网站视频| 国产色网站| 高清资源站日A美A欧亚…| 91人操| 免费试看小视频 99| 色五月天丁香婷婷| 91男同视频| 色噜噜综合网| 99免费视频网| 激情深爱婷婷网| 99re免费在线视频| 4399啪啪视频| 91操碰| 丁香五月婷中字幕| 色9色| 日韩精品999| 日逼影音先锋男人资源站| 色五月丁香婷婷| 欧美色色色色色| 婷婷丁香一月| 亚洲精品国产成人AV在线| 丁香五月天日韩无码| 91综合在线| 丁香九月综合| 五月天婷婷丁香社区| 久热这里这里有精品| 黄色片精品| 男人的天堂av俄罗斯热| 色99色| 99热这里只有精品1025| 人人舔人人| 激情综合网激情五月网| 在线婷婷| www.99热这里精品| 丁香五月天大香蕉啪啪| 婷婷在线精品| 大香蕉九操| 五月亭亭狠狠| www,五月天激情| 五月天婷婷色色| 丁香久色| 五月天激情网开心网| 婷婷开心激情| 99在线视频播放|