欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

質(zhì)量保障不靠運(yùn)氣:Impeccable項(xiàng)目構(gòu)建可控交付鏈路

質(zhì)量保障不靠運(yùn)氣:Impeccable項(xiàng)目構(gòu)建可控交付鏈路 Impeccable 是我在團(tuán)隊(duì)內(nèi)部發(fā)起的一個(gè)質(zhì)量改進(jìn)項(xiàng)目的代號(hào)中文直譯過來就是“無可挑剔”。當(dāng)初起這個(gè)名字的時(shí)候我就知道它早晚會(huì)被現(xiàn)實(shí)打臉——因?yàn)闆]有任何系統(tǒng)可以做到真正意義上的零缺陷但這并不妨礙我們把它當(dāng)成一個(gè)方向去逼近。這個(gè)項(xiàng)目要解決的問題也很樸素怎么讓每一次代碼提交、每一次發(fā)布都不再靠個(gè)別同事的責(zé)任心和運(yùn)氣而是靠一套機(jī)制穩(wěn)穩(wěn)托住。如果你正被線上事故反復(fù)折騰或者被“測(cè)試環(huán)境好好的一上生產(chǎn)就翻車”的魔咒困擾又或者只是想讓自己的交付結(jié)果更靠譜一點(diǎn)那這篇文章應(yīng)該能給你一些參考。我會(huì)把 Impeccable 從立項(xiàng)到落地、從原則到細(xì)節(jié)的過程都拆開講包括我們踩過的坑、改過的配置、以及那些看起來很小但實(shí)際很致命的檢查項(xiàng)。1. 為什么要把“無可挑剔”當(dāng)成一個(gè)項(xiàng)目來做1.1 質(zhì)量問題不該靠某幾個(gè)人的責(zé)任心撐住我見過太多團(tuán)隊(duì)把質(zhì)量掛在嘴上但實(shí)際行動(dòng)全靠“這次發(fā)布大家小心一點(diǎn)”。小心是什么是沒有任何標(biāo)準(zhǔn)的口頭約定。代碼寫得快的人會(huì)少做測(cè)試資歷深的工程師會(huì)偷偷繞過規(guī)范新來的同學(xué)根本不知道哪些環(huán)節(jié)是必須的——最后的結(jié)果就是線上三天兩頭出問題運(yùn)維和測(cè)試背鍋研發(fā)覺得自己很冤。Impeccable 最初的導(dǎo)火索是一次很小的數(shù)據(jù)修復(fù)腳本。腳本語法沒問題邏輯也正確但因?yàn)檠h(huán)里少了一個(gè)限速參數(shù)上線后直接把數(shù)據(jù)庫(kù)連接池打滿了?;貪L花了十五分鐘但數(shù)據(jù)庫(kù)恢復(fù)用了快兩個(gè)小時(shí)。復(fù)盤的時(shí)候大家發(fā)現(xiàn)我們的發(fā)布檢查單里根本沒有“性能影響”這一項(xiàng)也沒有任何機(jī)制阻止這種腳本直接部署到生產(chǎn)環(huán)境。那次之后我就想明白一件事質(zhì)量問題從來不是測(cè)試一個(gè)環(huán)節(jié)的問題而是從單人提交到最終上線這一整條鏈路的問題。如果不把這條鏈路里的關(guān)鍵節(jié)點(diǎn)都變成可檢查、可執(zhí)行、可追責(zé)的規(guī)則那質(zhì)量就只是一個(gè)漂亮的形容詞不是工程結(jié)果。1.2 項(xiàng)目整體拆成四條主線Impeccable 的計(jì)劃沒有上來就買工具、上平臺(tái)而是先把問題分層。我們把自己能控制的環(huán)節(jié)拆成四條主線規(guī)范線、工具線、流程線、文化線。規(guī)范線負(fù)責(zé)統(tǒng)一標(biāo)準(zhǔn)比如編碼風(fēng)格、提交信息格式、接口設(shè)計(jì)約定、數(shù)據(jù)庫(kù)變更規(guī)范。工具線負(fù)責(zé)用程序去強(qiáng)制這些標(biāo)準(zhǔn)比如 lint、單元測(cè)試、依賴掃描、CI 門禁。流程線負(fù)責(zé)人在協(xié)作過程中的動(dòng)作比如合并請(qǐng)求模板、發(fā)布檢查單、灰度發(fā)布規(guī)則。文化線則負(fù)責(zé)讓這些規(guī)則被真正接受而不是被當(dāng)成形式主義。很多團(tuán)隊(duì)一上來就搞平臺(tái)搞流水線但標(biāo)準(zhǔn)都沒定清楚工具只是把一個(gè)混亂的過程自動(dòng)化了結(jié)果只是更快地制造混亂。Impeccable 的先后順序是先定標(biāo)準(zhǔn)再做自動(dòng)化再設(shè)流程最后用文化去消化大家的情緒。這個(gè)順序很重要如果倒過來團(tuán)隊(duì)只會(huì)感到被工具和流程綁架。2. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)2.1 把“開發(fā)完成”重新定義一遍Impeccable 做的第一件具體事情是重新定義什么叫“完成”。以前團(tuán)隊(duì)里說“這個(gè)功能寫完了”意思往往是“代碼已經(jīng)提交了”但它在本地能不能跑、有沒有測(cè)試、有沒有文檔、會(huì)不會(huì)拖垮性能一概沒人回答。于是我們落地了一份 Definition of Done也就是完成標(biāo)準(zhǔn)清單每個(gè)人必須逐項(xiàng)確認(rèn)后才能把合并請(qǐng)求標(biāo)記為可評(píng)審。清單不算復(fù)雜核心項(xiàng)包括功能實(shí)現(xiàn)且自測(cè)通過、編寫或更新單元測(cè)試、更新接口文檔或使用說明、評(píng)估性能與安全性、確認(rèn)回滾方案、核對(duì)數(shù)據(jù)庫(kù)變更兼容舊數(shù)據(jù)。對(duì)于緊急修復(fù)可以走簡(jiǎn)化版但至少也要包含自測(cè)、回滾和監(jiān)控告警這三項(xiàng)。落地的時(shí)候我們給每條標(biāo)準(zhǔn)都配上例子避免出現(xiàn)“我說的自測(cè)和你理解的自測(cè)不是一回事”的扯皮情況。在執(zhí)行方式上我們沒有采用不勾完就鎖 merge 的硬方式因?yàn)槟菚?huì)讓團(tuán)隊(duì)為了通過而隨便勾選。我們選擇的是讓評(píng)審人承擔(dān)責(zé)任如果代碼合并后出問題評(píng)審人要和作者一起復(fù)盤。這個(gè)設(shè)計(jì)是想告訴大家完成標(biāo)準(zhǔn)不是給系統(tǒng)看的是給團(tuán)隊(duì)里的真人看的。實(shí)際跑了兩周之后明顯感覺到大家提交代碼前會(huì)多想一步因?yàn)檎l都不想在被問到“你在自測(cè)時(shí)到底測(cè)了什么”的時(shí)候無話可說。2.2 自動(dòng)化檢查怎么設(shè)置才不惹人煩完成標(biāo)準(zhǔn)定完之后第二步是把它落到自動(dòng)化檢查里。這部分的坑非常多。一開始我們天真地想把所有規(guī)范都塞進(jìn) pre-commit結(jié)果開發(fā)者每次提交都要等三分鐘各種風(fēng)格檢查還經(jīng)常報(bào)一些“對(duì)齊空格”之類的低價(jià)值錯(cuò)誤大家的逆反情緒一下就上來了。后來我們調(diào)整了策略本地只做最輕量、最相關(guān)的檢查比如格式化和基礎(chǔ)的靜態(tài)檢查把單元測(cè)試、構(gòu)建、依賴掃描、甚至性能回歸放到 CI 里執(zhí)行。本地檢查追求的是快不能超過十秒CI 檢查追求的是全面可以多跑一點(diǎn)。這樣才能讓開發(fā)者在寫代碼階段就得到反饋又不會(huì)被無關(guān)緊要的問題打斷心流。一個(gè)很關(guān)鍵的小技巧是自動(dòng)化規(guī)則要按“信號(hào)強(qiáng)度”分級(jí)。信號(hào)最強(qiáng)的檢查是“能不能編譯、能不能跑、測(cè)試通不通”這些必須阻塞合并。中等信號(hào)的是“代碼風(fēng)格、命名規(guī)范、重復(fù)代碼”可以預(yù)警但不強(qiáng)制。弱信號(hào)的是“代碼覆蓋率低于閾值、某個(gè)文件行數(shù)太長(zhǎng)”這些只做統(tǒng)計(jì)和趨勢(shì)跟蹤不阻塞任何流程。不要把強(qiáng)弱信號(hào)混在同一個(gè)門禁里否則團(tuán)隊(duì)會(huì)被弱信號(hào)煩死強(qiáng)信號(hào)反而被忽略。2.3 發(fā)布檢查單與灰度發(fā)布怎么設(shè)計(jì)才不擺設(shè)代碼合并只是中點(diǎn)上線才是真正的終點(diǎn)。Impeccable 的第二大塊工作是把發(fā)布過程變成可勾選、可驗(yàn)證的清單式操作。我們的發(fā)布檢查單不再是一張沒人看的 Excel而是根據(jù)變更類型自動(dòng)生成的一組問題提交發(fā)布單的人必須逐一確認(rèn)。普通功能變更的檢查單里包含代碼是否已合并到主分支、測(cè)試是否通過、是否需要執(zhí)行數(shù)據(jù)遷移、配置項(xiàng)是否經(jīng)過評(píng)審、發(fā)布后需要觀察哪些監(jiān)控指標(biāo)、回滾步驟是什么。涉及數(shù)據(jù)變更的發(fā)布還會(huì)額外要求提供導(dǎo)入導(dǎo)出驗(yàn)證腳本和備份確認(rèn)。每一條都要求填寫真實(shí)信息不允許只寫“是”或“確認(rèn)”必須寫清楚“在哪個(gè)環(huán)境驗(yàn)證過”“影響范圍是什么”?;叶劝l(fā)布方面我們制定的規(guī)則是分批放量不能用天數(shù)的線性時(shí)間去替代業(yè)務(wù)指標(biāo)的驗(yàn)證。我們通常的配置是第一批放 1 個(gè)實(shí)例或 5% 流量觀察十五分鐘錯(cuò)誤率第二批放 30%觀察十到二十分鐘第三批放 100%。每一批放量前都要求錯(cuò)誤率低于網(wǎng)關(guān)基準(zhǔn)值的 1.5 倍并且業(yè)務(wù)核心路徑響應(yīng)時(shí)間沒有明顯上升。如果超過閾值系統(tǒng)會(huì)自動(dòng)觸發(fā)回滾不需要值班同學(xué)糾結(jié)“再等一下會(huì)不會(huì)好”。3. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)3.1 從一次線上故障到項(xiàng)目立項(xiàng)的全過程還是繼續(xù)說那次數(shù)據(jù)修復(fù)腳本的事故。當(dāng)時(shí)的值班記錄現(xiàn)在回頭來看特別有意思問題一共分四層。第一層是業(yè)務(wù)異常用戶看到下單失敗第二層是系統(tǒng)告警數(shù)據(jù)庫(kù)連接池滿第三層是根因定位發(fā)現(xiàn)是腳本循環(huán)執(zhí)行了全量更新第四層是流程缺失發(fā)布平臺(tái)沒有任何提示說“這個(gè)操作會(huì)大規(guī)模更新線上數(shù)據(jù)”。復(fù)盤會(huì)開到一半就有人在問為什么這種代碼能上線因?yàn)闆]有性能評(píng)估環(huán)節(jié)。為什么沒有性能評(píng)估環(huán)節(jié)因?yàn)闆]有標(biāo)準(zhǔn)要求。為什么沒有標(biāo)準(zhǔn)因?yàn)榇蠹叶寄J(rèn)“腳本很小不會(huì)出事”。聽完這個(gè)因果鏈我覺得問題并不在于某個(gè)人而在于團(tuán)隊(duì)沒有一個(gè)項(xiàng)目級(jí)的兜底機(jī)制。于是當(dāng)周就在內(nèi)部立項(xiàng)代號(hào) Impeccable目標(biāo)從“降事故”擴(kuò)成了“讓交付鏈條的每個(gè)環(huán)節(jié)都有審查節(jié)點(diǎn)”。團(tuán)隊(duì)一開始只有三個(gè)人在做這件事一個(gè)后端、一個(gè)測(cè)試、一個(gè) DevOps我作為負(fù)責(zé)人。我們給自己定了兩條原則第一不搞重流程能自動(dòng)化堅(jiān)決不手填第二不追求一步到位先覆蓋最痛的發(fā)布事故場(chǎng)景再逐步往代碼提交階段延伸。3.2 落地第一套 Definition of Done 模板第一周的產(chǎn)出是一份名為 definition-of-done.md 的文件放在每個(gè)代碼倉(cāng)庫(kù)的根目錄下。你可能覺得這就是個(gè)文檔沒什么技術(shù)含量但實(shí)際操作的時(shí)候細(xì)節(jié)點(diǎn)比想象中多。比如我們規(guī)定“編寫或更新單元測(cè)試”這條不只要求有測(cè)試文件還要求在 CI 上能看到新增測(cè)試用例的執(zhí)行記錄再比如“確認(rèn)回滾方案”這條要求寫出具體是回滾代碼、回滾數(shù)據(jù)還是回滾配置不能只寫“按標(biāo)準(zhǔn)流程”。這份模板后來還按變更類型做了分區(qū)。普通功能有基礎(chǔ)區(qū)涉及數(shù)據(jù)遷移或第三方接口的變更會(huì)增加對(duì)應(yīng)區(qū)塊。為了不讓模板變得冗長(zhǎng)我們規(guī)定每條標(biāo)準(zhǔn)最多十個(gè)字到二十個(gè)字詳細(xì)說明統(tǒng)一放在 wiki 里。合并請(qǐng)求的描述模板也會(huì)自動(dòng)載入這些區(qū)塊開發(fā)者直接在描述里勾選即可不需要額外打開文檔。我們給合并請(qǐng)求模板加了一行注釋“如果無法勾選某一條不要硬勾把原因?qū)懙皆擁?xiàng)后面?!边@個(gè)設(shè)計(jì)很重要因?yàn)橛行└唢L(fēng)險(xiǎn)變更確實(shí)做不到完整自測(cè)比如無法在本地模擬真實(shí)第三方回調(diào)。允許寫例外反而讓真正卡住的阻塞項(xiàng)浮出水面比一團(tuán)和氣地全勾上更有價(jià)值。3.3 接入第一層自動(dòng)化門禁的完整配置第二周我們把完成標(biāo)準(zhǔn)中能自動(dòng)化的部分接進(jìn)了 CI。這里用 GitLab CI 舉例GitHub Actions 也類似。我們的核心思路是把檢查拆成多個(gè)并行任務(wù)并且讓部署任務(wù)只依賴必須通過的任務(wù)避免某一項(xiàng)檢查掛掉之后整條流水線被連帶卡住。stages: - verify - build - deploy verify:lint: stage: verify image: registry.example.com/lint-image:latest script: - npm run lint rules: - if: $CI_PIPELINE_SOURCE ! merge_request_event when: never - when: always verify:unit-test: stage: verify image: registry.example.com/node:20 script: - npm ci - npm run test:unit coverage: /All files[^|]*\|[^|]*\s([\d.])%/ artifacts: when: always reports: junit: junit.xml verify:security: stage: verify image: registry.example.com/security-scanner:latest script: - npm audit --audit-levelhigh allow_failure: false build:image: stage: build script: - docker build -t $CI_REGISTRY_IMAGE:$CI_COMMIT_SHA . only: - main needs: - verify:lint - verify:unit-test - verify:security deploy:production: stage: deploy script: - ./deploy.sh production $CI_COMMIT_SHA environment: production only: - main when: manual needs: - build:image這套配置里有一個(gè)容易被忽略的地方單元測(cè)試的coverage正則捕獲覆蓋率數(shù)值是為了讓 MR 頁(yè)面可以直觀看到增量覆蓋率和總覆蓋率趨勢(shì)安全掃描audit --audit-levelhigh是阻塞級(jí)別可以直接攔截高風(fēng)險(xiǎn)依賴依賴部署任務(wù)是手動(dòng)觸發(fā)不給自動(dòng)流水線直接上生產(chǎn)的權(quán)限。這樣既做到了自動(dòng)化又把最需要人判斷的一步留給操作者。接入后第一個(gè)月的效果是MR 被阻塞的比率大約在 18%其中 70% 是單元測(cè)試掛掉20% 是安全掃描發(fā)現(xiàn)問題10% 是 lint。而我們最擔(dān)心的“developers 什么都不看就點(diǎn)合并”并沒有出現(xiàn)因?yàn)椴噬艿涝?MR 頁(yè)面上太顯眼了誰都不想和紅叉作伴。3.4 灰度發(fā)布規(guī)則的真實(shí)配置與參數(shù)計(jì)算第三周我們把灰度發(fā)布規(guī)則從口頭約定變成了平臺(tái)配置。因?yàn)橛行﹫F(tuán)隊(duì)沒有現(xiàn)成的灰度發(fā)布系統(tǒng)這里給出一個(gè)可以在部署腳本里實(shí)現(xiàn)的判斷邏輯示意用來解釋我們當(dāng)時(shí)參數(shù)是怎么算出來的。#!/usr/bin/env bash # 灰度發(fā)布判斷腳本根據(jù)當(dāng)前實(shí)例數(shù)和錯(cuò)誤率自動(dòng)決定放量比例 TOTAL_INSTANCES20 BATCH_11 # 第一批 1 個(gè)實(shí)例約 5% 流量 BATCH_26 # 第二批再加 5 個(gè)實(shí)例累計(jì) 30% 流量 BATCH_320 # 第三批全量 if [ $CURRENT_INSTANCES -lt $BATCH_1 ]; then echo 啟動(dòng)第一批灰度1 個(gè)實(shí)例 elif [ $CURRENT_INSTANCES -lt $BATCH_2 ]; then echo 待錯(cuò)誤率低于閾值后放量到 6 個(gè)實(shí)例 elif [ $CURRENT_INSTANCES -lt $BATCH_3 ]; then echo 待錯(cuò)誤率低于閾值后放量到 20 個(gè)實(shí)例 fi參數(shù)計(jì)算的核心不是“拍腦袋定百分比”而是先定義可回滾范圍。比如服務(wù)總共 20 個(gè)實(shí)例第一批只放 1 個(gè)即使這批全掛也只影響 5% 用戶第二批放到 6 個(gè)累計(jì)影響 30%第三批全量。放量間隔不是固定十五分鐘而是必須滿足“連續(xù)觀察窗口內(nèi)錯(cuò)誤率低于基準(zhǔn)的 1.5 倍且 P95 延遲低于基準(zhǔn)的 1.2 倍”。如果系統(tǒng)自動(dòng)檢測(cè)到錯(cuò)誤率飆高腳本會(huì)執(zhí)行回滾把實(shí)例數(shù)恢復(fù)到上一批并向值班群發(fā)送告警。這套手動(dòng)腳本看起來簡(jiǎn)單實(shí)際執(zhí)行時(shí)最大的價(jià)值是把決策規(guī)則寫在代碼里。以前灰度放量完全靠發(fā)版同學(xué)的感覺感覺快就快點(diǎn)感覺不對(duì)就?!,F(xiàn)在腳本會(huì)明確告訴你當(dāng)前應(yīng)該處于哪個(gè)批次閾值是多少回滾動(dòng)作是什么人和機(jī)器都清楚。4. 常見問題與排查技巧實(shí)錄4.1 自動(dòng)檢查被繞過怎么辦我們剛接入自動(dòng)門禁的時(shí)候遇到一個(gè)非常真實(shí)的場(chǎng)景開發(fā)者在本地把 pre-commit 跳過或者 CI 里故意把a(bǔ)llow_failure: true。原因無外乎覺得自己改動(dòng)很小沒必要跑完整檢查。第一次發(fā)現(xiàn)這種事我們沒有立刻處罰人而是先看是不是流程設(shè)計(jì)有問題。排查后發(fā)現(xiàn)很多人并不是想偷懶而是本地檢查確實(shí)太慢了而且報(bào)錯(cuò)信息不友好。于是我們把本地檢查精簡(jiǎn)到只剩格式化、類型檢查和最基礎(chǔ)的 smoke test同時(shí)把 CI 門禁設(shè)置為服務(wù)端強(qiáng)制。關(guān)鍵點(diǎn)是任何自動(dòng)化檢查都不能只依賴開發(fā)者本地執(zhí)行本地是可選的、快速的服務(wù)端才是必須的。只要在 MR 目標(biāo)分支上強(qiáng)制設(shè)置管道必須通過再有權(quán)限規(guī)則禁止跳過就能從機(jī)制上堵住主動(dòng)繞過的口子。如果發(fā)現(xiàn)有人通過修改 pipeline 配置來繞過那就不是流程問題而是文化問題了。我們的處理原則是公開復(fù)盤代碼不點(diǎn)名批評(píng)但要把繞過的動(dòng)作當(dāng)成事故對(duì)待。做過一兩次之后大家就明白“不要和機(jī)制作對(duì)”這個(gè)道理了。4.2 完成標(biāo)準(zhǔn)被當(dāng)成形式主義怎么辦這是最隱蔽的問題。上線兩周后我開始在 MR 里看到“全部完成標(biāo)準(zhǔn)已確認(rèn)”的勾選但代碼評(píng)審時(shí)明顯感覺作者根本沒有理解需求。為什么因?yàn)橥瓿蓸?biāo)準(zhǔn)一旦變成“只有勾選才能合并”它就會(huì)變成一種門檻而門檻會(huì)激發(fā)人的簡(jiǎn)化心理——只要不被系統(tǒng)攔下來就好。我們的調(diào)整是讓評(píng)審人不再只看勾選狀態(tài)而要追問證據(jù)。比如“已自測(cè)通過”后面必須附上自測(cè)結(jié)果截圖或日志片段“已評(píng)估性能影響”后面必須寫清楚用的是 QPS 還是響應(yīng)時(shí)間指標(biāo)。我以身作則在評(píng)審高風(fēng)險(xiǎn)的 MR 時(shí)會(huì)先要求作者在評(píng)論里回答三個(gè)問題這次變更最可能導(dǎo)致什么異常如果這個(gè)異常發(fā)生了你會(huì)怎么發(fā)現(xiàn)如果發(fā)現(xiàn)了你會(huì)怎么回滾這三個(gè)問題比任何完成標(biāo)準(zhǔn)都能逼出真實(shí)思考。團(tuán)隊(duì)也一度有人覺得這樣評(píng)審太慢。但我的經(jīng)驗(yàn)是風(fēng)險(xiǎn)高的代碼花二十分鐘問清楚比上線后整個(gè)團(tuán)隊(duì)花兩個(gè)多小時(shí)排查要?jiǎng)澦愕枚?。而且這種追問幾次之后作者自己就會(huì)提前準(zhǔn)備評(píng)審速度反而會(huì)快起來。4.3 發(fā)布檢查單漏項(xiàng)和誤報(bào)的排查發(fā)布檢查單一開始很容易變成兩極端要么太長(zhǎng)沒人仔細(xì)看要么太簡(jiǎn)單形同虛設(shè)。我們第一次跑正式發(fā)布生產(chǎn)前檢查單有 27 項(xiàng)很多人填到后面已經(jīng)不看題目了直接一路打勾結(jié)果漏掉了最關(guān)鍵的“數(shù)據(jù)庫(kù)備份恢復(fù)驗(yàn)證”。后來我們把檢查單改成智能路由按變更類型展示對(duì)應(yīng)條目。代碼發(fā)布只顯示 8 項(xiàng)常規(guī)檢查涉及數(shù)據(jù)庫(kù)變更再多顯示 5 項(xiàng)涉及第三方接口調(diào)用再顯示 3 項(xiàng)。每項(xiàng)還加了一個(gè)“自動(dòng)預(yù)填充”入口比如合并請(qǐng)求中已有的測(cè)試狀態(tài)和 lint 結(jié)果可以直接帶出來不需要人工手填。真正需要人判斷的只剩三五項(xiàng)漏項(xiàng)就少很多。還有一個(gè)經(jīng)驗(yàn)誤報(bào)比漏報(bào)的破壞力更大。如果檢查單里經(jīng)常出現(xiàn)“配置項(xiàng) A 未變更已確認(rèn)”這種永遠(yuǎn)都是默認(rèn)值的項(xiàng)它會(huì)拉低整個(gè)清單的可信度。我們養(yǎng)成了每個(gè)季度做一次檢查單瘦身的習(xí)慣把連續(xù)三個(gè)月命中率低于 10% 的項(xiàng)刪掉或者用監(jiān)控替代人工確認(rèn)。4.4 灰度環(huán)境看不出問題的現(xiàn)象與對(duì)策灰度發(fā)布最容易踩的坑是“灰度環(huán)境什么問題都測(cè)不出來”。我們的第一版灰度是基于測(cè)試環(huán)境集群做的但測(cè)試環(huán)境和生產(chǎn)環(huán)境的流量模型、數(shù)據(jù)量、緩存命中率都不一樣就算灰度集群掛掉也模擬不出真實(shí)用戶的組合場(chǎng)景。第一次灰度新版本時(shí)測(cè)試環(huán)境一切正常生產(chǎn)環(huán)境第一批流量進(jìn)去 P99 就直接漲了三倍。排查下來主要是兩個(gè)原因一是灰度流量沒有做染色無法精確識(shí)別請(qǐng)求來自灰度集群二是監(jiān)控重點(diǎn)放在了 CPU 和內(nèi)存上沒有盯事務(wù)響應(yīng)時(shí)間和錯(cuò)誤率。后來的對(duì)策是把監(jiān)控升級(jí)為“技術(shù)指標(biāo) 業(yè)務(wù)指標(biāo)”雙層結(jié)構(gòu)。技術(shù)指標(biāo)看錯(cuò)誤率、P95 延遲、線程池占用業(yè)務(wù)指標(biāo)看訂單成功率、支付回調(diào)延遲、核心接口的調(diào)用量。只有兩類指標(biāo)都正常才能繼續(xù)放量。我們還在灰度網(wǎng)關(guān)里加了流量染色標(biāo)記把灰度請(qǐng)求的 header 透?jìng)鞯饺罩局行?。這樣出現(xiàn)問題的時(shí)候能快速判斷是灰度版本的責(zé)任還是外部依賴抖動(dòng)造成的。這個(gè)改動(dòng)帶來的收益非常直接以前灰度失敗要爭(zhēng)論半天現(xiàn)在已經(jīng)形成標(biāo)準(zhǔn)結(jié)論“看染色日志先比指標(biāo)再定責(zé)”。5. 如果現(xiàn)在重新開始我會(huì)更早做這幾件事Impeccable 走到今天已經(jīng)不再只是一個(gè)代號(hào)它變成了一套團(tuán)隊(duì)內(nèi)默認(rèn)的質(zhì)量語言。如果現(xiàn)在重新開始我會(huì)把三件事排得再靠前一點(diǎn)。第一件事先挑一個(gè)“最痛的線上事故”做全套復(fù)盤然后把對(duì)應(yīng)的檢查項(xiàng)做成門禁。不要試圖一開始覆蓋所有場(chǎng)景找到一個(gè)最近真實(shí)傷害過團(tuán)隊(duì)的坑把它堵上團(tuán)隊(duì)才會(huì)真的信這套機(jī)制。第二件事把完成標(biāo)準(zhǔn)里最容易被模糊化的部分寫得更具體。不要寫“代碼質(zhì)量好”要寫“核心路徑有測(cè)試覆蓋且評(píng)審人可以運(yùn)行測(cè)試看到覆蓋結(jié)果”。第三件事把自動(dòng)化檢查的反饋速度做快寧可少一個(gè)檢查項(xiàng)也要保證合并請(qǐng)求看到結(jié)果的時(shí)間不超過五分鐘。檢查節(jié)奏太慢人會(huì)等得不耐煩然后開始想辦法繞過。最后再分享一個(gè)我個(gè)人的體會(huì)項(xiàng)目叫 Impeccable但你要接受它永遠(yuǎn)不完美也不需要完美。這本身就是一個(gè)動(dòng)態(tài)的校準(zhǔn)過程每一次事故、每一次復(fù)盤、每一次規(guī)則優(yōu)化都是讓系統(tǒng)離理想狀態(tài)更近一步的嘗試。質(zhì)量和其他工程問題一樣不是一個(gè)終點(diǎn)而是一套持續(xù)運(yùn)轉(zhuǎn)的機(jī)制。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热免费| 激情人妻蜜夜系列区| 四色五月视频| 久久婷婷五月综合伊人| 日本久久爽| 婷婷综合亚洲| SS丁香五月婷婷| 丁香五月av| 亚洲热综合| 青青青在线视频国产| 影音先锋 一区| 色婷婷五月在线| 天堂婷婷丁香六月网| 久色网五月| www.99热视频| 日本少妇AA一级特黄大片| 79精品在线视频| 色婷婷成人| 99这里只有| 久久99国产综合精品免费 | 午夜丁香丁香婷婷| 九九99久久| 婷婷在线日韩综合| 狠狠五月激情在线| 9999久久久久| 噜噜噜噜噜日本视频| 天天射影院| 人妻丰满精品一区二区A片| 激情综合网址| 色五月婷婷五月| 激情五月婷婷| 九九热九九| 亚洲99热| 婷婷丁香五| 综合婷婷| 五月开心六月婷婷在线播放网站| 玖玖爱伊人| 五月丁香婷婷啪啪网| 婷婷99狠狠| 色激情综合狠狠婷婷| 99re热免费观看视频精品| 99热首页| 激情综合色| 综合网色| 久久五月天激情| 玖玖九九9999在线观看视频精品| 亚洲色在线观看| 久久aaaaa| 天天在线久久综合 | 欧美偷偷操| www.久久久久久久久久久| 色播五月综合网| 色五月天激情| www.99热国产| 深爱五月婷婷| 久操人妻| 九九在线热九九在线热99热| 五月激情网综合| 九九综舍久久| 丁香五月欧美午夜视频| 另类精品视频在线观看| 五月丁香啪啪啪| 天天综合永久| 操操操操操操婷婷五月天| 丁香狠狠| 久久这里只有精品07| www.久久爱| 五月丁香啪啪啪| 99热免| 九九中文色色| 丁香五月自拍| 九九热这里只有精品12| 欧美三级视频| 欧美丁香婷婷五月| 婷婷丁香五月天亚洲| 亚洲另类在线观看| 五月激情婷婷开心五月| 嫩草AV久久伊人妇女超级A| 91天天操天天干天天射| 麻豆123区| 综合色播| 色色色色色色色色综合网| 四季AV综合网| 激情综合五| 79色色色色| 亚洲天堂婷婷| 精品人妻一区二区| 国产AV熟妇人震精品一品二区| 婷婷,五月天,丁香,第一| 欧美成人在线观看| 女人天堂 AV| 久久久99婷婷久久久久久| 91狠狠色丁香婷婷综合久久精品| 丁香美女五月天婷婷| 成人短视频在线观看| 色吊丝99| 99超超碰| 99无码视频| 色亭亭五月天丁香综合AV - 百度 - 百度| 久久久精久人妻| 狠狠色噜噜色狠狠狠综合色| 久热只有精品| 婷婷深爱五月丁香| 丁香六月毛片| 色色色色色色色综合| 国产操碰| 国产午夜精品一区二区| 日韩啪啪网| 丁香婷婷影院| 欧州色色| 久久这里只| 人妻肉射免费观看| 26UUU成人网| av人人操| www99xxxx五月丁| 欧美叉叉叉BBB网站| 国产精产国品一二三在观看| www.97视频| 青青青在线视频国产| www.99久| 在线99热| www.五月天| 9久热| 国产黄色在线观看| 青青操成人福利| 色九九九综合| 全高清无码视頻| 人人舔天天| 爱草视频在线观看| 激情五月天无人视频在线| www.婷婷六月天| www...com黄在线观看| 色婷婷日本| 中文字幕在线免费观看视频| 免费黄网不卡AV| 大香蕉久久久久久久久| 丁香五月综合久久| 第四色婷婷日本| 精品无码99| 欧美在线97| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 五月婷婷亚洲天堂激情在线| xx人人xx| 变态 另类 在线| 色五月婷婷激情基地| 欧美超碰亚洲| 久久人妻爱爱| 五月香蕉综合| 9l视频自拍九色9l视频自拍九色9l社区| 亚洲操B| 九九热只有精品| 五月丁香成人| 五月婷婷激情中心| 丁香六月激情| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 精品久久艹| 六月婷婷色| 激情婷婷九月| 狠狠激情五月天| 国产亚洲99久久精品| 月丁香久久久| 99热99热不卡| 九九热最新| 亚洲熟妇AV综合网五月丁香伊人| 色综合区| 日本人妻伦在线中文字幕| 人妻中文在线| 久久婷婷色| 99啪在线| 青青草护士中出内射-欧美电影在线天堂新版| 欧美色婷婷| 亚洲操B视频| 人妻久久久久久久久久| 26uuu国产| ay2区| 超碰97干| 九九热在线视频| AV操一操| 五月丁香啪啪啪啪| 成人做爰A片免费看视频| 久久综合激情五月天| 亭亭玉立国色天香| 国产精品视频| 7EzOBIhNq85TO| 色色五月天婷婷| 亚洲色热| 五月色婷| 亚洲欧美婷婷五月色综合| 日韩成人电影在线播放| 色99网| 婷婷五月天小说| 色九月| 亚洲V国产V欧美V久久久久久| 五月丁香操亭亭网| 久久九九热视频| 思思久久99| 五月天色色色| 五月丁香啪啪| 激情丁香淫荡婷婷| 激情AV网| 久久视频这里有精品99| 日日噜噜夜夜狠狠久久丁香六月| 蜜乳人妻一区二区三区| 99热精品观看| 丁香狠狠色婷婷久久无码视频| 另类天堂| 91九色在线视频| 91青娱乐青青草| 牛牛澡牛牛爽| 91xxxx九色| 成人网站av免费网站推荐| 亭亭五月天黑人2014| 天天搡日日搡aaaaⅩ| 欧美日韩中文国产一区发布| 婷婷综合网性| 欧美日韩aaaa| 成人在线综合| 亚洲热视频| 婷婷社区五月天| 色狠狠五月天| 色色热99| 色五月综合网| 五月99久久| 六月丁香成人| aaa久久| 99九九久久| 五月婷视频| 天天操天天操天天操天天操天天操| 精品久热| 夜夜操天天爽| 久久综合婷婷| 99九九99九九九视频精品| 五月花婷婷| 99久精品视频| 高清无码网址| 久99视频在线观看| 久热综合| 91丨九色丨熟女|新版| 色久五月| 北京熟妇搡BBBB搡BBBB| 丁香六月婷月91婷月| 五月丁香五月综合欧美| 风流少妇A片一区二区蜜桃| 欧美操综合| 99热这里只有免费| 久久久久久久人妻| 五月丁香色| 五月天开心婷婷激情网站| 日本婷婷| 久久人妻超碰一区| 99久久婷婷国产综合精品草原| 五月天激情小说| 色色色热| 99热99热99热99热| 99久久户外勾搭| 国产成人精品123区免费视频| 综合图区激情| 日本色色视频| 婷婷五月在线视频| 丰满少妇猛烈A片免费看观看| 日韩久久视频| 五月婷婷丁香五月婷婷丁香| 影音先锋 萱萱| 亚洲天堂aaa| 大香蕉手机视频| 激情碰碰碰| 成人开心五月天| 综合激情网五月激情| 婷婷六月综合基地| 色五月丁香五月婷婷五月成人网| 欧美精品99久久久| 另类 在线| 深爱激情六月| 久久 婷婷 五月天| 五月婷婷说| 一本久道综合99| 蜜乳中文字| 最新高清无码专区| 欧美日韩AAA| 天天干-天天日| 国色天香伊人狠狠色| 婷综合| 黄色AAAA韩国guochansanji| 亚洲最大视频| 深夜男女福利刺激影院一区完整| 色婷婷久久| 激情第四色| 开心五月天激情| 超碰人人妻| 婷婷刺激综合| 99re26视频| www.九月婷婷丁香.com| 五月天婷久久| 狠狠色综合五月| 婷婷五月天成人在线视频| AA片在线观看视频在线播放| 天天日中文| 97五月久久丁香婷婷| 丁香六月婷婷综合激情欧美 | 五月天婷婷AV| wwwxxx五月婷婷小说| 久久激情网| 激情文学综合婷婷五月天丁香花| 欧美日韩成人在线网| 日韩成人中文字幕| 婷婷五月色播| 亚洲AV第二区国产精品| 噜噜噜噜噜久| 色色色色色色综合网| 在线中文字幕视频| 任我肏| 久草视频一,二三四| 久久久久9| 综合色色婷婷| 五月色婷| 深爱五月婷婷| 成人免费黄色短视频| 天天爽天天| JAPANRCEP老熟妇乱子伦视频 | 丁香五月伊人| 五月丁香网站| 开心五月婷婷激情| 五月丁香婷婷成人版| 综合在线色婷婷| 99精品免费视频| 激情碰碰碰| 9精品一区| 亚洲电影中文字幕| 婷婷五月天久久| 免看黄大片AA | 久久视频婷婷视频| 欧美日韩国产一区| 99视频热| 免费看欧美成人A片无码| 欧美精品A片一区在线观看| 大香蕉伊人久久| 婷婷成人AV| 色五月激情婷婷| 丁香丝袜五月| 97精品自拍| 91热视频色网站| 天天搡日日搡aaaaⅩ| 伊人玖玖精品| 色婷丨日丨天丨综合久久| 开心五月丁香综合久久| 大香蕉啪啪| 亚洲性受XXXX五月丁香| 婷婷五月色丁香在线看| 另类A片| 91久久18| 亚洲操逼网| 亚洲激情在线| 天天日天天日天天搞| 欧美美美女性色视频| 色亚洲欧洲| 色五月丁香五月| 五月婷婷熟女| 综合久久五| 涩五月婷婷| 五月婷婷大香蕉| 丁香五月香蕉| 极品少妇XXXX精品少妇偷拍| 视频久久9| 99综合激情久久精品久久| 婷婷情色五月| 97人妻碰碰中文无码久热丝袜| 天天色天天操天天射| 91九色最新视频| 天天干天天射综合网| 久久五月丁香伊人青草| 九九在线精点品| 久久久WWW| 99综合自拍| 97碰| 天天做天天爽| 五月婷婷丁香啪啪| 99热这里| 亚洲激情四谢| 亚洲激情五月婷婷日日| 九九热在线99| 天天摸,天天爽| www.91婷婷| 激情五婷网| 中文字幕综合| 热99这里只是精品| 天搞天天天天天| sS丁香五月婷婷| 综合网五月| 激情深爱五月天| 色婷综合| 无码婷婷五月天| 99热亚洲精品| 九色综合五月天婷五月| 五月丁香六月婷婷中合网| 色婷婷九月综合| 久色视频| www.99精品视频| 婷婷五月色网| 九九Av| 少妇高潮A片无套内谢麻豆传| 丰满少妇猛烈A片免费看观看| 久久丁香五月综合六月激情红杏视频| 五月综亚洲| 激情五月天小说网| 91啪啪网| 9这里只有精品| 五月天大香蕉| 色色亚洲99com| 婷婷丁香五月婷婷| 欧美日韩成人综合9| 蜜臀99久久精品久久久久| 91超级碰碰| av中文在线| 婷婷综合视频| 婷婷五月天视频亚洲| 玖玖色综合网| 日日天天干| 亚洲精品国产setv| 日日干日日| 五月天婷婷色情| 好好日激情五月天| 天天爱天天操| 丁香五月 无码| 婷婷成人小说综合| 精品九九九久| 天天久久人人| 六月婷婷色| 日本综合九九| 五月天久久婷婷婷| 成人在线免费网址| 超碰激情网| 伊人热婷婷| 久草婷婷网| 色婷久| 五月丁香综合久久夜夜| 五月丁香六月婷婷啪啪综合| 大香蕉婷婷五月天| 高清无码一区二区三区四区| 一本道在线电影| 精品综合久久久久久五月天| 色五月色图| 开心激情播播五月天| 狠狠精品干练久久久无码中文字幕| 玖玖婷婷视频| 玖玖九九超碰| 涩涩涩婷婷| 五月婷婷色| 五月婷婷综合丁香视频| www99xxxx五月丁| 六月婷婷之青青草| 色在线视频网2025| 丁香五月激情婷婷婷婷在线观看| 人人操人人操919999| 99re26视频| 五月欧美色播| 另类少妇人与禽zOZZ0性伦| 丁香六月色香蕉视频| www.色婷婷.com| 狠狠色五月激情| 国产成人网站在线观看| 五月婷六月天| 91色在线| 婷婷五月天成人网| 黄色激情五月天| 人人肏逼视频在线一区二区| 日本五月婷婷| 亚洲色综合| 欧美性做爰大片免费看办公室| 久久色亭亭五月天| 无码99| 色啪网| 五月婷婷六月丁香激情深爱| 久久人妻视步| 婷婷深爱五月亚洲综合| 婷婷基地成人五月天| 五月天婷婷色色首页| 亚洲妇女熟BBW| 天天日夜夜拍| 伊人网大香| 久久婷婷五月综合色播| 欧美槡BBBB槡BBB少妇| 激情AV在线| 欧美成人AAA片一区国产精品| 99热只有| 99在线精品视频| 五月天婷婷AV| 色99视频| 色五月天综合网| 色噜噜婷婷| 久久亚洲婷婷| 激情内射人妻1区2区3区| 亚洲激情在线| 婷婷五月激情图片| 九九99香蕉在线视频播放| 丁香五月综合在线播放 | 成人永久免费视频在线观看| 怕怕av| 欧美在线视频9| 综合色99| 中文色婷婷| 成人婷婷五月天| 人妻aV在线| 青青草免费公开视频| 激情网五月天| 五月丁香六月综合情在线观看| 国产jd1024基地手机看国产| 91精品电影18T| www九九| 色999五月色| 久久98| 六月婷婷深深爱| 色丁香五月综合网| enecarbon-materials.com污K127封锁请涟系@wip1688 | www.夜夜| 97综合在线| 欧美乱码国产一级A片| 天天插插天天| 99久久www| 天天插天天射| va婷婷在线免费观看| 一起草AV| 超碰成人av| 99精品网| AAA久久| 五月婷婷无码专区| 亚洲啪啪啪啪| 久久久色婷婷五月天| 超91热| 国产 码在线成人网站| 亚欧州精品视频| 亚洲熟女色| 在线观看996精品| 99色啊| 91热er| 大香蕉99热| 人人亚洲| 四色99久久| 超碰在线综合| 婷婷狠狠97| 天天婷婷综合亚洲亚洲| 丁香六月欧美| 中文AV网站| 99成人精品视频| 99色播| 97碰成超视频免费视频| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 久久婷婷大香蕉| 亚洲色亚洲精品| 六月婷婷色综合| 91视频综合网| 91av视频| 婷婷激情五月视频| A久久| xxxx五月天色色| 丁香五月电影| 久久久WWW| www五月婷婷88导航| 亚洲激情五月| 五月丁香婷婷久久| 九九大香蕉黄色影院| 99热18| 天天干天天插| 色色色色色色五月婷婷| 国产淫熟妇| 狠干综合| 婷婷成人网五月天| 99久热这里只有精品| www...com黄在线观看| 欧日美女Va| 色丁香综合影院| 色婷婷综合丁香五月天| 色婷婷在线影院| 狠爱婷色| 亚洲六月色| 国产精品久久..4399| 伊人婷婷五月天| 任你草| 99热丁香五月| 五月婷婷激情五月| 成人在线日韩| 26uuu精品国产| 五月丁香另类网| 五月婷婷熟女| 五月天影院| 久久99热这里只频精品6学生| 五月丁香六月婷婷中文版| 青草青草视频2免费观看| 久草热8精品视频在线观看| 人人澡玖玖一| 中文字幕色色色| 婷婷五月六月丁香| 精品婷婷| 激情性爱五月天| 色播激情五月天| 男人操女人高潮91视频| 色五月五月天| 日韩无码色色| 精品久久人妻| 婷婷情色五月| 31色区视频免费看| 99视频内射三四| 亚洲精99| 天天上天天爽| 日本在线视频手机播放五月婷| 噜噜噜噜噜色| 久re热视频| 亚洲五月天另类小说图片| 97人人草| 丁香五月激情啪啪| 久久亚洲天堂| 色五月婷婷五月丁香五月| 一本狠婷婷综合| 色999;丁香五月| 99久热这里只有精品视频删减版| 51精品国自产在线| 综合网天天| 婷婷久久内射| 丁香五月婷婷操逼| 99婷婷| 99久久玖玖| 欧美va视频| 国产精品91抖高| www.五月丁香av| 五月婷婷久久久| 精品久久久91久久影视网| 超碰二区| 思思热久热| 六月婷婷私欲| 丁香啪啪中文字幕| 激情五月婷婷在线| 四川BBB搡BBB搡多人乱亂| 精品一区二区三区木瓜| 淫五月停停| 91丨九色丨高潮丰满日本| 这里只有精品99www| 亚洲成av人影院| 国产成人综合电影| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 91碰| 亚洲天堂啪啪| 亚洲操逼片| 99爱在线视频| 五月婷婷与六月丁香图片激情| 婷婷丁香五月久久| www.99热| 性生活视频98791| 99热中文字幕久久| 狠狠色综合五月人人| 亭亭玉立国色天香| 日狠狠| 99激情视频| 99啪啪视频| 玖玖婷婷五月天| 激情网第四色| 婷婷五月激情丁香激情| 日韩抽插操逼| 吊色AV男人的天堂| Aα在线免费观看| 亚洲综合欧美色丁香婷婷888月图片| 五月天六月丁香| 亚欧州精品视频| 激情婷婷久久| 立川无码av| 深爱五月婷婷开心中文字幕| VA婷婷| WWW夜夜| 婷婷第六色| 丁香五月91| 久婷婷久草| 亚洲国产精品二二三三区| 五月天婷婷xxx| 欧美性生交XXXXX无码小说| 激情四射婷婷| 久久久五月婷婷| 九九99视频精品| 国产成人99久久亚洲综合精品| 天天操天天操天天操天天操天天操 | 激情久久久| 99re在线精品视频| 五月激情啪啪啪| 色99在线视频| 99在线精品观看99| 五月六月丁香激情| 99国产精品久久久久久久久久久| 色狠狠999综合网| 日日肏天天操| 激情图片亚洲| 五月开心啪啪| 久热9热| 欧美国产一区二区三区| 天天舔天天摸视频| 大香蕉AV电影在线| 狠色色狠网| 天天干人人奸97| 六月天无码网址| 色色国产| 婷婷五月天成人| 无码任你操| 九九99视频精品| 五月丁香综合啪啪啪啪啪| 欧美综合激情五月天| 色婷婷免费视频| 丁香五月玖玖| 大香蕉五月丁香| 激情丁香婷婷六月天| 色婷婷五月天视频在线| 久久色情| 3p久久| 天天干夜夜b| www.com五月天| 在线观看免费视频| 狠狠色色| 婷婷五月激情五月激情| 丰满少妇猛烈A片免费看观看| 超碰A V在线| 97人凄人人操人人爽| 六月丁香花婷婷| 久久激情四射| 99热伊人综合| 日韩成人五月天| 色色色色色色色色综合网| 亚洲天堂婷婷| 2022人人操人人看| 991精品在线视频| 亚洲丁香婷婷| 丁香五月天视频| 99资源在线视频| 狠狠一日| 五月丁香六月婷婷的女人| 亚洲AV色婷婷人禽五月天| 色婷婷88| 亚洲日韩久久婷婷伊人| 色婷婷婷婷| www.婷婷五月天| 无码免费人妻A片AAA毛片西瓜| 这里只有精品免费观看网占| 人人操人人爽成人AV| 五月婷婷六月丁香在线| 噜噜狠狠色综合久| 丁香五月av| 99在线观看精品视频| 五月天婷婷av| 97成人视频| 五月激情六月综合| 99这里只有精品视频| 日韩aaaaa| 成人色情五月天婷婷丁香| 亚洲人妻av伦理| 丁香六月色香蕉视频| 亚洲乱码w在线观看| 久久狼人天堂| 97色精品视频 | 婷婷五月天亚洲天堂| 五月激情婷婷在线| 色婷婷久久9.com| www.99热视频| 欧美色色色色色色色色色色| 伊人激情综合网| 人操人| 久久久18| 亚洲噜色| www.yw色| 少妇人妻人伦A片| 90色免费视频| 综合图区激情| 国产精品国产| 成人丁香五月| 狠狠看狠狠| 2050人人操免费工开爱 | 久操97| 久久开心五月婷婷| 无码一区精品一区视频| 天天色天天爱天天爽| 五月天婷婷色小说| 久久女人九九| 久久大香蕉伊人| 操人妻视频91| 日韩精品一区二区刘| 大陆肏屄视频| 色婷婷激情| 99啪啪| 色之综合网| 婷婷五月天av| 久久婷婷五月草视频| 九九精品亚洲| 国产精品人成A片一区二区| 99热中文字幕久久| 久久五月情| 精品无码久久久久久久久| 五月天婷婷永久免费视频| 伊人九九热| 亚洲亚洲人成综合网络| 超碰av在| 婷婷色五月大香蕉在线| 5月婷婷6月六月丁香| 五月婷婷六月丁香色| 久久99婷婷| 激情五月婷婷综合网| 久99久视频| 综合伊人久久| 思思热久热| 亚洲看av的网站| 欧美久久五月婷婷| 最新午夜理论片| 99热精品10| 欧美五月丁香啪啪响视频| 欧美激情五月综合| 成人必爱视| 九九色院| YJLZZJLZZ亚洲乱熟无码| 亚洲区视频| 成人午夜天| 五月天久久久| 亚洲婷婷月丁香五月| 丁香五月首页| 99热69| 超碰成人av| 四色女婷婷| 激情五月天色网站| 中文字幕永久免费| 天天爱天天操| 五月婷婷中文字幕| 色欲五月天| 色婷婷六月精品| 五月天激情社区| 99爱视频在线观看这里只有精品| 五月丁香花免费视频| 免费色色色| 99久久婷| 色五月婷婷综合在线| 日本在线视频播放91| 色情丁香五月婷婷精品| 久久五月婷婷电影| 婷婷丁香花五月天| 丁香色婷婷| 五月天丁香成人社| 草做免费在线观看| 久香草视频在线观看| 久久久久亚洲AV无码网影音先锋| 99热免费| 色色AV色色色东莞| 天天做天天视天天谢| www.色九月| 亭亭五月丁香综合欧美| 青青.com| 99热在线观看亚洲区| 婷婷成人综合免费视频| 日日骑夜夜撸| 91丁香五月| 九九精品热播| 亚洲综合色网| 五月婷婷激情网| 久久伊人9| 久草五月天| 少妇性BBB搡BBB爽爽爽视頻| 天天综合亚洲综合| 99热精品无码| 91色婷婷综合久久中文字幕二区| 天天精品视频免费观看| 一区二区传媒视频| 国产精产国品一二三在观看| 激情电影五月婷婷| 91在线看免费 九九九九| 九九综合网色全集| 国产AV一区二区三区最新精品| 五月婷婷中文字幕| 久久伊人日日夜夜| 青青草激情网| 国产婷婷综合| 人妻精品久久久久久久| 色婷婷五月天天天天天天天天天| 国内久久久精品99| 五月婷婷co.m| 色播丁香婷婷五月激情| 超碰在线成人| 五月情色天| 色婷婷www| 大香蕉婷婷五月| www.99热日韩.com| 激情综合网五月天天| 激情色色色| 丰满少妇乱A片无码| 日韩一级一片内射视频4K| 色婷婷88| 99久久免费精品| 激情丁香五月婷婷| 丁香色婷婷| 日本三日本三级少妇三级66| 婷婷五月综合婷婷| 天天噜天天插| 桃色激情网| 最近中文字幕大全免费版在线 | 国外亚洲成AV人片在线观看| 3p久久| 五月天婷婷丁香视频| 五月色综合| 亚洲中文字幕在线观看| 9精品在线| 日本色婷婷| 岛国AV网| 综合婷婷| 日本视频久久| 成人在线综合| 亚洲亚洲人成综合网络| 亚洲在线资源| 五月色导航| 亚洲黄色网址| www.26uuu.com亚洲电影| 婷婷之玖玖| 五月婷久久久| 色五月丁香婷婷综合| 婷婷伊人网| 思思热视频在线| 色欲人妻综合aaaaaaaa网| 婷婷综合色| 日本三级韩三级99久久| 综合色久| 九九热这里只有精品31| 九九色婷婷五月天| 亚洲、热| 日本97在线| 丁香五月天激情视频| 亚洲AV综合在线观看| 婷婷 色 丁香 夜| AA片在线观看视频在线播放| 91丁香五月| 五月花婷婷最新| www.com在线操视频免费观看| 亚洲九九婷婷| 伊人干综合| 思思99热这里只有精品6| 五月天婷婷青青草| 色色色色网色色网色色| 国产激情久久久| 久热久| 99热大香蕉| 亚洲激情.com| 97性高潮久久久| 五月天婷婷久久| 华人在线免费| 99欧美| 六月激情久久婷婷| 欧美婷婷综合| 婷婷色五月天综合网| 91肏肏肏| 大香蕉五月丁香| 深爱丁香激情| 热热色色五月天婷婷| 另类小说婷婷色| 狠狠色网| 婷婷精品在线| 久久久婷丁香五月| 日韩黄黄| 婷婷五月丁香色播| 久爱综合| 91精品久久久久久综合五月天| 青青久久五月| 无码99| 亚洲天天操| 开心久久五月天| 久久se 综合网| 五月天成人在线| 亚洲va日| 99热国产在线| 人人操婷婷| 91九色首页| 亚洲av免费在线| 婷婷综合精品视频97| 91色逼| 5月婷婷性视频| 婷婷激情综合| 森林影视大全,最好看的2019年视频 | 91狠狠综合久久| 天天做天天爱天天爽在| 色五月丁香五月| 九九人人操| 欧美叉叉叉BBB网站| 99re26视频| 久久五月婷婷视频| 九九视频在线| 99热这里只有精品 搜| 色约约视频一区二区三区四区五区 | 五月丁香成年黄色| caopeng超碰| 色色色色色色色色色色色色色五月天| 婷婷久久大香蕉| 色五月涩涩婷婷| 久久久97| 大陆极品少妇内射AAAAAA| 大香蕉AV电影在线| 色色亚洲视频| 99热亚洲| 综合激情视频| 久热只有精品| 91精品久久久久久77777| 午夜丁香婷婷| 九九热欧美| 欧洲亚洲免费视频9| 亚洲四色五月| 婷婷五月激情在线| 成人精品人妻| 99热久只有| 欧美三级黄色片久久| 激情四射婷婷| 丁香激惜男女| 亚洲欧美婷婷五月色综合| 99re在线精品视频| 777精品久无码人妻蜜桃| 99人碰碰碰| 欧美色五月| 大香蕉天堂| 日本啪啪网| 日日夜夜干| 欧美黄色AA片哗啦啦啦| 99热国产国产| 日韩AV免费电影在线播放| 怡红院院在线导航网| 亚洲成人综合网在线免费观看| www.丁香五月| 婷婷激情四射五月天| 99免费在线视频| 亚洲激情AV| 伊人色综合网| 97luluse| 欧美色99| 91热手机在线| 天天操夜夜夜拍拍拍| 开心婷婷五月天综合| 五月婷婷之综合激情| 婷婷五月综合在线视频| 亚洲成人中心| 亚洲乱码日产精品BD| 久久WW| 久久欧洲综合网| 99九九视频| 91碰免费视频| 另类少妇人与禽zOZZ0性伦| 婷婷五月天激情在线观看| 国产精品人妻在线网址| 九九热欧美| 久久人人九九| 伊人久热91| 欧美成人精品A片免费一区99| 99视频久久| 舔色婷婷| 五月婷婷精品视频| 91婷婷视频| 久久婷五月综合色| 快乐激情五月色婷婷 | 五月婷在线视频免费看| www狠狠| 热思思| 伊人9草在线观看| 蜜桃五月天| 性视频久久| 99热在线网站| 99秘 在线| 不卡在线中文字幕无| 操婷婷基地| 亚洲午夜精品久久久久久人妖| 丁香婷婷免费| 噜色精品| 日本色99| 亚洲第一成人无码A片| 99综合免费视频| 婷婷社区五月天| 婷婷色网| 婷婷和五月天| www.婷婷五月天.com| 婷婷中文字幕| 五月丁香成人| 99免费视频在线观看爱| 久久机热/这里只有精品| 色婷婷四虎| 99精品大片| 大地资源色婷婷视频在线| 五月丁香六月婷婷精品| 亚洲激情淫网| 欧美搡BBBBB摔BBBBB| 草婷婷在线| 色五月中文字幕| 丁香五月婷婷AV| 色99日韩| 婷婷香五月| 超碰免费99| 婷婷婷婷婷婷婷婷| 精品无码片| 综合五月网| 伊人婷婷99热精品| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 五月婷六月丁香| 婷婷五月天无码| 五月天丁香婷婷社区| 成人丁香五月| 色色婷| 欧美熟女99| 五月丁香六月色| 婷婷六月丁香1| 开心激情站| 99热777| 久久人五月| 日本欧美在线| 五月天婷婷情色| 国产资源91在线| 五月噜噜噜色综合| 青青艹b| 久草A片| 婷婷五月丁香六月天亚洲综合| 黄色成人AV在线| 五月天精品视频| 超碰99热精品| 182TV大香蕉| 天天操夜夜啊| 丁香五月色欲| 五月婷婷久久综合| 丁香激情五月| www.久久| 玖玖爱资源站| 色五月六月| 日韩成人中文| 丁香五月综合网亚洲综合欧美狠狠 | 激情婷婷五月在线合集| 欧美日本黄色| 天天舔天天插天天干| 超碰在线99热| 婷婷综合网| 丁香五月成人社区| 色五月婷婷成人| 99狠狠色| 色五月天在线| wWW九九在线播放| 99久久喉9| 丁香五月天在线直播观看| 五月开心婷婷网| 国产精产国品一二三在观看| 五月丁香色婷婷色| 亚洲色色爱| 国产成人AV在线播放| 国产精品A成V人在线播放| 超碰精品在线| 久热久| 99免费| 国产成人高清| 久月丁香爱婷婷综合| 99综合色色色| 亚洲99精品九九在线| 九九热只有精品| 九九热9| 超碰在线免费观看日韩| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 丁香九月婷| 久久久久这里只有精品| 九九热狼人| 毛片九九九九九九| 超碰免费人人| 丁香六月婷婷综合激情欧美| 久久综合综合久久| 色婷婷色久综| 亚洲婷婷丁香五月天激情小说| caop在线视频| 色综合99无码 | 可以免费观看的av| 婷婷激情五月综合| 色九九综合| 四五月婷婷| 色婷婷4| 欧美爆乳一区二区三区| 色日本五月天| 亚洲精品第一国产综合亚AV | 婷香狠狠爱五月| 激情综合99| 日狠狠| 婷婷色综合av| 久久久香| 就爱干 在线| 五月天婷婷导航| 春色激情第四色| 婷婷五月激情片| 精品久热69| w婷婷五月婷婷w| 天天色综合色色色色色。| 初夜av| 另类图片激情五月| AV在线免费网站| 丁香在线视频| 久久精品日| 亚洲综合婷婷六月丁香五月| 亚洲综合99| 亚洲色图日韩网址| 丰满少妇猛烈A片免费看观看| 综合图片色色| 亚洲综合网区| 色色无码日韩| 激情小说 五月天| 九九免费在线视频| 综合啪啪| 99久超碰| 国产超碰人人| 欧日美女Va| 99热无码首页| 五月色情| 熟女91九色| 天天射色五月天| 我爱宗和色| 色域五月婷婷丁香| 色色色色色网站| 久久WW| 男人的天堂99| 五月天深爱激情网| 91成人电影| 人妻体体内射精一区二区| 免费超碰在线| 天色色综合网| 亚洲中文乱字字幕线在永久| 色999亚洲人成色| 久久女人九九| 婷婷五月电影| 丁香六月综合激情| 婷婷五月综激情| 久久永久网址| 国产精品一区在线观看你懂的| 嫩草综合网| 99re免费精品视频| 天天噜日日噜综合无码| 噜一噜在线| 成人精品在线观看| 九月激情网| 亚洲成人电影aaaa| 亚洲五月天综合| 亞洲自怕| 婷婷射丁香| 久久视屏这里只有久久| 男人的天堂婷婷色五月| 天堂婷婷五月在线| 91色逼| 91色色色视频| 狠狠综合网| 极品人妻VIDEOSSS人妻| 天天天天爽爽天干| 亚洲成人九九九| 色色丁香| 五月停停色色丁香| 色99超碰| 任你艹| 大天天伊人| 五月丁香色婷婷综合| 天天日天天爱天天噪| 97sese婷婷| 狠狠干夜夜干| 啪啪99| 99热九九这里只有精品| 亚洲六月色| 国产欧美第五十五页| 久久性爱视频| 丁香婷色| 午夜精品人妻无码一区二区三区| 久久综合五月天| 婷婷在线播放| 五月天激情久久| 五月天婷婷爱| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 99热欧| 99精品视频在线观看| 久久黄色网扯| 久久五月丁香伊人青草| 成人丁香五月|