欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

Oracle Data Guard 切換前就緒度檢查與基線(xiàn)對(duì)比

Oracle Data Guard 切換前就緒度檢查與基線(xiàn)對(duì)比 簡(jiǎn)介dgreadiness_v3.6.zip 面向在 Windows 10 上使用 VMware Workstation 運(yùn)行 Ubuntu 等虛擬機(jī)的開(kāi)發(fā)與運(yùn)維人員針對(duì)關(guān)閉 Hyper-V 后仍提示 VMware 與 Device/Credential Guard 不兼容、虛擬機(jī)無(wú)法啟動(dòng)的問(wèn)題提供基于 Windows Defender Device Guard 與 Credential Guard 硬件就緒工具的禁用方案。壓縮包共 6 個(gè)文件約 32KB包含 PowerShell 工具腳本、p7b 策略文件、xml 配置模板和 txt 說(shuō)明文檔分別用于執(zhí)行禁用配置、承載策略設(shè)置、提供審計(jì)/強(qiáng)制模式模板及使用說(shuō)明體量輕便、結(jié)構(gòu)明確。已有 3189 人學(xué)習(xí)下載說(shuō)明該問(wèn)題在 Win10 虛擬機(jī)場(chǎng)景中較常見(jiàn)。讀者可借助其中的腳本與策略模板快速完成 Credential Guard 關(guān)閉減少手動(dòng)修改組策略和注冊(cè)表的試錯(cuò)成本也可據(jù)說(shuō)明文檔理解各配置項(xiàng)作用為同類(lèi)兼容性排錯(cuò)提供參考。1. dgreadiness_v3.6.zip 不是安裝包是切換前的一張?bào)w檢單dgreadiness_v3.6.zip 這個(gè)名字本身就說(shuō)明了它的形態(tài)一個(gè)壓縮包、帶版本號(hào)、沒(méi)有安裝向?qū)Ы忾_(kāi)來(lái)是一堆 SQL 和 shell。它的作用不是部署容災(zāi)而是在你已經(jīng)有一套主備庫(kù)主庫(kù) 一個(gè)或多個(gè)備庫(kù)之后回答一個(gè)很具體的問(wèn)題——現(xiàn)在這一刻我敢不敢做切換演練很多團(tuán)隊(duì)的做法是切之前拉個(gè)會(huì)幾個(gè)人分別敲幾條命令看看憑感覺(jué)拍板這個(gè)包要做的事是把這些零散判斷固化成一份可重復(fù)、可對(duì)比、可交給別人的報(bào)告。它適合兩類(lèi)人一類(lèi)是要定期做容災(zāi)演練的 DBA另一類(lèi)是接手了一套沒(méi)人維護(hù)的備庫(kù)、想先摸清底細(xì)的運(yùn)維。讀完你能自己解包、配連接、改檢查項(xiàng)、定閾值也知道哪些綠燈其實(shí)是假的。2. 就緒度先立標(biāo)準(zhǔn)六類(lèi)檢查項(xiàng)和它們的權(quán)重怎么定打開(kāi)一個(gè) readiness 包最忌諱的動(dòng)作是直接bash run.sh然后盯著輸出里紅色的那幾行看。紅色代表什么、多紅才算不能切、這次紅下次綠是環(huán)境變了還是腳本抽風(fēng)——這些問(wèn)題在腳本里沒(méi)有答案得你自己先定。所以第一章不做操作先把“ready”這個(gè)詞拆成可判定的指標(biāo)。2.1 傳輸層、應(yīng)用層、結(jié)構(gòu)層就緒度的三個(gè)觀察面我把所有檢查項(xiàng)歸到三個(gè)觀察面這個(gè)分法決定了后面報(bào)告的排版也決定了排錯(cuò)時(shí)的查找順序。傳輸層看的是日志能不能從主庫(kù)順利落到備庫(kù)歸檔目的地狀態(tài)是不是 VALID、有沒(méi)有 ERROR 文本、傳輸延遲多少、歸檔目的地所在文件系統(tǒng)的剩余空間、網(wǎng)絡(luò)往返時(shí)延和帶寬是否夠峰值 redo 量。這一層出問(wèn)題表現(xiàn)是備庫(kù)長(zhǎng)時(shí)間收不到新日志但主庫(kù)業(yè)務(wù)一切正常最容易被忽略。應(yīng)用層看的是日志到了之后有沒(méi)有被真正應(yīng)用MRP 進(jìn)程在不在、狀態(tài)是 APPLYING_LOG 還是 WAITING_FOR_LOG、應(yīng)用延遲多少、備庫(kù)已應(yīng)用的最大序列號(hào)和主庫(kù)當(dāng)前序列號(hào)差多少、有沒(méi)有歸檔缺口GAP。這一層最容易出“假綠燈”后面避坑那章會(huì)專(zhuān)門(mén)講。結(jié)構(gòu)層看的是兩邊長(zhǎng)得像不像db_unique_name 和 log_archive_config 是否互認(rèn)、standby_file_management 是否 AUTO、保護(hù)模式和 redo 傳輸是 SYNC 還是 ASYNC、standby redo log 的組數(shù)和單組大小、臨時(shí)文件和數(shù)據(jù)文件路徑、密碼文件、以及多租戶(hù)下每個(gè) PDB 的狀態(tài)。結(jié)構(gòu)層的問(wèn)題平時(shí)完全不疼一切換就卡死是典型的“平時(shí)不查、演練翻車(chē)”。三個(gè)面里傳輸層和應(yīng)用層是動(dòng)態(tài)指標(biāo)數(shù)值會(huì)隨業(yè)務(wù)波動(dòng)結(jié)構(gòu)層是靜態(tài)指標(biāo)除非有人改配置否則長(zhǎng)期不變。這個(gè)差異直接影響采集頻率動(dòng)態(tài)指標(biāo)要頻繁采、看趨勢(shì)靜態(tài)指標(biāo)一次采完存成基線(xiàn)就行不必每次全量跑。提示如果包里的檢查項(xiàng)命名和上面不一樣不要急著改腳本先按這三個(gè)面把現(xiàn)有項(xiàng)歸類(lèi)缺哪一類(lèi)再補(bǔ)比重寫(xiě)省事得多。2.2 權(quán)重怎么定按「切換后多久能對(duì)外服務(wù)」倒推權(quán)重不是技術(shù)參數(shù)是業(yè)務(wù)參數(shù)。我的做法是問(wèn)一句話(huà)這一項(xiàng)不達(dá)標(biāo)切換后要多花多久才能對(duì)外服務(wù)答案越長(zhǎng)權(quán)重越高。按這個(gè)口徑歸檔缺口和結(jié)構(gòu)層錯(cuò)配是最貴的——缺口意味著要補(bǔ)日志甚至重建結(jié)構(gòu)錯(cuò)配意味著切換根本起不來(lái)這兩類(lèi)給高權(quán)重傳輸延遲和應(yīng)用延遲影響的是切換瞬間丟多少數(shù)據(jù)、追平要多久中等權(quán)重目的地狀態(tài)、SRL 配置這類(lèi)屬于“不達(dá)標(biāo)立刻知道、修起來(lái)也快”的低權(quán)重。檢查項(xiàng)觀察面權(quán)重不達(dá)標(biāo)后果歸檔序列缺口應(yīng)用層25需補(bǔ)日志或重建備庫(kù)參數(shù)與結(jié)構(gòu)一致性結(jié)構(gòu)層20切換可能直接失敗應(yīng)用延遲應(yīng)用層20切換后追平日志耗時(shí)長(zhǎng)傳輸延遲傳輸層15數(shù)據(jù)丟失窗口變大目的地狀態(tài)與錯(cuò)誤文本傳輸層10日志傳輸中斷SRL 組數(shù)與大小結(jié)構(gòu)層10切換時(shí)日志寫(xiě)不下這張表不需要照抄權(quán)重之和湊夠 100 就行關(guān)鍵是每一項(xiàng)的權(quán)重你能對(duì)著業(yè)務(wù)說(shuō)清楚理由。說(shuō)不清理由的項(xiàng)要么刪掉要么降權(quán)別放在那里制造噪音。2.3 判定口徑要先寫(xiě)死否則報(bào)告沒(méi)法比較分?jǐn)?shù)之外還要有檔位否則你只知道“78 分”不知道“78 分能不能切”。我一般分三檔PASS、WARN、FAIL。PASS 拿滿(mǎn)分WARN 拿一半FAIL 拿零分。但光有分?jǐn)?shù)不夠——結(jié)構(gòu)層錯(cuò)配這種項(xiàng)哪怕總分 95 也不能切所以還要引入“否決項(xiàng)”概念歸檔缺口、SRL 配置、參數(shù)一致性這三項(xiàng)只要有一個(gè) FAIL無(wú)論總分多少都判定為 NOT READY。這樣做的好處是報(bào)告有兩層結(jié)論分?jǐn)?shù)用來(lái)橫向比較這次 92、上次 88是在變好還是變差否決項(xiàng)用來(lái)縱向決策能不能現(xiàn)在切。只給分?jǐn)?shù)人會(huì)拿分?jǐn)?shù)當(dāng)擋箭牌只給否決項(xiàng)又看不出趨勢(shì)。兩者都要。還有一條容易被忽略口徑要寫(xiě)進(jìn)配置文件不要寫(xiě)死在腳本里。閾值、權(quán)重、否決項(xiàng)名單都放conf/env.conf這樣半年后別人接手改一個(gè)數(shù)字就能適配另一套庫(kù)不用讀懂 SQL。3. 解包與首輪巡檢三條命令跑出第一份報(bào)告標(biāo)準(zhǔn)立完動(dòng)手。這一章的目標(biāo)不是跑出完美報(bào)告是在 20 分鐘內(nèi)跑出第一份“能看”的報(bào)告哪怕里面一半是 FAIL——先有基線(xiàn)再談優(yōu)化。3.1 解包與目錄約定先固定路徑再談自動(dòng)化不要在原目錄里直接解壓。壓縮包解開(kāi)后通常有bin/、sql/、conf/、out/這幾類(lèi)目錄如果每次巡檢都解到不同路徑報(bào)告會(huì)散落在各處后面想做趨勢(shì)對(duì)比就得靠人肉找文件。我固定用一個(gè)版本化路徑# 固定安裝路徑按版本號(hào)分目錄升級(jí)時(shí)并存而不是覆蓋 sudo mkdir -p /opt/dgcheck/3.6 sudo unzip -q dgreadiness_v3.6.zip -d /opt/dgcheck/3.6 # 看一眼結(jié)構(gòu)確認(rèn)入口腳本和 SQL 目錄在哪 find /opt/dgcheck/3.6 -maxdepth 2 -type d | sort ls -l /opt/dgcheck/3.6/bin/ 2/dev/null || ls -l /opt/dgcheck/3.6 # 腳本給執(zhí)行權(quán)限但不要給全局可寫(xiě) sudo chown -R dbcheck:dba /opt/dgcheck/3.6 sudo chmod -R 750 /opt/dgcheck/3.6 sudo chmod 640 /opt/dgcheck/3.6/conf/*.conf 2/dev/null這段的關(guān)鍵點(diǎn)在三處。-d指定目標(biāo)目錄避免解壓出來(lái)的文件平鋪在當(dāng)前目錄把家目錄搞亂。find -maxdepth 2是先摸清結(jié)構(gòu)再?zèng)Q定怎么調(diào)因?yàn)椴煌虬?xí)慣里入口腳本可能在bin/也可能在根目錄ls一次就知道比自己猜快。chmod 640給配置文件是因?yàn)槔锩嫱ǔS羞B接串和口令權(quán)限放開(kāi)等于把庫(kù)的鑰匙掛在墻上。專(zhuān)用運(yùn)行賬號(hào)也是必要的一步。我一般建一個(gè)只讀賬號(hào)dbcheck跑巡檢讓它屬于dba組以便讀v$視圖但不給它sysdba。巡檢腳本只需要看狀態(tài)不需要改任何東西——一個(gè)能改東西的巡檢腳本某天就會(huì)改錯(cuò)東西這是血淚經(jīng)驗(yàn)。注意如果包里帶.sh之外的可執(zhí)行文件比如編譯好的采集二進(jìn)制先用file看一眼架構(gòu)和依賴(lài)別在 x86 機(jī)器上跑 arm 的產(chǎn)物報(bào)錯(cuò)信息會(huì)誤導(dǎo)你以為連不上庫(kù)。3.2 連接配置與最小巡檢命令配置文件只放連接信息和閾值不放任何邏輯。常見(jiàn)做法是conf/env.conf這種以 shell 變量形式被source進(jìn)來(lái)的文件# conf/env.conf —— 只放連接與閾值邏輯一律進(jìn)腳本 PRIMARY_TNSdg_primary # 主庫(kù)連接串走 tnsnames 或等價(jià)命名 STANDBY_TNSdg_standby # 備庫(kù)連接串 RUN_USERdbcheck # 巡檢專(zhuān)用賬號(hào)非 sysdba THRESH_TRANSPORT_LAG60 # 傳輸延遲告警線(xiàn)單位秒 THRESH_APPLY_LAG120 # 應(yīng)用延遲告警線(xiàn)單位秒 THRESH_ARCHIVE_GAP0 # 允許的序列缺口通常為 0 THRESH_FRA_PCT85 # 歸檔區(qū)使用率告警線(xiàn)百分比 DENY_ITEMSarchive_gap,srl_config,param_diff # 否決項(xiàng)名單四個(gè)閾值里前三個(gè)是硬指標(biāo)最后一個(gè)歸檔區(qū)使用率是很多人不做但極容易翻車(chē)的項(xiàng)——?dú)w檔區(qū)滿(mǎn)的那一刻主庫(kù)會(huì)掛起備庫(kù)也跟著停屬于“平時(shí)不查、爆起來(lái)要命”的類(lèi)型。DENY_ITEMS是把第 2 章的口徑落地的字段后面折算報(bào)告時(shí)直接讀這個(gè)變量。配好之后首輪就跑最小集合一個(gè)主庫(kù)側(cè)、一個(gè)備庫(kù)側(cè)別一上來(lái)跑全套不然輸出里幾百行你不知道哪行是關(guān)鍵的。#!/usr/bin/env bash # bin/first_run.sh —— 首輪最小巡檢只采集傳輸與應(yīng)用兩個(gè)面 set -uo pipefail BASE/opt/dgcheck/3.6 source $BASE/conf/env.conf TS$(date %Y%m%d_%H%M%S) OUT$BASE/out/$TS mkdir -p $OUT # 主庫(kù)歸檔目的地狀態(tài) 當(dāng)前最大序列 sqlplus -S $RUN_USER$PRIMARY_TNS $BASE/sql/10_primary.sql \ $OUT/primary.txt 21 # 備庫(kù)應(yīng)用進(jìn)程狀態(tài) 已應(yīng)用序列 sqlplus -S $RUN_USER$STANDBY_TNS $BASE/sql/20_standby.sql \ $OUT/standby.txt 21 echo report dir: $OUT grep -iE error|ORA-|SP2- $OUT/*.txt echo 存在錯(cuò)誤先看上面幾行 || echo 采集無(wú)報(bào)錯(cuò)set -uo pipefail沒(méi)有加-e這是有意的首輪巡檢最怕的是某項(xiàng)失敗就整體退出導(dǎo)致你只看到第一個(gè)問(wèn)題、看不到后面的問(wèn)題。所以讓每個(gè)采集動(dòng)作各自失敗、各自留痕最后統(tǒng)一 grep 一遍錯(cuò)誤關(guān)鍵字。-S是靜默模式去掉客戶(hù)端橫幅和提示符輸出更干凈后面好解析。時(shí)間戳精確到秒是為了同一天多次演練時(shí)不覆蓋文件。grep -iE error|ORA-|SP2-這行是一個(gè)廉價(jià)但有效的兜底。數(shù)據(jù)庫(kù)客戶(hù)端的報(bào)錯(cuò)文本格式很好認(rèn)寬泛匹配一下就能把“沒(méi)連上庫(kù)”和“連上了但查詢(xún)出錯(cuò)”區(qū)分開(kāi)——這兩種情況后面的處理完全不一樣。3.3 輸出目錄與失敗兜底o(hù)ut/目錄要有輪轉(zhuǎn)策略別等它撐滿(mǎn)。一次全量巡檢的輸出不大但每天跑、跑半年加上有人手動(dòng)重跑很容易堆到幾百個(gè)目錄。我一般保留最近 30 次全量 所有“變更前后”的對(duì)比目錄其余刪除# 只保留最近 30 個(gè)時(shí)間戳目錄其余清理命名規(guī)則必須嚴(yán)格按時(shí)間戳 cd /opt/dgcheck/3.6/out || exit 0 ls -1d 2*/ | sort | head -n -30 | xargs -r rm -rf前提是目錄名嚴(yán)格是YYYYMMDD_HHMMSSsort的字典序才等于時(shí)間序。如果包自帶的輸出目錄用了別的命名比如帶主機(jī)名就先改命名規(guī)則再用這條命令否則head -n -30刪掉的可能是昨天剛跑的基線(xiàn)這種翻車(chē)比不清理更糟。失敗兜底還有一個(gè)細(xì)節(jié)退出碼。巡檢腳本的退出碼要能被上層調(diào)度感知——0 表示全 PASS1 表示有 WARN2 表示有 FAIL 或否決項(xiàng)。這樣掛到定時(shí)任務(wù)或流水線(xiàn)上不用解析文本就知道結(jié)果。很多包默認(rèn)只 echo 不 return接進(jìn)自動(dòng)化就得自己補(bǔ)這幾行。4. 改 SQL 與定閾值把通用檢查項(xiàng)調(diào)成你庫(kù)的形狀一份通用腳本跑在你自己的庫(kù)上一定會(huì)有一半檢查項(xiàng)“看起來(lái)對(duì)但不準(zhǔn)”。這不是腳本的問(wèn)題是每套庫(kù)的形態(tài)差異太大有的單實(shí)例、有的多租戶(hù)有的保護(hù)模式要求零丟失、有的能接受幾分鐘延遲有的 redo 峰值每秒幾十兆、有的幾百 K。所以第三章的核心動(dòng)作是改改 SQL 的取數(shù)口徑、改閾值的紅線(xiàn)位置。4.1 三類(lèi)必改的 SQL序列缺口、備庫(kù)日志、參數(shù)一致性序列缺口是最該改的一條。很多腳本只查應(yīng)用延遲但延遲是個(gè)瞬時(shí)值——?jiǎng)倓倯?yīng)用完一批日志延遲會(huì)顯示接近 0哪怕中間其實(shí)缺了一段日志沒(méi)傳過(guò)來(lái)。真正的缺口要看序列號(hào)連續(xù)性-- sql/30_gap.sql主庫(kù)側(cè)取每個(gè)線(xiàn)程的當(dāng)前序列 set lines 200 pages 100 feedback off heading on col thread# format 999 col cur_seq format 9999999 select thread#, max(sequence#) as cur_seq from v$thread group by thread# order by thread#;-- sql/31_applied.sql備庫(kù)側(cè)取每個(gè)線(xiàn)程已應(yīng)用的序列 col thread# format 999 col applied_seq format 9999999 select thread#, max(sequence#) as applied_seq from v$archived_log where applied YES group by thread# order by thread#;邏輯說(shuō)明主庫(kù)的v$thread給出每個(gè)線(xiàn)程當(dāng)前寫(xiě)到哪備庫(kù)的v$archived_log里appliedYES的最大值給出應(yīng)用到哪。兩者相減就是缺口。多線(xiàn)程RAC 形態(tài)下必須按 thread 分別算只取全局最大值會(huì)漏掉某個(gè)線(xiàn)程掉隊(duì)的場(chǎng)景——這種場(chǎng)景在小庫(kù)上不常見(jiàn)在大庫(kù)上就是演練失敗的常見(jiàn)原因。參數(shù)說(shuō)明appliedYES這個(gè)過(guò)濾條件是關(guān)鍵去掉它拿到的是“收到了多少”而不是“應(yīng)用了多少”這兩者在備庫(kù)開(kāi)啟實(shí)時(shí)應(yīng)用時(shí)差別很大。如果你的庫(kù)用的是備庫(kù)實(shí)時(shí)應(yīng)用還可以補(bǔ)一條查v$standby_apply_progress但對(duì)缺口判斷來(lái)說(shuō)上面兩條已經(jīng)夠用。**備庫(kù)日志SRL**是最容易被跳過(guò)的一條因?yàn)樗挥绊懭粘_\(yùn)行只影響切換-- sql/40_srl.sql兩邊分別跑比對(duì)組數(shù)與單組大小 col group# format 999 col mb format 9999 select group#, thread#, bytes/1024/1024 as mb, status from v$standby_log order by thread#, group#; select group#, thread#, bytes/1024/1024 as mb from v$log order by thread#, group#;判據(jù)是經(jīng)驗(yàn)值備庫(kù) SRL 的組數(shù)不少于主庫(kù)在線(xiàn) redo 組數(shù) 每線(xiàn)程 1 組單組大小與主庫(kù)一致不能小于。組數(shù)不夠切換瞬間會(huì)因?yàn)闊o(wú)處寫(xiě)日志而卡住大小不一致切換后可能出現(xiàn)頻繁切換log switch拖慢性能。這兩條都屬于“不改也沒(méi)事、一切換就死”的類(lèi)型。參數(shù)一致性要挑真正影響切換的那幾個(gè)別把全部參數(shù)拉出來(lái)比對(duì)噪音太大-- sql/50_param.sql只比對(duì)與容災(zāi)強(qiáng)相關(guān)的參數(shù) col name format a32 col value format a48 select name, value from v$parameter where name in ( db_unique_name,log_archive_config,log_archive_dest_state_2, standby_file_management,protection_mode,archive_log_format, db_recovery_file_dest_size,remote_login_passwordfile ) order by name;這十個(gè)參數(shù)里log_archive_config少寫(xiě)一個(gè)備庫(kù)名、standby_file_management是 MANUAL、remote_login_passwordfile不是 EXCLUSIVE任意一條都能讓切換直接失敗。db_recovery_file_dest_size放在這里是很多人的疑問(wèn)——它影響的是歸檔空間不在切換時(shí)立刻報(bào)錯(cuò)但會(huì)在切換后補(bǔ)日志階段把空間撐爆屬于第二波翻車(chē)。提示參數(shù)比對(duì)一定要在主備兩邊都跑同一條 SQL 再 diff不要拿主庫(kù)的輸出去和心里記著的備庫(kù)配置比記憶比腳本更容易錯(cuò)。4.2 閾值不是拍腦袋用歷史延遲分布定紅線(xiàn)THRESH_APPLY_LAG120這個(gè)數(shù)字從哪來(lái)很多人是從別人的腳本里抄的。抄來(lái)的數(shù)字有兩個(gè)問(wèn)題一是和自己的業(yè)務(wù)量不匹配二是沒(méi)人知道為什么是 120。我的做法是先裸跑兩周只采集不判定把每次的傳輸延遲、應(yīng)用延遲記下來(lái)然后看分布分位傳輸延遲應(yīng)用延遲用途p502 秒15 秒常態(tài)參考不必告警p9540 秒90 秒WARN 線(xiàn)留出批量作業(yè)的余量p9975 秒150 秒FAIL 線(xiàn)超過(guò)說(shuō)明真的出問(wèn)題了規(guī)律很樸素WARN 線(xiàn)設(shè)在 p95 附近FAIL 線(xiàn)設(shè)在 p99 或 p95 的兩倍。這樣日常波動(dòng)不會(huì)天天報(bào)警真出事的時(shí)候一定越線(xiàn)。設(shè)置完還要回頭看一次——如果一周內(nèi) WARN 觸發(fā)了十幾次說(shuō)明線(xiàn)畫(huà)低了或者這條鏈路的容量本來(lái)就不夠該擴(kuò)容而不是調(diào)閾值。批量作業(yè)窗口要單獨(dú)對(duì)待。夜間跑大批量的時(shí)候apply lag 從 15 秒沖到 300 秒是正常的如果這時(shí) FAIL 了你會(huì)收到一堆無(wú)效告警然后開(kāi)始忽略告警——這是運(yùn)維里最危險(xiǎn)的狀態(tài)。解決辦法是給批量窗口單獨(dú)一組閾值按時(shí)間切換配置而不是把全局閾值放寬到 300 秒那樣等于白天也不告警了。4.3 把文本輸出收斂成一張就緒度表采集出來(lái)是一堆文本人看得懂、腳本看不懂。中間加一層折算把關(guān)鍵指標(biāo)壓成keyvalue再交給一個(gè)小腳本算分# 采集腳本末尾把關(guān)鍵指標(biāo)壓成一行一個(gè)鍵值供折算腳本消費(fèi) { echo archive_gap$ARCHIVE_GAP echo apply_lag$APPLY_LAG echo transport_lag$TRANSPORT_LAG echo dest_status$DEST_STATUS echo srl_ok$SRL_OK echo param_diff$PARAM_DIFF } $OUT/metrics.kv#!/usr/bin/env python3 # bin/score.py —— 把 metrics.kv 折算成就緒度分?jǐn)?shù)與結(jié)論 import sys, os WEIGHTS {archive_gap: 25, param_diff: 20, apply_lag: 20, transport_lag: 15, dest_status: 10, srl_ok: 10} DENY set(os.environ.get(DENY_ITEMS, ).split(,)) def load(path): kv {} with open(path, encodingutf-8) as f: for line in f: line line.strip() if not line or not in line: continue k, v line.split(, 1) kv[k.strip()] v.strip() return kv def judge(key, raw, kv): # 數(shù)值型指標(biāo)與閾值比較非數(shù)值型按 1/0 判定 if key archive_gap: return PASS if int(raw) 0 else (WARN if int(raw) 3 else FAIL) if key in (apply_lag, transport_lag): warn float(os.environ.get(THRESH_ key.upper(), 120)) v float(raw) return PASS if v warn else (WARN if v warn * 2 else FAIL) return PASS if raw in (1, VALID, TRUE) else FAIL def main(path): kv load(path) score, denies, rows 0.0, [], [] for key, w in WEIGHTS.items(): if key not in kv: rows.append((key, MISSING, 0)) continue res judge(key, kv[key], kv) got w if res PASS else (w * 0.5 if res WARN else 0) score got if res FAIL and key in DENY: denies.append(key) rows.append((key, res, got)) for k, r, g in rows: print(f{k:16s} {r:8s} {g:5.1f}) verdict NOT READY if denies else (READY if score 90 else RISKY) print(f\nscore{score:.1f} verdict{verdict} deny{,.join(denies) or -}) if __name__ __main__: main(sys.argv[1])邏輯上分三層。WEIGHTS是第 2 章那張表的代碼化judge是個(gè)小狀態(tài)機(jī)把原始數(shù)值翻譯成 PASS/WARN/FAIL注意 WARN 的判定用的是“閾值的兩倍”這樣只改一個(gè)配置就能同時(shí)控制兩檔最后主線(xiàn)按權(quán)重累加denies收集否決項(xiàng)。指標(biāo)缺失MISSING單獨(dú)記一檔而不是直接 FAIL因?yàn)槿笔遣杉〔皇黔h(huán)境壞混在一起會(huì)誤導(dǎo)排查方向。參數(shù)說(shuō)明DENY_ITEMS從環(huán)境變量讀是為了讓同一份腳本能跑“演練前嚴(yán)格模式”和“日常寬松模式”兩套口徑不用改代碼。閾值同樣從環(huán)境變量兜底o(hù)s.environ.get(..., 120)保證腳本單獨(dú)運(yùn)行也不崩。跑起來(lái)驗(yàn)證一下# 用一次真實(shí)采集結(jié)果折算先看分?jǐn)?shù)再看否決項(xiàng) cd /opt/dgcheck/3.6 DENY_ITEMSarchive_gap,srl_ok,param_diff python3 bin/score.py out/20240101_020000/metrics.kv輸出如果verdictNOT READY但score92.0說(shuō)明分?jǐn)?shù)被某一兩個(gè)高分項(xiàng)撐著否決項(xiàng)里有 FAIL——這正是第 2 章說(shuō)的“分?jǐn)?shù)管趨勢(shì)、否決項(xiàng)管決策”別被 92 分騙了。5. 排查記錄五個(gè)讓報(bào)告「全綠」卻切不過(guò)去的坑5.1 延遲顯示 0 秒但備庫(kù)落后兩小時(shí)現(xiàn)象報(bào)告里 apply lag 一直是 0 到 2 秒看起來(lái)健康真做切換時(shí)發(fā)現(xiàn)丟了大量數(shù)據(jù)業(yè)務(wù)對(duì)賬對(duì)不上。原因apply lag 的語(yǔ)義是“最近一條已應(yīng)用日志的應(yīng)用時(shí)間與當(dāng)前時(shí)間之差”它衡量的是“追平速度”不是“落后多少”。如果日志根本沒(méi)傳到備庫(kù)備庫(kù)無(wú)日志可應(yīng)用這個(gè)值反而會(huì)很小甚至為 0——這是最典型的假綠燈。解決把歸檔缺口序列號(hào)差值作為主判據(jù)延遲只作為輔判據(jù)。缺口不為 0 時(shí)無(wú)論延遲多好看都判 FAIL。這條一定要進(jìn)否決項(xiàng)名單。5.2 SRL 組數(shù)和主庫(kù)一樣多切換仍然卡住現(xiàn)象比對(duì)下來(lái) SRL 組數(shù)“看起來(lái)夠”切換演練時(shí)仍然在 redo 寫(xiě)入階段卡了幾十秒。原因組數(shù)夠但單組大小小于主庫(kù)的在線(xiàn) redo切換后日志切換頻率暴增或者組數(shù)是照“主庫(kù)組數(shù)”配的沒(méi)有算上每線(xiàn)程多一組的余量。多線(xiàn)程環(huán)境下每個(gè)線(xiàn)程都需要獨(dú)立的 SRL 組共用一個(gè)組池也會(huì)卡。解決按“每線(xiàn)程主庫(kù)在線(xiàn)組數(shù) 1”配單組大小嚴(yán)格等于主庫(kù) redo 大小字節(jié)數(shù)一致而不是四舍五入后的兆數(shù)一致。改完重跑 4.1 里那條 SRL SQL 確認(rèn)。5.3 巡檢賬號(hào)權(quán)限過(guò)高審計(jì)上翻車(chē)現(xiàn)象腳本跑得好好的某次安全審計(jì)里被指出巡檢使用了高權(quán)限賬號(hào)且口令明文放在配置文件里。原因?yàn)榱耸∈轮苯佑昧俗罡邫?quán)限賬號(hào)順手把口令寫(xiě)進(jìn)env.conf文件權(quán)限還是 644。解決換專(zhuān)用只讀賬號(hào)只授查詢(xún)v$視圖所需的最小權(quán)限配置文件權(quán)限收到 640 并限定屬組口令改走外部認(rèn)證或憑據(jù)文件不進(jìn)版本庫(kù)。這條不是技術(shù)問(wèn)題但會(huì)真的讓項(xiàng)目停掉早改比晚改省事。5.4 輸出目錄把磁盤(pán)撐滿(mǎn)反過(guò)來(lái)拖垮歸檔現(xiàn)象某天主庫(kù)歸檔區(qū)寫(xiě)滿(mǎn)業(yè)務(wù)掛起查下來(lái)是巡檢報(bào)告占了同一個(gè)文件系統(tǒng)。原因out/目錄沒(méi)做輪轉(zhuǎn)加上有人為了排查重復(fù)手動(dòng)跑全量一年下來(lái)堆了上千個(gè)目錄。巡檢工具本身成了故障源這個(gè)坑我見(jiàn)過(guò)不止一次。解決輸出目錄和歸檔區(qū)物理隔離別放同一個(gè)掛載點(diǎn)加輪轉(zhuǎn)3.3 那條并給巡檢腳本本身加一個(gè)“單次輸出不超過(guò) N 兆”的保護(hù)——如果超了說(shuō)明采集范圍寫(xiě)錯(cuò)了應(yīng)該報(bào)錯(cuò)而不是繼續(xù)寫(xiě)。5.5 多租戶(hù)下 PDB 狀態(tài)沒(méi)納入檢查現(xiàn)象容器庫(kù)層面全綠切換后發(fā)現(xiàn)某個(gè) PDB 處于 MOUNT 或者沒(méi)開(kāi)讀寫(xiě)。原因檢查項(xiàng)只查了容器級(jí)視圖沒(méi)有遍歷 PDB。多租戶(hù)環(huán)境里 PDB 的狀態(tài)是獨(dú)立管理的容器級(jí)看起來(lái)一切正常。解決在結(jié)構(gòu)層加一條遍歷 PDB 的查詢(xún)把每個(gè) PDB 的打開(kāi)模式和恢復(fù)狀態(tài)列出來(lái)任一 PDB 不是 READ WRITE 就判 WARN若你的業(yè)務(wù)依賴(lài)該 PDB 則升級(jí)為 FAIL。這條屬于“不查不知道、查了才發(fā)現(xiàn)”的類(lèi)型建議第一次就補(bǔ)上。6. 把它釘進(jìn)演練流程基線(xiàn)對(duì)比與回歸的兩種做法跑通一次巡檢不算什么能讓它在半年后仍然是團(tuán)隊(duì)判斷切換時(shí)機(jī)的依據(jù)才算落地。我用兩種做法把它釘住定時(shí)留基線(xiàn)變更前后做 diff。定時(shí)巡檢我掛在業(yè)務(wù)低峰只跑全量并把結(jié)果目錄按“日期_類(lèi)型”命名類(lèi)型分daily和drill。daily每天一次用來(lái)攢趨勢(shì)數(shù)據(jù)drill只在演練和變更前跑用來(lái)做決策。兩者閾值可以不同daily用寬松口徑只看異常drill用嚴(yán)格口徑加全部否決項(xiàng)。這樣平時(shí)不會(huì)天天被報(bào)警吵真要切換的時(shí)候有一個(gè)不會(huì)說(shuō)謊的口徑。# 低峰定時(shí)每日基線(xiàn) 目錄按類(lèi)型分方便后面按類(lèi)型做趨勢(shì) 30 2 * * * /opt/dgcheck/3.6/bin/run_all.sh -t daily \ /opt/dgcheck/3.6/out/cron.log 21 # 演練前手工嚴(yán)格口徑帶完整否決項(xiàng) # /opt/dgcheck/3.6/bin/run_all.sh -t drill第二種做法更重要變更前后做 diff而不是看單次分?jǐn)?shù)。因?yàn)榉謹(jǐn)?shù)會(huì)騙人——加了個(gè)索引、換了批處理時(shí)間分?jǐn)?shù)可能從 88 漲到 93但某項(xiàng)具體指標(biāo)其實(shí)是惡化的只是被其他項(xiàng)蓋過(guò)去了。所以我每次都把metrics.kv和上一次 drill 的做逐鍵對(duì)比# 變更前后逐鍵 diff只關(guān)心變化方向和幅度 diff (sort out/20240101_drill/metrics.kv) \ (sort out/20240201_drill/metrics.kv) | grep -E ^[]輸出里是變更后是變更前。如果archive_gap從 0 變成 1哪怕分?jǐn)?shù)還在 90 以上也要停下來(lái)查——缺口從 0 到 1 往往意味著某個(gè)歸檔目的地開(kāi)始間歇性失敗這種早期信號(hào)只有 diff 抓得到。還有一個(gè)我踩過(guò)的細(xì)節(jié)基線(xiàn)要跟著版本走。升級(jí)到 3.6 之后新增了檢查項(xiàng)舊基線(xiàn)里沒(méi)有這些鍵diff 出來(lái)一堆看著像惡化其實(shí)是新增。所以升級(jí)后第一件事是重跑一次 drill 生成新基線(xiàn)并把舊基線(xiàn)的metrics.kv單獨(dú)歸檔不要混在同一個(gè)目錄里比。我自己的習(xí)慣是每次演練前打印一行結(jié)論貼在工單里score / verdict / deny 列表 / 與上次 drill 的差異項(xiàng)。四個(gè)字段誰(shuí)看都清楚也逼著自己別只看總分。這套東西的價(jià)值不在腳本多聰明在于它把“我覺(jué)得可以切”變成“這份報(bào)告說(shuō)可以切而且和上次比沒(méi)變差”——前者靠人后者能交接。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
成年视频免费观看| 丁香五月激情棕合| 性色做爰片在线观看WW| 超碰高清在线| 婷婷综合五月天激情| 亚洲欧洲小视频9| 九九免费视频| 久久婷婷六月综合| 99精品色色| 狼人伊人干| 日本三级中国三级99人妇网站| A色色| 狠狠久久婷婷| 午夜不卡久久精品无码免费| 亚洲欧美成人在线| www久热com| www.99视频| 999热视频精品99免费在线| 久久综合影院 | 色婷婷色99国产综合精品| 26uuu视频欧美| 玖色色综合| 五月丁香成人网| 热久久这里只有精品| 久久成人性爱| 日本 欧美在线| 日木WWW视频| 五月丁香啪啪网| 五月天色婷婷成人| 激情五月天综合网站网站网站| 9 9热这里有精品| 丁香五月偷拍| AV在线大香蕉| 亚洲情欲| 深爱丁香激情| 天天做天天爱天天日| 99视频在线啪| 人妻有码乱操| 国产精品久久久久久久久久免费| www.婷婷| 综合伊人久久| 青青草激情网| 91九色精品女同系列| 久久激情四射| 夫妇交换刺激做爰| 99精品免费视频| 色色色色网| 26uuu国产色| 中文字幕,综合,91| 久久婷婷电影| 粉嫩AV久久一区二区三区| 五月婷婷深深爱| 婷婷五月丁综合| 337p大胆噜噜噜噜噜91Av| 婷婷色色色| 天天综合色| 97色在线视频| 色日本丁香婷婷| BT综合在线视频观看| 婷婷碰碰| 国产精品久久久久9999小说| 色婷婷综合网| 激情伊人五月天| 综合网亚洲| 99人人操人人摸| 色五月xxx| 九热久| 潮汕成人AV片在线| 成人丁香婷婷| 五月日韩中文字幕| 国产做A爰片毛片A片美国| 99视频内射三四| 亚洲人人操| 五月婷精品| 婷婷深爱色五月| 91婷婷丁香五月天免费视频网站| 99九九综合久久九九| 五月天婷婷色色首页| 一本色道久久88加勒比| 九九综合色| caop在线| 97狠狠色| 91色五月| 97性视频| 色色色色色色色色色色色色色97| 精品久久人妻| 夜夜操天天干| 草逼大片| 婷婷六月天亚州| 综合逼五月激情婷婷| 色婷五月天| 小色小蛇伊人婷婷色香五月| 色婷成人狠干| 天啪色| 久久性都花花世界成人免费视频| 久久久天堂国产精品女人| 久久九九网| 99激情网| 丁香花五月天激情| 九月婷婷久久久| 97色色综合| 久色婷婷200| 天天射综合网夜夜操| 天天干夜夜b| 三区激情四射av| 激情丁香婷婷六月天| 91九色首页| 欧美日韩五月婷婷| 五月婷婷婷| 久艹伊| 久久久免费图片视频| 久久99激情五月天| 色 噜噜 九月 婷婷| 色婷婷AV在线观看| 9精品一区| 亚洲韩国日产综合AV| 九久久九精品视频| 超碰免费电影| 第1影院之五月婷婷| 久久玖玖99| 99色免费观看全部| 中文AⅤ大全| 色五月丁香五| 亚洲AV成人一区二区在线观看| 激情婷婷丁香五月| 成人精品免费在线观看| 精品五月花| 97在线天堂| 日日操无码| 久久99免费视频网站| 日韩AV免费| 一本狠婷婷综合| 99碰碰碰| 影音先锋偷偷色男人站| 婷婷射综合| 啪啪综合| 99视频这里只有免费精品| 99视频内射三四| 色5月婷婷| 久久丝丝热| 99热这里只有精品268| 九九视频免费| 丁香五月激情站| 亚洲99手机免费看视频| 思思精品热在线| 欧美成人网99网| 五月天久久91| 免费婷婷| 五月丁香婷婷综合网| 99热这里只有精品8| 婷婷五月天综合网| 国产偷人爽久久久久久老妇APP | 久久久精品AV| 噜噜视频| 一本色道久久88加勒比| 激情丁香五月| 五月丁香六月综合基地| 国产99美少妇| 欧美视频在线观看噜噜| 五月天综合在线观看| 五月婷婷丁香五月婷婷丁香| 成人短视频在线| 99re8这里只有精品99re8热视频| 少妇大叫太大太粗太爽了A片 | 五月丁香激情综合网| 色五月婷婷大香蕉| 人人播| 欧美一级色| 九九视频在线观看视频6| 99热8在线| 五月天色色色色色| 色99视频| 亚洲色域网| 人妻尝试久久久久久久久久久久| 五月激情六月宗合| www.久久久.com| 天天爱天天爽| av操B网站| www.久9| 婷色五月天| 99色这里| 久久激情五月网| 五月天久久婷婷| 丁香五月婷婷激情网| 色综合久久888| 色婷婷丁香女女| 97操| 久久五月天色婷婷| 成人九九视频| 九九re精品视频在线观看| 六月婷婷五月丁香| 五月天婷婷色综合| 五月丁香999| 玖玖99福利| 伊人婷婷五月天av| 久久五月激情综合| 欧美性猛交99久久久久99按摩| 色99最新网址| 久久草中文日韩欧美| 丁香五月天欧美成人| 丁香五月狠狠综合欧美| 丁香五月成人婷婷| 人人爱操| 久久五月天免费网站| 亚洲综合五月天婷婷丁香| 久久五月天精品视频| 色婷婷AV五月天| 婷婷五月天激情文学| 99热碰碰热| AA片在线观看视频在线播放| 色九九一二| 玖玖爱伊人| 婷婷五月丁香高清无码| 天天日 天天草| 色狠狠综合| 日本精品人妻无码77777| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 激情五月天啪啪| 亚洲综合视频天天精品| 色综合激情| 婷婷在线视频| WWW色色色COM| 色婷婷五月影视| 亭亭五月天黑人2014| 热99在线精品| 久久久99精品免费观看| 内射在线CHINESE| 色综合久久8| 超碰成人免费| 色五月丁香伊人五月| 五月婷婷久久综合| 九九成年视频| 激情婷婷五月久久| 99久久激情视频| 六月丁香五月天| www,setingting| 亚洲国产成人综合| 亚洲最大五月天成人网| 婷婷天天日婷婷| 亚洲xx在线| 久99久热| 亚洲 无码 中文字幕 中出| 九九成人| 操老逼综合网| 婷婷99狠狠| 色综合网综合| 天天日夜夜拍| 久婷自拍视频| 亚洲爱爱无码婷婷色五月| 97碰碰在线观看视频| 202丰满熟女妇大| 亚洲成人网站在线| 欧美亚洲婷婷五月| 六月婷婷开心| 六月激情婷婷综合| 丁香五月大片| 久久婷婷伊人| www.99免费视频| 亚洲夜五月| 婷婷亚洲五月| 五月J香蕉婷婷| 亚洲无线视频| 五月丁香婷婷成人综合网| 激情综合婷婷| 亚洲无码www| 欧美黑人巨大猛烈cuckold| 午夜成人综合| 九九色婷婷五月天| 激情五月天婷婷图| 丁香婷婷激情| H亚洲| 综合丁香婷婷五月天| 五月天婷婷社区| 伊人91| 中文字幕,综合,91| 日日夜夜爽| 精品人妻一区| 久久免费丁香| 色欲天天综合| 亚洲亚洲人成综合网络| 色色精品色| 五月丁香六月婷婷啪啪| 欧美性生交xXxX久久久| 另类在线| 五月婷婷开心网| 精品二区| 婷婷五月丁香狠狠| 久久香蕉影院| h亚洲| 思思热再线视频| 可以看的AV| www狠狠爱com| 天天插天天| 中文字幕在线观看视频www| 9l视频自拍九色9l视频在线观看| 婷婷五月18永久免费视频| 99在线精品视频| 97在线精品视频| 五月天成人小说| 专区无日本视频高清8| 丁香婷婷久久 | 久久久WWW| 亚洲另类视频| 国产99久久久国产精品免费看 | 欧美久久婷婷| 久久hd| 丁香五月六月激情| 日日躁夜夜躁狠狠久久AV| 五月综合久久| 丁香花五月天激情| 亚洲狠狠婷婷| 五月亭亭六月天| 日产精品一线二线三线芒果| 色色色视频| 五月综合久久| 综合久久影院| 91九色欧美| 日韩成人影片在线观看| 热成人网| 丁香五月天堂婷婷| 6080av| 久热免费| 婷婷色导航| 久久婷婷内射| 丁香五月婷婷Av| 婷婷基地爱| 亚洲狠狠色丁香婷婷综合久久| 久久黄A片| 婷婷射丁香| www狠狠com| 五月丁香五月婷婷在线观看| 91操女| 九九热只有这里是精品| 美日韩成人| 97人人干| 国产激情久久| 日本九九九九| 色婷婷丁香五月| 99色热视频| 色色婷婷丁香五月天| 丁香五月综合激情久久潮喷| 十月丁香九月婷婷综合| 久久艹 五月天| 精品国产va久久久久久久| 色五月五月婷婷| 五月天激情影院| 久9久成人精品视频| 色99视| 亚洲第79页| WWW色色色COM| 五月婷婷第四色| 无码AV大香线蕉伊人| 99热日本| 久久人人做人人妻人人玩精品va| 操逼福利视频| 成人无码精品1区2区3区免费看| 亚洲色情免费网| 五月激情六月综合| www,8050,午夜三级| 九九九九国产| WWW色色色COm| 91婷婷丁香| 丁香五月首页| 婷婷色导航| 大香蕉人妻| 九九色逼| 婷婷欧美激情综合| 国产古装妇女野外A片| 色婷婷在线综合色播网| AA片在线观看视频在线播放| 天色综合网站| 91热久88| 五月天伊人网| www.97碰碰com| 午夜成人网站在线观看| 六月婷婷综合| 成片免费播放| 婷婷永久在线| 婷婷香蕉精品| 五月丁香亚洲婷婷| 热热99爱爱| 五月天伊人久久久久| 9有码中文| 激情九月综合| 亚洲激情亚洲激情| 免费视频WWW在线观看网站| 六月伊人婷婷| 香蕉视频性爱BB做爱| 五月婷婷丁香狠狠撸久久| 99视频日韩| www夜夜操| 一区二区乱码视频| 99精品视频网| 激情小说五月天中文字幕| 亚洲成人AV电影在线| 五月天婷婷激情春色小说| 熟妇天天综合| 五月婷婷导航| 色五月激情综合网| 思思热在线观看| 奸逼视频| 丁香五月色色婷| 超碰高清在线| 午夜成人AV在线| site:pnnrt.com| 激情婷婷五月天网址| 人妻第九页| 久久婷婷激情视频| 69久久99精品久久久久| 泰州成人视频| 96性爱视频| 激情电影五月婷婷| 玖玖婷婷色五月| 亚洲黄色影视| 超碰在线观看9| 亚洲精品国产setv| 中国丰满熟女A片免费观| 婷婷五月天亚洲精品| 97婷婷久久丁香| 激情啪啪五月| 深爱婷婷色| 色色亚卅| 五月天婷婷涩涩| 五月综合丁香婷婷| 婷婷色婷婷亚洲成人| 亚洲国产精品SUV| 91操操操| yazhochengrenavwang| 激情AV在线| 五月色综合网欧美网| 精品人妻伦九区久久AAA片| 亚洲激情综合五月婷婷啪啪| www.9797国产| 99热在线只有精品| 九九九九九九九热| 草榴视频网| 五月丁香婷婷成人网| 婷婷五月天天| 久久182| 操操国产| 五月婷婷六月激情在线| 97luluse| 欧美 日韩 成人 在线| 国产1区2区3区在线观| 日逼影音先锋男人AV资源站| 日韩aaaaa| 噜噜色天天开心| 国产成人AV不卡| 婷婷五月激情中文字幕| 怕怕視頻| 在线不卡AC| 婷婷操久久| 热久久成人| 婷婷日本在线| 99热这里只有精品16| 日逼免费视频| 色色色色色五月丁香| 激情综合亚洲| 伊人五月天在线| 182无码| 色色国产| 国产成人AV人人爽人人澡Va| 伊人大香蕉综合在线| 色九月| 色婷婷a三区麻| 亚洲色色五月天| 九九色逼| 亚洲中文乱字字幕在线永久| wWw色五月| 激情性爱婷婷| 99热97| 五月丁香 啪啪啪| 激情伊人网| AA丁香综合激情| 成人精品亚洲性爱| 这里只有精品,日韩视频| 9久操| 96丁香六月婷婷蜜桃综合久久| 日本成人小说婷婷六月| www,久久久| 五月J香蕉婷婷| 丁香五月天黄色片| 婷婷五月天色综合| 五月婷婷激情综合| 9久9久9久女女女九九九一九| 啊V视频在线观看| 99热99这里有免费的精品| 日韩 中文 欧美| 精品香蕉99久久久久网站| 丁香五月婷婷激情尤物| 五月婷婷深爱六月| 欧美久久婷婷| 91国产精品视频播放| 亚洲成人网在线观看| 热久久视频99| 色色色综合网| 色婷婷综合在线| 免费视频无码| 一区二区免费看| 五月天激情Av| 97人人操人人爽| 91碰人人| 天天爽天天爽| 五月婷婷激情综合| 超碰renrenai| 狠狠色色| 丁香六月色| 无码少妇高潮喷水A片免费| 激情综合五月婷婷六月丁香| 婷婷国产日本欧美| 亚洲操精品| 99久久66综合| 日本99热| 天天草天天爽| 婷婷五月婷婷五月| VA婷婷| www,色综合| 无码免费人妻A片AAA毛片西瓜 | 色婷婷综合久久久久| 天天干天天色天天干| 免费黄色视频网址| 婷婷色情五月| 狠狠爱青青草| 这里只有精品视频在线| www.婷婷六月天| 丁香五月综合在线播放| 丁香无月在线观看| 在线99精品| 婷婷丁香五月天综合在线日韩| 九九热免费| 草五月| 成人狠狠成人狠狠成人狠狠成人狠狠| 影音先锋按摩| 夜夜久久综合网| 欧美三级视频| 99在线精品视频| 婷婷久久五月丁香| 99精品视频免费观看| 欧美天天综合网站上去吧| 大香蕉操操| 五月丁香花成人社区| 婷婷亚洲综合| 日本系列_4页_777FP| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 丁香五婷| 免费碰碰视频久| 大香网伊人久久综合| 大香蕉天堂| 激情婷婷五月社区| 五月丁香激情四射| 天天爱天天天射AV| 色婷婷成人做爰A片免费看网站| 亚洲色综合| 激情五月天网| 天天天操天天天日| 婷婷六月激情丁香| 天天干天天日天天插| 99热啪啪| 成人五月天丁香婷| 丁香综合久久| 奇米色大香蕉| 激情五月天天| 五月综合激情| 亚洲九九视频| 色色婷| 99热综合色图| 色色A| 亚洲综合色棒| 热久久视频99| 99热首页在线30| 婷婷五月天成人在线视频| 国产av影片| 人人叉久| 伊人久久大香线蕉综合网站| 蜜乳AV成人| 婷婷影院A成人| 中国女人做爰A片| 成人AV在线电影| 欧美丁香婷婷五月| 色九月婷婷| 色婷婷9| 久久久久久人妻久久久久久久久久人妻久久久| 五月丁综合在线观看| 丁香五月AV在线| 婷婷丁香社区网| 中文字幕不卡+婷婷五月| 九九热99视频在线| 亚洲激情| AV大片在线观看| 免费一区二区三区| 久综合4| 色色色色色色色色色影院| 成人做爰高潮A片免费视频| 99色在线| 91丨九色丨国产打屁股| 久久色情| 久久99久久99久久99人受| 久久九九色| 97热这里只有精品| 五月婷婷香| 五月丁香婷婷基地| 99视频只有精品| 亚洲免费婷婷| 日本色五月| 久久五月丁香| 天天干天天干天天干| 99热这里只有精| 爱射综合| 色情五月综合婷婷| 99re8在这里只有精品| www.五月婷婷| 久久婷婷五月综合伊人| 激情九九这里只有精品| 婷婷五月天BBw| 色播五月婷婷五月| 丁香六月婷| 丁香五月开心亚洲| 亚洲在线操| 日本三级韩三级99久久| 能直接看的av网站| 99日韩| 婷婷综合视频| 五月开心播播网| 婷婷丁香熟女| 色婷婷丁香AV综合| 五月婷婷亚洲综合在线 | 国产操逼视频网站| 激情淫乱男女| 激情综合色婷婷啪啪六月天| ′久久99一| 青青草轻轻操| 91久久久久久久久久久| 女人露出p毛视频www网站| 天天干夜夜操A片| 丁香五月视频在线观看| 丁香六月毛片| 日韩精品二三区| 99热这里只有精品3| 天天干,天天日| 婷婷内射视频在线| 伊人久久艹| 超碰人人在线| 色五月激情五月| 大香蕉丁香婷婷| 成人在线视频一区| 91偷拍视频| 色噜噜狠狠色综合伊人| 99re热视频| 777色色色| 激情爱爱网站超大免费| 色综合激情| 狠狠干在线| WWW.桔色成人.COM| 91re色综合视频| 色婷婷色和| www.91婷婷| 精品婷婷| 亚洲色欲欧美一区二区三区| 日本欧美国产| 伊人在线视频| 99re在线观看| 亚洲日本韩国| 热婷婷av| 亚洲欧洲午夜成人精品av| 亚洲成人影视在线观看| 久久只有精品| 亚洲 五月 婷婷 成人| 亚洲天堂aaaa| 婷婷午夜精品久久久| 天天插天天干| 天天色中文字幕女优AV| 9999热在线免费观看| 另类小说五月天| 五月伊人综合| 丁香婷在线| 极品另类| 三级三久久线久久99久目本WW| 国产真人做爰视频免费| 大香蕉啪啪啪啪啪啪| 欧美丁香五月97色| 色综合色欲综合天天免费 | 丁香五月综合高清在线| 襙逼网| 99看片| 67194国产| 99热精品在线观看| 国产操逼视频网站| 五月婷亚洲精品AV天堂| 色狠狠六月| 超碰1999| 这里只有精品1| 激情98色婷婷五| 国内久久久精品99| 色色是色N一| 亚洲亚洲亚洲AAAAAA| 欧美婷婷日本| 懂色av粉嫩av蜜臀av| 99热精品99| 一区二区三区四区五区| 国产激情婷婷| 久久性视频| 成人视频免费观看高清完整版在线观看| 超碰人人操在线| 婷婷五月丁香伊人网| 婷婷五月丁香91| 国产乱妇乱子在线播视频播放网站| 99偷拍视频在线日本| 婷婷久久五月| 婷婷五月六| 丁香色色网| 热婷婷在线视频| 99色6爱9热| 99热这里只有精品86| 五月天激情视频| 狠狠色婷婷色| 狠狠狠婷婷五月综合| 人人爽天天爽| 内射人妻视频国内| 伊人久久大香线蕉av一区| 色婷婷五月天成人网| 婷婷五月AV| 99精品综合| 久99久视频| 九九99一区| 我爱大香蕉| 五月婷免费视频| 天天插天天很| 色综合区| 人人操婷婷| 第2色五月婷| 婷婷五月天国产在线播放| 婷婷五月丁香五月| 五月天婷婷伊人| 五月久久亚洲| 丁香五月电影| 伊人三级激情| 五月天婷婷伊人 | 亚洲精品久久久久久久久久吃药| www.五月天色色.com| 激情九九这里只有精品| 日本婷婷| 久一网站| 色婷婷九月| 婷婷丁香成人| 182TV亚洲| 日夜夜久久| www五月| 天天日夜夜欢| 操操操AV| 国产精品久久久久久妇女6080| 丁香婷婷五月六月久久| WWW,婷婷,COM| 99热这里都是精品| 午夜亚洲国产精品av一区二区| 思思精品热在线| 久久久GOGO无码啪啪艺术 | 久操大香蕉| 操操熟女| 婷婷激情区| 婷婷五月激情五月激情| 操碰久| 激情五月,深深爱五月| 可以免费观看的av| 成人免费在线电影| 色五月丁香五月婷婷五月成人网| 日韩成人综合网| www.91.com黄| 久久99热在线观看| 色色色九九九五月婷婷| 凹凸7777操操操| 欧美三日本三级少妇三99| 九九久久玖玖爱| 亚洲狠狠狠色婷婷综合激情久久久| 五月婷婷激情综合| 久久999久久999久久999久久| 成人九九视频| 538在线精品| 超碰99在线| 91视频五月丁香| 在线免费观看激情视频| 丁香五月在线观看综合| 激情四射五月天| 亚洲色碰| 五月天偷拍| 91热在线观看视频| 99热只有国产在线精品| 婷婷色中文字幕| 六月婷婷激情| 九九大香视频| 久婷自拍视频| 激情五月天色婷婷| 五月色情| 99热精品少| 亚洲精品大片| 色婷婷操逼| 亚洲精品在线视频| www.色情五月天.com| 巴基斯坦粉嫩无码视频| 五月天色小说| 五月天亚洲最大成人| 综合网五月| 99碰超| 色色色婷婷五月| 婷婷欧美激情| 丁香五月五月婷婷| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 五月婷在线色视频| 成人做爰高潮A片免费视频| 久久五月天婷婷视频| 亚洲中文字幕AV| 性热视频99精品| 人人爽天天爽| 五月色激情综合网| 激情开心五月天婷婷基地丁香社区| 欧美情色一区| 久久午夜理论| 免费看欧美成人A片无码| 99色精品视频| 玖玖资源在线视频| 激情综合啪啪| 婷婷伊人久久| 91视频精品99| 婷婷久久99| 91九色无码日韩| 99九九在线视频| 99人人精品| 成人va在线播放| 狠狠色狠狠爱| 天天操婷婷| www色综合亚洲92| www.国产色| 99caobi| 99热这里只有精品2| 久久丁香婷| 天天天天爽爽天干| 亚洲天堂制| 这里只有精品网站| 婷婷久久欧美| 思思热在线播放| 亚洲色图啪啪| 久久爱婷婷| 综合五月丁香97| 成人va视频| 五月婷婷丁香六月| 成人免费高清在线播放| 天天操中文字幕| 成人一级片| 婷婷五月天激情综合| 丁香五月综合| 亚洲综合激情五月久久| 另类视频五月天| 丁香五月天激情婷婷丁香六月 | 久草九一| 婷婷五月天激情丁香| 丁香五月 性爱| 丁香五月婷婷激情蜜桃| 婷婷五月天丁香久久| 人人摸人人摸| 9视频1在线| 亚洲啪啪网| 日韩综合天堂| 九九婷婷网五月天| 激情五月天婷婷久久久久久久久久久| 久久久久久人妻| 六月丁香深深爱| 操操操B| 九九综合久久| 色 噜噜 九月 婷婷| 五月天婷婷视频小说| 99热天堂| 成人av免费观看| 色婷婷五月天激情| 丁香六月激情综合| 丁香五月天婷婷中文| A片天天| 超碰1999| 久久Xx| 97狠狠色| 九九热亚洲中文在线观看免费| 丁香五月婷婷基地| 丁香婷五月| 91男人资源站| 婷婷丁香五月色| 丁香六月狠狠干| 99热亚洲精品| 五月婷婷天天色| 丁香五月激情图片婷婷 | 五月丁香999| 丁香五月自拍| 96自拍视频九色在线观看| 色五月丁香五月婷婷五月成人网| 日本人妻操| 久久婷婷91| 久久这里都是精品免费| 欧美日韩精品人妻狠狠躁免费视频| 亚洲精品久久久久久久久久吃药| 丁香9月婷婷| 九九人人精品| 丁香色六月| 噼里啪啦完整版中文在线观看| 色爱终和网| 99婷婷五月天激情| 欧美va在线观看| 狠狠搞五月天| 日本www免费九九| 色色色图| 丁香 亚洲 久久| 991国产精选视频在线播放下载| 在线观看的av| 99久热| 伊人喵咪a V| 丁香五月天色婷婷| 91婷婷丁香| 99无码精品| 日日夜夜综合| 九九青草热| 99re8这里只有精品99re8热视频| 五月天婷婷自拍图片在线观看| 伊人99久久| 这里只有精品视频在线| 日韩另类| 国产精品A成V人在线播放| 天天天天天天噜| 天堂成人久久| 99性爱| 狠狠草综合网| 婷婷色操| www久久99| 九九机热| WWW免费视频碰碰碰碰| 九九色热| 狠狠色无码| 成人短视频免费观看| www99热| 呦呦v线| 日韩五月婷婷| 超碰人人干| 婷婷六月丁香激情综合| 色欲色香,www,com| 色五月综合激情| 天天 日综合| 国产婷婷五月| 色色色色网| WWW.色婷婷.COM| 亚洲小电影在线观看黄999| 五月婷婷无码| 亚洲欧美一区二区三区爱爱动图 | 久久九九99视频| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 五月丁香综合网| 亚洲天堂久久| 天天 青草 丝袜制服 在线| 69色婷婷| 欧美色色色| 亚洲婷婷免费| 国产激情久久久| 日本久久久97| 成人在线精品| 久久成人精品视频| 插逼综合网| 人妻熟女一区二区AV| 开心激情站| 思思久久精品视频| 综合久久综合综合| 五月天激情小说网| 五月天综合在线观看| www99热| 色婷婷av综合网| 欧美99热| 66精品成人免费网站在线观看| 中文字幕,综合,91| 午夜天堂一区人妻| 这里只有精品久久| 一个色的综合| 在线观看亚洲AV| 亚洲精品V天堂中文字幕| 五月天播播中文字幕| 免费日韩99| 五月天婷婷激情在线色图| 伊人五月天| 色五月五月天色婷婷色五月| 亚洲婷婷开心五月| 九九青草热| 国产AV一区二区三区最新精品| 中文AV在线观看| 色亚洲色宗合| 99亚洲视频| 热思思九九| 婷婷午夜精品久久久| 国产精品久久久丁香五月八戒视频| 久久婷婷网| 黄色av高清| 青草五月天| 五月亭亭直播| 激情开心五月婷婷| 天堂久久婷婷| 九九婷婷激情综合网| 97色色婷婷| 欧美婷婷色五月| 五月婷婷在线短视频| 五月丁香六月婷婷激情四射| 噜噜网免费视频| 亚洲丁香五月综合| 97碰免费精采视频| 成人av在线网| 99热在线播放| 99网| 婷婷成人五月天一区| 五月丁香另类图片| 狠狠色丁香久久综合婷婷亚洲成人福利 | 极品人妻VIDEOSSS人妻| 五月丁香久久网| 婷婷色五月综合| 99这里有精品免费| 991国产精选视频在线播放下载| 五月丁香亭亭电影久久| 天天色综网| 99这里| 亚洲色欲AAAAAA| 日韩欧美五月丁综合| 视频久久9| 狠狠爱深色婷婷综合| 狠狠草在线观看| 欧美日韩aaa| 色婷婷丁香AV综合| 二色av| 光棍影院日韩精品| 黄网在线免费观| 99热精品无码| 色色国产| 视色综合| 色综合久久五月| 91婷婷搞| 97操女视频| 97高清国语自产拍| 九九色热| 亚洲va综合va国产va中文| 开心五月婷| 六月婷婷俺也去| 成人国产综合| 五月亭亭欧美女人| 91夫妻网站九色| 色色婷婷五月| 中文无码婷婷| 99热这里只有精品中文字幕| 99成人无码| 婷婷五月丁香五月丁香| 成人婷99最新| 丁香五月婷婷婷桃花影院| 2025超碰| 另类小说五月天| 亚洲色综合| 婷婷久久综合| 亚美欧色影院| 开心五月丁香啪| 丁香激情五月综合网| 人妻精品在线| 久久久久久久久久久44| 五月天婷婷Av| 久久久国产精品黄毛片| 五月天精品| 99日本精品视频热| 日韩aaaaa| 五月天久久网站| 色色色色色色色色色999| 亚洲 精品 综合 精品| WWW99热| www一起操在线观看| 色婷婷狠狠18yy| 人妻熟人中文字幕一区二区| 色五月成人| 精品久久99码| 91色逼| 五月丁香色综合| 婷婷丁香色无五月| 国产色五月婷婷| 啪啪五月天啪啪| 狠狠夜夜五月丁香| 成人看片网站| 五月婷婷狠狠干| 开心五月婷婷婷美女| 久久六月综合| 亚洲综合色婷婷文学| 91妻人人爽人人看片| 极品人妻VIDEOSSS人妻| 婷婷六月天| 婷婷色五月天在线观看| 91九色视频| 九九热大香蕉| 无码橾| 天天舔天天摸天天透| 8区视频在线| 国产精品久久久久久久久久| 丁香六月成人| 91porn一起草| 激情婷婷五月天网址| 激情五月天www| 日本在线视频www色| 99国产精品久久久久久久久久久| 99九精品| 日本人妻A片成人免费看片| 久久丁香五月天| 欧美色色色色色色色| 丁香五月欧美色综合| 2020日日干| 婷婷五月色情| 色五月成人| 囯产精品久久欠久久久久久九大| 亚洲五月天婷婷| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 激情小说在线视频| 激情综合网五月天| 五月婷婷之综合激情| 天天操电影院色狼性av| 欧美va欧美va差| 婷婷六月激情在线视频| 这里只有精品视频在线看| 99免费视频精品| 国际国外精品欧洲南美洲专区无码不卡| 很操日本7| 精品色色网| 婷婷成人综合五月| A A色色| 天天夜天天色天天| 天天操狠狠操| 五月丁香婷婷成人综合网| 九月色婷婷| 久久98| 深爱五月月天| 成人天天爽| 国产 A片 自拍| 丁香六月色情| 五月丁香成人版| 精品久久久久久久人妻| 思思久久99热只有频精品66| 婷婷六月色播| 五月丁香亚洲婷婷| 伊人啪啪网| www.天天日| 1区2区视频| 99狠狠色| 色色婷| 日韩人妻无码专区| 欧美人与性动交CCOO| www.色五月| 性色九九| 97sese婷婷| 亚洲色婷婷五月天| 99A级片| 激情久久久| 天天看片日日夜夜| 深爱激情五月天色婷婷| 亚洲婷婷激情888精品久| 超碰熟女拍拍| 六九色综合婷婷五月天| 九月激情综合| 91丨九色丨东北熟女| 六月激情婷婷| 亚洲国产精品二二三三区| 婷婷丁香91综合| 色约约视频一区二区三区四区五区| 精品一二三区久久AAA片| 性爱久久| 疯狂做受XXXX高潮A片动画| 丁香五月婷婷欧美性爱| 亚洲最大视频网站| 4399伦理午夜| 91超碰人人操| 99热 在线观看| 五月天婷婷伊人| http://www.sd-xiangsu.com/| 99这里有精品| 久久五月网| 99视频在线| 免费无码毛片一区二区A片| 精品热青草| 伊人久久综合| 91成人品| 大香蕉九九| 亚洲色婷婷婷婷人人爽| 婷婷丁香激情| 婷婷久久色| 久草A片| 日本欧美成人片AAAA| 久久久久久99日本| 玖玖五月丁香| 五月天亚洲图片婷婷| 2023天天日夜夜爽| 婷婷综合色五月天| 五月天狠狠色| 婷婷六月激情| 专区无日本视频高清8| 香蕉五月婷婷| 日韩超碰在线| 天天日日人| 一本伊人色婷| 深爱五月天| 天天天天天天操| 免费超碰在线观看| www.com任你艹| 久热91| 插少妇综合网| 欧美成人色婷婷| 五月丁香综合激情| 亚洲A片成人无码久久精品青桔| 亚洲一区二区 成人网站戴套| 99九无网码| 天天做天天爱天天日| 五月丁香六月香综合激情| 91激情五月开心| 丁香五月欧美| 国产精品日本一区二区在线播放| 久久五月热| 色99在线视频| 亚洲欧洲自拍图片专区五月天| 99热在线观看精品| 97操在线视频| XX色综合| 丁香五月婷婷亚洲另类| 五月天激情黄色小说在线观看| 玖操97| 日本va欧美va国产激情| 夜夜谢天天干| 综合久久狠狠| 2017人人操| 久久综合网免费视频| 五月婷婷基地| 成人av免费观看| 国产高清av黄色看片| 久久999久久999久久999久久| 久久这里只有精品5| 久久激情五月网| 激情九月综合| 日韩AV免费电影在线播放| 99热费观看| 丁香婷婷免费| 国产欧洲欧洲精品久久| 26uuu国产| jiujiuxiangjiaowang| 人人操日| 色婷婷先锋| 9l视频自拍九色9l视频自拍九色9l社区| 成人综合网站| 激情五月婷婷视频一区二区三区| 婷婷丁香六月五月天| 五月激情婷婷六月| 香蕉综合网| 99在线看视频| 97操操| 五月天激情社区| 亚洲中文字幕网| 97操碰人免费| 久久HD| 五月丁香激情婷婷综合| 丁香五月婷婷激情网| 色色色五月天婷婷| 成人网站免费在线播放| 人人爽人人爽人人爽人人爽| 超碰在线免费9| 国产3p露脸普通话对白| 五月天社区婷婷丁香社区| 五月婷婷天天色| 色五月激情五月开心五月| 免费无码毛片一区二区A片| 97欧美在线| 日批在线看|