欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Oracle RAC日志地圖與故障排查:從GI到ASM的日志路徑詳解

Oracle RAC日志地圖與故障排查:從GI到ASM的日志路徑詳解 凌晨兩點(diǎn)被監(jiān)控電話叫醒RAC某個(gè)節(jié)點(diǎn)被集群驅(qū)逐業(yè)務(wù)側(cè)報(bào)錯(cuò)蜂擁而至登錄服務(wù)器看到CRS資源一片紅。干過Oracle RAC運(yùn)維的人基本都經(jīng)歷過這種場面。真正拉開差距的不是你會(huì)不會(huì)重啟而是你能不能在三五分鐘內(nèi)判斷該看哪一本日志日志里的哪幾行字符才是關(guān)鍵證據(jù)。RAC架構(gòu)下的故障調(diào)查和日志路徑定位就是這樣一件“看著不起眼、做起來要命”的事。這篇文章把我這些年摸出來的RAC日志地圖和排查習(xí)慣整理出來適合正在帶RAC項(xiàng)目的DBA也適合剛接觸集群、對(duì)一堆日志目錄還沒建立起整體感覺的新手。目標(biāo)是讓你下次接到故障電話時(shí)第一反應(yīng)不是亂翻目錄而是按層、按節(jié)點(diǎn)、按時(shí)間線有序排查。1. 為什么要先建立RAC日志地圖1.1 單實(shí)例日志思維為什么不夠用單實(shí)例Oracle出問題Alert Log加Trace文件基本就是全部答案最多再看一眼監(jiān)聽日志和操作系統(tǒng)日志半小時(shí)內(nèi)能把來龍去脈理清楚。但RAC完全不是這套玩法。RAC多了一層集群件GIGrid Infrastructure還多了節(jié)點(diǎn)間的心跳網(wǎng)絡(luò)、共享存儲(chǔ)、ASM實(shí)例、SCAN監(jiān)聽任何一個(gè)環(huán)節(jié)出問題都會(huì)同時(shí)在不同日志里留下片段。你可能會(huì)遇到這種情況ocssd.log里記著節(jié)點(diǎn)被驅(qū)逐crsd.log里記著資源被關(guān)閉實(shí)例alert里只留下IPC通信報(bào)錯(cuò)監(jiān)聽日志里全是連接失敗OS messages里還能看到網(wǎng)卡丟包記錄——每本日志都有內(nèi)容但沒有一本能獨(dú)立講完整個(gè)故事。所以RAC排障的第一原則是先分層再分節(jié)點(diǎn)。你腦子里必須有一張日志地圖知道故障發(fā)生時(shí)應(yīng)該撲向哪一層、哪一個(gè)文件。1.2 RAC日志分層的整體框架我習(xí)慣把RAC的日志體系分成五層排障時(shí)按這個(gè)順序逐層推進(jìn)層次主要路徑/文件核心內(nèi)容典型場景集群件層GI$GRID_HOME/log/節(jié)點(diǎn)名/CRS、CSS、EVM、GIPC、mDNS等組件日志節(jié)點(diǎn)驅(qū)逐、資源切換、集群無法啟動(dòng)數(shù)據(jù)庫實(shí)例層$ORACLE_BASE/diag/rdbms/db_unique_name/實(shí)例名/trace/實(shí)例alert、前臺(tái)/后臺(tái)traceORA錯(cuò)誤、性能問題、壞塊ASM層$ORACLE_BASE/diag/asm/asm/asm實(shí)例名/trace/磁盤組掛載、ASM實(shí)例狀態(tài)、I/O錯(cuò)誤ASM磁盤組dismount、存儲(chǔ)鏈路異常監(jiān)聽層$ORACLE_BASE/diag/tnslsnr/節(jié)點(diǎn)名/連接建立、拒絕、超時(shí)業(yè)務(wù)連不上、SCAN VIP異常操作系統(tǒng)層/var/log/messages、dmesg、journalctl內(nèi)存、網(wǎng)絡(luò)、存儲(chǔ)、NTP、OOM私網(wǎng)丟包、內(nèi)存耗盡、時(shí)鐘跳變這張地圖不需要死記硬背但至少要形成條件反射看到“節(jié)點(diǎn)驅(qū)逐”先想到ocssd和GI alert看到“資源offline”先想到crsd看到“連接失敗”先想到監(jiān)聽日志和網(wǎng)絡(luò)層。2. 集群件GI層日志路徑詳解2.1 GI日志的根目錄$GRID_HOME/logGI日志不放在ADR里它獨(dú)立放在GI安裝目錄下結(jié)構(gòu)是$GRID_HOME/log/節(jié)點(diǎn)名/GRID_HOME在不同版本里位置不一樣常見的有/u01/app/11.2.0/grid、/u01/app/19.0.0/grid、/u01/app/grid等。你需要先用grid用戶確認(rèn)環(huán)境變量echo $GRID_HOME echo $ORACLE_HOME注意在grid用戶下ORACLE_HOME通常就是GRID_HOME。好多人排障時(shí)用oracle用戶登錄環(huán)境變量指向數(shù)據(jù)庫軟件的ORACLE_HOME結(jié)果一個(gè)勁兒在數(shù)據(jù)庫軟件目錄里找集群日志自然找不到。這是第一個(gè)容易踩的坑。進(jìn)入$GRID_HOME/log/節(jié)點(diǎn)名/你會(huì)看到以下核心文件文件/目錄進(jìn)程對(duì)應(yīng)關(guān)注點(diǎn)alert.log集群級(jí)告警所有重大事件的匯總?cè)肟赾rsd/crsd.logCluster Ready Services資源狀態(tài)變遷、OCR訪問cssd/ocssd.logCluster Synchronization Services節(jié)點(diǎn)成員關(guān)系、心跳、驅(qū)逐evmd/evmd.logEvent Manager事件發(fā)布、FAN通知gipcd/gipcd.logGrid IPC私網(wǎng)通信、網(wǎng)絡(luò)心跳mdnsd/mdnsd.logmDNS集群名稱解析、GNS相關(guān)ohasd/ohasd.logOracle High Availability Services集群啟動(dòng)第一階段agent/crsd/各類資源Agentora.*資源啟動(dòng)/停止/故障轉(zhuǎn)移2.2 排障首選的集群alert與組件日志集群alert.log是第一個(gè)要打開的文件。它不像數(shù)據(jù)庫alert那樣記錄SQL和內(nèi)部錯(cuò)誤而是記錄集群層面的關(guān)鍵事件節(jié)點(diǎn)加入/離開、資源狀態(tài)變化、OCR切換、ASM磁盤組掛載失敗等。節(jié)點(diǎn)驅(qū)逐發(fā)生之前這里通常已經(jīng)寫了原因相關(guān)的提示。ocssd.log是節(jié)點(diǎn)驅(qū)逐調(diào)查的重頭。CSS進(jìn)程負(fù)責(zé)維護(hù)節(jié)點(diǎn)成員關(guān)系私網(wǎng)心跳斷了、磁盤心跳異常、misscount超時(shí)都可能導(dǎo)致一個(gè)節(jié)點(diǎn)被另一個(gè)節(jié)點(diǎn)強(qiáng)制驅(qū)逐。在這個(gè)文件里搜這些關(guān)鍵詞grep -iE evict|reboot|not reachable|misscount|timeout \ $GRID_HOME/log/$(hostname -s)/cssd/ocssd.log如果看到clssnmPollingThread這類條目基本可以確定是心跳層面的問題接下來去查私網(wǎng)、防火墻、網(wǎng)卡驅(qū)動(dòng)。crsd.log記錄資源層的動(dòng)作。比如某個(gè)節(jié)點(diǎn)的ora.db1.db資源突然offline或者VIP failover到另一節(jié)點(diǎn)都能在這里找到來龍去脈。常見錯(cuò)誤如File not found、OCR initialization failed等會(huì)直接指向OCR或文件權(quán)限問題。gipcd.log和mdnsd.log是網(wǎng)絡(luò)排查的關(guān)鍵配角。私網(wǎng)通信異常時(shí)gipcd.log里會(huì)出現(xiàn)GIPC_retry、connection timed out之類信息mDNS解析出問題則可能表現(xiàn)為節(jié)點(diǎn)無法加入集群、SCAN VIP解析異常。很多RAC隱患其實(shí)早就在這兩個(gè)日志里有了苗頭只是平時(shí)沒人看。2.3 動(dòng)態(tài)獲取GI日志位置與配套命令路徑記不準(zhǔn)時(shí)用命令動(dòng)態(tài)獲取狀態(tài)信息比死記硬背可靠# 查看集群資源整體狀態(tài) crsctl stat res -t # 查看OCR備份情況 ocrconfig -showbackup # 檢查OCR完整性 ocrcheck # 查看votedisk位置 crsctl query css votedisk另外如果是安裝或升級(jí)后集群起不來還要看配置日志目錄$GRID_HOME/cfgtoollogs/比如crsinstall子目錄下的crsinstall_crs_節(jié)點(diǎn)名.log記錄了root.sh執(zhí)行過程中每個(gè)步驟的結(jié)果。19c安裝腳本卡住時(shí)這個(gè)文件往往比任何排障日志都直接。3. 數(shù)據(jù)庫實(shí)例與ASM層日志路徑3.1 實(shí)例ADR結(jié)構(gòu)與alert日志數(shù)據(jù)庫實(shí)例的日志由ADRAutomatic Diagnostic Repository管理核心路徑是$ORACLE_BASE/diag/rdbms/db_unique_name/實(shí)例名/trace/alert_實(shí)例名.log以O(shè)RACLE_BASE/u01/app/oracle、庫名orcl、實(shí)例orcl1為例完整路徑是tail -f /u01/app/oracle/diag/rdbms/orcl/orcl1/trace/alert_orcl1.log注意db_unique_name和實(shí)例名不一定相同RAC里實(shí)例名一般是orcl1、orcl2這種帶節(jié)點(diǎn)編號(hào)的而db_unique_name就是數(shù)據(jù)庫本身的名字。別拿實(shí)例名去匹配目錄名要用adrci確認(rèn)。最快的確認(rèn)方式是用SQL直接查SELECT name, value FROM v$diag_info;ADR Base那一行就是$ORACLE_BASEDiag Trace那一行就是trace目錄。也可以命令行下用adrciadrci adrci show homes adrci set home diag/rdbms/orcl/orcl1 adrci show alert -tail 50老系統(tǒng)10g、11.1沒有完整ADR實(shí)例日志在background_dump_dest和user_dump_dest指向的目錄一般可以在$ORACLE_HOME/rdbms/log附近找到。如果你接手的是老版本RAC先show parameter dump_dest確認(rèn)一下別再按11.2以后的路徑找。3.2 ASM實(shí)例與監(jiān)聽日志ASM實(shí)例的日志也在ADR下結(jié)構(gòu)類似$ORACLE_BASE/diag/asm/asm/asm1/trace/alert_asm1.log注意ASM實(shí)例名一般叫ASM1、ASM2目錄名里帶加號(hào)。ASM disk group dismount、ASM實(shí)例異常重啟、I/O錯(cuò)誤都從這本alert看起。比如ORA-15063表示ASM無法定位磁盤ORA-15032表示磁盤組操作失敗這些錯(cuò)誤會(huì)同時(shí)出現(xiàn)在ASM alert和OCR/集群日志里需要交叉印證。這里有個(gè)隱藏坑ASM和數(shù)據(jù)庫的ORACLE_BASE可能不是同一個(gè)。如果grid軟件和oracle軟件分開安裝ASM的$ORACLE_BASE通常是grid的路徑比如/u01/app/grid而數(shù)據(jù)庫實(shí)例的$ORACLE_BASE才是/u01/app/oracle。用oracle用戶登錄后直接按/u01/app/oracle找ASM日志必然撲空。建議在grid用戶下執(zhí)行echo $ORACLE_BASE再看。監(jiān)聽日志也在ADR體系里但是獨(dú)立的一類$ORACLE_BASE/diag/tnslsnr/節(jié)點(diǎn)名/listener/trace/listener.logRAC還有SCAN監(jiān)聽對(duì)應(yīng)目錄$ORACLE_BASE/diag/tnslsnr/節(jié)點(diǎn)名/listener_scan1/trace/listener_scan1.log如果是老版本監(jiān)聽日志可能在$ORACLE_HOME/network/log/。快速確認(rèn)方法lsnrctl show log_directory3.3 從alert到trace的推導(dǎo)線索實(shí)例alert.log里記錄ORA錯(cuò)誤只是一個(gè)起點(diǎn)真正的細(xì)節(jié)都在對(duì)應(yīng)的trace文件里??吹絆RA-600、ORA-3137這類錯(cuò)誤時(shí)alert里通常會(huì)標(biāo)注類似Errors in file /u01/app/oracle/diag/rdbms/orcl/orcl1/trace/orcl1_ora_12345.trc的路徑直接打開這個(gè)trace文件。排查SQL性能或存儲(chǔ)過程問題時(shí)也可以主動(dòng)制造trace。比如ALTER SESSION SET EVENTS 10046 trace name context forever, level 12; -- 執(zhí)行目標(biāo)SQL ALTER SESSION SET EVENTS 10046 trace name context off;生成的trace文件會(huì)帶著會(huì)話ID出現(xiàn)在實(shí)例trace目錄里。RAC節(jié)點(diǎn)間負(fù)載均衡時(shí)要先確認(rèn)會(huì)話落在了哪個(gè)實(shí)例再去對(duì)應(yīng)節(jié)點(diǎn)的trace目錄找文件。4. 操作系統(tǒng)層日志與跨節(jié)點(diǎn)排查思路4.1 系統(tǒng)日志里藏著RAC的“前傳”很多RAC故障的根因并不在Oracle層而在操作系統(tǒng)。最常見的就是私網(wǎng)網(wǎng)卡問題、內(nèi)存不足觸發(fā)OOM killer、存儲(chǔ)鏈路超時(shí)、NTP時(shí)鐘跳變。這些都在系統(tǒng)日志里有記錄。Linux環(huán)境優(yōu)先級(jí)最高的是/var/log/messages排障時(shí)重點(diǎn)搜以下關(guān)鍵詞grep -iE out of memory|oom-killer|network|link down|NIC|ntp|time step /var/log/messages尤其要注意的是RAC節(jié)點(diǎn)被驅(qū)逐很多時(shí)候是“果”不是“因”。比如某節(jié)點(diǎn)內(nèi)存耗盡觸發(fā)OOM導(dǎo)致CSS進(jìn)程被殺繼而整個(gè)節(jié)點(diǎn)被集群驅(qū)逐。這種場景下如果只盯著ocssd.log看你會(huì)一直糾結(jié)“為什么心跳會(huì)斷”而實(shí)際上OS日志早就告訴你原因了。另外dmesg -T也是快速排查內(nèi)核級(jí)問題的工具特別是存儲(chǔ)多路徑和網(wǎng)卡收包異常dmesg -T | grep -iE error|fail|timeout|scsi|eth4.2 RAC對(duì)時(shí)鐘同步的敏感與日志佐證RAC對(duì)節(jié)點(diǎn)間時(shí)鐘偏差非常敏感。集群內(nèi)時(shí)間不同步輕則日志時(shí)間線混亂重則影響事務(wù)一致性判斷甚至誘發(fā)節(jié)點(diǎn)驅(qū)逐。19c環(huán)境檢查NTP/chrony狀態(tài)timedatectl chronyc sources -v如果OS日志里能看到類似時(shí)鐘跳變、time step的信息就要高度懷疑集群故障與時(shí)鐘漂移有關(guān)。而且時(shí)鐘不一致會(huì)直接影響你跨節(jié)點(diǎn)排查時(shí)的判斷——同一個(gè)事件在兩個(gè)節(jié)點(diǎn)日志里的時(shí)間戳不一樣會(huì)讓人誤以為事件順序有問題。所以跨節(jié)點(diǎn)排查前第一件事就是對(duì)兩邊的date輸出。4.3 跨節(jié)點(diǎn)時(shí)間線對(duì)照排查法RAC排障不能只看單個(gè)節(jié)點(diǎn)尤其節(jié)點(diǎn)驅(qū)逐類問題必須同時(shí)拉出兩個(gè)甚至所有節(jié)點(diǎn)的關(guān)鍵日志按時(shí)間排列。我常用的做法是把每個(gè)節(jié)點(diǎn)的關(guān)鍵事件抓出來統(tǒng)一放到一個(gè)文件里排序for node in node1 node2; do ssh $node grep -iE evict|reboot|error|alert \ $GRID_HOME/log/$node/alert.log | sed s/^/[$node] / done | sort這樣能快速看出節(jié)點(diǎn)A在幾點(diǎn)幾分開始心跳異常節(jié)點(diǎn)B在幾點(diǎn)幾分發(fā)起驅(qū)逐節(jié)點(diǎn)A在幾點(diǎn)幾分才寫實(shí)例alert。時(shí)間線一對(duì)齊因果鏈就出來了。這一步看起來簡單但很多人排障時(shí)容易忽略導(dǎo)致在單個(gè)節(jié)點(diǎn)的日志里反復(fù)打轉(zhuǎn)。5. 典型故障場景的日志速查與排查路線5.1 節(jié)點(diǎn)驅(qū)逐先看ocssd還是先看GI alert節(jié)點(diǎn)驅(qū)逐是RAC最典型、也最讓人頭疼的故障。我的排查順序是打開GI alert.log看驅(qū)逐前后的集群事件描述通常能拿到最粗的定位方向。打開ocssd.log搜evict、not reachable、misscount等關(guān)鍵詞確認(rèn)是私網(wǎng)心跳問題還是磁盤心跳問題。打開OS messages確認(rèn)網(wǎng)絡(luò)、內(nèi)存、存儲(chǔ)有沒有異常記錄。回到數(shù)據(jù)庫alert看實(shí)例退出的最后動(dòng)作。這里有個(gè)常見誤區(qū)一上來就翻數(shù)據(jù)庫alert。數(shù)據(jù)庫實(shí)例只是集群的“被管理者”它往往是被動(dòng)退出日志里沒有根因。根因大概率在集群層或OS層。5.2 CRS資源異常與OCR故障如果crsctl stat res -t看到資源反復(fù)offline、啟動(dòng)失敗或處于UNKNOWN狀態(tài)處理路徑是打開crsd.logtail -200 $GRID_HOME/log/$(hostname -s)/crsd/crsd.log搜索關(guān)鍵詞error、failed、ocr、permission、cannot。OCR相關(guān)故障比較隱蔽。OCR文件損壞或無法同步時(shí)crsd.log里會(huì)出現(xiàn)OCR讀取失敗的信息。先用ocrcheck確認(rèn)OCR完整性再用ocrconfig -showbackup看自動(dòng)備份。OCR自動(dòng)備份默認(rèn)放在$GRID_HOME/cdata/節(jié)點(diǎn)名/下比如ls -l $GRID_HOME/cdata/$(hostname -s)/如果OCR真的出了問題可以用最近的備份恢復(fù)。需要提醒的是OCR備份文件屬于集群元數(shù)據(jù)日常巡檢時(shí)最好納入備份監(jiān)控不要等故障了才發(fā)現(xiàn)備份都過期了。5.3 監(jiān)聽異常業(yè)務(wù)連不上的第一現(xiàn)場RAC環(huán)境業(yè)務(wù)連接失敗時(shí)很多人第一反應(yīng)是查應(yīng)用、查防火墻其實(shí)應(yīng)該先看監(jiān)聽日志。連接失敗、超時(shí)、拒絕都會(huì)在listener.log里留下明確記錄。tail -200 $ORACLE_BASE/diag/tnslsnr/$(hostname -s)/listener/trace/listener.log常見錯(cuò)誤TNS-12537 TNS-12560監(jiān)聽器自身異常或網(wǎng)絡(luò)斷開。TNS-12514服務(wù)名沒有注冊(cè)可能要看實(shí)例是否注冊(cè)到監(jiān)聽。Connection timeout可能涉及防火墻或私網(wǎng)質(zhì)量。如果是SCAN連接失敗除了看SCAN監(jiān)聽日志還要檢查DNS解析是否正常。SCAN VIP對(duì)應(yīng)的域名解析結(jié)果必須包含所有節(jié)點(diǎn)DNS只返回一個(gè)IP往往會(huì)導(dǎo)致單點(diǎn)故障。5.4 ASM磁盤組與實(shí)例故障ASM磁盤組dismount、ASM實(shí)例異常、存儲(chǔ)鏈路故障這三者經(jīng)常串在一起。排查順序是ASM alert日志比如alert_asm1.log搜ORA-15063、dismount、I/O error。ASM實(shí)例trace目錄確認(rèn)具體是哪塊磁盤、哪個(gè)ASM盤失敗。操作系統(tǒng)存儲(chǔ)層日志dmesg和/var/log/messages里搜multipath、io error、timeout判斷是HBA卡、光纖線還是存儲(chǔ)設(shè)備問題。實(shí)例啟動(dòng)失敗時(shí)數(shù)據(jù)庫alert里通常能看到ORA-29701cluster無法識(shí)別實(shí)例、ORA-29740實(shí)例心跳失敗之類錯(cuò)誤這些錯(cuò)誤要和集群日志配合著看單看任何一本都不完整。5.5 常見故障日志速查表故障現(xiàn)象優(yōu)先查看日志關(guān)鍵搜索詞輔助日志節(jié)點(diǎn)驅(qū)逐GI alert ocssd.logevict, not reachable, misscountOS messages, gipcd.logCRS資源offlinecrsd.logerror, failed, OCRagent/crsd下日志OCR損壞ocrcheck crsd.logOCR, checksum, format$GRID_HOME/cdata備份監(jiān)聽連接失敗listener.log / scan監(jiān)聽日志TNS-12537, TNS-12514, timeout實(shí)例注冊(cè)狀態(tài)ASM磁盤組dismountASM alertORA-15063, dismount, I/O errordmesg, multipath日志實(shí)例啟動(dòng)失敗實(shí)例alert traceORA-29701, ORA-29740crsd.log, OS messages6. 我在實(shí)際排障中用到的幾個(gè)實(shí)用技巧6.1 日志膨脹與磁盤空間檢查要養(yǎng)成肌肉記憶排障過程中最容易忽略的其實(shí)是磁盤空間。$GRID_HOME/log、$ORACLE_BASE/diag都是日志增長大戶。crsd.log長時(shí)間不清理漲到幾個(gè)GB很常見實(shí)例alert和trace文件在故障發(fā)生后會(huì)瞬間暴漲。如果/u01被日志塞滿輕則Oracle進(jìn)程報(bào)錯(cuò)重則整個(gè)集群異常雪上加霜。我的習(xí)慣是任何RAC排查開始前先執(zhí)行一條df -h確認(rèn)關(guān)鍵分區(qū)剩余空間。這浪費(fèi)不了半分鐘但能避免后期無法生成trace文件、無法寫dump文件的窘境。日常管理中ADR部分可以利用adrci設(shè)置保留策略adrci set home diag/rdbms/orcl/orcl1 adrci purge -age 43200 -type trace43200是分鐘數(shù)相當(dāng)于30天。GI日志不在ADR管理范圍內(nèi)需要靠腳本定期歸檔清理。注意不要直接rm正在被進(jìn)程寫入的日志文件容易造成文件句柄懸空、空間無法釋放。正確做法是先把日志mv走再配合進(jìn)程或維護(hù)窗口處理。6.2 調(diào)整組件日志級(jí)別的正確姿勢一般不需要?jiǎng)尤罩炯?jí)別默認(rèn)級(jí)別足夠日常排查。但如果某些問題復(fù)現(xiàn)頻率低、線索模糊可以針對(duì)組件臨時(shí)調(diào)高日志級(jí)別crsctl set log level 3 cssd調(diào)高后會(huì)記錄更細(xì)的CSS交互過程對(duì)定位心跳類問題有幫助。但注意日志級(jí)別調(diào)高意味著IO開銷增大、日志量暴增高峰期慎用。排查結(jié)束后記得調(diào)回原級(jí)別否則日志可能以極快速度膨脹。6.3 疑難問題記得收集診斷包遇到自己搞不定、需要求助的場景別手動(dòng)打包一堆日志直接用官方工具11.2及以后版本可以用diagcollection.sh$GRID_HOME/bin/diagcollection.sh --collect12.2以后更推薦TFA$GRID_HOME/bin/tfactl diagcollect -type daily -srdcTFA會(huì)把GI日志、數(shù)據(jù)庫日志、OS日志、網(wǎng)絡(luò)配置等匯總成一個(gè)壓縮包并自動(dòng)帶上時(shí)間戳。給原廠support提SR時(shí)這個(gè)包比你自己零散截取的日志有價(jià)值得多。排障經(jīng)驗(yàn)豐富的人未必每類問題都能獨(dú)立解決但懂得在合適的時(shí)機(jī)收集完整證據(jù)鏈?zhǔn)菍I(yè)DBA的重要素質(zhì)。6.4 我個(gè)人的排查習(xí)慣最后分享一個(gè)自己的習(xí)慣不一定適合所有人但實(shí)測多次都很穩(wěn)接到RAC故障報(bào)告后不急著看alert也不急著重啟先花兩分鐘做三件事——df -h看磁盤、date確認(rèn)本機(jī)時(shí)間、crsctl stat res -t看資源全景。然后才打開GI alert順著時(shí)間線往下翻。這三件事解決的是“方向”問題。方向?qū)α撕罄m(xù)看ocssd、crsd、實(shí)例日志時(shí)內(nèi)心已經(jīng)有一個(gè)基本判斷。方向錯(cuò)了可能在某個(gè)組件的trace文件里翻一晚上最后一查是磁盤滿了或時(shí)間漂移。RAC排障不是拼手速是拼誰的地圖更清晰、誰更早鎖定層次。日志路徑從來不是背出來的而是在一次次故障現(xiàn)場練出來的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99视频在线观看视频| 99这里只有| 欧洲亚洲免费视频9| 日韩有码一区| 国产精品天天狠天天看| 免费AV播放| 天天做天天爱天天做| 婷婷丁香五月麻豆| 五月婷丁香久久综合| 激情综合五| 久久伦乱| 激情五月丁香亭亭 | 九九久久综合网站| 亚洲性图一区二区三区| www.99婷婷| AV网址大全在| 99爱在线| www.金莲av| 91超级碰碰| 中文资源在线a | 婷婷大美在线| 狠狠色五月激情| 99热在线观看精品| 另类视屏| 四季AV综合网| 99热香港| 色婷婷综合久久| 婷婷大香蕉| 天天撸夜夜爽| 熟女乱论网| 欧美熟女99| 99久免费视频| 国产人人操| 久久久一级AAA| 九九热精品| 午夜激情综合| 五月丁香大相交| 色综合激情| 色狠狠色狠狠| 五月天激情婷婷丁香| 亚韩在线视频| 婷婷综合色图| 婷婷久久五月丁香| 国产综合视频婷婷| 99久超碰| 色色色丁香| 欧美槡BBBB槡BBB少妇| 久久女婷| 丁香九月婷婷| 99免费热视频在线| 天天干天天操天天爽| 性综合网| 亚洲中文乱字字幕在线永久| 婷婷四色成人综合色视| 亚洲婷婷丁香五月天激情小说| 色哟哟性爱av| 久久99精品久久久久子伦| 99久久国产综合精品五月天喷水\| 久婷五月| 超碰精品在线| 久久婷婷六月综合| 综合色色色| 婷香五月| 色五月天综合网| 久久色情| 九九热在线观看视频| 久久小视频| 激情五月丁香亭亭| 夜夜久久综合网| 欧美这里只有精品| 久色大| 99热这里是精品| 日本 @ va 免费| www.色五月天.com| 五月宗合激情网| 五月丁香狠狠地噜噜噜噜| site:pzdcoin.com| 天天操夜夜夜夜爽| 五月婷婷少妇之| 99激情视频热| 天天开心AV色综合婷婷五月天| 婷婷六月丁香在线| 日日天天操| 婷久看人爽| 婷婷丁香五月视频| 99精品无码网站| 思思热久久婷婷五月天| 亭亭五月激情亚洲在线| 久久机热这里只有 | 欧美久久婷婷| 五月综合无码| 久久九九热视频| 国产精产国品一二三在观看| 99视频网址| 色欲久久久久久综合网综合网| 亚洲视频图片婷婷五月| 久久黄色片| 99热99这里有免费的精品| 无码毛片992367| 色插综合网| 国产高清RV综合aVa| 日本ww亚洲| 日本熟妇人妻在线| 99久久玖玖| 亭亭五月色男人| 79精品视频在线观看,| 国产精品色婷婷AV综合色色| 天天插插天天| 色久综合| 色综合久久伊伊婷婷五月| 色狠狠999综合| 精品人人操| 青草网在线观看| 做爱夜夜干天天操| www.五月天。com| 这里只有精品视频在线看| 五月的婷婷六月丁香| 亚洲无码成人网| 一區四區歐美日韓| 丁香婷婷视频一区二区| 五月天激情啪啪| 久久国产色| 毛片色五月| 天天日天天爽| 狠狠草狠狠草| 精品一二三区久久AAA片| 91五月天| 2015在线中文字幕| 五月丁香激情怕怕| 久久综合网免费视频| 天天天操天天天爰| 国产一二三四五六七八视频| 五月天啪啪| www.yw色| www久久99| 色婷婷成人做爰A片免费看网站| 四LLL少妇BBBB槡BBBB| 青柠影视免费高清电视剧| 亚洲婷婷五月天| 99精品丁香五月| 99惹 精品在线| 99久热精品在线| 九九色人| 五月婷婷色情| 婷婷人人操| 色偷偷五月天| 97午夜一区二区| 色五月婷婷自拍| 全亚洲最大的婷婷五月天网站COM| 五月婷婷免费在线| 色五月婷婷久久大| 中文字幕,综合,91| 99热这里| 黑人糟蹋人妻HD中文字幕| 野战J办公桌椅H| 天天综合色99| 九九热视频精品2| 99精品在线下载| 66成人网| 大香蕉啪啪网| 色播色丁香五月| 99热在线精品观看| 天天插天天日天天爽| 五月婷婷免费在线观看| 天天干com| 精品久热69| 伊人五月天| 万月丁香狠狠爱| 99色在线观看视频| oVV4WIB3vFi8D| 欧美婷婷精品激情| www.五月天| 亚洲深喉aV| 婷婷欧美激情| 欧美成人Va| 狠狠色噜噜| 99色中文| 婷婷大香焦| 久久免费丁香| 伊人日日干| 天天操天天干天天日| 色婷婷综合久久久久| 激情开心五月天| 人人操婷婷| 丁香色综合| 狠狠干在线视频| 这里只有精品1| 激情五月久久| 亚洲国产网站| caopeng超碰| 久久精品只有这| 亚州操人在线视频| 超碰成人在线免费观看| 丁香五月色色| 丁香婷婷伊人| 日本五月婷| 99视频热99| 亚州色婷婷| 五月丁香六月婷婷婷婷| 精品99在线| 中文字幕无码AV| 久久98热re| 国产日日夜夜操| 欧美日比视频| 色婷婷很很丝袜| 久久婷婷综| www国产亚洲色婷婷com| 日本va欧美va欧美va| 久久亚洲婷婷| 不卡的AV网站| 狠色狠色综合久久| 狠狠色综合777| 五月天开心网| 午夜无码熟熟妇丰满人妻 | 久久一级片| va婷婷在线| 五月天激情小说| 精品一二三区久久AAA片| 五月天大香蕉视频| 天天摸,天天爽| AV色婷婷| www网站在线观看| 久热2025无码| 五月天婷婷丁香蜜桃91| 天天拍天天操| 五月婷婷 激情按摩| 99免费热视频在线| 久久久久久性爱视频| 五月丁香激情啪啪| 人人草碰| 991国产精选视频在线播放下载| 亚洲午夜视频| 久99| 丁香五月区| 亚州性爱99| 色色国产| 久久婷婷五月丁香网| 一本道综合网| 亚洲综合激情五月久久| www.久操| AⅤ色区| 91天天操天天干天天射| 天啪天啪天啪天啪| 色狠狠六月| 激情五月天丁香| 婷婷五月综合网激情| 九九视频免费| 色天天综合| 丁香五月色播中文在线播放| 色婷婷情片| 婷婷五月色影视先锋| 五月婷婷激情网| 岛国在线观看91| 色五月天影视| 日本婷色| 九九伦子片| 婷婷大美在线| a在线观看| 婷婷久久丁香五月| 五月精品| 91seAV| 男人综合网| 俺去也五月| 99在线视频免费| www、丁香五月天| 婷婷综合六月| 久久伦乱| 97成人视频| 精品九九视频在线观看| 97在线精品视频| 国产亚洲成AV人片在线| 六月丁香深深爱| 五月丁香综合在线| 99re久久| 狠狠综合网| 一级二级色大片| 日日日天天干| 婷婷丁香五月天之开心少妇| 99在线观看视频精品| 99碰网站| 亚洲成人九九九| 丁香五月激情无码视频| 激情五月天网| 99国产小视频免费观看| 91婷婷丁香| 高清成人综合| 岛国av网站| 大香蕉太香蕉视频97| 九九免费视频在线| 亚洲激情四射| 蜜臀av无码久久久久久久久| www.久久爱.com| 日韩无码系列| 激情五月综合| 超碰97久久| 亚洲最大激情无码| 五月丁香另类网| 亚洲色综久久五月| 五月天丁香婷婷视频网址| 人妻射精AV| 丁香九月激情| 成人片在线播放| 99精品一二三四视频| 男女啪啪视频久 9| 五月激情综合深爱| 操逼视频网址| 五月天婷婷婷| 色婷婷综合在线| 九九热只有精品| 色吧婷婷五月亚洲| 五月丁香激情欧洲啪啪| 亚洲乱码日产精品BD| 思思99热这里只有精品| 97人人操人人| 4399在线日本A片| 欧美色久| 精品人人操| 五月婷婷色色色| 99热老司机| 大香蕉久艹| 伊人激情啪啪| 天天干夜晚夜操| 久久网站免费亚洲| 国产亚洲精品AAAAAAA片| 久热9| 欧美婷婷丁香五月社区| 97亚洲婷婷| 天天色视频| 色婷av| 五月丁香六月婷婷激情网| 狠狠色丁香久久综合婷婷亚洲成人福利 | 成人精品在线| 天天插天天草人人玩| 色五月婷婷丁香五月| 超碰人人91| 操逼三区| 精品成人久久久久久久_一二三四视| 五月天激情网图片| 99在线免费视频| 伊人久久婷| 丁香婷婷五月激情| 色婷婷电影网| 91婷婷五月天综合视频| 亚洲成av人影院| 男人综合网| 久久久久久久11111111111| 色婷婷婷婷成人网| 九月丁香八月婷婷加勒比| 五月天欧美 另类小说| 婷婷激情五月综合| 久热久| 激情五月天网站| 激情99热| 99热香港| 丁香六月婷婷五月婷婷| www.91在线看| 色五月婷婷基地| 五月总合激情网| 天天日天天爽| 天天夜夜操| 婷综合六月| 99精品无码| 香蕉国产2013| 九九成人视频| 六月丁香婷婷在线波多| 六月色丁香婷婷| 26uuu亚洲欧美日本| 婷婷不卡基地| 先锋资源婷婷| 婷婷五月丁香综合亚洲| 天天干一干| 99精彩视频在线观看| 一本色道久久88加勒比| 婷婷六月激情丁香| 在线精品97| 丁香五月综合在线观看| 久婷视频| 97福利视频| 五月丁香婷婷无码中文| 无码少妇高潮喷水A片免费| 9久9久9久女女女九九九一九| 丁香5月婷婷| 婷婷丁香91综合| 五月天天爽| 婷婷久久久| 91九色在线视频| 婷婷在线免费| 碰97 久| 六月丁AV| 久久婷婷色色| 日韩免费视频| 深爱婷婷网| 五月丁香好婷婷A片网| 欧美色99| 久久久久综合激动五月天| 99国产精品白浆在线观看免费| 国产26uuu视频| 久久日曰| 成人丁香五月| 人妻精品久久久久久久| 国产精品岛国片在线观看免费| 天天爽天天| 性色人人爽| 99久久精品国产色欲| 国产美女最新VA在线免费观看| 五月天开心色色网| 色色99| 99热99ai| 日韩啪啪自拍| 狠狠草在线观看| 九九综合网色全集| 99热在线看| 色色色色色热| 国内自拍1区| 日韩无码人妻一区二区三区综合| 日韩av手机在线观看| 97五月天婷婷| 丁香色色色| 亚洲亚洲人成综合网络| 婷婷色5月激情网| 情色婷婷五月天| 乱精品一区字幕二区| 亚州性爱99| 91视频精品99| www.丁香黄色五月天人与| 亚洲最大视频| 这里只有精品热| www.色色com| 丁香五月天之婷婷影院| 99.色| 综合99综合久久久久久久| 高清无码入口| 丁香六月在线| 亚洲精品五十一区| 香蕉伊人综合| 免费看欧美成人A片无码| 色五婷婷| 激情久久四色| 国洲夜色亚热在线久久| 九九激情综合| 婷婷色av| 精品无码av丁香五月激情| 91妻人人爽人人看片| 色五月激情五月天| 狠狠88综合久久久久噜噜噜| 99热人人操人人操| 天天爽天天爽| 色5月丁香婷婷| 5月婷婷综合| 日本欧美999久久久三级片| 熟女激情网| 丁香五月婷婷成人色区| 色婷成人狠干| 婷婷伊人| 91ncm视频| 新激情五月天色播| 婷婷丁香射射| 久久婷中文字幕| 八戒青柠影视剧在线观看| 激情五月色在线播放| www色五月| 久草免费福利视频| 五月丁香六月激情| 夜夜爽天天干| 九九草热在线观看| 99精品自拍| 丁香五夜激情四射夜夜夜| 五月综合久久| 噜噜色婷婷| 99在线观看这里都是精品| 丁香五月综合激情久久潮喷| 婷婷激情综合| 综合五月天| AV国产有码| 六月婷婷色综合| 青青草网武则天| 国产又色又爽又黄又免费| 色综合99| 综合深爱五月| 久久久久久久综合狠狠综合| AV在线二十六页| 午夜天堂啪啪| 婷婷色导航| 99这里只有精品在线观看| 91人人超碰在线| 一本到不卡高清DVD| 大香蕉五月丁香| 久久丁香久久| 色综合久久伊伊婷婷五月| 久久亚洲无码| 极品五月天| 午夜成人片400| 日日干综合| 色屌丝中文字幕| 欧美黑人巨大性生话| 97色碰碰公开视频| 五月天婷婷激情综合| 天天操夜夜操| 五月天激情偷拍| 97久人人| 色9999综合久久| 亚洲精品又粗又大又爽A片 | 九月婷婷色色| 综合久久十| 六月婷婷综合| 丁香五月六月综合激情| 丁香五月婷婷色情综合| 久久99最新| AV在线免费播放| 五月花婷婷最新| site:xiongshengzz.com| 丁香伍月婷电影全集| 亚洲欧美婷婷五月色综合| 天天插天天干天天舔| 六月婷婷激情图片| 亚洲成人综合网在线免费观看| 91性高潮久久久久久久久| 婷婷深爱五月| 日日插日日干| 色婷婷六月开心中文字| 丁香五月激情婷婷视频| 热99久| 97婷婷五月丁香| 99久久99综合| 午夜天堂一区人妻| 思思热视频| www久久久久久久97| 婷婷五月天成人网站| 亚洲五月丁香综合网| 综合网网欲色| 久久99免费视频| 日本操B视频| 五月天综合| 日韩成人免费电影| 无码人妻激情| 日韩在线一级| 97色色色| 五月婷视频| 天天爽免费视频| 97干在线观看视频| 五月香蕉婷婷| 99伊人性爱在线影院| 婷婷五月欧美综合| 欧美三级巜人妻互换| 日本丁香五月| 99视频这里有精品| 网站免费一站二站| 日本欧美在线| 永久精品| 婷婷成人视频| 丁香六月综合| 大香蕉综合| 五月天婷婷影院| 九九RE视频在线精品| www.黄色片-久久成人国产精品在线播放-999AV| 深爱激情丁香五月| 色情五月婷婷| 精品人妻一区| 狠狠狠狠狠狠| 色综合久久99色| 超碰免费人妻| 久久综合99| 美女五月天| 99热这里只有精品在线观看| 99精品自拍视频| 99啪啪| 五月天桃色深爱网| 99精品视频在线观看| 天天综合网在线| 天天天天干| 少妇激情五月天| 日本婷婷| BBWCUCKOLD精品熟妇| 色色婷婷丁香| 少妇高潮呻吟A片免费看软件| 丁香五月婷婷基地| 激情小说色五月| 婷婷五月天最新网址| 超碰只有精品在线| 五月婷丁香久久综合| 亚洲成人网址在线观看| 五月婷护士| 激情婷| 亚洲AV第二区国产精品| 欧美日韩国产伦精品日韩人妻一| 五月天久久激情| AV成人在线播放| 色色五月天丁香| 五月天激情国产综合婷婷婷就去爱| 色色色五月婷婷| 亚洲午夜精品久久久久久人妖| 丁香婷婷激情综合五月激情| 激情综合五月| www.狠狠狠.com| 五月欧美色色五月| 婷婷综合色播网| 天堂综合久| 婷婷色五月激情| 丁香五月社区| 97色射| 激情五月婷婷色色| 香蕉狠狠爱视频| 人人草公开操| 甈吧vv| 婷婷亚洲欧美丁香五月| 色导航色婷婷五月天在线观看| 丁香五月另类小说| 婷婷久久99| 少妇综合网| 久久久国产精品黄毛片| 久久五月婷综合| 五月开心啪啪| 九九人人操| 五月社区丁香| 婷婷五月天激情网站| 五月花在线观看视频| 五月色婷婷综合| 综合色色婷婷| 99热这里有精品| 午夜天堂一区人妻| 9999综合99综合人| 亚洲AV人人操| 五月婷婷丁香深深爱| 亚洲视频丁香网va| 五月丁香在线看| 色婷操逼| 国产亚洲精品久久久久久郑州 | 伊人喵咪a V| 99热超| 天天爽在线视频| 色五月婷婷大| www夜夜操com| 玖玖在线视频| 婷婷五月丁香亚洲| 日本激情91| 五月天第四色开心色播| 白天AV月月| 日婷婷| 亭亭五月色男人| 人人摸人人操人人爱| 一级视频网址| 另类激情五月| 欧洲日韩一区二区三区| 狠色色狠网| 五月丁香久久久久| 久久久国产精品黄毛片| 色婷婷AV在线观看| 九九热黄色| 色五月婷婷视频| 丁香五月在线观看| 九九AV| 五月丁香A∨在线| 久久婷婷亚洲| 婷婷六月伊人| 大香蕉精品视频| 色一色综合| 五月婷啪啪| 欧美综合激情五月丁香| 99热这里只有精品搜| 丁香六月久久| 99热只有这里有精品| av国产精品| 中文字幕成| 九九九九九无码| 青青草成人网| 91久久婷婷| 性爱网六月丁香| 天天搽天天射| 5五月综合网亚洲| h在线看免费版在线看| 香蕉人妻AV久久久久天天| 久re在线| 婷婷六月丁香在线| 九九久久网| 色色婷| 欧美亚洲成人在线| 亚洲欧洲自拍图片专区五月天| 久久视频这里99| 婷婷五月丁香基地| 丁香社92视频| 五月天婷亚洲天综合网综合| 色狠狠色狠狠| 色婷精品91| 婷婷伊人五月天| 久久婷婷色| 丁香五月天天高清在线| 超碰com| 婷婷五月天免费99| 亚洲无码另类| 色五月激情五月天| 精品人妻伦九区久久AAA片| 久久99精品久| 丁香五月成人| 五月丁香亭亭激情操逼网| 99视频在线精品| 七七色色综合| 亚洲精品又粗又大又爽A片| 97人人操人人拍| 久久99热只有精品| 日韩AAAAAAAAAAA片| 九九热精品视频| 亚洲视频另类| 丁香婷婷基地| 91操人| 久久九精品| 深爱五月中文字幕| 婷婷六月色| 99色在线视频观看| 激情婷婷狠狠干| 婷婷激情综合| 一区中文字幕电影| 婷婷丁香五月激情中文字幕版| 六月婷婷五月天| 无码AV免费精品一区二区三区| 日本97久久久精品| 狠狠色狠狠色综合日日91| 97人人操人人| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 色色激情五月天| 9色免费网| 五月婷婷激情色情网| 激情五月天婷婷| 亚洲av另类在线观看| 五月丁香激情综合| 久热免费| 久综合九综合99| 第二色AⅤ| 丁香五月综合| 久久婷婷五月综合色丁香| 伊人大香五月天| 97资源碰碰| 99九九热视频免费| 99色在线观看视频| 午夜天堂一区人妻| 在线中文字幕视频| 日本3级片一区2区| 日本操B片| 婷婷五月久久| 丁香久久| 婷婷丁香社区网| 久99在线视频| 欧美男女婷婷| 都市激情小说婷婷| 精品夜夜澡人妻无码AV| 91色操| 国产精品人人妻人人爽| 亚洲国产精品二二三三区| 亚洲免费观看高清完整版AV线| 久久五月丁香综合17C| 婷婷操逼| 国产成人AV在线播放| 婷婷五月激情综合啪啪| 99re欧美精品| 丁香六月AV| 色啪影院| 久久婷婷久久| 天天综合网亚洲综合网| 亚洲超碰在线| 婷婷丁香在线| 五月婷婷欧美| 婷婷大乡焦噜噜| 色在线视频网2025| 在线免费观看激情视频| 亚洲色婷婷99一9|| 91久操| 色色色色色热| 9+1视频网址| 91色综合网| 精品女人九九九| 性爱激情小说AV五月丁香花| 九九热在线观看视频网站| 天天操比比| 天天噜日日噜综合无码| 色婷婷久久综合久色综| 丁香五月婷婷激情四射深爱激情| 亚洲婷婷在线播放十月| 欧洲亚洲午夜| 99久久.www| 色播播婷婷| 国产91在线视频| 色色综合色| 中文字幕操比影片| 欧美色色色| 婷婷99视频在线| 五月婷婷,六月激情| 婷香五月激情视频| 婷婷综合久久| 99热8| 天天综合网、天天综合色| 五月婷婷色综图片| 久久婷婷五月综合激情国产| 97婷婷五月| 岛国AAAV| 天天摸天天舔天天爽| 五月婷婷说| 成人午夜视频精品一区| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 91碰碰| 中文字幕 中文字幕明步| 五月婷婷亚洲| 久久久久久综合88| 九九九九九999999| 色色色色热热| 激情綜合網址| 香蕉五月婷婷| 91碰| 另类少妇人与禽zOZZ0性伦| 99热国内精品| 欧美色九| 色狠狠综合入口| 五月婷婷综合在线| 日本久久人| 久久婷婷综合国产| www99久久| 成人av中文字幕| 成人 视频免费观看网站| 色五月色开心开心五月| 91vip在线观看| 九热精品| 国产欧美日韩性爱| www久| 岛国资源网| 亚洲 在线 另类| 丁香久久五月天视频在线观看 | 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 99色在线观看视频| 久久92| 五月天丁香综合| 91九色国产| 色色99| 婷婷五月天AV| 天天干,噜噜色,狠狠色| 婷婷丁香六月| 99er免费在线观看| 国外亚洲成AV人片在线观看| 热的国产,热的综合,热的有码| 激情开心五月天| 狠狠 婷婷| 乱乱av| 五月丁香婷婷潮喷中文字幕| 五月天丁香久久综合| 国产五月婷| 97五月婷| 亚洲精品永久久久久久| www.色婷婷| WWW.激情| 91无码色色| 五月丁香六月婷婷久久| 婷久久久| 天天操综合网| 久草五月婷婷| 五月婷婷大香蕉| 超碰AAAAAAV| 久久婷婷网址| 女人天堂AV| 2017狠狠干| 99综合| 少妇婷婷五月天| 九九无毛| www.五月天婷婷| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 天堂久久精品| 91欧美| 69精品人人人人| 成人精品99| 丁香六月激情毛片| www.久久久久久久| 五月色婷婷综合色| 99视频这里有精品| 成人精品亚洲性爱| 超碰色色综合| 久热这里只有| 五月丁香婷中文| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 婷婷六月久久| 超碰人人艹| 99热九九这里只有精品10| 精品无码久久久久久久久| 综合激情五月丁香9999久久精| 久久婷婷伊人| 欧美性色五月天| 久久狠婷婷| 五月天成人综合| 五月丁花色综合网| 色色色色色色色色网站| 九九一区| 欧美Va婷色| 狠狠色狠狠干| 大香蕉220| 第四色首页| 色狠狠色综合久久久绯色AⅤ影视| 深爱激情五月网| 9精品在线| 亚洲五月婷婷| 天堂草在线观看| 97视频91| 亚洲正能量欧美| 激情五月婷婷在线观看| 婷婷久久色| 五月天四色房丁香亭亭| 成人VAV视频在线观看| 五月天婷婷黄色| 久久作爱| 伦乱人妻| 婷婷伊在线| 五月婷婷色在线| 久久久久久天天日天天爱| 99热只有| 婷婷久久色| 天天想夜夜爽天天爽| 精品无码色| 七七久久婷婷| 九九色影院| 美女五月狠狠| 99re这里只有精品免费| 九色视频91| 天天综合插插| 九九色综合网| 久久99综合| 97成人丁香| 丁香五月首页| 久久五月人人摸| 熟女国产在线一区二区三区四区| 98永久精品| 激情深爱婷婷网| 久草婷婷视频| 99天堂网| 色色性爱视频| 综合五月草| 中文字幕av网站| 人妻人人操| 五月丁香狠狠| www.婷婷五月天.com| 91九色首页| 婷婷五月激情天| 99视频这里只有免费精品| 天天色综网| 色情五月丁香| 五月天另类小说久久小说网| 任你操精品免费| 91精品久久久久久久久久| 99视频在线精品免费观看2| 国产.亚洲.欧洲视频在线| 婷婷五月激情小说| 天天做天天爱天天爽综合网| 丁香五月色色| 九九色video| 久久婷婷视频| 人人操A| 九九色色网| 91人人爱| 亚洲中文字幕av| 婷婷五月天视频亚洲| 五月丁香六月色婷| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 密乳Va| 免费观看欧美成人AA片爱我多深| 九九热免费| 五月久久噜噜| 久久精品99久久久久久| 午夜不卡久久精品无码免费 | 香蕉国产2013| 中文字幕性爱丰满| 久久综合99| 色五月婷婷天堂| 99国产精品白浆在线观看免费| 天天插,天天射| 深爱 五月天| 久操干| 99色免费观看全部| 欧美色色色色色| 久久久免费精彩视频| 色色色色热热| 婷婷丁香五月天影院 | 五月天成人网婷婷| 九热精品| 色婷婷精| 九九在线视频| av久热| 五月天激情小说| 91xxxx九色| 成人做爰A片免费看视频 | 9|无码久久久久久| 激情丁香五月天图片| 中文无码婷婷| 五月丁香六月婷婷姐| 婷婷四月 成人 狠狠干| 99热一本| 精品香蕉99久久久久网站| 久久久久久97| 丁香婷婷激情网站| 五月婷婷香蕉| 伊人91| 色五月婷婷91| 久久婷婷免费| 年轻的妺妺伦理HD中文| 超碰人人干| dingxiangtingtingliuyue| 99色在线| 六月丁香狠狠爱| 好叼操在线观看| 午夜天堂一区人妻| 91婷婷搞| 操人妻视频91| 最新亚洲色色网| 亚洲中文无码成人| 婷婷视频网| 超碰高清在线| 真实熟女-91九色| 性做爰1一7伦| www.婷婷五月| 97操碰碰无码视频| 丁香五月婷婷色情综合| oumeisesewang| 九月婷婷久久久| www热久久yy9| www.九月婷婷丁香.com| 99ri视频| 超碰在线看| 激情图片婷婷| 国产偷人妻精品一区| 激情丁香淫荡婷婷| AV在线免费播放| 99.N在线视频| 成人在线视频男人的天堂4399| 国产美女无遮挡裸体毛片A片| av色婷婷| 久久久久网站| 逼里香不卡| 久热中文字幕在线线观看| 草草视频91| 99热老司机| 日熟女| 五月天婷婷涩涩| 久久久噜噜噜操操操| 天天插天天干| www.天天日| 超碰免费在线| 久久激情五月婷婷| 开心激情站| 综合网五月| 婷婷五月色综合| 久久在线人妻| 天天爽曰日爽| 激情五月天啪啪| 婷婷五月丁香高清无码| 婷婷色吧| 天天视频精品9| 色色五月婷婷网| 色五月激情五月| 久热婷婷| 五月婷婷色| 久久a热| 婷婷九月色| 九九亚洲视频| 激情五月天色色网| 日本99久久| 亚洲婷婷91丁香| 综合伊人久久| 一二三区视频韩国| 色婷婷丁香六月| .操區COm| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸| 激情黄色小说色五月| 亚洲成人av在线观看| 成人做爰黄A片免费看直播室男男| 五月婷婷婷| 九九色综合九九色| 天天狠天天叉| 99视频内射三四| 狠狠干在线| 六月99天天婷婷激情综合| 五月天综合| 国产日韩欧美性爱| 天天色视频| 99色色| 日韩在线观看亚洲| 欧美超级视频97| 天天操加勒比| 色玖玖综合网| 91色综合| 五月色综合| 五月综合久久| 激情综合色| 国产亚洲精品AAAAAAA片| 99久在线精品99re8| 超碰97在线观看免费| 五月香婷婷| 婷婷99狠狠| 女人天堂AV| www色婷婷| 夜夜操狠狠操| 性一交一乱一交A片久| 99这里只有精品| 色综合99| 久热无码| 日本欧美成人片AAAA| 激情深爱五月天| 国产午夜伦鲁鲁| av一级棒av| 色爱爱综合网| 久久 中文 日本| 久久加勒比| 中美日韩成人在线| 国产 亚洲 在线| 色啪网| 97色婷婷成人综合在线观看| 991精品在线视频| 五月婷婷与六月丁香图片激情| pom538精品视频| 九九99免费视频| 丁香五月天激情| 五月天天天操天天爽夜夜操| 五月综合激情久久| 亚洲综合干| 丁香五月天视频在线播放| 热99只有里视频| 色婷婷丁香五月在线观看| 九九婷婷网五月天| 久久五月婷婷丁香| 婷婷五月天色色| www夜夜操| 国产午夜成人AV在线播放| 日本猛少妇色XXXXX猛叫| 色色激情五月天| 四川女人毛多水多A片| 777影视理论片大全在线观看| 无码人妻AV久久久一区二区三区| 狠狠操狠狠爱| 国产成人综合亚洲| 老师把我爽高潮了免费A片| 一级七香蕉| 久久综合丁香| 99久久黄色顶级视频| 第四色色六月色综合| 九九视频这里是精品五月| 99这里有精品免费| 国产阿姨日皮艹逼内射视频| 久久xx| 97久久香草精品视频| 亚洲人人干| 99性爱视频网站| 97热精品| 狠狠插狠狠插| 欧美日本韩国亚洲| 99热 在线播放| 天天射美女| 夜夜夜夜操| 激情五月丁香五月| 99在线播放视频| 99精品在线| 欧美激情综合| 亚洲精品又粗又大又爽A片| 婷婷丁香社区| 十二区无码| 日韩色五月| 五月天婷婷一起草| 丁香六月视频免费观看| 五月色色激情网| 婷婷射图| 超碰人人色| 99精品久| 五月99久久| 人妻自慰在线| 99色最新在线视频网站| 天堂草在线看www| 欧美色久| 日本欧美成人片AAAA| 激情小说色五月| 婷婷六月久久| 婷婷综合在线| 99色播| 99热国产免费| 久久婷五月天| 婷婷激情五月呦呦| 婷婷爱爱蜜臀天天操| 亚洲99综合| 五月噜噜| 亚洲综合在线播放| a网站免费观看| 日本三级片片| 影音先锋色色色资源色资源色| 色噜噜,噜噜色| 涩涩涩五月天| 99热国产免费| 91精品刘玥| 99福利导航| 国产Va视频| 婷婷狠狠操| 色婷婷激情| 热99玖玖99玖玖99九九| 五月狠狠| 激情深爱婷婷网| 色丁香影院| 91操人| 丝袜熟女一区二区三区| 天堂色色色| 日本婷婷丁香五月| 日本天天操| 午夜不卡久久精品无码免费| 亚洲黄色操逼| 91丨九色丨东北熟女| 黄色99网| 91九色中文| 69精品人人人人| 2015WWW永久免费观看播放| 婷婷伊人久久| 丁香婷婷五月综合影院| 色婷婷五月天偷拍| 欧美在线视频99| 丁香婷婷综合喷| 亚洲一个色| 99热官网精品在线| 欧美色色色| 精品综合网在线| 亚洲一个色| 欧美婷婷五月天| 69精品人人人人| 婷婷五月天丁香| 91色五月在线观看| 婷婷精品在线| 久色五月| 亚洲色网址| 婷婷国产五月天17c| 大香蕉伊人99| 丁香五月六月欧美| 五月丁香婷婷色色| 久久综合五月天激情小说网站 | 二级黄色毛片| 丁香综合伊人AV| 另类 在线| 桃色五月天| 手机旧版看人妻1025| 包操45分钟网站| 亚洲国产精品VA在线看黑人| 99热这里只有精品9| 亚洲成人网址在线观看| 亚洲综合草草| 久久久久人无码人妻| 播五月丁香三月婷婷| 天天干天天拍| 99操不停| 婷婷色五月综合丁香| 99色免费观看全部| 五月天婷婷基地| 夜夜躁婷婷AV| 亚洲射激情| 黄色成人网站在线播放| 五月综合激情婷婷六月色窝| 9 1大香蕉| 综合色天天| 九九久久99精品免费观看www| 九九热精品| 在线观看av网站| dingxiangtingtingliuyue| 超碰日日操| 淫视馆av三区| 思思视频这里是精品| 99久久五月婷婷| 香蕉久久国产AV一区二区| 97人妻碰碰碰久久久久-最近国语高清| 激情WWW| 婷婷射丁香| 亚洲第二AV| 99色视频在线观看| 九九综合久久|