欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

SAP HANA高頻短查詢排查:從捕獲請(qǐng)求統(tǒng)計(jì)到PLV執(zhí)行計(jì)劃分析

SAP HANA高頻短查詢排查:從捕獲請(qǐng)求統(tǒng)計(jì)到PLV執(zhí)行計(jì)劃分析 周五下午三點(diǎn)某數(shù)據(jù)平臺(tái)的運(yùn)維群里開(kāi)始有人喊系統(tǒng)卡了。我登錄 SAP HANA 看了一眼CPU 已經(jīng)沖到 85%可昂貴的語(yǔ)句追蹤里一條慢 SQL 都沒(méi)有——單條執(zhí)行都低于 1 秒。這個(gè)場(chǎng)景在 SAP HANA 的故障排查里太典型了真正拖垮系統(tǒng)的往往不是那幾條明顯的慢 SQL而是大量高頻短查詢的累積。要抓住它們得打開(kāi) Capture Request Statistics要讀懂它們?yōu)槭裁绰值冒褕?zhí)行計(jì)劃導(dǎo)成 PLV 文件用 VS Code 打開(kāi)逐節(jié)點(diǎn)分析。這篇文章就把這套完整流程寫(xiě)下來(lái)。1. 為什么默認(rèn)的昂貴語(yǔ)句追蹤抓不住隱形慢 SQL1.1 昂貴語(yǔ)句追蹤的 1 秒閾值陷阱SAP HANA 默認(rèn)并不是什么都不記錄它有一套叫 Expensive Statement Trace 的機(jī)制。這套機(jī)制看名字就知道專(zhuān)門(mén)記錄執(zhí)行得比較貴的語(yǔ)句。問(wèn)題是它有一個(gè)硬性的執(zhí)行時(shí)間閾值在indexserver.ini配置文件的[expensive_statement]段里參數(shù)叫threshold_execution_time默認(rèn)值是 1000000 微秒也就是 1 秒。這意味著什么只有單次執(zhí)行時(shí)間超過(guò) 1 秒的 SQL 才會(huì)被記錄到昂貴語(yǔ)句日志里。很多運(yùn)維同學(xué)排查慢 SQL 時(shí)習(xí)慣先看這個(gè)日志結(jié)果發(fā)現(xiàn)里面空空如也于是得出數(shù)據(jù)庫(kù)沒(méi)有慢 SQL的結(jié)論。但線上業(yè)務(wù)的真實(shí)情況往往是單次 100 毫秒的查詢每秒被調(diào) 500 次一分鐘累計(jì)占用數(shù)據(jù)庫(kù) CPU 的時(shí)間就是 300 秒。單拿出來(lái)哪一條都不夠昂貴標(biāo)準(zhǔn)合在一起卻能把整個(gè)實(shí)例拖垮。這就引出一個(gè)非常關(guān)鍵的觀點(diǎn)慢 SQL 的定義不能只看單次耗時(shí)還要看執(zhí)行頻率和累計(jì)資源消耗。昂貴語(yǔ)句追蹤本質(zhì)上是一個(gè)事后告警工具適合人工抽查不適合做全量畫(huà)像。想看清系統(tǒng)里到底跑了什么需要的是另一套能力——全量請(qǐng)求捕獲。1.2 高頻短查詢?nèi)绾温峡逑到y(tǒng)高頻短查詢的最可怕之處不是每一次執(zhí)行有多重而是它的累積效應(yīng)。舉個(gè)例子一個(gè)查詢單次 50 毫秒執(zhí)行 2000 次總耗時(shí)是 100 秒。這 100 秒里包含了對(duì) CPU 的占用、內(nèi)存的申請(qǐng)釋放、計(jì)劃緩存的查找和更新、結(jié)果集的序列化。如果并發(fā)高還會(huì)放大鎖等待和線程排隊(duì)。更隱蔽的是大量短查詢會(huì)不斷沖擊執(zhí)行計(jì)劃緩存導(dǎo)致真正需要復(fù)用的好計(jì)劃被頻繁換出整體命中率下降讓每條 SQL 的平均編譯開(kāi)銷(xiāo)上升。用戶體感就是系統(tǒng)整體變卡但抓單條 SQL 又抓不到。這類(lèi)問(wèn)題在接口型業(yè)務(wù)里最常見(jiàn)。前端輪詢接口、定時(shí)任務(wù)高頻掃描、報(bào)表工具反復(fù)拉取同一段數(shù)據(jù)都會(huì)產(chǎn)生這種隱形慢 SQL。它們不會(huì)寫(xiě)進(jìn)昂貴語(yǔ)句日志也不會(huì)觸發(fā)告警只會(huì)讓 CPU 慢慢爬升直到某一天高峰期扛不住。1.3 什么場(chǎng)景值得開(kāi)捕獲Capture Request Statistics 的核心價(jià)值在于它把所有經(jīng)過(guò) SQL 引擎的請(qǐng)求都記錄下來(lái)無(wú)論快慢。這樣你拿到的不是幾個(gè)典型樣本而是一段時(shí)間內(nèi)的完整請(qǐng)求畫(huà)像。我一般在三類(lèi)場(chǎng)景下會(huì)主動(dòng)開(kāi)啟捕獲。第一類(lèi)是定期的性能巡檢不需要等出故障先抓一到兩天的全量數(shù)據(jù)做基線第二類(lèi)是系統(tǒng)上線前后的對(duì)比確認(rèn)新功能或新版本有沒(méi)有引入異常的查詢模式第三類(lèi)是說(shuō)不清哪里慢的疑難雜癥沒(méi)有明確慢 SQL但整體 CPU 或響應(yīng)時(shí)間異常這時(shí)候必須靠全量數(shù)據(jù)還原現(xiàn)場(chǎng)。2. 打開(kāi) Capture Request Statistics參數(shù)、落表和性能代價(jià)2.1 三步開(kāi)關(guān)命令、驗(yàn)證與生效范圍打開(kāi) Capture Request Statistics 的操作非常輕量一條 ALTER SYSTEM 語(yǔ)句就能完成。在目標(biāo)租戶庫(kù)執(zhí)行ALTER SYSTEM ALTER CONFIGURATION (indexserver.ini, SYSTEM) SET (sql, capture_request_statistics) true WITH RECONFIGURE;注意幾個(gè)細(xì)節(jié)。第一SYSTEM表示在集群級(jí)別修改配置這個(gè)配置會(huì)廣播到所有 indexserver 節(jié)點(diǎn)在有多節(jié)點(diǎn)、多租戶的架構(gòu)下不需要逐臺(tái)登錄設(shè)置。第二WITH RECONFIGURE必不可少它讓配置立即生效否則只是寫(xiě)入了配置文件要等實(shí)例重啟才生效。第三這個(gè)參數(shù)作用在 indexserver 進(jìn)程上所以要在目標(biāo)租戶庫(kù)執(zhí)行而不是在 SYSTEMDB 里執(zhí)行了事。設(shè)置完成后先確認(rèn)一下生效狀態(tài)SELECT FILE_NAME, SECTION, KEY, VALUE FROM SYS.M_CONFIG WHERE FILE_NAME indexserver.ini AND KEY capture_request_statistics;看到 VALUE 為 true就說(shuō)明開(kāi)關(guān)已經(jīng)生效。此時(shí)系統(tǒng)里的請(qǐng)求會(huì)開(kāi)始往統(tǒng)計(jì)表寫(xiě)入數(shù)據(jù)。2.2 捕獲數(shù)據(jù)落在哪兩張統(tǒng)計(jì)表的關(guān)鍵字段開(kāi)啟捕獲后數(shù)據(jù)落在_SYS_STATISTICS模式下的兩張核心表里。一張是REQUESTS_CAPTURED記錄每一次請(qǐng)求的執(zhí)行概況另一張是STATEMENTS_CAPTURED保存 SQL 語(yǔ)句文本。兩者通過(guò)STATEMENT_KEY字段關(guān)聯(lián)。REQUESTS_CAPTURED里我最常用到的字段有這些字段含義用途START_TIME請(qǐng)求開(kāi)始時(shí)間做時(shí)間段過(guò)濾圈定業(yè)務(wù)高峰期DURATION_MICROSEC請(qǐng)求總耗時(shí)微秒計(jì)算平均耗時(shí)、總耗時(shí)STATEMENT_HASHSQL 文本哈希把相同文本的 SQL 聚合成一類(lèi)STATEMENT_KEY語(yǔ)句唯一鍵關(guān)聯(lián)到 STATEMENTS_CAPTUREDUSER_NAME執(zhí)行用戶過(guò)濾系統(tǒng)請(qǐng)求、定向分析業(yè)務(wù)用戶APPLICATION_NAME應(yīng)用名稱(chēng)定位到具體接口或客戶端TOTAL_CPU_TIME請(qǐng)求消耗的 CPU 時(shí)間看資源消耗比耗時(shí)更直觀這張表是典型的寬表字段很多。實(shí)際做分析時(shí)先抓住執(zhí)行次數(shù)、總耗時(shí)、平均耗時(shí)、CPU 時(shí)間這四類(lèi)就足夠邁出第一步了。2.3 捕獲的代價(jià)采樣與窗口期建議先說(shuō)結(jié)論Capture Request Statistics 有額外開(kāi)銷(xiāo)但通??煽亍C看握?qǐng)求結(jié)束后數(shù)據(jù)庫(kù)需要把統(tǒng)計(jì)信息寫(xiě)入統(tǒng)計(jì)表這個(gè)動(dòng)作本身會(huì)消耗一定 CPU 和 IO。特別是在每秒幾千次短查詢的高并發(fā)場(chǎng)景寫(xiě)入放大效應(yīng)會(huì)比較明顯。所以我不建議把這個(gè)開(kāi)關(guān)常年常開(kāi)更推薦窗口期狩獵的做法。比如設(shè)定 30 分鐘到 2 小時(shí)的捕獲窗口覆蓋業(yè)務(wù)高峰或者做 1 到 2 天的全量捕獲用于季度巡檢。捕獲結(jié)束后立刻關(guān)閉。如果確實(shí)需要長(zhǎng)期監(jiān)控可以研究一下采樣相關(guān)參數(shù)把捕獲比例調(diào)低但那樣會(huì)損失全量數(shù)據(jù)的完整性屬于權(quán)衡方案。我的經(jīng)驗(yàn)是排查性能問(wèn)題不需要 7x24 小時(shí)全量捕獲抓一個(gè)完整的業(yè)務(wù)周期比如一個(gè)工作日下午加一個(gè)早晨高峰已經(jīng)能覆蓋大多數(shù)典型問(wèn)題。3. 從統(tǒng)計(jì)表里撈出真正值得優(yōu)化的 Top SQL3.1 第一刀按 SQL 指紋做總耗時(shí)聚合數(shù)據(jù)抓下來(lái)了直接一條條看肯定不現(xiàn)實(shí)。第一步一定是聚合。按什么維度聚合我建議按STATEMENT_HASH做分組這個(gè)字段相當(dāng)于 SQL 的指紋不同文本但結(jié)構(gòu)相似的語(yǔ)句會(huì)落在不同的哈希上歸并起來(lái)非常干凈。下面這條查詢是整個(gè)過(guò)程的核心建議直接收藏SELECT RC.STATEMENT_HASH, COUNT(*) AS EXECUTION_COUNT, SUM(RC.DURATION_MICROSEC) / 1000000 AS TOTAL_DURATION_SEC, AVG(RC.DURATION_MICROSEC) / 1000 AS AVG_DURATION_MS, MAX(RC.DURATION_MICROSEC) / 1000 AS MAX_DURATION_MS, SUM(RC.TOTAL_CPU_TIME) / 1000000 AS TOTAL_CPU_SEC FROM _SYS_STATISTICS.REQUESTS_CAPTURED RC WHERE RC.START_TIME ADD_SECONDS(CURRENT_UTCTIMESTAMP, -3600) GROUP BY RC.STATEMENT_HASH ORDER BY TOTAL_DURATION_SEC DESC LIMIT 20;為什么排序用 SUM 而不是 MAX這是很多初學(xué)者容易犯的錯(cuò)。MAX只能告訴你最極端的那一次有多慢如果把所有資源都用來(lái)優(yōu)化這一條很可能是在大海撈針而SUM把執(zhí)行次數(shù)和單次耗時(shí)做了乘法直接量化了這條 SQL 在這段時(shí)間內(nèi)總共消耗了多少數(shù)據(jù)庫(kù)時(shí)間。優(yōu)化掉的每一秒都是實(shí)打?qū)嵉南到y(tǒng)吞吐量提升。3.2 第二刀關(guān)聯(lián)出 SQL 文本拿到哈希排名后下一步是把 SQL 文本撈出來(lái)。哈希只是一個(gè)代號(hào)你不知道具體是哪個(gè)查詢。通過(guò)STATEMENT_KEY關(guān)聯(lián)到STATEMENTS_CAPTURED表就能看到完整的語(yǔ)句內(nèi)容SELECT SC.STATEMENT_STRING, RC.STATEMENT_HASH, COUNT(*) AS EXECUTION_COUNT, SUM(RC.DURATION_MICROSEC) / 1000000 AS TOTAL_DURATION_SEC FROM _SYS_STATISTICS.REQUESTS_CAPTURED RC JOIN _SYS_STATISTICS.STATEMENTS_CAPTURED SC ON RC.STATEMENT_KEY SC.STATEMENT_KEY WHERE RC.START_TIME ADD_SECONDS(CURRENT_UTCTIMESTAMP, -3600) GROUP BY RC.STATEMENT_HASH, SC.STATEMENT_STRING ORDER BY TOTAL_DURATION_SEC DESC LIMIT 20;執(zhí)行這條查詢時(shí)我建議多等幾秒因?yàn)榫酆系臄?shù)據(jù)量可能很大。如果同時(shí)抓了多個(gè)節(jié)點(diǎn)的數(shù)據(jù)最終統(tǒng)計(jì)表里是整合后的結(jié)果不需要手動(dòng)合并。拿到 SQL 文本后先肉眼掃一遍 WHERE 條件、JOIN 條件、子查詢結(jié)構(gòu)很多問(wèn)題在這一步已經(jīng)能猜個(gè)七八分。真正的確認(rèn)還得靠執(zhí)行計(jì)劃。3.3 快速通道用 M_EXECUTION_STATISTICS 應(yīng)急看最近請(qǐng)求有一種情況不需要開(kāi) Capture Request Statistics你只想看看最近幾分鐘系統(tǒng)在跑什么比如正在處理一個(gè)實(shí)時(shí)故障。這時(shí)候可以查詢系統(tǒng)視圖SYS.M_EXECUTION_STATISTICS它記錄了最近實(shí)際執(zhí)行過(guò)的請(qǐng)求而且直接帶有STATEMENT_STRING字段連關(guān)聯(lián)都省了。SELECT STATEMENT_STRING, COUNT(*) AS EXECUTION_COUNT, SUM(DURATION_MICROSEC) / 1000000 AS TOTAL_DURATION_SEC, AVG(DURATION_MICROSEC) / 1000 AS AVG_DURATION_MS FROM SYS.M_EXECUTION_STATISTICS WHERE START_TIME ADD_SECONDS(CURRENT_UTCTIMESTAMP, -900) GROUP BY STATEMENT_STRING ORDER BY TOTAL_DURATION_SEC DESC LIMIT 10;但要提醒一句這個(gè)視圖是個(gè)內(nèi)存環(huán)只保留最近一段時(shí)間或最近一部分請(qǐng)求容量有限不適合做歷史分析和完整畫(huà)像。它的定位是應(yīng)急快照用于快速確認(rèn)現(xiàn)在到底在跑什么。真正要寫(xiě)分析報(bào)告、做趨勢(shì)對(duì)比還是得靠 Capture Request Statistics 落表的數(shù)據(jù)。3.4 順手做體檢執(zhí)行次數(shù)、平均耗時(shí)、CPU 占比除了總耗時(shí)排名我通常還會(huì)順手分析三個(gè)維度因?yàn)樗鼈兡芊从巢煌?lèi)型的性能問(wèn)題。執(zhí)行次數(shù)特別高但平均耗時(shí)很低的 SQL往往是接口輪詢或者循環(huán)調(diào)用優(yōu)化思路是緩存結(jié)果、減少調(diào)用次數(shù)或者改批量查詢平均耗時(shí)高但執(zhí)行次數(shù)低的 SQL一般是復(fù)雜報(bào)表或大范圍掃描優(yōu)化思路是加過(guò)濾條件、拆分查詢、優(yōu)化 JOIN 順序CPU 時(shí)間占比異常高的 SQL即使耗時(shí)不高也可能是大量運(yùn)算、函數(shù)處理或類(lèi)型轉(zhuǎn)換導(dǎo)致的這類(lèi)問(wèn)題會(huì)在 CPU 掛高時(shí)特別明顯。這三個(gè)維度的分析不需要額外查詢上面的聚合 SQL 已經(jīng)包含了相關(guān)字段只需要改變排序和觀察角度。4. 把執(zhí)行計(jì)劃導(dǎo)出 .plv用 VS Code 打開(kāi)4.1 統(tǒng)計(jì)回答是誰(shuí)執(zhí)行計(jì)劃回答為什么前面做的所有工作都是在回答一個(gè)問(wèn)題系統(tǒng)里哪些 SQL 消耗最大。這是一個(gè)定位的過(guò)程。但要真正解決問(wèn)題必須回答下一個(gè)問(wèn)題這些 SQL 為什么慢是表掃描走了全表是 JOIN 順序有問(wèn)題還是 WHERE 條件里的函數(shù)導(dǎo)致索引失效回答為什么靠執(zhí)行計(jì)劃。SAP HANA 的執(zhí)行計(jì)劃可視化文件就是 PLV全稱(chēng) Plan Visualization。它把優(yōu)化器生成的算子樹(shù)轉(zhuǎn)換成圖形界面每個(gè)節(jié)點(diǎn)展示算子類(lèi)型、消耗時(shí)間、處理行數(shù)、具體屬性。對(duì)于熟悉節(jié)點(diǎn)閱讀的人來(lái)說(shuō)一張 PLV 比幾千行日志都直觀。4.2 產(chǎn)出一條 .plv 的兩種常見(jiàn)方法第一條路徑是在 SQL 控制臺(tái)里用EXPLAIN PLAN語(yǔ)句直接生成執(zhí)行計(jì)劃。比如EXPLAIN PLAN FOR SELECT ORDER_ID, CUSTOMER_NAME, TOTAL_AMOUNT FROM ORDER_HEADER WHERE ORDER_DATE 2024-01-01 AND ORDER_DATE 2024-02-01;執(zhí)行后控制臺(tái)會(huì)返回一個(gè)結(jié)果集里面按層級(jí)列出了算子樹(shù)。在 SAP HANA 的 Database Explorer 里可以在這個(gè)結(jié)果面板上找到導(dǎo)出計(jì)劃或Visualize Plan之類(lèi)的按鈕把計(jì)劃保存成.plv文件。第二條路徑更直接在 Database Explorer 里打開(kāi)某條 SQL 語(yǔ)句的執(zhí)行歷史找到具體某一次執(zhí)行直接下載對(duì)應(yīng)的執(zhí)行計(jì)劃文件。這種方式拿到的通常是那份實(shí)際執(zhí)行過(guò)的計(jì)劃包含真實(shí)行數(shù)和耗時(shí)比純估算計(jì)劃更有診斷價(jià)值。需要特別注意一個(gè)坑EXPLAIN PLAN FOR生成的是優(yōu)化器估算的計(jì)劃反映的是數(shù)據(jù)庫(kù)認(rèn)為應(yīng)該怎么執(zhí)行而不是實(shí)際上怎么執(zhí)行。在統(tǒng)計(jì)信息不準(zhǔn)確或查詢過(guò)于復(fù)雜時(shí)估算計(jì)劃和實(shí)際計(jì)劃可能差別很大。定位問(wèn)題時(shí)優(yōu)先使用實(shí)際執(zhí)行計(jì)劃。4.3 VS Code 環(huán)境與擴(kuò)展配置拿到 .plv 文件后用文本編輯器打開(kāi)只能看到一堆 JSON真正舒服的打開(kāi)方式是使用可視化渲染工具。VS Code 里可以直接做到這一點(diǎn)。先在擴(kuò)展市場(chǎng)搜索并安裝 SAP 官方提供的 SAP HANA Database Explorer 擴(kuò)展。安裝完成后VS Code 會(huì)把.plv文件關(guān)聯(lián)到該擴(kuò)展的執(zhí)行計(jì)劃可視化視圖。直接點(diǎn)擊文件名打開(kāi)就能看到圖形化的算子樹(shù)。如果擴(kuò)展裝好了雙擊還是顯示 JSON不需要卸載重裝右鍵點(diǎn)擊文件選擇 Open With然后手動(dòng)選擇 SAP HANA 相關(guān)的執(zhí)行計(jì)劃查看器即可。這種手動(dòng)關(guān)聯(lián)在第一次使用時(shí)很常見(jiàn)。4.4 打開(kāi)失敗和渲染異常的排查邏輯沒(méi)有擴(kuò)展時(shí)的表現(xiàn)最直接文件會(huì)以純文本 JSON 打開(kāi)一眼就能識(shí)別。有擴(kuò)展但打不開(kāi)可分為三種情況。第一文件后綴不是.plv可能是.json或.txt需要右鍵手動(dòng)關(guān)聯(lián)第二文件內(nèi)容不完整比如從控制臺(tái)復(fù)制時(shí)只復(fù)制了一部分 JSON這種情況需要重新導(dǎo)出完整文件第三版本兼容性問(wèn)題數(shù)據(jù)庫(kù)版本和 VS Code 擴(kuò)展版本跨度太大時(shí)某些節(jié)點(diǎn)屬性可能顯示不全但通常不會(huì)完全打不開(kāi)。一個(gè)比較實(shí)用的兜底方案如果 VS Code 的環(huán)境一直配置不好可以把 .plv 文件直接拖入 SAP HANA Database Explorer 的網(wǎng)頁(yè)版網(wǎng)頁(yè)版同樣內(nèi)置了 PlanViz 渲染器功能不輸 VS Code。5. 讀懂一張 PLV五個(gè)必須看的抓手5.1 先看算子樹(shù)從根到葉子的閱讀順序打開(kāi)一張 PLV第一眼看到的是縱向或橫向的算子樹(shù)。根節(jié)點(diǎn)在最上端或最左端葉子節(jié)點(diǎn)在底部或最右端數(shù)據(jù)從葉子往根方向流動(dòng)。每一層節(jié)點(diǎn)都代表一個(gè)具體的操作全表掃描、索引查找、JOIN、聚合、排序、投影等等。我最先看的是根節(jié)點(diǎn)??偤臅r(shí)就放在那里它旁邊的耗時(shí)條通常很夸張。如果根節(jié)點(diǎn)顯示 85% 的耗時(shí)都來(lái)自底下某個(gè)子樹(shù)那問(wèn)題就不需要繼續(xù)猜了——所有注意力都應(yīng)該投到那個(gè)子樹(shù)里去。這個(gè)閱讀順序看起來(lái)簡(jiǎn)單但很多人在 PLV 里迷路的唯一原因就是從葉子開(kāi)始看結(jié)果被一堆細(xì)枝末節(jié)的操作帶偏。正確做法永遠(yuǎn)是先看根再看最耗時(shí)的分支最后才收縮到具體算子。5.2 行數(shù)估算值和實(shí)際值相差一個(gè)數(shù)量級(jí)就要警惕PLV 里每個(gè)節(jié)點(diǎn)都標(biāo)注了行數(shù)。這可能是整張計(jì)劃里最有價(jià)值的數(shù)據(jù)??吹臅r(shí)候要區(qū)分兩種行數(shù)估算行數(shù)Estimated Rows和實(shí)際行數(shù)Actual Rows。估算行數(shù)是優(yōu)化器基于統(tǒng)計(jì)信息推算出來(lái)的實(shí)際行數(shù)是查詢真正處理的數(shù)據(jù)量。當(dāng)兩者非常接近時(shí)說(shuō)明優(yōu)化器的判斷靠譜執(zhí)行計(jì)劃整體可信當(dāng)兩者相差超過(guò)一個(gè)數(shù)量級(jí)時(shí)說(shuō)明統(tǒng)計(jì)信息已經(jīng)過(guò)期、直方圖不準(zhǔn)確或者存在復(fù)雜表達(dá)式讓優(yōu)化器無(wú)法準(zhǔn)確估算。這種偏差是性能問(wèn)題的溫床可能直接導(dǎo)致優(yōu)化器選擇了錯(cuò)誤的 JOIN 順序或掃描方式。在實(shí)際計(jì)劃里發(fā)現(xiàn)這類(lèi)偏差下一步就是刷新相關(guān)表的統(tǒng)計(jì)信息比如執(zhí)行ANALYZE相關(guān)操作然后再對(duì)比新計(jì)劃。很多莫名其妙慢的查詢刷新統(tǒng)計(jì)信息后自動(dòng)就好了。5.3 三類(lèi)重點(diǎn)算子掃描、Join、聚合算子種類(lèi)很多但性能診斷中需要聚焦的其實(shí)只有三類(lèi)。第一類(lèi)是 TABLE SCAN??吹揭粋€(gè)大的 TABLE SCAN 節(jié)點(diǎn)時(shí)要立刻確認(rèn)表是列存還是行存過(guò)濾條件下推到了哪一層以及有沒(méi)有做分區(qū)裁剪。最壞的情況是整張幾億行的列存表從頭掃到尾那基本等于把查詢速度的下限拉滿了。第二類(lèi)是 JOIN。看 JOIN 類(lèi)型是 HASH JOIN 還是 NESTED LOOP JOIN然后看驅(qū)動(dòng)表是哪一邊。通常驅(qū)動(dòng)表應(yīng)該選小表或過(guò)濾后數(shù)據(jù)量小的一方如果順序反了耗時(shí)會(huì)成倍增長(zhǎng)。還要確認(rèn) JOIN 條件是否完備缺了條件的笛卡爾積是性能殺手這是新手最容易踩的坑。第三類(lèi)是聚合和排序。GROUP BY 的字段數(shù)量直接影響分組開(kāi)銷(xiāo)字段越少越快排序操作如果出現(xiàn)在大數(shù)據(jù)量節(jié)點(diǎn)上會(huì)消耗大量?jī)?nèi)存和臨時(shí)空間。三類(lèi)算子可以整理成一張自查表分析任何執(zhí)行計(jì)劃時(shí)都可以對(duì)著過(guò)一遍算子類(lèi)型關(guān)注點(diǎn)常見(jiàn)性能問(wèn)題TABLE SCAN列存/行存、過(guò)濾下推、分區(qū)裁剪全表掃描、謂詞未下推JOINJOIN 類(lèi)型、驅(qū)動(dòng)表順序、條件完備笛卡爾積、驅(qū)動(dòng)表過(guò)大AGGREGATION / SORTGROUP BY 字段數(shù)量、排序數(shù)據(jù)量分組鍵過(guò)多、內(nèi)存溢出5.4 謂詞下推、分區(qū)裁剪和隱式轉(zhuǎn)換這三個(gè)概念聽(tīng)起來(lái)抽象但它們的共同點(diǎn)是決定了掃描階段到底碰了多少數(shù)據(jù)這是查詢性能的根基。謂詞下推就是 WHERE 條件里的過(guò)濾動(dòng)作能不能提前發(fā)生。理想情況下過(guò)濾應(yīng)該在掃描葉子節(jié)點(diǎn)時(shí)就把大部分行擋掉而不是把大量數(shù)據(jù)一路傳到上層再過(guò)濾。在 PLV 里如果發(fā)現(xiàn)一個(gè)很大的過(guò)濾條件出現(xiàn)在樹(shù)的上層節(jié)點(diǎn)而不是緊貼著掃描節(jié)點(diǎn)就說(shuō)明下推失敗要對(duì)執(zhí)行計(jì)劃做進(jìn)一步分析。分區(qū)裁剪更直白如果表按日期分區(qū)WHERE 里指定了日期范圍執(zhí)行計(jì)劃應(yīng)該只掃描對(duì)應(yīng)分區(qū)。如果 PLV 顯示掃描了全部分區(qū)說(shuō)明分區(qū)鍵沒(méi)有被有效利用。隱式轉(zhuǎn)換是導(dǎo)致前兩個(gè)問(wèn)題失效的元兇。最典型的表現(xiàn)是 WHERE 條件里對(duì)索引列或分區(qū)列套上了函數(shù)或者字段類(lèi)型不匹配導(dǎo)致數(shù)據(jù)庫(kù)悄悄做了類(lèi)型轉(zhuǎn)換。比如WHERE TO_CHAR(ORDER_DATE) 2024-01-15這會(huì)讓數(shù)據(jù)庫(kù)放棄日期分區(qū)裁剪和索引掃描老老實(shí)實(shí)全表掃描。這一類(lèi)問(wèn)題在 PLV 上往往不是一眼能看到的名字而是掃描節(jié)點(diǎn)行數(shù)異常偏大這個(gè)現(xiàn)象。6. 一個(gè)真實(shí)案例高頻短查詢的完整排查鏈路6.1 現(xiàn)象每天下午三點(diǎn)準(zhǔn)時(shí)變慢接手過(guò)一個(gè)某數(shù)據(jù)平臺(tái)的性能問(wèn)題現(xiàn)象非常規(guī)律每天下午三點(diǎn)半左右系統(tǒng)開(kāi)始變慢持續(xù)大約四十分鐘其他時(shí)段一切正常。初期的排查方向集中在后臺(tái)批處理上因?yàn)榕R近下班時(shí)間通常有匯總?cè)蝿?wù)在跑。但從應(yīng)用監(jiān)控來(lái)看批處理按時(shí)啟動(dòng)了數(shù)據(jù)庫(kù)的昂貴語(yǔ)句日志里也沒(méi)有任何超過(guò) 1 秒的查詢監(jiān)控面板上一片祥和用戶卻切切實(shí)實(shí)在報(bào)卡頓。這個(gè)矛盾點(diǎn)正是我前面提到的隱形慢 SQL的典型特征。當(dāng)時(shí)決定不再猜了直接開(kāi) Capture Request Statistics 做全量捕獲。開(kāi)關(guān)在三點(diǎn)前打開(kāi)持續(xù)了一個(gè)半小時(shí)捕獲了一整個(gè)異常時(shí)段。6.2 捕獲數(shù)據(jù)給出的第一輪證據(jù)捕獲結(jié)束后用前面那套聚合查詢把數(shù)據(jù)拉出來(lái)結(jié)果完全出乎意料。Top 排名前四的 SQL 全是 SELECT 語(yǔ)句分別來(lái)自同一個(gè)訂單查詢接口總執(zhí)行次數(shù)驚人——四類(lèi)語(yǔ)句加起來(lái)在 90 分鐘內(nèi)執(zhí)行了近 2 萬(wàn)次平均單次 80 毫秒左右。單看單次耗時(shí)完全不差但累計(jì)總耗時(shí)排到了整個(gè)系統(tǒng)第一位。順著應(yīng)用名追過(guò)去發(fā)現(xiàn)這個(gè)接口被前端頁(yè)面設(shè)置成了每 3 秒輪詢一次而且一個(gè)頁(yè)面同時(shí)會(huì)觸發(fā)多張報(bào)表卡片每張卡片都調(diào)這個(gè)接口。輪詢頻率高本身沒(méi)問(wèn)題問(wèn)題在于這四類(lèi)查詢內(nèi)部都藏著同一個(gè)性能隱患——它們對(duì)訂單主表的掃描方式非常低效幾億行的列存表每次查詢都從最近的分區(qū)開(kāi)始掃。6.3 PLV 揭示的根因函數(shù)包裹索引列把其中耗時(shí)最高的一條 SQL 導(dǎo)出執(zhí)行計(jì)劃在 VS Code 里打開(kāi) PLV。算子樹(shù)一眼看過(guò)去葉子節(jié)點(diǎn)是一個(gè)巨大的 TABLE SCAN掃描行數(shù)幾乎是全表量級(jí)而根節(jié)點(diǎn)耗時(shí)占比高達(dá) 70%。過(guò)濾條件確實(shí)存在但它對(duì)一個(gè)時(shí)間字段做了格式化處理寫(xiě)成了形如TO_CHAR(ORDER_DATE, YYYY-MM-DD) 2024-06-01的條件。這正是典型的隱式轉(zhuǎn)換問(wèn)題。時(shí)間字段是分區(qū)鍵理論上只需要掃一個(gè)分區(qū)但函數(shù)包裹讓優(yōu)化器無(wú)法把等值條件轉(zhuǎn)換成范圍掃描最終選擇了掃描大量分區(qū)甚至全表。類(lèi)似的問(wèn)題還有把字符型字段轉(zhuǎn)成數(shù)值型再比較同樣會(huì)讓索引失效。讀 PLV 到這里根因已經(jīng)非常清楚了。SQL 本身邏輯沒(méi)問(wèn)題是寫(xiě)法沒(méi)有尊重字段的原始類(lèi)型等于親手把優(yōu)化器的手腳綁住了。6.4 改寫(xiě) SQL 之后的效果對(duì)比修復(fù)方式是重寫(xiě) WHERE 條件把函數(shù)移到等號(hào)右側(cè)變成對(duì)常量做處理-- 優(yōu)化前 WHERE TO_CHAR(ORDER_DATE, YYYY-MM-DD) 2024-06-01 -- 優(yōu)化后 WHERE ORDER_DATE TO_TIMESTAMP(2024-06-01 00:00:00) AND ORDER_DATE TO_TIMESTAMP(2024-06-02 00:00:00)改完再看執(zhí)行計(jì)劃葉子節(jié)點(diǎn)的掃描行數(shù)直接下降到原來(lái)的幾十分之一分區(qū)裁剪生效了。對(duì)比捕獲數(shù)據(jù)同一接口查詢的平均耗時(shí)從 80 毫秒降到 9 毫秒由于執(zhí)行次數(shù)不變?cè)摃r(shí)段的總耗時(shí)下降了接近 90%。三天后觀察 CPU 趨勢(shì)下午三點(diǎn)半的峰值完全消失。事后復(fù)盤(pán)給我的啟示是很多高頻短查詢的優(yōu)化收益被嚴(yán)重低估。一條查詢優(yōu)化掉 70 毫秒聽(tīng)起來(lái)不刺激但乘上每小時(shí)幾千次的執(zhí)行頻率就是肉眼可見(jiàn)的 CPU 資源釋放。7. 捕獲與診斷中容易踩的坑7.1 坑一開(kāi)關(guān)開(kāi)了就不關(guān)統(tǒng)計(jì)表瘋漲Capture Request Statistics 一旦開(kāi)啟統(tǒng)計(jì)表的數(shù)據(jù)量增長(zhǎng)很快。高并發(fā)場(chǎng)景下一小時(shí)就可能寫(xiě)入幾十萬(wàn)條記錄長(zhǎng)期不關(guān)會(huì)導(dǎo)致_SYS_STATISTICS模式下的表膨脹反過(guò)來(lái)影響系統(tǒng)性能。我的做法是把開(kāi)啟操作和關(guān)閉操作寫(xiě)在同一條運(yùn)維記錄里并且給捕獲窗口設(shè)置一個(gè)明確的結(jié)束時(shí)間。比如在操作備注里寫(xiě)15:00 開(kāi)啟預(yù)計(jì) 17:00 關(guān)閉。如果確實(shí)需要長(zhǎng)時(shí)間分析也要規(guī)劃定期清理統(tǒng)計(jì)表的策略避免磁盤(pán)和內(nèi)存被歷史數(shù)據(jù)占滿。7.2 坑二排名只看 MAX漏掉高累計(jì)消耗分析捕獲數(shù)據(jù)時(shí)如果只按 MAX 排序會(huì)把注意力引向那些偶爾慢一次的查詢比如月末跑批、定時(shí)報(bào)表。真正持續(xù)消耗系統(tǒng)資源的往往藏在 SUM 排名的前列。這兩種查詢的優(yōu)化價(jià)值完全不同。單次 2 秒、每天跑 5 次的報(bào)表查詢優(yōu)化到 1 秒每天省 5 秒單次 50 毫秒、每分鐘跑 200 次的接口查詢優(yōu)化到 25 毫秒每分鐘省 5 秒一天下來(lái)節(jié)省的時(shí)間是前者的幾十倍。所以不管看哪份報(bào)告我都習(xí)慣把 SUM 作為第一排序字段MAX 只作為參考。7.3 坑三把 EXPLAIN PLAN 的估算計(jì)劃當(dāng)成實(shí)際表現(xiàn)EXPLAIN PLAN輸出的是優(yōu)化器認(rèn)為應(yīng)該怎么跑的計(jì)劃屬于預(yù)演性質(zhì)實(shí)際執(zhí)行時(shí)因?yàn)閿?shù)據(jù)分布、內(nèi)存、并發(fā)等因素計(jì)劃可能完全變樣。我曾經(jīng)犯過(guò)這個(gè)錯(cuò)誤優(yōu)化好一條 SQLEXPLAIN PLAN 看起來(lái)非常完美但上線后性能沒(méi)有提升一查實(shí)際執(zhí)行計(jì)劃優(yōu)化器運(yùn)行時(shí)選擇了另一條低效的路徑。原因是對(duì)某張大表的統(tǒng)計(jì)信息嚴(yán)重過(guò)期優(yōu)化器在真實(shí)環(huán)境中重新評(píng)估后放棄了預(yù)演時(shí)選定的 JOIN 順序。所以驗(yàn)證優(yōu)化效果時(shí)不要停留在 EXPLAIN PLAN 層面最好拿到實(shí)際執(zhí)行計(jì)劃對(duì)比或者直接觀察捕獲數(shù)據(jù)中該 SQL 的真實(shí)耗時(shí)變化。PLV 文件如果來(lái)自實(shí)際執(zhí)行會(huì)標(biāo)注實(shí)際行數(shù)和耗時(shí)可靠性遠(yuǎn)高于純估算計(jì)劃。7.4 我的習(xí)慣把捕獲做成季度巡檢的一部分這套方法我并不僅用于應(yīng)急排查更多時(shí)候用于例行巡檢。每季度挑一個(gè)業(yè)務(wù)周期開(kāi)啟一到兩天捕獲把 Top SQL 清單導(dǎo)出來(lái)存檔再和上一輪的結(jié)果對(duì)比。哪些新查詢進(jìn)入了 Top哪些舊查詢的耗時(shí)在下滑哪些查詢的執(zhí)行次數(shù)在悄悄上漲都一目了然。這個(gè)習(xí)慣幫我在故障發(fā)生前發(fā)現(xiàn)過(guò)不少隱患。比如某條老查詢本來(lái)平均 20 毫秒連續(xù)兩個(gè)季度慢慢漲到了 120 毫秒單次不慢總量卻翻了好幾倍順著統(tǒng)計(jì)表一查原來(lái)是底層表數(shù)據(jù)量膨脹現(xiàn)有索引選擇性變差。如果等到用戶報(bào)障再查可能已經(jīng)是高峰期扛不住的臨界點(diǎn)。我自己最深的體會(huì)是診斷 SAP HANA 性能問(wèn)題Capture Request Statistics 和 PLV 是一對(duì)組合拳前者負(fù)責(zé)把真兇從海量請(qǐng)求里撈出來(lái)后者負(fù)責(zé)把犯罪動(dòng)機(jī)從算子樹(shù)里挖出來(lái)。缺了第一步你只是在瞎猜缺了第二步你知道是誰(shuí)卻不知道怎么改。按這套流程走下來(lái)大多數(shù)性能問(wèn)題都能在半小時(shí)內(nèi)給出明確結(jié)論。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97热91| 国产黄色大片| 亚洲爱爱无码婷婷色五月| www.婷婷五月天| 爆乳熟女一区二区三区爆乳| 久久538| 色婷婷91激情小说| 久久天堂| 丁香五月色情| 国产XXXX搡XXXXX搡麻豆| 欧美群妇大交乱婬网| 亚洲综合激情五月久久| 亚洲五月婷天天操| 色播色丁香五月| 五月天 另类图片| 久久久久9久无码视频| 日韩抽插操逼| 99人人干人人操| 五月婷婷在线免费| 噜噜色天天开心| 五月婷婷久久综合| 5月丁香六月婷婷| 欧美婷婷丁香社区在线播放| 超碰99资源站| 丁香五月天在线视频| 六月丁香五月婷婷| 五月天在线视频尤物视频在线看| 婷婷五月丁香香蕉| 91日本在线观看| 亚洲激情高潮| 停停五月色宗合| 人人九色| 玖玖资源站国产| 亚洲国产精品二二三三区| 7777久久亚洲中文字幕| 色一情一乱一乱91Av| 婷婷五月,偷窥偷拍网| 区美毛片子| 99操| 久久草婷婷丁香网站| 色色草97| 亚洲黄色影视| 婷婷性色| 五月天播播综合| 亚洲精品**不卡在线播he| 久久这里只有精品99| 丁香五月综合激情性爱| 麻豆AV一区二区三区| 99亚洲视频| 99热6这里只有精品| 天天干,天天舔| 国产午夜一区二区三区| 婷婷五月天日日日干干干| 成人 AV播放| 九色PORNY自拍成人精彩视频| 婷婷五月综合色中文字幕| 婷婷丁香五月综合网| 五月欧美丁香在线观看| 五月激情啪啪| 色色色色色日韩午夜激情 | 综合激情在线| 色人妻五月| 五月丁香激| 婷婷五月天成人| 婷婷开心久久| 五月社区丁香| 欧美大香蕉视频| 年轻的妺妺伦理HD中文| 内射综合网| 五月天堂婷婷| 国产精品社区| 第1影院之五月婷婷| 丁香五月婷婷啪啪| 成人羞羞啪啪 全 视频| 91精品久久久久久久久| 国产欧美大香蕉一区| 激情五月综合| 99热这里| 99爱这里只有精品免费视频| 99热日本| 五月丁香综合激情在线观看| 亚洲最大在线| 亚洲一级AV在线免费播放| 天天艹夜夜艹| 另类激情五月| 夜夜撸日日操| 天天操夜夜爽歪歪| 五月丁香六月合| 丁香五月欧美成人| 一本久道综合99| 九九精品免费视频99| 99热手机在线精品| 色婷婷在线播放| 五月天影院| 就要去操亚洲成人精品五月天丁香婷婷| 亚洲丁香花五月丁香花| 无码少妇高潮喷水A片免费| www.五月天婷婷| 色婷婷五月天天天干天天操天天爽| 丁香丁婷五月激情| 婷婷久久综合久| 久热精品在看| 玖玖婷婷免费| 色婷婷很很丝袜| 99热.com| 思思热视频在线观看| 五月天婷婷久久| 噜噜噜噜噜色| 伊人色综在线| 97五月天婷婷午夜| 九九热10| 色综合播放| 国产精品人妻欲求不满| 六月丁香婷婷综合狠狠爱夜夜爱| 人人爽欧美婷婷久久久五月丁香| 五月丁香综合网| 五月丁香六月激情| 9|人妻人人操| 国产超碰av| 色色色com| 国产成人精品一区二三区熟女在线| 久久久com| 天天综合五月天| 好激情在线综合网| 伊人久久五月天综合| 丁香五月综合高清在线| 色站9/| 日本色色色色色色色色一色二色| 婷婷影视久久| 9一精品视频观看| 日韩aⅴ视频| 日本V在线观看不卡视频网站| 99色婷婷| 国产成人精品一区二三区熟女在线 | 9操在线| 亚洲性视频| 人妻中文字幕网| 日本在线观看91| 日本久碰| 99亚洲视频| 日本三级毛片| www.99热| 激情WWW| 久久婷婷五月丁香蜜桃网| 被男人添B超爽视频| 中文字幕日产A片在线看| 五月天婷婷久久| 欧洲色| 777精品久无码人妻蜜桃| 伊人综合网站| 91夫妻视频| 色婷婷很很丝袜| 国产操B| 久热视频97AV在线观看| AV动漫不卡无码免费| 婷婷玖玖五月天| 久久精品夜色噜噜亚洲a∨| 色一情一乱一乱91Av| 亚洲色色五月天| 人人操97| www好屌操| 五月婷婷乱| 亚洲AV色婷婷人禽五月天| 亚洲热热视频| 色婷五月| 七月丁香五月婷婷在线| 亚洲超级碰| 九九中文字幕九| yellow视频在线观看91| 五月激情综合激情五月| 午夜五月天| 色色国产| 99色色视频| 9色91视频| 深爱激情五月婷婷| 色婷婷97| 久久无码成人| 久久五月网| 色之综合网| 99er6热在线观看精品6| 婷婷久久综合| 99热官网| 天堂色色色| 亚洲综合激情五月久久| 天天干天天爽天天操| 激情爱爱网站超大免费| 国产精品人成A片一区二区| 亚洲三级无码| 亚洲网视屏| 开心五月婷婷在线视频免费观看| 98永久精品| 少妇激情五月天| 亚州在线中文字幕| www.99视频| 亚洲第精品| 丁香综合网| 9精品在线| 69精品人人人人| 91啦丨九色丨刺激中文| 影音先锋xfplay资源男人网| 亚洲五月天另类小说图片| 久草大| 九色PORNY9l原创自拍| 国产99久| 91porn一起草| 五月婷综合网| 色爱综合网| 黄色AAAAAAA| www.五月婷婷久久.com| 国产资源91在线| 成人网址在线观看| 丁香五月激情综合久久| 黄色五月婷婷| 亚洲色无码| 综合色五月| 90色免费视频| 一级片操逼视频| 九九九午夜视频| 久久99热免费| 婷婷久久网| 激情婷婷22月间| 婷婷色五月激情| 99热国产这里只有精品| 婷婷五月天小说| 99ri视频在线播放| 99思思| 日本欧美成人片AAAA| 99热热热国产超碰| 天天爽,夜夜爽| 六月丁香花婷婷| 久久婷婷五月天激情新地址| 国产在线另类五月婷婷| 五月天激情亚洲| 婷婷丁香五月天综合网| 五月天婷婷色| 天天操天天插| 久久久人人操A V| 激情综合五月色在线| 婷婷射综合| 亚洲精品**不卡在线播he| 99噜噜噜在线播放| 午夜丁香| 在线色色| 丁香五月中文字幕色播| 亚洲视频无| 国产高清精品色| 涩综合婷婷| 日韩三级视频一区二区| 久色中文| 无码AV免费精品一区二区三区| 91热在线| 啪啪一区| 噜噜色天天开心| 色色色在线观看| 99re免费视频| 天天爽天天摸天天爱| 五月天婷婷婷| 狠狠色 综合色区| 久久这里只有精品久久| 香蕉综合网| 99A级片| www夜夜操| 中文字幕高清av| 五月婷婷狠狠干| 成人做爰A片免费看视频 | 五月视频日本免费观看| 99啪啪| 欧美天天爽| 亚洲免费看片| 九九热只有这里精品| 9久国产精品| 五月丁香自拍| 午夜一区| 久久五月丁香| 国产乱子轮XXX农村| 99在线观看| 久热久| 五月激情综合网| 成人网在线视频| 99久超碰| 天天干夜夜谢| 六月激情婷婷综合| 操日本99| 丁香五月天资源网| 亚洲综合999| 天天爽天天| 99色色网站| 一区二区乱视频码| 婷婷伊人| 婷婷五月综合色中文字幕| 色玖玖| 久久色五月天激情小说| 天天综合在线网| 9er热在线精品视频| 成人看片网站| 青青热久久综合| 欧美婷婷丁香五月社区| 91久久九久久九久久九久久九久久 | 国产做爰视频免费播放| 天天做天天爱天天爽| 国产色丁香| 婷婷六月偷拍| 99九九综合久久九九| 婷婷99| 深爱激情中文五月天av| 五月天色丁香| 亚洲五月婷| 亚洲成人中文字幕| 26uuu偷拍亚洲欧洲综合| 五月婷婷六月丁香在线视频| 五月天堂色| 五月激情综合性爱| 婷婷色香六月综合激情| 五月婷婷丁香| 丁香婷婷六月激情综合| 26uuu亚洲| 亚洲色图五月丁香| 99热最新地址在线| 1024操逼| 九九亚洲视频| 激情都市五月天| 色情综合网| 日韩久久视频| 五月丁香六月综合情在线观看| 精品99这里有| 久久激情五月天| 丁香婷婷91在线观看视频| 亚洲AV成人在线| 五月天激情国产综合婷婷婷| 亚洲精品成人片在线播| 亚洲综合五月天婷婷丁香| 色欲婷婷夜夜| 舔色婷婷| 成人精品在线观看| 色色色色色综合| av九九| 丁香五月婷婷亚洲另类| 草综合14| 99色在线| 久久综合色五月| 久久婷婷六月天| 97婷婷丁香五月| 狠狠色成人影片| 岛国av网站| 人人操婷婷| 97操碰视频| 激情五月无码| 激情综合网址| 婷婷色五月大香蕉在线| 99精品久久| 人人干Av| 色五月AV| 99热热热国产超碰| 丁香五月天激情综合网| 五月天婷婷视频| 五月婷婷丁香日韩在线| 五月婷成人| 色色COm| 六月丁香啪啪| 五月丁香六月婷婷激情四射| 五月熟妇婷婷久久| 婷婷伊人综合中文字幕| 亚洲精级| 99爱在线| www.99久| 精品动漫 无码av| 婷婷四月 成人 狠狠干| 99热碰碰| 婷婷五月丁香第四色超碰在线| 丁香五月综合首页| 激情九九综合网| 这里只有精品在线视频在线观看| 亚洲人妻av伦理| 丁香五月婷婷激情尤物| www,av好吊操| 亚洲日韩一页精品发布| 欧美色图天堂网| 91人人爽久久涩噜噜噜| 无码成人AAAAA毛片AI换脸| 色欲色天天香综合| 婷婷婷婷色| 极品人妻VIDEOSSS人妻| 97av在线视频| 日本一级一片免费视频| 丁香五月WWW| 97干婷婷五月天| 亚洲色综合| 美女伊人久久| 久久久久久丁香五月| 九九热在线精品视频| 久久九九囯产| 丁香五月激情无码视频| 麻豆AV一区二区三区| 91九色精品熟女内射| 99久久网站| 国产婷婷婷| 国产亚洲99| 国产成人高清| 久久久久久久久久久97| 99re8这里只有精品99re8热视频| 九九无码AV| 丁香丁香激情网| 丁香五月婷婷激情网| 色99免费视频中文| 岛国AV网| 丁香婷婷五月天成人| 日本激情ⅩXX免费视频| 天天日天天干天天操| 十区AV| 亚洲五月天婷婷在线| 99在线精品免费视频| 国产日产成人亚洲欧美国产VA| 四月婷婷五月丁香| 久久免费试看120秒| 婷婷伊人五月| 亚洲天堂色| 五月天激情Av| 六月丁花香啪啪激情欧美| 六月婷婷狠狠| 99re6在线视频精品免费| 五月婷婷新网站| 亚洲婷婷免费| 99热这里只有精品268| 色五月激情综合网| 久久婷婷五月天激情新地址| 亚洲最大视频| 乱女乱妇熟女熟妇综合网站| 性无码专区无码| 成人婷婷桔色| 少妇人妻丰满做爰XXX| 婷婷欧美偷拍综合| 丁香五月影院| 婷婷五月天天天日日夜夜| 夜夜爽天天爽| 开心久久爱五月天| 色综合久久久综合久久网| 五月天中文字幕在线婷婷| 操人妻AV| 99精品在| 香蕉久久五月| 久久久这里有精品| 亚州操逼网| 伊人久久大香蕉网| 九月婷婷综合| 五月婷婷影院| 99精彩视频在线观看| 色噜噜狠狠色综合日日| 伊人丁香婷婷东京| 天天肏在线视频| 开心激情网五月| 久久天堂色| 夜夜撸夜夜骑| 91一起艹| 精品夜夜澡人妻无码AV| 婷婷五月天亚洲精品| 日本猛少妇色XXXXX猛叫| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 婷婷久久综合| 五月色情婷婷开心五月色情| 久久婷婷九月国产精品| 五月婷婷五月天激情网| 国产avapp 网| 色婷婷基地| 五月婷婷中文网| 亚洲乱码日产精品BD| 第一区久久网站| 91传媒无码人妻精| 五月婷婷六月情| 久9久9热久热| 欧美成人精品A片免费一区99| 伊人狠狠综合| 亚洲综合成人网站| 婷婷激情小说| 淫荡综合网| 夜色综合网| 色情综合网| 天天五月香欧美| 一本色综合色| 综合网啪| 琪琪理论片| 亚洲精品久久久久久久久久吃药| 深爱五月最新网址| 九九99九九99| 久久精品一区二区三区四区| 99热第一页| 99在线播放视频| 婷婷亚洲激情在线观看视频| 96精品国产综合久久久久久| 五月丁香综合| 另类视频丁香五月| 日韩成人AV在线| 欧美性生交XXXXX无码小说| http://www.sd-xiangsu.com/| 综合色影| 丁香五月天操B| 99视频这里有精品| 婷婷AV丁香| 日本婷婷色| 成人短视频在线| 99在线看片| 97碰人人操| 99精品无码| 天天爽天天日天天舔| 激情九月综合| 1024欧美看片| 秋霞电影理论| 99热网址| 丁香五月综合狠狠| 日本一级一级一级一级| 天天天天天日| 二人电影免费版在线观看| 婷婷五月激情综合网| 日本片日本片祼观看网站在线看中文版网页在线看| 一级A片天天操夜夜操| 猫咪伊人久久| 色婷婷精| 另类视频五月天| 激情五月天电影| 欧美婷婷六月丁香综合色连续高潮抽搐| 丁香深五月婷婷| 99热官网| 色婷婷在线视频综合| 激情五月综合网最新| 天天色2017| 激情九月婷婷| 天天干天天叉| 怡红院 久久| 激情婷婷激情在线不卡| 婷婷狠狠操| 五月天激情久久| 伊人超碰| 深爱激情中文五月天av| 五月天综合久久丁香91| 丁香亚洲色综合| 99久久久99久久91熟女| 丁香五月天黄色片| 亚洲色99| 天天成人综合视频| 婷婷在线播放av| 狠狠综合区| 色欲色欲久久宗合网| 激情五月婷婷五月| 久99在线视频| 综合久久99| www.sd-xiangsu.cpm| 久久总和99| 热婷婷久| 六六久久黄色| 国外亚洲成AV人片在线观看| 开心激情站| 五月天开心色情网| 人妻久久久久久| 五月天激情子轮| 丁香五月婷婷呀| 婷婷导航| 爱射综合| 国产在线中文字幕| 超碰在线94| 日日夜夜干| 丁香五月婷婷六月| 另类图片色五月| 五月婷婷六月激情| 五月天激情小说欧美激情| 视频这里只有精品16| 欧美丁香婷婷天天操| 婷婷五月AV| 亚洲秘 无码一区二区三区妃光/1| 3p九色在线| 欧美三级巜人妻互换| 国产激情综合五月久久| 色情综合| 天天色视频| 婷婷色在线视频| 色欲一区二区三区精品A片| 情涩婷婷五月天| www,五月丁,com| 深爱 五月天| 丁香婷婷精品视频| 久婷婷五月丁香在线观看| www.99在线| 日韩无码专区| 五月天婷婷色色| 日本久热| 九月婷婷久久| 亚洲成人网无码| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 五月天五月色婷婷综合| 欧美成人Va| 婷婷五月小说色综合| 97在线精品| 婷婷五月色| 婷婷五月天在线看| 色综合色综合婷婷热| 激情五月综合色| 婷婷 久综合| 男人天堂伊人五月丁香| tingting五月天亚洲| 99在线观看视频精品| a v色婷婷| 色色日韩无码| 久久这里只| 五月激情站| 97五月天| 97色婷婷成人综合在线观看| 可以直接看的AV| 久久女婷| 久久五月天激情| 久久探花91swag| 婷婷五月激情视频网| 久久一品区| 五月婷婷色综图片| 超碰女人天堂| 久久人妻爱爱| 欧美成人精品一区二区| www.狠狠操| 一区二区成人电影| 婷婷五月六月| 激情五月天婷婷| 久久免费操| 天天干夜夜想| 久久精品国产精品| 怡红院成人AV| 大香av| 久久精典| 日日干日日s| 99re视频精品| 色玖玖爱| 国产成人精品亚洲线观看| 图片区 小说区 区 亚洲五月| yazhoujiqingav| 综合 蜜月 婷婷| 开心五月综合激情网| 国产99美少妇| 色五月婷婷内射| 五月天天天天天天天天天天天天天天天婷婷婷 | 久久性爱视频久久性爱视频| 亚洲天堂大香蕉| 日日噜噜夜夜狠狠久久丁香五月| 日韩精品视频中文字幕| 色色五月天com| 99精品热| 久久久区区一久久久久久| 色屌丝中文字幕| 色播五月网| 婷婷色色亚洲| 超级黄色片| 成人欧美一区二区三区在线观看| 夜丁香综合| 午夜免费试看| www五月婷婷88导航| www.com亚洲网站在线免费| 色情五月天小说| 另类图片 五月激情| 中文AV网| 亚洲成av人影院| 男人天堂AV在线一区二区| 国产成人av在线播放| 亚洲综合干| 另类小说色婷婷| 激情婷婷| 久久99精品久久久久久三级| 久久er+| 五月天婷婷在线播放免费| 激情综合婷婷| 亚洲狠狠色丁香婷婷综合久久| 九色 在线| 色 丁香婷婷| www.婷婷.com| www.金莲av| 色色免费网站| 97色在线视频| 99视频精品8| 丁香五月色色| www.婷婷激情网.com| 五月丁香六月香香蕉| 俺去也在线www色官网| 99毛片| 四季8848精品成人免费网站| 日韩亚洲视频| 婷婷香五月天| 久爱综合| 激情综合播播| 亚洲免费av在线| 欧美熟女视频 色婷婷| 久热这里只精品| 久久免费精彩视频| 久久激情四射| 狠狠色丁婷婷日日,伊人激情综合网| 免费看成人747474九号视频在线观看| 香蕉婷婷五月| 色色亚洲无码| 国产成人av在线播放| 久re在线| 五月婷婷九| xx综合网| 婷婷丁香18| 久热伊人9| 亚洲激情网站| 99激情| 九九人人操| 97碰人人操| 婷婷五月综合基地| 免费观看的AV| 国产真实乱了老女人视频| 另类图片天天影视在线观看| 婷婷内射视频在线| 日韩啪图| 婷婷五月天开心激情网| 日韩丁香涩| 国产色色网址网站| 九九热精品在线| 99riAv1国产在线观看| 久久丁香五月天| 国产97在线日韩亚洲女人被黑人巨大| 色五月av伊人| 熟女人妻一区二区三区免费看| 依人大香蕉| 91日本在线| 99热精品10| 99久在线精品99re8热| 97人妻超级碰碰碰碰碰| 婷婷5月开心6月| 婷婷丁香成人| 五月婷婷激情综合在线| 九九碰九九爱97| 中文字幕,综合,91| 在线观看免费狠狠色丁香香综合| 岛国资源站| 五月激情婷婷开心| 五月婷婷综合在线视频| 国产精品A片| 色婷婷呢狠禁久禁| 色欲五月婷婷| 三日本无码| 久久人妻高清中文| 色婷婷小视频| 五月丁香在线综合| 亚洲电影中文字幕| 人人草开心五月天| 国产中文字幕在线视频免费观看| 亚洲、热| 成人小说色图婷婷五月| 99热这里只有免费精品| 一级七香蕉| 人人干人人操人人摸| 中文字幕欧美精品久久| 月婷婷婷婷五月| 97久操视频| 91色在线 | 日韩| 五月丁香花视频| WWW99热| 9热视频在线观看| www.婷婷| 国产VA播放| 大香蕉520| 五月丁香六月婷婷综合网| 亚洲V国产V欧美V久久久久久| 激情五月亚洲综合网| 色婷婷激情Av久久久| 天天做天天爱天天玩夜夜爽| 男女av免费看| 色色亚洲| 色五月丁香五月| www.色五月| 亚洲久久婷婷丁香五月天| 色网五月婷婷| 丁香婷婷成人网站| 精品久久9| 五月天色丁香| 六月丁香综合999| 夜色五月天| 久热这里| 色综合久久天天综合网| 激情六月天| 激情小说之五月| 性爱五月婷| 亚洲AV网址| 色八月婷婷| 精品人妻午夜一区二区三区四区| 狠狠干综合网| 婷婷五月综合网| 六月丁香激情网| 大狠狠在线| 色婷综合| 五月天另类小说| 色播五月丁香婷婷| 国产高潮白浆一区二区| 538任你爽| 思思热99er在线视频| 懂色av粉嫩av蜜臀av| 久久99热这里只有精品| 久久久久9999| 97爱艹婷婷开心丁香激情综合| 婷婷五月av| 人妻综合网| 91丁香综合| 婷婷五月天电影网| 五月天激情综合在线| 伊久大香蕉| 4438激情网| 千人斩操逼| 无码一级片| 深爱激情六月天| 精品久久久久久久人妻| 日韩欧美成人片| 国产精产国品一二三在观看| 久久小片| 国产激情综合五月久久| 97人人妻人人艹| 9久久久久久久久久久| 79亚洲精品少妇| 久婷自拍视频| 91chinese在线| 色综合色色色| 激情的五月婷婷蜜桃| AV在线不卡网站| 五月丁香综合激情| 中文字幕性爱丰满| 婷婷色网| www99xxxx五月丁| 狠狠搞狠狠操| 五月丁香偷拍| 天天天天天操| 激情亚洲婷婷| 久热伊人91| www.91操| 乱色色色| av婷婷丁香 六月| 精品九九网| 免费看欧美成人A片无码| 久久丝袜婷婷| 青草激情在线| 99热国品免费| 婷婷综合在线播放| 尤物一区二区| 五月花激情| 日日狠狠久久偷偷四色综合免费 | 中文字幕在线免费观看视频| 五月丁香A∨在线| 无码少妇高潮喷水A片免费| 性综合网| 色噜综| 丁香五月天欧美成人| 任你干嘛免费视频播放| 中国无码av| 老司机日日夜夜青草| 日本色狠狠| 婷婷色五月天综合网| 四虎成人精品永久免费AV九九| 91九九热| 青草青草视频2免费观看| 99久超碰| 丁香婷婷深情五月亚洲| 狠狠va| 91久久久久久久| 色婷婷综合电影| 午夜天堂一区人妻| 91精品91久久久中77777| 99热手机在线精品| 亚洲激情区| 精品国产va久久久久| 狠狠色中色| 一本色道久久88综合日韩精品| 婷婷六月色开| 97操碰在线视频| 五月丁香花婷婷玉莉AV| 中国AV性爱观看| 大功率国产在线| 国产在线黄色| 日韩情色在线观看| 97超级啪啪在线观看| 色婷视频| 色色五月天婷婷| 99热久草| 日本五月天激情| 天天做天天爱天天做| 婷婷色5月天在线。| 五月婷婷啪啪| 狼友视频在线观看18| 色五月大| 色五月中文字幕| 国产亚洲AV人片在线| 97久久人人人干| 国产成人网| 思思热99热| 九九av| 日韩无码专区| 特黄三级片| 色综合大香蕉| 91九色欧美| 国产va视频| 九九热视频精品| 女力报到正好爱上你| 婷婷丁香五月欧美人| 亚洲综合婷婷| 国熟女视频| 激情久久天天| 久久五月天激情视频| 五月丁色AV| 九九热这里精品| 狠狠色五月激情| 天天操夜夜夜夜爽| 五五月丁香花激情综合网| 色五月xxx| 天天色情站| 五月天天丁香婷婷在线中| 天天做综合| 色综合色综合婷婷热| 再綫Av免费視品| 丁香五月六月久久综合| 婷婷五月 丁香六月| 思思99精品视频| 99这里有精品免费| 草AV9999| 五月丁香久久丝袜啪啪| 99久久玖玖| av狠狠操| www,com,五月色色| 成人av中文字幕| 26uuu最新地址| 久久久久久久人妻| 婷婷五月天AV| 91人久| 人妻激情久久| www.五月婷| 青996青| 91婷婷丁香| 激情综合网五月在线播放| 第四色色六月色综合| 五月丁香婷婷激情在线视频| 538久久| 日本操逼九九九九58日本操逼| 五月天婷婷在线观看| 91人操人人人操人| 色综合丁香| 超碰久热| 碰97 久| 久久精品日| 97色图片中文字幕视频在线观看 | 亚洲色欲欧美一区二区三区| 九九热思思热| 99热6色| 激情五月天啪啪| 91性高潮久久久久久久久| 婷婷久草| 99热在线观看成人| 99视频在线观看网址| 国产综合色婷婷精品久久| 天天综合激情| 九九热这里只有国产精品| 人人草开心五月天| 五月丁香久久网| 99色天堂| 99热亚州综合| 99精品久久久久久久| 婷婷色五月婷婷姐妹| 青青草蜜臀| 国产偷人妻精品一区| 综合久久97| 伊人综合网站| 91丨人妻丨国产丨丝袜| 九九久久五月天| 日日干综合| 裸体美女丁香五月天。| 丁香大香蕉| 日日色综合| 亚洲岛国电影| 黄色精品五月婷婷| 天天成人综合| 色婷婷丁香五月在线观看| 九九色综合| 清纯唯美 激情四射| 99五月婷| 六月丁香五月激情亚洲AV| 91疯狂操操操操| 成人AV在线电影| 婷婷成人小说综合| 激情五月天综合网| 免费观看18视频网站| 影音先锋91视频| 五月丁香香蕉| 久久久久久五月天| www.五月婷婷| 色婷婷综合久久| 色碰碰| 激情 婷婷 插| 91青娱乐青青草| 思思久久99热只有频精品66| 毛v一区二区视频| 亚洲激情无码久久| 韩国激情五月天综合网| 日本久久网| 色色丁香五月天社区| 色婷婷丁香六月| 色综合激情| 丁香五月天社区| 97成人超碰免| 无码中文一区二区三区| www.夜夜操| 亚洲中文字幕在线观看| 久久色9| 做爱夜夜干天天操| 婷婷成人五月天成人文学| 俺去也婷婷| 丁香六月婷婷综合欧美| 26UUU亚洲欧美| 五月丁香91| 婷婷99视频全集高清| 99色色爰| 婷婷五月丁香在线视频| 成人综合网站| 91丨九色丨丰满人妖| 丁香五月激情无码视频| 五月天开心激情综合网| 久久精品女人天堂AAA| 五月婷婷丁香深深爱| 九九99香蕉在线视频播放| 中文字幕无码AV| 俺来也综合网精品一区| www,天天干| av高清无码| 91五月天| 五月久久婷婷天堂视频| 色五月丁香com| 精热在线综合网| 丁香五月在线播放| 伊人久久婷婷五月综合97色| 五月丁香婷婷色| 五月婷婷综合网| 春色激情| 最新午夜理论片| 色色色婷婷五月| 丁香五月婷婷久久久| 丁香五月瑟瑟| 色欲一区二区三区精品A片| 久久伊人婷| 天天日天天做天天操| 99热官网| 99ri在线视频| 99亚洲视频| WWW.五月com| 激情综合网,五月| 九九激情| 色伊人婷婷| 五月丁香婷婷导航视频| 五月天婷婷狂暴白浆| 久久五月人人摸| 色五月播五月| www.婷婷六月天| 99免费在线视频| 中文字幕av久久爽| 激情狠狠丁香月| 男女啪啪做爰高潮无遮挡| 高清无码.com| 色综合色色| 国产97色在线 | 日韩| 涩涩涩五月天| 日本97人人| 婷婷四色五月| 日日躁夜夜躁狠狠久久AV| 日本熟女三区| 婷婷亚洲天堂| AV电影在线播放| 婷婷五月激情图片| 日本WWW九九九| 天天插天天射| 色综合色综合色综合| 99这里只有精彩视频| 日韩精品AV一区二区三区| 亚洲激情丁香五月天色| 日本丁香五月| 亚洲区,视频区,视频区免费| 五月停亭六月,六月停亭的英语| 91人人操| 久久99热这里只频精品6学生| 碰人人97| 五月婷精品| 爱iii做iiii日日| 99免费视频网| 色噜噜狠狠狠狠色综合久欧美| 天天干天天色天天干| 女人被躁到高潮嗷嗷叫小| 丁香婷婷五月天色播| 成人片在线播放| 丁香婷婷丁香五月欧美人| JAPANRCEP老熟妇乱子伦视频 | 婷婷色色网站| 超碰狠狠色| 国产XXXX搡XXXXX搡麻豆| 亭亭色天香| 色婷婷丁香五月| 亚洲色五月天是什么| 熟女少妇内射日韩亚洲| 五月综合777| 婷婷五月天97干| 五月天激情开心网| 亞洲自怕| 婷婷综合五月天亚洲综合| 欧美超碰亚洲| 国产va视频| 激情综合网五月| 婷婷丁香18| 婷婷激情中文综合| 五月天色区| 九九热再线九九视频免费在线观看 | 久久这里有精品| 婷婷九九视频| 日日干日日| 伊人玖玖网| 超碰超碰在线| 综合婷婷| 亚洲精品无码一区二区| 五月伊人视频在线看| 91性交在线播放| 婷婷色成人| 淫视馆av三区| 五月婷婷之综合激情在线| 丁香女人五月天| 丁香激情五月天| 欧美综合激情五月| 1024在线观看免费视频| 色婷婷激情| 91精品丝袜久久久久久| 天天天天干| 天天操天天操| 大香蕉丁香五月| 少妇搡BBBB搡BBB搡毛茸茸 | 狠狠色婷婷7777久| 99视频内射三四| 99热这里只有精品最新| 久久机热探花| 99热最新网址| 5月色亭亭视频| 9l久久久视频| 99丁香五月婷| 天天日天天做天天舔| 亚洲中文字幕在线观看| 97五月天婷婷| 99九无网码| 色情五月综合婷婷| 伊人五月天婷婷| 日本色超碰| 第四色激情网| 人妻久久久久久久久妻久久久久| 69久久久| 九九五月天| 五月丁香激情婷婷综合字幕| 91色性感五月婷婷丁香| 久婷五月| 久热这里只有精品性色AV| 97操在线| 婷婷射综合| 夜夜操少妇| 香蕉久日夜| 色综合网址| 先锋av性爱成人电影| 五月丁香毛片| 色五月婷婷网| 九九视频这里只有精品| 亚洲思思热久| 国产做爰视频免费播放| 欧美色色网| 99热这里在线精品| 久久女伦| 婷婷五月成人| 另类激情五月| 成人网在线视频| 久久99热这里只有精品| 日日夜夜天天爽| 天天综合网91| 影音先锋91在线资源站| 丁香婷婷九月| 久色网五月| 男人天堂99| 久久久久久久91| 91色五月| 亚洲婷婷乱乱丁香| 久久激情视频| 丁香婷婷六月| 欧美日综合| 99热在线只有精品| 日本五月婷婷久久久六月丁香| www久久久久久| 五月激情啪啪| 婷婷的色色五月天| 夜夜爽日日躁| 日韩成人av在线| 99久久終合| 久久五月丁香| 99热成人精品网站| 美女100%露全身无挡网站| 爆乳熟妇一区二区三区爆乳| 91av成人| 99热国产免费| 99ri视频在线播放| 天天搞夜夜爽夜夜爽| 99热观看| 久九男女天堂| 九九青青草成人| 99热这里只有精品1| www.操逼comm| 六月丁香久久| 99操不停| 五月婷在线| 色婷婷久久久| 丁香婷婷影院| 五月丁香激情综合网官网| 久久婷婷激情| 免费日本aⅴ中文字幕 | 99热这只有| 婷婷五月色综合| 九九精品碰| 五月天色不卡| 丁香六月婷婷久久综合| 日韩中出视频| 99久久网站| 欧美视频五区| 亚洲婷婷免费| 草AV9999| 日本片日本片祼观看网站在线看中文版网页在线看 | 九九热免费观看视频| 色婷操逼| 色五月自偷自拍婷婷婷婷| 亚洲午夜在线视频| 婷婷丁香五月综合| 五月丁香香蕉| 大天天伊人| 国产精品日韩十五区| 狠狠干2007| 日日骑夜夜撸| 人妻激情在线| 激情五月综合久久| 任我肏视频精品| 国产操B| 久久AV无码精品人妻系列试探| 婷婷金品综合视频| 99九九在线| 99热97| 丁香五月区| 天天操天天日天天操| 人人人人人人人人人草| 五月天婷婷日日爱| 欧亚洲在线高清视频| 激情亚洲婷婷| 久久hd| 久久久色情| 日韩欧美成人网| 91色性感五月婷婷丁香| 草了bav视频在线观看| 亚洲激情在线| 97香蕉碰碰人妻国产欧美| 五月丁香婷婷基地| 色综合九九| 六月丁香中文字幕| 色婷婷视频在线| 日本VA视频| 色在线视频网2025| 激情开心五月天婷婷基地丁香社区| 久久96热| 99思思热只有在这里看| 麻豆123区| 夜夜爽日日躁| 99性爱无码| 婷婷免费无视频| 五月婷婷欲色| 日日爱699|