欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

安全測(cè)試可視化看板落地實(shí)踐:Grafana集成漏洞管理與告警配置

安全測(cè)試可視化看板落地實(shí)踐:Grafana集成漏洞管理與告警配置 安全測(cè)試結(jié)果的可視化過去一直是被低估的環(huán)節(jié)。掃描器出了報(bào)告、滲透測(cè)試寫了文檔、修復(fù)完再登記個(gè)Excel等月底復(fù)盤時(shí)才拉出來看一眼中間出了什么風(fēng)險(xiǎn)、修復(fù)進(jìn)展怎么樣、還有多少高危漏洞在裸奔全靠人工腦補(bǔ)。我也是被這個(gè)問題折磨了大半年才下決心把Grafana接入安全測(cè)試流程把漏洞數(shù)據(jù)、資產(chǎn)信息、修復(fù)進(jìn)度全部集中到一個(gè)看板上讓團(tuán)隊(duì)成員打開瀏覽器就能看到當(dāng)前的安全態(tài)勢(shì)而不是等每周的例會(huì)材料。這篇博文就圍繞這套可視化看板的集成實(shí)踐展開從方案選型、數(shù)據(jù)源接入、看板搭建到告警配置完整記錄我落地這套系統(tǒng)時(shí)踩過的坑和沉淀下來的做法。適合安全工程師、DevOps運(yùn)維人員和測(cè)試開發(fā)同學(xué)參考尤其是正在做安全測(cè)試結(jié)果聚合但不知道從哪下手的人。1. 項(xiàng)目背景與方案選型為什么安全測(cè)試結(jié)果需要可視化看板1.1 安全測(cè)試數(shù)據(jù)的現(xiàn)狀痛點(diǎn)先說一個(gè)很現(xiàn)實(shí)的問題安全測(cè)試的結(jié)果數(shù)據(jù)天生就是多源異構(gòu)的。漏洞掃描器比如Nessus、AWVS、Xray輸出自己的報(bào)告格式SAST工具報(bào)告一堆代碼缺陷DAST工具跑出一堆URL問題滲透測(cè)試的人工發(fā)現(xiàn)還散落在Word和Excel里中間件漏洞、供應(yīng)鏈組件風(fēng)險(xiǎn)又來自另一個(gè)平臺(tái)。想把這些數(shù)據(jù)匯總起來回答幾個(gè)最基礎(chǔ)的問題——當(dāng)前有多少高危漏洞、哪些資產(chǎn)受影響、修復(fù)率是多少——都能讓人焦頭爛額。我見過不少團(tuán)隊(duì)的做法是每周讓安全工程師手動(dòng)導(dǎo)出幾份報(bào)告拼到PPT里。這種做法有兩個(gè)致命問題。一是損耗實(shí)時(shí)性漏洞從發(fā)現(xiàn)到被人看見中間隔了好幾天攻擊者比你還早知道二是損耗細(xì)節(jié)匯總報(bào)告通常只會(huì)保留高危有幾個(gè)、中危有幾個(gè)這類匯總數(shù)字真正排查需要知道的具體漏洞、受影響資產(chǎn)、時(shí)間分布這些信息全部被打平了。可視化看板要解決的就是讓這些數(shù)據(jù)從報(bào)告里的靜態(tài)文字變成屏幕上的實(shí)時(shí)態(tài)勢(shì)。不是把報(bào)告變得更漂亮而是把分散的工具結(jié)果統(tǒng)一起來基于同一個(gè)時(shí)間軸、同一套資產(chǎn)維度讓趨勢(shì)、變化、分布變得可見且可追蹤。1.2 技術(shù)方案選型的心路歷程選型的核心問題只有一個(gè)數(shù)據(jù)往哪兒放。當(dāng)時(shí)我對(duì)比了三類方案。第一類是直接購(gòu)買商業(yè)的安全運(yùn)營(yíng)平臺(tái)功能全、開箱即用但價(jià)格高而且通常要綁定自家掃描器我們已有的工具鏈不好接入數(shù)據(jù)模型也被鎖死。第二類是自研一個(gè)小型管理系統(tǒng)后端API加上前端列表頁(yè)。這個(gè)方案靈活但開發(fā)成本不低而且做好了也就是個(gè)漏洞管理列表圖表只能自己畫趨勢(shì)分析、報(bào)表導(dǎo)出這些功能全要重復(fù)造輪子迭代周期太長(zhǎng)。第三類就是Grafana加Prometheus/Loki/MySQL這條路。Grafana本身是可視化平臺(tái)不需要做報(bào)表模塊它的數(shù)據(jù)源插件體系相當(dāng)成熟Prometheus、MySQL、Elasticsearch、Loki都原生支持意味著數(shù)據(jù)只要有地方存就能快速出圖告警功能內(nèi)置配置好通知渠道就能聯(lián)動(dòng)釘釘、郵件和企業(yè)微信。而且社區(qū)插件多后續(xù)想擴(kuò)展也方便。最終我選擇Grafana作為展示層底數(shù)數(shù)據(jù)的存儲(chǔ)根據(jù)不同來源分了三條鏈路實(shí)時(shí)監(jiān)控指標(biāo)走Prometheus日志和掃描結(jié)果詳情走Loki結(jié)構(gòu)化漏洞庫(kù)走M(jìn)ySQL??窗暹B接這三個(gè)數(shù)據(jù)源各取所長(zhǎng)。1.3 Grafana在安全測(cè)試場(chǎng)景中的定位很多人一提Grafana就想到機(jī)器監(jiān)控CPU、內(nèi)存、網(wǎng)絡(luò)流量覺得這是運(yùn)維的專屬工具。實(shí)際上Grafana的處理對(duì)象是時(shí)序指標(biāo)和結(jié)構(gòu)化數(shù)據(jù)安全測(cè)試結(jié)果天然符合這個(gè)模型——漏洞發(fā)現(xiàn)時(shí)間是時(shí)間軸風(fēng)險(xiǎn)等級(jí)是維度資產(chǎn)IP、團(tuán)隊(duì)歸屬這些是標(biāo)簽。所以Grafana完全可以承載安全測(cè)試看板且不需要引入一套全新的安全產(chǎn)品。我推薦的定位方式Grafana只做呈現(xiàn)和告警不承擔(dān)數(shù)據(jù)采集和業(yè)務(wù)邏輯。安全測(cè)試的數(shù)據(jù)采集仍然由各掃描器、爬蟲和CI/CD流水線完成通過寫腳本或者接口上報(bào)到存儲(chǔ)層Grafana負(fù)責(zé)把存儲(chǔ)層的數(shù)據(jù)組織成有價(jià)值的視圖。這個(gè)分工讓系統(tǒng)邊界清晰掃描器要換、數(shù)據(jù)格式要改都動(dòng)不到看板本身。2. 數(shù)據(jù)管道與Grafana數(shù)據(jù)源對(duì)接讓安全測(cè)試數(shù)據(jù)流進(jìn)來2.1 三種數(shù)據(jù)接入路徑的取舍先明確一個(gè)概念Grafana本身不存數(shù)據(jù)它只是問數(shù)據(jù)源要數(shù)據(jù)。所以接入的第一步是想清楚安全測(cè)試結(jié)果以什么形式、存在哪里。我實(shí)際落地時(shí)用了三條路徑適配不同類型的數(shù)據(jù)。路徑A結(jié)構(gòu)化漏洞庫(kù)入MySQL。這類數(shù)據(jù)格式最規(guī)整——漏洞編號(hào)、標(biāo)題、風(fēng)險(xiǎn)等級(jí)、受影響資產(chǎn)、發(fā)現(xiàn)時(shí)間、修復(fù)狀態(tài)。適合放在關(guān)系型數(shù)據(jù)庫(kù)里Grafana通過MySQL數(shù)據(jù)源查詢做分組統(tǒng)計(jì)和多維篩選。適用于漏洞管理、修復(fù)進(jìn)度追蹤。路徑B采集器指標(biāo)入Prometheus。掃描任務(wù)的執(zhí)行狀態(tài)、掃描耗時(shí)、掃描器自身健康度這類運(yùn)行時(shí)指標(biāo)以指標(biāo)的形式暴露。Prometheus按固定間隔抓取Grafana展示成時(shí)序圖。適用于流水線監(jiān)控、掃描任務(wù)趨勢(shì)。路徑C半結(jié)構(gòu)化報(bào)告入Loki。掃描器導(dǎo)出的JSON報(bào)告、系統(tǒng)日志、CI階段輸出不適合拆成字段存數(shù)據(jù)庫(kù)直接以日志形式推給Loki。Grafana的LogQL可以解析JSON字段提取漏洞等級(jí)、掃描目標(biāo)等信息。適用于滲透測(cè)試過程日志、掃描器原始輸出檢索。這三條路徑可以并行。數(shù)據(jù)源頭不一樣進(jìn)存儲(chǔ)的通道不同但最終都匯入同一個(gè)Grafana組織可以在同一塊看板上關(guān)聯(lián)展示。2.2 結(jié)構(gòu)化數(shù)據(jù)表設(shè)計(jì)與入庫(kù)腳本我的實(shí)踐是建兩張核心表漏洞主表和資產(chǎn)表。字段設(shè)計(jì)上有幾個(gè)容易被忽視的點(diǎn)單獨(dú)說說。漏洞主表的字段字段名類型說明idbigint自增主鍵vuln_idvarchar(64)漏洞唯一編號(hào)通常是掃描器自帶IDtitlevarchar(255)漏洞標(biāo)題severityvarchar(16)嚴(yán)重級(jí)別critical/high/medium/lowasset_ipvarchar(64)受影響資產(chǎn)IPasset_namevarchar(128)資產(chǎn)名稱teamvarchar(128)負(fù)責(zé)團(tuán)隊(duì)statusvarchar(16)狀態(tài)open/fixing/fixed/ignoreddiscovered_atdatetime發(fā)現(xiàn)時(shí)間fixed_atdatetime修復(fù)時(shí)間可為空sourcevarchar(64)來源nessus/xray/sast/dast/manualraw_datajson掃描器原始字段留著備用幾個(gè)容易踩坑的設(shè)計(jì)點(diǎn)severity不要用中文用枚舉字符串。中文在分組統(tǒng)計(jì)和過濾時(shí)容易出編碼問題而且告警規(guī)則判斷時(shí)大小寫不敏感容易誤判。asset_ip和asset_name分開存別看它們經(jīng)常是一對(duì)一但資產(chǎn)改名或IP復(fù)用很常見拆開才能關(guān)聯(lián)資產(chǎn)歷史。raw_data字段很重要。掃描器報(bào)告經(jīng)常帶一些額外信息CVE編號(hào)、CVSS分值、漏洞描述當(dāng)前用不到但后續(xù)做關(guān)聯(lián)分析時(shí)就是寶不需要回頭改表結(jié)構(gòu)。入庫(kù)腳本我用Python寫了個(gè)定時(shí)任務(wù)每小時(shí)從掃描平臺(tái)拉一次新增漏洞做增量寫入。關(guān)鍵點(diǎn)是要維護(hù)一個(gè)游標(biāo)位置記錄上次拉取的偏移量避免重復(fù)入庫(kù)。首次全量導(dǎo)入沒關(guān)系但增量階段如果每輪都全量拉數(shù)據(jù)量上來后壓力會(huì)很大。import mysql.connector import requests import json def fetch_vulns(last_id): payload {since_id: last_id, limit: 100} resp requests.post(https://scanner.internal/api/v1/vulns, jsonpayload, timeout30) resp.raise_for_status() return resp.json()[data] def sync_vulns(): last_id load_cursor() cnx mysql.connector.connect(usergrafana_ro, password..., host10.0.1.10, databasesecurity_center) cursor cnx.cursor() for vuln in fetch_vulns(last_id): sql INSERT INTO vulns (vuln_id, title, severity, asset_ip, asset_name, team, status, discovered_at, source, raw_data) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s) ON DUPLICATE KEY UPDATE titleVALUES(title), severityVALUES(severity) cursor.execute(sql, (vuln[vuln_id], vuln[title], vuln[severity], vuln[asset_ip], vuln[asset_name], vuln[team], vuln[status], vuln[discovered_at], vuln[source], json.dumps(vuln, ensure_asciiFalse))) last_id max(last_id, vuln[id]) cnx.commit() cursor.close() cnx.close() save_cursor(last_id)增量同步的游標(biāo)一定要持久化。我就吃過虧腳本重啟后游標(biāo)丟失結(jié)果從0開始全量同步把數(shù)據(jù)庫(kù)連接拖崩了?,F(xiàn)在游標(biāo)存在本地文件里腳本每次啟動(dòng)先讀文件再?zèng)Q定從哪里開始拉。2.3 Loki接入掃描報(bào)告日志Loki和Prometheus是同一家公司的產(chǎn)品接入方式很像是老朋友了。在Grafana中添加Loki數(shù)據(jù)源只需要填一個(gè)URL。掃描器報(bào)告的推送我用的Promtail文件監(jiān)聽模式把掃描結(jié)果JSON文件的目錄掛給Promtail新文件出現(xiàn)時(shí)自動(dòng)推送??窗逯胁樵僉oki數(shù)據(jù)長(zhǎng)度這樣寫{appsecurity-scanner} | json | severityhigh | unwrap duration這條查詢的意思選擇app等于security-scanner的日志流解析JSON字段篩出高危漏洞然后把duration字段作為數(shù)值用于圖表繪制。需要注意LogQL的json解析要求日志內(nèi)容是標(biāo)準(zhǔn)JSON單行格式如果是pretty打印的多行JSONPromtail推過來會(huì)解析失敗。這個(gè)坑我踩了不止一次現(xiàn)在掃描器輸出日志前統(tǒng)一先做一次單行化處理。2.4 數(shù)據(jù)源配置的坑與注意事項(xiàng)Grafana數(shù)據(jù)源配置本身不難但有幾個(gè)細(xì)節(jié)值得記住。MySQL數(shù)據(jù)源建議使用只讀賬號(hào)??窗逯恍枰樵儾恍枰獙懭搿S米x寫賬號(hào)萬一某條查詢誤觸發(fā)了更新操作后果是很嚴(yán)重的。另外Grafana對(duì)MySQL查詢有個(gè)限制默認(rèn)不允許SELECT以外的語句這個(gè)可以保持開啟。連接超時(shí)參數(shù)要設(shè)置。數(shù)據(jù)量大的情況下一條慢查詢可能拖到30秒以上看板加載時(shí)會(huì)轉(zhuǎn)圈很久。我在MySQL數(shù)據(jù)源配置中將timeout設(shè)為10秒查詢超過10秒就直接失敗寧可看板局部加載失敗也不能卡死整個(gè)頁(yè)面。Loki查詢?nèi)绻婕案哳l解析建議開啟log volume的緩存。這個(gè)在Loki配置里可以調(diào)減少重復(fù)查詢的負(fù)載。3. 看板設(shè)計(jì)與可視化落地從一堆數(shù)字到一屏了然3.1 看板的分層設(shè)計(jì)思路看板不是把圖表堆在一起就完事了布局和層級(jí)直接決定了使用效率。我設(shè)計(jì)的看板分了四個(gè)區(qū)域按照總覽→趨勢(shì)→明細(xì)→追蹤的邏輯排布。第一行是核心指標(biāo)卡當(dāng)前未修復(fù)漏洞總數(shù)、高危及以上數(shù)量、本周新增漏洞數(shù)、本周修復(fù)數(shù)、平均修復(fù)時(shí)長(zhǎng)。這五個(gè)數(shù)字回答的是當(dāng)前狀態(tài)怎么樣。第二行是趨勢(shì)圖漏洞發(fā)現(xiàn)趨勢(shì)按天堆疊柱狀圖和修復(fù)趨勢(shì)按天折線圖?;卮鸬氖亲罱亲兒眠€是變壞。第三行是分布圖按資產(chǎn)維度的漏洞分布按團(tuán)隊(duì)維度的修復(fù)負(fù)載按來源工具的漏洞占比。回答的是問題集中在哪。第四行是明細(xì)列表未修復(fù)漏洞的表格支持按嚴(yán)重級(jí)別、資產(chǎn)、團(tuán)隊(duì)過濾點(diǎn)擊能跳到關(guān)聯(lián)的資產(chǎn)詳情?;卮鸬氖蔷唧w是哪些漏洞在拖后腿。這個(gè)分層邏輯不是拍腦袋定的。我見過很多看板把幾十個(gè)圖表不分主次全堆在上面結(jié)果打開后大腦一片空白根本不知道先看哪里。核心指標(biāo)卡給結(jié)論趨勢(shì)圖給方向分布圖給定位明細(xì)表給抓手一層往下鉆一層。3.2 核心指標(biāo)卡SQL與告警閾值設(shè)定指標(biāo)卡的SQL相對(duì)簡(jiǎn)單但要寫出正確結(jié)果有幾個(gè)細(xì)節(jié)。以未修復(fù)高危漏洞數(shù)為例這個(gè)查詢?cè)贛ySQL中的寫法是SELECT COUNT(*) FROM vulns WHERE status IN (open, fixing) AND severity high這里要注意status的取值。漏洞狀態(tài)流轉(zhuǎn)一般是open→fixing→fixed→ignored未修復(fù)應(yīng)該包含open和fixing兩個(gè)狀態(tài)。很多看板只統(tǒng)計(jì)statusopen會(huì)導(dǎo)致同一漏洞進(jìn)入修復(fù)流程后從看板上消失數(shù)字看起來很好看但實(shí)際風(fēng)險(xiǎn)還在那里。本周新增漏洞數(shù)的SQL要小心時(shí)間跨度的邊界SELECT COUNT(*) FROM vulns WHERE discovered_at DATE_SUB(NOW(), INTERVAL 7 DAY)這個(gè)寫法是可以的但如果你希望本周是從周一開始算而不是過去7天就要用YEARWEEK函數(shù)。我在踩了一次周一例會(huì)看板數(shù)字和上周五對(duì)不上的坑之后寫了個(gè)統(tǒng)一的時(shí)間定義在變量里加了一個(gè)date_range下拉框默認(rèn)本周可切到近7天、近30天、本季度所有圖表共用同一個(gè)變量口徑才不會(huì)亂。告警閾值方面我給高危未修復(fù)數(shù)設(shè)了三級(jí)閾值5個(gè)以下綠色5到10個(gè)黃色超過10個(gè)紅色。這個(gè)閾值不是隨便定的是通過回看歷史三個(gè)月的數(shù)據(jù)算出來的——正常情況下高危未修復(fù)數(shù)在3到8之間波動(dòng)5作為黃色預(yù)警線能捕捉到上升趨勢(shì)10作為紅色告警線則意味著某個(gè)環(huán)節(jié)大概率出故障了。3.3 趨勢(shì)圖與分布圖的構(gòu)建方法趨勢(shì)圖使用Grafana的Time series面板。MySQL數(shù)據(jù)源的表查詢要按時(shí)間維度做分組聚合SELECT DATE_FORMAT(discovered_at, %Y-%m-%d) as day, severity, COUNT(*) as cnt FROM vulns WHERE discovered_at NOW() - INTERVAL 30 DAY GROUP BY day, severity ORDER BY dayGrafana的MySQL查詢支持返回多個(gè)series這套SQL按天級(jí)別兩個(gè)維度分組后Time series會(huì)自動(dòng)把不同severity渲染成不同的柱子或線。圖表上的圖例名稱如果顯示的是highcritical之類的枚舉值最好在SQL中用CASE WHEN轉(zhuǎn)一下成中文標(biāo)簽否則領(lǐng)導(dǎo)看的時(shí)候會(huì)問critical是啥意思。SELECT DATE_FORMAT(discovered_at, %Y-%m-%d) as day, CASE severity WHEN critical THEN 嚴(yán)重 WHEN high THEN 高危 WHEN medium THEN 中危 ELSE 低危 END as severity, COUNT(*) as cnt FROM vulns WHERE discovered_at NOW() - INTERVAL 30 DAY GROUP BY day, severity ORDER BY day分布圖我推薦用Bar gauge和Pie chart兩個(gè)面板。資產(chǎn)管理分布用Bar gauge每條柱子代表一個(gè)資產(chǎn)柱子的長(zhǎng)度是從高到低的漏洞總數(shù)柱子顏色按最高危級(jí)別映射這樣一眼能看出哪個(gè)資產(chǎn)是最需要優(yōu)先處理的。團(tuán)隊(duì)負(fù)載分布用Pie chart展示每個(gè)團(tuán)隊(duì)名下未修復(fù)漏洞的占比這個(gè)圖在周會(huì)上非常有用誰的工作量最重一目了然。3.4 變量模板化的高級(jí)應(yīng)用Grafana的變量功能是看板靈活性的關(guān)鍵。我在看板里定義了三個(gè)變量資產(chǎn)分組、團(tuán)隊(duì)、來源工具都是基于MySQL數(shù)據(jù)源做Query變量SELECT DISTINCT team FROM vulns WHERE team ! ORDER BY team變量定義之后所有面板的查詢中都可以引用。以資產(chǎn)分布圖為例子查詢里加上AND team ${team}當(dāng)下拉框選擇安全組時(shí)資產(chǎn)分布圖就只會(huì)展示安全組名下的資產(chǎn)漏洞情況。這個(gè)聯(lián)動(dòng)的價(jià)值在于同一個(gè)看板既可以用作全局總覽也可以選中某個(gè)團(tuán)隊(duì)下鉆查看不需要為每個(gè)團(tuán)隊(duì)單獨(dú)建一塊看板。變量也會(huì)有個(gè)小坑如果某個(gè)下拉框選了空值查詢會(huì)變成AND team 導(dǎo)致部分?jǐn)?shù)據(jù)被過濾掉。解決辦法是在變量的Include All option中設(shè)置一個(gè)All值查詢模板寫成AND ($team all OR team $team)這樣All的時(shí)候不做過濾選中特定團(tuán)隊(duì)時(shí)才過濾。3.5 安全測(cè)試看板與監(jiān)控告警看板的區(qū)別最后說一個(gè)容易混淆的點(diǎn)。Grafana的模板庫(kù)里有大量現(xiàn)成的服務(wù)器監(jiān)控看板網(wǎng)絡(luò)流量、CPU、磁盤全都有很多新手以為安全測(cè)試看板也能直接導(dǎo)入一個(gè)現(xiàn)成模板就行。實(shí)際上這兩類看板的側(cè)重點(diǎn)差別很大監(jiān)控看板關(guān)注系統(tǒng)當(dāng)前是否健康和穩(wěn)定展示的是吞吐量、延遲、錯(cuò)誤率安全測(cè)試看板關(guān)注風(fēng)險(xiǎn)暴露面是否在可控范圍展示的是漏洞數(shù)量、修復(fù)時(shí)效、資產(chǎn)暴露情況。所以安全測(cè)試看板在導(dǎo)入模板時(shí)不能指望開箱即用數(shù)據(jù)模型就是你要自己先搭好的。我這套看板里的所有面板都是從頭配的沒有用任何現(xiàn)成模板。模板的參考價(jià)值在于學(xué)習(xí)布局和圖表類型的搭配不在于直接套用。4. 告警與通知讓安全風(fēng)險(xiǎn)主動(dòng)找到人4.1 告警規(guī)則與閾值設(shè)計(jì)可視化看板解決的是被動(dòng)查看的問題但真正讓看板產(chǎn)生價(jià)值的是告警——風(fēng)險(xiǎn)出現(xiàn)時(shí)不用等人主動(dòng)打開看板系統(tǒng)直接推消息到相關(guān)人。Grafana的告警規(guī)則支持基于面板查詢配置。我在一個(gè)關(guān)鍵指標(biāo)上配置了告警高危以上未修復(fù)漏洞數(shù)超過10條時(shí)觸發(fā)。詳細(xì)配置如下groups: - name: security_vulns rules: - alert: HighVulnCountTooHigh expr: mysql_vuln_high_count 10 for: 30m labels: severity: page team: security annotations: summary: 高危漏洞數(shù)超過10條當(dāng)前值 {{ $value }} description: 當(dāng)前未修復(fù)高危以上漏洞數(shù)量為 {{ $value }}已超過閾值10條請(qǐng)及時(shí)跟進(jìn)處理。這個(gè)配置有幾個(gè)設(shè)計(jì)考量。for: 30m表示持續(xù)30分鐘才觸發(fā)避免掃描器剛?cè)霂?kù)一批數(shù)據(jù)、團(tuán)隊(duì)還沒來得及處理時(shí)告警反復(fù)橫跳。曾經(jīng)我設(shè)置的for: 5m結(jié)果每次掃描任務(wù)跑完都會(huì)產(chǎn)生一批告警早上一來看到幾十條未讀到最后大家連看都不看了。告警疲勞比沒有告警更可怕。我這里用的是傳統(tǒng)告警引擎的配置方式。如果你使用的是Grafana 9以上的版本建議使用統(tǒng)一告警引擎Unified Alerting直接在界面里配置規(guī)則可以按查詢做區(qū)間判斷也能用表達(dá)式組合多個(gè)條件靈活度更高。4.2 通知渠道接入與分級(jí)策略告警要發(fā)到合適的人手里才有效。我配置了三個(gè)通知渠道企業(yè)微信群機(jī)器人、郵件、釘釘。分組策略按嚴(yán)重級(jí)別區(qū)分critical級(jí)告警直接推群并安全負(fù)責(zé)人high級(jí)告警推群不人medium及以下只寫進(jìn)每周匯總郵件。分級(jí)方案在告警疲勞和感知度之間取了個(gè)平衡。企業(yè)微信機(jī)器人接入方法很成熟建一個(gè)群添加自定義機(jī)器人拿到Webhook地址在Grafana的通知渠道里新建一個(gè)Webhook類型URL填機(jī)器人的地址消息模板可自定義。模板中可以用{{ commonAnnotations.summary }}和{{ commonLabels.severity }}來引用告警信息。我實(shí)際用下來的消息模板長(zhǎng)這樣{ msgtype: text, text: { content: 【安全告警】{{ .CommonAnnotations.summary }}\n詳情{{ .CommonAnnotations.description }}\n時(shí)間{{ .StartsAt }} } }有一點(diǎn)要提前注意Grafana的通知渠道和告警規(guī)則是在不同地方配置的很多新手把Webhook地址填完就以為完事了結(jié)果告警觸發(fā)半天沒人收到消息一查發(fā)現(xiàn)告警規(guī)則里沒有關(guān)聯(lián)這個(gè)通知渠道。在Grafana 9中通知策略Notification policies負(fù)責(zé)把告警路由到對(duì)應(yīng)的聯(lián)系人需要單獨(dú)在Alerting→Contact points和Notification policies里各配一遍。4.3 告警靜默與防抖實(shí)戰(zhàn)告警靜默是最容易被忽略但最實(shí)打?qū)嵔鉀Q問題的一個(gè)功能。安全測(cè)試場(chǎng)景經(jīng)常出現(xiàn)的情況夜間批量掃描任務(wù)跑完一批低危漏洞入庫(kù)觸發(fā)了一堆不痛不癢的告警某資產(chǎn)臨時(shí)下線維護(hù)掃描器連續(xù)幾次連不上導(dǎo)致檢測(cè)結(jié)果異常某團(tuán)隊(duì)正在做集中修復(fù)高危數(shù)量在下降通道但還沒降到閾值以下每天固定觸發(fā)一次告警。我在實(shí)踐中為這三種場(chǎng)景分別配置了靜默規(guī)則夜間掃描時(shí)段凌晨0點(diǎn)到6點(diǎn)自動(dòng)靜默非critical告警對(duì)特定資產(chǎn)的告警設(shè)置48小時(shí)靜默維護(hù)窗口通過匹配labels里的asset_ip對(duì)正在修復(fù)的團(tuán)隊(duì)設(shè)置了serialized告警即同一規(guī)則在6小時(shí)內(nèi)只通知一次。Grafana的靜默配置在Alerting→Silences中可以創(chuàng)建支持基于label匹配器精確匹配。創(chuàng)建時(shí)最關(guān)鍵的是設(shè)定合理的持續(xù)時(shí)間時(shí)間到了自動(dòng)過期不用手動(dòng)清理。我建議規(guī)則中務(wù)必帶上team或asset_ip標(biāo)簽否則靜默只能按整條規(guī)則全局匹配粒度太粗。5. 常見問題與排查技巧實(shí)錄踩過的坑都在這5.1 數(shù)據(jù)時(shí)間與看板趨勢(shì)對(duì)不上問題這是我最先遇到、也是咨詢最多的問題MySQL里明明有數(shù)據(jù)但看板上的趨勢(shì)圖出現(xiàn)斷層或數(shù)據(jù)點(diǎn)完全不顯示。排查思路一Grafana默認(rèn)使用瀏覽器的時(shí)區(qū)。如果瀏覽器時(shí)區(qū)是UTC而MySQL中存儲(chǔ)的是北京時(shí)間那么discovered_at字段在查詢時(shí)會(huì)被Grafana按UTC時(shí)間處理導(dǎo)致數(shù)據(jù)偏移8小時(shí)。體現(xiàn)在圖表上就是當(dāng)天數(shù)據(jù)少了幾小時(shí)。解決辦法是在Grafana的Preferences中把時(shí)區(qū)設(shè)置為Asia/Shanghai或者在數(shù)據(jù)源配置中指定time_zone參數(shù)。排查思路二時(shí)間字段格式不標(biāo)準(zhǔn)。MySQL的datetime類型沒問題但如果你把時(shí)間存成字符串Grafana的MySQL插件能識(shí)別標(biāo)準(zhǔn)的YYYY-MM-DD HH:MM:SS格式識(shí)別不了2024-01-01T00:00:00Z這種ISO帶時(shí)區(qū)的格式。我遇到過一次是因?yàn)槟炒螌?dǎo)入腳本用了Python的isoformat()導(dǎo)致了這個(gè)問題。排查思路三查詢條件中的時(shí)間范圍寫錯(cuò)。Grafana在面板中通過$__timeFrom和$__timeTo宏來限定時(shí)間范圍如果SQL中忘了寫WHERE discovered_at $__timeFrom就會(huì)出現(xiàn)在面板設(shè)定時(shí)間范圍外查全部數(shù)據(jù)的風(fēng)險(xiǎn)數(shù)據(jù)量大時(shí)查詢會(huì)很慢。-- 正確寫法使用Grafana宏限定時(shí)間范圍 SELECT DATE_FORMAT(discovered_at, %Y-%m-%d) as day, COUNT(*) as cnt FROM vulns WHERE discovered_at $__timeFrom AND discovered_at $__timeTo GROUP BY day5.2 JSON日志解析失敗問題用Loki做半結(jié)構(gòu)化數(shù)據(jù)解析時(shí)最常見的問題是日志推上去了但查不出來字段。這個(gè)情況十有八九是日志格式不是標(biāo)準(zhǔn)單行JSON。Promtail默認(rèn)按行讀取文件如果你的JSON報(bào)告是格式化過的、有換行縮進(jìn)Promtail會(huì)把整個(gè)JSON按單行推上來嗎不會(huì)它會(huì)按換行切成多行每一行都不完整LogQL的| json解析自然失敗。解決方案有幾個(gè)我最終用的是在采集端做預(yù)處理寫了個(gè)小腳本把掃描器的結(jié)果先通過json.dumps壓縮成單行再丟棄到一個(gè)output.json文件里Promtail只監(jiān)聽這個(gè)文件。這樣改動(dòng)只影響采集側(cè)不影響原始報(bào)告存檔。還有一個(gè)排查技巧Loki的Explore頁(yè)面可以直接查看原始日志流。如果你發(fā)現(xiàn)某個(gè)日志流的content字段是一大段帶縮進(jìn)的JSON基本就能判定是格式問題。用{appsecurity-scanner} | vuln這樣的查詢手動(dòng)確認(rèn)解析效果是一條快捷的排查路徑。5.3 MySQL查詢性能問題隨著漏洞數(shù)據(jù)不斷累積vulns表到了百萬行級(jí)別后看板的加載速度肉眼可見地變慢。我遇到的性能優(yōu)化有幾個(gè)關(guān)鍵動(dòng)作第一個(gè)是索引。critical查詢中經(jīng)常使用到status、severity、discovered_at這三個(gè)字段的組合。我給vulns表創(chuàng)建了復(fù)合索引ALTER TABLE vulns ADD INDEX idx_status_severity_time (status, severity, discovered_at);這個(gè)索引直接讓按狀態(tài)級(jí)別時(shí)間范圍過濾的查詢從全表掃描變成索引range scan加載速度提升了大概10倍。第二個(gè)是聚合查詢的優(yōu)化。跟監(jiān)控系統(tǒng)一樣Grafana的趨勢(shì)圖是按小時(shí)甚至按分鐘拉數(shù)據(jù)的存儲(chǔ)層做了預(yù)聚合就快很多。我在MySQL里加了一張vulns_daily_summary表每天跑一個(gè)定時(shí)任務(wù)統(tǒng)計(jì)當(dāng)天的漏洞增量、修復(fù)量、各級(jí)別數(shù)量趨勢(shì)圖直接查這張匯總表明細(xì)列表才去查大表。這樣看板響應(yīng)速度和底表數(shù)據(jù)量基本解耦了。第三個(gè)是做數(shù)據(jù)歸檔。超過一年的已修復(fù)漏洞定期移到vulns_archive表主表只保留活躍和近一年的數(shù)據(jù)查詢性能才有保障。5.4 看板顯示權(quán)限與多團(tuán)隊(duì)隔離當(dāng)看板要開放給多個(gè)團(tuán)隊(duì)查看時(shí)權(quán)限隔離就成了繞不開的問題。安全團(tuán)隊(duì)希望所有團(tuán)隊(duì)都能看到自己名下的漏洞但又不希望A團(tuán)隊(duì)看到B團(tuán)隊(duì)的數(shù)據(jù)。Grafana的實(shí)現(xiàn)方式是通過組織和文件夾來配置權(quán)限。方案是創(chuàng)建安全運(yùn)營(yíng)組織Organization統(tǒng)一管理所有看板。按團(tuán)隊(duì)創(chuàng)建文件夾每個(gè)團(tuán)隊(duì)的看板放在對(duì)應(yīng)的文件夾下。在文件夾的Permissions中添加對(duì)應(yīng)團(tuán)隊(duì)并對(duì)齊角色為Viewer。核心敏感看板如全局總覽只對(duì)管理員開放普通用戶可以訪問但看不到。如果同一塊看板想讓不同用戶只看到自己團(tuán)隊(duì)的數(shù)據(jù)則要利用變量加數(shù)據(jù)權(quán)限控制。Grafana企業(yè)版有基于標(biāo)簽的權(quán)限控制但社區(qū)版沒有。我的替代方案是按團(tuán)隊(duì)拆分變量為每個(gè)用戶配置獨(dú)立的首頁(yè)看板URLURL中帶上團(tuán)隊(duì)參數(shù)例如/d/vuln-board?var-teamsecurity。用戶打開的就是過濾后的視圖不需要進(jìn)入編輯模式就能看到對(duì)應(yīng)數(shù)據(jù)。這個(gè)方案不完美但勝在簡(jiǎn)單可落地。5.5 常見問題速查表問題現(xiàn)象可能原因解決方案趨勢(shì)圖時(shí)間偏移數(shù)小時(shí)時(shí)區(qū)不匹配Grafana Preferences設(shè)置為Asia/Shanghai趨勢(shì)圖數(shù)據(jù)斷層時(shí)間字段為字符串格式統(tǒng)一改為datetime類型日志解析后無字段JSON多行格式預(yù)處理壓縮為單行JSON看板加載很慢缺少?gòu)?fù)合索引添加(status, severity, discovered_at)索引告警反復(fù)觸發(fā)for配置過短設(shè)置for為30m或更長(zhǎng)消息沒收到通知策略未關(guān)聯(lián)在Alerting中檢查聯(lián)系點(diǎn)和路由部分圖表顯示No data變量空值過濾查詢中使用($var all OR field $var)用戶可以看到其他團(tuán)隊(duì)數(shù)據(jù)權(quán)限配置不對(duì)按文件夾設(shè)置團(tuán)隊(duì)權(quán)限最后分享一個(gè)個(gè)人體會(huì)看板的價(jià)值不取決于圖表的數(shù)量取決于團(tuán)隊(duì)是否真正依賴它做日常決策。這套系統(tǒng)上線頭一個(gè)月大家還是會(huì)習(xí)慣性地問最近漏洞情況怎么樣到第二個(gè)月、第三個(gè)月他們已經(jīng)開始主動(dòng)盯著高危數(shù)量那個(gè)指標(biāo)卡一旦變黃變紅就來找安全團(tuán)隊(duì)問情況——這時(shí)候看板才算真正長(zhǎng)在了流程里而不只是一個(gè)偶爾打開的展示屏。先從一個(gè)核心指標(biāo)卡開始跑通數(shù)據(jù)鏈路再逐步增加圖表和告警規(guī)則是這套方案落地時(shí)最穩(wěn)妥的推進(jìn)節(jié)奏。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
超碰久热| 五月婷婷丁香综合,亚洲天堂| 天天婷婷天天| 色婷婷久久综| 亚洲无码猫咪| 欧洲色区| 丁香五月五月婷婷| 丁香六月色婷婷| 99视频精品8| 色五月97| 婷婷狠狠爱| 婷婷久久网| 视频这里只有精品16| 97热在线精品| 婷婷综合偷拍| 奇米色大香蕉| 亚洲殴洲精品Av在线| 26uuu在线观看| 色婷婷九月| 成人AV免费观看| 婷婷五月日本| 婷婷中文综合网| 色色色色色综合| 婷婷激情五月天视频在线| 中文字幕,综合,91| 天天开心婷婷丁香五月| 亚欧州精品视频| 婷婷五月色播天| 色人久久| 99色视频| 丁香六月综合| 色五月av| 婷婷香草网| 天天色天天| 91精品久久久久久久久久久久| se色婷婷视频| 婷婷五月天最新网址| 日本欧美成人片AAAA| 丁香五月激情啪| 久久少妇视频| 99啪啪网| 伊人久久艹| 天天干天天干天天| 丁香婷婷色五月| 黄色成人网站在线播放| 9l视频自拍9l九色成人| 99超级碰免费视频| 日本黄色一级| 99碰碰中文| www.久久99精品| 久久综合九色综合97婷婷| 丁香五月天激情综合| 丁香五月激情网| 色综合久久88色综合中文字幕| 亚洲六月综合激情久久下卡| 69五月天视频| 婷婷色女| 日韩精品色| www.十八禁不禁AV.com| 99精品大片| 亚洲成人黄色网| 六月久久狠狠| 天堂久久婷婷| 激情综合色| 婷婷亚洲综合| 蜜桃婷婷丁香综合久久开心亚洲| 欧美久人人| 热久久色| 色情·com| 人人草成人视频| 欧美日韩成人在线| 婷婷色五月情| 99热新网址| 六月婷婷综合激情| 99视频只有精品| 五月天激情婷婷| 久久一级AV| 中文字幕91,综合| 99视频色在线观看| 婷婷综合精品视频97| 97婷婷五月天| 夜夜撸日日操| 国产色香蕉精品五夜婷| AV天堂淫乩| 丁香五月激情综合| 五月丁香花激情啪啪网| 五月天激情四射| 五月丁香激情综合六月涩涩爱| 亚洲激情综合五月婷婷啪啪| 九九色影院| 欧美精品999| 国产精品成人AV在线观看春天 | 色婷插| 五月丁香婷婷老司机| 婷婷色情五月| 日韩六六久久电影| 大香蕉精品视频| 91性高潮久久久久久久久| 久久看九九90| sisi热国产| 日日噜狠狠色综合久| 99热这里全是精品| 婷婷色在线播放| 26UUU成人网| 婷婷五月图片小说视频| 超碰在线国产| 亚洲永久四色| 久久这里有精品| 婷婷五月激情小说| 色综合久久综合中文综合网| 亚洲视色| 91性交在线播放| 色播五月婷婷五月| 丁香五月天激情综合| 人人97操| 丁香美女主播视频在线观看| 无码免费人妻A片AAA毛片西瓜| 丁香激情五月天| www.激情在线| 99热这里只有精彩| 色综合久久久久| 丁香五月婷婷色| 久久99网| 中文字幕在线日亚州9| 国产精品香蕉| 1024在线视频| 婷婷播5月| 99精品成人无码A片观看金桔| 97色婷婷在线观看| www.天天干| 色五月婷婷在线观看第一页舔| AA久久| 日韩99色99| 欧美人与性动交CCOO| 久久婷婷综合国产| 99.N在线视频| 女同激情久久av久久| 九月色婷婷综合| 熟妇无码乱子成人精品| 开心亚洲久久开心| 亚洲黄色网址| 国产黄大片在线观看画质优化| 中文字幕,综合,91| 色综合色综合网| 国产精品日本一区二区在线播放| 99视频精品全部免费 在线| 欧美一级色| 99热综合色图| 天天色综网| 综合色色婷婷| 五月综合久久| 久色五月| 色原狠狠综合| 亚洲黄色精品| 久热这里只有精品6官网亚洲| 人人操人人干AV| 久久久27操| 色情婷婷五月天| 久久九九经典| 99热老网站| 97视频.干com| 99热综合| 五月网网站| 秋霞少妇AV网站| 丁香五月综合在线| 9久热在线精品| 天天爽天天摸| www.maotanji.com| 99久久久久| 九九色逼| 色综合久久久无码中文字幕999| 99热综合| 色欲五月婷婷| 五月丁香综合激情网| 中文字幕综合| 激情网第四色| 色色色色色五月| 丁香激情五月| 六月婷婷成人| 在线五月婷| 五月天激情图片| 狠狠色五月| 97碰在线| 日日做天天操夜夜爽| 国产伦理精品高清在线观看网站一区二区 | 婷婷久久五月天亚洲欧美国产日韩在线观看| 五月色亚洲| 激情六月丁香综合| 五月天激情图片网| AA丁香综合激情| 五月激情网络| 色色丁香婷婷| 色约约视频一区二区三区四区五区| 天天干夜夜谢| 五月婷婷丁香五月亚洲色| 99热热热99精品丁香| www.五月天激情| www.婷婷,com| 五月久久综合| 99久久这里只有精品| 狠狠干五月丁香| 熟女国产在线一区二区三区四区| 九九色婷婷| 丁香六月婷婷姐网| 岛国资源网| 婷婷五月a| 超碰超碰在线| 婷婷色正月| 色啪影院| 亚洲激情五月| 丁香五月花影院| 五月综合激情| 天天色激情| 99黄色在线视频精品熟女| 日本狠狠干| 日本婷婷五月天| 丁香五月六月久久综合 | www.婷婷,com| 五月丁香综合久久夜夜| 高潮毛片又色又爽免费| 99这里只有精品视频| 99久久免费精品| 激情五月婷婷| 亚洲免费99| 黄色国久久| 99久视频| 五月丁香啪综合| 久色五月| 久久婷婷亚洲五月天| 婷婷激情性爱| 亚洲综合视频网| 五月天丁香婷婷久久九| 亚洲精品又粗又大又爽A片 | 超碰99在线| 麻豆雪千夏| 伍月婷婷六月丁香| 色 五月婷婷基地| 亚洲综合字幕色色| 天天射影| 五月天激情综合网站| 五月丁香综合影院| 超碰人人91| 久久丁香综合精品综合| 久久五月丁香综合| 一区操| 成人精品视频99在线观看免费| 五月丁香久久久久| 人人操 色| 99人妻碰碰久久久禁片| 9久久狠狠的| 夜夜撸日日操| 天天综合精品| 亚洲五月六月婷婷| 激情婷婷五月在线合集| 婷婷综合干| 亲子乱AV-区二区三区| 丰满老熟妇BBBBB搡BBB| 亚洲国产精品二二三三区| 99亚洲视频| 超碰人人草| www.婷婷.com| www99热| 99视频自拍| 久久性操| 婷婷99狠狠| 亚洲另类在线观看| 99热香港| 国产激情在线| 午夜色色色极品视频| 思思99热这里只有精品| 综合久久婷婷五月丁香| 五月综合婷婷久久在线| 五月天最新网| AV人人操| 色五月丁香A欧美com| 国内自拍97在线| 国产干逼片| 黄色av网站在线免费播放| 五月婷婷先锋| 久久作爱| 极品人妻videosss人妻| 婷婷色综合av| 色婷婷丁香五月| 亚洲蜜桃精久久久久久久久久久久| 第九色区av天堂| 国外亚洲成AV人片在线观看| 大香婷婷| 热久久思思热思思| 桃色激情网| 久久玖玖综合| 强壮公让我夜夜高潮A片视频| 被男人添B超爽视频| 日韩黄在免| 婷婷狠狠爱| 人人综合久| 五月丁香久久综合| 久久99热在线观看| 国产精品18久久久| 色婷婷国产精品综合在线观看| 草草操操| 丁香五月婷婷俺也要去| 亚洲激情另类| 九月激情综合婷婷| 色婷婷色久综| 成人精品在线| www.五月婷| 久综合网| 99热这里只有精品55| 大香网伊人久久综合| 国产FREESEXVIDEOS性中国| 国产激情一区| 婷婷久久免费看| 五月天最新网| 香蕉婷婷五月| 色狠狠激情五月| 狠狠色综合精品视频在线| 色碰碰视频| 婷色影院| 婷婷 激情 五月| 91干在线| 五月丁香最新| 色五月亚洲开心网| www.天天干| 亚洲成人另类| 五月的色婷婷高潮| 国产99久| 五月色婷婷综合丁香精品无遮挡| 激情五月五月婷婷| 另类A片| 亚州精品久久久久AV无码| 色婷婷综合视频| 国内精品免费一区二区2009| 四虎婷婷五月天| 99黄色性生活| 超碰超碰在线| 4399亚洲视频| 久久一级片| 天天天添天天操| 天天爽天天| 99爽视频| 五月久久婷婷天堂视频| 91干在线视频| 99精品视频免费| 亚洲综合五月天婷婷丁香| 六月婷久久| 天天操天天曰| 97操碰在线视频| 久久丁香五月婷婷| www.婷婷com| 99久久99热| 色婷婷久久综合| 色综合久久综合| 色女伊人| 久久免费试看120秒| 伊人婷婷五月| 大香蕉丁香婷婷| 大香蕉院线| 国产人妻人伦精品一区二区| 五月婷婷成人网首页| 五月天婷婷丁香| www.91操| 思思热在线观看| 久久婷婷丁香五月一二三| 五月婷婷AV| 91狠狠综合久久久久久| h在线看免费版在线看| www.丁香五月| 97色婷婷| 色五月成人网| 我想看国产大学生口爆吞精的视频| 五月天色网站| 五月天另类图片区99| 综合婷婷五月天| 久操97| 色婷婷亚洲婷婷| 182TV大香蕉| 棕合影院色色| 99色色热| 热热色色五月天婷婷| 五月天婷婷黄色| 中文字幕成人日韩| 99色热视频| 九九99精品视频在线观看| 色爱亚洲| 午夜婷婷五月天在线| 色五月色综合| 天堂中文国产| 五月综合亚洲| 97se视频在线| 色综合久久久久| www.色婷婷。com| 97超级碰人人| 五月综合激情| 五月天婷婷色播| 精品综合网在线| 丁香五月在线观看| 欧洲亚洲免费视频9| 国产又爽又猛又粗的视频A片| 99精品视频免费观看,| av五月天婷婷丁香| 久9热| 五月婷婷激情色情网| 亚洲欧美日韩另类| 开心激情站| 婷婷五月天激情综合网| 久久婷狠狠色| 色婷婷综合久久| 婷婷五月天小说| 精品五月视频婷婷在线观看| 超碰在线个人观看| 天天射影院| 99热99干| 天天日狠狠| 免费看片操逼| 少妇被下春药玩弄A片| www激情| 99久久99视频只有精品| 久9视频| 日韩av在线免费观看| 思思热在线观看| 久99热| 色色五月婷婷| 亚洲操B视频| 九九热精品| 丁香五月天在线观看| 五月婷丁香花| 久久丁香五月| 月丁香久久久| 91男同视频| 激情久久久久久久久久久| 婷婷六月色| 婷婷色啪| 激情五月天激情五月天| 青青福利网| 激情婷婷色色| 大香蕉人人人| 九九色插| 成人国产网站在线免费看| 噜噜噜狠狠色综| 2025天天操| 久久黄色网扯| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 99久在线精品99re8| 五月婷婷伊| 色婷婷影院| 激情AV在线| 久久 视频这里只有精总| 日本va欧美va欧美va精品| 亚洲视频1区| αv中文字幕在线观| 亚洲操B| 色哟哟精品| 婷婷六月丁香五月| 婷婷五月激情五月激情| 夜夜撸日日骑| 乱色色色| 国产三级秋霞| 狠狠色噜噜色狠狠狠综合久久成人波| 天天cha成人综合网| 天天爽夜夜爽夜夜爽精品| 丁香婷婷五月六月久久| 2016日日夜夜操| 中文字幕在线人妻| 91色碰| 丁香花五月天社区| 丁香五月综合久久| 日本久久超碰| 久色网址| 色五月无码| 丁香六月婷婷久久综合八月| 影音先锋女人av鲁色资源网小说免费| 国产亚洲精品人人| 激情播丁香| 99久久思思| 天干干夜夜操| 五月婷婷我| 色5月婷婷| 五月丁香激情婷婷| www,超碰| 亚洲这里只有精品| 婷婷成人基地| 亚洲成人av在线观看| 超级碰碰99| 久久婷婷五月综合一| 综合亚洲AV| 操日本三片99| 婷婷五月深情丁香深爱日韩| 五月亭亭激情综合| 夜夜骑天天操| 久久99视频| 久草热在线视频| 欧美日综合| 狠狠五月婷婷| 黄色精品五月婷婷| 激情综合五月色在线| 婷婷五月天色网久| 五月天婷婷在线观看精品男人| 欧美五月丁香啪啪响视频| 天天综合亚洲综合网天天αⅴ| 五月亭亭六月色| 国产夫妻操逼内射视频| 九九视频在线观看| 99热在线观看精品| 色狠狠色| 中文字幕在线不卡视频| 婷婷伊人久久| 亚洲看av的网站| 日韩十国产极品久久| 激情丁香五月天| 超碰人人草| 日韩丰满少妇无码内射| 狠狠综合久久综合| 日韩好吊操| 五月婷婷婷自由综合| 五月婷婷久| 婷婷激情综合| 狠狠操狠狠色| 丁香五月婷婷性爱| 精品久久99码| 成人无码髙潮喷水A片| 欲求不满的人妻| 五月天激情图片| 人妻在线中文字幕久久| 婷婷综合色图| 色99综合色88| 久久久精品视频79| 丁香五月天啪啪a日本| 91丨九色丨高潮丰满日本| 色情综合网| 99热天堂| 开心激情网五月| 日日综合网| 色婷婷av综合网| 色五月丁香总合网| 91凹凸在线| 亚洲精品a成人在线播放| 亚洲最大在线| 天天操屄网| 一起草AV| 操操啪| 婷婷五点亚洲| 中国丰满熟女A片免费观| 91chinese 在线| 五月丁香亚洲五月| 久久五月婷| 九九综舍久久| 五月婷婷AV| 江苏少妇性BBB搡BBB爽爽爽| 亚洲AV成人精品日韩在线播放| 99这里只有精品在线观看| 996热| 精品一区二区三区三区| 成人网丁香五月| 97五月天| 婷婷五月天综合网| 在线观看av网站| 狠狠色中色| 丁香五月天在线直播观看| 欧美色九| 亚洲视频操| 日日噜狠狠色| 五月天婷婷涩涩| 天天色天天噜| 双性美人被调教到喷水A片| 在线99热| 九九热黄色| 五月婷婷色白丝| 亚洲日日操| 99精品视频免费观看近期发布| 婷婷亚洲日本| 五月天激情久久| 色综合久久综合中文综合网| 97热这里精品在线视频| 色综合婷婷| 99超级碰碰| www.91AV.com| 激情九九这里只有精品| 狠狠五月婷婷| 婷婷五月天成人小说| 亚韩精品视频1区| 狠狠干青青草| 婷婷五月综合网激情| 九月色婷婷综合| 日韩人妻白浆视频系列| 久热精品视频| 5五月综合网亚洲| 婷婷香五月天| 久久久久久激情| 久久婷婷啪啪视频| 婷婷五月大| 99色网站| 激情激情激情网| 欧美熟女视频 色婷婷| 啪啪六月婷婷| 国产avapp 网| 欧美99热| 亚洲第一精品网站| 久久98热re| 9 1超碰九色| 丁香亭亭久久| 91性交在线播放| 色色色国产| 婷婷久久免费| 五月天色不卡| 四月婷婷丁香| 色综合中文| 婷婷深爱五月天| 涩涩网五月天| 久99精品视频| 狠狠干在线| 那里有AV网址| 在线观看日韩12345区| 久久综合五月天| 伊人婷婷大香蕉| 91啪啪视频| 丁香五月婷婷欧美成人色图| 精品99视频| 99无码黄色视频| 丁香五月23111| 色播五月丁香综合| 中文字幕 码精品视频网站| 丁香婷婷在线| 91精品婷婷国产综合久久| AV网在线| 超碰人人超碰| 丁香五月激情澎湃一区| 五月丁香激情怕怕| www.夜夜操| 丁香六月天之亚州热女| 欧美日韩999| 1024人妻无码中文字幕| 中文激情网| 青草激情在线| 亚洲美女婷婷五月天| 五月激情久久| 色婷婷视频| 欧美日韩一区二区三区四区| 激情五月天综合网站网站网站| 麻豆123区| 99热这里只有精品55| 这里只有精品免费观看网占| 五月花婷婷在线精品视频| 激情五月天.色网| 色99视频| 人妻九九九九| 色丁香影院| 五月婷婷天天色| 99久久玖玖| 7777久久亚洲中文字幕| 婷婷久久综合| 婷婷丁香在线| 综合99视频| 五月丁香六月婷婷网站| 色婷丨日丨天丨综合久久| 久99久在线| 大大香蕉综合在线| 丁香五月欧美婷婷综合| 久久99热这里只有精品| 九九99一区| 丁香婷婷六月天| 日韩性视频| 久久婷婷东京热大香樵| 婷婷五月天久| 97碰碰叉| 一级黄色片看看| 国产成人精品一区二区三区视频| 五月天堂色| 狠狠人妻色综合| AV性爱在线| 天天色,天天日,天天做| 色婷婷五月天综合网| 五月丁香网av| 在线VA视频| 91爱操| 91热在线| 超碰超碰在线| 9操在线| 婷婷99视频精品| 激情五月综合久久| 激情婷婷久久| 五月丁香六月综合基地| 91日日日| 婷婷五月情| 婷婷综合色图| 五月婷婷深深的爱| 再綫Av免费視品| 亚色网站小视频| 色色色色色色色综合| 五月婷婷六月丁香激情深爱| 99亚洲综合| 成人欧美一区二区三区在线观看 | 色色色9| 五月激情站| 五月天综合在线观看视频| 色五月婷婷亚洲| 激情五月婷| 国产精品色| 97在线碰| 色噜噜综合网| 五月婷婷激情网| 日本黄色三级片内射| 先锋影音av色五月天资源站| 激情碰碰碰| 无码动漫AV| 一逼色综合| 99re99热| 天天干天天 亚洲| 婷婷五月天中文字幕| 停婷丁五月在线| 翔田千里 50岁 无码| 天天色亚洲| 国产人妻人伦精品一区二区| 99情色五月天| 久久色五月天| 思思久久精品视频| 深爱婷婷丁香五月激情| 久久天天| 六月婷婷激情| www.九九婷婷| 久久五月天激情美女| www.狠狠操.com| 橾逼网| 色999亚洲人成色| 少妇高潮呻吟A片免费看软件 | 国产激情婷婷| 超碰99久久| 电影蜘蛛女| 四月婷婷丁香| 五月婷色| 99超级超级超级碰| 天天综合网、天天综合色| 巴基斯坦粉嫩无码视频| 激情综合久久| 丁香五月综合激情久久潮喷| 大香蕉久久| 激情com| 丁香五月欧美午夜视频| 色9999日韩国产| 欧美婷婷丁香五月| 婷婷国产日本欧美| 五月婷婷啪啪网| 亚洲狠狠色丁香婷婷综合久久| 久久六月天| 色五月色五天色情网| 日韩成人精品中文字幕| 国产色色色色色| 五月开心六月婷婷在线播放网站| 色婷婷丁香五月| 大伊香蕉精品视频在线| Av九九| 五月丁香无码| 香蕉AV777XXX色综合一区| 激情99热| 超碰人人干| 夜色五月天| 久久久久婷婷五月热综合| 亚洲成人噜噜| 成人国产欧美大片一区| 色丁香久久| 九九热最新视频| aaaa久久| 婷婷五月天亚洲图片| 欧美人妻一区二区| 午夜成人天堂久久无码日韩久久| 日本操B视频| 五月丁香综缴情性爱| 激情五月图| 91精品久久久久久久久久久久| 日本在线视频手机播放五月婷| 亚洲99热| 六月丁香啪啪啪| 中文AV网| 久久五月天丁香花| 激情综合亚洲色婷婷五月| 思思久久99热只有频精品66| 丁香五月激情天AV无码| 伊人婷婷五月天| 91超级碰| 五月天婷婷久久| 婷婷综合色色| 丁香五月电影| 色色色国产| 欧美日韩91| 91热视频色网站| 激情综合五月婷婷| 成人免费在线电影| 五月丁香六月婷婷激情网| 嫩草视频观看| 婷婷在线播放| 丁香大香蕉| 日本色道视频网站| 婷婷日在线观看| 天天插天天射| 插插干干干色| 无码人妻丰满熟妇奶水区码| 久久性爰视频这里只有精品| 亚洲AV成人在线观看| 九九九九九九九热| 变天就操逼婷婷五月| 天天噜噜| 99热亚洲精品| 色色色热热热| 综合狠狠五月婷婷| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 五月婷婷欧洲| 狠狠色综合网站久久久久| 国产激情在线观看| 久久婷婷综合基地| 欧美性二区| 日本天天色| 五月激情婷婷播播网| 乱精品一区字幕二区| 甈你aaaaa| 国产综合A片| 亚洲丁香五月天视频| 丁乡久久| www.狠狠| 激情综合婷婷| 一本狠婷婷综合| 丁香九月婷婷综合| 久久综合激情五月天| 综合久久丁丁香婷| 五月丁香六月激情视频| 九九热中文| 91色久| 精品久久久久久久人妻| www,色综合| 亚洲AV第二区国产精品| 色综合天天天天做夜夜| 久久婷.com| 极品少妇XXXX精品少妇偷拍| 色色色色网| 久久婷婷五月综合伊人| 操人无码| se99视频| 美日韩成人| 日韩精品视频中文字幕| 激情综合一| 天天爽夜夜爽夜夜爽精品| 婷婷五月丁香图片人人操| 五月天激情综合| 婷婷五月丁香av网站| 九九色婷婷五月天| 三级三久久线久久99久目本WW| 亚洲色色图片| 久久久99免费视频| 欧美操人| 婷婷久久草| 99re99在线看| 精品自拍97| 丁香五月天视频| 人草人人| 午夜九九电影| 色域五月婷婷丁香| 婷婷干六月综合旧址| 五月丁香色综合| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 99爱视频在线观看| 五月情婷婷| 五月丁香六月色婷| 九九热青青草| av亚洲国产小电影| 综合AV在线| 影音先锋人妻出差| 丁香五月天堂网| 色综合久久综合| 亚洲深喉aV| 婷婷深爱五月| 日日干夜夜干| 欧美va在线| www.25五月婷婷| 婷婷五月色| 色99婷婷五月天| 久久精99| 激情AV网| 亚洲色婷婷| WWW,五月| 91久久五月天| 伊人五月天在线| yazhouzonghesese| WWW.天天日| 久操热| 久久婷婷丁香| 超碰色婷婷| 五月丁香A∨在线| 色色999三级片| 九九热视频在线观看| 婷婷啪啪| 97操操操| 97人人操| 啪啪色区| 五月婷婷在线视频观看| 99爱无码| 99日这里只有精品| 久热这里只有精品视频6| 天天干-天天日| 色婷婷4| 美女婷婷六月色| 激情五月天激情网| 性婷婷| 99无码免费视频| 天天免费成年人视频| 亚洲精品网站色视频| 五月婷色| 秋霞黄色一级久久| 99热这里在线精品| 日韩综合久久| 国产免费AV网站| 天天骑日日爽| 夜夜骑操AV| 久热2025无码| 色五月aV| 九九亚洲小视频| 天天操天爱综合| 国产婷婷五月色情综合| 激情五月狠狠| 九九热婷婷| 亚洲激情网| xx久久| 中文字幕在线免费观看视频| AV九九| 99国产精品白浆在线观看免费| 国精产品一区一区三区免费视频| 婷婷五月天综合久久日美女| 色婷婷五月综合色婷婷| 色五月婷婷操逼| 免费亚洲婷婷中文字幕| 五月花综合| 婷婷激情鹿城五月天| www,五月天激情| 天天爽天天爽视频| 五月天婷婷伊人| 久久人妻久久| 五月婷三级片| 91久草五月天婷婷| 97干在线| 午夜丁香六月婷| 国产成人AV人人爽人人澡Va| 久热这里只有精品视频6| 婷婷久久国产视频| 欧美成人精品老美女噜噜噜| 久久精品五月天| 激情第四色| 熟惀91九色在线| 97极品在线| 99国产er热视频| 色婷五月天网站| www999日韩精品| 99自拍视频| 色色色色色九九九九九| 91免费看片| 台湾综合丁香五月蜜桃| 九九热精品视频| 婷婷六月啪啪| 激情色情五月天| 婷婷 伊人 久久| 丁香五月天色综合| 五月天婷婷黄色| 香蕉婷婷色五月| 91男人操女人视频| 九九精品婷| 《诡秘之主》在线观看 | 丁香五月成人av| 日日日日日| 五月天成人在线| 婷婷丁香无码专区| www.综合久久.com| 五月天丁香综合| 五月丁香综合激情| 精品视频网| 久热久色| 日日操日日撸| 九色啦蜜臀| 精品99在线观看| 色五月激情五月| 热的无码综合视频| 九九99在线视频| 人人草人人舔| 一级操逼内射在线视频| 五月婷婷亚洲| 免费看欧美成人A片无码| 婷婷五月天久久| 99在线观看视频免费| 国产操B| 九九色影视| 亚洲va欧美| 20253AV| 久久九九99| 五月停停丁香| 97色碰| 婷婷热色| 五月激情婷婷在线| 婷婷六月五月天综合| 99热国内精品| 久久婷五月影院| 婷婷中文字幕| 在热视频精品| 丁香六月婷婷综情欧美| 一级性爱视频| jiujiu热在线视频| jiuse91在线| 国产亚洲99久久精品| 亚洲精品午夜国产va久久成人| 欧日美女Va| 日韩精品电影| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 啪啪视频99| 色色色综合网| 日韩精品一区二区亚洲AV观看 | 成人做爰A片免费看网站找不到了| 婷婷亚洲五月| 丁香六月 人妻| 九九热超碰| 色综合久网| 五月伊人91| 91碰碰| 日本三级中国三级99| 婷婷五月天激情基地| 五月丁香WWW| 久久99久久99精品免观看粉| 97操男人的天堂| 亚洲激情久久| 偷拍91九色| 99色色色色| 欧美五月丁香在线观看| aa久久| 久久久27操| 婷婷五月成人社区| 婷婷精品| 色狠狠综合| av在线免费播放| 超碰猛烈的性猛交| 久久ab| 青青草六月丁香| 丁香五月AV在线| 亚洲av成人在线| 黄色精品五月婷婷| 亚洲AV第二区国产精品| 色天使色综合| 99婷五月| 国产偷人爽久久久久久老妇APP| www.yw尤物| 日本婷久久| 天天操加勒比| 五月婷婷影院| 成人丁香五月天| 真实亲子乱子伦高清在线观看| 激情五月天色爱| 六月婷婷网站| 欧洲亚洲免费视频区| 激情五月天婷婷图| 欧美va精品va老师va| 亚洲精品国产成人AV在线| 国产精品色婷婷99久久精品| 人人爽欧美婷婷久久久五月丁香| 国产一区二区三区影院| 五月丁香六月激情综合| 色吧五月| 色婷婷丁香五月| 色一情一乱一乱一区91Av| 大香蕉九九| 日本三级日本三级99| 大香网伊人久久综合| 99这里只有精| 色爱五月天| 大香蕉久操| 婷婷五月色| 青草视频在线观看视频| 色婷婷五月天| 久久精品凹凸分类| 久久九九热re6这里有精品| www,婷婷,com| 五月色婷丁香| 婷婷色六月| 麻豆雪千夏| 三级三久久线久久99久目本WW| 粉嫩av懂色av蜜臀av熟妇| 9色在线| 久9热在线视频| 91viP在线看| 九九视频精品这里只有| 69五月天视频| 五月婷深深爱激情网| 夜夜夜夜做天天天做无码视频| 六月色伊人婷婷| 开心激情站婷婷五月天| 国产精品香蕉| 丁香五月天电影| 色五月婷婷久久| 人人爱操| 激情五月天婷婷五月天| 五月婷综合性中心| 99热这里只有精品最新网址| 在线观看婷婷5月| 欧美五月婷婷| 一级黄色影片| 欧美情色一区| 奇米四色五月天| 五月婷亚洲精品AV天堂| av婷婷丁香 六月| 色五月婷婷丁香婷婷| 色婷婷亚洲六月婷婷中文字幕| 超碰二区| 五月大香蕉| 综合99在线| 热久久91| www.夜夜夜| 婷婷激情五月色综合| 久久九色| 亚洲精品又粗又大又爽A片| 亚洲成人电影在线免费观看| 另类激情五月| 成人色五月天| 综合久久五月天| 久热免费| 亚洲无AV在线中文字幕| 9 1 A v久久久| 激情五月深爱五月观看| 激情五月婷婷中文字幕| 美国十月色婷婷在线观看| 日产精品一线二线三线芒果| 99在线免费视频播放| 99热99干| 99色视频免费在线规看| 九九99九九99| 99ER热精品视频| 91精品久久久久久久久久久久| WWW夜夜| 色五月六月| 日日干天天| 激情丁香五月| 快乐激情五月色婷婷| 五月丁香激情六月| 丁香五月成人社区| 五月情涩综合婷婷| 丁香五月综合色婷婷| 婷婷久久丁香| 无码少妇高潮喷水A片免费| 婷婷色在线播放| 五月丁香伊人网| 五月婷婷中文字幕| 色135综合网| 久热九九| 激情综合色婷婷六月天| 777精品久无码人妻蜜桃| 97人妻碰碰碰久久| 色亚洲中文| 超碰免费人人| 色拍九九九| 男人天堂伊人五月丁香| 丁香激情五月| 激情丁香五月婷婷| 97久人人| 五月婷婷丁香在线| 狠狠CAO日日穞夜夜穞AV| 伊人久久大香线蕉av一区| 国产乱妇乱子伦| 99这里有精品视频| 六月婷婷综合激情| 亚亚州久久高潮| 97干干干丁香| 久久综合性| 五月天色丁香| 丁香六月成人| 4399在线观看免费高清电视剧| 六月丁AV| 亚洲V国产V欧美V久久久久久| 九九99精品| 大香蕉220| 99 频99热国里只有精品| 超碰成人在线观看| 五月丁香综合网| 亚洲最大五月六月丁香婷婷| 人妻丰满精品一区二区A片| 色欲天天综合| 天天插天天插| 无码一级片| 97韩国久久电影院| 久久久天堂国产精品女人| 婷婷伊人綜合中文字幕| 色偷偷色婷婷| 婷婷丁香五月天色色| 丁香五月天BBw| 色色国产| 激情五月激情综合网一级丸片| 婷婷中文在线| 久久婷婷人人| 亚洲成人中心| 三级黄色大片视频| 九九九九九无码| 久久精彩视频| 丁香久色| 天天干天天做| 五月情丁香色| 欧美韩国日本| 五月花综合网| 综合网天天| 婷婷偷拍网| 99热欧美| 久操人妻| 久久九九中文字幕| 日韩 中文 欧美| 操日本三片99| 亚洲丁香婷婷丁香五月天激情| 综合九九久久| 久久99热这里只有精品| 五月丁香九九| 婷婷在线激情| 冬月かえでAV无码播放| 五月丁香婷婷爱| 色哟哟精品| 九月婷婷色色| 五月天丁香综合久久国产| 五月丁香精品| 丁香五月婷婷五月天在线| 五月丁香综合激情| 五月婷婷亚洲综合网| 曰韩五月丁香色婷婷无码| 激情网站综合五月天| 牛牛澡牛牛爽| 天天天天天日| 九草性爱| 日韩一级网站| 日本欧美在线| 69精品人人人人| 五月色导航| 五月丁小婷婷激情四射| 久久99激情丁香婷婷小说网| 丁香六月av| 激情文学久久| 色婷婷综合久色AV五色最新| 亚洲精品一区无码A片| 五月丁香六月婷婷a v| 久久九九亚洲| 五月天激情网站| 99在线观看亚洲| 色色色色色综合| 婷婷中文字幕版| 有码一区二区三区| 91ncm视频| 色五月无码| 丁香五月综合狠狠| 天天干天天操天天拍| 97资源碰碰| 精品一二三区久久AAA片| 欧美激情-区二区三区| 五月花激情网| 丁香五月天堂网| 久久这里有精品99| 91色在线| 狠狠香蕉| 五月情综合| 久久丁香婷婷五月| 亚洲精品婷婷| 99爱免费在线视频| 欧美色碰| 色综合久| 日婷婷久久开心| 欧美色色色色色| 欧美丰满熟妇BBB久久久| 99性色| 99rewww| 久久综合香蕉国产国产蜜臀AV| www.91九色| 狠狠狠狠狠狠狠狠草| 青青草国产亚洲精品久久|