欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

NCE-T傳送網(wǎng)網(wǎng)管操作系統(tǒng):部署、調(diào)參與運(yùn)維避坑指南

NCE-T傳送網(wǎng)網(wǎng)管操作系統(tǒng):部署、調(diào)參與運(yùn)維避坑指南 簡(jiǎn)介NCE-T網(wǎng)管操作系統(tǒng)概述是一份面向華為網(wǎng)絡(luò)運(yùn)維工程師與技術(shù)決策者的PDF資料聚焦華為NCE-T相比傳統(tǒng)U2000網(wǎng)管系統(tǒng)的整體演進(jìn)。文檔先從業(yè)務(wù)背景切入說(shuō)明NCE如何融合管理、控制、分析能力使能全生命周期網(wǎng)絡(luò)自動(dòng)化與智能化隨后通過(guò)NCE-T與U2000的架構(gòu)對(duì)比點(diǎn)出統(tǒng)一云化平臺(tái)、數(shù)據(jù)共享、北向開(kāi)放API和面向場(chǎng)景可編程意圖引擎等關(guān)鍵升級(jí)點(diǎn)。資源包內(nèi)共1個(gè)PDF文件大小7.31MB內(nèi)容以官方架構(gòu)圖、部署示意圖和軟硬件配置對(duì)比為主信息密度較高。正文覆蓋三類(lèi)部署場(chǎng)景On-Premises、私有云OS產(chǎn)品、私有云僅產(chǎn)品、B/S模式網(wǎng)絡(luò)結(jié)構(gòu)、虛擬化與數(shù)據(jù)庫(kù)選型如EulerOS、GaussDB以及高可用性設(shè)計(jì)也給出了從U2000遷移到NCE-T的軟硬件配置變化說(shuō)明方便運(yùn)維人員在實(shí)際規(guī)劃、部署或遷移時(shí)對(duì)照參考。當(dāng)前已有3987人學(xué)習(xí)適合需要快速建立華為NCE-T知識(shí)框架的讀者也可作為網(wǎng)管系統(tǒng)升級(jí)評(píng)估和技術(shù)方案編寫(xiě)的參考資料。1. NCE-T網(wǎng)管操作系統(tǒng)概述先搞清它和普通網(wǎng)管軟件的區(qū)別收到一份名為《NCE-T網(wǎng)管操作系統(tǒng)概述》的 PDF不少人的第一反應(yīng)是這不就是又一個(gè)網(wǎng)管軟件嗎實(shí)際動(dòng)手維護(hù)過(guò)傳送網(wǎng)的人會(huì)發(fā)現(xiàn)傳統(tǒng)網(wǎng)管軟件管的是單臺(tái)設(shè)備或單廠商子網(wǎng)而 NCE-T 這類(lèi)網(wǎng)管操作系統(tǒng)是把整張傳送網(wǎng)當(dāng)成一個(gè)系統(tǒng)來(lái)管——OTN、WDM、SDH 混合組網(wǎng)時(shí)拓?fù)?、業(yè)務(wù)、性能、告警都收斂到同一套平臺(tái)上。它解決的核心問(wèn)題不是“能連上設(shè)備”而是“設(shè)備數(shù)量上百、網(wǎng)絡(luò)層級(jí)復(fù)雜之后運(yùn)維還能不能有序進(jìn)行”。本篇文章面向剛接手傳送網(wǎng)維護(hù)的從業(yè)者也適合正在做網(wǎng)管系統(tǒng)選型或替換的團(tuán)隊(duì)講清楚 NCE-T 是什么、部署要準(zhǔn)備什么、日常怎么調(diào)參、有哪些反復(fù)出現(xiàn)的坑。2. 先讀懂 NCE-T 的架構(gòu)它憑什么能管起整張傳送網(wǎng)2.1 管理面與控制面的分工網(wǎng)管系統(tǒng)不只是“畫(huà)拓?fù)洹钡腘CE-T 名字里的“操作系統(tǒng)”三個(gè)字容易讓人往服務(wù)器操作系統(tǒng)上聯(lián)想。實(shí)際上它是面向傳送網(wǎng)的管理與控制一體化平臺(tái)核心在于管理面和控制面的融合。傳統(tǒng)網(wǎng)管只做管理面——配置下發(fā)、告警收集、性能查詢(xún)控制面動(dòng)作如保護(hù)倒換、光功率調(diào)整往往需要登錄設(shè)備命令行單獨(dú)操作。NCE-T 這類(lèi)平臺(tái)把控制面能力也收進(jìn)來(lái)于是你在網(wǎng)管界面上做一次路由重優(yōu)化或業(yè)務(wù)倒換系統(tǒng)會(huì)直接把指令下到源宿網(wǎng)元。從部署角度看NCE-T 內(nèi)部一般分為應(yīng)用節(jié)點(diǎn)、數(shù)據(jù)庫(kù)節(jié)點(diǎn)和采集節(jié)點(diǎn)三類(lèi)角色。應(yīng)用節(jié)點(diǎn)負(fù)責(zé) Web 服務(wù)、業(yè)務(wù)邏輯數(shù)據(jù)庫(kù)節(jié)點(diǎn)存拓?fù)?告警/性能數(shù)據(jù)采集節(jié)點(diǎn)通過(guò)南向接口跟網(wǎng)元通信。小規(guī)模組網(wǎng)時(shí)三類(lèi)角色可合并部署網(wǎng)元數(shù)量上來(lái)后必須分離否則數(shù)據(jù)庫(kù)連接數(shù)一多整個(gè)平臺(tái)交互都會(huì)變慢。理解這個(gè)分層后續(xù)做容量規(guī)劃時(shí)就有依據(jù)判斷瓶頸是在采集并發(fā)、數(shù)據(jù)庫(kù) I/O還是應(yīng)用節(jié)點(diǎn)內(nèi)存。2.2 南向接口與北向接口網(wǎng)元接入和上層集成的兩條通路南向接口是 NCE-T 和網(wǎng)元之間的通道。目前最常見(jiàn)的南向協(xié)議是 SNMP 和 NetConf部分老設(shè)備還需要通過(guò) CLI 腳本做適配。SNMP 適合做告警和性能數(shù)據(jù)采集但配置下發(fā)能力弱NetConf 在配置管理和業(yè)務(wù)下發(fā)上更靈活。實(shí)際組網(wǎng)中兩種協(xié)議會(huì)并存——存量 SDH 設(shè)備走 SNMP新建 OTN 設(shè)備走 NetConf。北向接口是 NCE-T 向上層網(wǎng)管或運(yùn)維平臺(tái)提供數(shù)據(jù)的出口常見(jiàn)的是 RESTful API 和消息總線兩種形態(tài)。想做自動(dòng)化運(yùn)維的團(tuán)隊(duì)北向接口是重點(diǎn)考察對(duì)象能不能批量查詢(xún)網(wǎng)元列表、能不能訂閱告警消息、能不能創(chuàng)建業(yè)務(wù)。很多項(xiàng)目在選型階段只看南向設(shè)備兼容性忽視北向能力等到上層要接告警推送或做資源報(bào)表時(shí)才發(fā)現(xiàn)接口不全。2.3 單域與多域組網(wǎng)子網(wǎng)拼接和跨域業(yè)務(wù)的實(shí)現(xiàn)邏輯一張傳送網(wǎng)通常按地域或行政區(qū)域劃分成多個(gè)子網(wǎng)每個(gè)子網(wǎng)對(duì)應(yīng)一個(gè) NCE-T 域。單域模式下一個(gè)平臺(tái)管所有網(wǎng)元拓?fù)?、資源、業(yè)務(wù)都在域內(nèi)閉環(huán)。網(wǎng)元數(shù)量過(guò)大或地域跨度過(guò)大時(shí)單域會(huì)把數(shù)據(jù)庫(kù)和采集壓力推得很高這時(shí)候就得分多域。多域組網(wǎng)后跨域業(yè)務(wù)不能直接端到端下發(fā)得在兩個(gè)域之間建立子網(wǎng)拼接關(guān)系。常見(jiàn)做法是每個(gè)域把出口網(wǎng)關(guān)網(wǎng)元暴露給相鄰域業(yè)務(wù)跨域時(shí)先分段計(jì)算路由再在拼接點(diǎn)做業(yè)務(wù)對(duì)接。這個(gè)邏輯和 IP 網(wǎng)絡(luò)的域間路由有些類(lèi)似。實(shí)際運(yùn)維里跨域業(yè)務(wù)出問(wèn)題最頻繁的地方就是拼接點(diǎn)配置不一致——兩端的拼接接口參數(shù)、業(yè)務(wù)類(lèi)型、時(shí)隙或波長(zhǎng)映射對(duì)不上業(yè)務(wù)就起不來(lái)。3. 部署 NCE-T從服務(wù)器規(guī)劃到首批網(wǎng)元納管的可復(fù)現(xiàn)步驟3.1 服務(wù)器與 License 規(guī)劃先算容量再動(dòng)手拿到《NCE-T網(wǎng)管操作系統(tǒng)概述》之后最容易跳過(guò)去的章節(jié)就是服務(wù)器規(guī)劃和 License 規(guī)劃。服務(wù)器規(guī)格跟不上后面采集、告警并發(fā)一上來(lái)就卡License 沒(méi)算清楚設(shè)備接入后業(yè)務(wù)下發(fā)直接被拒。我一般按網(wǎng)元數(shù)和業(yè)務(wù)量做粗算網(wǎng)元總數(shù)在 100 以下、單域部署時(shí)應(yīng)用節(jié)點(diǎn)和數(shù)據(jù)庫(kù)節(jié)點(diǎn)可以共用一臺(tái)物理機(jī)建議配置不低于 16 核 CPU、64GB 內(nèi)存磁盤(pán)用 SSD 且獨(dú)立劃分?jǐn)?shù)據(jù)盤(pán)網(wǎng)元數(shù)到 300一定要把數(shù)據(jù)庫(kù)節(jié)點(diǎn)獨(dú)立出來(lái)內(nèi)存建議 128GB 起步采集節(jié)點(diǎn)單獨(dú)部署避免應(yīng)用進(jìn)程和采集進(jìn)程互相搶占資源。License 規(guī)劃要分清兩類(lèi)一類(lèi)按網(wǎng)元數(shù)授權(quán)決定你能納管多少設(shè)備另一類(lèi)按特性授權(quán)比如自動(dòng)發(fā)現(xiàn)、性能分析、多域協(xié)同這些高級(jí)功能沒(méi)買(mǎi)特性就是裝上平臺(tái)也用不了對(duì)應(yīng)菜單。# 部署前環(huán)境檢查建議腳本Linux 環(huán)境 # 檢查 CPU 核數(shù)低于 16 核不建議承載超過(guò) 100 網(wǎng)元 nproc # 檢查內(nèi)存總量單位 GB free -g | awk /Mem:/{print $7} # 檢查數(shù)據(jù)盤(pán)掛載與剩余空間至少預(yù)留 500GB df -h /data # 檢查端口占用NCE-T 的 Web 服務(wù)默認(rèn)走 8080避免被占 ss -lntp | grep 8080先執(zhí)行環(huán)境檢查再開(kāi)始安裝能省掉后面很多莫名其妙的啟動(dòng)失敗問(wèn)題。端口方面8080 只是默認(rèn) Web 端口實(shí)際部署還要檢查數(shù)據(jù)庫(kù)端口、消息中間件端口是否被防火墻攔截很多安裝失敗案例都出在端口不通而不是安裝包有問(wèn)題。3.2 安裝與初始化拿到安裝包后的標(biāo)準(zhǔn)動(dòng)作安裝 NCE-T 的常見(jiàn)做法是先裝數(shù)據(jù)庫(kù)再裝應(yīng)用最后做初始化配置。數(shù)據(jù)庫(kù)層一般用商業(yè)數(shù)據(jù)庫(kù)或開(kāi)源數(shù)據(jù)庫(kù)取決于發(fā)行版本安裝包里通常自帶一鍵安裝腳本但不建議無(wú)腦下一步。# 解壓安裝包 tar -zxvf nce_t_installer.tar.gz # 進(jìn)入安裝目錄執(zhí)行環(huán)境預(yù)檢 ./install/check_env.sh預(yù)檢腳本會(huì)檢查操作系統(tǒng)版本、內(nèi)核參數(shù)、磁盤(pán)空間、依賴(lài)庫(kù)。如果預(yù)檢不過(guò)先解決環(huán)境問(wèn)題再繼續(xù)不要跳過(guò)。預(yù)檢通過(guò)后先初始化數(shù)據(jù)庫(kù)再啟動(dòng)應(yīng)用服務(wù)# 初始化數(shù)據(jù)庫(kù)實(shí)例注意設(shè)置獨(dú)立數(shù)據(jù)目錄 ./install/init_db.sh --data-dir/data/nce_t_db # 啟動(dòng)應(yīng)用服務(wù) ./install/start_apps.sh # 查看服務(wù)狀態(tài)服務(wù)狀態(tài)為 running 再繼續(xù)下一步 ./install/status.sh安裝完成后第一次登錄會(huì)進(jìn)入初始化向?qū)бO(shè)置系統(tǒng)管理員密碼、配置時(shí)區(qū)和 NTP 時(shí)間同步。這里有個(gè)關(guān)鍵細(xì)節(jié)NTP 沒(méi)配好后續(xù)網(wǎng)元時(shí)間與網(wǎng)管時(shí)間不一致告警時(shí)間戳和性能數(shù)據(jù)時(shí)間戳?xí)y排查問(wèn)題時(shí)會(huì)浪費(fèi)大量時(shí)間。3.3 網(wǎng)元接入自動(dòng)發(fā)現(xiàn)與手工添加的適用場(chǎng)景初始化完成后第一步是納管網(wǎng)元。NCE-T 支持自動(dòng)發(fā)現(xiàn)和手工添加兩種方式。自動(dòng)發(fā)現(xiàn)適合 DCN 網(wǎng)絡(luò)已經(jīng)打通、網(wǎng)元管理地址規(guī)劃清晰的場(chǎng)景。# 自動(dòng)發(fā)現(xiàn)參數(shù)示例網(wǎng)段、子網(wǎng)掩碼、SNMP 讀團(tuán)體字、端口 discover_network --network 10.20.0.0 --mask 255.255.255.0 \ --protocol snmp --community public --port 161自動(dòng)發(fā)現(xiàn)會(huì)掃描網(wǎng)段內(nèi)所有開(kāi)放 SNMP 端口的設(shè)備但不保證掃到的都是傳送網(wǎng)網(wǎng)元掃到交換機(jī)、路由器是常事。所以發(fā)現(xiàn)完成后要逐條確認(rèn)網(wǎng)元類(lèi)型誤加的設(shè)備會(huì)影響后續(xù)拓?fù)溆?jì)算。手工添加適合已明確知道管理 IP 和設(shè)備類(lèi)型的場(chǎng)景單臺(tái)添加更可控# 手工添加網(wǎng)元示例指定設(shè)備類(lèi)型、管理 IP、南向協(xié)議版本 add_ne --type otn --ip 10.20.0.11 --protocol netconf \ --port 830 --user nceadmin --password ******網(wǎng)元接入后先查看采集狀態(tài)是不是正常再同步一次網(wǎng)元數(shù)據(jù)讓 NCE-T 把設(shè)備的板卡、端口、交叉連接信息構(gòu)建出來(lái)。這一步是后續(xù)拓?fù)淇梢暬蜆I(yè)務(wù)發(fā)放的數(shù)據(jù)基礎(chǔ)同步不完整時(shí)不要急著做業(yè)務(wù)。4. 日常操作與參數(shù)調(diào)優(yōu)把 NCE-T 調(diào)到好用狀態(tài)的關(guān)鍵配置4.1 拓?fù)湟晥D與網(wǎng)元管理從接入到可視化的標(biāo)準(zhǔn)配置網(wǎng)元接入并完成數(shù)據(jù)同步后拓?fù)湟晥D不會(huì)自動(dòng)變好看需要手動(dòng)規(guī)劃。NCE-T 的拓?fù)涔芾碇С职醋泳W(wǎng)、按區(qū)域分層展示建議在初始階段就把層級(jí)規(guī)劃好——核心層、匯聚層、接入層分開(kāi)視圖而不是把所有網(wǎng)元拖在一張圖里。拓?fù)洳季钟袃煞N方式自動(dòng)布局和手工微調(diào)。自動(dòng)布局適合快速生成但設(shè)備位置跟物理地理位置完全無(wú)關(guān)運(yùn)維起來(lái)不直觀。我通常的做法是先用自動(dòng)布局生成基礎(chǔ)結(jié)構(gòu)再把核心網(wǎng)元按物理位置拖到對(duì)應(yīng)位置然后鎖定布局。這樣后續(xù)新增網(wǎng)元時(shí)會(huì)落在合理的相鄰位置。拓?fù)湟晥D的刷新周期也值得調(diào)默認(rèn) 30 秒刷一次網(wǎng)元數(shù)量多時(shí)建議調(diào)到 60 秒減少北向接口和采集通道的無(wú)效占用。4.2 性能數(shù)據(jù)采集與閾值設(shè)置別讓性能監(jiān)控變成擺設(shè)性能監(jiān)控是 NCE-T 比較容易被忽視的模塊。默認(rèn)采集周期通常是 15 分鐘一次對(duì)光功率、誤碼率這類(lèi)指標(biāo)來(lái)說(shuō)15 分鐘粒度用于趨勢(shì)分析夠用但用于故障定位就太粗了。建議對(duì)核心 otn 波道設(shè)置 5 分鐘或更短的自定義采集周期。指標(biāo)項(xiàng)建議采集周期閾值建議超閾值動(dòng)作光功率接收5 分鐘低于標(biāo)稱(chēng)值 8dBm 告警生成告警并聯(lián)動(dòng)性能報(bào)表光功率發(fā)送5 分鐘高于標(biāo)稱(chēng)值 3dBm 告警生成告警并推送消息誤碼率ES/SES15 分鐘ES 連續(xù) 3 個(gè)周期超閾值升級(jí)為 Major 告警板卡溫度15 分鐘超 75℃ 告警只做告警通知不自動(dòng)操作閾值設(shè)置有一個(gè)共同經(jīng)驗(yàn)一開(kāi)始按設(shè)備標(biāo)稱(chēng)值設(shè)運(yùn)行一周后看看歷史數(shù)據(jù)的 P90/P95 分布再把閾值調(diào)整到合理區(qū)間。標(biāo)稱(chēng)值太理想實(shí)際運(yùn)行環(huán)境溫度、光纖衰減都有差異不調(diào)整就會(huì)出現(xiàn)告警風(fēng)暴。另外性能數(shù)據(jù)存儲(chǔ)時(shí)長(zhǎng)默認(rèn)可能是 30 天磁盤(pán)空間足夠的話建議調(diào)長(zhǎng)到 90 天月度分析和季度趨勢(shì)對(duì)比會(huì)用到歷史數(shù)據(jù)。4.3 告警管理與通知策略壓縮風(fēng)暴和分級(jí)上報(bào)的調(diào)法告警管理用不好NCE-T 反而會(huì)增加運(yùn)維負(fù)擔(dān)。最常見(jiàn)的問(wèn)題是一條主干光纜中斷引發(fā)上百條光功率告警、誤碼告警、業(yè)務(wù)劣化告警同時(shí)涌上來(lái)。要做好告警治理核心是壓縮和分級(jí)。NCE-T 的告警壓縮提供兩類(lèi)手段同類(lèi)告警合并和根因告警識(shí)別。同類(lèi)告警合并是把同一網(wǎng)元、同一端口、同一告警類(lèi)型在指定時(shí)間窗口內(nèi)的重復(fù)告警收斂為一條根因告警識(shí)別則是根據(jù)拓?fù)潢P(guān)聯(lián)分析把下游網(wǎng)元的衍生告警掛到上游根因告警下。配置時(shí)建議先啟用根因識(shí)別再配合合并窗口避免先合并后導(dǎo)致根因信息丟失。告警分級(jí)上報(bào)方面按實(shí)際運(yùn)維職責(zé)劃分Critical 級(jí)需要 7×24 小時(shí)值班人員立即響應(yīng)Major 級(jí)工作時(shí)間處理Minor 和 Warning 匯總?cè)請(qǐng)?bào)即可。很多團(tuán)隊(duì)的所有告警都短信通知結(jié)果人人被轟炸反而關(guān)鍵告警被淹沒(méi)。分級(jí)策略的調(diào)整最好在試運(yùn)行階段就完成等告警風(fēng)暴真來(lái)了再調(diào)就太被動(dòng)。5. NCE-T 操作與運(yùn)維避坑5 個(gè)真實(shí)翻車(chē)場(chǎng)景與排查5.1 網(wǎng)元 License 不足導(dǎo)致業(yè)務(wù)無(wú)法下發(fā)現(xiàn)象新接入一批 OTN 網(wǎng)元拓?fù)渫秸5窍掳l(fā)業(yè)務(wù)時(shí)系統(tǒng)提示“License 受限無(wú)法創(chuàng)建業(yè)務(wù)”業(yè)務(wù)列表一直停在待下發(fā)狀態(tài)。原因網(wǎng)元接入和業(yè)務(wù)發(fā)放占用的是兩類(lèi) License 授權(quán)接入納管只是占用了納管數(shù)授權(quán)業(yè)務(wù)發(fā)放還要檢查業(yè)務(wù)特性授權(quán)。采購(gòu)時(shí)只買(mǎi)了納管數(shù)沒(méi)買(mǎi)業(yè)務(wù)發(fā)放的并發(fā)數(shù)授權(quán)。解決先確認(rèn) License 剩余容量登錄 License 管理頁(yè)面看業(yè)務(wù)授權(quán)余量余量不足就申請(qǐng)擴(kuò)容 License。臨時(shí)手段是把長(zhǎng)期不用的測(cè)試業(yè)務(wù)清理掉釋放授權(quán)額度。后續(xù)規(guī)劃新增業(yè)務(wù)時(shí)先核對(duì) License 余量再執(zhí)行下發(fā)。5.2 拓?fù)渥詣?dòng)發(fā)現(xiàn)不全DCN 網(wǎng)關(guān)配置遺漏現(xiàn)象自動(dòng)發(fā)現(xiàn)執(zhí)行完拓?fù)鋱D里缺了某個(gè)網(wǎng)段的設(shè)備但設(shè)備管理 IP 能 ping 通SNMP 也能正常采集。原因自動(dòng)發(fā)現(xiàn)依賴(lài) DCN 網(wǎng)絡(luò)的網(wǎng)關(guān)配置。傳送網(wǎng)設(shè)備的 DCN 網(wǎng)關(guān)要配置到網(wǎng)管可達(dá)的地址如果設(shè)備上的 DCN 網(wǎng)關(guān)地址寫(xiě)錯(cuò)或沒(méi)寫(xiě)網(wǎng)管能直接訪問(wèn)單臺(tái)設(shè)備但自動(dòng)發(fā)現(xiàn)廣播發(fā)現(xiàn)報(bào)文時(shí)設(shè)備不回包。解決先手工添加缺失網(wǎng)元確認(rèn)采集正常然后登錄設(shè)備檢查 DCN 網(wǎng)關(guān)配置修正后重新執(zhí)行自動(dòng)發(fā)現(xiàn)。另一個(gè)常見(jiàn)坑是自動(dòng)發(fā)現(xiàn)只支持 SNMP如果設(shè)備只開(kāi)放了 NetConf 沒(méi)開(kāi)放 SNMP也會(huì)發(fā)現(xiàn)不到——需要在發(fā)現(xiàn)參數(shù)里同時(shí)勾選多協(xié)議探測(cè)。5.3 性能數(shù)據(jù)斷檔采集周期與庫(kù)容量沖突現(xiàn)象性能曲線在某個(gè)時(shí)間點(diǎn)出現(xiàn)空洞持續(xù) 12 小時(shí)后恢復(fù)又沒(méi)有對(duì)應(yīng)告警產(chǎn)生。原因性能數(shù)據(jù)入庫(kù)前NCE-T 會(huì)先把數(shù)據(jù)寫(xiě)入內(nèi)存緩存再批量落庫(kù)。采集周期調(diào)短后數(shù)據(jù)點(diǎn)數(shù)量翻倍數(shù)據(jù)庫(kù)批量寫(xiě)入速度跟不上緩存隊(duì)列滿(mǎn)后開(kāi)始丟數(shù)據(jù)。解決調(diào)短采集周期時(shí)同步檢查數(shù)據(jù)庫(kù)磁盤(pán) I/O 和緩存隊(duì)列長(zhǎng)度。數(shù)據(jù)庫(kù)節(jié)點(diǎn)磁盤(pán)為 SSD 且剩余空間充足一般能支撐 5 分鐘粒度機(jī)械磁盤(pán)建議保持 15 分鐘粒度。如果必須用短周期考慮減少采集對(duì)象范圍——只對(duì)核心波道啟用短周期其余保持長(zhǎng)周期避免全局一刀切。5.4 北向接口斷連導(dǎo)致上層網(wǎng)管丟告警現(xiàn)象上層運(yùn)維平臺(tái)收到告警少了但 NCE-T 本地告警列表里告警都在。原因NCE-T 北向接口與上層平臺(tái)之間的握手超時(shí)設(shè)置過(guò)短或者中間防火墻把北向消息通道的長(zhǎng)連接斷掉了NCE-T 重連需要時(shí)間斷連期間的告警沒(méi)有重推機(jī)制。解決先檢查北向通道狀態(tài)重新建立連接再把心跳間隔調(diào)短讓雙方更快感知鏈路狀態(tài)最后確認(rèn) NCE-T 側(cè)是否開(kāi)啟了告警消息緩存重推功能。沒(méi)開(kāi)啟緩存的先開(kāi)啟緩存再重新推送斷連期間的告警。涉及防火墻的把 NCE-T 北向接口的源端口和目標(biāo)端口配成固定端口并加入白名單避免長(zhǎng)連接被重置。5.5 升級(jí)后配置丟失或告警規(guī)則重置現(xiàn)象NCE-T 做版本升級(jí)后自定義的告警通知策略失效部分網(wǎng)元的性能采集周期恢復(fù)默認(rèn)值。原因升級(jí)包可能會(huì)覆蓋配置文件里帶自定義標(biāo)記custom以外的配置段告警規(guī)則和采集周期屬于可被覆蓋的配置項(xiàng)。解決升級(jí)前強(qiáng)制導(dǎo)出全量配置文件升級(jí)后做配置比對(duì)用 diff 工具找出被改動(dòng)的項(xiàng)并恢復(fù)。注意導(dǎo)出配置時(shí)要區(qū)分系統(tǒng)配置和業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)量大時(shí)升級(jí)前還要做數(shù)據(jù)庫(kù)備份。凡是涉及升級(jí)的變更我習(xí)慣先在一臺(tái)測(cè)試環(huán)境驗(yàn)證升級(jí)包行為再上生產(chǎn)。6. 用 NCE-T 做出效率北向接口自動(dòng)化與告警治理經(jīng)驗(yàn)6.1 用 Python 調(diào)用北向接口做批量巡檢網(wǎng)元數(shù)量過(guò)百后在界面上逐臺(tái)點(diǎn)設(shè)備做巡檢不現(xiàn)實(shí)。NCE-T 北向接口提供查詢(xún)能力可以寫(xiě)腳本做批量巡檢拉取所有網(wǎng)元的告警列表、性能指標(biāo)、設(shè)備狀態(tài)輸出異常清單。這個(gè)方案只需要一個(gè)只讀賬號(hào)不涉及業(yè)務(wù)變更穩(wěn)。#!/usr/bin/env python3 # author: NCE-T運(yùn)維組 # 批量巡檢腳本拉取網(wǎng)元列表并查詢(xún)各網(wǎng)元活躍告警數(shù)量 import requests import json # 北向接口地址和賬號(hào)生產(chǎn)環(huán)境請(qǐng)使用密鑰文件而非明文 API_BASE https://nce-t.example.com:18000/api/v1 USERNAME ro_user PASSWORD your_password_here def get_token(): # 北向接口先登錄換取 token后續(xù)請(qǐng)求頭攜帶 resp requests.post(f{API_BASE}/login, json{ username: USERNAME, password: PASSWORD }, verifyFalse) return resp.json()[data][token] def get_all_nes(token): # 分頁(yè)拉取網(wǎng)元列表避免一次拉全量數(shù)據(jù)超時(shí) headers {Authorization: fBearer {token}} nes [] page 1 while True: resp requests.get(f{API_BASE}/nes, headersheaders, params{page: page, pageSize: 50}, verifyFalse) data resp.json() nes.extend(data[data][list]) if page data[data][totalPage]: break page 1 return nes def get_alarm_count(token, ne_id): # 統(tǒng)計(jì)指定網(wǎng)元的活躍告警數(shù) headers {Authorization: fBearer {token}} resp requests.get(f{API_BASE}/nes/{ne_id}/alarms, headersheaders, params{status: active}, verifyFalse) return resp.json()[data][total] if __name__ __main__: token get_token() ne_list get_all_nes(token) for ne in ne_list: count get_alarm_count(token, ne[id]) print(f網(wǎng)元 {ne[name]} 活躍告警數(shù): {count})腳本里有兩個(gè)參數(shù)值得注意verifyFalse 跳過(guò)證書(shū)校驗(yàn)是因?yàn)楸毕蚪涌诔S米院灻C書(shū)實(shí)際使用時(shí)建議把證書(shū)文件放入信任庫(kù)而不是跳過(guò)校驗(yàn)避免中間人風(fēng)險(xiǎn)pageSize 設(shè)置 50是考慮到接口單次查詢(xún)的數(shù)據(jù)量限制按實(shí)際規(guī)格調(diào)整即可。登錄 token 一般有有效期腳本超過(guò) token 有效期時(shí)記得做自動(dòng)重新登錄處理。6.2 告警治理的最終形態(tài)從“看到告警”到“選擇性看到告警”告警治理做完壓縮和分級(jí)之后還要做一件事——把維護(hù)動(dòng)作和告警關(guān)聯(lián)起來(lái)。計(jì)劃內(nèi)維護(hù)操作如光纜割接、設(shè)備升級(jí)會(huì)觸發(fā)大量預(yù)期告警這些告警如果不屏蔽會(huì)混入真實(shí)故障告警中。我維護(hù)的某跨平臺(tái)系統(tǒng)每次割接前都在 NCE-T 里提前建立維護(hù)窗口窗口期內(nèi)指定網(wǎng)元產(chǎn)生的告警自動(dòng)標(biāo)記為維護(hù)態(tài)不推送不升級(jí)。窗口結(jié)束后系統(tǒng)自動(dòng)檢查如果窗口結(jié)束后告警仍處于活躍狀態(tài)再升級(jí)為真實(shí)告警。這個(gè)策略能把計(jì)劃內(nèi)操作的告警噪音降到最低。另一個(gè)值得投入的方向是告警知識(shí)庫(kù)。把每次故障的處理過(guò)程沉淀成知識(shí)條目關(guān)聯(lián)到告警類(lèi)型和網(wǎng)元類(lèi)型下次同類(lèi)告警產(chǎn)生時(shí)運(yùn)維值班人員可以直接看到歷史處理記錄。不需要做得很復(fù)雜一張關(guān)于告警特征和處理動(dòng)作的表就可以關(guān)鍵是真的用起來(lái)。這個(gè)習(xí)慣我一直沿用從一開(kāi)始的“按告警逐條處理”變成“按模式處理”效率提升非常直觀。至于北向接口自動(dòng)化腳本建議漸進(jìn)式擴(kuò)展第一個(gè)版本只做告警清單拉取跑兩周穩(wěn)定后再逐步加性能數(shù)據(jù)拉取、資源利用率統(tǒng)計(jì)。范圍擴(kuò)大時(shí)注意接口的限流參數(shù)和超時(shí)設(shè)置避免腳本把北向通道跑滿(mǎn)。希望這些經(jīng)驗(yàn)和坑能幫到你少走幾步彎路。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香六月婷婷开心| 99热这里只有精品3| 99热精品中文字幕| 日本狠狠干| 久色资源| 日韩精品999| 99免费热视频在线| 99这里只有精品视频| 久久久18| 婷婷丁香五月综合| 五月天久久色| 九九久久玖玖爱| 久久最新色色色| 丁香六月av| 丁香五月婷婷影院| 午夜婷婷久久 | 99热这里只有精品4| 午夜无码精品色综合久久| 亚洲 精品 综合 精品| 综合99在线| 色色色视频| 五月天伊人av| 婷婷涩五月天综合| 五月丁香六月婷婷欧美综合| 五月婷婷综合在线| 激情五月天丁香| 丁香五月天堂| 色色五月婷婷网| 亚洲V国产V欧美V久久久久久| 色狠狠色综合久久久绯色aⅴ影视| 日本黄色三级片内射| 丁香88AV五月婷婷| 97五月天婷婷综合激情网| 日韩在线99| 婷婷五月丁香六月| 亚洲成色综合网站免费观看| www.99成人视频| 五月天婷婷激情综合| 五月精品| 激情综合网五月婷婷| 久久性视频| 99热这里只有精品9| 9久久精品| 久久小说网| 婷婷六月香| 五月激情久久| 丁香五月天啪啪| 99久久99视频只有精品| 亚洲综合色丁香婷婷六月| 婷婷香五月综合激情| 99综合视频| 91久久久久久久| 国外亚洲成AV人片在线观看| 青青操丝袜美腿| 另类激情五月| 99热日本| 色呦呦美女| 色人久久| 潘金莲AAAAAAAAAA| 日韩久热| 五月婷婷丁香六月在线| 人妻精品在线| 综合色在线| 婷婷丁香综合| 天天激情视频| 天天草天天爽| 99无码视频| 婷婷五月激情欧美大胆视频| 成人av在线电影| 另类图片五月天婷婷| 丁香五月中文字幕久色| 99re热在线视频| 俺去也五月| 激情五月天色色色| 在线视频色五月| 亚洲 六月 综合| 中文资源在线a| 婷色五月| 激情性爱婷婷| 99久久a线观| 欧美日韩AAAA| 99激情| 这里只有精品96| 丁香五婷婷| 五月婷婷六月激情在线| 激情五月五月婷婷| 少妇人妻丰满做爰XXX| 九月色婷婷婷| 成人精品一区二区三区四区五区 | 九九香蕉网| 99久久九九视频| 99人人操| 色五月婷婷丁香婷婷| 不卡的AV网站| 亚洲视频久久| 99rewww| 激情 婷婷 丁香五月天| 色五月婷婷久久| 丁香五月婷婷啪啪视频| 婷婷丁香五月天综合AV| 五月丁香综合网| 国产超碰在线| 97人人做| 开心五月深爱激情| 日本色色网| 成人人操| 亚洲一区二区无码蜜乳av| 99在线热| 密视AV综合在线| 草美女在线观看视频在线播放 | 色色婷婷婷丁香五月天| 婷婷激情六月中文| 丁香五月色| 99热官网精品在线| 色9色| 色五月婷婷影院| 日韩成人精品中文字幕电影| 9.1综合网| www.99视频| 狠狠操天天干| 五月丁香大香蕉| 婷婷激情小说| 亚洲日比视频| 777精品成人a v久久| 婷婷五月丁香六月| 狠狠色综合网站久久久久| 丁香八月综合激情| 26uuu欧美日本| 欧美五月婷婷综合| 丁香五月另类小说在线阅读| 免费无码毛片一区二区A片| 亚洲AV成人精品网站在线播放| 欧美三级大片AA在线看| 五月天激情四射| 婷婷五六日| 天堂爱啪啪| 激情小说五月天| 五月丁香六月婷婷中合网| 日韩AV无码影片| 婷婷成人视频| 色五月婷婷、老熟女| 丁香欧美| 亚洲精品白浆高清久久久久久| 九九这里是免费的视频5| 五月激情久久综合网| 色色操| 国产熟女大叫受不了| 激情婷婷网| 婷婷五月色| 黄色三级日本| 天天干天天做| www.婷婷五月天,com| 操逼福利视频| 亚洲欧洲中文日韩久久AV乱码| 五月天激情四射| 色色亚洲视频| 99婷婷五月天激情| 日狠狠| 97操碰98| 五月成人综合| 最近免费中文字幕大全高清大全1| 国产精品久久久久久白浆色欲| 这里只有精品网站| 国产99久9在线+|+传媒| 亚洲激情免费视频| 超碰婷婷五月| 亚洲 五月 婷婷 成人| 这里只有精品视频在线| 丁香激情五月综合网| 亚洲天天| 无码九九| 狠狠干,狠狠操| 99精品热视频只有精品10| 久久婷婷的综合色丁香五月| 噜噜噜噜在线| 色婷婷综合久久| 天天日夜夜夜操操操操| 大香蕉久久视频久久视频| 性小说五月天| 极品人妻VIDEOSSS人妻| 欧美综合五月丁香六月婷| 99免费视频| 五月色婷婷综合色| 精品人妻伦九区久久AAA片| 99婷婷五月天| 超碰人人在线| 怡红院院久久| 亚洲成AV人片在线观看| 色婷视频| 丁香婷婷五月人体| 午夜婷婷久久| 亚洲99综合| 97视频91| 91操操| 啊V视频在线观看| 久草九九| 五月婷婷丁香| 婷婷五月激情四月综合| 婷婷五月天成人| 六月丁香深深爱综合网| 色婷婷成人做爰A片免费看网站| 丁香五月 综合| 婷婷色婷婷| 美女婷婷六月色| 国产XXXX搡XXXXX搡麻豆| sewuyuejiqingwang| 亚洲成人AV高清字幕| 欧美婷| 99精品偷自拍| 婷婷亚洲在线| 人人叉久| 久久婷婷伊人| 色五月婷婷在线视频| 97色吧| 五月丁香六月婷婷不卡免费无码 | 久操欧美在线观看97| www.五月天。com| 久热A片| 色色色免费视频| 九九精品99久久久| 无码任你操| 欧洲亚洲免费视频区| 欧美槡BBBB槡BBB少妇| 欧洲亚洲激情五月天在线| a v色婷婷| 婷婷爱五月天| 深爱激情久久| 99精品丰满| 五月丁香综合激情| 99热超碰| 丁香五月婷婷啪啪视频| 播五月开心婷婷欧美综合| 婷婷97碰碰| 激情五月丁香婷婷| 五月丁香欧美在线| 色五月大| 丁香五月性爱| WWW、日本色丁香、co m| 五月网站| 婷婷五月色情| 欧美日韩大黄| 亚洲免费电影2| 2017狠狠干| 欧韩性爱| 色色综合热| 成人婷婷| 五月天色五月天| 日本色超碰| 五月天婷婷綜合院| 都市激情五月婷婷综合| 日韩一级一片内射视频4K| 天天干夜夜想| 激情四射五月天偷偷看婷婷| 丁香五月电影| 思思热AV| 丁香色六月| 五月天 无码| 超碰av天堂| 久婷婷| 丁香五月成人婷婷| 色色色综合网| 开心五月色婷| 久久99久久99精品免观看粉嫩| 超碰碰碰碰| 天天草人人摸| 在线一起草av| 色婷婷导航| 久久人妻系列| www久久久久久| 五月婷婷中文| 天天搞天天爽| 狠狠狠狠免费| 91成人电影| 久久AAAA片一区二区| 北京熟妇搡BBBB搡BBBB| 久久深爱激情网| 中文字幕精品在线观看| 天天色图| 日本妈妈乱| 黄色av网站在线免费播放| 亚洲激情综合| 亚洲尤物在线| 五月天婷婷人妻| 亚洲综合成人网站| 天天天天干| 欧州色色| 日本色婷婷五月天成人电影| 91碰超| 天天做天天爽| 五月丁香婷草| 99热亚洲精品66| 丁香婷婷五月六月久久| 激情综合九| 思思久久精品| 五月婷婷在线视频观看| 国产成人VA| 香蕉97碰碰碰超视精品| 亚洲网在线观看| 99人妻碰碰碰久久久久禁片| 狠狠色综合精品视频在线| 牛色色碰| 天天日天天操心| nvrentiantang av| WWW.桔色成人.COM| 俺来也狠狠| 天堂爱爱| 91色五月| 熟妇国产| 青青草国产亚洲精品久久| 欧美精品18| 丁香婷婷激情五月色| 日韩高清久久| 99综合视频一体| 一本色道久久综合狠狠躁小说| 成人一级片| 亚洲av无码精品色午夜| 色七七九九| 69激情小说| 91九色精品| 99热99极品观看| 99re这里只有精品视频6| 91精品久久久久| 九九热99久久99| 天天综合天综合久久网| 97色碰| 国产高潮白浆一区二区| 久久久国产精品黄毛片 | 99爱视频| 男人的天堂五月丁香| 77799热| 婷色影院| 九九av| 久久婷综| 欧亚成人A片一区二区| 色五月婷婷丁香五月| 色综合另类| WWW激情五月天| 激情五月深爱五月| 超碰av在线| 成人中文字幕在线| 99玖玖人人| 色五月婷激情| 亚洲乱码精品久久久久..| 五月丁香激情婷婷综合| 天天爽天天透天天爱| 婷婷激情六月中文| 人妻22p| 精品三区影院| 丁香五月激情婷婷激情| 99精品色色| 狠狠第四色| 婷婷五月天性爱视频| 91九色超碰| 四川BBB搡BBB搡多人乱亂| 性生活久久朋友人妻| 国产探花AV在线| 色婷婷丁香五月天在线视频 | 色五月首页| 九九99热| 新97人人上人人| 青青草免费公开视频| 久久久激情视频| 深爱五月最新网址| www.五月天。com| 午夜婷婷久久 | 九色婷婷| wWwCom夜操wwW| 五月丁香六月婷婷婷婷| 五月久视频| 日日舔夜夜操| 丁香五月婷婷色| 99日精品视频| 激情av网| 被强行糟蹋的女人A片| 五月婷婷很很色| 丁香五月天操B| 天天爽人人综合免费7799| 99热思思| 日韩色五月| 国产亚洲av片| 色综合香蕉| 久久嘟嘟丁香| 婷婷天堂视频| 色婷婷免费观看| www.久久爱.c n| www.97干视频| 91无码视频| av色婷婷| 丁香五月六月久久综合| 99人这里只有精品| 天堂婷婷丁香六月网| 操逼福利视频| 激情网综合| 狠狠激情五月天| 婷婷五月天成人网站| 五月天成人小说网| 亚洲va综合va国产va中文| 草综合14| 综合久久影院| 婷婷狠狠干| www久久99| www.超碰| 六月五月丁香五月欧美| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ| 狠狠干五月丁香| 欧美婷| 久久九九在线视频| 秋霞网在线观看理论91| 91蜜桃婷婷狠狠久久综合9色| 91婷婷| 国产黄大片在线观看画质优化| 又大又粗九一在线| 婷婷综合干| 天堂色色色| 久99视频在线观看| 超碰在线看| 激情五月激情综合网一级丸片| 视频这里只有精品16| 亚洲久久婷婷| 91精品久久久久、久五月天| 五月丁香六月香香蕉| 丁香五月色| 国产做爰视频免费播放| 99视频综合网| 五月婷在线影院| 激情五月天在线观看婷婷| 亚洲在线激情婷婷五月| 精品久久66| 青青草六月丁香| 思思热AV| 一起草AV| 中文成人在线| 成人在线视频男人的天堂4399| 九九热re99re6在线精品| 婷婷放心五日爱| 亚洲AAA| 日日舔夜夜操| 国产在线视频1234| 亚洲精品中文字幕成人片| 婷婷射综合| 婷激情五月天视频导航| 丁香六月亭亭久久综合| 翔田千里 50岁 无码| 久久9精品| 无码AV免费精品一区二区三区| 五月丁香婷婷狠狠操| 国产成人AV在线播放| 色五月激情视频在线综合| 丁香五月天婷婷中文| 五月婷婷婷| 色欲色香综合网| 伊人婷婷福利网| 五月丁香激情综合啪啪| 精品无码色欲AV| 色99网站| 久久久中文| 亚洲精品另类| 桃色五月婷婷| 偷拍视频五月天| 婷婷久久丁香| 精品一二三区久久AAA片| 婷婷热色| 亚洲啪啪啪啪| 五月婷婷丁香在线视频| 在线另类| 九九久久偷拍| 《诡秘之主》在线观看| 99热6这里只有精品| 丁香五月激情综合| Av在线资源| 激情网第九色| 丁香六月天婷婷开心综合| 五月色婷婷影院| 99原创自拍视频在线观看| 亚洲99在线| 青草久久五月婷伊人| 人妻久久久久久| 五月丁香六月| 99爱99操| 日韩操| 色噜噜婷婷| 99视频综合网| 在线成人网址| 99热亚洲精品66| 可以直接看的AV| 亚洲a片免费观看| 女性自慰系列第五页| 五月婷婷性| 日日撸夜夜操| 九热视频精品| 亚洲小视频免费观看| 夜夜操狠狠操| 九九热在这里只有精品| 啪啪啪丁香五月| 99热这里只有精品5| 99九九热在线观看| 婷婷伊人综合中文字幕| 婷婷九月综合| 激情久久久| 人妻精品久久久久久| 久久看婷婷| 超碰九热| 亚洲五月丁香综合网| 色五月亚洲| 99久久久国产精品免费蜜乳tv| 思思热国产视频| 色色色色色色综合| 五月天激情AV| 婷婷色Av| 五月丁香九九| 伊人久久大香蕉网| 日本本土色网第一区| 婷婷亚洲五月丁香综合在线| www一起操在线观看| 丁香激情网| 国产免费av在线| 美女五月狠狠| 第四色婷婷色五月| 五月刺激丁香月综合| 婷婷开心久久| 综合 激情 婷婷| 五月丁香影视| 日本一道久久| 久色| 婷婷六月久久| 六月丁香婷婷在线波多| 青青草婷婷久久| 丁香五月婷婷偷拍| 婷婷五月天久久| 激情综合五月| 久久这里只有精品07| 日本色五月婷婷| 亚韩在线视频| 色青五月天| 婷婷色综合| 五月天婷婷情色| 天天操夜夜爽歪歪| WWW.亚洲无码| www.五月天婷婷姐姐| 欧美在线干| 亚洲激情五月| 丰满少妇乱A片无码| 欧美丁香婷婷天天操| 色五月色图| 欧美色色日韩| 婷婷五月天综合蜜桃| 激情四射五月天| 色情五月天丁香社区| 色婷婷久久综合久色综| 久热爱大香蕉在线蜜臀悦色| 丁香六月激情综合啪啪| 日本色婷婷| 婷婷伊人网| 99a级片| 99九九热视频免费| 人妻久久久久久久 | 99人人看| 丁香婷婷成人网| 色婷婷亚洲综合网站| 操一区| 五月天堂色| 九久久精品视频99| 另类小说色婷婷| 97在线视频 欧美| 亚洲aV写真天天综合网久久| 九月婷婷人人操人人舔人人爱| 天天草天天日| 婷婷桃色网| 婷婷色av| 偷偷操九九| 婷婷伊人网| 丁香六月色| 五月丁香激情六月| 韩国97天堂| 天天摸色吧天天摸色吧| 色九九一二| 高清无码视频网址| 97日本在线| 激情小说婷婷| 五月狠狠| 日本啪啪网| 四虎成人精品永久免费AV九九| 啊v视频在线观看| 日韩999| 激情五月天在线视频| 丁香婷婷人妻| 99re在线播放| 日韩久久这里只有精品| www久久久久久久| 激情五月婷婷丁香| 中文字幕激情综合| 五月伊人网| 激情综合网五月在线播放| 99视频内射三四| 天天做天天爱天天日| 天天色天天日| 成人色情五月天婷婷丁香| 黄色片久久| 激情丁香五月婷婷啪啪| 婷婷不卡基地| 99视频这里有精品| 99热老网站| 天干夜夜操| 激情网五夜婷婷| 中国丰满熟女A片免费观| 婷婷色5月天在线。| 大香伊人久色| 色五月婷婷小说亚洲中文字幕组| 免费日本aⅴ中文字幕 | 九月丁香婷婷| 五月天激情国产综合婷婷婷 | 99九九精品视频| 五月色情婷婷| 国产精产国品一二三在观看| 亚洲综合视频一下| 五月天婷婷激情四射综合| 超碰1999| 91热在线| 天天干天天爽| 五月开心婷婷| 玖玖99精品视频| 五月婷婷丁香| 婷婷激情丁香五月天综合| 国产69久久久欧美黑人A片| 视色综合| 九九九九九九毛片| 中文AV网| 婷婷五月色综合| 丁香五月网| 饮料下药迷倒漂亮女同事强干| 婷婷五月开心中文字幕在线| 啪啪东京热| 亚洲操b| 五月丁香色狠狠干大屄| 好色婷婷| 91chinese在线| 日日狠狠久久偷偷四色综合免费 | 丁香六月婷婷综合| 色五月丁香五月激情五月激情| 狠狠爱成人综合网| 色色色婷婷五月| 色五月天中文字幕| 91se在线观看| 99热只有| 天天狠狠六月婷丁香影院| 激情久久久| 春色激情| 爆乳熟妇一区二区三区爆乳照片| 五月激情偷拍婷婷| 丁香五月天激情四射网| ady狠狠入| 69人妻人人澡人人爽久久| 在线五月婷婷小电影| 99成人无码| 久久婷网| 欧洲色色| 大香蕉七区| 永久的网站AAAA | 久久久久9999| www.91久久| 五月在线| 国产毛片精品一区二区色欲黄A片| 国产乱子轮XXX农村| 九九热99视频在线| 婷婷五月激情丁香| 五月丁香操亭亭网| 99热99网| 色色a| 五月天综合视频| 99国产精品久久久久久久久久久 | 少妇人妻人伦A片| 久久综合网桃花| 直接看的av| wwW天天干| 欧美日韩五月婷婷| 国产3p露脸普通话对白| 猫咪伊人久久| 99人人操人人摸| 婷婷五月丁香综合| 91猫咪国产在线播放| 96丁香六月婷婷蜜桃综合久久| 五月婷婷丁香网| 婷色人人狠| 久啪欧美| 狠狠CAO日日穞夜夜穞AV | 99视频在线播放大全| 丁香五月开心七月| 五月丁香六月情| 五月丁香六月在线| 亚洲婷婷六月天| 日韩ac不卡无码| 色黄啪啪| 欧美69久成人做爰视频| 婷婷金品综合视频| 日本色婷婷| 婷婷免费无视频| 深夜男女福利刺激影院一区| 亚州色综合| 五月丁香六月激情| 粉嫩av蜜桃av蜜臀av| 婷婷五月天在线观看第二页| 五月激情综合深爱| 99自拍视频| 五月天婷婷色色首页| 99re26视频| 婷婷久久综合久| 新97人人上人人| 99视频这里有精品| 婷婷色色色| wWwCom夜操wwW| 99爱这里只有精品免费视频| 色99在线| 九九伊人网| 精品影院| 欧美三级韩国三级日本三斤| 久久精品婷婷| 人妻精品一区二区三区| 丁香五月天天哦| 五月婷婷影视| 99热这里只有精| 五月婷婷激情网| 五月丁香婷婷综合| 激情五月深爱五月观看| 亚洲99综合| 99亚洲精美视频在线观看| 色婷婷五月天小说| 9月色婷婷| 99久久.www| 天天日,天天射,天天插| 亚洲乱码在线观看| av五月丁香婷婷网| 外国碰视频网站97| 色情五月天丁香社区| 韩国真做片在线观看| 久久五月视频| 亚洲va欧洲va国产va不卡| 精品一二三区久久AAA片| 亚洲久热| 六月丁香啪啪啪| 久操大屁股女人av| 激情五月综合网最新 | 色五月情| 99在线精品视频观看免费下载| 精品亚洲国产成AV人片传媒| 丁香五月婷婷激情中文| 色综合狠狠色| 无码99| 67194中文在线| 99热精品在线| 人人草人人爱| 狠狠插狠狠插| 亚洲a色| 操一区| 中文字幕在线观看视频www| 青青草原99热| 思思久久青草热| www国产亚洲色婷婷com| 五月社区丁香| 人人色AV| 久久性爱网站| 色五月成人在线| 99热只有精品在线观看| 亚洲久久婷婷| 综合网五月天123| 日本AAAAAAAAAAAAAA片| 操丝袜视频影院导航| 天天透天天摸天天舔| 五月天久久www| site:publishdd.com| 亚洲婷婷五月天激情综合| 久久开心五月婷婷| 亚洲色婷婷视频| 夜夜做夜夜愛| 欧美丁香婷婷天天操| caop视频| 九九 激情 网| 欧美极品999| 亚洲狠狠爱婷婷| 天天干 夜夜爽| www.色五月| 日本网站久久| 吾爱AV导航| 狠狠爱婷婷丁香| 久久色五月| WWW·色色色·COM| 五月丁香婷婷色色色| 色欲久久综合| 婷婷五月天成人在线视频| 丁香无五月网| 可以直接看的av网站| 激情五月,深深爱五月| 午夜色丁香| 深爱激情五月网| 欧美日本黄色| 婷婷六月激情| 国产成人精品亚洲线观看| αv中文字幕在线观| 午夜]香婷婷深深爱| AV操一操| 色色色9 9 9| 色女人久久| 五月婷婷综合激情| 婷婷5月开心6月| 亚洲色亚洲精品| 可以免费观看的AV| www.丁香五月| 熟妇人妻中文字幕无码老熟妇| 九九无码AV| 69久热| 99综合一区| 综合激情开心五月| 婷婷丁香五月天在线| 五月丁香激情综合久久| 日日干天天| 五月天久久久| 久久精品99国产精品日本| 99爱在线| 99狠狠色| WWW·天天操·视频?| 99精品久久久久久久婷婷久久 | 色婷婷成人做爰A片免费看网站| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 天久综合91综合首页| 成人精品免费在线观看| 色爽九九| 久久婷婷五月天激情新地址| 五月婷婷精品视频| 丁香美女五月天婷婷| 9色在线视频| 丁香激情五月| 开心久久网婷婷| 一本久道综合色婷婷五月| 欧洲日韩一区二区三区| 人人射人人高潮| 色综合色综合网| 666555。COm毛片| 9久热在线精品| 激情综合五月丁香| 五月婷婷|欧美| 欧美激情2025| 色五月天中文字幕| 丁香五月婷婷基地| 97碰免费精采视频| 丁香桃色网| 成人婷婷桔色| 天天五月丁香五月| 性欧美日本| 久久午夜丁香| 99综合自拍| 九七色色六月丁香| 五月天色色色| 亚洲操b| 欧美Va在线| 99ri精品视频在线观看| 婷婷丁香91| www.久久久久久久久久.com| 91精品国产91久久久久青草| 五月天堂色| 久久在线人妻| 中文激情网| 在线综合亚洲欧美65| 五月婷婷丁香六月| www色婷婷久久综合久色 | 激情六月婷婷啪啪| 99久久户外勾搭| 91在线资源| 五月天婷婷色| 五月花综合视频| 99综合网| 强辱丰满人妻HD中文字幕| 色9月| 综合亚洲五月天| 五月婷婷成人| 五月丁香久久| 色婷婷AⅤ| 婷婷5月天激情综合| 中文字幕成人影视| 欧美日韩二区在线| 色九亚洲| 五月天激情无码高清| 婷婷五月激情网| 久久婷婷网址| 六月丁香视频网站| 成人永久免费视频在线观看| 琪琪色网在线| 夜夜夜天天操| 五月 婷婷 成人| 91狠狠综合久久久| 久久9热| 色五月综合婷婷| 夜夜撸天天操| www五月天com| 色婷婷五月综合在线| 亚洲1区| 91av视频在线观看最新网址| 五月色欧美| 五月丁香婷婷色| 五月天丁香婷婷网| 色六月天天激情综合网| 狼人婷婷综合| 九九九九九九热| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 婷婷色网站| 99视频在线精品免费观看2| 五月丁香网站| 丁香丁婷五月激情| 热99视频| 99热久久这里只有精品2010| 97色97干| 人人操AV| 91岛国片| 九九九九综合| 激情桃色网 | 狠狠艹狠狠艹| 婷婷五月天伊人网在线观看视频| 亚洲va欧美va国产综合久久久| 五月丁香色情| 天天日日夜夜爽| 五月丁香五月丁香| 激情综合网激情五月丁香| 久久视频在线| 六月婷婷久久| 99久热在线精品| 新97人人上人人| 激情图片婷婷| 99这里只有精| www.婷婷五月天| 噜噜五月天综合| 亚洲综合五月天婷婷| 久久久久亚洲A∨成人乱码电影| 亚洲在线综合| 婷久久综合| www.狠狠操.con| 99热这里有精品| 97丁香婷婷| 亚洲男女激情| 91在线看片| 天天操天天谢| 欧美在线视频99| xx久久| 婷婷五月天电影网| Aaa久久| 五月婷婷免费| 欧美黑人巨大性生话| 超碰93在线观看| 天天插天天爱| 9久热在线视频| 9999色色色色| 日本不卡高字幕在线2019| 梁铮版蜘蛛女在线观看| 婷婷五月天成人| 五月综合久久| 婷婷久热| 伊人久久婷婷| 色情五月丁香| 在线成人视频免费| 夜夜爽天天爽| 99久久亚洲国产| 久久人妻久久| 色天使色综合| 深爱五月最新网址| 91聚色综合网| 欧洲免费视频色| 五月天丁香婷婷视频网址 | 九九综合视频在线观看| 婷婷五月天丁香| 丁香五月婷婷啪啪啪| AV在线免费网站| 狠狠第四色| 欧美色99| yellow视频在线观看91| 精品色色| 久久9久久| 精品网站:999WWW| 五月天丁香成人| 色5月婷婷色| 91色在线/日韩| 综合五月婷婷| 色婷婷丁香| 激情av在线| 香蕉五月婷婷| 丁香五月在线观看| 超碰爱爱爱| 人妻激情在线| 九九五月天| 99亚洲精品视频| 播五月婷婷开心| 少妇性按摩无码中文A片| 婷婷丁香五另类网站| 亚洲字幕AV一区二区三区四区| 中文字幕日韩无码制服诱或| 天天干天天色综合| 色综合久久888| 五月婷婷激情五月| 久久丁香五月综合六月激情红杏视频| 天天干天天做| 久久国产性爱A V| AA片在线观看视频在线播放| 日日撸日日操| 激情四射亚洲| 伊人久久丁香婷婷六月五月综合| 久99久视频精品| 激情五月四色| 微拍92| 色色a| 99久.| 色色色色五月| 丁香狠狠| 成人婷婷色综合| 老司机日日夜夜青草| 另类亚洲视频| 超碰av在线| 91操色| 激情网 久久| 激情五月婷婷网| 色综合狠狠色| 91久操| 久久五月丁香婷婷| 国产又爽又猛又粗的视频A片| 亚洲va欧美va国产综合久久久| 超碰丁香五月| 91干婷婷| 亚艹艹| 97色操| 色情婷婷五月天| 婷婷五月天色网久| 激情五月天久久| 热久精品| 7777激情基地| 中文字幕日产A片在线看| www.激情五月天| 久久涩视频| 色色色综合网| 久久婷婷青草五月天| 午夜无码熟熟妇丰满人妻| 玖玖资源站中文| WWW.久久久久久久久久久久久| 夜夜躁爽日日| 五月丁香久久呀| 91视频久久久| 天天干天天干天天| 国色天香伊人狠狠色| 九月色婷婷综合亚洲| 色狠狠综合网| 日日爽日日操| 天天综合网~91| 久久这里只精品| 九九日本视频| 激情操逼婷婷| 婷婷五月丁香六月| WWW五月婷婷| 丁香六月天婷婷色| 99热这里都是精品| 色婷婷婷婷| 国产AV一区二区三区最新精品 | 久久婷婷一级片| 大鸡巴伊人网| 人人操91| 亚洲精| 熟女五月天久久综合| 天天爱天天操| 六月综合在线| 丁香五月婷婷狠狠色| 五月激情四射网站| 日韩 中文 欧美| \\五月天婷婷激情| 色综合偷拍| 丁香五月天堂网| 婷婷六月丁| 久热只有这里有精品| 国产婷伊人| 国产色网站| 久久五月婷综合网| 色综合久网| 欧美色五月| 99热免费观看| 五月天第四色开心色播| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 婷婷五月天视| 任你搞在线观看视频| 综合色色婷婷| 另类图片婷婷五月天| 婷婷综合色| 91日在线视频| 五月丁香综合啪啪| 岛国av电影网站| 久久九九玖玖| 久久久宗合视频88| 97中文在线| 欧美精品熟女一区二区| 激情五月综合网| 五月丁香婷婷色播无码| 色婷婷狠狠18禁| 五月 婷婷 成人| 激情五月,色五月| 欧美碰碰| 最近中文字幕大全免费版在线| 狠狠草狠狠草| 九九热在视频| 久久久精品99| 99热这里只有精品8| 深爱激情丁香五月| 91精品电影18T| 九色无码| 丁香五月婷婷国产av| 91狠狠色丁香| 中文国产五月天| 熟女91九色| 婷婷丁香无码专区| 99久久网站| 爽天天天天天天天| 思思久久思思| 97色婷婷成人综合在线观看| 色约约视频一区二区三区四区五区| 色99在线视频| 婷婷欧美| 五月亚洲激情| 免费亚洲婷婷中文字幕| 成人视频免费观看高清完整版在线观看| 日本丁香五月| 精品久热69| 插插五月天| 丁香婷婷激情综合五月激情 | 91人人人人人| 激情五月影院| 婷婷色在线视频| 日本 @ va 免费| 色久婷婷网| 伊人久久婷| 激情五月瑟瑟| 三级av在线| 思思热在线视频精品| 天天综合五月| 五月丁香啪啪伦理电影| 大香蕉人在线65| 国成人网| 少妇性按摩无码中文A片 | 婷婷色在线视频| 日韩成人中文| 99热欧美| 97久久超碰| 色色色色网色色网色色| 5月色亭亭视频| 婷婷五月天情色| 亚洲热综合| 99热主页日本| 色欲一区二区三区精品A片| 五月婷婷插一插| 国产伊人五月天| 中文字幕97超级碰| Www.久久| 激情内射人妻1区2区3区| 99热久| 激情五月www| 婷婷爱综合| 久久婷五月| 99综合一区| 亚洲无码11| 另类图片五月天激情| 婷婷5月久久综合网站| 99ER热精品视频| 五月婷婷色综图片| 99热这里只有精品99| 色播五月婷婷五月| 另类激情五月天| 极品 少妇 内射| 性 色 婷婷| 五月婷婷免费在线| 九月丁香婷婷| 婷婷色影院| 色色丁香婷婷综合| 久久精品91视频| 91人人超碰在线| 欧美日本97| 成人 AV播放| 七月丁香五月婷婷在线| 香蕉AV777XXX色综合一区| 色色99| 亚洲AV免费在线| 伊人五月天| 青青草五月天| 亚洲热热视频| 高清不卡一区| 色婷婷五月在线| 少妇人妻综合色6699| 天天摸天天高潮天天爽| 人人射av| 人人色AV| 久色中文| 丁香色五月婷婷17C| 丁香五月电影| 久久黄A片| 五月六月播婷婷| 国在线激情网| 91超级碰在线| 亚洲婷婷91丁香| 91超碰在线播放| 婷婷午夜激情| 色综合婷婷| 操操天堂| 中文字幕综合网| 久久婷婷色| 久久婷婷色| 超碰99在线| 五月天久久久| WWW色五月天| 大波美女VA网站| 色婷婷五月天激情综合| 五月丁了香蕉综合| 99久久这里只有精品免费官网| 色综合色欲综合天天免费| 国产26uuu视频| 日本性激情色播| 色五月婷婷五月天激情综合| 五月色情婷婷开心五月色情| 99热网站在线观看| 九六五月天婷婷| 婷婷涩涩网| 狠狠操在线视频| 五月天激情无码高清| 婷婷成人综合五月| 亚洲狠狠狠色婷婷综合激情久久久| 天天添天天摸天天天天做| 丁香六月婷婷高清| 国产精品蜜臀99| www一区二区三区| 天天插天天插天天插天天插| 99热亚洲| 婷婷五月电影| 97色碰| 激情五月综合| 香蕉久日夜| 婷婷色五月天色色| se99热久久一本| 成人婷婷| 天搞天天天天天| 天天狠狠插| 丁香九月婷婷色| 婷婷五月天六月丁香| 久久狼人天堂| 天天爽天天操| 日韩黄色中文字幕| 色天使久久综合| 九九热婷婷| 久七香蕉| 大香蕉五月婷婷| 日日天天天| 六月婷色六月| 欧美一级操逼视频| 婷婷丁香亚洲色综合91| 无码色色色| 婷婷激情四射| 精品一二三区久久AAA片| 激情五月四色| 《久久综合九色综合97婷婷| 五月天婷婷免费| 色一区高清| 六月色五月天天婷婷| 天天爱综合网| 激情五月天在线视频| 97在线观看| 玖玖婷婷色欲| 综合激情sV| 天天色播| 伊人六月无码视频| 99这里|