欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

SNMP接入溫濕度變送器:動(dòng)環(huán)平臺(tái)歷史數(shù)據(jù)調(diào)取全流程實(shí)踐

SNMP接入溫濕度變送器:動(dòng)環(huán)平臺(tái)歷史數(shù)據(jù)調(diào)取全流程實(shí)踐 1. 為什么選SNMP動(dòng)環(huán)平臺(tái)接入溫濕度變送器的方案取舍1.1 這個(gè)項(xiàng)目的實(shí)際場(chǎng)景與初始需求去年我接手了一個(gè)機(jī)房動(dòng)環(huán)平臺(tái)改造項(xiàng)目目標(biāo)是打通全公司27個(gè)機(jī)房的溫濕度監(jiān)測(cè)鏈路。機(jī)房里的動(dòng)環(huán)設(shè)備種類很多UPS、精密空調(diào)、漏水檢測(cè)、煙霧傳感、門禁以及這次重點(diǎn)處理的溫濕度變送器。平臺(tái)側(cè)需要實(shí)時(shí)顯示當(dāng)前溫濕度也要能把歷史數(shù)據(jù)調(diào)取出來(lái)支撐后續(xù)的故障追溯和能耗分析。項(xiàng)目最開(kāi)始的卡點(diǎn)不在平臺(tái)而在設(shè)備接入現(xiàn)場(chǎng)溫濕度變送器有十幾種型號(hào)廠家接口五花八門有的走RS485串口有的走以太網(wǎng)私有協(xié)議還有一批是早年搭的SNMP老設(shè)備。需求拆開(kāi)看其實(shí)很樸素每個(gè)機(jī)房部署若干溫濕度變送器平臺(tái)能夠周期性讀到溫度、濕度兩個(gè)值并把帶時(shí)間戳的數(shù)據(jù)寫(xiě)入歷史庫(kù)上層頁(yè)面能按時(shí)間范圍拉取歷史記錄也能按小時(shí)、按天聚合出趨勢(shì)曲線。聽(tīng)起來(lái)不復(fù)雜但真正動(dòng)手時(shí)才發(fā)現(xiàn)動(dòng)環(huán)平臺(tái)開(kāi)發(fā)里最耗時(shí)間的往往不是頁(yè)面和數(shù)據(jù)庫(kù)而是設(shè)備接入層那些“看起來(lái)一個(gè)樣、實(shí)際每家都不一樣”的通信協(xié)議。這個(gè)項(xiàng)目的轉(zhuǎn)折點(diǎn)是SNMP協(xié)議。機(jī)房里有大量網(wǎng)絡(luò)設(shè)備已經(jīng)支持SNMP而相當(dāng)一部分溫濕度變送器也把SNMP作為標(biāo)準(zhǔn)接口。統(tǒng)一走SNMP之后采集端的代碼不再需要為每個(gè)廠家單獨(dú)維護(hù)一套私有協(xié)議解析平臺(tái)面對(duì)的是一棵規(guī)范化的MIB樹(shù)OID、數(shù)據(jù)類型、單位換算都變得可預(yù)期。這篇文章就把我當(dāng)時(shí)調(diào)通SNMP調(diào)取溫濕度變送器歷史數(shù)據(jù)的完整過(guò)程寫(xiě)下來(lái)包括踩過(guò)的坑和最后沉淀下來(lái)的設(shè)計(jì)思路。1.2 有線串口、Modbus、SNMP三種路線的對(duì)比接入動(dòng)環(huán)設(shè)備常見(jiàn)有三條技術(shù)路線RS485總線上的Modbus RTU、以太網(wǎng)上的私有TCP/JSON接口、以及通用性最強(qiáng)的SNMP。很多老機(jī)房喜歡用RS485串口方案現(xiàn)場(chǎng)布線簡(jiǎn)單變送器便宜一條總線能掛幾十個(gè)設(shè)備但這套方案在平臺(tái)化接入時(shí)非常痛苦。每個(gè)串口對(duì)應(yīng)一臺(tái)采集器平臺(tái)要管理這么多串口鏈路還要處理輪詢時(shí)序總線設(shè)備太多時(shí)一輪查詢可能要十幾秒任何一臺(tái)設(shè)備無(wú)響應(yīng)都會(huì)拖慢整條總線。而且Modbus的設(shè)備地址、寄存器表、數(shù)據(jù)精度全靠設(shè)備手冊(cè)不同廠家的寄存器映射完全不一致解析層工作量很大。私有TCP/JSON接口是很多新式智能傳感器廠家的做法HTTP方式最直觀平臺(tái)側(cè)發(fā)一次請(qǐng)求拿一個(gè)JSON里面有溫度、濕度、電量、固件版本等字段開(kāi)發(fā)效率確實(shí)高。但問(wèn)題在于沒(méi)有標(biāo)準(zhǔn)每家字段命名都不一樣字段取值單位也不一致項(xiàng)目里接十種設(shè)備就得寫(xiě)十套適配器。對(duì)于動(dòng)環(huán)平臺(tái)這種需要長(zhǎng)期維護(hù)的系統(tǒng)私有協(xié)議越多后面升級(jí)和擴(kuò)展的隱性成本越高。SNMP作為網(wǎng)絡(luò)管理領(lǐng)域的標(biāo)準(zhǔn)協(xié)議最大優(yōu)勢(shì)是統(tǒng)一了“被管設(shè)備的資源描述”。不管是交換機(jī)、UPS還是溫濕度變送器只要實(shí)現(xiàn)SNMP Agent平臺(tái)側(cè)就用一套snmpget、snmpwalk邏輯去訪問(wèn)。MIB文件定義了每個(gè)計(jì)數(shù)器或傳感器值的OID、數(shù)據(jù)類型和讀寫(xiě)屬性即使不同品牌OID不同解析框架是一樣的。三年前我還會(huì)為每個(gè)設(shè)備單獨(dú)寫(xiě)連接類現(xiàn)在SNMP設(shè)備的接入工作已經(jīng)壓縮到只改配置文件的OID映射和單位換算規(guī)則。做過(guò)對(duì)比之后這個(gè)項(xiàng)目里我優(yōu)先把所有支持SNMP的溫濕度變送器統(tǒng)一接到SNMP通道不支持SNMP的老舊串口設(shè)備再通過(guò)串口網(wǎng)關(guān)轉(zhuǎn)成SNMP透?jìng)?。用SNMP作為中間層平臺(tái)側(cè)只面對(duì)一套協(xié)議后面設(shè)備擴(kuò)容時(shí)能省下大量改動(dòng)時(shí)間。1.3 我最終定下的接入架構(gòu)整個(gè)接入鏈路分四層。最下面是溫濕度變送器它們內(nèi)部有溫濕度探頭然后把測(cè)量值映射到SNMP OID上。中間是接入層支持SNMP Agent的變送器直接進(jìn)網(wǎng)線純RS485型變送器則先接到串口服務(wù)器或工業(yè)網(wǎng)關(guān)由網(wǎng)關(guān)輪詢Modbus寄存器再把數(shù)據(jù)以SNMP Agent方式暴露給上層。第三層是采集服務(wù)部署在一臺(tái)Linux服務(wù)器上通過(guò)SNMP協(xié)議周期性讀取各設(shè)備的溫濕度OID做單位換算、異常值過(guò)濾后寫(xiě)入歷史數(shù)據(jù)庫(kù)。最上層才是動(dòng)環(huán)平臺(tái)本身包含實(shí)時(shí)數(shù)據(jù)看板、歷史查詢接口、告警規(guī)則引擎。這里需要提前決策的一個(gè)點(diǎn)是歷史數(shù)據(jù)的存儲(chǔ)平臺(tái)初期規(guī)模不大我選的是MySQL/MariaDB用獨(dú)立歷史表存原始點(diǎn)位數(shù)據(jù)后續(xù)如果點(diǎn)位量變大再平滑遷移到時(shí)序數(shù)據(jù)庫(kù)。SNMP這條鏈路里最需要理解的是OID的樹(shù)形結(jié)構(gòu)。整個(gè)MIB以1.3.6.1為根往下有interfaces、enterprises等分支廠商自定義的信息通常掛在enterprises私有節(jié)點(diǎn)下。溫濕度變送器的具體OID一般由廠商預(yù)置到固件里平臺(tái)側(cè)只要配置好每個(gè)設(shè)備對(duì)應(yīng)的溫度OID、濕度OID就能讀數(shù)。動(dòng)環(huán)平臺(tái)開(kāi)發(fā)實(shí)錄里最典型的一天工作不是在寫(xiě)復(fù)雜算法而是反復(fù)核對(duì)設(shè)備手冊(cè)里的OID表和實(shí)際返回的原始值類型。2. 和設(shè)備對(duì)上話從MIB文件到OID解析2.1 snmpwalk這一步能省則省但別跳接入SNMP設(shè)備時(shí)我習(xí)慣先在服務(wù)器上用命令行工具把設(shè)備“底朝天”摸一遍而不是直接讀手冊(cè)就寫(xiě)代碼。這個(gè)習(xí)慣幫我避開(kāi)了很多廠商手冊(cè)寫(xiě)得含糊不清的坑。拿到一臺(tái)新變送器我會(huì)先看它的IP、SNMP版本、Community字符串只讀的一般是public也有改成監(jiān)控專用字符串的然后用snmpwalk做一次全樹(shù)遍歷。命令格式大致是這樣snmpwalk -v 2c -c public -On 192.168.10.101 device_full_walk.txt關(guān)鍵參數(shù)有三個(gè)-v 2c表示SNMP版本-c public是Community授權(quán)字符串-On要求輸出帶完整的OID數(shù)字路徑不要只顯示縮寫(xiě)名稱。全樹(shù)遍歷結(jié)果會(huì)生成一個(gè)文本文件幾十到幾百行不等。這份文件有多少行基本上就是這個(gè)設(shè)備暴露出來(lái)的全部可讀信息。溫濕度變送器一般還會(huì)暴露設(shè)備名稱、固件版本、序列號(hào)、當(dāng)前溫度、當(dāng)前濕度、報(bào)警狀態(tài)這些OID。不少工程師會(huì)跳過(guò)這一步直接按照設(shè)備清單里給的那幾個(gè)OID開(kāi)始寫(xiě)采集代碼。這么做短期沒(méi)問(wèn)題但一旦設(shè)備返回的數(shù)據(jù)跟預(yù)期不符你會(huì)因?yàn)闆](méi)有參考基線而無(wú)從排查。snmpwalk輸出的原始文件里有時(shí)能看到廠商額外暴露的OID比如“本機(jī)溫度校準(zhǔn)偏差”“濕度零點(diǎn)漂移補(bǔ)償值”這些信息對(duì)后期數(shù)據(jù)維護(hù)很有用。設(shè)備說(shuō)明書(shū)給出的OID可能是符號(hào)名比如tempHumidityTemperature但程序里真正要用的是數(shù)字OID路徑。因?yàn)椴煌瑥S商的MIB符號(hào)名可能相同數(shù)字路徑不會(huì)歧義。用snmpwalk -On一次就能把符號(hào)名和數(shù)字路徑的對(duì)應(yīng)關(guān)系拿到我通常會(huì)把這個(gè)映射存進(jìn)設(shè)備檔案表避免以后忘了哪個(gè)數(shù)字OID對(duì)應(yīng)哪個(gè)物理量。2.2 數(shù)據(jù)類型的坑整數(shù)、浮點(diǎn)、編碼換算一個(gè)都不能漏SNMP協(xié)議本身只定義了有限的類型體系。實(shí)際調(diào)溫濕度數(shù)據(jù)時(shí)最常見(jiàn)的返回類型是INTEGER、Unsigned32、OCTET STRING也有部分設(shè)備返回Float類型的OID。為什么說(shuō)這里是重災(zāi)區(qū)因?yàn)椴煌瑥S商對(duì)同一個(gè)物理量的編碼方式可能完全不同。同一臺(tái)設(shè)備上溫度返回的原始值可能是325而設(shè)備文檔里寫(xiě)“溫度乘以10”那么真實(shí)溫度就是32.5攝氏度。濕度返回456乘0.1得到45.6%RH。但另一家設(shè)備溫度返回的是32.5直接用Float類型更折騰的情況是OCTET STRING里塞了一個(gè)ASCII字符串比如32.5 C你還要做字符串截取。我踩過(guò)的一次尷尬事故某批次設(shè)備的濕度OID返回整數(shù)比如299文檔寫(xiě)單位是0.1%RH結(jié)果我按%RH直接入庫(kù)導(dǎo)致平臺(tái)上濕度顯示299%自然觸發(fā)了告警風(fēng)暴。當(dāng)時(shí)整個(gè)動(dòng)環(huán)平臺(tái)連續(xù)半夜報(bào)警排查了一圈才發(fā)現(xiàn)是換算系數(shù)沒(méi)生效。后來(lái)我養(yǎng)成了一個(gè)硬性習(xí)慣任何新增SNMP點(diǎn)位入網(wǎng)前必須在測(cè)試環(huán)境用真實(shí)設(shè)備驗(yàn)證原始值、換算公式、最終展示值三層數(shù)據(jù)。建議數(shù)據(jù)類型和換算規(guī)則一定要進(jìn)配置。我會(huì)在設(shè)備Profile里定義字段oid_temperature: 1.3.6.1.4.1.xxxxx.1.3.1.1.5.0temperature_type: INTEGERtemperature_factor: 0.1temperature_unit: C。采集服務(wù)讀配置而不是硬編碼這樣新增一批設(shè)備時(shí)只需在數(shù)據(jù)庫(kù)里多插一條記錄不用改代碼再發(fā)版。2.3 一個(gè)真實(shí)的OID解析案例以我項(xiàng)目中較多的一批設(shè)備為例廠商MIB把傳感器信息放在enterprises私有節(jié)點(diǎn)下溫度OID通常是1.3.6.1.4.1.5000.1.3.1.1.5.0濕度OID對(duì)應(yīng)1.3.6.1.4.1.5000.1.3.1.1.6.0用snmpget驗(yàn)證snmpget -v 2c -c public -On 192.168.10.101 1.3.6.1.4.1.5000.1.3.1.1.5.0返回.1.3.6.1.4.1.5000.1.3.1.1.5.0 INTEGER: 312這表示當(dāng)前溫度原始值是312按手冊(cè)換算除以10得到31.2℃。濕度OID返回INTEGER: 578按除以10得到57.8%RH。單臺(tái)設(shè)備驗(yàn)證通過(guò)后我會(huì)連讀幾輪確認(rèn)返回值是否穩(wěn)定波動(dòng)然后才接入采集服務(wù)。如果設(shè)備返回的是OCTET STRING: 31.2那就需要先判斷編碼方式再?zèng)Q定是由采集端轉(zhuǎn)數(shù)值還是直接給上層面板解析字符串。這里有個(gè)細(xì)節(jié)值得注意OID最后的.0代表標(biāo)量對(duì)象實(shí)例。如果廠商在MIB里定義的是表格類型比如多個(gè)傳感器做成一張表那遍歷時(shí)會(huì)出現(xiàn)不同的最后一位索引這時(shí)候就要用snmpwalk把整張表列出來(lái)再按傳感器序號(hào)去匹配。溫濕度變送器通常只有一個(gè)測(cè)量點(diǎn)標(biāo)量OID也就夠了但多探頭設(shè)備或者帶多個(gè)傳感器節(jié)點(diǎn)的采集器往往就需要按索引循環(huán)讀取。3. 歷史數(shù)據(jù)鏈路輪詢采集、入庫(kù)與規(guī)范化3.1 輪詢調(diào)度設(shè)計(jì)頻率、超時(shí)與重試拿到設(shè)備OID和數(shù)據(jù)類型后下一步就是把“讀一次”變成“持續(xù)讀”。動(dòng)環(huán)平臺(tái)的實(shí)時(shí)性要求不算高溫度濕度的變化本身是慢變量我最終把輪詢周期定為30秒。這里需要解釋一下為什么不是5秒或10秒SNMP是UDP承載的輪詢頻率越高網(wǎng)絡(luò)包越多設(shè)備單板CPU和平臺(tái)服務(wù)器壓力都會(huì)上來(lái)而30秒粒度已經(jīng)足夠覆蓋空調(diào)故障導(dǎo)致的溫度跳變、機(jī)房熱區(qū)波動(dòng)等絕大多數(shù)場(chǎng)景歷史數(shù)據(jù)體積也能控制住。采集服務(wù)我用Python寫(xiě)。每個(gè)采集周期會(huì)并發(fā)發(fā)起所有設(shè)備的SNMP請(qǐng)求。輪詢服務(wù)里最重要的設(shè)計(jì)是超時(shí)和重試策略。snmpget默認(rèn)超時(shí)1秒、重試5次在動(dòng)環(huán)場(chǎng)景下太激進(jìn)設(shè)備偶爾因?yàn)轫憫?yīng)慢導(dǎo)致單次輪詢被拖成好幾秒后續(xù)積壓任務(wù)會(huì)越來(lái)越多。我把超時(shí)設(shè)為1.5秒重試2次失敗后本輪不再?gòu)?qiáng)求標(biāo)記該點(diǎn)位為異常等待下一輪周期自然恢復(fù)。這樣既減少了無(wú)效請(qǐng)求數(shù)量又能保證異常告警在1分鐘內(nèi)觸發(fā)。調(diào)度上用了輕量級(jí)的調(diào)度框架核心邏輯是每30秒觸發(fā)一次批量采集任務(wù)。批量采集內(nèi)部用線程池并發(fā)讀取設(shè)備例如27個(gè)機(jī)房包括變送器在內(nèi)總共120個(gè)SNMP點(diǎn)位一輪完成時(shí)間基本能控制在3秒以內(nèi)。單點(diǎn)輪詢的最長(zhǎng)等待時(shí)間是超時(shí)加上重試時(shí)間約4.5秒線程池并行處理不會(huì)互相阻塞整體輪詢節(jié)奏非常穩(wěn)定。需要特別提示的是SNMP版本選擇。SNMP v1和v2c走Community字符串認(rèn)證v3支持用戶名密碼和加密。設(shè)備如果支持v3建議優(yōu)先用v3配合私網(wǎng)隔離可以做到比較可靠的安全閉環(huán)。如果設(shè)備只支持v1/v2c那么必須把訪問(wèn)控制在內(nèi)部監(jiān)控網(wǎng)段不要跨公網(wǎng)直接暴露。3.2 數(shù)據(jù)入庫(kù)與歷史表結(jié)構(gòu)劃分歷史數(shù)據(jù)調(diào)取的前提是先把數(shù)據(jù)存得有條理。我設(shè)計(jì)歷史表時(shí)沒(méi)有把所有類型點(diǎn)位塞進(jìn)一張“通用值表”雖然那樣擴(kuò)展性看上去很強(qiáng)但查詢溫濕度歷史時(shí)會(huì)因?yàn)橐^(guò)濾point_type產(chǎn)生很多無(wú)效掃描。最終方案是專門建一張溫濕度歷史表字段如下CREATE TABLE temp_humi_history ( id BIGINT AUTO_INCREMENT PRIMARY KEY, device_id VARCHAR(32) NOT NULL, collect_time DATETIME NOT NULL, temperature DECIMAL(5,2) NULL, humidity DECIMAL(5,2) NULL, status TINYINT NOT NULL DEFAULT 1, UNIQUE KEY uk_device_time (device_id, collect_time) );status字段很關(guān)鍵1表示正常0表示該輪讀取失敗或者設(shè)備掉線。為什么即使讀取失敗也要插入一條記錄因?yàn)榍岸水?huà)時(shí)間序列曲線時(shí)如果某個(gè)時(shí)間點(diǎn)沒(méi)有數(shù)據(jù)圖表會(huì)留白如果插入一條status0的記錄前端可以明確把該時(shí)段標(biāo)記為斷線或異常。平臺(tái)頁(yè)面上看到“這段時(shí)間沒(méi)有數(shù)據(jù)”和“這段時(shí)間設(shè)備告警離線”是兩個(gè)等級(jí)的問(wèn)題前者會(huì)被誤認(rèn)為機(jī)房一直正常后者才符合動(dòng)環(huán)平臺(tái)的監(jiān)控語(yǔ)義。入庫(kù)采用批量寫(xiě)入方式。單個(gè)輪詢周期內(nèi)積累的幾百條記錄一次性executemany插入而不是一條一條插入。MySQL對(duì)批量插入的吞吐量遠(yuǎn)高于單條插入而且減少了連接開(kāi)銷。隨著點(diǎn)位數(shù)量增長(zhǎng)歷史表建議按月分表或按季度分區(qū)。我當(dāng)時(shí)的方案是保留最新3個(gè)月的30秒原始數(shù)據(jù)更老的數(shù)據(jù)會(huì)由定時(shí)任務(wù)聚合到5分鐘/1小時(shí)統(tǒng)計(jì)表原始表按時(shí)間分區(qū)定期清理避免單表無(wú)限膨脹。3.3 時(shí)區(qū)、庫(kù)存檔和補(bǔ)傳機(jī)制動(dòng)環(huán)平臺(tái)歷史數(shù)據(jù)最容易被忽略的問(wèn)題之一是時(shí)間戳。設(shè)備本身沒(méi)有時(shí)區(qū)概念返回?cái)?shù)據(jù)也不帶UTC偏移。如果采集服務(wù)沒(méi)處理好跨過(guò)夏令時(shí)或者部署在不同時(shí)區(qū)的服務(wù)器上歷史曲線的對(duì)齊就會(huì)出問(wèn)題。我的做法是采集服務(wù)統(tǒng)一使用服務(wù)器本地時(shí)間生成collect_time數(shù)據(jù)庫(kù)連接串固定時(shí)區(qū)接口層輸出時(shí)明確要求前端按指定時(shí)區(qū)解析。所有歷史查詢都以collect_time為基準(zhǔn)不允許客戶端傳一個(gè)“其他時(shí)間”再讓數(shù)據(jù)庫(kù)做時(shí)區(qū)轉(zhuǎn)換。另一個(gè)現(xiàn)實(shí)問(wèn)題是SNMP請(qǐng)求偶爾會(huì)整體超時(shí)尤其是現(xiàn)場(chǎng)網(wǎng)線松動(dòng)或者中繼網(wǎng)關(guān)重啟時(shí)。如果不能把這段時(shí)間的數(shù)據(jù)補(bǔ)回來(lái)歷史庫(kù)就會(huì)有空洞。我實(shí)現(xiàn)了一個(gè)補(bǔ)傳隊(duì)列每個(gè)輪詢周期結(jié)束后正常的記錄直接寫(xiě)庫(kù)失敗的點(diǎn)位進(jìn)入內(nèi)存隊(duì)列在后繼輪詢周期里插入補(bǔ)讀任務(wù)。補(bǔ)傳策略是“只補(bǔ)最近N個(gè)周期最多補(bǔ)15分鐘”。超過(guò)15分鐘不補(bǔ)說(shuō)明設(shè)備持續(xù)離線此時(shí)空檔就交給狀態(tài)字段去表達(dá)不再硬補(bǔ)。這個(gè)取舍很重要無(wú)限制補(bǔ)傳會(huì)把采集服務(wù)拖進(jìn)歷史欠賬的泥潭特別是長(zhǎng)時(shí)間離線場(chǎng)景下設(shè)備恢復(fù)瞬間積壓幾百個(gè)補(bǔ)讀任務(wù)反而把正常輪詢擠掉。動(dòng)環(huán)平臺(tái)開(kāi)發(fā)到歷史數(shù)據(jù)階段真正產(chǎn)生價(jià)值的往往不是“把數(shù)據(jù)查出來(lái)”而是“把缺失和異常表達(dá)清楚”。補(bǔ)傳機(jī)制保證的是常規(guī)情況下的完整度status字段保證的是異常情況下的透明度。這兩樣配齊歷史數(shù)據(jù)調(diào)取才有質(zhì)量可言。4. 歷史數(shù)據(jù)調(diào)取的幾個(gè)現(xiàn)實(shí)問(wèn)題4.1 查詢接口的設(shè)計(jì)歷史數(shù)據(jù)調(diào)取在平臺(tái)側(cè)體現(xiàn)為一個(gè)HTTP查詢接口。接口設(shè)計(jì)上我盡量讓它“一次查得完查完能直接用”。最基礎(chǔ)的能力是給定設(shè)備、起止時(shí)間返回原始記錄但前端畫(huà)圖不可能一次把幾萬(wàn)條原始點(diǎn)全拉走所以接口必須支持聚合。聚合查詢的核心參數(shù)是interval單位有raw、1m、5m、1h、1d。當(dāng)intervalraw時(shí)直接查原始30秒數(shù)據(jù)為聚合模式時(shí)按時(shí)間段做平均值、最大值、最小值三要素聚合。比如查詢某一天某個(gè)機(jī)房的溫度趨勢(shì)接口返回每小時(shí)內(nèi)的均值、最高溫度、最低溫度前端畫(huà)帶波動(dòng)范圍的趨勢(shì)線非常方便。SQL上利用MySQL的日期函數(shù)做時(shí)間桶分組。接口參數(shù)我做得比較嚴(yán)start_time和end_time必填時(shí)間跨度最大限制為31天防止有人一次性導(dǎo)出整個(gè)數(shù)據(jù)庫(kù)導(dǎo)致服務(wù)端卡死。導(dǎo)出CSV功能單獨(dú)做異步任務(wù)避免同步響應(yīng)超時(shí)。動(dòng)環(huán)平臺(tái)的使用者通常是運(yùn)維人員和設(shè)施管理崗他們更關(guān)注某個(gè)時(shí)間段的溫度曲線、高溫時(shí)段、空調(diào)設(shè)備異常前后的溫升趨勢(shì)所以查詢條件里我額外支持了“過(guò)濾異常狀態(tài)記錄”的開(kāi)關(guān)默認(rèn)開(kāi)啟查詢結(jié)果只展示status1的正常數(shù)據(jù)。4.2 歷史數(shù)據(jù)的精度損失與存儲(chǔ)策略歷史數(shù)據(jù)調(diào)取時(shí)最容易被忽略的是精度問(wèn)題。SNMP原始值換算成溫度后可能是31.23333這樣的浮點(diǎn)數(shù)但數(shù)據(jù)庫(kù)字段我用的是DECIMAL(5,2)。這里有兩個(gè)選擇保持原始浮點(diǎn)數(shù)或者按兩位小數(shù)入賬。我最終選擇了兩位小數(shù)理由是溫濕度變送器本身的測(cè)量精度通常在正負(fù)0.3度左右傳感器探頭精度都不夠高存更多小數(shù)位沒(méi)有實(shí)際意義。不過(guò)這個(gè)取舍在下游分析場(chǎng)景會(huì)帶來(lái)一個(gè)問(wèn)題每天聚合的平均值如果基于四舍五入后的值再計(jì)算累計(jì)誤差會(huì)稍微變大。比如原始值31.25和31.35分別存成31.25和31.35還能接受但如果變成31.3和31.4聚合平均就會(huì)偏掉0.025。我是這樣處理的原始?xì)v史表里保留DECIMAL(5,4)上層展示和聚合時(shí)統(tǒng)一四舍五入到兩位。也就是原始精度保留足夠查詢結(jié)果做展示精度。調(diào)取歷史數(shù)據(jù)時(shí)很多團(tuán)隊(duì)只看見(jiàn)了可讀性沒(méi)意識(shí)到把精度損失在入庫(kù)這一層后面分析系統(tǒng)再想找回原始數(shù)據(jù)就難了。存儲(chǔ)周期也需要根據(jù)數(shù)據(jù)用途定清楚。30秒原始數(shù)據(jù)保留3個(gè)月左右5分鐘聚合數(shù)據(jù)保留1年1小時(shí)聚合數(shù)據(jù)保留3年。這樣前端的“近一周詳細(xì)曲線”能精確到每個(gè)采樣點(diǎn)半年趨勢(shì)圖則用聚合數(shù)據(jù)不需要掃描全量原始表。歸檔任務(wù)在凌晨低峰期執(zhí)行把過(guò)期原始數(shù)據(jù)刪除。生產(chǎn)成本和數(shù)據(jù)價(jià)值之間的平衡是所有動(dòng)環(huán)平臺(tái)都會(huì)遇到的我建議在初始階段就設(shè)計(jì)好別等項(xiàng)目跑了一年后發(fā)現(xiàn)歷史表幾個(gè)億行才后悔。4.3 從“調(diào)得到”到“調(diào)得對(duì)”數(shù)據(jù)校驗(yàn)?zāi)苷{(diào)出數(shù)據(jù)只是一個(gè)開(kāi)始“調(diào)得對(duì)”才是動(dòng)環(huán)平臺(tái)真正要解決的。歷史數(shù)據(jù)常見(jiàn)的臟數(shù)據(jù)有幾類設(shè)備讀數(shù)為0本質(zhì)是傳感器故障但采集鏈路正常數(shù)據(jù)跳變比如濕度從40%突然變成99%下一輪又回到40%長(zhǎng)時(shí)間恒定可能是探頭凍結(jié)或者A/D采樣異常。我插入數(shù)據(jù)前會(huì)做簡(jiǎn)單合理性校驗(yàn)溫度范圍-40到85度濕度范圍0到100%RH超出直接按異常處理在status中標(biāo)記可疑。對(duì)于跳變判斷我沒(méi)有在入庫(kù)時(shí)做太復(fù)雜的邏輯因?yàn)楝F(xiàn)場(chǎng)數(shù)據(jù)本來(lái)就可能瞬時(shí)突變誤判反而麻煩這部分交給告警側(cè)做持續(xù)N輪超過(guò)閾值再觸發(fā)。歷史數(shù)據(jù)調(diào)取時(shí)還有一個(gè)容易踩的坑設(shè)備掉線后重新上線如果只回補(bǔ)一部分周期因?yàn)樵O(shè)備內(nèi)部時(shí)鐘不準(zhǔn)補(bǔ)過(guò)來(lái)的數(shù)據(jù)時(shí)間戳可能是亂的。我遇到過(guò)一次很典型的一臺(tái)變送器離線半小時(shí)后網(wǎng)絡(luò)恢復(fù)采集服務(wù)補(bǔ)讀到了數(shù)據(jù)但設(shè)備把時(shí)間戳寫(xiě)成了剛上電時(shí)的時(shí)間導(dǎo)致歷史表里出現(xiàn)同一設(shè)備時(shí)間倒流的記錄。我的辦法是入庫(kù)時(shí)以采集服務(wù)器時(shí)間為準(zhǔn)完全忽略設(shè)備內(nèi)部時(shí)間戳同時(shí)寫(xiě)入collected_at和insert_time兩個(gè)字段前者用于業(yè)務(wù)查詢后者用于排查入庫(kù)延遲。代碼層面調(diào)取歷史數(shù)據(jù)時(shí)也不應(yīng)該無(wú)條件信任數(shù)據(jù)庫(kù)里的所有記錄。我在查詢接口里增加了一個(gè)預(yù)處理層如果某條記錄status為正常但相鄰兩條記錄間隔異常超過(guò)3個(gè)輪詢周期會(huì)把這段區(qū)間標(biāo)記為“存在缺失”。前端圖例里用虛線段表達(dá)而不去偽造一條平滑曲線。這樣業(yè)務(wù)側(cè)既能看到完整趨勢(shì)又能識(shí)別出哪些區(qū)間是真實(shí)的、哪些是推斷的從數(shù)據(jù)倫理上也更干凈。5. 現(xiàn)場(chǎng)運(yùn)維中踩過(guò)的坑和壓箱底經(jīng)驗(yàn)5.1 設(shè)備重啟后OID路徑變了SNMP設(shè)備接入中最詭異的問(wèn)題是同一型號(hào)設(shè)備固件版本升級(jí)后OID路徑發(fā)生變化。我有一次晚上巡檢發(fā)現(xiàn)某臺(tái)變送器溫度一直讀到127度直接把機(jī)房打進(jìn)了高溫告警。排查半天發(fā)現(xiàn)那臺(tái)設(shè)備前一天剛被現(xiàn)場(chǎng)人員升級(jí)過(guò)固件原來(lái)溫度OID返回的值在新固件里變成了內(nèi)部傳感器編號(hào)真正的溫度OID向后挪了一級(jí)。這種情況你沒(méi)法寫(xiě)“萬(wàn)能兼容”只能靠監(jiān)控臺(tái)賬每次設(shè)備固件變更后跑一次snmpwalk對(duì)比OID基線有變化自動(dòng)告警。動(dòng)環(huán)平臺(tái)的歷史數(shù)據(jù)可追溯性很大程度取決于設(shè)備臺(tái)賬維護(hù)得是否及時(shí)。5.2 跨品牌設(shè)備兼容性動(dòng)環(huán)現(xiàn)場(chǎng)很少只用一家設(shè)備。不同廠家的溫濕度變送器溫度和濕度OID經(jīng)常完全不一樣數(shù)據(jù)類型和單位也有差異。我在配置里維護(hù)了一個(gè)設(shè)備類型表每種類型綁定一套OID Profile。平臺(tái)采集時(shí)按設(shè)備類型取配置而不是按具體設(shè)備逐臺(tái)硬編碼。這樣新增同型號(hào)設(shè)備只是錄入一條新設(shè)備記錄新品牌則加一種Profile采集服務(wù)代碼始終不變。跨品牌兼容更隱蔽的問(wèn)題是SNMP OID的返回精度不同。同樣表示26.5度A廠家返回265B廠家返回26.5C廠家返回2650。我的采集服務(wù)在解析時(shí)統(tǒng)一按Profile里的factor字段處理A、C兩家的factor分別為0.1、0.001B家factor為1。這條規(guī)則看起來(lái)簡(jiǎn)單但前端頁(yè)面展示時(shí)如果不按這個(gè)factor二次換算就會(huì)出現(xiàn)某些設(shè)備溫度正常、某些設(shè)備溫度差了10倍的情況。建議做個(gè)自動(dòng)煙霧測(cè)試平臺(tái)新接入設(shè)備后和現(xiàn)場(chǎng)標(biāo)準(zhǔn)溫濕度計(jì)比對(duì)一次誤差在合理范圍內(nèi)才算上線。5.3 針對(duì)動(dòng)環(huán)平臺(tái)的整體穩(wěn)定性建議動(dòng)環(huán)平臺(tái)不像互聯(lián)網(wǎng)業(yè)務(wù)那樣追求高并發(fā)但它的長(zhǎng)期穩(wěn)定性要求很高。我把穩(wěn)定性經(jīng)驗(yàn)總結(jié)為三條。第一采集服務(wù)必須守護(hù)進(jìn)程化并自帶看門狗不能因?yàn)橐淮挝床东@異常就退出。SNMP網(wǎng)絡(luò)包是UDP和服務(wù)器多線程并發(fā)時(shí)偶爾會(huì)出現(xiàn)socket超時(shí)異常代碼里必須對(duì)所有snmpget/walk操作做完整異常捕獲異常只影響單個(gè)點(diǎn)位不影響整輪采集。第二告警系統(tǒng)要基于真實(shí)讀數(shù)的連續(xù)N次判斷而不是單次讀數(shù)立刻告警。溫度瞬時(shí)竄高有可能是設(shè)備自身干擾連續(xù)三次都高才說(shuō)明現(xiàn)場(chǎng)確實(shí)異常。這個(gè)去抖機(jī)制避免了不少半夜被誤報(bào)告警叫醒的情況。第三定期用標(biāo)準(zhǔn)溫度計(jì)現(xiàn)場(chǎng)比對(duì)溫濕度變送器的讀數(shù)。SNMP鏈路再穩(wěn)定傳感器探頭本身也會(huì)漂移一般建議每半年或一年校準(zhǔn)一次。動(dòng)環(huán)平臺(tái)的歷史數(shù)據(jù)質(zhì)量最底層依賴的還是傳感器測(cè)量精度這一層失守上面協(xié)議再標(biāo)準(zhǔn)、存儲(chǔ)再好出來(lái)的也是精準(zhǔn)的錯(cuò)誤。最后想分享一個(gè)小技巧我在每臺(tái)接入設(shè)備的歷史記錄里都會(huì)保留首次入網(wǎng)時(shí)的OID基線walk文件和配置快照。后期無(wú)論是更換備件、升級(jí)固件還是排查抖動(dòng)都能快速對(duì)比出“設(shè)備還是不是當(dāng)初那臺(tái)設(shè)備”。這個(gè)習(xí)慣幫我解決過(guò)很多跨周排查的疑難雜癥強(qiáng)烈建議做動(dòng)環(huán)平臺(tái)的人都保留一份。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天堂AV三级| 欧美va视频不用播放器的va视频网| 婷婷六月偷拍| 操碰91| 丁香五月天殴美激情| 91综合在线视频| 激情第四色| 婷婷五月天久久| 天天插夜夜爽| 综合亚洲六月婷婷在线| 欧洲亚洲免费视频9| 五月天丁香看婷婷| 天天爽天天干| 26uuu亚洲| 欧美成人精品A片免费一区99| Www.婷婷五月| RenRenSe在线视频网站| 欧美日韩99| 亚洲AV无码影院| 色婷婷激情五月天丁香| 少妇高潮呻吟A片免费看软件| 超碰人人干| 夜夜骑天天玩天天日| 五月婷高清视频| 亚洲人妻av| 色欲久久久久久综合网综合网| 成人在线观看精品| AA片在线观看视频在线播放| 1000部毛片A片免费观看| 欧美六月| 色久女| 五月天com| 国产色五月| 永久99免费视频网站| 影音先锋毛片网站| aaaa久久| 99丁香婷婷综合网| 久久精品一区二区三区四区| 欧美成人AAA片一区国产精品| 大香蕉五月天婷婷| 大香蕉久久久久| 精品久久这里热66| 韩国天天婷婷| 亚洲中文乱字字幕线在永久| 久久99久久99精品免观看软件 | 五月天婷婷开心| 91欧美| AV动漫不卡无码免费| 亚洲婷婷丁香五月| 亚洲人人艹| 九月婷婷综合色干| 狠狠色噜噜狠狠狠狠狠色综合久久| 精品香蕉99久久久久网站| 99色| 玖玖色综合| 婷婷色色五月天| 国产免费一区二区三区三州老师F1F1.CC| 婷婷五月天狠狠搞干| 这里只有精品视频在线看| 第四色婷婷色五月| 久久草婷婷丁香网站| 五月天三级| 欧美狠狠一在草| 丁香五月1页| 日韩AV在线免费观看| 天天肏天天肏| 丁香五月婷婷亚洲另类| 99色在线观看视频| 色色色婷| 九九九九国产| 久久综合中文| 丁香五月天啪啪| 久久人人超| 日本高清久| 日本黄色在线观看| 欧美综合123区| 婷婷五月大香蕉| 九九精彩久久| 超碰97免费在线| 97热久久| 婷婷操久久| 中文网婷婷字幕婷| 久久 中文 日本| 亚洲九九婷婷| 九月婷婷色色| 欧美日韩91| 色色丁香| 99精品久久久| 久久久网站| 国产成人在线精品| 色五月婷婷自拍| 国产99久9在线| 91 原创 在线 九色| 视频久久9| 五月激情久久| 91九色中文| 人人操人人干AV| 久久天堂女人| 成年视频免费观看| 五月丁香成人| 婷婷丁香色五月亚洲| 色情性爱视频网址| 五月婷色丁香| 婷婷五月天精品| 亚洲经典小视频| 性生活视频98791| 99热这里只有精品官网| 五月婷在线播放| 五月激情在线| 色色综合网站| 婷婷啪啪| 91九九九九九九| 久久天堂色| 色色丁香色五月| 四季AV综合网| 色色色色色热| 九九爱看亚洲| 色五月婷婷亚洲最大| 涩涩五月天| 亚洲Av入口| 六月五月婷婷| 色色色色热| 色婷婷伊人| 亚洲综合色色| 婷婷爱五月天| 国产在线激情视频| 久久六月综合| 色婷婷视频| 天天弄天天爽| 开心五月色婷婷综合开心网| 热99免费在线| 五月天婷婷视频| 91久久久久久久| 久久激情中文| 激情熟女网| 六月久久婷婷| 亭亭丁香久久五月| 婷婷丁香五月亚洲免费| 99热97| 色色国产| 开心激情婷婷| 色丁香五月婷婷| www.狠狠| 婷婷五月天桃花网| 日韩无码性爱| 亚洲色9| 色播五月丁香| 色五月婷婷DVD| A久久| 日韩黄黄| 中国女人内射6XXXXX| 亚洲啪| 91网站黄| 婷婷成人五月天一区| 婷婷五月亚洲一本在线丁香| 色色色色五月| 国产AV一区二区三区最新精品| 国产成人精品亚洲线观看| 丁香影院五月综合| 97人妻碰碰碰久| 天天日夜夜操五月| 激情综合五月色丁香婷婷| 婷婷丁香射射| 热99国产精品| 亚洲激情免费久久| 色婷婷伦理| 思思热在线精品视频网站| 天天草天天舔| 婷婷五月中文字幕国产| 毛片色五月| 亚洲色情网站| 婷婷日欧美在线观看| 六月婷婷色综合| 色色五月丁香| 日本欧美成人片AAAA| 双性美人被调教到喷水A片| 乱岳熟女50岁| 在线超碰91| 天天爽在线视频| 99色啊| 激情五月婷婷在线区| 六月婷婷影院| 丁香五月天电影| 荷兰av一级| 超碰狠狠操| 五月婷婷丁香五月| 超碰97在线操| 亚州色综合| www99在线观看视频| 人人爽天天莫| 婷婷五月天免费| 26UUU欧美激情一区二区| 久久久五月天| 精品视频网| 久久Xx| 色八月婷婷| 射久久丁香五月| 无码区婷婷五月花开| 99自拍视频网站| 亚洲综合婷婷| 欧美日韩国产成人在线| 99久热在线精品| 五月天婷爱综合| 色色无码| 国产偷人爽久久久久久老妇APP| 九色99视频| 久久久久网站| 激情桃色网| 色婷婷婷婷| 另类图片五月天| 激情婷婷五月丁香啪啪啪| 色五月自偷自拍婷婷婷婷| 超碰在线人人| 九月丁香五月婷婷| 97福利视频| 最近中文字幕2019视频1| 日韩AV在线电影| 婷婷在线观看五月天在线视频| 26uuu欧美激情另类| 亚洲碰碰碰| 免费观看的av| 99丁香五月婷| 思思热久久久久思思热| 天天做天天爱天天高潮| 开心五月婷婷激情| 91九色小视频| 婷婷色香六月综合激情| 97干视频在线| 高清a片基地| 五月婷婷六月丁香综合视频在线| 超碰99久久| 色五月婷婷777| 五月丁香毛片| 人人干AV| 99只有精品| 婷婷五月a| 激情婷婷五月天伊人在线观看| 色色色综合网| 日韩AV中文字幕在线| 26uuu.| 超碰国产AV| 国精产品一区一区三区免费视频| 婷婷五月成人色综合| 综合婷婷五月天| 日本人妻伦在线中文字幕| 亚洲成人超碰| 亚洲99精品欧美一区| 激情五月婷婷五月| 五月丁香婷婷色| 97国产精品女人碰碰| 丁香六月av| 婷婷五月情| 99视频在线看| 性天天中文网| 国产成人精品一区二区三区视频| 成人片在线播放| 五月开心久久| 婷婷婷久久久| 五月天天视频| 狠狠久久婷| 日韩AV色色色| 97色婷婷| 他改变了拜占庭| 日韩成人AV在线播放| 婷婷五月激情小说| 这里只精品热在线18| 最近中文字幕2019视频1| 婷婷综合五月天| 99精品在线观看视频| 日本色超碰| 日日操,夜夜爽| 色色色网站| 内射综合网| 久久婷丁香五月| 婷婷中文网站| 日日做夜夜爱| 99碰碰碰| 亚洲综合色棒| 182.t午在线观看| 五月天中文字幕在线婷婷| 无码AV免费精品一区二区三区| 丁香五月自拍| 99色热| 五月丁香亚洲校园欧美| 精品国产AV色一区二区深夜久久| 99热这里只有精品在线免费| 国产成人+综合亚洲+天堂| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 91丨九色丨熟女丰满| 五月丁香综合中文| 五月婷婷激情日本| 久久婷狠狠色| 九九九九毛片| 色欲一区二区三区精品A片| 超碰com| 五月丁香色婷婷久久| 五月综合激情| 久久五月婷| 九九九这里只有精品| 成人av播放| 久久久久久综合88| 丁香婷婷色五月激情综合| 丁香五月AV综合| 五月天婷婷激情| 欧美va亚洲va| 噜噜在线| 中文字幕乱轮| 久久婷婷亚洲无码一起| 深夜男女福利刺激影院一区| 66精品国产成人| 日日日日日| 婷婷综合网在线| 懂色av粉嫩av蜜臀av| 婷婷五月亚洲一本在线丁香| 五月亭大香蕉| 色欲天天综合| 婷婷五月天激情四射| 99色综合| 五月天激情图| 色婷婷五月天无码视频| 色五月天婷婷| 婷婷五月丁香五月天| 激情五月天婷婷播播久久综合91| www.婷婷五月| 视频一二区| 色碰碰视频| 色综合久久88色综合天天人守婷| 天天肏视奸| 俺也去在线视频| 9精品在线| 激情丁香五月天| 五月丁香花伦理电影| 亚洲操B视频| 国产激情综合五月久久| 这里只有精品99www| 五月天伊人久久| 五月丁香91| 亚洲婷婷丁香五月在线| 伊综合蕉| 99热免费精品| 五月激情基地| 4438国产免费看| 久久婷婷成人综合色怡春院| 五月丁六月婷| 99re视频在线播放| 婷婷五月丁香综合亚洲| 色五月欧美| 五月婷婷狠天天色综合| 五月丁香人妻| 99热久久这里只有精品| 99亚州综合精品成人网| 久久久精品99亚洲综合| 26uuu成人网| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 久久人妻www| 五月丁香综合激情| 91伦| 婷婷五月丁香六月| 青草少妇激情| 天天爱天天做综合| 操逼视频一区| 大香焦啪啪啪| 青青草视频福利| 伊人9在线| 国产五月视频| a在线观看| 久久五月天激情| 这里只有视频精品| www99久久| 丁香婷婷五月份| 欧美叉叉叉BBB网站| 99热亚洲精品| 91成人电影| 激情丁香五月激情婷婷| 五丁香激情综合| 九九热re99re6在线精品| 丁香激情网| 五月天婷婷色播在线网| 亚洲综合视频网| 色图亚洲91| 亚洲色网址| 激情综合网五月婷婷| 五月情综合| 综合另类视频| 欧美三级级99久久| 九九九九中文字幕| 激情五月婷| 日韩 中文 欧美| 蜘蛛女侠2003满天星免费观看| 婷婷五月天AV激情| 五月丁香综合啪啪| 日本啪啪网| 热久久婷婷| 日韩黄在免| 久久久婷| 丁香六月欧美| 四虎成人精品永久免费AV九九| 色五月婷婷影院| 我要色综合五月婷婷| 97中文在线| AV在线收看| 五月丁香激情综合网官网| 国产,欧美,学生妹,视频| 天天干天天插| 久热久| 91丨九色丨熟女丰满| 一本久道综合色婷婷五月| 五月天黄色激情小说| 无码天天操| 精品九九在线观看视频| 99久在线精品99re8| 国产在线视频1234| 久久久久视剧HD| 综合久久婷婷99| 情欲禁地| 丁香五月天成人| 五月天婷婷综合网| 天天射影院| 色五月激情五月| 婷婷在线视频| 思思热99在线视频| 日本噜噜色网| 99久久综合网| 99亚洲色| 丁香五月亚洲| 日日爽日日| 亚洲免费婷婷| 婷婷五月天视频| 五月婷婷啪啪综合网| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 99aese| 天天久久综合| 99热中文字幕久久| 噜噜色婷婷| 六月天婷婷| 97丁香五月| 五月丁香亭亭操逼| 人人干人人看| 综合色99| 国产精品久久久久久久久久| 99啪视频在线观看| 九九热思思| 国产五月丁香在线| 免费人人操| 伊人无码高清| 国产在线黄色| 色婷婷综合网站| 久久九色| 色444综合网| 开心五月深爱五月| 久久WW| 色五月天成人在线| 六月婷婷综合激情| 色域五月丁香| 91碰碰| 欧美色97| 99热久草| 亚州欧美国产久精国产99综合视频| 久草丁香婷婷五月天婷| 久久精品国产精品| 精品久热| 婷婷色五月天在线| 天天噪夜夜爽| 国产亚洲色婷婷久久99精品91| 韩国97天堂| 思思热在线视频精品| 五月天激情啪啪| 丁香五月婷婷成人网| 久久激情视频99| 99视频在线观看视频| 国产成人精品亚洲线观看| 激情五月婷| 丁香五月婷婷俺也要去| 99极品视频| 婷婷色五月激情强奸四射| 色婷婷很很十八禁| 丁香六月激情综合| 亚洲激情综合网| 五月天啪啪| 丁香六月激情综合网| AV成人在线网站| AV九九| 色综合伊人网| www.色擼擼.com| 国产五月丁香在线| 久久激情综合| 婷婷综合在线播放| 黄色aa观看aaguochan| 无码人妻少妇色欲AV一区二区| 九九操操| 五月天激情视频| 久久久久久综合五月婷婷| 色色热99| 天天色丁香| 久久免费试看120秒| 91无码色色| 99精品在线| 99精品在线观看视频| 五月天综合影院| 亚洲五月天伊人| 天天色综合天天| 黄网在线观看免费| 免费在线a| 伊人爱爱日本| 无码激情AAAAA片-区区| 五月天色图| 激情四射五月天| www.五月丁香| 亚洲激情婷婷| 色色哒五月婷婷六月丁香| 国产阿姨日皮艹逼内射视频| 六月丁香婷婷视频综合在线观看| 丁香五月区| 色噜噜五月丁香婷婷| 91九色PORNY大屁股| 久久99国产综合精品免费| 婷婷欧美激情| 日日夜夜噜噜爽爽| 亚洲五月天伊人| 色五月激情视频在线综合| 久久99精品久久久久子伦| 99ri视频在线观看| 大大香蕉综合在线| 曰本久久女| 亚洲12p| 亚洲综合另类| 日本色婷婷| 人人摸人人搞| 成人在线日韩| 色九月| 另类A片| 这里只有精品视频| 五月丁香六月综合激情 | 人人草人人爱| 婷婷丁香五月色| 久久66精品| 天天艹天天色| 99色热视频| 伊人超碰| 99er在线观看| 久久成人综合五月天| 五月丁香六月婷精品视频| 26uuu.| 深爱五月月天| 99热永久在线观看| 五月丁香爱婷婷深深| 五月天婷婷xxx| 久久九九综合| 日本久久网| 任你艹| www久久久| 9 1超碰九色| 九九久久五月天| 超碰免费人妻| 色婷婷免费观看| 99免费热视频在线| 日本综合色色| 色10月婷婷视频| 99热网站| 狠狠狠婷婷五月综合| 婷婷,五月天,丁香,第一| 婷婷五月天AV网| 久久久久久久,99精品视频| 色婷婷综合久久| 色婷婷呢狠禁久禁| 日比视频91| 亚洲人操亚洲人| 91在线精品一区二区| 狠狠爱丁香婷| 97伊人综合婷婷| 9久久久| 日本黄色在线观看| 日本人人干| 婷婷97碰碰| 色色五月丁香婷婷| 狠狠做五月| 丁香婷婷六月婷婷六月婷婷六月婷婷| 激情丁香五月婷| xx色综合| 日日射天天射| 99热这里只有精品最新| 五月婷婷丁香俺日污视频| 天天影院色| 人人综合久| a在线观看| 激情网五月天| 五月丁香色综合| 日日躁夜夜躁狠狠久久AV| 久久激丁香| www.cao.com久久| 国产精品视频网| 超碰在线免费9| 日本精品99| 色婷婷丁香网| 国产日韩欧美性生活| er99免费视频在线| 深爱婷婷丁香五月激情| 久色大| 人人操AV| 久久婷婷影院| 婷婷香蕉精品| CAOBIBI| 婷婷射图五月天| 99精品自拍| 安息电影在线观看完整版| 亚洲 小说 欧美 激情 另类| 丁香五月婷婷激情蜜桃| 丁香五月先锋| 丁香五月天堂网| 99热这里是精品| 色婷婷中文在线| 可以看的av| 久久久天堂国产精品女人| 久久五月丁香综合| 久久激情天堂| 久久视频66| 五月天婷婷伊人 | 99热国内精品| 久久激情网| 搡BBBB搡BBB搡五十| 色播激情| 久久五月激情| 色情丁香五月天| www,av好吊操| 久久99久久99精品免观看粉嫩| 婷婷丁香18| 九九在线热九九在线热99热| 日韩AV一区二区三区| 成人五月丁香社区| 色视五月天婷婷| 直接看的AV| 婷婷五月天激情小说| 久久久精品人妻| 五月婷三级片| 色综合色色色色| 国产精品大香蕉| 亚洲十月婷婷综合| 欧美狠狠色| 天天插综合| 婷婷六月激情综合| 99色五月| 思思热在线视频观看精品| 99re最新地址| 色丁香五月婷婷| 丰满少妇乱A片无码| 东北黄色一级| 久久久久久xxxxx| 久久婷婷色五月| 亚洲第一成人无码A片| 欧美人与性动交CCOO| 久久五月天丁香花| 婷婷综合网| 婷婷五月天亚洲图片| 丁香五月先锋| 少妇高潮A片无套内谢麻豆传| 五月婷久久综合| 久久久久9| 色五月涩涩婷婷蜜桃| 色欲资源网| 精品99在线| 99精品成人无码A片观看金桔 | 国产婷婷色综合AV蜜臀AV| 色综合五月| 日本二级毛片二级毛片| 色你久久| 2025天天爽天天摸| 日本在线视频播放91| 欧美 日韩 人妻 高清 中文| 欧美婷婷综合网| 性色播| 天天操天天曰| 久色资源| 九九色中文| 热九九精品| 涩婷婷五月天| 天天干,天天日| 欧美日本高清视频99| jiujiu无码五区| 99资源在线视频| 青青草伊人婷婷| 久婷婷| 天天天操天天天日| 婷婷亚洲综合| 狠狠干综合网| 狠狠色五月| 五月丁香婷中文| 国产在线网| 久久女人天堂| 九色色| 婷婷综合色色| 欧美三级大片AA在线看| 天天弄天天爽| 婷婷五月天狠狠色| 屁股翘好撅高迎合跪趴| 亚洲综合一区二区| 大伊久久| www.婷婷五月| 婷婷丁香综合| 亚洲丁香五月美女| 91热99| 五月色亭丁香| 亚洲第一色网站| 99精品无码| 亚洲色无码A片一区二区麻豆| 91视频精品99| 色婷婷亚洲在线| 婷婷五月天激情四射| 五月天丁香啪啪啪啪| 日日干日日色| 五月婷婷中文字幕| 亚洲成人网址在线观看| 丁香五月天AV在线| 五月丁香六月综合激情| 牛牛热这里只有jingpin| 九九综合| 99热这里只有精品青草| 操人妻AV| 五月丁欧美| 丁香五月婷婷基地| 日韩乱轮AV| 9久视频| 第四色五月天| .青娱乐天天操B| 99热色无码| 丁香五月婷婷大香蕉| 激情五月天天| www.五月婷| 99免费成人网| 日韩人妻在线观看| 人人草碰| 战争与艾拉电影免费观看| 五月激情综合网| 99九九综合久久九九| 噜噜色噜噜网| 五月久久丁香| 久久五月丁香六月婷| 久久婷婷综合五月天| 99热销国产这里有精品| 天天色宗合| 狠狠干最新地址| 精品视频99看在线视频| 大香蕉啪啪啪| 黄网免费观看| 色婷婷五月天在线观看| 九九九AAA热视频| 色婷婷五月天激情综合| www.夜夜操.com| 日韩一级A片黄色| 丁香五月婷婷日本| 亚洲成人丁香花| 热久久66| 专区无日本视频高清8| 91碰碰| 婷婷色丁香五月| 美女伊人久久| 色五月丁香五月天| 五月婷婷碰碰| 艾小青av| 亚洲乱码日产精品BD| 丁香婷婷激情五月色| 深爱激情五月网| 欧美内射AA| 国产在线黄色| 婷婷激情在线| 人人摸人人干| 亚洲无码www| 婷婷五月激情五月激情| 久久天堂女人| 亚洲丁香五月| 久操乱| 九九视频在线免费视频| 中国女人内射6XXXXX| 亚洲热手机在线观看| 深爱开心激情| 内射综合网| 久久久性爱视频| 91啪啪网| 五月丁香影院| 亚洲色夜| 婷婷色在线视频| 日本久久人| 久热这里| 婷婷综合网性| 99色| 久99热在线观看| 天天插天天日| 激情四射婷婷色色色| 天天干夜晚夜操| 9久9久| 久热免费| 啪啪六月婷婷| 99久在线精品99re5热视频| 97五月婷婷| 亚洲成人av在线播放| 色色色五月婷| 五月婷婷深深爱| 色色五月天网站| 精品在线网站| 91精品久久久久久久| 91色在线/日韩| 另类激情五月| 色色色色色色色色综合网| 色色婷婷五月天| 激情五月综合| 婷婷五月成年人| 精品人妻伦九区久久AAA片| 丁香婷婷综合五月天| 99精品国产在热久久| 丁香亚洲婷婷五月| 91午夜婷婷狠狠久久综合9色| 国产在线另类五月婷婷| 九月婷婷人人操人人舔人人爱| SESE无码AV| 日本大逼91| 久久开心五月天激情| 五月丁香婷婷啪啪网| 丁香五月综合激情性爱| 久99视频在线观看| 色色色色热| 激情婷婷五月亚洲| 成熟妇人A片免费看网站| 开心五月婷婷激情网| 婷婷色网址| 亚洲欧美一区二区三区爱爱动图 | 亚洲一二三网| 婷婷六月综合激情| 婷婷色偷拍| 99熟女视频| 深爱婷婷基地| 国产精产国品一二三在观看| 思思热热久久| WWW.五月com| 无码色色色| av国产精品偷| 五月婷婷在线视频| 五月亚洲激情| 久久婷婷七月丁香| 99精色| 精品网站:999WWW| 亚洲另类电影| 成人必爱视| 91色色五月天| 丰满熟女人妻一区二区三 | 久久色五月| 九九九九精品精| 深爱激情网五月天| 久一网站| 狠狠综合| 五月丁香在线国产| 久久亭亭电影| 99热99精品| 99热这里只有精品268| 国产99久久久国产精品免费看| 五月天激情.com| 人操人| 亚洲99综合| 天天做天天爱天天日| 超碰只有精品在线| 婷婷五月天小说网| 99操中文视频| 日本人妻伦在线中文字幕| 五月丁香花开综合网| 啪啪夜久久| 在线观看中文字幕| 丁香五月婷婷激情123| 精品视频网| 婷婷五月丁香六月| 六月丁香五月婷婷首页| 婷婷五月丁香国产| 综合五月丁香六月婷婷| www久久99com| 在线播放人妻| 人人草人人舔| 爱之国产色情综合| 97操碰98| 婷婷五月激情欧美| 开心五月激情| 99草在线免费观看视频| 婷婷丁香花五月天| 婷婷久久国产视频| 天天色凹凸| 久久视频婷婷视频| 婷婷精品在线| 97日本在线| 久久精彩视频| 精品少妇蜜臀91| 亚洲精品在线视频| 4399成人黄A片| 精品A√| 精品在线网站| 变态 另类 在线 | 色婷婷色九月| 九九综合| 婷婷99狠狠躁| 色婷婷五月天中文字幕| 综合久久丁丁香婷| 六月婷婷久久| 五月天激情在线视频| 久久综合五月婷婷| 五月天婷婷成人网| 中文字幕色色| 五月丁香狠狠爱| 婷婷狠狠干| 激情综合九月| 天天综合图片| 色爽九九| 色噜噜狠狠色综无码久久合欧美| 99热在线观看免费精品| 丁香五月综合激情久久潮喷| 97亚洲精品| 丁香婷婷五月| 国产,欧美,日韩,性爱| 婷婷激情综合| 亚洲欧洲中文日韩久久AV乱码| 五月天天天天天天天天天天天天天天天婷婷婷| 五月天第四色开心色播| 色婷婷无吗| 五月天婷婷影院| 99re这里只有精品视频了| 五月综合色| 色婷婷狠狠18yy| 99精品性爱| 黄色激情五月天| 在线观看熟女少妇| 亚洲成人中文字幕| 婷婷五月色| 久久九九国产精品怡红院| 午夜 外网 精品 在线| 激情图片婷婷丁香五月| 99精品偷自拍| 天天色99| 天天干肏夜夜| 伊人色综合影院视频| 天天插操| 欧美成人A片AAA片在线播放| 五月天影院| 日日爱678| av五月丁香| 丁香六月啪啪| 99色色视频| 激情丁香五月激情婷婷| 九九九日本熟女| 国产干逼片| 激情色色色| 婷婷五月激情天| 99'无码| 丁香五月激情欧美| 日日夜夜天天| 8区视频在线| 伊人狠狠干| 四色综合网| 91干网| 国产古装妇女野外A片| 久久人操| 91色情播放| 色婷婷欧美在线| 色天堂97| Aaa久久| 91色久| 色五月婷婷大香蕉| 操一操| 99热在线爱| 五月婷婷|欧美| 日本三级第一页| 五月丁香六月婷| 婷婷丁香亚洲色综合91| 天天干、天天日日| bbwcuckold精品熟妇| 影音先锋毛片网站| 精品九九久久| 国产暴力强伦轩1区二区小说| 超碰色综合| 深夜激情网| 日日夜夜青青草| 中文字幕在线不卡| 狠狠色丁香婷婷五月| 精品少妇人妻AV无码专区偷人| 色情综合网| 六月丁香激情| 亚洲九九99精品视频在线播放| 五月六月婷婷激情网| 色色九九五月天 | 午夜69成人做爰视频| 99久久99九九99九九九| 欧美五月婷婷| 热久久66| 激情深爱婷婷网| 婷婷五月天久草在线| 婷婷五月情| 久久总和99| 婷婷五月天狠狠搞干| 五月婷婷五月天天| 丁香亭亭久久| 五月综合激情| 99热官网精品在线| 久久六月婷婷| 色婷婷丁香五月天| 99热久| 五月婷婷偷拍| 色小说五月天| 五月婷在线视频免费播放| 成人欧美一区二区三区在线观看 | 天天爽人人爽| 99 热| 亚洲欧美综合7777色婷婷| 伊人综合色干| 变态另类色图| 五月天婷婷狂暴白浆| 全部老头和老太XXXXX| 天天天天天日| www.91操| 成年人最刺激的综合网| 色婷婷AV久久久久久久| 操丝袜视频影院导航| 影音先锋女人av鲁色资源网小说免费| 大香蕉五月天婷婷| www.99热这里精品| 婷婷五月欧美| 91a片爽| 欧美性生交XXXXX无码小说| 色色色999| 俺去也五月| 综激情网| 国产精品色婷婷久久久精品| 丁香六月婷婷综合在线| 天天操天天日天天爽| 天天舔天天摸天天射| 天天综合情| 五月婷婷基地| 国产九月婷婷| 国产毛片精品一区二区色欲黄A片| 日本乱论99| 在线看的免费网站| 超碰1999| 深爱1激情网| 麻豆123区| 五月丁香亚洲五月| 天天插天天草人人玩| 天天狠天天狠| 亚洲综合在线伊人婷| 六月丁香大香蕉| 91热视频色网站| 超碰不卡在线| 无码髙清| 日韩在线成人电影| 操人视频91| www,色综合| 激情碰碰碰| 综合99在线| 1囯产午夜仑鲁鲁| 碰久久精品w| 激情五月婷婷丁香综合网| 五月成人丁香av91| 五月天社区婷婷| 激情6月| 日木WWW视频| WWW.亚洲无码| 北条麻妃伊人 | 婷婷久久18| 艹天天射| 第四色网婷婷| 99人人操| 六月婷婷啪啪| 婷婷五月综合网| 狠狠爱婷婷爱| 欧美色色色色色| 香蕉婷婷| 久久XX| 色色综合色视频| 色之综合网| www.婷婷网| 激情丁香淫荡婷婷| 亚洲VA欧美VA| 欧美va视频不用播放器的va视频网| 99热欧| 久色成人| 西瓜美女a片| WWW.色婷婷.COM| 婷婷伊人五月| 婷婷丁香人妻天天久久| 99精品亚洲| 色播五月婷婷| 97色啪| 色婷婷操逼| 色婷婷AAA| 五月丁香色| 五月婷色| 国产精品久久欧美久久一区| 日韩AV免费电影在线播放| 久久99久久99久久99| 97成人丁香| 狠干综合| Www99热| 成人av在线电影| 色丁香五月天射婷婷爱婷婷| 99热久只有| 涩涩五| 丁香五月综合网亚洲综合欧美狠狠| 一起草性爱不卡视频| 五月婷婷激情综合av| 狠狠人妻色综合| 久久99热这里只有精品| 99无码| 国产精产国品一二三在观看| 日逼影音先锋男人资源站| 性爱五月婷| 丁香六月婷婷综合欧美| 色婷婷久久| Av性爱网| 五月天激情综合10p| 情久久综合五月天| 五月婷婷在线观看黄| 97碰免费视频在线| 中文字幕在线免费观看视频| 国外亚洲成AV人片在线观看| 狠狠噪| 亚洲精品网址| 玖玖午夜视频| 噜噜噜噜噜久| 99成人精品| 五月婷婷基地| 人妻久久久| 激情综合五月| 成人做爰高潮A片免费视频| 婷婷狠狠综合网入口| 激情综合婷婷久久| 97碰| 色五月婷婷狠狠撸| 色婷婷五月亚洲| 婷婷五月色天| 激情久久肏屄视频| 99热最新网址| 女同在线9| 操人精品| 色综合色| 久久只这里有精品| 99热中文字幕久久| 婷婷六月色开 | 五月色婷婷激情| 性爱视频99| 五月天堂婷婷| 丰满人妻一区二区三区| a免费在线| 婷婷色片| 亚洲国产精品成人免费一区久久久在线观看AAAA | 久久九九亚洲| 五月天啪啪视频| 天天草天天爱| 吉澤明步Av一區二區| 伦乱天堂| 极品少妇高潮啪啪AV无码| 美女爆乳18禁www久久久久久| 婷婷丁香花五月天| 婷婷激情五月天7| 色丁香婷婷| 婷婷丁香激情综合色情| 超碰在线91| 天海翼中文字幕高| 丁香五月123| 开心久久xxx色| 天天日夜夜爽。| 丁香婷婷色色| 久久久天堂国产精品女人| 婷婷五月天国产性感美女演员久久久久| 五月婷婷深深爱| 婷婷久久国产视频| 丁香六月婷婷综合啪啪| 亚洲午夜AV| 五月天丁香色色| 任你操精品免费| 再綫Av免费視品| 99热无码首页| 9+1视频网址| 超碰成人公开| 五月婷婷婷综合网| 天天做天天爰天天爽天天无遮挡| 丁香六月情| 99久在线精品99re8热| 天天爱天天天射AV| 久热一本| 五月丁香六月婷婷综合网| 五月婷婷视频| 五月丁香六月| 97久久久免费福利网址| 人妻久久做| 终合激情网| 九九热视频在线观看| 久久婷婷艹| 超碰av在线| 欧美色五月天| 99热在这里只有精品| 九月丁香八月婷婷加勒比| 91超碰在线播放| 五月天婷爱综合| 99九九玖玖| 亚洲熟妇AV乱码在线观看| 久久婷婷五月综合成人d啪| 婷婷五月天六月综合| 日韩色色视频| 五月天综合网| 看全色黄大色大片| 99热精品少| www久久99| 激情啪啪五月天| 天天射色五月天| 激情五月影院| 久久全色| 香蕉综合在线| 毛片毛片毛片毛片| 亚洲精品成人| 丁香花综合永久入口| 五月停亭六月,六月停亭的英语| 六月丁香婷婷在线波多| 操一区| 五月天婷婷激情六月久久| 欧美99热| 婷婷五月激情视频| 天天色播| 天堂在线婷婷| 久久aaa| 欧美视频五区| 狠狠操狠狠色| 97人人操人人爽| 欧美婷婷五月丁香| 日本天天操| 超碰人人91| 亚洲瑟瑟精品在线| 丁香五月婷婷激情网| 婷婷五月丁香性爱| 五月天激日本色情在线| 五月天综合视频网| 亚洲V国产V欧美V久久久久久| www,色婷婷| 好好干av| 日韩一级片| 久久9热综合| 激情校园 亚洲| 黄网在线免费观看| 激情五月最新网址| 99热这里只有精品98| 99热久草| 色狠狠色噜噜AV天堂五区| 99ri国产| 这里只有精品1| 欧美三级巜人妻互换| 伊人久久婷| 很很干夜夜干| 日本人妻伦在线中文字幕| 五月丁香激情综合| 婷婷开心激情五月激情网| 五月丁香六月激情| 亚洲操逼片| 丁香五月天在线观看| www.色婷婷| 另类专区在线| 久色婷婷200| 九九九九九999999| 中文无码婷婷| 欧美Va日本Va| 曰韩五月丁香色婷婷无码| 久久色在线视频| 激情六月综合| 婷婷伊人久久无码色五月| 六月丁香婷婷拍拍| 97碰| 久热婷婷在线视频|