欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

基于Python的Django+Flask混合架構(gòu)水情水質(zhì)監(jiān)測系統(tǒng)設(shè)計(jì)

基于Python的Django+Flask混合架構(gòu)水情水質(zhì)監(jiān)測系統(tǒng)設(shè)計(jì) 真正做過環(huán)境監(jiān)測類系統(tǒng)的人都有同感最折騰人的從來不是寫幾個CRUD頁面而是從傳感器探頭、數(shù)據(jù)采集終端、通信鏈路到后端存儲、前端渲染這一整條鏈路里的各種“意外”。最近我一直在打磨一套基于Python的汾河流域水情水質(zhì)監(jiān)測系統(tǒng)整體采用Django和Flask的混合架構(gòu)流域內(nèi)多個監(jiān)測站點(diǎn)的水位、流量以及pH、濁度、溶解氧、氨氮等水質(zhì)指標(biāo)都需要實(shí)時入庫、實(shí)時上屏、異常預(yù)警。核心目標(biāo)就一句話讓數(shù)據(jù)從現(xiàn)場設(shè)備穩(wěn)定地流到數(shù)據(jù)庫再清晰直觀地呈現(xiàn)在用戶面前。這套系統(tǒng)適合誰參考準(zhǔn)備做物聯(lián)網(wǎng)監(jiān)測平臺的開發(fā)者接了類似環(huán)保、水文、農(nóng)業(yè)水利項(xiàng)目但還在糾結(jié)架構(gòu)選型的人以及想搞清楚Django和Flask同時用到底合不合理的同學(xué)。我會把我在這個項(xiàng)目里的設(shè)計(jì)思路、數(shù)據(jù)模型、采集鏈路、后端實(shí)現(xiàn)、前端可視化和上線后踩過的坑全部攤開來講。1. 系統(tǒng)整體設(shè)計(jì)與架構(gòu)拆解1.1 這類系統(tǒng)到底要解決什么問題流域水情水質(zhì)監(jiān)測不是一個“大屏展示”項(xiàng)目它的難點(diǎn)在數(shù)據(jù)鏈路?,F(xiàn)場設(shè)備通常是各種傳感器比如壓力式水位計(jì)、多參數(shù)水質(zhì)探頭、流量計(jì)它們通過RS485總線或者模擬量輸出信號采集終端負(fù)責(zé)輪詢這些傳感器再通過4G DTU或者有線網(wǎng)絡(luò)把數(shù)據(jù)傳到服務(wù)器。這個過程中數(shù)據(jù)格式不統(tǒng)一、設(shè)備時鐘不準(zhǔn)、網(wǎng)絡(luò)斷斷續(xù)續(xù)、傳感器偶發(fā)漂移都是常見問題。做系統(tǒng)的人如果不把這條鏈路里的每個環(huán)節(jié)都想清楚最后必然發(fā)現(xiàn)業(yè)務(wù)功能寫完了數(shù)據(jù)卻不可信。平臺側(cè)的職責(zé)可以分成幾塊數(shù)據(jù)接入、數(shù)據(jù)存儲、數(shù)據(jù)服務(wù)、業(yè)務(wù)管理、預(yù)警通知、可視化展示。數(shù)據(jù)接入要適配不同型號設(shè)備的上報(bào)協(xié)議存儲層要保證歷史數(shù)據(jù)能高效查詢服務(wù)層要給前端和大屏提供穩(wěn)定的API業(yè)務(wù)層還要處理站點(diǎn)管理、設(shè)備管理、用戶權(quán)限、預(yù)警配置等。說白了這不是一個簡單的“網(wǎng)站”而是一個數(shù)據(jù)系統(tǒng)和業(yè)務(wù)系統(tǒng)的結(jié)合體。1.2 為什么我選Django和Flask混搭很多人一聽Django加Flask就頭大覺得“一個項(xiàng)目里用兩個框架是不是有病”。但我恰恰認(rèn)為對于這種多角色的系統(tǒng)混搭反而更合理。Flask足夠輕啟動快路由簡單非常適合只做一件事接收采集端上報(bào)的實(shí)時數(shù)據(jù)做基本校驗(yàn)后快速落隊(duì)列。Django則帶著完整的ORM、Admin后臺、認(rèn)證授權(quán)體系、遷移機(jī)制適合承載業(yè)務(wù)模型和后臺管理。實(shí)際項(xiàng)目中我沒有讓兩個框架操作同一套數(shù)據(jù)庫連接配置而是讓Flask作為“數(shù)據(jù)接入網(wǎng)關(guān)”獨(dú)立運(yùn)行只監(jiān)聽內(nèi)網(wǎng)端口或者直接綁定MQTT主題Django作為“業(yè)務(wù)中臺”提供REST API和后臺管理。Flask接收到的數(shù)據(jù)經(jīng)過簡單校驗(yàn)后寫入Redis隊(duì)列或者直接批量寫入MySQLDjango側(cè)的定時任務(wù)再做二次處理和預(yù)警判斷。兩個服務(wù)之間通過HTTP內(nèi)部調(diào)用聯(lián)動不需要復(fù)雜的分布式框架。選這個方案有個很現(xiàn)實(shí)的原因采集層代碼往往要跟著現(xiàn)場設(shè)備調(diào)來調(diào)去比如某個型號的傳感器指令格式變了、DTU透傳模式切換了這些改動如果直接動業(yè)務(wù)系統(tǒng)風(fēng)險很大。用Flask把這層隔離出來改采集接入代碼不會影響線上業(yè)務(wù)接口也不會因?yàn)閷?dǎo)入了一堆Django配置拖慢啟動速度。1.3 整體架構(gòu)與技術(shù)棧一覽整個系統(tǒng)的技術(shù)棧大概是這樣的數(shù)據(jù)采集端傳感器 RS485 Modbus RTU協(xié)議部分站點(diǎn)用4G DTU透傳TCP部分走M(jìn)QTT網(wǎng)關(guān)。接入服務(wù)Python Flask paho-mqtt pymodbus Redis。業(yè)務(wù)后端Python Django Django REST Framework使用JWT做接口認(rèn)證。數(shù)據(jù)存儲MySQL保存歷史監(jiān)測數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)Redis做實(shí)時緩存與隊(duì)列。實(shí)時推送WebSocket服務(wù)前端大屏實(shí)時刷新最新監(jiān)測數(shù)據(jù)。定時任務(wù)APScheduler負(fù)責(zé)周期掃描、預(yù)警判斷、數(shù)據(jù)完整性校驗(yàn)。前端展示ECharts可視化圖表Leaflet地圖展示站點(diǎn)分布。這里說下選型理由。MySQL完全能扛住這種量級的監(jiān)測數(shù)據(jù)一個站點(diǎn)5分鐘上報(bào)一條綜合記錄50個站點(diǎn)一天也才14400條完全沒有上時序數(shù)據(jù)庫的必要Redis則用來保存“最新值”和“最近N條待處理數(shù)據(jù)”既能緩解數(shù)據(jù)庫寫壓力也能讓實(shí)時查詢非??霱QTT做物聯(lián)網(wǎng)接入?yún)f(xié)議非常合適自帶主題、QoS、斷線重連機(jī)制比裸TCP好處理得多。2. 數(shù)據(jù)模型與監(jiān)測指標(biāo)怎么設(shè)計(jì)才不返工2.1 核心數(shù)據(jù)表結(jié)構(gòu)做這類系統(tǒng)數(shù)據(jù)模型設(shè)計(jì)直接決定后面好不好擴(kuò)展。我在設(shè)計(jì)階段把表分成了四組基礎(chǔ)信息表、監(jiān)測數(shù)據(jù)表、預(yù)警記錄表、系統(tǒng)權(quán)限表?;A(chǔ)信息表包括監(jiān)測站點(diǎn)表、設(shè)備表、指標(biāo)編碼表。監(jiān)測站點(diǎn)表字段包括站點(diǎn)編碼、站點(diǎn)名稱、所屬河流斷面、經(jīng)度緯度、站點(diǎn)狀態(tài)。設(shè)備表用于掛接傳感器和采集終端字段包括設(shè)備編碼、所屬站點(diǎn)、通信方式、協(xié)議類型、波特率等參數(shù)。指標(biāo)編碼表非常關(guān)鍵它把所有監(jiān)測指標(biāo)統(tǒng)一成代碼比如pH、DO、NTU、NH3N、WL、FLOW后面所有數(shù)據(jù)和配置都按指標(biāo)代碼關(guān)聯(lián)。監(jiān)測數(shù)據(jù)表是整個系統(tǒng)的核心我設(shè)計(jì)了兩個層級原始采樣表和分鐘/小時聚合表。原始采樣表一條記錄包含站點(diǎn)編碼、設(shè)備編碼、指標(biāo)代碼、數(shù)值、采集時間、接收時間。聚合表用于統(tǒng)計(jì)計(jì)算比如小時平均值、日平均值這樣后面做趨勢分析時不用全量掃描明細(xì)表。站點(diǎn)編碼和指標(biāo)代碼是關(guān)聯(lián)的靈魂我建議直接用字符串編碼可讀性強(qiáng)調(diào)試時一眼能看出是哪個站的什么指標(biāo)別用自增ID到處引用否則聯(lián)調(diào)排查問題會非常痛苦。2.2 指標(biāo)編碼與閾值配置指標(biāo)編碼表不只是存?zhèn)€名字它還要攜帶單位、數(shù)據(jù)精度、正常范圍、預(yù)警閾值。我把閾值分成三個級別正常、關(guān)注、報(bào)警。比如pH正常范圍6.5到8.5關(guān)注范圍6.0到6.5或者8.5到9.0超出這個范圍就屬于報(bào)警。閾值不能寫死在代碼里因?yàn)椴煌瑪嗝妗⒉煌竟?jié)的限值可能不一樣所以我把閾值配置放到指標(biāo)編碼表里并且允許按站點(diǎn)覆寫。項(xiàng)目里實(shí)際配置的指標(biāo)大致包括水溫、pH、濁度、溶解氧、電導(dǎo)率、氨氮、總磷、水位、流量。每個指標(biāo)在指標(biāo)編碼表里都有對應(yīng)字段indicator_code、indicator_name、unit、decimal_places、default_min、default_max、warn_min、warn_max。前后端所有涉及指標(biāo)的地方都讀取這張表新增指標(biāo)不用改代碼改配置就行。2.3 存儲選型與查詢優(yōu)化數(shù)據(jù)量上來以后查詢性能主要靠索引。監(jiān)測數(shù)據(jù)表我建了組合索引字段順序是station_id indicator_code measure_time這樣既能支撐“某個站點(diǎn)某個指標(biāo)一段時間內(nèi)”的查詢也能支撐站點(diǎn)大屏的實(shí)時曲線。注意不要單獨(dú)在measure_time上建普通索引單獨(dú)建會導(dǎo)致組合索引失效的問題不太明顯但組合索引對這類查詢的收益更大。另一個容易被忽略的點(diǎn)是歷史明細(xì)表的數(shù)據(jù)增長。我按照月份做了分表策略表名類似record_data_202501、record_data_202502。應(yīng)用層寫數(shù)據(jù)時根據(jù)月份路由到對應(yīng)分表查詢時先根據(jù)時間范圍確定表名再執(zhí)行SQL。這個做法的效果非常明顯百萬級數(shù)據(jù)時查詢還在秒級以內(nèi)。如果你不打算引入時序數(shù)據(jù)庫分表是最簡單實(shí)用的方案。Redis在這里的用法也要說清楚。我用Redis hash保存每個站點(diǎn)每個指標(biāo)的最新值key形如station:{code}:latestfield是指標(biāo)代碼同時用List保存最近待持久化的數(shù)據(jù)隊(duì)列Flask接入數(shù)據(jù)后先塞進(jìn)隊(duì)列再由定時任務(wù)批量寫入MySQL。這樣做的好處是即使數(shù)據(jù)庫短暫抖動數(shù)據(jù)也不會丟Redis本身有持久化機(jī)制現(xiàn)場設(shè)備還可以重連補(bǔ)報(bào)。3. 采集鏈路從傳感器到服務(wù)器的每一步都得盯住3.1 Modbus與4G DTU怎么接現(xiàn)場最常見的接法是多支傳感器通過RS485總線掛在同一條總線上采集終端作為Modbus主站輪詢每個傳感器的寄存器地址。比如某型號pH探頭把測量值映射到保持寄存器40001某水位計(jì)把水位映射到40010采集終端按從站地址和寄存器地址讀取數(shù)據(jù)。這里有個關(guān)鍵點(diǎn)Modbus RTU基于串口通信讀出來的原始值往往需要按比例換算。pH探頭返回的可能是放大10倍后的整數(shù)水位計(jì)返回的可能是毫米值采集腳本里必須維護(hù)一份“寄存器地址-指標(biāo)代碼-縮放系數(shù)”的映射表統(tǒng)一換算成標(biāo)準(zhǔn)單位后再上報(bào)。我一開始就是沒仔細(xì)看傳感器手冊以為返回值就是最終值結(jié)果有一段pH數(shù)據(jù)全部需要回爐重算。4G DTU的接入方式也要分情況。支持MQTT的DTU可以直接把串口透傳數(shù)據(jù)包裝成MQTT消息推送到服務(wù)器只支持TCP透傳的設(shè)備我就在Flask里開一個TCP server監(jiān)聽DTU的連接按Modbus RTU over TCP的協(xié)議解析。無論哪種方式建議給每臺DTU配一個固定的clientId或者連接標(biāo)識方便服務(wù)端識別站點(diǎn)。3.2 MQTT訂閱與數(shù)據(jù)清洗Flask接入服務(wù)這一層代碼量其實(shí)不大但對穩(wěn)定性要求很高。我使用paho-mqtt訂閱每個站點(diǎn)的主題主題設(shè)計(jì)成water/{station_code}/datapayload是JSON字符串包含指標(biāo)代碼、數(shù)值、設(shè)備時間戳。Flask收到消息后先做基礎(chǔ)校驗(yàn)比如站號是否存在、指標(biāo)代碼是否合法、數(shù)值范圍是否明顯異常再計(jì)算一個校驗(yàn)時間最后寫入Redis隊(duì)列。例子代碼大概長這樣import json import paho.mqtt.client as mqtt def on_message(client, userdata, msg): topic msg.topic try: payload json.loads(msg.payload.decode(utf-8)) except Exception: # 解析失敗時記錄原始報(bào)文便于現(xiàn)場回溯 log_warn(decode issue, topictopic, rawmsg.payload[:128]) return station_code topic.split(/)[1] if validate_payload(station_code, payload): redis_client.rpush(data:raw_queue, json.dumps({ station: station_code, indicators: payload[indicators], device_time: payload[ts], server_time: now_str(), })) client mqtt.Client() client.on_message on_message client.connect(broker_host, broker_port, keepalive60) client.subscribe(water//data, qos1) client.loop_forever()這里面的一個經(jīng)驗(yàn)是原始報(bào)文一定要留底。哪怕入庫之后發(fā)現(xiàn)某個值不正常還能回溯到原始上報(bào)數(shù)據(jù)而不是拿著已處理的數(shù)據(jù)干瞪眼。我在Redis里放了一個raw_queue同時讓日志系統(tǒng)記錄異常報(bào)文雖然多花了點(diǎn)存儲但排查問題效率高了不少。3.3 時間對齊與數(shù)據(jù)質(zhì)量治理采集鏈路最隱蔽的坑是時間。現(xiàn)場設(shè)備的時間通常不準(zhǔn)甚至有些傳感器根本不帶時鐘只能依靠采集終端打時間戳。如果服務(wù)器直接以設(shè)備上報(bào)時間為準(zhǔn)入庫后面畫曲線時就會出現(xiàn)“凌晨3點(diǎn)突然有個突刺”這種鬼東西其實(shí)是設(shè)備時鐘亂了。我的處理原則是入庫統(tǒng)一使用服務(wù)器接收時間作為measure_time同時把設(shè)備自帶時間戳單獨(dú)存到device_time字段。兩個字段在做數(shù)據(jù)回溯和現(xiàn)場排查時都能用上。如果服務(wù)器接收時間和設(shè)備時間差的絕對值超過某個閾值比如10分鐘就標(biāo)記該條數(shù)據(jù)時間戳異常預(yù)警和報(bào)表默認(rèn)剔除避免臟數(shù)據(jù)污染統(tǒng)計(jì)結(jié)果。數(shù)據(jù)質(zhì)量治理還有一層重復(fù)上報(bào)。DTU誤重連、網(wǎng)絡(luò)超時重發(fā)都會導(dǎo)致同一條數(shù)據(jù)上報(bào)兩三次。我在寫入MySQL時用了唯一約束字段組合是station_id indicator_code server_time重復(fù)數(shù)據(jù)走ON DUPLICATE KEY UPDATE直接覆蓋。這個設(shè)計(jì)簡單有效線上跑了很久都沒有重復(fù)記錄。4. Django與Flask混合開發(fā)的核心實(shí)現(xiàn)4.1 Flask端輕量接入服務(wù)的寫法Flask服務(wù)不加載Django的配置和ORM只用SQLAlchemy連接池或者甚至只用Redis操作。它負(fù)責(zé)兩件事一是接收采集協(xié)議上報(bào)的數(shù)據(jù)二是給Django內(nèi)部提供幾個簡單的健康檢查和指標(biāo)查詢延伸點(diǎn)。為什么要強(qiáng)調(diào)“不加載Django配置”因?yàn)楝F(xiàn)場會經(jīng)常改接入代碼如果Flask和Django共用一套復(fù)雜配置改一次協(xié)議分析就要重啟整個業(yè)務(wù)系統(tǒng)風(fēng)險太高。我讓Flask獨(dú)立運(yùn)行在8801端口用systemd守護(hù)和Django的8000端口完全隔離。這樣現(xiàn)場協(xié)議調(diào)整時重啟Flask在線用戶完全無感知。Flask端我順手加了一個線程池做數(shù)據(jù)清洗邏輯不重的場景直接在主線程里處理也行但一旦上報(bào)頻率高比如幾秒一條建議把MQTT回調(diào)函數(shù)的處理邏輯盡量簡化只做“解析-校驗(yàn)-入隊(duì)”三步復(fù)雜處理放到后臺線程。4.2 Django端業(yè)務(wù)模型與API設(shè)計(jì)Django這邊負(fù)責(zé)業(yè)務(wù)模型、Admin后臺和API接口。我用Django REST Framework提供面向web端的接口比如站點(diǎn)列表、實(shí)時數(shù)據(jù)、歷史曲線、預(yù)警列表、統(tǒng)計(jì)報(bào)表。JWT認(rèn)證用來保護(hù)非公開接口大屏展示類接口則單獨(dú)簽發(fā)只讀token不占用用戶登錄態(tài)。核心模型大致是這樣class Station(models.Model): code models.CharField(站點(diǎn)編碼, max_length32, uniqueTrue) name models.CharField(站點(diǎn)名稱, max_length64) longitude models.FloatField(經(jīng)度) latitude models.FloatField(緯度) section models.CharField(斷面位置, max_length128) status models.BooleanField(啟用狀態(tài), defaultTrue) class Indicator(models.Model): code models.CharField(指標(biāo)代碼, max_length16, uniqueTrue) name models.CharField(指標(biāo)名稱, max_length32) unit models.CharField(單位, max_length16) warn_min models.FloatField(預(yù)警下限, nullTrue) warn_max models.FloatField(預(yù)警上限, nullTrue) class RecordData(models.Model): station models.ForeignKey(Station, on_deletemodels.CASCADE) indicator models.ForeignKey(Indicator, on_deletemodels.CASCADE) value models.FloatField(數(shù)值) measure_time models.DateTimeField(采集時間, db_indexTrue) class Meta: unique_together (station, indicator, measure_time)這個模型設(shè)計(jì)里站點(diǎn)和指標(biāo)是外鍵關(guān)聯(lián)查詢接口用DRF的filter參數(shù)按站點(diǎn)編碼和指標(biāo)代碼過濾。實(shí)際海量查詢不要走ORM全量查我會在Service層直接寫SQL按月份動態(tài)拼表名再把結(jié)果組裝成可視化需要的JSON結(jié)構(gòu)。4.3 權(quán)限控制與后臺管理的落地Django自帶的Admin后臺非常有用管理人員可以直接維護(hù)站點(diǎn)、指標(biāo)、閾值配置。但我沒把權(quán)限開放給所有人而是分了三個角色系統(tǒng)管理員、監(jiān)測值班員、訪客。系統(tǒng)管理員可以改配置和用戶監(jiān)測值班員只能看數(shù)據(jù)和確認(rèn)預(yù)警訪客只看大屏。DRF的權(quán)限控制我用了自定義權(quán)限類思路是每個API對應(yīng)一個操作類型然后再判斷用戶角色是否有對應(yīng)權(quán)限。預(yù)警處理接口做了特殊設(shè)計(jì)值班員確認(rèn)預(yù)警后要填寫處理意見系統(tǒng)會記錄處理人和處理時間。這個功能在后來的問題追溯里幫了大忙哪條預(yù)警是誰確認(rèn)的、怎么處理的一目了然。后臺界面默認(rèn)的Django Admin樣式比較樸素我改了list_display和list_filter讓關(guān)鍵字段直接展示再配置了幾個自定義Action比如批量啟用站點(diǎn)、批量導(dǎo)出監(jiān)測數(shù)據(jù)。對內(nèi)部系統(tǒng)來說這種“夠用不花哨”的做法比硬套一個重型前端框架務(wù)實(shí)得多。5. 可視化大屏與預(yù)警聯(lián)動5.1 用ECharts畫實(shí)時曲線與站點(diǎn)地圖前端可視化我選了ECharts生態(tài)成熟、圖表類型豐富。大屏頁面主要分三塊左側(cè)放站點(diǎn)列表和關(guān)鍵指標(biāo)卡片中間是流域站點(diǎn)地圖右側(cè)是選中站點(diǎn)的實(shí)時曲線和預(yù)警滾動列表。站點(diǎn)地圖用Leaflet加OSM瓦片每個站點(diǎn)按經(jīng)緯度打點(diǎn)顏色代表當(dāng)前整體狀態(tài)綠色正常、黃色關(guān)注、紅色報(bào)警。點(diǎn)擊地圖上的站點(diǎn)標(biāo)記右側(cè)曲線圖會切換成該站點(diǎn)的數(shù)據(jù)。ECharts的實(shí)時曲線我用的是動態(tài)追加數(shù)據(jù)的方式后端WebSocket每推送一條新數(shù)據(jù)前端就把舊數(shù)據(jù)移出窗口并追加新點(diǎn)形成滾動效果。這里有個細(xì)節(jié)曲線圖的X軸不要用設(shè)備采集時間而要用服務(wù)器接收時間。因?yàn)樵O(shè)備時間可能跳變一旦跳變前端圖表會出現(xiàn)時間倒退或者空隙觀感很差。采集時間可以在Tooltip里展示不影響主趨勢的連續(xù)性。5.2 WebSocket推送與斷線重連實(shí)時性是大屏的剛需。輪詢接口也能做但5秒一次甚至3秒一次對數(shù)據(jù)庫和帶寬都不友好。我最終用WebSocket做實(shí)時推送。Flask接入服務(wù)收到新數(shù)據(jù)后把數(shù)據(jù)寫一份到Redis發(fā)布訂閱通道WebSocket服務(wù)訂閱這個通道再推送給前端。前端使用瀏覽器原生WebSocket重點(diǎn)要處理斷線重連。我用了一個簡單方案連接斷開后指數(shù)退避重連延遲從1秒開始翻倍最多30秒重連成功后立即請求一次最新數(shù)據(jù)接口把斷線期間漏掉的數(shù)據(jù)補(bǔ)回來。這樣現(xiàn)場網(wǎng)絡(luò)抖動時大屏最多缺幾十秒的數(shù)據(jù)恢復(fù)后馬上回補(bǔ)。前端訂閱邏輯大致是function connectWS() { ws new WebSocket(ws://${location.host}/ws/realtime); ws.onopen () { ws.send(JSON.stringify({ action: subscribe, stations: selectedStations })); }; ws.onclose () { setTimeout(connectWS, Math.min(30, retryDelay) * 1000); retryDelay * 2; }; ws.onmessage (event) { updateRealtimeChart(JSON.parse(event.data)); }; }WebSocket服務(wù)本身是獨(dú)立進(jìn)程不掛靠在Django或者Flask進(jìn)程內(nèi)重啟WebSocket服務(wù)不會影響數(shù)據(jù)采集和業(yè)務(wù)API。部署上用Nginx做WebSocket反向代理配置Upgrade頭就行。5.3 預(yù)警規(guī)則去抖與通知預(yù)警如果做得太“靈敏”會變成狼來了。直接拿單條超閾值的數(shù)據(jù)觸發(fā)報(bào)警經(jīng)常會出現(xiàn)瞬時波動導(dǎo)致假報(bào)警。我的處理方式是同一站點(diǎn)同一指標(biāo)連續(xù)兩條數(shù)據(jù)超閾值才生成一條有效預(yù)警而且同一站點(diǎn)同一指標(biāo)在10分鐘內(nèi)重復(fù)觸發(fā)不重復(fù)告警只更新原預(yù)警的最后觸發(fā)時間。預(yù)警判斷放在APScheduler定時任務(wù)里每5分鐘跑一次掃描最近10分鐘的監(jiān)測數(shù)據(jù)用聚合SQL按站點(diǎn)和指標(biāo)分組找出超標(biāo)記錄。再和已經(jīng)存在的未處理預(yù)警做比對決定是插入新預(yù)警還是更新已有預(yù)警。這種方式比逐條判斷更高效而且杜絕了并行任務(wù)同時跑導(dǎo)致重復(fù)插入的問題。通知部分用Webhook推送到內(nèi)部IM機(jī)器人消息內(nèi)容包含站點(diǎn)名稱、指標(biāo)、當(dāng)前值、閾值、觸發(fā)時間。消息里一定要帶“確認(rèn)預(yù)警”的連接入口值班員點(diǎn)開就能跳轉(zhuǎn)到系統(tǒng)處理頁面少一步操作響應(yīng)就能快一步。6. 部署上線與線上問題排查實(shí)錄6.1 NginxGunicorn進(jìn)程守護(hù)的部署組合部署方案我用了Nginx反向代理加GunicornDjango服務(wù)跑在8000端口Flask接入服務(wù)跑在8801端口WebSocket服務(wù)獨(dú)立跑在9000端口。Nginx統(tǒng)一監(jiān)聽80/443按路徑把請求轉(zhuǎn)發(fā)到對應(yīng)服務(wù)。關(guān)鍵Nginx配置片段upstream django_backend { server 127.0.0.1:8000; } upstream ws_backend { server 127.0.0.1:9000; } server { listen 80; server_name example.internal; location /static { alias /opt/monitor/staticfiles; } location /api/ { proxy_pass http://django_backend; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } location /ws/ { proxy_pass http://ws_backend; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection upgrade; } }Gunicorn的配置我用了gevent worker模式worker數(shù)量設(shè)為CPU核心數(shù)的2倍加1超時時間設(shè)成60秒。Django接口里如果有一個慢查詢卡住不會立刻拖死其他請求。Flask接入服務(wù)我直接用了gunicorn加單worker因?yàn)樗娜蝿?wù)簡單多worker反而會導(dǎo)致MQTT回調(diào)重復(fù)處理同一個消息。進(jìn)程守護(hù)我推薦用systemd而不是簡單的nohup。每個服務(wù)寫一個unit文件設(shè)置Restartalways異常退出后自動拉起。服務(wù)日志統(tǒng)一輸出到j(luò)ournald和日志文件線上問題排查時可以秒級翻日志。6.2 性能調(diào)優(yōu)與索引優(yōu)化上線初期我遇到過查詢變慢的問題集中在監(jiān)控大屏的“最近24小時曲線”接口。排查下來發(fā)現(xiàn)是沒走索引SQL執(zhí)行了全表掃描。加了組合索引之后查詢從2秒多降到50毫秒左右這里把索引設(shè)計(jì)再強(qiáng)調(diào)一遍字段順序一定是station_id indicator_code measure_time查詢條件里有沒有站點(diǎn)、有沒有指標(biāo)、有沒有時間范圍都能命中這個索引。數(shù)據(jù)庫連接池也要調(diào)優(yōu)。Django默認(rèn)的MySQL連接池在并發(fā)上來以后容易被打滿我改成了用連接池管理并設(shè)置最大連接數(shù)60隊(duì)列大小200。同時所有批量寫入都走事務(wù)每批500條commit一次性能和穩(wěn)定性都提升不少。還有一個很容易踩的坑Django Admin列表頁如果關(guān)聯(lián)到RecordData這類大表加載時會非常慢。解決方案是不要在后臺關(guān)聯(lián)查詢監(jiān)測明細(xì)表而是單獨(dú)做一個用只讀SQL實(shí)現(xiàn)的“數(shù)據(jù)檢索”頁面按站點(diǎn)和時間范圍查詢只返回需要的數(shù)據(jù)字段。6.3 常見故障與分析速查表我把上線后遇到的典型問題整理成了一張速查表遇到類似情況可以直接對照排查?,F(xiàn)象可能原因排查方向處理辦法某個站點(diǎn)長時間無數(shù)據(jù)DTU離線、SIM卡欠費(fèi)、串口松動查看systemd日志和MQTT主題訂閱量遠(yuǎn)程重啟DTU檢查現(xiàn)場供電和串口連接數(shù)據(jù)偶發(fā)亂碼或數(shù)值突變Modbus CRC錯誤、傳感器電源不穩(wěn)看Flask日志里的原始報(bào)文增加CRC校驗(yàn)丟棄傳感器端加穩(wěn)壓電源曲線時間軸出現(xiàn)空隙設(shè)備時間跳變、網(wǎng)絡(luò)中斷對比server_time和device_time以服務(wù)器時間為準(zhǔn)斷線補(bǔ)發(fā)數(shù)據(jù)預(yù)警重復(fù)觸發(fā)去重邏輯沒生效查預(yù)警表里同一時間點(diǎn)的記錄加唯一約束和10分鐘去重窗口頁面實(shí)時數(shù)據(jù)卡住WebSocket斷連未重連看瀏覽器控制臺WebSocket狀態(tài)啟用指數(shù)退避重連并補(bǔ)拉最新數(shù)據(jù)數(shù)據(jù)庫連接數(shù)打滿連接池太小或慢查詢太多查看慢查詢?nèi)罩竞瓦B接數(shù)監(jiān)控優(yōu)化SQL索引擴(kuò)大連接池上限串口相關(guān)的故障排查看起來很低級但實(shí)際卻是最容易遇到的大問題。有一次某個站點(diǎn)上報(bào)的pH值一直在7到9之間亂跳排查了兩天最后發(fā)現(xiàn)是探頭前端被泥沙糊住了。所以線上系統(tǒng)一定要有“長時間趨勢異?!钡奶崾咀屩蛋鄦T去現(xiàn)場清洗探頭單靠程序算法是解決不了物理世界問題的。另一個值得說的經(jīng)驗(yàn)是監(jiān)控預(yù)警系統(tǒng)自身。我給Flask接入服務(wù)加了心跳接口每30秒上報(bào)一次服務(wù)狀態(tài)到Django同時內(nèi)部有一個“數(shù)據(jù)新鮮度檢查”任務(wù)如果某個站點(diǎn)超過15分鐘沒有新數(shù)據(jù)系統(tǒng)會自動生成一條設(shè)備離線告警。這個設(shè)計(jì)讓我不需要時時盯著系統(tǒng)異常發(fā)生時第一時間就能收到通知。我個人在實(shí)際操作中的體會是流域水情水質(zhì)監(jiān)測系統(tǒng)的成敗很大程度不在框架選得多先進(jìn)而在于數(shù)據(jù)鏈路是否穩(wěn)定、數(shù)據(jù)是否可信、異常是否能被發(fā)現(xiàn)。Django和Flask混搭這套組合幫我很好地平衡了接入靈活性和業(yè)務(wù)開發(fā)效率如果你也準(zhǔn)備做類似的項(xiàng)目建議先把采集鏈路和數(shù)據(jù)模型打磨扎實(shí)再考慮花哨的展示功能。最后再分享一個小技巧所有設(shè)備的通信參數(shù)和校驗(yàn)算法不要只放在代碼里一定要同步一份到項(xiàng)目文檔中現(xiàn)場人員排查問題時能省下大量溝通成本。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色婷婷偷拍| 成人国产欧美大片一区| 五月丁香在线国产| 久久久久视剧HD| 狠狠操天天干| 丁香五月香蕉在线| 日操熟女| 婷婷月综合| 91热在线| 亚洲乱码日产精品BD| 亚洲激情精品| 久久伊人婷婷| 福利视频在线播放| 思思热精品在线| 久久伊人9| 久久这里只精品| 夜夜天天天天天干天天爽| 激情婷婷护士激情| 99精品自拍| 热无码A∨| 99久久欧美| 99色热视频在线| 亚洲综合视频在线| 丰满人妻妇伦又伦精品国产| 人人操AV| 深爱 五月天| 91se精品国产| 五月综合丁香婷婷| 婷婷狠狠五月综合| 亚洲网站999| 狠狠操狠狠插| 天天日综合| 色色色色色色色色五月先| 99性爱| 久噜久噜| 东京热伊人| 国产69久久久欧美黑人A片| 丁香五月婷婷六月| 天天射夜夜爽| 一区中文字幕电影| 天天操天天插| av人人干| 亚洲综合网激情小说| 97超碰99热99| 久久婷婷亚洲| 丁香久久| 妻久久久久| 亚洲中文AV网站| 五月天婷婷基地| 九九热视频首页/这里只有精品| 久久丁香综合精品综合| jiZZdr| 天天爽综合| 9l视频自拍9l九色9l成人| www.99视频| 婷婷久久亚洲| 亚洲丁香五月综合| 99人妻碰碰碰久久久久视| 五月天丁香网| 久99热在线观看| 色五月激情五月丁香五月婷婷啪啪综合 | www,色中色| 丁香五月婷婷婷桃花影院| 夜夜爱网站| 欧美人人草| 激情综合久久| 亚洲天堂有码| 99精品偷自拍| 日本人妻A片成人免费看片| 久久在线人妻| 成人五月天婷婷| 综合九色| 国产成人AV| 伊久久婷婷| 色综合性视频| www色色色com| 天天综合网~91| 免费观看欧美成人AA片爱我多深| 91热久久| 久久免片| 狠狠操天天操天天操| 色香久久| 大香蕉福利导航| 五月丁香天堂网| 九九热国产| a色色色色色| 丁香社92视频| 岛国在线观看91| 99热18| 五月天婷婷爱| 欧美视频在线观看噜噜| 性色播| 色综合偷拍| 中文字幕人成乱码在线观看| 色5月婷婷| 热99在线| 激情九九这里只有精品| 同性gv国产精品一区二区| 激情图片99| 春色激情| 高清一区二区三区日本久| 99玖玖免费视频| 婷婷五点亚洲| 五月丁香AV、伊人业余、性色熟妇| 激情黄色小说色五月| 五月天天综合网色婷婷| www.五月天| 亚洲色情久久| 9久热免费视频99| 97色射| 久99| 国产精品电影| 99精品热视频| 97亚洲色 torrent magnet| 久艹伊| 久久97久久99久久综合欧美| 久久综合99| 久久婷丁香五月| 色婷婷色五月天| 在线综合婷婷| 狠狠操之狠狠操| 九九aV| www,奇米影视| 欧美性做爰大片免费看办公室| 中文字幕AV在线播放| 五月丁花六月丁香综合| 日本激情综合| 色999;丁香五月| 丁香婷婷五月天色综合| 日本99视频| 国产激情在线| 婷婷五月天中文字幕| 人人操人人妻| 色狠狠婷婷| 狠狠精品干练久久久无码中文字幕| 五月丁香婷婷中文| 丁香婷婷九月| 久碰婷婷视频| 激情小说五月天| 五月丁香六月综合激情无码软件亮点| 热成人网| 婷婷六月色播| 国产乱妇乱子伦| 丁香五月瑟瑟| 人人舔人人色人人高潮| 五月天成人在线视频丁香| 日本综合色图| 成人电影一区| 婷婷97碰碰| 色色色色色色色色色色色色色五月天| 人人97操| 69精品无码一区二区三区| 女人被躁到高潮嗷嗷叫小| 六月婷婷综合| 色色激情| 天天弄天天操| 天天干天天干天天干| 人人摸人人搞| 操骚货在线| 性一交一乱一交A片久久四色| 99精品在线观看视频| 色五月婷婷网| 五月婷婷色播| 亚洲激情综| 操逼巨乳91| 五月婷婷色五月| 99爱无码| 天堂草在线看www| 这里只有精彩视| 天天日天天干天天插天天射| 丁香婷婷色情社区成人小说| 婷婷综合精品视频97| 五月激情网综合| 淫水导航| 激情五月丁香六月| 日日干天天| 亚洲色五月婷婷| 日日色综合| 综合色激情| 色欲色香伊人| 日日操夜夜爽| 色噜噜狠狠色综合成人网| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 色五月激情网| 婷婷亚洲五| 五月丁香激情片| 激情五月图| 久久五月六月| 六月丁香婷婷色69| 五月 婷婷 成人| 天天操天天操天天操天天操天天操天天操| 丁香五月六月综合欧美| 91久久综合亚洲鲁鲁五月天| 久久六月天| 日本婷婷五月天| 五月天丁香网| 国产偷人爽久久久久久老妇APP| 免费无码毛片一区二区A片| 成人国产欧美大片一区| 草榴视频黄色网| 久久五月天丁香花| 国产熟女大叫受不了| 狼人婷婷综合| 激情网站五月| 色婷婷综合中心| 色婷綜合网| SS丁香五月婷婷| 这里只有精品在线看| 丁香丝袜五月| 26uuu成人网| 99在线免费观看| 中文字幕AV网址| 久热大香蕉| 五月激情天| 麻豆WWWCOM内射软件| 国产精品电| 五月激情婷婷四射| 超碰99久久| 五月激情啪啪| 一二三区视频韩国| 泰州成人视频| www.丁香五月| 艳妇野外情欲放荡HD| 在线观看视频1区| 婷婷自拍| 色五月天影视| WWW.开心五月天.COM| 黄页大全十八禁| 色欲久久久久| 婷婷成人综合| 色综合久久久久| 51精品国自产在线| 中文字幕网站在线观看| 热99这里只是精品| 婷婷伊人五月| 色情五月婷| 色色色色色色网站| 五月停性愛| 久久九九婷婷| 五月6香色婷婷视频| 美女100%露全身无挡网站| 丁香丝袜五月| 色色五月天网站| 国产精品美女| 天啪天啪天啪天啪| 91人人爽狠狠狠| 九九热在视频| 激情综合网五月| 超碰99热| 色婷婷中文| 超碰人人操| 日韩成人精品中文字幕| anquye五月| 激情综合五月婷婷| 亚洲九九夜夜| 婷婷五月在线| 婷婷五月天堂网| 婷婷五月婷婷五月天| 五月天婷婷成人| 色色五月天激情| 亚洲妇女熟BBW| 99色免费| 色99亚洲| 99热在线播放| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 四色综合网| 色色婷婷综合网| 日韩黄色电影| 亚洲日本韩国| 丁香五月最新地址| 天天橾日日橾夜夜橾17| 婷婷五月天亚洲综合| 日本色色网| 色婷婷另类| 九九热黄色| 五月天黄色激情小说| 九九热大香蕉| 色婷婷伊人激情在线观看| 69久久99精品久久久久婷婷| 婷婷综合五月激情| 91ncm视频| 疯狂做受XXXX高潮A片动画| 99热 在线播放| 婷婷五月天免费小说| 九色色| 久久激情网| 伊人久久婷婷五月综合97色| 九九热99视频| 天天操夜夜橾| 99∨VTV| 色五月中文字幕| 欧美群妇大交乱婬网| www开心激情网| 日本超碰在线| 七七色综合| 久久婷婷视频| 99热这里只有精品1| 丁香婷婷啪啪| 蜜桃婷婷狠狠久久| 色综合综合网| 婷婷五月天色色| 91九色超碰正在播放| 久久黄色免费视频| 久久 婷婷 五月天| 伊人天堂婷婷| 婷婷六月丁香在线| 国产精品美女| 激情精品久久| 色五月天 丁香| 新久久五月天激情| 超碰在线免费9| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 97精品人人A片免费看| 久9免费视频| 婷婷区日本| 99激情在线| 婷婷色综合中心站| 色婷婷婷综合五月天| 操人久久| 97偷拍对白视频| 激情丁香五月婷| 蜜臀av粉嫩av懂色av| 丁香六月成人| 2025中文在线视频字幕免费观看| 超碰二区| 久久亭亭电影| 99er在线观看| www九九热| 日本九九视频| 色停停五月天| AⅤ网站在线看| 99色激| 日本九九网| 日本美女97在线视频| 狠狠操.com| 在线中文亚洲| 色婷综合| 久久丁香五月婷婷| 性做久久久久久久免费看| 色色丁香婷婷综合| 激情色色色| 男人的天堂婷婷色五月| 五月丁香色婷婷婷基地| 99热国产精品| 五月婷婷日| 亚洲丁香五月在线观看| 国产乱人偷精品人妻A片| 亚洲九区| 大香蕉伊人99| 五月丁香综合成人社区| 久久偷拍综合五月天| 第四色在线观看| 99热超碰| 丁香五月性| 性爱人人网| 婷婷五月伦理网站| 色色色com| 狠狠操天天操| 久热只有精品| 日本eVa一区=区视频| WWW.天天日| 99热免费精品| 五月天狠狠色| 99热都是精品| 久久五月天丁香| 日日狠夜夜狠| 欧美情色电影一区二区| 婷婷激情蜜桃玖玖丁香| 六月丁香五月婷婷| 色五月丁香总合网| 激情综合网五月婷婷| 99九九热在线观看| 人人人操| 五月激情婷婷综合| 色综合久久44| 婷婷免费无马| 色五月超碰| 色五月天丁香婷婷色| 九九99一区| 婷婷五月丁香亚洲| www五月天激情com| 久草x色在线观看99| 婷婷丁香成人网址| 亚洲春色奇米影视| 丁香六月毛片| se色婷婷视频| 婷婷涩五月天综合| 色狠狠婷婷| 五月丁香色狠狠干大屄| 国产黄色在线观看| 色情久久久| 亚洲妇女熟BBW| 能看的av片| 成人免费120分钟啪啪| 久月丁香爱婷婷综合| 婷婷综合激情| Av狠狠色丁香婷| 思思热在线精品视频| 天堂A∨在线| 9久精品| ww久久| 日本一道久久| 婷婷五月天国产精品| 天天干天天干天天干天天干天| 大香蕉啪啪| 亚洲精品视频在线播放| 99热91| 成人va在线播放| 激情久久四色| 丁香婷婷综合激情五月色| 激情婷婷人妻| 丁香五月综合婷婷| 亚洲六月婷婷| 九九精品在线视频观看| www.夜夜| 五月婷婷开心爱| 无码AV免费精品一区二区三区| 婷婷五月天激情综合| 性无码专区无码| 综合狠狠干| 国产真人做爰视频免费| 99.色| 婷婷五月天久草在线| 婷婷五月深深爱| 亚洲激情六月丁香| 婷婷婷久久久| 丁香五月综合婷婷| 亚洲欧美成人在线| 天天插综合在线| 亚洲妇女熟BBW| 五月丁花色综合网| 91日本在线免费| 亚洲色模骚货| 九九色院| 婷婷性爱| 丁香五月婷婷六月婷| 亚洲无AV在线中文字幕| 色射婷婷五月天| av一区二区电影免费在线观看| 狠狠插狠狠操| 成人毛片在线免费观看| 激情五月天丁香| 97丁香花五月天激情小说| 日本精品人妻无码77777| 婷婷丁香五月天亚洲| 久9草在线观看视频| 五月天淫乱视频| 成人片在线播放| 天天色视频| 天天操天天操| 色站9/| 日良久久| 激情综合网婷婷久久| 秋霞少妇AV网站| 日日噜狠狠色| 操逼毛片国语对白| 国产毛片精品一区二区色欲黄A片 欧美交换配乱吟粗大25P | sewuyue第四色| 沈娜娜av| 亚洲黄色精品| 97丁香花五月天激情小说| 成人αV视频免费观看| 99这里只有精品|v| 成人网址在线观看| 亚洲情综合五月天| 人人操五月天| 亚洲Va成人| 欧美性生交XXXXX无码小说| 色色哒五月婷婷六月丁香| 狠狠色丁香婷婷久久综合| 99热老网站| 丁香久久AV| 久久综合九色综合88i| 亚洲精品在线视频| 日韩狠狠色婷婷| 狠狠爱婷婷五月天| 色婷婷久久| 99热久久最新地址| 天堂网啪啪| 久久久久人妻| 天天做天天爱天天综合网| 九九99九九99| 色五月激情五月| 日韩aaa| 亭亭玉立国色天香| 狠狠爱婷婷五月天| 狠狠干综合| 人人综合五月人人婷婷| 婷婷激情人妻| 三人荫蒂添的好舒服A片| 激情五月天 婷婷| 99re99在线看| 97婷婷五月丁香| 婷婷五月情| 五月丁香六月婷婷综合伊人| 国产激情在线| ..真实国产乱子伦对白在线_欧 | 中文久久久人妻| 亚洲色图啪啪| 婷婷五月天在线观看| 天天色域综合网| 六月激情婷婷| 操97在线观看| 狠狠色婷婷| 91人妻视频| 久久激情五月天| 精品国产AV色一区二区深夜久久| 久久9精品视频| 色婷婷最爱五月| 成人AV综合在线| 丁香婷婷啪啪| 丁香六月婷| 99热热九九| 色综合久久88| 国产毛片精品一区二区色欲黄A片 欧美交换配乱吟粗大25P | 丁香六月综合激情| 四虎婷婷五月天| 婷婷五月色图| se色婷婷视频| 色情五月婷婷| 5月婷婷6月六月丁香| 久热这里只有精品在线观看| 538任你爽视频不一样的| 国产亚洲精品AAAAAAA片| 日亚二欧美| 五月丁香花伦理电影| 五月丁香久久呀| 欧美日韩成卜| 五月丁香六月激情欧美综合| 99热99热在线| 国产日批视频免费播放| 色婷av| 欧洲电影在线观看免费版英语版| 人人操AV| 日韩色五月| 亚洲精99| 51XX午夜影福利| 性爱技巧五月| 大香蕉九九| 日本99色| 国产资源91在线| 亚洲国产婷婷色五月| 97艹| 激情人妻蜜夜系列区| 99精品在线播放| 婷婷五月丁香综合激情| 婷婷久久六月天| 中文字幕AV在线播放| 久热re视频在线观看网站| 99这里有精品| www.五月婷婷.com| 欧美色爱五月天| 五月婷婷色男女| 99热在线中文字幕| 婷五月天六| 久久五月婷6 9| 色情综合网| 美女五月狠狠| 色婷婷狠狠久久综合五月| 中文精品久久久久人妻不| 久婷久婷激情肉| 超碰69天堂| 色九月婷婷| 色丁香婷婷| 婷婷五月天激情电影小说| 激情婷婷五月色| 丁香五月天在线观看视频| 超碰爱爱爱| 亚州欧美黄色电影| 伊人在线视频| 日韩成人电影AV| 丁香五月综合婷婷| 涩涩五月天| 26UUU精品一区二区Com| 国产日批视频免费播放| 久久精品9| 亚洲色图日韩网址| 精品AV无码超碰| 少妇高潮呻吟A片免费看软件 | 久草五月天电影网| 99久久免费性爱视频`| 久大香蕉| 9色在线视频精品观看| 欧美内射AAAAAAXXXXX| 思思久久99| AV在线大香蕉| 视频一二区| 久热这里只有精品视频免费观看| 五月婷婷性| 9er热在线精品视频| 成人av中文字幕| 久久思思99| 激情婷婷五月在线合集| 五月婷婷啪啪啪啪| EEUSS鲁片一区二区三区| 六月激情婷婷| 久久性爱视频| 色5月婷婷色| 天天做天天爱天天高潮| 色五月天电影| www.五月天激情| 久久这里只有国产视频| 91超级碰在线视频| 伊人色五月| Aα在线免费观看| 伊人九九68| 久久综合久色欧美综合狠狠| 色婷婷小说| 超碰在线99| 99这里有精品视频| 99精品免费视频| 99在线精品免费视频| 色婷婷在线播放| 亚洲av综合网| 草草视频91| 亚洲激情四射| 色五月婷婷在线| 人妻人人操| 九九久久精品| 久草热8精品视频在线观看| 国产激情综合五月久久| 超碰成人免费| 91五月天| 日本人妻伦在线中文字幕 | 自拍盗摄 另类| 精品国产va久久久| 思思热久热| 婷婷射丁香| 五月婷婷啪| 日韩视频99| 五月婷婷丁香俺日污视频| 久久婷婷五月免费视频| www婷婷| 色五月激情网| 99色| 超碰大香蕉网| 五月天婷婷视频| 99热8| 97精品综合| 国产亚洲成AV人片在线观黄桃| 亚洲精品久久久无码| 青草视频在线播放| 日本美女97在线视频| 97碰碰草| 丁香综合久久| 婷婷丁香亚洲色综合91| 婷婷六月啪啪| 丁香婷婷六月激情文学 | 综合xx网| 天天色天天舔天天爱天天爽| 亚洲亚洲永久无码777777| 婷婷噜噜| 五月婷婷色| www.五月婷婷久久.com| 大香蕉520| 色婷婷久久综合丁香五月| 五月开行婷婷色五月| 日韩五月丁香| www.久久爱.com| 九月婷婷久久久| 五月丁香综合| 丰滿爆乳一区二区三区| 亚洲婷婷激情综合激情999精品| 久草 天堂| 99激情视频热| 婷婷五月天日本无码| 五月丁香综合激情| 激情www| 国产欧美精品AAAAAA片| 综合久久十| 成人网在线视频| www.激情五月天。com| 99色视频在线观看| www.99热这里精品| 超碰在线人妻| 精品9197碰| 久久机热/这里只有精品| 色五月天综合网| 久久久久久综合88| 疯狂做受XXXX高潮A片| 色五月婷婷丁香凹凸| 激情久久久久久久久| 狠狠做六月爱婷婷综合aⅴ| 丁香五月久久综合| 婷婷的色色五月天| 超碰99在线| 99操网站| 成人在线视频网| 五月丁香成人| 开心婷婷中文字幕| 天天综合精品| 九九久99免费视频| 久久98| 色婷婷影音| 久久婷婷五月天激情| 久久婷婷精品| 熟女国产在线一区二区三区四区| 99九九久久| 亚洲色色色色| 99热主页日本| 亚洲字幕AV一区二区三区四区 | 欧美超碰人人| 天天色·欧美| 深爱激情婷| 开心五月网 | 雪千夏麻豆| 九九精品自拍| 国产精品蜜臀99| 婷婷99狠狠躁天天躁中| 性生生活大片又黄又| 人橾人| 色色色综合视频| 五月天亚洲色| 丁香五月天堂网| 激情久久网| caopeng超碰| 野战毛片三一3| www.激情| 97碰碰电影| 激情五月激情综合网一级丸片| 五月婷婷丁香婷婷| 激情五月天网站| 久久久久婷| 六月婷婷狠狠| 色婷婷先锋| 国产精产国品一二三在观看| 欧美精产国品一二三区| 中出内射的人妻视频| 九九精品99| 日韩一级| 婷婷五月综合婷婷| 五月天激情视频| 丁香六月婷婷久久综合| 丁香五月婷婷Av| 九九九午夜影院成人| 色色色婷婷五月| 丁香五月天成人| www.五月婷婷久久.com| 欧美激情-区二区三区| 五月丁香六月欧美综合网站| 国产在线视频1234| 色月视频| 久久停停超碰| 影音先锋AV男人站| 丁香六月亚洲| 成人网站免费在线播放| 日韩啪啪视品| 五月婷婷伦理| 2017狠狠干| 久久免费少妇高潮99精品| 久碰视频| 成年人最刺激的综合网| 超喷97免费在线视频| 综合久久婷婷| 这里只有精彩视频| 亚洲综合网在线| jiqingtaose五月天| 天天操婷婷| 欧美日本韩国亚洲| 青草网在线观看| 六月激情综合| 激情五月天婷婷播播久久综合91| 99在线观看亚洲| 一级二级色大片| 综合在线观看99| 人妻性爱| 综合色色网| 婷婷综合另类| 男女久久婷婷五月天| 久久久久婷婷| 丁香五月婷婷AV| 伊人五月天在线| 极品人妻VIDEOSSS人妻| 六月99天天婷婷激情综合| 99在线免费视频| WWW、99热| 五月熟妇婷婷久久| 婷婷色五月天在线观看| 狠狠色色综合| 丁香五月亚综合图片| 国产XXXX搡XXXXX搡麻豆| 国产欧美日韩性爱| 91丨九色丨熟女|老版| 久久爱综合| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 色五婷婷在线视频| 日日操天堂| 五月婷婷久久综合| 日本丁香五月| 啪啪激情综合| 伊人五月天| 五月婷婷久久爱| caopeng97日韩| 欧美日综合| 天天色播| 热久国产| se色综合网| 婷婷五亚洲| 无码少妇高潮喷水A片免费| 色视频2025| 久久99久久99精品免视看婷| 日韩日比视频| 开心激情网五月天| 97婷婷五月| 99热这里只有精品热| 嫩草AV久久伊人妇女超级A | 无码G高清天| 超碰在线人妻| 欧美婷婷六月丁香综合色| 色综合久久天天综合网| 九九人人精品| 婷婷五月天激情小说| 日本97人人| 无码人妻一区二区三区免费九色| 色狠狠色噜噜AV天堂五区| 99 频99热国里只有精品| 丁香五月六月| 亚洲sesesese| 99热久| 97久久久久| 婷婷五月激情图片| 香蕉操亚洲| 日日夜夜干| 色五月婷婷1| 五月天桃色深爱网| 久久sp免费视频| 婷婷天天色| 久9热插入| 精品国产va久久久| 伊人大香蕉毛片| 99热这里只有精品最新| 五月四色激情| 五月花亭亭| 婷婷丁香红五月91C| 99热这里只是精品| 69凹凸成人综合网| 99热精品综合| 99热热热99精品丁香| 激情婷婷亚洲五月| 国产做A爰片毛片A片美国| 激情婷婷综合| 婷婷成人基地| 五月情综合| 国产精品久久久爽爽爽麻豆色哟哟| 五月婷婷开心激情六月蜜桃| 欧美性色A片免费免费观看的| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 免费99色| 激情丁香五月天| www,超碰| 色天堂A| 激情综合网五月丁香| 丁香激情久久| 另类天堂| 色婷婷综合视频| 亚州激情在线视频| 国产乱人偷精品人妻A片| 俺也去综合| 人五月天婷婷喷水| 婷婷五月天在线综合| 色色五月丁香婷婷综合| 超碰人人干| 影音先锋一区| 99爱这里只有精品免费视频| 五月婷婷开心深| 强壮的公次次弄得我高潮A片日本 | 丁香伊人激情| 人妻无码视频网| 99热在线观看这里只有精品| 婷婷丁香黄色| 思思热在线观看| 五月丁香六月综合基地| se99视频| 久久人妻乱子伦| 日本视频不卡123区| 婷婷五月天电影在线| 97碰碰人人视频| 久久视频婷婷| 五月丁香综合| 91九色网| 99re热视频| 五月激情婷婷四射| 狠狠色丁香婷婷久久综合| 操久久网| 九九热精品在线| 深爱激情久久| 婷婷五月欧美| 久久精品99久久久久久| 色色操| 女人高潮内射99精品| 九九热手机在线视频| 丁香9月婷婷| 4438激情网| 狠狠色丁香久久久婷| 亚洲成av人影院| 亚洲欧州色情在线观看| 九九99在线视频| 99热都是精品| 五月人人丁香婷婷五月人人丁香| 九九热视频精品999| 天天搞天天爽| 欧美色色色色色| 国产毛片精品一区二区色欲黄A片| 五月丁香五月天现场视频| 色婷婷啪啪| 午夜天堂啪啪| 婷婷综合网在线| 婷婷六月偷拍| 一区视频网站| 超黄亚洲瑟瑟网站| 五月天婷婷激情六月久久| 亚洲欧洲午夜成人精品av| 天天骑日日爽| 五月婷婷久草| 五月天综合| 日日干五月天婷婷| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 五月婷婷久久大香蕉| 99色综合| 色色色国产| 久久久久久久久99精品| 亚洲色五月| 色五月在线视频观看| 天堂中文国产| 欧洲色区| 五月婷婷之综合激情| 色色免费网站| 国产真实乱了老女人视频| 色五月激情婷婷| 热久久91| 屁股翘好撅高迎合跪趴| 婷婷五月天色播| 丁香五月激情六月欧亚激情综合导航| 日韩av变天就操逼不卡区| 天天做天天爱| 天天搞夜夜叫| 9色小视频在线观看| 在线看片av| 第六色在线| 大香蕉狠狠爱主页| 色欲天天综合网| 婷婷综合色播网| 在线婷婷| 日本WwW色偷偷丁香花久久久京东热| 99成人| 九九热这里有精品23| 综合九色| 五月天婷婷无码| 九九精品视频在线6| 色色色干| 婷婷五月天免费99| 天天色图| 99久久精品网| 婷婷涩五月| 无码 av电影| 激情六月天婷婷| 五月丁香AV、伊人业余、性色熟妇| 成人网丁香五月| 五月丁香啪| 天天操天天操天天操天天操天天操| 丁香六月婷婷一区| 久久五月天丁香花| 六月婷婷综合| 丁香五月婷婷影院| 性色欲情 网站| 婷婷丁香婷婷97| 综合网五月| 五月婷婷五月天激情网| 精品视频这里只有精品| 91综合在线观看| 日本99热| 26uuu欧美| 久久五月天激情视频| 五月丁香六月婷婷成人| 天海翼中文字幕高| 亚洲成人影视在线观看| 激情色情五月天| 中文字幕成人| 天天操天天国产三级片处女学生妹| 五月天久久婷婷| 五月丁香色| 开心亚洲久久开心| 操九色| 大香蕉 婷婷| AV大香蕉| 久久久性爱视频| 国产va在线视频| 丁香激情四射| www久久久久久久久久久久久久久久久| 亚洲九九夜夜| 丁香五月激情在线| 婷婷五月 丁香六月| 久久丁香五月| 人妻有码乱操| 日韩成人电影AV| 一级二级色大片| 99色一| 亚洲一个色| 成人色图情色成人网 www.5b5b5bcom 五月天 | 丁香五月综合无码趴趴| 嫩草AV久久伊人妇女超级A| 97碰| 婷婷成人五月天成人文学小说| caopeng超碰| 久久总和99| 99视频综合网| 亚洲亚洲人成综合网络| 五月婷婷五月天| 五月婷婷在线综合| 激情伊人五月婷婷久久| 亚洲综合网 665566| 中文字幕久久婷九女同| 国产亚洲精品AAAA片APP| 亚洲国产成人综合| 五月婷婷婷| 99热这里精| 亚洲小视频免费观看| 成人色图情色成人网 www.5b5b5bcom 五月天 | 色~性~乱~伦~噜| av狠狠操| 呦呦视频无码播放| 密黄站| 91精品国产99久久久久久天美| 一本久婷婷综合| 国产精品第一国产精品| 91久久久久久| 丁香五月婷婷大香蕉| 久热这里只有精品在线| 成人婷婷五月天| 超碰91在线| 婷婷色吧| 日韩AV在线电影| 婷婷色情 | 婷婷成人五月天成人文学| 丁香五月情| 淑女丝袜bi操逼123| 丁香五月在线视频黑人| 丁香五月综合色婷婷| 天天久综合网永久入口17v| 狠狠爱深色婷婷综合| 人妻中文在线| 午夜成人天堂久久无码日韩久久| 黄色激情五月天| 新激情五月开心五月婷婷五月丁香五月| 丁香五月婷婷深爱综合激情| 色综合中文色综合网| 丁香花五月天社区| 色综合综合综合| 中文字幕日产A片在线看| 九九99久久| 五月婷婷黄色| 激情无码网| 久久国产色| 色色cOm| 五月综合在线| 99热精品一| 五月开心六月婷婷在线播放网站| www.yw尤物| 热五月婷婷| 五月五月婷婷| 国产亚洲成人综合| 狠狠操狠狠色| 最新高清无码专区| 97人人草| 丁香六月激情综合| 日本99视频| 99久在线| 婷婷激情六月综合| 成年人最刺激的综合网| 欧美日韩一区二区三区四区| 思思久日精品视频| 另类小说五月天激情| 情欲综合网| 国产精品色色666| 99热免费网站| 天天插天天玩天天干| www激情| 色吧婷婷五月亚洲| 五月丁香网站| www.五月天| 狠狠干夜夜干| 丁香五月婷婷影院| 九九黄色网| 久久久www| 色婷婷9| 五月婷婷丁香大陆免费| 激情綜合網址| 97操碰在线视频| 日日干夜夜干| 婷婷五月丁香五月| 女人天堂AV| 日日干夜夜干| 极品另类| 日韩99视频| 久操97| 亚洲成人网站在线播放| 色欲婷婷五月天丁香| 五月天伊人久久久久| 激情婷婷五月天| 玖玖五月丁香| 97色97干| 欧洲综合视频| 日夜操B| 一起草av| 网站免费一站二站| 亚洲AV成人在线| 日本三级韩三级99久久| 1024日韩| 国产亚洲精品AAAA片APP| 久久精品一区二区三区四区| 国产露脸150部国语对白| 亚洲愉拍99热成人精品| 婷婷五月色花丁香社区| 97人人做| 五月婷婷色情| 99久久九九| 26UUU一区二区| 99这里只有精品国产| 色综合久久88色综合天天人守婷| 天天操天天操| 99热99这里有免费的精品| 久久机热这里只有精品| 婷婷五月天黄色小说| 激情五月影院| 色五月欧美| 色五月综合在线| 亚洲久久激情| 日日夜夜天天| 牛牛热这里只有jingpin| 亚洲无码性爱| 中文字幕无码成人电影| 99九精品| 91丨九色丨白浆| 91狠狠综合久久| 丁香六月婷婷五月天| 97涩涩丁香五月天| 久久婷婷五月综合啪| 色导航色婷婷五月天在线观看| 五月婷丁香| 超碰成人电影| 色婷婷丁香| 六月成人网| 精品九九久久| 亚洲午夜Av| www.久久久.com| 婷婷,五月天,丁香,第一| 狠狠草婷婷| 婷婷六月色播| 婷婷丁香五月婷婷| 高清不卡一区| 久99视频| 激情网 久久| 免费看片在线观看| 五月婷婷天堂| 九九视频网| 密乳视频| 久久九九热视频| 天天综合五月天| 色五月天综合网| 人妻丰满精品一区二区A片| 日韩三十六页| 色狠狠综合入口| 综合色播| 婷婷开心青青草| 99久久久| 日本系列_4页_777FP| 五月丁香综合网| 成人免费黄色短视频| 无码一级片| 一逼色综合| 色。 婷婷婷| 99九九精品| 亚洲av成人在线| 伊人91| 1024AV视频| 香蕉婷婷色五月| 很很操96| 99亚洲无码| 99热e| 蜜桃人妻无码AV天堂三区| 五月做爱| 影音先锋一区| 色综合xx| 九九视频这里只有精品| 午夜一区| 97在线观看| 99热99天堂| 激情欧美婷婷| 99精品爱| 九九精品热播| 337p大胆噜噜噜噜噜91Av| 99视频热99| 精典久久| 高清激情av在线观看| 婷婷五月花西瓜| 激情综合无码| 国产伦亲子伦亲子视频观看| 五月婷婷国产| 丁香色五月直播| 久草xx性爱视频| 欧美精产国品一二三区| 婷婷97狠狠成人网站| 五月婷婷丁香五月| 色欲婷婷五月天| 五月天久久成人| 99国产在线| 天天综合永久| 婷婷成人五月天| 久9视频| AV中文字幕夜夜操b天天摸bb| 性视频久久| 婷婷六月中文字幕| 激情亭亭五月| 国产精品18久久久| 久久五月天免费网站| 天天舔天天插天天爱| 79色色色色| 婷婷大香蕉| 91在线97视频| 五月婷婷久久综合| 密桃激情五月天综合网| 九九综合伊人| 亚洲成人影视在线| 丁香六月狠狠干| 色婷激情网| 91碰超| 91男同视频| 激情丁香六月| 激情 婷婷 插| 玖玖色综合网| 久久久久久久11111111111| 色婷婷777狠狠| 五月婷婷干| 色五月色五天色情网| 丁香,开心成人,久久| 97视频久久| 人人做天天爱| 狠狠色婷婷7777久| 就爱日五月天| 俺来也综合网精品一区| 日日综合网| 九九久久综合| 亚洲AVDVD| 啄木鸟黑丝一区二区| 狠狠爱五月婷婷| 九九9久九9国产视频| 97在线视频人妻九色| 丁香六月无码| 婷婷五月丁香六月| 色九月综合网| 天天做天天双| 九九这里是免费的视频5| 5月丁香综合图区| 五月天色色色| 五月天综合视频| 香蕉久久国产AV一区二区| 五月天丁香久久| 婷婷娱乐丁香综合网| 婷婷综合激情| 欧美男女婷婷| 另类婷婷丁香| 婷婷丁香激情综合色情| 在线视频九色97| 亚洲国产色婷婷| 99在线热视频| 色香蕉婷婷|