欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

IoT邊緣服務(wù)器:分布式設(shè)備接入與管理架構(gòu)實(shí)踐

IoT邊緣服務(wù)器:分布式設(shè)備接入與管理架構(gòu)實(shí)踐 做 IoT 設(shè)備接入這個(gè)事最開始的坑基本都踩在“設(shè)備太多、離云端太遠(yuǎn)”這兩件事上。我接手過一套分散在十多個(gè)廠區(qū)的工業(yè)設(shè)備系統(tǒng)設(shè)備類型五花八門有 PLC、傳感器、智能電表、還有幾個(gè)陳舊型號的串口采集器。最初方案是讓所有設(shè)備直接往云平臺上報(bào)數(shù)據(jù)結(jié)果上線第四個(gè)月就出問題高峰時(shí)段云端入口帶寬被打滿設(shè)備斷線重連風(fēng)暴直接把接入層拖垮恢復(fù)花了整整六個(gè)小時(shí)。后來改造成“IoT Edge Server 統(tǒng)一接管分布式設(shè)備”的架構(gòu)才算把這些問題從根上按住。這篇東西就是把我在這類項(xiàng)目里的完整拆解思路、實(shí)施步驟、以及踩坑后的復(fù)盤整理出來給正在做同類邊緣接入方案的人做個(gè)參考。這套系統(tǒng)解決的問題很清晰大量設(shè)備分散在不同物理位置、網(wǎng)絡(luò)條件參差不齊、數(shù)據(jù)上報(bào)頻繁且格式不統(tǒng)一云端直連既不穩(wěn)定也不經(jīng)濟(jì)。邊緣服務(wù)器部署在靠近設(shè)備的機(jī)房或者現(xiàn)場側(cè)負(fù)責(zé)設(shè)備接入、協(xié)議解析、數(shù)據(jù)緩存、本地規(guī)則判斷再把處理后的關(guān)鍵數(shù)據(jù)同步到云端平臺。適合正在做工業(yè)物聯(lián)網(wǎng)、智慧園區(qū)、能源監(jiān)控這類項(xiàng)目的朋友參考尤其適合那些設(shè)備規(guī)模不大但數(shù)量多、類型雜、現(xiàn)場網(wǎng)絡(luò)經(jīng)常不靠譜的場景。1. 邊緣服務(wù)器在分布式設(shè)備管理中的定位與核心價(jià)值1.1 為什么不能讓設(shè)備直接連云端很多剛接觸 IoT 的人會有一個(gè)樸素想法設(shè)備端裝個(gè) MQTT 客戶端云平臺開好接入點(diǎn)設(shè)備直接上報(bào)不就行了。小規(guī)模試點(diǎn)完全沒問題二三十臺設(shè)備每臺每秒報(bào)一條數(shù)據(jù)云端隨便接。但當(dāng)設(shè)備真正鋪開問題就會連續(xù)冒出來。第一個(gè)是帶寬成本。一批設(shè)備每小時(shí)產(chǎn)生的原始數(shù)據(jù)量如果在現(xiàn)場側(cè)做一次過濾、聚合、壓縮后再上傳往往能減少 80% 以上的網(wǎng)絡(luò)開銷。工廠里一個(gè)采集點(diǎn)位原始數(shù)據(jù)是每秒一條一天就是 86400 條幾十個(gè)點(diǎn)位就是幾十萬條全量上云既浪費(fèi)帶寬也無必要。第二個(gè)是延遲。云端直連模式下設(shè)備到云端往返耗時(shí)取決于鏈路質(zhì)量跨地域網(wǎng)絡(luò)抖動輕松超過 200 毫秒對需要快速響應(yīng)的控制類指令來說這個(gè)延遲不可接受。第三個(gè)是可靠性。設(shè)備到云端的鏈路一旦中斷如果設(shè)備本身儲存能力有限數(shù)據(jù)就會直接丟失。而邊緣服務(wù)器靠現(xiàn)場網(wǎng)絡(luò)接入設(shè)備本地有存儲斷網(wǎng)后可以把數(shù)據(jù)暫存起來等鏈路恢復(fù)再補(bǔ)傳。第四個(gè)是安全問題工業(yè)設(shè)備很多使用老舊協(xié)議直接暴露在公網(wǎng)風(fēng)險(xiǎn)很高邊緣服務(wù)器做統(tǒng)一接入和協(xié)議轉(zhuǎn)換相當(dāng)于給設(shè)備加了一層隔離。我之前遇到過最典型的場景某個(gè)廠區(qū)網(wǎng)絡(luò)每周都會瞬斷幾次云直連設(shè)備在斷線重連時(shí)會同時(shí)發(fā)起連接服務(wù)端被上百個(gè) TCP 重連請求打滿這就是所謂的重連風(fēng)暴。把邊緣網(wǎng)關(guān)放在現(xiàn)場后設(shè)備只跟局域網(wǎng)內(nèi)的邊緣服務(wù)器通信外網(wǎng)斷了對現(xiàn)場采集完全沒有影響。1.2 邊緣服務(wù)器負(fù)責(zé)哪些具體工作邊緣服務(wù)器在整套體系里做的事可以歸納為四個(gè)方面接入、解析、緩存、轉(zhuǎn)發(fā)。接入是指接受設(shè)備的網(wǎng)絡(luò)連接。不同設(shè)備有不同的通信接口和協(xié)議常見的有 MQTT、Modbus TCP、OPC UA、CoAP老設(shè)備還有走串口轉(zhuǎn)網(wǎng)絡(luò)模塊的。邊緣服務(wù)器要把這些異構(gòu)協(xié)議的連接統(tǒng)一管理起來不管設(shè)備用什么方式接入對上層業(yè)務(wù)都呈現(xiàn)為統(tǒng)一的數(shù)據(jù)模型。解析是指將設(shè)備上報(bào)的原始報(bào)文轉(zhuǎn)換成標(biāo)準(zhǔn)格式。例如一個(gè) Modbus 報(bào)文讀出來的寄存器值可能是原始電壓數(shù)據(jù)需要按變比換算成真實(shí)電壓值再打上設(shè)備 ID、時(shí)間戳和點(diǎn)位編號變成一條標(biāo)準(zhǔn)的 JSON 或時(shí)序數(shù)據(jù)記錄。緩存是指當(dāng)數(shù)據(jù)暫時(shí)無法上云或者云端不可用時(shí)在邊緣側(cè)把數(shù)據(jù)寫到本地存儲中。邊緣服務(wù)器通常配備 SSD 或 TF 卡可以保留數(shù)天乃至數(shù)周的本地?cái)?shù)據(jù)。轉(zhuǎn)發(fā)是指將處理后的數(shù)據(jù)通過 MQTT、HTTP、gRPC 等協(xié)議同步到上層云平臺同時(shí)接收云端下發(fā)的控制指令再反向轉(zhuǎn)發(fā)給對應(yīng)的設(shè)備。2. 邊緣服務(wù)器的架構(gòu)設(shè)計(jì)與關(guān)鍵模塊拆解2.1 硬件選型與部署形態(tài)邊緣服務(wù)器的形態(tài)很靈活。簡單場景下一臺工業(yè)級迷你主機(jī)N5105 或 i3 級別的 CPU8G 內(nèi)存256G SSD就足夠管理數(shù)百臺設(shè)備的數(shù)據(jù)采集。如果點(diǎn)位更多、計(jì)算任務(wù)更重可以上到 i5 甚至 Xeon搭配 GPU 做視覺類的邊緣推理。對一般的數(shù)據(jù)采集類項(xiàng)目沒必要盲目追求高配置邊緣服務(wù)器的瓶頸往往不在 CPU而在設(shè)備連接數(shù)和網(wǎng)絡(luò)帶寬。操作系統(tǒng)方面Linux 發(fā)行版是主流選擇Ubuntu Server 或 Debian 都很好用驅(qū)動兼容性和遠(yuǎn)程管理能力都優(yōu)于桌面系統(tǒng)。有一些場景要求更穩(wěn)定的運(yùn)行環(huán)境和更精簡的系統(tǒng)也可以考慮 Windows IoT Enterprise LTSC尤其當(dāng)上位機(jī)軟件或者設(shè)備 SDK 只提供 Windows 驅(qū)動時(shí)這個(gè)方案反而省事。我之前見過一個(gè)老項(xiàng)目采集設(shè)備用的是某個(gè)國產(chǎn)廠商的串口控件只有 Windows 版本最后邊緣服務(wù)器裝的就是 Win10 IoT Enterprise 2016 LTSB跑三四年沒出過系統(tǒng)級故障。選操作系統(tǒng)不用跟風(fēng)關(guān)鍵是看設(shè)備 SDK 兼容性、遠(yuǎn)程維護(hù)便利性和現(xiàn)場人員的熟悉程度。如果項(xiàng)目以標(biāo)準(zhǔn)協(xié)議如 MQTT、Modbus為主優(yōu)先上 Linux如果依賴特定廠商驅(qū)動就老實(shí)按驅(qū)動要求選 Windows。通訊鏈路也要考慮冗余。現(xiàn)場如果只有一條寬帶線路最好準(zhǔn)備一張 4G 或 5G 流量卡做備份網(wǎng)絡(luò)模塊在邊緣服務(wù)器里做成主備自動切換WAN1 故障自動切到 WAN2避免因?yàn)閱螚l線路故障導(dǎo)致整片設(shè)備失聯(lián)。2.2 軟件層的基礎(chǔ)框架與協(xié)議適配層邊緣服務(wù)器軟件層的第一件大事是選擇一套基礎(chǔ)框架。自研全套的成本很高在成熟項(xiàng)目里通常使用開源組件疊加少量定制開發(fā)。設(shè)備接入層老牌 MQTT Broker 是 EMQX 或者 Mosquitto其中 EMQX 支持海量連接、集群部署、規(guī)則引擎適合規(guī)模比較大的場景。如果設(shè)備的接入?yún)f(xié)議不止 MQTT還有 Modbus TCP、OPC UA、BACnet 這些工業(yè)協(xié)議就需要一個(gè)協(xié)議適配層常用的方案是 Node-RED 或者基于 Java/Go 自研協(xié)議解析模塊。Node-RED 的圖形化編排上手很快適合快速實(shí)現(xiàn)協(xié)議轉(zhuǎn)換、數(shù)據(jù)過濾、觸發(fā)控制邏輯。但節(jié)點(diǎn)多了以后流編排會變得很亂內(nèi)存管理也不太好生產(chǎn)環(huán)境長期跑建議用 Go 或 Java 寫?yīng)毩⒌膮f(xié)議接入服務(wù)。我當(dāng)時(shí)采用的是“EMQX Go 自研協(xié)議適配服務(wù) TDengine 時(shí)序庫”的組合。設(shè)備按照協(xié)議類型分發(fā)到不同的接入服務(wù)例如現(xiàn)場的智能電表走 Modbus TCP溫度傳感器走 MQTT改造后的數(shù)據(jù)統(tǒng)一寫到本地時(shí)序庫同時(shí)通過轉(zhuǎn)發(fā)模塊同步到云平臺。這個(gè)架構(gòu)的好處是每一層職責(zé)單一出問題容易定位。2.3 數(shù)據(jù)模型與設(shè)備影子機(jī)制管理分布式設(shè)備最重要的是建立一套統(tǒng)一的設(shè)備數(shù)據(jù)模型。設(shè)備數(shù)據(jù)模型就是用來描述一臺設(shè)備有哪些屬性、哪些功能的數(shù)據(jù)結(jié)構(gòu)可以理解為給設(shè)備定義一套標(biāo)準(zhǔn)接口。一個(gè)典型的數(shù)據(jù)模型包含三個(gè)維度設(shè)備元信息設(shè)備 ID、設(shè)備類型、所屬站點(diǎn)、固件版本、安裝位置屬性數(shù)據(jù)設(shè)備的實(shí)時(shí)數(shù)據(jù)例如電壓、溫度、累計(jì)電量服務(wù)能力設(shè)備支持的操作例如遠(yuǎn)程重啟、調(diào)整采集頻率、開關(guān)控制實(shí)際實(shí)現(xiàn)時(shí)在邊緣服務(wù)器維護(hù)一份“設(shè)備影子”即云端下發(fā)的期望狀態(tài)和設(shè)備的實(shí)際狀態(tài)。設(shè)備上報(bào)真實(shí)狀態(tài)寫入 reported 區(qū)云端或本地下發(fā)的目標(biāo)狀態(tài)寫入 desired 區(qū)協(xié)調(diào)器對比兩個(gè)區(qū)如果有差異就下發(fā)指令讓設(shè)備趨近目標(biāo)狀態(tài)。這套思路在 AWS IoT、阿里云 IoT 都有對應(yīng)實(shí)現(xiàn)。邊緣服務(wù)器里的設(shè)備影子機(jī)制即使在云端斷網(wǎng)期間也能讓本地應(yīng)用正常操作設(shè)備恢復(fù)連接后再和云端同步狀態(tài)。3. 分布式設(shè)備接入與管理的核心功能實(shí)操3.1 設(shè)備注冊與認(rèn)證流程先講設(shè)備怎么進(jìn)入邊緣服務(wù)器。每臺設(shè)備在正式接入之前必須先完成注冊。注冊過程需要分配一個(gè)全局唯一的設(shè)備 ID建議格式使用站點(diǎn)編碼加設(shè)備類型加序列號例如 SZ-PLANT01-TEMP-0001不要再加無意義的隨機(jī)字符串否則現(xiàn)場排查問題時(shí)根本看不出是哪臺設(shè)備。設(shè)備注冊時(shí)還要錄入設(shè)備密鑰密鑰可以是動態(tài)生成的 Token也可以預(yù)置證書。工業(yè)現(xiàn)場設(shè)備性能差異很大有些 MCU 算力很弱跑不動 TLS 雙向認(rèn)證這種情況下用 Token 認(rèn)證更合適。Token 在網(wǎng)絡(luò)傳輸時(shí)需要加密最穩(wěn)妥的方式是走 TLS 加密通道再疊加 Token 認(rèn)證形成雙重保障。具體流程是邊緣服務(wù)器預(yù)生成一批設(shè)備憑據(jù)批量導(dǎo)入設(shè)備管理系統(tǒng)設(shè)備首次上線時(shí)攜帶憑據(jù)發(fā)起連接接入服務(wù)校驗(yàn)通過后將設(shè)備和連接綁定然后讀取該設(shè)備的最新配置包括采集頻率、上報(bào)周期、點(diǎn)位映射表。如果認(rèn)證失敗接入服務(wù)記錄失敗原因并拒絕連接。我建議把認(rèn)證失敗的日志單獨(dú)存儲一份萬一現(xiàn)場有非法設(shè)備試圖接入排查起來會非常省事。3.2 數(shù)據(jù)上報(bào)的批量策略與格式規(guī)范設(shè)備連接成功之后接著就是數(shù)據(jù)上報(bào)。這里最核心的一個(gè)原則是不要逐條上拋數(shù)據(jù)要批量上報(bào)。邊緣服務(wù)器收到的每一條原始數(shù)據(jù)先打到本地緩沖區(qū)按時(shí)間窗口或條數(shù)窗口聚合后再異步上報(bào)。例如設(shè)備的溫度數(shù)據(jù)每 5 秒采集一次一天產(chǎn)生 17280 條記錄云端并不需要每 5 秒收到一條數(shù)據(jù)只需要每分鐘或者每五分鐘收到一條聚合數(shù)據(jù)。聚合時(shí)可以附帶最大值、最小值、平均值、采樣點(diǎn)數(shù)等統(tǒng)計(jì)字段這樣既減少流量又保留業(yè)務(wù)價(jià)值。數(shù)據(jù)格式方面建議使用統(tǒng)一的 JSON 結(jié)構(gòu)大體如下{ device_id: SZ-PLANT01-TEMP-0001, ts: 1743400000, points: { temp: 35.6, humidity: 48.2 }, quality: 1 }字段里加上 quality 質(zhì)量戳值為 0 表示異常數(shù)據(jù)1 表示正常數(shù)據(jù)。數(shù)據(jù)質(zhì)量標(biāo)記很重要后面做數(shù)據(jù)分析和告警時(shí)可以避免把異常數(shù)據(jù)誤當(dāng)成真實(shí)值。另外每個(gè)設(shè)備上報(bào)的時(shí)間戳必須以設(shè)備本地時(shí)間為準(zhǔn)還是以邊緣服務(wù)器時(shí)間為準(zhǔn)這個(gè)問題必須提前定好。我的經(jīng)驗(yàn)是邊緣服務(wù)器收到數(shù)據(jù)后立即用服務(wù)器時(shí)間覆蓋設(shè)備時(shí)間戳然后保留設(shè)備原始時(shí)間戳到另一個(gè)字段。因?yàn)樵O(shè)備時(shí)鐘漂移太常見了統(tǒng)一用邊緣服務(wù)器時(shí)間可以對所有設(shè)備的數(shù)據(jù)按統(tǒng)一時(shí)間軸存儲和查詢。3.3 指令下發(fā)與命令確認(rèn)機(jī)制管理設(shè)備不只是收數(shù)據(jù)還需要下發(fā)指令。例如遠(yuǎn)程控制一道閘門、調(diào)整空調(diào)設(shè)定溫度、重新校準(zhǔn)儀表。這個(gè)過程比數(shù)據(jù)上報(bào)更容易出問題因?yàn)橹噶钍请p向的邊緣服務(wù)器下發(fā)指令設(shè)備需要回復(fù)確認(rèn)執(zhí)行完畢后還要上報(bào)執(zhí)行結(jié)果。實(shí)現(xiàn)指令下發(fā)時(shí)要特別注意下發(fā)鏈路不能是簡單的“發(fā)出去就不管”。因?yàn)楝F(xiàn)場網(wǎng)絡(luò)經(jīng)常不穩(wěn)定設(shè)備可能離線指令發(fā)不出去或者指令到了設(shè)備設(shè)備執(zhí)行后返回結(jié)果時(shí)鏈路斷了服務(wù)器誤以為設(shè)備沒執(zhí)行。這就需要一套命令狀態(tài)機(jī)指令從創(chuàng)建、下發(fā)、確認(rèn)、執(zhí)行、回執(zhí)每一步都要有狀態(tài)記錄。我在邊緣服務(wù)器里用一張指令表來保存這些狀態(tài)指令I(lǐng)D目標(biāo)設(shè)備指令內(nèi)容狀態(tài)創(chuàng)建時(shí)間超時(shí)時(shí)間CMD-001SZ-PLANT01-0003重啟采集器已確認(rèn)2025-04-01 10:00:002025-04-01 10:00:30CMD-002SZ-PLANT01-0003修改采集周期為30s已執(zhí)行2025-04-01 10:01:002025-04-01 10:01:30指令下發(fā)后如果超過設(shè)定的超時(shí)時(shí)間還沒收到確認(rèn)邊緣服務(wù)器要自動重發(fā)。重試次數(shù)超過限制后把指令標(biāo)記為失敗并通知云端。這個(gè)流程看似簡單卻是分布式設(shè)備管理中最重要的可靠性保障。3.4 斷網(wǎng)容錯(cuò)與離線數(shù)據(jù)緩存現(xiàn)場網(wǎng)絡(luò)中斷是不可避免的。尤其工業(yè)廠區(qū)偶爾停電、光纜被挖斷、交換機(jī)死機(jī)各種情況都遇到過。邊緣服務(wù)器作為靠近設(shè)備的一層最大的價(jià)值就是“天塌下來數(shù)據(jù)也不能丟”。以我的方案為例邊緣服務(wù)器上有一個(gè)本地?cái)?shù)據(jù)緩沖模塊設(shè)備上報(bào)的數(shù)據(jù)先寫到 TDengine 時(shí)序庫然后轉(zhuǎn)發(fā)模塊按時(shí)間順序讀取本地?cái)?shù)據(jù)并同步到云端。云端收到數(shù)據(jù)后回一個(gè)確認(rèn)轉(zhuǎn)發(fā)模塊收到確認(rèn)后才刪除本地記錄。如果云端無響應(yīng)或者本地到云端的鏈路斷開轉(zhuǎn)發(fā)模塊自動暫停并重試數(shù)據(jù)繼續(xù)保存在本地緩沖區(qū)。本地緩沖區(qū)的容量要按最壞情況估算。假設(shè)每臺設(shè)備一天產(chǎn)生 2MB 數(shù)據(jù)現(xiàn)場有 500 臺設(shè)備一天就是 1GB斷網(wǎng) 7 天就需要 7GB 存儲空間。這個(gè)量級在普通 SSD 上完全沒壓力所以不用擔(dān)心斷網(wǎng)時(shí)間長但要每天檢查磁盤用量避免日志或者系統(tǒng)文件把磁盤占滿后緩沖區(qū)寫不進(jìn)去。3.5 OTA 升級與設(shè)備策略管理分布式設(shè)備規(guī)模大了之后遠(yuǎn)程升級就成了剛需。邊緣服務(wù)器可以承擔(dān)設(shè)備升級的“分發(fā)中心”角色。云端把新的固件包推送到邊緣服務(wù)器邊緣服務(wù)器再分批推送給現(xiàn)場設(shè)備。這樣做的好處是云端只需要跟少數(shù)邊緣服務(wù)器通信不需要感知每一臺終端設(shè)備終端設(shè)備即使不在公網(wǎng)環(huán)境只要和邊緣服務(wù)器在同一個(gè)局域網(wǎng)內(nèi)就能完成升級。OTA 升級需要重點(diǎn)考慮三件事斷點(diǎn)續(xù)傳、版本回滾、分批灰度。斷點(diǎn)續(xù)傳解決設(shè)備升級到一半網(wǎng)絡(luò)斷開的問題版本回滾解決新版固件不兼容導(dǎo)致設(shè)備變磚的問題分批灰度解決大批量升級同時(shí)進(jìn)行導(dǎo)致現(xiàn)場網(wǎng)絡(luò)擁堵的問題。邊緣服務(wù)器的升級策略按站點(diǎn)維度去控制每個(gè)站點(diǎn)設(shè)定一個(gè)最大并發(fā)數(shù)。最好在凌晨業(yè)務(wù)低峰期自動執(zhí)行執(zhí)行前自動備份當(dāng)前固件版本。4. 海量數(shù)據(jù)采集場景的 P0 事故復(fù)盤4.1 事故現(xiàn)場還原前面講了很多設(shè)計(jì)方案但真正教會你怎么把系統(tǒng)做穩(wěn)的往往是一次事故。我做這套系統(tǒng)時(shí)就經(jīng)歷過一次典型的 P0 事故背景和過程非常有代表性拿出來復(fù)盤一下。當(dāng)時(shí)邊緣服務(wù)器系統(tǒng)剛上線三個(gè)月前期只接入了一個(gè)站點(diǎn)的 200 臺設(shè)備運(yùn)行挺穩(wěn)定。后來項(xiàng)目擴(kuò)量在兩周內(nèi)陸續(xù)接入了 7 個(gè)新站點(diǎn)設(shè)備總量從 200 臺漲到 5000 臺以上。新的站點(diǎn)接入后數(shù)據(jù)量暴增但我沒有對邊緣服務(wù)器的資源配額做調(diào)整導(dǎo)致一臺邊緣服務(wù)器上接的設(shè)備數(shù)量超出了設(shè)計(jì)上限。事故當(dāng)天上午十點(diǎn)左右監(jiān)控平臺報(bào)警邊緣服務(wù)器的 CPU 使用率持續(xù) 100%內(nèi)存占用率超過 90%大量設(shè)備連接斷開且重連失敗。我登錄服務(wù)器查看時(shí)發(fā)現(xiàn) EMQX 進(jìn)程占了大部分 CPU日志里刷滿了連接超時(shí)的報(bào)錯(cuò)。更嚴(yán)重的是由于邊緣服務(wù)器到云端的同步線程一直無法獲取 CPU 時(shí)間片本地時(shí)序庫的寫入積壓越來越嚴(yán)重最終磁盤 IO 也達(dá)到瓶頸。整個(gè)事故持續(xù)了將近兩個(gè)小時(shí)期間一部分設(shè)備上報(bào)的數(shù)據(jù)丟失現(xiàn)場工控人員無法通過平臺看到實(shí)時(shí)數(shù)據(jù)影響范圍覆蓋了三個(gè)廠區(qū)。4.2 根因定位與修復(fù)過程事故后的排查分為三個(gè)步驟先看資源占用曲線再看日志最后做壓測復(fù)現(xiàn)。從資源曲線可以看出CPU 從上午 9 點(diǎn)開始快速攀升正好對應(yīng)第二個(gè)站點(diǎn)的設(shè)備批量上線時(shí)間。日志里出現(xiàn)大量 MQTT CONNECT 報(bào)文設(shè)備連接建立后連接管理模塊的定時(shí)心跳任務(wù)數(shù)量也同步激增。問題根因是接入服務(wù)的連接管理模塊使用了“每連接一個(gè) goroutine”模型每臺設(shè)備建立連接后都常駐一個(gè)業(yè)務(wù)處理協(xié)程同時(shí)還有一套心跳超時(shí)定時(shí)器。設(shè)備數(shù)量超過 3000 臺后定時(shí)器數(shù)量級增長Go 調(diào)度器開銷飆升最終拖垮整個(gè)進(jìn)程。修復(fù)方案分兩步走。第一步是緊急擴(kuò)容在邊緣服務(wù)器資源允許范圍內(nèi)限制單臺設(shè)備的連接并發(fā)數(shù)把非必要下線的設(shè)備暫時(shí)斷開先恢復(fù)核心采集鏈路。第二步是代碼層面重構(gòu)連接管理模型將“每連接一個(gè) goroutine”改為事件驅(qū)動模型使用連接池統(tǒng)一管理連接讀寫同時(shí)將心跳檢查從每連接一個(gè)定時(shí)器改為統(tǒng)一的時(shí)間輪掃表。重構(gòu)完成后我在測試環(huán)境模擬了 6000 臺設(shè)備同時(shí)連接的場景CPU 占用率從重構(gòu)前的 90% 降到 25% 左右內(nèi)存占用也明顯下降。此后邊緣服務(wù)器又接入了更多設(shè)備再沒出現(xiàn)過同類問題。4.3 生產(chǎn)環(huán)境的血淚教訓(xùn)這個(gè)事故給我留下了幾條非常實(shí)際的教訓(xùn)設(shè)備接入數(shù)量不能拍腦袋定要有測試數(shù)據(jù)支撐。任何邊緣服務(wù)器在正式上線之前都要做一次模擬滿負(fù)荷壓測確認(rèn) CPU、內(nèi)存、文件句柄、連接數(shù)等指標(biāo)的極限在哪里然后設(shè)置告警閾值建議使用連接數(shù)達(dá)到設(shè)計(jì)上限的 70% 就觸發(fā)預(yù)留擴(kuò)容提醒。限流和熔斷機(jī)制必須提前寫進(jìn)系統(tǒng)而不是等到出問題再臨時(shí)加。邊緣服務(wù)器需要對超出處理能力的請求做排隊(duì)或拒絕否則大量并發(fā)連接涌進(jìn)來會把系統(tǒng)直接打死。可以理解成高速收費(fèi)站如果車流量太大必須人工限流否則整個(gè)收費(fèi)系統(tǒng)會癱瘓。設(shè)備規(guī)模增長時(shí)監(jiān)控指標(biāo)也要跟著調(diào)整。之前我只監(jiān)控了 CPU、內(nèi)存、磁盤這些基礎(chǔ)項(xiàng)沒有監(jiān)控連接數(shù)增量、消息積壓量、上下線頻率。這三個(gè)指標(biāo)才是海量設(shè)備接入場景下最需要盯的一旦異常往往就是系統(tǒng)崩潰的前兆。5. 現(xiàn)場運(yùn)維的常見問題與排查技巧5.1 高頻故障排查速查表在日常運(yùn)行維護(hù)中有幾類問題反復(fù)出現(xiàn)我把它們整理成速查表方便現(xiàn)場排查時(shí)對照操作。常見問題可能原因排查思路設(shè)備頻繁掉線重連設(shè)備心跳間隔太短或網(wǎng)絡(luò)抖動查看邊緣服務(wù)器端日志統(tǒng)計(jì)斷連時(shí)間點(diǎn)檢查是否與網(wǎng)絡(luò)設(shè)備重啟時(shí)間重合某型號設(shè)備上報(bào)數(shù)據(jù)亂碼協(xié)議解析字節(jié)序或進(jìn)制轉(zhuǎn)換錯(cuò)誤抓包對比原始報(bào)文字節(jié)流檢查數(shù)據(jù)模型中的點(diǎn)位映射關(guān)系設(shè)備離線但邊緣服務(wù)器未告警心跳超時(shí)時(shí)間配置過長酌情調(diào)小心跳超時(shí)時(shí)間例如從 120 秒調(diào)到 30 秒邊緣服務(wù)器磁盤寫滿日志文件過大或本地緩沖區(qū)未及時(shí)清理檢查日志輪轉(zhuǎn)策略檢查云同步模塊是否阻塞導(dǎo)致本地?cái)?shù)據(jù)積壓云端收不到歷史補(bǔ)傳數(shù)據(jù)云端的消息去重 ID 沖突檢查補(bǔ)傳消息的消息 ID 生成規(guī)則確保每條消息 ID 全局唯一設(shè)備時(shí)間戳跳變設(shè)備端時(shí)鐘漂移或 NTP 失效檢查現(xiàn)場 NTP 服務(wù)改為邊緣服務(wù)器統(tǒng)一校時(shí)數(shù)據(jù)上報(bào)延遲增大網(wǎng)絡(luò)擁塞或邊緣服務(wù)器 IO 瓶頸查看消息隊(duì)列積壓數(shù)據(jù)量檢查磁盤和網(wǎng)絡(luò)帶寬利用率5.2 排查工具的合理使用建議排查物聯(lián)網(wǎng)問題用對工具往往能省一半時(shí)間。設(shè)備接入層問題首選抓包工具。比如設(shè)備通過 Modbus TCP 上報(bào)數(shù)據(jù)邊緣服務(wù)器這邊直接用 tcpdump 或 Wireshark 抓包把設(shè)備發(fā)出來的原始報(bào)文和解析后的數(shù)據(jù)模型對照很快就能定位是設(shè)備側(cè)異常還是轉(zhuǎn)換邏輯異常。這個(gè)習(xí)慣很值得養(yǎng)成我在現(xiàn)場解決過多次類似問題基本都是通過抓包對比一次性定位。服務(wù)端運(yùn)行狀態(tài)排查用 Prometheus Grafana 組合最直觀。我在邊緣服務(wù)器上部署了 node_exporter 和 JMX exporter把 CPU、內(nèi)存、磁盤 IO、網(wǎng)絡(luò)連接數(shù)、MQTT 連接數(shù)、消息積壓量這些指標(biāo)都采集起來做成 dashboard。頁面上一眼就能看出哪一項(xiàng)異常不用等到故障發(fā)生后再登錄服務(wù)器敲命令。日志是另一個(gè)重要突破口。邊緣服務(wù)程序要把日志分級打印info 級記錄正常流程warn 級記錄異常但可恢復(fù)的情況error 級記錄需要人工介入的事件。生產(chǎn)環(huán)境千萬別把調(diào)試日志全部打開日志量過大會嚴(yán)重影響系統(tǒng)性能。建議只有問題復(fù)現(xiàn)時(shí)動態(tài)開啟對應(yīng)模塊的 debug 日志問題定位完立刻關(guān)閉。5.3 日常巡檢與健康檢查清單為運(yùn)維減少麻煩我列一份日常巡檢清單可以做參考也可以按場景裁剪每臺邊緣服務(wù)器的 CPU、內(nèi)存、磁盤使用率是否在合理區(qū)間設(shè)備在線率是否穩(wěn)定波動超過 5% 時(shí)需要關(guān)注云端接收數(shù)據(jù)的延遲是否持續(xù)走高本地緩沖區(qū)的數(shù)據(jù)積壓量是否在下降邊緣服務(wù)器與云端的同步鏈路是否有連接重連記錄定時(shí)檢查設(shè)備認(rèn)證失敗日志防止非法接入嘗試檢查 OTA 升級任務(wù)的完成情況確認(rèn)失敗任務(wù)未卡住隊(duì)列這份清單我建議通過自動化腳本輸出成每日日報(bào)不用人工手動一條條去看??梢栽谶吘壏?wù)器上寫一個(gè)定時(shí)任務(wù)每天凌晨調(diào)用健康檢查腳本把結(jié)果推送到運(yùn)維群。發(fā)現(xiàn)問題再人工介入效率會高很多。6. 系統(tǒng)擴(kuò)展與架構(gòu)演進(jìn)建議6.1 從單邊緣節(jié)點(diǎn)到多邊緣節(jié)點(diǎn)的橫向擴(kuò)展單臺邊緣服務(wù)器的管理能力總是有限的。當(dāng)設(shè)備規(guī)模超過數(shù)千臺或者廠區(qū)之間距離很遠(yuǎn)需要把多臺邊緣服務(wù)器組成一個(gè)分布式管理集群。多邊緣節(jié)點(diǎn)的架構(gòu)里每臺邊緣服務(wù)器負(fù)責(zé)一個(gè)片區(qū)的設(shè)備片區(qū)之間不共享設(shè)備連接。設(shè)備歸屬關(guān)系由云端統(tǒng)一管理云端負(fù)責(zé)下發(fā)全局配置到各邊緣節(jié)點(diǎn)。這樣設(shè)計(jì)的好處是故障隔離一臺邊緣節(jié)點(diǎn)掛了只影響一個(gè)片區(qū)不會影響全局。節(jié)點(diǎn)之間的數(shù)據(jù)同步需要一種輕量級通信機(jī)制。我采用的方式是各邊緣節(jié)點(diǎn)定時(shí)上報(bào)設(shè)備摘要信息到云平臺云平臺匯總后通過存儲轉(zhuǎn)發(fā)的方案下發(fā)全量設(shè)備狀態(tài)視圖。簡單說設(shè)備狀態(tài)的“最終一致性”由云平臺保證各節(jié)點(diǎn)不需要實(shí)時(shí)同步全部數(shù)據(jù)避免網(wǎng)絡(luò)壓力過大。6.2 邊緣服務(wù)器的本地規(guī)則引擎與自治能力邊緣服務(wù)器不應(yīng)該只是一個(gè)數(shù)據(jù)轉(zhuǎn)發(fā)管道它更應(yīng)該具備本地自治能力。當(dāng)云端斷連或者云端響應(yīng)超時(shí)時(shí)邊緣服務(wù)器應(yīng)能獨(dú)立判斷一些簡單的業(yè)務(wù)規(guī)則并執(zhí)行。例如當(dāng)廠區(qū)溫度超過某個(gè)閾值時(shí)本地直接關(guān)閉制冷設(shè)備當(dāng)設(shè)備連續(xù)三次上報(bào)異常數(shù)據(jù)時(shí)本地重啟該設(shè)備的采集模塊。這些操作甚至不需要經(jīng)過云端因?yàn)樵诠I(yè)現(xiàn)場網(wǎng)絡(luò)延遲或斷連是家常便飯等待云端決策會錯(cuò)過最佳處理時(shí)機(jī)。實(shí)現(xiàn)本地規(guī)則引擎時(shí)要特別注意規(guī)則的可配置化。不要把規(guī)則寫死在代碼里最好提供一個(gè)規(guī)則配置界面或者配置文件運(yùn)維人員可以隨時(shí)調(diào)整閾值、動作、生效時(shí)間。我用的是 yaml 格式的規(guī)則文件加自動加載機(jī)制修改規(guī)則文件后服務(wù)自動加載不用重啟進(jìn)程。這種方案簡便有效也便于不同站點(diǎn)的差異化配置。6.3 數(shù)據(jù)治理與時(shí)序數(shù)據(jù)的二次價(jià)值邊緣服務(wù)器不僅是為云端減輕壓力更是現(xiàn)場數(shù)據(jù)的第一道“清洗車間”。在邊緣側(cè)完成設(shè)備級的數(shù)據(jù)質(zhì)量檢查、異常值剔除、單位換算、標(biāo)簽添加能明顯提升后續(xù)數(shù)據(jù)分析的可靠性。數(shù)據(jù)上云后這些經(jīng)過清洗的數(shù)據(jù)可用于預(yù)測性維護(hù)、設(shè)備能耗分析、產(chǎn)線效率評估等場景。很多項(xiàng)目在前期只關(guān)注實(shí)時(shí)監(jiān)控和告警忽略了設(shè)備產(chǎn)生的時(shí)序數(shù)據(jù)本身具有巨大價(jià)值。如果要讓數(shù)據(jù)產(chǎn)生更多價(jià)值建議從一開始就保留原始數(shù)據(jù)的完整采樣軌跡為后續(xù)算法模型積累足夠的歷史數(shù)據(jù)同時(shí)結(jié)合邊緣服務(wù)器本地算力在邊緣側(cè)直接運(yùn)行輕量級預(yù)測算法大幅度降低云端算力開銷。我在實(shí)際項(xiàng)目中加入了軸承振動分析的邊緣推理模塊。在邊緣服務(wù)器上運(yùn)行一個(gè)輕量級故障診斷模型對采集到的振動數(shù)據(jù)進(jìn)行實(shí)時(shí)特征提取和異常分類。當(dāng)模型判斷設(shè)備出現(xiàn)異常時(shí)立刻在本地上報(bào)告警并保存完整振動波形供后續(xù)深度分析。這個(gè)功能投入產(chǎn)出比極高遠(yuǎn)比單純的上報(bào)原始數(shù)據(jù)有業(yè)務(wù)價(jià)值。7. 長期維護(hù)中的幾點(diǎn)個(gè)人體會這套 IoT Edge Server 系統(tǒng)從設(shè)計(jì)、開發(fā)到上線運(yùn)維前后跑了快兩年。中間踩過很多坑也積累了一些不一定寫在官方文檔里的經(jīng)驗(yàn)最后分享幾個(gè)個(gè)人體會。設(shè)備接入層一定要留足可觀測性。我見過不少系統(tǒng)設(shè)備連接失敗時(shí)只打印一條日志沒有任何指標(biāo)上報(bào)。這個(gè)習(xí)慣在天災(zāi)人禍時(shí)非常吃虧設(shè)備批量掉線時(shí)如果連“掉線多少臺、掉線原因是什么”都不知道排查就像大海撈針。給接入層加上連接失敗原因計(jì)數(shù)、設(shè)備在線數(shù)、消息流量等基礎(chǔ)指標(biāo)這些投入不會白費(fèi)。邊緣服務(wù)器的網(wǎng)絡(luò)配置要簡單、可預(yù)測。不要使用動態(tài) IP 或者復(fù)雜路由規(guī)則設(shè)備接入的局域網(wǎng)網(wǎng)段要固定邊緣服務(wù)器到云端的出口走靜態(tài)路由避免重啟后網(wǎng)絡(luò)配置漂移導(dǎo)致設(shè)備失聯(lián)。我遇到過邊緣服務(wù)器重啟后系統(tǒng)自動獲取的 IP 與設(shè)備配置的服務(wù)器地址不一致所有設(shè)備全部離線恢復(fù)起來非常麻煩。OTA 升級流程要嚴(yán)禁“一把梭”。即使只有幾十臺設(shè)備也建議分批次升級。先升級一臺確認(rèn)設(shè)備運(yùn)行正常再放量升級 10%最后再全量。很多固件問題只在某些設(shè)備型號上觸發(fā)小批量灰度才能及時(shí)擋住問題擴(kuò)大。云端下發(fā)升級任務(wù)時(shí)要支持隨時(shí)撤銷未執(zhí)行的升級任務(wù)防止異常版本繼續(xù)擴(kuò)散。最后文檔和網(wǎng)絡(luò)拓?fù)鋱D要同步維護(hù)。分布式設(shè)備管理系統(tǒng)的拓?fù)浣Y(jié)構(gòu)包括設(shè)備-邊緣服務(wù)器-云平臺三層其中任何一個(gè)節(jié)點(diǎn)變化都要及時(shí)更新文檔?,F(xiàn)場排查問題時(shí)有一張準(zhǔn)確的網(wǎng)絡(luò)拓?fù)鋱D能節(jié)省大量時(shí)間。這些工作看起來并不起眼卻是整個(gè)系統(tǒng)長期穩(wěn)定運(yùn)行的基礎(chǔ)保障之一。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
韩国婷婷丁香五月| 九九这里都是精品| 久久久久久久久久久久久9| www.久久久.com| 亚洲色亚洲精品| 九九99精品免费播放| 五月婷婷影视| 婷婷五月丁香色色| 人人爱人人草| 久久丁香| 青草视频在线观看视频| 日日天天天| 婷婷五月成人| 五月丁香六月婷婷中文版| 天天做天天爽| 五月天成人在线播放丁香| 婷婷五月天丁香综合网| 97热精品| 色婷丨日丨天丨综合久久| 五月色婷婷影院| 亚洲AV日韩无码| 亚洲九区| 亚洲精品性色| 五月丁香啪啪综合网| 日本三级大片| 991自拍视频| 久久人妻高清中文| 伊人玖玖精品| 国精产品一区一区三区免费视频| 婷婷娱乐丁香综合网| 无码免费人妻A片AAA毛片西瓜| 日日天天操| 老美AA片| 五月丁香啪啪综合| 丁香伊人激情| 九久久精品视频99| 桃色成人网| 99热99干| 久久98| 五月丁香色色网| www.五月天婷婷姐姐| 欧美在线ee日韩| 这里只有精品视频在线| 五月丁香综合久久| www.maotanji.com| 日本婷婷激情四射中文字幕在线观看| 五月婷婷九九热| 99狠狠| 久久伊人大香蕉| 大香人妻| 久久久精品色| 九九婷婷五月天| 激情五月婷| 久9视频| 337p午夜影院| 另类激情码| 久久婷综合| 色婷婷五月综合网| 色之综合网| 青青草原福利在线| 亚洲激情淫网| 色婷婷A| 亚洲精品又粗又大又爽A片| 婷婷五月丁香伊人| 六月丁香五月婷婷首页| 婷婷五月天精品| www激情| 色久综合天天做视频| 99玖玖在线视频| 丁香网站| 欧美 日韩 成人在线| 狠狠色性| 99久久久免费| 婷婷va| 无码色| 成人丁香婷婷| 六月婷婷狠狠| 色婷丁香| 热99久| 免费看欧美成人A片无码| 亚洲AV色婷婷人禽五月天| 丁香5月激情网| ..真实国产乱子伦对白在线_欧| 中文成人在线| 天天综合社区| 天天插天天插天天日| 久久天堂女人| 婷婷色色综合| 香蕉久久国产AV一区二区| 成功精品影院| 激情五月天小说| 激情桃色网| 日韩久综合| 99国产精品久久久久久久久久久| 婷婷俺去也| 爱婷婷五月| 婷婷精品视频| 日本超碰在线| 九色在线观看91av| 婷婷五月欧美| 亚洲超碰中文字幕| 被男人添B超爽视频| 女同激情久久av久久| 99热综合在线观看| 激情五月天啪啪| 激情色色| 9久久久久| 亚洲欧洲中文日韩久久AV乱码| 亚洲成人av在线| 婷婷中文字暮| 色丁香婷婷| 婷婷丁香六月五月天| 婷婷五月综合社区| 九洲一级A片| 国产性爱大片久久| 五月婷婷婷色| 奇米色大香蕉| 4399精品一区二区| 人操91在线| 久久色六月| 婷婷五月天成人网| 亚洲欧洲另类图片| 成人国产欧美大片一区| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 五月亭大香蕉| 美国天天操无码| 成人无码精品1区2区3区免费看| 久久九九99| 桃色五月天| 99视频在线精品免费观看2| 欧美毛片www| 天天搞夜夜叫| 亚洲午夜精品久久久久久人妖| 另类激情综合| 亚洲精品乱码久久久久久按摩观| 激情五月天啪啪视频| 青青日韩| 91狼友视频网页更新| 99免费超碰在线| 免费视频WWW在线观看网站| 五月婷婷六月丁香| 色噜噜丁香| 少妇性按摩无码中文A片| 日日夜夜干| 丁香五月影院| 以及AA大片看看| 碰超亚洲| 91综合在线观看首页| 色色色1网址| 亚洲AV成人精品网站在线播放| 五月丁香综合精品欧美| 任你搞免费视频观看| 亚洲无码影片| AV动漫不卡无码免费| 99热综合在线| 丁香五月综合激情久久潮喷| 色婷婷五月天堂资源| 噜噜噜精品欧美成人在线观看| WWW.色婷婷.COM| 99热这里只有的精品视| 九九99久久| 五月天色区| 开心激情综合| 五月婷婷丁香综合| 五月综合婷婷开心网| 伊人九九九久| 这里只有精品日韩| 国产在线aaa片一区二区99| 五月丁香亚洲综合| 婷婷中文在线| 无码AV免费精品一区二区三区| 国产偷人爽久久久久久老妇APP| 五月婷婷啪啪啪啪| 在线观看的av| 噜综合| 狠狠 婷婷| www.五月天婷婷.com| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 成人久久天天x资源站| 天天干夜夜欢| 婷婷99中文字幕| www.99视频| 综合色久| a免费在线| 99干99| 91网站黄| 五月丁香六月婷婷综合伊人| 99九九在线观看免费| 激情五月天网| 久9综合| 日本色色视频| 99热只有精品综合| 婷婷婷婷色| 色99在线视频| 欧美黄色一级录像| 婷婷五月激情综合| 天插天啪天啪天啪| 激情五月天网站| 黄色三级日本| 日韩AV免费| 婷婷综合五月| 天天舔天天操| 激情五月丁香五月| AV动漫不卡无码免费| 丁香五月天欧洲在线| 中国激情网| 91色婷婷综合久久中文字幕二区| 日韩av免费版| 操笔无码| 色色色色色色色色综合网| 精品久久99| 爱久久小说下载网| 99成人网一区| 停停五月色宗合| a网站免费观看| 性爱111111| 亚洲综人色综网| 亚洲精品操一操、噜一噜、摸一摸、爽| 丁香五月婷综合网| 婷婷D区| 五月天天综合| 色色 亚洲| 99热这里| 婷婷五月天综合久久| 伊人丁香花综合影院| 91丨九色丨43老版熟女| 大香蕉人人网| 欧美久久婷婷| 七月婷婷色香综合网| 91.com男女操| 婷婷丁香五月天激情| 91蜜桃婷婷狠狠久久综合9色| 五月天色色色网| 97丁香五月| 五月天婷婷成人资源站| 夜夜穞天天穞狠狠穞AV美女按摩| 亚洲免费看片| 丁香五月天黄色片| 日韩欧美成人片| 天天操夜夜爽天天操| 激情五月深爱五月| 狠狠综合网| 超碰网站在线观看| 99热这里只有精品2| 综合色色网| 99精品一二三四视频| 亚洲激情综合免费| 日韩免费视频| 五月色导航| 成人丁香五月天| www.com亚洲网站在线免费| 天天摸夜夜爽天天做| 天天干一干| www.五月婷婷.com| 色婷婷操逼| 31色区视频免费看| 亚洲激情.com| 久久九九99.www| 亚洲综合婷婷| 在线观看国产高清视频免费网站| 色色丁香五月天| 亚洲综合五月天| 色操综合| 五月婷婷六月丁香激情| 激情久久月| 婷婷四色五月| 成人国产网| 亚洲色婷婷激情| 91啪啪视频| 婷婷激情五月综合| 操一区| 色婷婷综合亚洲| 天天射影院| 六月激情丁香一道本7777| 五月婷婷丁香综合网| 九热网站| 五月婷婷丁香俺日污视频| 99色爱| www天天干| 欧美搡BBBBB摔BBBBB| WWW.五月天9999| 丁香六月综合| 超碰人妻公开在线| 中文不卡一二区| 影音先锋男士资源网一区| 开心五月综合| 国产婷婷五月| 色婷婷香蕉| jiujiu热在线视频| 五月丁香综合激情| 五月噜噜| 岛国资源站| www.色婷婷| av在线激情| 免费视频无码| 久久99激情| 不卡在线视频| 免费亚洲婷婷| 中文字幕永久在线| 青青草免费公开视频| 婷婷综合网伊人| 五月婷婷久草| 亚洲性爱日韩无码| 午夜不卡久久精品无码免费| 婷婷性色| 亚洲性受XXXX五月丁香| 久久九网| 成人综合AV| 久久精彩综合视频| 成人五月天视频| 天堂网亚洲色图| 激情图片婷婷丁香五月| 色色网91| 99自拍视频在线观看| 丁香六月天色婷婷| 亚洲国产精品VA在线看黑人| 五月丁香婷婷免费视频| 久久这里这里有精品免费视频| 777色色色| 丁香六月 人妻| 色婷婷色综合久久精品V| 成人丁香五月| 第四色色六月色综合| 五月丁香婷婷五月色| 天天婷婷| 久久综合热17c| 久婷婷视平| 这里有精品| 婷婷激情五月吧| 综合久久狠狠| 玖玖无码中文| 五月天五月色| AV在线资源| 中文成人在线| 97人人操| 五月天电影网| 五月婷婷色影院| 国产成人精品一区二三区熟女在线| 婷婷婷婷婷开心无码播放| 五月丁香性爱| 无码激情AAAAA片-区区| 成人在线视频网| 色香五月天| 欧美久久网| 国产成人精品亚洲线观看| 5月婷婷激情在线| 日韩欧洲亚洲| 狠狠久久婷| 日本三级韩三级99久久| 开心激情网五月| 婷婷六月激情小说网| 六月色 亚洲| 91狠狠综合久久| 六月丁香五月激情婷婷| 天天做天天爱高潮片| 国产亚洲成人综合| 国产做爰视频免费播放| 岛国AV网| 五月天婷婷色色网| 激情五月狠狠| 丁香五月天色| 久久婷婷综合网| 日韩啪啪自拍| 一二线视频 另类| 五月婷婷综合激情| 一区二区乱码视频| 日日操日日撸| 五月香六月婷| 人妻videos人妻高清| 99久在线观看| 九九九九九九毛片| 亚洲无码免费看| EEUSS鲁片一区二区三区| 欧美激情五月天| 五月丁香婷在线| 人人爱干人人爱草| 久久XX| 99热久97| 无码少妇高潮喷水A片免费| 国产成人AV在线播放| 亚洲无码九九| 五月丁香婷婷人体| 成人精品一区二区三区四区五区| 天天射综合网站| 日本欧特黄色刺激一区影视久精品无码| 在线99热| 久婷五月| 婷婷91| 丁香五月激情综合| 天天干天天干天天干| 免費亭亭成人| 26uuu四色| 五六月婷婷| 五月丁香六月激情综合| 六月婷婷九月丁香| 美欧成人视频| 97婷婷狠狠久久综合9色| 五月婷婷先锋| 激情五月婷色| 99热官网精品在线| 9999热在线观看| 久久色午夜在线导航| 国产99久久久国产精品免费看| 婷婷久久五月天| 99热亚洲| 久久99性爱视频| 色综合久久久久久久久五月| 丁香综合网| 思思热99在线| 婷婷丁香五月亚洲综合网在线视频观看| 亚洲色域网| 丁香五月婷婷六月婷| 热久久99视频| 99视频精品全部免费 在线| 激情播丁香| 久久99热这里只有精品23| 99热香港| 色色亚卅| 97丁香五月| 色五月婷婷亚洲| 五月丁香中文| 色婷婷五月在线| 婷婷99狠狠| 99久精品视频| 久久色情| 97色吧| 国产肥白大熟妇BBBB视频 | 五月激情综合网| 青草五月天| 五月天婷婷色色| 99热日本| 激情6月| 91日本在线免费| 欧美日韩日韩成人| 亚洲综合色色| 婷婷丁香第一页| 欧美综合激情五月丁香| 久久九九在线视频| 热99在线精品| 色色色综合色| 六月婷婷综合网2| 伊人成综合五月婷婷| 色九九九九| 婷婷情色五月天| 色综天天综合| 天天精品视频在线观看视频| 日本久久人| 九九精品热| 国产亚洲精品久久久久久豆腐| 在线18av | 在线sebiav精品视频| 丁香六月婷婷综合啪啪| 色欲婷婷夜夜| 99热亚洲精品| 亚洲色综合| 99精品偷自拍| 激情五月份婷婷| bukadeavzaixian| 久久婷婷五月丁香网| 777色婷婷爱五月| 五月天婷婷丁香视频| 亚洲免费99| 丁香婷婷色情| 久久精品A片777777| www.久久久久久久久久久| 永久免费视频| 久久99这里只有精品视频| 2025色婷婷| 九九伊人网| 亚洲免费综合一区| 91成人视频| 五月激情综合五月| 99热97| 另类小说五月天| 激情五月成年| 大香蕉五月天| 深情五月天| 色婷婷视频在线| 国内自拍1区| 色五月色五天色情网| 啪啪激情网站| 婷婷五月天av| 艹色18p| 丁香婷婷久久| 五月天激情小说网| 亚洲五月六月婷婷| www.天天色综合| 天天婷婷色六月| 色婷婷婷婷| 天天色中文字幕女优AV| 秋霞黄色一级久久| 婷婷伊人五月天| 五月婷婷啪啪| 热久久色| 激情婷婷五月天在线观看| 影音先锋一区| 97婷婷丁香五月综合| 婷婷色婷婷亚洲成人| 五月丁六月香| 99热网精品| 99在线视频女女视频| 色婷五月天亚洲| 国产成人99久久亚洲综合精品| 激情av| 大香蕉伊在| 亚洲中文丁香| 婷婷久久亚洲| 超碰京东热av男人的天堂| 国产五月丁香在线| 色五月婷婷中文字幕| 四川BBB搡BBB爽爽视频| 亚洲色色色色色| 美国十月色婷婷在线观看| 婷婷综合九色伊人| 天天色综合色| 久久久久久欧美精品se一二三四| 久久婷婷五月综合色奶水99啪| 日日肏夜夜干| 熟妇人妻中文字幕无码老熟妇| 亚洲成人影视在线观看| 日亚二欧美| 婷婷丁香五月社区亚洲| 6080av| 天天舔天天爽| 色六月丁香婷婷啪啪啪| 久久精品99久久久久久| 婷婷五月天综合久久日| 五月婷婷激情69| 香蕉综合网| 婷婷综合| 色五月天婷婷| 中文网AV| 丁香六月在线| 热中文字幕| 国产 亚洲 在线| 久99在线视频| 六月99天天婷婷激情综合| 婷婷丁香五月色偷偷| 婷婷五月天开心网| 超碰成人AV| av人人操| 大香蕉 婷婷| 五月婷婷六月奇米网丁香| 国产日产亚洲系列最新| 婷婷激情丁五月| 婷婷成人基地| 中文字幕久久一区二区三区| 亚洲AV成人精品网站在线播放| 激情婷婷五月天在线观看| 久久中文网| 丁香五月婷在线| 中文字幕成人版| 思思99精品视频在线观看| 五月天婷婷激情| 天天爽夜夜爽夜夜爽精品| 久久久久er热| 五月天色狠狠| 国产午夜伦鲁鲁| 天天爱天天做综合| 五月激香蕉网| 天天视频亚洲| 五月天丁香婷婷社区| 五月天另类视频| 日韩黄色AV无码| 99在线精品视频免费观看20| 色久99| 激情www| cao久久| 五月婷婷丁香五月| 色情五月综合婷婷| 这里只有精品视频| 久久在这里有精品| 色色色色色九九九九九| 色婷婷视频在线| 久久玖玖综合| 思思热精品在线| 欧美成人热| 激情五月天婷婷播播久久综合91| 五月天成人小说| 91色噜噜狠狠狠狠色综合| se99视频| 99热这里只有精品一区| av无码电影| 亚洲激情婷婷| 天天射天天射一道本日本社区| 99操网站| 五月天综合久久| 这里只有视频精品| 人人操人人妻| 五月色网| 天插天啪天啪天啪| 精品99在线观看| 久久亚洲激情五码| 99精品在线下载| 日韩无码性爱| jiZZdr| 天天干天天射综合网| 热热99爱爱| 99精品视频在线观看| 婷婷五月天亚洲图片| 日韩ww| 九九热最新| 秋霞黄色一级久久| 欧美日韩一区二区三区四区| 丁香五月影院| 成人色色视频| 色999亚洲人成色| 久久您您综合网| 99热精品观看| 婷婷五月婷婷五月天| 九九99久久| 九九机热| 色婷婷五月天中文字幕| 五月黄色婷婷| 香蕉婷婷| 欧美va在线观看| 另类天堂| 五月婷天堂视频| 99在线免费观看| 激情综合激情综合| 另类小说五月天激情| 另类图片激情五月| 丁香婷婷六月| 久久久五月天| 伊久久婷婷| 国产片色| 开心五月六月婷婷| www一起操在线观看| 五月天激情小说| 五月丁香六月欧美综合网站| 婷婷深爱五月天在线| 影音先锋毛片网站| 丁香影院五月综合| 亚洲精品久久久久久久久久吃药| 九九热大香蕉| 亚洲五月色| 玖玖资源部在线播放| 色激情五月| 国产精品91抖高| 亚洲日日日| 亚洲成人av在线播放| 欧美色骚婷婷五月天| www.久久爱.com| 美女被操一区二区| 熟妇无码乱子成人精品| www.婷婷| 五月丁香激情综合啪啪| 亚洲天堂爱爱| 久久婷婷五月综合| 久久aaaa片一区二区| WWW色综合| 久久久久久综合88| 午夜丁香综合婷婷| 99久久五月天| 极品少妇婷婷五月| 日本三级第一页| 五月婷婷六月丁香| 婷婷久久五月天| 婷婷五月激情小说| 涩婷婷五月天| 五月婷婷性| anquye五月| 能看的av片| 第四色色六月色综合| 天天插天天插天天操| 色久影院| 台湾无码A片一区二区| 丁香色婷婷色手机免费在线| 婷婷丁香六月| www.99在线| 99久久99久久综合| 久久综合干| 丁香激情网| av人人干| 激情五月婷婷视频一区二区三区| 狠狠干婷婷| 天天综合中文| 五月丁香六月在线| 天天天综合网| 日韩视频99| 五月天婷婷在线播放| 色婷婷裸体色性在线| 精久久色| 亚洲色色香蕉| 九九视频这里只有精品| 99精品在线观看视频| 五月婷婷六月综合| 婷婷色导航| 狠狠高潮精品亚洲1| 婷婷婷婷婷婷婷五月丁香| 色婷綜合网| 呦呦AV| 伊人狠狠干| 天天爽天天干天天| 久久a热| 天天爽夜夜操| 综激情网| 79精品视频在线观看,| 狠狠综合| 人人色人人弄人人操| 色婷婷中文| AV网址大全在| 九久久精品视频99| 91精品国产91久久久久青草| 婷婷五月激情四月综合 | 色播jjjj| 超级碰碰一区| 色99自拍| 丁香五月天无码AV| 色婷婷婷综合五月天| 99九九视屏| 五月婷精品| 天天爽天天操| 亚洲人人操| 亚洲精品电影| 丁香网五月天| 日韩性爱无码| 五月婷婷激情| 99精品色色| 色婷婷五月天综合网| 四色五月婷婷| 120分钟婬片免费看| 五月丁香在线| 九九色婷婷Av| 日本综合色色| 激情婷婷丁香五月| 婷婷五月天开心网| 26uuu成人网| 国产黄大片在线观看画质优化| 色婷婷色和| 国产欧美第五十五页| 激情综合五月.....| 五月天激情子轮| 五月综合丁香婷婷| 婷婷精品| 91久久九九| 内射激情在线| 五月婷婷开心网| 日本天天色| 日本黄色在线观看| 天天网站天天爽| 91无码高清| 日韩人妻AV在线| 在线看黄色| 99热精品在线| 五月激情网络| 久草A片| 亚洲精品久久久久AV无码| 人妻五月天激情开心网| 9|无码久久久久久| 中文字幕 久久9999| 七七色色综合| 四虎国产精品永久在线国在线| 激情五月婷婷色综合| 久久综合五月天| 狠狠色狠狠色综合日日91| 深爱婷婷网| 久久精品99国产精品日本| 欧美婷婷丁香五月| caopeng超碰| 人人色性网| 日本色婷婷| 国产肥白大熟妇BBBB视频| 日本人人草草| 操操操操操电影网| 五月婷亚洲精品AV天堂| 99久久综合狠狠综合久久| 婷婷五月天综合网| 欧美成人A片AAA片在线播放| 天天天天操| 中文字幕成| 国产一级婬片毛片| 丁香婷婷色五月| 五月天婷婷涩涩| 99色看这里只有精品| 91se在线观看| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 五月婷婷导航| 亚洲综合五月天婷婷| 99综合网| 成人va视频| 九九久久9 9在线观看| 99五月丁香丁| 久色激情| 五月色婷丁香| 丁香五月天五码婷婷| 天天日,天天插| 久久九九re热| 丁香六月无码| 日本三级成人秘书精品片| 五月天社区| 天天射影院| 丰滿爆乳一区二区三区| 这里只有精9| 色婷网| 狠狠综合色网| 精品A√| 五月天久久色| 天堂爱爱| 91九色首页| 9久视频| 九月婷婷激情| 任我干视频在线观看| 日韩成人网站精品久久大全| 丁香九月激情| 五月丁香激情综合六月涩涩爱| 亚洲激情免费视频观看| 激情婷婷丁香| 99热免费网站| 99网| 色999五月色| 超碰免费大香蕉| 伊人久久中文网| 六月婷婷在线| 激情啪啪五月天| 午夜丁香五月天综合| 丁香五月天久久| 亚洲小说五月婷婷| 九九伊人网| 伊人久久婷| 五月综合无码| 人妻免费网站| www.五月婷婷久久.com| 狠狠精品干练久久久无码中文字幕 | 婷婷五月天大香蕉| 蜘蛛女侠2003满天星免费观看| ztEJj| 五月婷婷丁香综合| 日韩成人影片在线观看| 欧美日韩AAAA| 天堂网色婷婷| 激情五月丁香亭亭| 久久精品噜噜噜成人A∨色欲| 欧美成人A片AAA片在线播放| 亭亭丁香97| 久久久久人妻精品| 9999热在线观看| 五月丁香综合激情| 五月丁香少妇| 99狠狠色| 色欲久久综合| 婷婷丁香18| 天天爽天天爽天天爽天天爽天天爽天天爽天天| 99re8在这里只有精品| 俺来也综合网精品一区| 五月婷婷无码| 久久久区区一久久久久久| 操逼电影免费看| 丁香五月电影| 97碰成超视频免费视频| 超碰日日操| 色婷婷久久| 色婷婷导航| 激情五月婷婷综合网| 九月丁香婷婷网| 野战毛片三一3| 婷婷九月亚洲| 色婷婷五月综合| 丁香五月在线观看综合| jiujiuxiangjiaowang| 思思热精品在线视频| 国产精品色婷婷久久久精品| 色婷操逼| 婷婷九月激情| 玖玖综合色区在线观看| 激情六月婷婷| 激情四射五月天| 成人做爰A片免费看视频| 激情网婷婷婷| 久久激情天堂| 夜夜操狠狠操| 五月婷婷色吧!| 超碰在线观看成人视| 天天肏视频| 色婷婷精品小视频| 91九九热| 九九精品亚洲| 丁香蜜臀黄色婷婷五月天| 99se丁香| 国产三级片91| 狠狠88综合久久久久噜噜噜| 日逼影音先锋AV男人资源站| 五月丁香啪啪婷婷| 高清激情av在线观看| 亚洲无码 图片区| 激情网五月天| 激情深爱综合| 综合久久激情久久| 91要啪| xx综合网| 另类国产区| 99自拍视频| cc精品国产性传播| 亚洲天堂热| chaopengdaxiangjiao| 激情五月天综合网| 婷婷丁香成人在线视频| 97丁香视频| 97色色网| 色色亚洲五月天| 婷婷六月色| 五月丁香久久综合91| 国产9色在线/日韩| 玖久精品视频9| 五月天伊人综合| 天天激情站| 成人 在线 日韩| 9999色色色色| 九九99精品| www.色欲丁香婷婷| 五月色婷婷综合| 天天爽天天日天天舔| 青草青草久热这里只有精品| 久久久.www| 99热思思| 超级碰碰碰97免费| 久久久久人无码人妻| 色欲色天天香综合| 最熟少妇乱码| 色婷婷丁香五月天| 久久玖玖综合| 色婷婷五月天天天干天天操天天爽| 色综合综合色| www网站在线观看| 国产成人一区二区三区在线观看| 色五月婷婷影院| 甈你aaaaa| 大香蕉婷婷丁香天堂AV| 99在线免费视频播放| 综合久久99| 爆乳熟妇一区二区三区爆乳| 操你av| 丁香五月六月久久综合| 国产精品99久久久久久久女警| 殴美日韩成人| 亚洲色 视频| 丁香九月婷| 天天透天天干| 97人人妻人人艹| www.色五月| 丁香九月婷| 婷婷精品性视频| 色视频2025| 久99久精品| 9999综合99综合人| 嫩草极品| 婷婷丁香熟妇综合网| 9l视频自拍9l九色9l成人| 亚洲射激情| 伊人五月天综合网| 99热综合在线| 久久日韩婷婷五月| 99九九这里有免费视频| 超碰在线99| 丁香伊人网| 5月婷婷6月六月丁香| 久久婷婷五月天激情唯美| 狠狠综合| 99re在线精品视频| 超碰人人操| 亚洲成人综合网在线免费观看| 欧美色综合天天久久综合精品| 综合婷婷| 九月婷婷色色| 久久婷婷五月天| 五月天婷婷激情小说电影| 天天插夜夜爽| hd五月婷婷在线| 99色最新在线视频| 婷婷色婷婷| 91爱啪啪| 另类图片色五月| 久久看婷婷| 婷婷色吧| 色综合香蕉| 99热99| 99re免费视频| 婷婷干六月综合旧址| 国产肥白大熟妇BBBB视频| 337p大胆噜噜噜噜噜91Av| 超碰色综合| 91丁香五月| 色婷婷六月天| 久久久91| 婷婷五月激情网| 99这里| 日韩操人| 色色国产| AV片一区在线观看| 婷婷丁香熟女| 婷婷激情综合网| 国产精品涩涩涩视频网站| 亚洲五月天激情| 五月天婷婷免费| aa久久| www.yw尤物| 熟女激情五月天| 99久久这里只有精品| 五月天激情婷婷| 九九色热| 国产欧美性成人精品午夜| 日韩在线观看网址| 色图亚洲91| 久久久潮喷-久久久九九-成人AV| 99精彩视频在线观看| 加勒比久热| 婷婷五月色情| 日韩精品999| 久久久中文| 怡红院 久久| 综合激情网五月激情| 桃色激情婷婷伊人网| 色5月婷婷| 饮料下药迷倒漂亮女同事强干| 激情婷婷丁香五月天| 日日夜夜婷婷| 99国产精品久久久久久久久久久 | 牛牛碰免费| 亚洲开心激情网| www.久久av.com| 五月丁香亭亭| 99在线免费观看| 久久久av久av久片一区二区| 久久五月热| 丁香婷婷六月天| 婷婷丁香77777| 永久地址 色| 99视频只有精品| 婷婷精品在线| 大地资源色婷婷视频在线| 操B无码视频国语| 亚洲av无码精品色午夜| 97综合在线| 色五月丁香激情| 极品人妻VideOssS人妻| 噜噜噜狠狠色综合| 亚洲最大成人综合网720P| 九九热在线视频观看免费10| 久久加勒比| 久热久色| 99色亚洲| 久99| 激情综合丁香六| 欧洲S级在线观看| 五月天综合缴情网网站0| 九九色热视频| 丁香九月婷婷综合| 五月天综合视频| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV| 婷婷五月天AV在| 五月天·www·com| 99久久玖玖| 色丁香久久| 1024成人免费看| 国产精品人妻欲求不满| 五月婷婷丁香啪啪| 婷婷五月色亚洲| 成人亚洲精品| 琪琪色网址| 五月婷婷久久综合| 丁香婷婷综合激情五月色| 人人操AV| 久久久天堂国产精品女人| 99riAv1国产在线观看| 天天艹夜夜爽| 欧美色性色好| www.激情| 激情四射婷婷色色色| http://www.lingjunshare.com/| 色色色色综合| www.色婷婷| 九九人人自拍| WWW.开心五月天.COM| 亚洲激情综| 性爱网五月婷婷| 亚洲五月婷| 色天天狠狠干| 超碰二区| 在线不卡的视频| 日日日日做夜夜夜夜无码| 精品人妻一区二区三区四区不卡在| 日本欧美成人片AAAA| 黄色片精品| Www.狠狠| 伊人综合网站| 一级性感黄色内射视频| www,26uuu,c0m,色情| 大香蕉婷婷五月天| www.com在线操视频免费观看| 丁香六月狠狠| 91丨九色丨熟女| 综合在线观看99| 五月丁香婷婷无码中文| 五月天丁香成人| 99天天操夜夜操| 乱女乱妇熟女熟妇综合网站| 在线观看的av| 国产精品成人网站| 丁香色六月婷婷| 中文字幕视频在线播放| 96色婷婷| 99爱视频免费看| 99免费视频| 九九av| 欧美天堂久久| 欧美日本97| 丁香五月在线观看综合| 人人摸人人| 99久久久免费| 国产VA亚洲VA96| 中国丰满熟女A片免费观| 狠狠做五月| 国产午夜精品一区二区| 九九精品免费视频99| 日韩成人五月天| 91色久| 丁香婷婷五月综合色情| 欧美精品18| 97男人天堂| 五月丁香六月停停| 99色色网| 天天情天天狠天天透| 亚洲另类婷婷综合| 丁香五月777| 丁香五月偷拍| 嫩草哈哈操| 天天操狠狠操| 五月婷婷色在线| 丁香五月激情天AV无码| 久久三级视频| AV网站免费在线| 五月婷啪| 五月丁香六月婷婷久久肏| 可以直接看的av| 色色色五月天激情资源| 亚洲成人在线五月天| 色色色色色色综合网| 丁香五月婷婷亚洲综合精品在线| 可以免费观看的AV| 丁香五月激情天AV无码| 国产在这里只有精品| 国产激情久久| 婷婷五月天福利| 九九这里只有精品在线视频| 欧美三级欧美一级| 大香蕉婷婷久久| 色婷婷五月色| 五月婷婷综合激情网| 激情视频综合| 91婷婷搞| 高清视频一区| 五月天综合网| 99色中文| 大香蕉久艹| 日韩啪啪视频| 99热精品99| 五月亭亭网成人在线视频| 色婷婷AⅤ| 91碰超| 亚洲成人影视在线观看| 欧日韩成人| 五月丁香啪啪网| 99热这里精| 91人久| 婷婷开心久久| 国产亚洲av片| 色色色com| www98日本小时间到了| 狠狠色丁香婷婷久久综合| 毛片新网地| 激情五月天电影| 狠狠色丁香婷婷基地| 97色精品视频 | 日韩操| www.色色com| 日韩啪啪视频| 开心六月丁香五月婷婷| 激情五月小说婷婷| 亚洲啪啪网| 色婷网| 99热香港| 综合久久激情久久| 日狠狠| 激情久久综合| 久久人妻熟女一区二区| 丁香五月在线观看完整版| 国产在线视频1234| 开心五月综合激情网| 天堂爱爱| 男女激情久久| 婷婷五月,偷窥偷拍网| 激情综合区| 国外亚洲成AV人片在线观看| 岛国av电影网站| 爆乳熟女-区二区三区| 欧美久久婷婷| 激情综合网婷婷久久| 亲子乱av一区二区三区的| av色色国产| 996热| 97caop| 丁香五月激情综合| 国产色丁香| 91狼友视频在线观看| 五月丁香激情综合啪啪| 免费色色色| 久久香视频| AV操操操| 婷婷五月天综合蜜桃| 加勒比久热| 欧美在线视频99| 激情网开心网| 在线资源av-超碰中文在线-成人AV| 久久婷婷伊人| 五月婷婷激情69| 九九色综合网| 色狠狠色噜噜AV天堂五区| 五月天激情国产综合婷婷婷| 蜜乳9188| 五月激情久久| 六月 丁香 视频| 岛国av电影网站| 亚洲mm免费| 婷婷天堂综合| 亚洲激情免费视频| 99精品久久久| 果冻传媒A片一二三区| 色色色国产| 丁香五月在线看| 99久久久久| 丁香六月欧美| 五月天激情四射| 五月久视频| 综合久色五月| 狼人婷婷久久| 亚洲中文字幕在线观看| 五月天开心色情网| 婷婷五月天首页| 久久五月婷婷电影| 极品少妇婷婷五月| 开心五月婷婷| 天天婷婷色六月| 激情99热| 六月丁香婷婷综合狠狠爱夜夜爱| 99热8在线| 色久影院| 婷婷六月天亚州| 色五月天影视| 亚洲成人AV在线| 国产黄色在线观看| 久久综合性| 色情五月停停丁香| 精品国产人人爱人人| 五月丁香婷婷色色色| 亚洲区在线| 色婷婷成人做爰A片免费看网站 | 婷婷五月超碰| 伊人无码高清| 在线视频另类| 久久久免费精彩视频| 九九久久99| 婷婷 久综合| 亚洲情色一区| 91丨九色丨老农村| 久草丁香婷婷1024| A片试看120分钟做受视频红杏|