欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

以太網(wǎng)溫濕度采集的斷線重連與斷點續(xù)傳機制解析

以太網(wǎng)溫濕度采集的斷線重連與斷點續(xù)傳機制解析 先講一件真事。前年我負責一個藥品陰涼庫的溫濕度監(jiān)控改造采集器用的是帶以太網(wǎng)口的嵌入式設備上報頻率30秒一次。上線當天一切正常結果第二天凌晨三點被值班電話吵醒——庫房溫濕度曲線從零點開始出現(xiàn)一整段空洞。排查到最后原因是庫房配電柜旁邊的一根網(wǎng)線被叉車壓斷設備斷線后又沒有重連和數(shù)據(jù)補傳邏輯網(wǎng)絡恢復后只能干瞪眼監(jiān)控大屏上永遠是“離線”。這個項目之后我徹底想明白一件事以太網(wǎng)溫濕度采集通訊難點從來不在“讀取傳感器”和“把數(shù)據(jù)塞進TCP包”而在網(wǎng)絡鏈路不可靠時如何保證數(shù)據(jù)不丟、鏈路自愈、歷史可補。本文要聊的是一套實際落地在溫濕度采集器上的通訊機制設計涵蓋多協(xié)議支持Modbus TCP、MQTT、HTTP、斷線重連狀態(tài)機、斷點續(xù)傳緩存與確認機制以及現(xiàn)場踩過的那些文檔里不會寫的坑。適合正在做環(huán)境監(jiān)控采集器、IoT網(wǎng)關、工業(yè)數(shù)據(jù)上云的嵌入式或后端工程師參考。1. 溫濕度采集通訊的需求拆解為什么“低頻數(shù)據(jù)”反而最怕斷線1.1 數(shù)據(jù)的“低頻高價值”特性決定了通訊設計方向溫濕度數(shù)據(jù)和視頻流、高頻振動數(shù)據(jù)完全不同它的采集頻率通常很低短則1秒一條長則5分鐘一條。單條數(shù)據(jù)本身只有幾十字節(jié)一年滿打滿算也就幾百萬條算下來占用的帶寬和存儲幾乎可以忽略不計。但恰恰是這種低頻數(shù)據(jù)對“連續(xù)性”的要求高得嚇人。一個醫(yī)藥冷庫的溫度標準可能是2℃到8℃一旦溫度越界監(jiān)管要求你必須能證明“從什么時候開始越界、持續(xù)了多久”。如果中間斷了一小時數(shù)據(jù)審計人員根本不會認可“這段時間大概率沒問題”這種解釋。數(shù)據(jù)缺失記錄缺失管理事故。所以溫濕度采集通訊系統(tǒng)的第一設計原則從來不是“把單條數(shù)據(jù)發(fā)出去”而是“保證端到端的數(shù)據(jù)最終連續(xù)、完整、可追溯”。這一點和常見的文件傳輸有本質(zhì)區(qū)別文件傳丟了可以重新傳整個文件但溫濕度數(shù)據(jù)如果斷了幾小時重新生成這幾小時的“假數(shù)據(jù)”根本不可能。唯一的辦法是在源頭把它緩存下來等待鏈路恢復后補傳。1.2 一條完整鏈路中哪些環(huán)節(jié)最容易斷一個典型的以太網(wǎng)溫濕度采集系統(tǒng)設備端到服務器之間隔著好幾層采集器自身的以太網(wǎng)PHY和協(xié)議?,F(xiàn)場的交換機或路由器跨網(wǎng)段時的防火墻和NAT設備服務器端的監(jiān)聽服務進程每一層都可能出問題。我在多個現(xiàn)場踩到過這幾類典型的斷鏈交換機和設備之間自協(xié)商失敗網(wǎng)口指示燈亮著物理層顯示link up但設備收不到任何ARP響應路由器NAT會話超時默認空閑超時一般是300秒。設備保持TCP連接不發(fā)數(shù)據(jù)連接被靜默拆除設備端還以為自己在線服務器端服務重啟或部署更新舊連接沒有正常發(fā)FIN包設備端半開連接直到自己發(fā)數(shù)據(jù)收到RST才反應過來供電不穩(wěn)導致采集器反復重啟尤其是現(xiàn)場用POE供電但交換機POE預算不足的情況這些斷鏈場景有一個共同特點它不是你關掉設備電源那種明確的“下線”而是鏈路狀態(tài)和設備本地狀態(tài)不一致。處理這種“半開連接”和“靜默失效”正是斷線重連機制要解決的問題。1.3 “重連”和“續(xù)傳”必須配套設計缺一個都白搭我最初接手這個項目時只想著加一個斷線重連。后來發(fā)現(xiàn)只加重連根本沒用。鏈路恢復后設備確實能重新連上服務器但它只會把“當前這一條”數(shù)據(jù)發(fā)上去。斷線期間積累的數(shù)據(jù)全部留在本地如果不做續(xù)傳歷史空洞照樣存在。反過來如果只做續(xù)傳不做重連那緩存里的數(shù)據(jù)永遠沒有機會傳出去。所以這兩者是一對閉環(huán)設計斷線重連負責“把通道重新建立起來”斷點續(xù)傳負責“把通道斷開期間欠下的數(shù)據(jù)補上去”。沒有續(xù)傳重連只是表面在線沒有重連續(xù)傳連觸發(fā)的機會都沒有。這套設計還有一個隱含要求斷線期間設備必須持續(xù)在本地采集并緩存數(shù)據(jù)而不是停下來等待。設備的本職是“采集”通訊只是“運輸”。運輸斷了采集不能斷。2. 多協(xié)議選型Modbus TCP、MQTT、HTTP不是排他關系2.1 為什么一個采集器要支持多協(xié)議有的工程師會問直接定一種協(xié)議不就行了為什么要做多協(xié)議答案在兩個場景里很清楚。第一個場景是存量設備集成。很多現(xiàn)場的PLC或者老式環(huán)境監(jiān)控主機只支持Modbus TCP你新上的溫濕度采集器如果不同時支持這個協(xié)議就只能另配協(xié)議轉換網(wǎng)關成本和故障點都增加。第二個場景是服務器端不固定。同一個采集器可能今天接的是客戶自己的SCADA系統(tǒng)明天被接到云端IoT平臺兩邊的協(xié)議棧完全不一樣。與其給每個項目都定制固件不如在設備端做一個可配置的協(xié)議層。這里要強調(diào)一個原則多協(xié)議指的是“同一份數(shù)據(jù)按配置選擇通道和格式”而不是每個協(xié)議維護一套獨立的數(shù)據(jù)邏輯。協(xié)議只是編碼和傳輸方式數(shù)據(jù)的來源、緩存、補傳邏輯必須統(tǒng)一。2.2 Modbus TCP兼容存量工業(yè)設備的最穩(wěn)選項Modbus TCP在工業(yè)場景里的地位不用多說結構簡單報文是純粹的寄存器讀寫。溫濕度傳感器掛到Modbus TCP上通常就是把溫度和濕度映射到兩個保持寄存器比如溫度寄存器地址0x0001濕度0x0002單位精確到0.1。從通訊機制設計來看Modbus TCP有幾個特點需要注意它是一種“請求-響應”協(xié)議服務器輪詢設備。設備端不能主動推數(shù)據(jù)只能等PLC或上位機來讀默認端口502報文有MBAP頭功能碼數(shù)據(jù)CRC在TCP模式下是不需要的它沒有應用層心跳機制連接斷開只能靠TCP本身去判斷這帶來一個設計上的麻煩如果采集器作為Modbus TCP的Server斷線重連邏輯幾乎沒法做因為主動發(fā)起連接的是對方。所以在多協(xié)議架構里Modbus TCP更適合作為“被動服務”存在PLC周期性來讀寄存器我們保證寄存器的值永遠是最新的同時把每次被讀走的記錄標記為已同步。真正需要主動上報和斷點續(xù)傳的業(yè)務走MQTT或HTTP通道。2.3 MQTT給云端平臺準備的默認通道MQTT是這批溫濕度采集器里我最推薦的上報協(xié)議主要原因有三個一是始終保持長連接但極其輕量。一條溫濕度數(shù)據(jù)轉成JSON后可能才100字節(jié)不到加上MQTT的固定頭開銷也就幾個字節(jié)非常適合小帶寬場景。二是QoS等級可以匹配不同的可靠性要求。QoS 0最多一次QoS 1至少一次QoS 2恰好一次。對溫濕度數(shù)據(jù)來說用QoS 1很合適允許重復但絕不能丟重復由服務器端去重即可。三是天然適合多個訂閱方。同一個溫濕度主題既可以給監(jiān)控平臺訂閱也可以給告警服務訂閱互不影響。不過MQTT有一個需要特別注意的點它自帶的心跳機制是PINGREQ/PINGRESP間隔由KeepAlive參數(shù)控制默認可以設到60秒甚至更長。但實際網(wǎng)絡里NAT會話超時、交換機老化時間都可能比這個值短。我的建議是在公網(wǎng)或跨NAT場景下KeepAlive不要超過30秒如果用的是4G或者WiFi這類不穩(wěn)定鏈路甚至可以縮到15秒。代價只是每15秒多幾個字節(jié)的PING包完全值得。2.4 HTTP作為兜底通道簡單但別當主力HTTP上報的好處是接入成本極低服務器端隨便寫個接口就能收。缺點是開銷相對較大而且HTTP是典型的請求-響應模型設備要主動POST服務器沒法主動下發(fā)控制指令至少得用輪詢配合。在這個項目里我把HTTP設計成“兜底通道”觸發(fā)條件有兩個MQTT連續(xù)多次連接失敗確認當前網(wǎng)絡到MQTT broker不通設備檢測到服務器端HTTP接口可達但MQTT端口被運營商或防火墻屏蔽這種場景在真實項目里遇到不止一次。某些客戶的網(wǎng)絡安全策略非常嚴格只放行了80/443端口其他端口一律不通。這時候MQTT走不了但HTTP還能用數(shù)據(jù)就不至于完全斷供。HTTP斷點續(xù)傳的實現(xiàn)也比較直白設備把緩存數(shù)據(jù)分批POST到服務器的補傳接口每批附帶起始序列號和結束序列號服務器返回ACK。這里要特別注意HTTP連接的復用如果一個一個POST每次都要重新建TCP連接效率太低最好是同一個連接內(nèi)連續(xù)上傳多批數(shù)據(jù)傳完一批再請求下一批。2.5 協(xié)議層之上的統(tǒng)一數(shù)據(jù)抽象多協(xié)議共存最怕的是各寫各的最后邏輯亂成一團。我在設計時把所有協(xié)議收斂到同一個統(tǒng)一數(shù)據(jù)模型上設備ID全局唯一出廠寫入序列號單調(diào)遞增本地持久化是斷點續(xù)傳的游標基礎采集時間設備本地時間戳單位秒溫度值、濕度值浮點采集質(zhì)量標記正常/越界/傳感器異常不管是走MQTT、HTTP還是Modbus寄存器的值底層都從這個統(tǒng)一模型取出。緩存和續(xù)傳也只針對這個模型操作和具體協(xié)議無關。這樣后期再加一個CoAP或者WebSocket完全不需要動緩存層的代碼。3. 斷線重連機制設計狀態(tài)機、心跳與退避策略3.1 重連的本質(zhì)是連接狀態(tài)機很多初學TCP編程的人會犯一個錯誤把重連邏輯做成一個while循環(huán)連不上就sleep一秒然后繼續(xù)連。這個寫法在線程里湊合能跑但一旦涉及連接狀態(tài)變化、數(shù)據(jù)緩存、補傳觸發(fā)這些聯(lián)動邏輯就會變得不可維護。正確做法是把連接生命周期抽象成一個狀態(tài)機至少包含四個狀態(tài)IDLE初始狀態(tài)當前沒有任何連接CONNECTING正在嘗試建立連接CONNECTED連接已建立可以收發(fā)數(shù)據(jù)WAITING_RETRY連接失敗或斷開正在等待下一次重試狀態(tài)轉換的決策邏輯大致是IDLE收到啟動指令進入CONNECTINGCONNECTING成功進入CONNECTED同時復位連續(xù)失敗計數(shù)CONNECTED檢測到心跳超時或socket異常進入WAITING_RETRYWAITING_RETRY的等待計時結束回到CONNECTINGCONNECTING失敗記錄失敗次數(shù)退出WAITING_RETRY狀態(tài)機的最大好處是每一個狀態(tài)下的行為都是確定的不會出現(xiàn)“明明斷開了還在發(fā)數(shù)據(jù)”這種尷尬。比如在WAITING_RETRY狀態(tài)下采集線程照常工作緩存照常寫入但發(fā)送線程必須掛起。數(shù)據(jù)緩存和連接狀態(tài)完全解耦。3.2 心跳機制TCP層的KeepAlive靠不住必須自己做應用層心跳TCP有SO_KEEPALIVE選項默認空閑2小時才發(fā)一個探測包而且探測失敗后還要等若干次才確認連接死亡。對于溫濕度采集這種本來就低頻發(fā)送的場景SO_KEEPALIVE基本起不到及時斷鏈的作用。我采用的方案是應用層心跳兩條消息設備→服務器PING每30秒一次服務器→設備PONG如果設備連續(xù)3個PING周期也就是90秒沒收到對應的PONG就判定連接失效主動關閉socket并進入WAITING_RETRY狀態(tài)。這里有個細節(jié)很容易踩坑PING和PONG都必須包含一個會話標識或遞增序號用來匹配。否則一個遲到的PONG會被誤認為是當前連接的回應導致狀態(tài)判斷混亂。我在實際項目里見過有同事用簡單的PING/PONG字符串結果服務器端重連后舊連接的PONG延遲到達設備把新連接的PONG和舊的對上號誤判連接正常。加一個32位遞增序號就徹底解決了。心跳周期怎么定我的經(jīng)驗是心跳間隔必須小于網(wǎng)絡鏈路中最短的空閑超時時間。如果不知道具體值按NAT默認300秒的一半來選比較穩(wěn)也就是不超過150秒。再根據(jù)“連續(xù)失敗N次”來判斷一般N取2到3。所以30秒心跳、連續(xù)3次失敗90秒判死這個參數(shù)實測下來在公網(wǎng)和跨網(wǎng)段場景都足夠靈敏。3.3 指數(shù)退避加抖動別讓一堆設備同時撞車斷線重連最忌諱的是所有設備在同一個時刻瘋狂重試。如果現(xiàn)場有上百臺采集器同時掉電又同時來電如果用固定5秒重連恢復供電的瞬間網(wǎng)絡里全是重連風暴交換機都可能被沖垮。正確做法是指數(shù)退避第1次失敗后等1秒第N次失敗后等2^N秒設置上限比如最長60秒加上隨機抖動實際等待時間在計算值基礎上乘以(0.8~1.2)舉個例子第1次失敗等1秒第2次等2秒第3次等4秒第4次等8秒第5次等16秒第6次等30秒之后封頂60秒。同時每次加20%以內(nèi)的隨機量。這個策略的效果單臺設備的恢復時間是秒級但上百臺設備不會集中在同一毫秒發(fā)起連接而是散布在幾十秒范圍內(nèi)。實測我們102臺設備同時斷電重啟后第一條MQTT連接在2秒內(nèi)建立最后一條在約90秒內(nèi)完成服務器負載完全可控。3.4 重連成功后的行為不只是把socket建起來重連成功容易讓人以為“萬事大吉”實際上重連成功后要做的事情比“建立socket”多得多發(fā)送一條上線通知攜帶設備當前的狀態(tài)信息刷新會話向服務器端查詢最近一條已確認的數(shù)據(jù)序列號用來確定續(xù)傳起點觸發(fā)斷點續(xù)傳把本地緩存里序列號大于服務器確認點的數(shù)據(jù)按序補傳補傳完成后恢復實時數(shù)據(jù)的正常上報第二步特別重要。如果不查詢服務器端的已確認序列號設備就只能盲目地把本地緩存全部倒上去既浪費帶寬也可能重復傳大量服務器早就收到的數(shù)據(jù)。一個簡單的GetLatestAckedSeq請求就能讓續(xù)傳有的放矢。4. 斷點續(xù)傳機制從緩存設計到可靠確認4.1 斷點續(xù)傳和“重新上傳”的本質(zhì)區(qū)別這里必須把概念掰清楚斷點續(xù)傳不是“把所有數(shù)據(jù)重新上傳一遍”?!爸匦律蟼鳌笔潜哭k法服務器反正要全量數(shù)據(jù)我不管三七二十一全部重發(fā)。這在數(shù)據(jù)量小時看著可行一旦斷線一天、每30秒一條數(shù)據(jù)就是2880條全部重發(fā)不僅浪費帶寬還會和實時數(shù)據(jù)搶占連接造成“越補越亂”。真正的斷點續(xù)傳是精確到序列號的增量補傳設備端維護一個“最后推送游標”服務器端維護一個“最后確認游標”兩者之差就是需要補傳的數(shù)據(jù)區(qū)間。服務器已經(jīng)確認過的數(shù)據(jù)一條都不多傳沒確認的一條都不少傳。這個設計在溫濕度場景里的效果非常明顯斷線2小時240條數(shù)據(jù)補傳時每個包壓縮后可能10KB就能搞定幾乎是瞬間完成。而且因為只補缺失區(qū)間實時數(shù)據(jù)的延遲幾乎不受影響。4.2 嵌入式設備上的緩存介質(zhì)選擇別一上來就上SQLite溫濕度采集器大多是MCU級別設備資源有限。緩存介質(zhì)的選擇直接影響續(xù)傳機制的復雜度。我按設備檔次給三種方案低端MCU無文件系統(tǒng)用Nor Flash或EEPROM按塊寫入原始二進制數(shù)據(jù)。容量一般256KB到4MB每條約32字節(jié)可以存幾千到幾萬條中端設備帶SD卡或文件系統(tǒng)直接寫CSV或二進制日志文件容量寬裕得多高端邊緣網(wǎng)關可以上嵌入式數(shù)據(jù)庫但老實說溫濕度數(shù)據(jù)用不上別把簡單問題復雜化我在這批采集器上選的是Nor Flash方案存儲結構非常直接固定分塊每塊存一條完整記錄塊頭部寫序列號和寫入時間戳Flash剩余空間不足時最老的未確認數(shù)據(jù)可以被覆寫同時告警通知服務器“緩存溢出”這里有個關鍵判斷要不要覆蓋舊數(shù)據(jù)我的選擇是“寧丟數(shù)據(jù)保證設備不死”。傳感器采集不能停緩存如果滿了還在繼續(xù)寫要么設備死機要么數(shù)據(jù)全毀。前者更不可接受。所以緩存滿了之后策略是覆蓋最老的未確認數(shù)據(jù)并在下一次上線時把溢出區(qū)間標記為“已丟失”讓服務器知道這段數(shù)據(jù)不完整比假裝沒有發(fā)生過強得多。4.3 數(shù)據(jù)幀格式讓斷點可以被精確定位斷點續(xù)傳的實現(xiàn)前提是每條數(shù)據(jù)都有一個可比較的游標。我用的是“設備ID序列號”雙字段定位設備ID區(qū)分不同的采集器默認32位整數(shù)序列號每條采集記錄一個全局單調(diào)遞增重啟不重置序列號有兩個作用一是排序二是去重。服務器端只要記錄每個設備ID下“最大已確認序列號”就能計算出設備需要補傳的區(qū)間。一條補傳數(shù)據(jù)幀的格式大致是typedef struct { uint32_t device_id; uint32_t seq; uint32_t timestamp; int16_t temperature; // 單位 0.01℃ int16_t humidity; // 單位 0.01%RH uint16_t flags; // 質(zhì)量標記 } sensor_record_t;字段全部定長好處是解析簡單、節(jié)省空間、也不需要JSON解析器占用MCU資源。服務器端解析后再轉換成JSON或數(shù)據(jù)庫記錄即可。4.4 續(xù)傳流程分批上送加ACK游標更新別一次全發(fā)續(xù)傳最忌諱一次把幾千條數(shù)據(jù)全部塞進一個TCP包或者一大串MQTT報文里。一旦中途斷鏈到底是哪些收到了、哪些沒收到又是一筆糊涂賬。我的做法是分批續(xù)傳每批最多100條每批發(fā)送完成后等待服務器返回ACKACK里帶上這一批的最大序列號設備收到ACK后把本地“最后已確認序列號”更新到ACK值然后發(fā)送下一批所有批次都確認后切回實時模式這個流程雖然保守但每一步都可恢復。比如傳完第3批、共300條后連接斷了服務器已確認到seq300設備本地游標也更新到300。重連后設備只問服務器確認線服務器返回300然后從301繼續(xù)補傳。斷點續(xù)傳的“斷點”就是這么精確容錯粒度控制在100條以內(nèi)通常只有幾十條甚至幾條。4.5 冪等設計重復數(shù)據(jù)不可怕缺失數(shù)據(jù)才可怕實現(xiàn)續(xù)傳時為了避免“萬一ACK丟了設備重傳了已經(jīng)確認的數(shù)據(jù)”這種情況服務器端的接收邏輯必須設計成冪等。也就是說同一序列號的數(shù)據(jù)傳兩次不會產(chǎn)生兩條記錄而是以第一次到達的為準。具體做法是在數(shù)據(jù)庫表里給“設備ID序列號”建唯一索引重復插入時直接忽略或者做UPSERT。這樣設備的ACK丟失重傳也好、服務器端收到重復數(shù)據(jù)也好都不會污染數(shù)據(jù)。這個細節(jié)我在好幾個項目里都被坑過一開始沒做冪等后來發(fā)現(xiàn)服務器數(shù)據(jù)庫里同一秒出現(xiàn)了兩條溫度記錄而且數(shù)值還不一樣。排查半天發(fā)現(xiàn)是補傳和實時上報在時間窗口內(nèi)重疊了。做了冪等之后這類問題徹底消失。5. 現(xiàn)場最容易翻車的四個環(huán)節(jié)與排查記錄5.1 網(wǎng)線物理斷開時協(xié)議棧的真實表現(xiàn)讓人迷惑很多開發(fā)者在實驗室里用網(wǎng)線斷開測試發(fā)現(xiàn)設備在幾十毫秒內(nèi)就感知到了連接斷開。真實場景遠沒有這么理想。在某個倉庫項目里網(wǎng)線被老鼠咬斷了一根芯物理層處于一個“半斷不斷”的詭異狀態(tài)指示燈偶爾亮偶爾滅設備有時能ping通網(wǎng)關但一到跨網(wǎng)段通信就丟包。我們的設備表現(xiàn)是TCP連接長期掛在ESTABLISHED狀態(tài)心跳偶爾能收到PONG但實際數(shù)據(jù)上報成功率只有30%。這種問題靠應用層心跳不一定能快速識別因為間歇性通斷會“騙過”超時判斷。最后的排查方法是加了一個“連續(xù)N次數(shù)據(jù)包往返超時”的計數(shù)器。事件概況是如果連續(xù)5次任意類型的網(wǎng)絡交互PING、上報、ACK都失敗即使心跳沒超時也強制觸發(fā)重連流程。這個方法實測對半斷狀態(tài)很有效。5.2 緩存被寫穿斷線時間太長Flash先扛不住了按30秒一條、每條32字節(jié)算256KB的Flash大概能緩存2700多條也就是22小時左右。聽起來夠用但遇到下面這種情況就崩了某項目停電檢修設備恢復供電后運維人員發(fā)現(xiàn)設備一直離線排查發(fā)現(xiàn)是斷線期間緩存滿了主控在Flash擦除和寫入之間反復循環(huán)導致系統(tǒng)看門狗超時設備反復重啟。后續(xù)我把緩存策略改成了“緩存滿后不再覆寫未確認數(shù)據(jù)而是停止寫入并保留已有數(shù)據(jù)”。雖然會丟實時數(shù)據(jù)但至少保留了一部分歷史可用數(shù)據(jù)設備也能正常上線。這個場景的選擇取決于業(yè)務我傾向于保設備穩(wěn)定因為溫濕度數(shù)據(jù)本身重復采集成本很低但歷史數(shù)據(jù)丟了無法挽回。之后我又加了一個措施緩存用量超過80%時如果鏈路仍未恢復就降低采集頻率從30秒降到60秒極限情況下降到5分鐘。這樣盡量延長緩存的覆蓋時間換取更多的歷史數(shù)據(jù)。5.3 設備本地時間戳漂移補傳數(shù)據(jù)的時間軸可能錯位斷點續(xù)傳時每條數(shù)據(jù)都帶有設備本地時間戳。但嵌入式設備用的晶振便宜溫漂大加上沒有NTP同步跑幾天就可能差出幾分鐘。斷線期間如果一口氣補傳240條數(shù)據(jù)服務器端按時間戳排序會出現(xiàn)輕微的順序錯亂甚至和實時數(shù)據(jù)交錯。解決方案是服務器端對補傳數(shù)據(jù)做“時間軸重對齊”用設備的序列號作為主排序鍵時間戳只作為展示參考。同時在設備端加入NTP對時邏輯只要鏈路可用每天至少對時一次。對時成功后會修正本地時間但由于序列號是單調(diào)遞增的修正時間戳不會影響數(shù)據(jù)順序。這里我特別想強調(diào)序列號的一個重要優(yōu)勢它讓數(shù)據(jù)排序不再依賴時間戳等于自動免疫了時鐘漂移。這也是為什么我在設計數(shù)據(jù)幀時堅持把序列號放在時間戳之前的排序優(yōu)先級。5.4 斷電恢復后的“補傳風暴”多臺設備同時搶線上報項目里102臺設備同時在線某次市電閃斷又恢復后幾乎同時涌進來全量補傳請求。雖然每批100條、間隔時間不長但在幾十秒內(nèi)服務器的接收線程還是被打滿了數(shù)據(jù)庫寫入隊列一度積壓到幾萬條。解決辦法分兩頭設備端補傳時增加一個隨機的啟動延遲0~30秒避免大家同時涌進來服務器端接收接口前加一層內(nèi)存隊列削峰填谷入庫改為批量寫入每次事務提交100~500條實測效果很理想補傳風暴從幾十分鐘縮短到一兩分鐘服務器CPU峰值從85%降到35%。設備端的“隨機延遲補傳”是成本最低、收益最大的一個改動。6. 這套設計在真實項目里跑出來的數(shù)據(jù)項目最終交付時的關鍵指標102臺以太網(wǎng)溫濕度采集器30秒上報周期Modbus TCP、MQTT、HTTP三通道按項目配置切換連續(xù)運行3個月設備在線率從最初的96%提升到99.95%月掉線次數(shù)從30多次降到1~2次斷線2小時以內(nèi)的數(shù)據(jù)續(xù)傳完成率100%斷線24小時以內(nèi)完成率大于98%未完成部分主要是緩存溢出導致的數(shù)據(jù)丟失服務器端接入延遲從補傳風暴高峰期的分鐘級恢復到秒級這些數(shù)字不能說驚艷但確實是在真實現(xiàn)場跑出來的比實驗室里好看的結果可靠得多。我在實際項目中最大的體會是以太網(wǎng)溫濕度采集的“技術難度”不高難的是把斷線重連、斷點續(xù)傳、多協(xié)議適配、緩存管理、冪等處理這些細節(jié)串成一個整體。每一個環(huán)節(jié)單獨看都很簡單但它們之間的狀態(tài)聯(lián)動才是真正容易出錯的地方。建議大家都用狀態(tài)機把邏輯先畫清楚再動手寫代碼能少走很多彎路。最后分享一個小技巧設計斷線重連機制時可以人為構造“斷電重啟、網(wǎng)線抽拔、交換機重啟、服務器重啟、NAT超時”五種故障每種故障測試一遍。能把這五種故障全部跑通這套通訊機制在絕大多數(shù)現(xiàn)場就不會有太大問題了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月婷婷激情综合拍| 99免费视频网| 中文字幕欧美日韩VA免费视频| 久久99婷婷| 99久久这里只有精品| 丁香五月 性爱| 久久五月综合| 激情婷婷在线中文字幕| 一本色道久久综合狠狠躁小说| 九九热黄色| 久久久com| 99久久综合网| 99re热在线视频| 婷婷99狠狠| 97在线精品| 色色色免费视频| 人妻久久久久久久久妻久久久久久久久 | 久久激情五月天| 97碰| 插插插丁香五月婷婷| 丁香婷婷大香蕉| 亚洲精99| 在线一起草av| 99爱爱| 五月天无码| 精品一区二区三区四区五区六区| 五月天狠狠草| 五月丁香琪琪| 九九视频在线观看视频6| 五月综合777| 激情五月天。| 亚洲第一黄网| 久香草视频在线观看| 影音先锋AV资源男人站| 五月丁香久| site:xmssd.com| 99re在线观看| 五月天国产| 久久婷婷亚洲| 99色在线观看视频者| 超碰熟女拍拍| 99久久国产成人精品| 思思干精品| 天天噜| 亚洲综合久| 26uuu国产| 色五月婷激情| 人妻性操逼中文字幕 国产| 久久久久久激情| 亚洲成人免费电影| 丁香婷婷情色五月天| 久久99久久99精品免观看粉| 色综合色香蕉网| 五月激情小说| 亚洲色小说在线综合| 丁香六月婷婷久久亚洲天堂| 久久免费精彩视频| 麻豆雪千夏| 五月婷婷深深爱爱| 91碰超| 天天做天天爱天天爽| 激情五月婷婷老师| 情情五月天色| 久久女婷| 综合网狠狠| 人妻久久久久久久 | 欧美激情VA永久在线播放| 亚洲精久久| 丁香五月天大香蕉啪啪| 久久伊人五月天| 婷婷丁香五月天小说| 98永久精品| 全部老头和老太XXXXX| 五月丁香六月婷婷网| 久久永久网址| 五月丁香福利| 国产成人亚洲综合亚洲| 国产乱人偷精品人妻A片| 99色色视频| 五月天综合区| 五月天激情偷拍| 夜夜夜夜撸夜夜操| 久热最新视频| 婷婷丁香久久五月综合| 变态另类9| 久综合九综合99| 五月丁香影视| 激情九月婷婷| 日本不卡中文字幕| 天天做夜夜爽| 人妻精品久久久久久| 97人人干人人操| 久久综合图片| 99热有精品在线观看| 亚洲中文字幕av| 激情五月天色婷婷| 开心五月综合激情综合五月| 五月香蕉综合| 五月婷婷在线短视频| 色婷婷在线视频观看| 色综合色色色| 日日夜夜婷婷| 狠狠香蕉| 婷婷四色五月| 激情九月综合| 九九操操| 欧美日朝成人| 激情五月天婷婷| 五月丁香六月情| 亚州日本欧州韩美高青高潮一| 九九aV| 五月婷婷色| 啪啪啪五月天| 99热在线中文字幕| 久噜久噜| 五月开行婷婷色五月| 99久久这里只有精品免费官网| 五月天天堂久久| 五月丁香综合网| 影音先锋男人女人| 久久大国产香蕉| 婷婷综合网| 亲子乱AV一区二区三区下载| 久久综合99| 伊人婷婷色| 综合激情五月天六月婷免费视频| 色在线视频网2025| 99爱视频免费| 丁香婷婷九月| 久久久www| 五月婷婷AV| 色五月人妻| 婷婷五月综合视频免费播放| 激情图片五月天| 深爱激情六月| 色色99| 99爱在线精品视频免费观看| 色99色| 久久丁香五月| 日本色图综合| 九九热最新| 天天操综合网| 91久久久久久久久久18| 99ri国产精品| 91超级碰| 99色色| 婷婷五月成人| 七月婷婷色香综合网| 91无码色色| 婷婷婷婷婷婷婷婷婷婷丁香| 人人操人人添人人摸97| 99黄色在线视频精品熟女| 99精品久久久久| 91精品人妻少妇无码影院| 2015超碰| 丁香五月婷婷婷婷欧美综合| 五月婷婷伊人久久| 久久99热这里只频精品6学生| 久久婷婷亚洲| 99操视频| 人人操大| 激情网战码亚洲A| 99爱免费在线观看| 色婷婷成人五月| 久热免费视频| 色99视频| 97狠狠碰| 91欧美| 26uuu亚洲欧美另类| 激情五月色综合国产精品| 91wwmm导航| 亚洲另类视频| 久久久这里有精品| 沈娜娜av| 99热婷婷| 超碰99热在线观看| 另类图片天天影视在线观看| 五月天激情综合10p| 天天色天天日| 国产毛多水多女人A片| 久久婷婷原创视频| 色色婷婷五月| 九九免费视频| 亚洲中文字幕av| 五月做爱| 99热99成人| 五月天激情中文字幕| 五月丁香在线观看| 欧美三级A做爰在线观看| 超碰妻人人| 五月丁香六月综合基地| 日本五月视频| 成功精品影院| 97色在线观看视频| 99愛国产| 91碰碰| 欧美69色| 九九热这里只有精品12| 亚洲天天| 碰人人操| 米奇影视资源777狠狠色婷婷五月天激情网 | 五月天婷婷丁香社区| 五月婷婷色综图片| 婷婷丁香五月视频| 免费色色色| 激情五月婷婷综合| 淫荡工a| 天天日天天色| 肏日网在线看| 69激情小说| 99热新网址| 草了bav视频在线观看| 伊人综合色干| 人妻久久久久久久久久久| 色香欲综合| 五月天丁香啪啪啪啪| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 色99自拍| 九九久久网| 色色婷| 黄久久久| 五月天,激情四射,婷婷频道| 亚洲 在线 另类| 九九综合| 超碰成人av| 琪琪色网址| ri电影在线| 色呦呦美女| 9视频在线成人网站| 五月天色导航婷婷资源婷婷| 成人在线精品| 97视频91| 亚洲国产成人在线| 婷婷99中文字幕| 久久视频这里99| 专区无日本视频高清8| 久久久香| 97久久视频| 婷婷开心六月| 97日韩无套内| 五月婷婷六月激情网| 五月色综合| 超碰无码318604| 五月丁香龟婷婷| av高清无码| 丁香五月婷婷久久久| 久久伦乱| 超碰97干| 五月丁香亭亭操逼| 国产免费AV网站| 亚洲最大视频| 日本一级大片| 六月婷婷综合| 婷婷六月色情| 天天干天天插| 大香av| 日韩在线五月天婷婷| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 五月天开心婷婷久久| 久久怡红院| 99热爱爱干干日| 人人97碰| 超碰在线国产| 美女五月天| 久操福利| 色五月婷婷老师| 日韩黄黄| www.婷婷五月天| 开心婷婷五| 涩五月婷婷| 99色激| 色婷婷久久久| 色情性爱视频网址| 国产黄大片在线观看画质优化| 乱女乱妇熟女熟妇综合网站| 香蕉久久国产AV一区二区| 六月婷伊人| 国产 码在线成人网站| 色之综合网| 26uuu欧美| 五月丁香六月婷婷精品| 无码AV久久久久久久久| 天天做天天爱天天玩夜夜爽| 夫妻超碰在线| 色婷操逼| 精品一二三区久久AAA片| 五月丁香美女| 91无码色色| 色五月婷婷啪啪五月| 日韩精品一区二区三区,四区,五区视频| 中文无码精品一区二区三区| 国产精品成人网址| 久久婷婷婷| 午夜丁香婷婷| 久久9热好| 日本九九热| 激情婷婷五月社区| 婷婷玖玖丁香| 天天色天天爱天天爽| 色性日本| 丁香五月婷婷少妇| 成人做爰高潮A片免费视频| 99热婷婷| 黄色国久久| 色色色色色五月| 热99在线精品| 九九热这里精品| 风流少妇A片一区二区蜜桃| 六月丁香综合网| 午夜激情四射影院| 亚洲激情综合网| 亚洲俩性性爱图片久久第六页| 中国女人内射6XXXXX| 天天操天天爱天天玩| 五月婷婷国产| 99精品在线| 色婷婷影音| 另类丁香综合| 狠狠狠狠狠狠| 五月丁香成人网| 婷婷色色五月天| 青柠影视免费高清电视剧| 六月色丁香中文字幕| 久久婷婷五月综合啪| 五月天激情国产综合婷婷| 五月婷婷成人w| 中文字幕第四色.999| 久99热| 五月天欧美 另类小说| 琪琪色网址| 久热一本| 99福利视频| 激情视频91| 成人精品视频99在线观看免费| 这里有精品2| 思思热久久艹| 99热伊人综合| 99热这里是精品| 久热A| 9久精品视频| 天天日中文| 欧美日本黄色| 五月激情网综合| 综合久久五月天| 无码激情AAAAA片-区区| 玖玖色综合网| 激情丁香图片| 狠狠色情婷婷| 免费黄色视频网址| 丁香婷婷五月人体| 天久综合91综合首页| www.久久久.com| 五月婷婷狠狠干| www超碰| 真实的国产乱XXXX在线91| 91碰视频| 婷婷五月天激情文学| 久久婷婷激情五月天一区二区| 在线综合啪| 嫩草AV久久伊人妇女超级A| ZpRSw| 五月天激情婷婷| 五月丁香啪啪网| 青青草蜜臀| 色情婷婷。| 亚洲久热| 久久与婷婷| 天天做天天爱天天做| 久久激情视频| 中美日韩成人在线| 丁香花五月天婷婷成人社区| 中国丰满熟女A片免费观| 99这里只有精品| 五月色精品| 色A网| 国产激情在线| 射琪琪| 国产精品久久久爽爽爽麻豆色哟哟 | 任你操精品免费| 日韩AV免费电影在线播放| 丁香五月在线观看| 9l视频自拍九色9l视频自拍九色9l社区| 五月丁香六月婷婷综合网缴情| 最新日本A片| 国产9色在线/日韩| 五月丁香婷婷99| 超碰婷婷色| 九九黄色网| 97丁香婷婷| 色婷婷电影网| 99热在线精品观看| 五月婷婷在线综合| 综合六月激情婷婷| 久久机热这里只有 | 五月天婷婷在线视频| 天天狠狠色综合| 久久99视频| 成人av在线网站| 天天日,天天射,天天舔| www开心激情网| 天天拍天天做视频| 亚洲avjiujiur91| ss五月天激情| 玖玖在线资源视频| 婷婷丁香激情五月| 激情五月五月五月婷婷| 婷婷网五月| 激情综合网亚洲色图| aaaaaa片| 色月视频| www.婷婷,com| 69激情小说| 婷婷六月网| 国产成人网址| 九九99视频精品| 亚洲小视频免费播放| 婷婷丁香成人| 六月丁香激情综合网| 色情性爱视频网址| 久久亚洲色导航| 永久无码色| www久久久| AV在线观看网站| 97福利视频| 91超级碰| 五月天五月色婷婷综合| 色亚洲婷婷| 夜夜夜夜操| 九九九九九无码| 五月天婷婷一起草| 奸逼视频| 久热网站| 婷婷五月色情| 99精品视频网站| 婷婷五月在线观看| 中字幕视频在线永久在线观看免费| 国产成人精品123区免费视频| 欧美三9久九观看| 爱爱网址9| 久草婷婷网| 久久丁香婷| 欧美啪啪网| 久久久久99精品成人网站| 丁香婷婷五月综合影院| 婷婷大香蕉| 久久狠色噜噜狠狠狠狠97| 四虎婷婷五月天| 日韩精品无码99| 五月天色婷婷激情| 六月丁香五月天| 中文字幕成人| 91狼友视频网页更新| 超碰9在| 婷婷射综合| 99热免费精品热久久66| 色欲五月婷婷| 九九综合色综合| 婷婷五月六月丁香| 久草婷婷网 | 综合久久99| 久久精典| 91夫妻视频| 亚洲欧洲中文日韩久久AV乱码| 婷婷黄色网| 伊人玖玖精品| 婷婷成人综合免费视频| 99热6色| 大香蕉99热| 九九碰九九爱97超碰| 碰碰碰97国产| 色色五月婷婷| 色五狠狠| 久热免费| 久久青青日本视频| 9er热在线精品视频| 一区二区三区四区无码| 五月婷婷狠狠干| 成 人片 黄 色 大 片| 亚洲色五月婷婷| 亚洲艹网| 婷婷激情人妻| 色婷婷网大全在线| 婷婷月综合| 婷婷五月天综合蜜桃| 五月综合在线| 少妇性BBB搡BBB爽爽爽视頻| 丁香五月婷婷总啪啪| 色婷婷久久综| 五月天精品综合| 91人人爽狠狠狠| 1024操逼| 女同激情久久av久久| www.人人操人人看人人想人人摸 人人人人操,COM| 开心激情网在线| 91成人性爱视频| 久热A片| 性一交一乱一交A片久久四色| 五月天伊人日日噜影片AV| 久久在线大香蕉| 色五月情| 五月天婷婷色在线视频免费观看| 亚洲va在线∨a天堂va欧美va| 五月天色丁香| 色综合色婷色基地| 亚洲小说欧美激情| 人人摸人人摸| 97色精品视频 | 欧美黄色AA片哗啦啦啦| 国产美女无遮挡裸体毛片A片| 超碰色女人| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | WWW.久久久久久久| 99热这里只要精品免费| 被强行糟蹋的女人A片| 色色色婷婷五月天| 韩国激情五月天综合网| 天久综合91综合首页| 激情综合九月| 五月激情六月丁香| 色综合网页| 99久久99热| 免费看欧美成人A片无码| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 婷婷草| 大陆极品少妇内射AAAAAA| 内射综合网| 丁香婷婷五月| 老美AA片| 婷婷五月天,影院| 99re这里| 狠狠色色| 大香蕉久久| 婷婷趴趴| 婷婷狠狠操| 久久久久久久久久久久久久久久久精典| 丁香久色| 国产99久久久国产精品免费看| 99丁香五月婷| 五月婷婷丁香五月 | 婷婷五月天伊人| 亚洲超碰在线| 欧美日综合| 久久色五月| 我要射综合| 蜜桃人妻无码AV天堂三区| 大香蕉九九| 99热在线精品播放| 久久婷五月综合| 玖玖资源站视频| 精品久久久久成人码免费动漫| 无码一区二区日韩| 色综合色综合网| 五月天色色色| 亚洲色五月婷婷| 丁香九月婷| 欧美在线操| 中文字幕丰满人妻无码专区| 中文字幕丰满人妻无码专区| 99视频在线播放大全| 五月丁香婷婷爱| 五月丁香婷婷啪啪网| 99久久综合精品五月天| 丁香婷婷老司机久操| 五月天综合区| 999热这里只有美国精品| 欧美激情2025| 色激情网| 色综合色色| 久久久婷婷五月亚洲97号色| 五月丁香激情婷婷| 婷婷久久五月| 五月婷久久| 久1色色| 精品夜夜澡人妻无码AV| 欧美婷婷五月激情| 狠狠婷婷综合| 五月丁香久久综合精品| 97碰碰叉| 婷婷 色 丁香 夜| 狠狠爱夜夜| 无套内射极品大美女| 婷婷丁香五月91| 婷婷五月天激情综合| 五月天婷婷av| 99综合视频| 超碰AAAAAAV| 一级片操逼视频| 伍月婷丁香花全集| 色日本综合| 99热国产精品| 怡红院院在线导航网| 性色做爰片在线观看WW| 人妻VideOssS人妻高清| 《久久综合九色综合97婷婷| 精品久久99码| 天天激情夜夜干| 激情6月| 久久婷婷五月免费视频| 人人操插| 风流少妇A片一区二区蜜桃 | 亚洲婷婷激情综合激情999精品| 国产成人av在线播放| 五月丁香网站| 91婷婷搞| 日日鲁鲁夜夜爽爽| www.com.色色| 疯狂做受XXXX高潮A片| 国产精品成人av在线观看春天| 综合九九中文字幕| 亚洲亚洲人成综合网络| 激情综合网五月| 激情爱爱网站| 丁香婷婷AV| 色噜噜五月天| 色播五月丁香综合| 五月天婷婷社区久久综合| 色亚洲视频| 99婷婷狠狠成为人免费视频| 六月婷婷啪啪| 亚洲色五月天是什么| 97日本在线播放| 丁香六月啪啪啪| 国产一级片| 五月天婷婷狂暴白浆| 欧美日韩成人在线网| 丁香五月AV在线| 婷婷玖玖丁香| 91久久久久久久| 婷婷五亚洲| 99在线精品观看99| 在线中文AV| 天天肏在线观看| 色五月丁香激情| 97人人操人| 91啪啪视频| 天天操比比| 五月婷婷导航| 激情五月婷婷网| 99精品7| 色婷婷亚洲| 99热草草| 一區四區歐美日韓| 一级二级色大片| www久久久久久久久久久| 国产成人av在线播放| 婷婷五月天美女视频| 色婷婷91激情小说| 九月婷婷激情| 97在线日韩| 97碰| www.婷婷.com| 色婷婷影音| 影视av久久久噜噜噜噜噜三级| 天天日天天肏天天奸| 五月婷婷婷婷| 五月天播播中文字幕| 久久这里都是精品视频| 91成人视频| yw.av| 黑人糟蹋人妻HD中文字幕| 欧美日韩成人免费在线| 亚洲欧洲中文日韩久久AV乱码| 婷婷六月色丁香视频在线观看| 99噜噜| 狠狠爱婷婷五月天| 九九九九操逼| 大香蕉AV在线| 六月婷婷中文字幕| 色综合综合色| 开心五月激情婷婷| 日本成人噜噜噜噜噜| AV色五月婷婷| 五月丁香日本片| 97精品欧美91久久久久久久| 久久精品天| 超碰国产一区| 天天日天天肏天天奸| 日日干天天爽| 久久99网站| 激情婷婷久久| 丁香五月冃欧美| 五月综合亚洲| 久久66er久久| 婷婷伊人综合中文字幕| 小色小蛇伊人婷婷色香五月| 天天操天天干天天射| 一点色成人网| 欧美交换配乱吟粗大25P| 开心五月深爱五月| 天天爱天天操| 中文字幕黄色片| 六月婷婷五月天| 综合大香蕉| 九九九热精品| 五月天激情小说| 日韩AAAAA| 亚洲婷婷91丁香| 亚洲乱码在线观看| 五月婷婷欧美| 精品乱码久久久久| 成人午夜无码视频| 天天干天天操天天拍| 99热91| 激情综合五月| 久热91| 国产av天堂| 欧美色综合天天久久综合精品| 99ER热精品视频| 久久激情网| 亚洲乱码日产精品BD| 97人人射| 男女啪啪做爰高潮无遮挡| 亚洲1区| 专区无日本视频高清8| 亚洲无AV在线中文字幕| 九九婷| 99精品视频播放| 九月丁香八月婷婷久久综合久97| 中文字幕成| 丁香五月激情棕合| 五月婷在线影院| 99re热精品在线视频| 丁香五月综合福利视频导航| 婷婷五月伦理| 99精品亚洲| 色九月婷婷丁香| 99热久| 亚洲欧洲另类| 久久婷婷七月丁香| 在线日韩av| 一级二级色大片| 男女99免费视频| 99亚色色色| 色青青视频| 国产精品热搜丁香五月婷婷| 激情五月天啪啪| 久热这里只有精品6| 五月婷在线| 亚洲AV成人一区二区在线观看| 丁香五月最新网址| 99色网站| 九九免费精品在线视频| 99亚洲色色| 久久女人天堂| 人妻丰满精品一区二区A片| 人人插操| 久久久久网站| 91热在线| 天天日天天摸天天| 亚洲情欲| 丁香五月天激情综合| 大香蕉色婷婷伊人在线| 99热在线资源| 久久久er热| 99免费| 夜夜夜夜夜操| 最新婷婷五月丁香| 激情图片久久| yazhou seshipin| 激情五月天小说| 91丨九色丨大屁股| 99视频综合| 久99视频在线观看| 六月色国内综合| 九九99九九99九九99视频网| 色爆五月| 久天综合| 99色 色| 九九色热| wwww.色婷婷| 激情综合啪啪啪| 久久久久人妻精选| 激情小说婷婷| 91蝌蚪窝视频在线| 91性高潮久久久久久久久| 婷婷五月丁香五月天| 五月天婷婷操逼视频| 91精品国产综合久久久不卡电影| 色五月婷婷综合在线| 色综合xx| 九九九热精品| 天堂网亚洲色图| 日日日,com| 丁香五月婷婷基地| 亚洲视频在线网站| 色噜噜综合网| 一起草性爱不卡视频| 色爱亚洲| 青996青| 精品人妻久久久久久久| 丁香五月性爱| 51成人| 六月婷婷在线| 欧美色男人网站| 91人碰| 婷婷丁香五月欧美人| www.狠狠艹| 无码激情AAAAA片-区区| 97在线视频人妻九色| 99九九精品视频| 九九热在线精品视频| 九九色影院| 天天日天天草| 中文字幕丰满乱孑伦无码专区 | 日本超碰在线| 丁香美女主播视频在线观看| 亚洲午夜av| 激情婷婷丁香五月天| 久久99激情丁香婷婷小说网| 色婷视频| 色色色色色五月| 五月丁香色婷婷综合| 色狠狠色| 超碰国产在线| 丁香六月啪啪啪| 国产在线视频1234| 成人色色视频| 国产一二区爆乳_1国产日韩一区二区三-成人AV| 久久精典| 欧美精产国品一二三区| 9一精品视频观看| 日本成人小说婷婷六月| 成人午夜天| 久热这里只有精品在线观看 | 五月丁香婷婷伊人| 五月婷婷色综图片| 婷婷视频网| 五月婷视频久久| 激情五月,激情综合网| 99ER热精品视频| 开心婷婷五月花| 狠狠色丁香| 大香蕉操操| 五月丁香啪啪啪| g00d人体西西| 四月婷婷五月丁香| 欧美伊人9| 狠狠色综合网| 久一网站| 久久九九@| 啪啪丁香五月| 色色色婷婷五月天| 51XX午夜影福利| 在线观看婷婷5月| 五月天停停日日| 国产在这里只有精品| 婷婷五月在线| 99久久综合| 狠狠色丁香久久综合婷婷亚洲成人福利 | 亚洲无码色| 色五月丁香五月五月婷婷| 激情综合五| 久久五月天合网| www.99热| 五月丁香六月情婷婷久久| 另类五月激情| 成 人 色 色| 亲子乱av一区二区三区的| 久久精品视频在这里有| 五月天婷婷激情网| 大香蕉九操| 九九热超碰| 思思热精品在线| 99热这里只有精品98| 91日本在线观看| 综合色五月天| 国产精品成人网址| 天天操天天干天天日| 欧美天堂久久| 亚洲色五月婷婷| 久久婷婷伊人| 五月丁香| 日本美女上人| 九九99久久| 欧美在线骚货| 无码成人播放器| 色天天综合成人网| 欧美月久久| av久热| 69堂午夜视频最新地址| 亚洲春色奇米影视| 爱草人视频| 99啪啪视频| 亚洲精品又粗又大又爽A片| 99色 色| 9精品视频在线| 99视频精品在线| 五月天激情图| 久久宗合影| 九九热在线精品| 五月婷婷伊人久久| www五月婷婷88导航| 色99热| 婷婷免费无马| 国产婷婷色综合AV蜜臀AV| 色色哒五月婷婷六月丁香| 九九大香视频| 国产精品18久久久| 亚洲操b| 97福利视频| 色区久久| 综合婷婷六月| 99热爆在线| 操碰91| 深爱开心五月天| 天色综合网| 中文字幕成人| 五月婷婷,六月丁香| 婷婷五月丁香综合| 99re欧美精品| 97碰| 色噜噜在线| 玖玖爱资源站| 极骚大香蕉伊人| 日韩在线9| 久久人妻系列| 亚洲熟女乱色综合亚洲网站| 日韩成人精品中文字幕| 思思久久精品| 激情综合五月色在线| 正宗黄色毛片| 国产黄大片在线观看画质优化| 国产密乳av一区二区三区四区| 色色精品色| 婷婷伊人视婷婷婷| 伊人五月天| 西瓜美女a片| 丁香六月久久| 国产首页在线| 五月天成人综合| 激情六月综合| 丁六月激情| 五月婷啪啪| 人操综合| 成功精品影院| 婷婷色片| 台湾佬天天日丁香婷婷五月天| 色九网| 天堂在线婷婷| 99热国品| 九九色热| 夜夜爽天天爽| 五月五丁香婷婷| 色婷操逼| 丁香婷婷五月人体| 99精彩视频| 色综合天天| 六月婷婷影院| 色综合夜夜| 久久Xx| 亚洲丁香婷婷| 色五月婷婷av| 51国精产品自偷自偷综合| 天堂五月婷婷| 一起草AV| 五月天停停日日| 亚洲激情四射色| 九九RE视频在线精品| 色九亚洲| 色五月综合在线| 99热精品9| 热99精品视频观看| 色播婷婷五月天| 国产成人精品一区二三区熟女在线| 亚洲精品另类| 小视频久久久aaa| 九九人人看| 97色色色视频| 中文字幕日产A片在线看| 99日本在线| 大香蕉天堂| 99这里只有精| 99热精品在线观看| 大香蕉75线| 伊人狼人干| 97干干干丁香| 婷婷激情五月| 色播播五月天| 五月婷亚洲精品AV天堂| 五月综合激情网| 日日噜狠狠| 综合五月草| 九九99香蕉在线视频播放| 国产一级片| 色玖玖| 色五月激情综合| 开心五月深爱五月丁香五月激情五月| 99色在线视频| 色欲久久综合| 久久欧洲久久| 久久99这里只有精品| 99精品热| 99操碰| 玖玖在线| 超级碰碰91| 91精品91久久久中77777久久玖玖九九 | 疯狂做受XXXX高潮A片动画| 中文字幕在线日亚州9| 99视频久久| 久99久视频| 午夜大香蕉| 久久久五月天| www.狠狠| 深爱激情五月天| 欧美25p| 97操操| 91丨九色丨东北熟女| www.久久| 久久视频在线视频| 免费无码毛片一区二区A片| 精品一区二区三区四区五区六区| 婷婷丁香五月激情| www.色婷婷| 亚洲免费看片| 成人精品视频99在线观看免费| 三十熟女| 狠狠色婷| 日日操夜夜操不卡| 五月婷婷丁香91| 亚洲色区17| 字母不卡码人逼| 亚洲一级AV在线免费播放| 日韩丁香涩| 亚洲激情六月| 丁香五月婷婷超碰在线| www.久久| 午夜理论片最新午夜理论剧 | 日韩AV无码影片| 欲色人妻| 一区二区免费看| 狠狠综合| 五月天成人伊人| av在线免费播放观看| 3DAV亚洲香蕉久久 一区二区| 五月婷婷之综合激情在线| 五月丁香婷婷五月色| 日本久久久97| WWW.亚洲无码| 99热在线看| 67194成I人在线观看线路1 | 婷婷爱五月天| 夜色热久| 噜噜操操| 五月婷婷干干干| 五月天激情播播网| 综合五月激情| 五月天婷婷色色网| 婷婷爱五月| 人妻AV在线| 大香蕉网 久久| 五月婷六月| 亚洲AV激情五月综合网| 久久只有精品| 五月丁香六月激情啪| 9999三级片| 专区无日本视频高清8| 婷婷五月丁香99| 久久婷婷色综合| 五月天亚洲最大成人| 丁香激情五月少妇| 婷婷黄色| 丁香五月五月婷婷欧美大香蕉| 色月丁| 五月丁欧美| www.com五月天| 激情丁香婷婷| 色婷婷色丁香色欲av| 亚洲视频a| 噜噜色com| 99色综合| 一区二区三区XXXXXX| 99久久99视频只有精品| 色色综合网络| 欧洲毛片基地c区| 五月天婷婷久久| 五月丁香婷婷综合网色欲| 伊人五月婷婷国产视频| 五月天激情黄色小说在线观看| 成人五月天在线视频在线观看| 激情五月丁香婷婷| JAPANRCEP老熟妇乱子伦视频| 3DAV亚洲香蕉久久 一区二区| 婷婷激情九月| 人人操人av| 五月婷六月| 色婷婷六月性| 99色播| 激情五月天色播| 欧美日本免费一道免费视频| 青青操丝袜美腿| 五月 丁香 欧美| 丁香五月播播| 秋霞少妇毛片| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 色中色综合| AⅤ在线播放网| 丁香五月影视| 日日爱699| 超碰碰碰碰| 婷婷五月网图片区| 丁香六月av| 99激情网| 99热99艹在线观看| 琪琪色五月天| 色五月丁香婷婷| 婷婷五月天激情小说| 亚洲精品成人片在线播| 婷婷丁香激情五月天色色| 天天干电影| 狼人狠狠操| 五月丁香婷婷激情| 五月丁香黄色视频| 在线观看996精品| 99热 在线观看| 色色婷婷五月天| 天堂亚洲 在线| 99色综合网| 九九热在线精品| 啪啪日本欧美| 99热99思午夜精品| 综合久| 婷婷五月天大香蕉| 夜丁香五月婷婷| 精品国产AV色一区二区深夜久久| 色婷婷四虎| www.五月天婷婷姐姐| 丁香九月激情| 日本久久高清| 天天日,天天射,天天舔| 99国产精品白浆在线观看免费| 丁香六月婷婷久久综合| 婷婷性色| 色色网91| 激情五月www| 天天躁日日躁狠狠躁日日躁2022年5月9日| 天天爽在线视频| 超碰猛烈的性猛交| 婷婷九月狠狠色| 亚洲情欲| 丁香婷婷激情四射五月| wwwwww.色| 无码一区精品一区视频| 九九免费视频在线| 国产又粗又大又爽又黄| 九九色热| 久久香蕉影院| 天天操B| 激情综合国产| 九月丁香八月婷婷久久综合久97| 热99精品视频| 亚洲欧美综合7777色亭亭| 视频这里只有精品16| 99爱爱| .操區COm| 超碰成人免费| 激情四射五月天偷偷看婷婷| 九九AV| 天天情天天狠天天透| 久草热在线视频| 久久99精品久久久| 超碰猛烈的性猛交| 久久精品91视频| 亚洲AV网址| 亚洲婷婷激情综合激情999精品| 五月天五月天激情网| 99伊人婷婷在线| 激情 婷婷 插| 99热在线观看成人| 熟女激情五月天| 91丨九色熟女丨首页| 思思热在线| 玖玖激情五月天| 天天干夜夜谢| 91玖玖| 五月丁香婷婷综合网| 色五月xxx| 91热爆在线| 久久色频| 日本综合久久| 天天日人人| 日本V在线观看不卡视频网站| 久久狠色噜噜狠狠狠狠97| 嫩草AV久久伊人妇女超级A| 丰满人妻一区三区三区| 影音先锋五月婷婷| 亚洲激情网| 婷婷激情九月| 五月婷婷六月丁香在线| 激情婷婷五六月天| 五月Huangsewang| 五月天俺去也| 任你操精品免费| 婷婷五月电影院| 久久久久婷婷五月热综合| 亚洲激情四谢| 99热这里只有精品1| 久久艹99| 欧美色五月| 色久五月| www.玖玖婷婷在线| 9热视频在线观看| 婷婷五月激情热播| 99色在线视频| 乱抡小BB| AV免费在线网站| 亚洲乱码在线观看| 99热精品在线播放| 婷婷色色综合| 国产成人亚洲综合A∨婷婷| 一起草无码| 99热免费| 丁香五月六月婷婷怡红院| 亚洲综合一区二区| 五月天婷婷影院| 日韩操| 91VIP在线观看| 九九热九九| 五月丁香六月花| 色色五月婷婷久久| 五月天激情小说| 天天做天天爱天天做| 97性视频| 九九色热| 性色欲情 网站| 丁香五月天操B| 狠狠色噜噜狠狠| 亚洲天99| 色婷婷www| 婷婷综合网伊人| 伊久久婷婷| 噢美99| 9久热在线视频精品| 狠色狠色狠狠色综合网| αV电影| 五月天另类小说| 丁香网五月天激情| 久热这里只精品| 丁香五月激情五月色综合| 国产67194| 天天日日综合| 91九色网| 婷婷激情五月天桃花网| 99免费热视频在线| 99热这里只有精品 搜| AV在线免费播放| 99热在线极品极品| 91chinese在线| 色大综合| 丁香婷婷基地| 五月天婷婷无码| 狠狠做婷婷| 亭亭五月丁香五月天激情| 2020夜夜操天天爽| 九热电影av| 免看黄大片AA | 九九無妻| 婷婷五月天综合色| 丁香五月香蕉在线| 国产精产国品一二三在观看| 99久久99九九九99九他书对| www.开心激情| 成年人夜夜喷水| 九九综合网| 黄网在线播放| 这里只有精品在线观看视频| 五月丁香六月合|