欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

RK3588邊緣AI設(shè)備7×24穩(wěn)定性守護:散熱、看門狗與進程自愈

RK3588邊緣AI設(shè)備7×24穩(wěn)定性守護:散熱、看門狗與進程自愈 1. RK3588設(shè)備在邊緣現(xiàn)場死機的三種典型場景做邊緣AI部署做到第三個年頭我越來越確信一件事真正讓RK3588這類設(shè)備在7×24運行中倒下的往往不是某個不可描述的軟硬件Bug而是三個看起來不起眼的工程問題。這三個問題如果沒人管設(shè)備就會在某個凌晨悄無聲息地掉線而現(xiàn)場的人只能坐兩個小時車去手動斷電重啟。先看第一個也是最容易被低估的一個——熱崩潰。RK3588是一顆8核SoC4個Cortex-A76大核加4個Cortex-A55小核還集成了一顆6 TOPS算力的NPU。CPU和NPU同時滿載的時候整板功耗可以拉到15W甚至更高。邊緣設(shè)備的外殼多半是金屬密封或者半密封的裝在室外配電柜、路側(cè)機箱、車頂盒子里夏天的環(huán)境溫度能到45℃以上。散熱設(shè)計稍微不到位SoC結(jié)溫就會頂?shù)?5℃、90℃這時候內(nèi)核的 thermal 框架開始限頻CPU從2.4GHz一路降到1.2GHz。降頻之后推理幀率斷崖式下跌業(yè)務側(cè)任務開始堆積負載反而更高溫度繼續(xù)往上頂最終觸發(fā)硬件熱保護直接斷電。整個過程像多米諾骨牌第一步往往是風扇策略不給力最后一步則是完全掉電。第二個場景是資源漸進式泄漏。做過RK3588上YOLOv8部署的同學應該有體會一個C推理服務如果圖像緩沖、tensor、epoll句柄這些資源有任何一環(huán)沒有釋放干凈跑三到五天內(nèi)存就會悄悄漲出一兩百MB。視頻類業(yè)務更明顯RTSP拉流、硬解碼、推理、結(jié)果上報這個鏈路如果沒做超時保護網(wǎng)絡(luò)一抖動就會卡在某個阻塞調(diào)用里然后句柄越積越多。再有就是日志。系統(tǒng)日志和應用日志如果不控制體積/var/log滿了之后很多服務會因為寫不了日志而直接罷工表現(xiàn)就是設(shè)備假死。這類問題因為不是瞬間發(fā)生的所以最惡心往往在交付驗收完之后的第三周才冒出來。第三個場景是單點故障無法自愈。應用進程崩了沒人拉起業(yè)務就斷了內(nèi)核panic了但系統(tǒng)沒有配置自動重啟機器就一直卡死在串口輸出畫面某個線程死鎖導致整個系統(tǒng)響應不了但沒有外部看門狗把系統(tǒng)打斷。說白了很多設(shè)備的死機本質(zhì)上只是壞了沒人管。我在項目交付中見過太多現(xiàn)場設(shè)備Console口插上屏幕上一堆調(diào)用棧系統(tǒng)是徹底涼了的但沒有任何機制能讓它自己爬起來。這三個場景擺在一起結(jié)論其實很清晰想讓RK3588邊緣AI設(shè)備做到7×24不死機不能只靠某個單一的看門狗或者某個優(yōu)秀的電控設(shè)計而是需要一套從底層硬件到業(yè)務進程的完整守護機制。我習慣把這套機制稱作 Guardian——它不是一個開源軟件也不是某個商業(yè)產(chǎn)品的名字而是我在多個RK3588邊緣智能項目里沉淀下來的一套工程方法論包含散熱閉環(huán)、內(nèi)核參數(shù)、看門狗聯(lián)動、進程守護、存儲保護等一整套能落地、能復制、能驗證的實踐。2. Guardian守護體系的整體設(shè)計三層防線怎么分工Guardian這套體系的思路可以用一句工程上行話概括不要假設(shè)系統(tǒng)不會掛要設(shè)計系統(tǒng)掛了之后能自己爬起來。業(yè)界做高可用設(shè)備原則是相同的快速失敗、自動恢復。邊緣AI設(shè)備和數(shù)據(jù)中心服務器最大的區(qū)別在于它沒有人值守斷了網(wǎng)也沒有運維人員能第一時間介入所以一切恢復動作都必須是自動的、本地的、不依賴外部網(wǎng)絡(luò)的。按照這個原則我把守護體系分成三層。第一層是硬件級防線。內(nèi)核panic、軟鎖死、硬鎖死、任務卡死這些情況操作系統(tǒng)自身已經(jīng)失去了正?;謴偷哪芰Ρ仨氁揽靠撮T狗在毫秒到秒級的時間內(nèi)把整個SoC復位掉。RK3588內(nèi)部有WDT外設(shè)板級dts里一般默認使能Linux內(nèi)核的watchdog驅(qū)動也會把它注冊成/dev/watchdog節(jié)點。這一層要做的核心事情是配置好內(nèi)核出問題就panic、panic之后就重啟的策略并在用戶空間安排一個喂狗進程讓看門狗既能監(jiān)視系統(tǒng)是否卡死又不會誤觸發(fā)復位。第二層是系統(tǒng)軟件層。它負責處理那些硬件看門狗管不了的問題——比如內(nèi)存泄漏、文件系統(tǒng)寫滿、日志無限增長、某些服務假死。這一層的工具主要是systemd、cgroup、logrotate、overlayfs以及一組精心調(diào)過的內(nèi)核sysctl參數(shù)。打個比方硬件看門狗是整機心臟驟停時的電擊器系統(tǒng)軟件層的職責則更像日常體檢在病情惡化之前就把它攔下來。第三層是業(yè)務應用層。AI推理進程、RTSP拉流進程、外設(shè)通信進程這些才是設(shè)備存在的意義。這一層要解決的是某個業(yè)務進程掛了但系統(tǒng)其他部分還活著的情況核心手段是健康檢查加自動重啟。進程不是拉起一次就完了而是要形成一個閉環(huán)定期檢查心跳心跳異常就殺掉重啟重啟次數(shù)過多就告警并降級運行。這三層防線缺一不可。只做硬件看門狗設(shè)備的業(yè)務邏輯爛成一鍋粥也沒人管只做進程守護內(nèi)核一旦panic就只能等人工到場只做監(jiān)控和參數(shù)調(diào)優(yōu)而不做硬件兜底整個系統(tǒng)還是裸奔。我自己踩過不少坑之后才總結(jié)出這個三層架構(gòu)后面幾章我會把每一層的具體做法和參數(shù)細節(jié)都講清楚照著做同類設(shè)備至少不會再因為基礎(chǔ)功課沒做而掉線。這里還要特別強調(diào)一個設(shè)計原則守護進程本身也必須被守護。溫控腳本、喂狗進程、健康檢查服務如果它們自己崩了就失去意義了。所以這些腳本和進程都應該注冊成systemd服務并納入WatchdogSec的監(jiān)督范圍。這一條看著簡單實操中很多人會忽略結(jié)果就是守護機制成了紙糊的盾牌平時看著在跑關(guān)鍵時刻它先躺下了。3. 散熱閉環(huán)控制溫度、風扇轉(zhuǎn)速與PWM調(diào)參的完整鏈路散熱是RK3588邊緣設(shè)備7×24穩(wěn)定性的命門尤其那些主動風冷方案的板卡。我見過太多設(shè)備死機是因為風扇策略寫得太粗糙——要么溫度到了80℃才開始轉(zhuǎn)要么風扇永遠低速轉(zhuǎn)導致積灰卡死。這一章我把散熱閉環(huán)需要做的事拆開講每一步都有實測依據(jù)。3.1 找到正確的溫度數(shù)據(jù)源做溫控的第一步是找到CPU/SoC溫度到底在哪個sysfs節(jié)點。Rockchip平臺在標準內(nèi)核thermal框架下會注冊多個thermal zone每個zone有type和temp兩個重要屬性。我用的排查命令是for z in /sys/class/thermal/thermal_zone*/; do echo -n $z type; cat $z/type echo -n temp; cat $z/temp done實測RK3588的Debian 11系統(tǒng)上soc_thermal通常對應thermal_zone0讀取出來的temp單位是毫攝氏度比如85000代表85℃。某些板卡會在hwmon節(jié)點上也暴露溫度比如/sys/class/hwmon/hwmon1/temp1_input兩者數(shù)值應該一致但以thermal zone為準最靠譜因為內(nèi)核調(diào)頻調(diào)壓用的就是thermal框架的數(shù)據(jù)。需要留意的是RK3588內(nèi)部不止一顆溫度傳感器CPU、GPU、NPU各有各的傳感器節(jié)點。如果只盯著CPU溫度做風扇控制NPU跑推理時溫度可能已經(jīng)爆了而風扇還在低速轉(zhuǎn)。穩(wěn)妥做法是讀完所有zone取最大值作為溫控依據(jù)。我一般寫一個get_temp()函數(shù)遍歷所有zone取最大值超時重試三次保證讀取鏈路本身可靠。3.2 風扇轉(zhuǎn)速讀取PWM Capture與FG脈沖換算rk3588 讀取風扇轉(zhuǎn)速這個訴求很多開發(fā)板玩家都在問。風扇轉(zhuǎn)速信號來自風扇內(nèi)部的FG引腳Frequence Generator它每轉(zhuǎn)一圈會輸出若干個脈沖。RK3588本身沒有專用的RPM計數(shù)器但它的PWM外設(shè)支持capture模式正好可以測量FG引腳上的脈沖頻率再換算成轉(zhuǎn)速這就是很多人提到的rk3588 pwm capture用法。先看板級dts里PWM capture通道怎么配pwm_capture: pwm-capture { compatible rockchip,rk3588-pwm-capture; pwm-names fan-tach; pwms pwm2 0 1000000 0; status okay; };實際引腳和通道以板卡原理圖為準不同開發(fā)板差別很大。配置好后用戶在/sys/class/pwm/pwmchipN/下面export對應通道讀取capture文件echo 0 /sys/class/pwm/pwmchip2/export cat /sys/class/pwm/pwmchip2/pwm0/capture輸出類似period8333333 duty_cycle4166666period是脈沖周期納秒。頻率等于1秒除以周期然后乘上換算系數(shù)得到轉(zhuǎn)速。常規(guī)三線PWM風扇FG信號每轉(zhuǎn)輸出2個脈沖所以RPM (1 / period_seconds) × 60 / 2舉個例子如果讀到period8333333ns也就是頻率120HzRPM 120 × 60 / 2 3600。不過不同廠家風扇的FG脈沖數(shù)可能不一樣有的是每轉(zhuǎn)4脈沖我建議拿到風扇先實測標定一次——把風扇額定轉(zhuǎn)速和頻率對應起來確定好系數(shù)再寫進代碼。3.3 溫控策略與PWM曲線設(shè)計PWM風扇調(diào)速有兩種常見實現(xiàn)方式。一種是走內(nèi)核thermal框架在dts里配pwm-fan節(jié)點和cooling-map讓內(nèi)核根據(jù)溫度自動調(diào)風扇fan: pwm-fan { compatible pwm-fan; #cooling-cells 2; pwms pwm1 0 40000 0; cooling-levels 0 64 128 192 255; status okay; };這種方式省心內(nèi)核自動處理thermal throttling和風扇聯(lián)動的邏輯。但缺點是調(diào)參不直觀而且不好加風扇卡死檢測的邏輯。我實際項目里更多是用用戶空間的守護腳本來直接控制PWM#!/bin/bash # guardian-fan.sh - 溫度采集 風扇轉(zhuǎn)速讀取 PWM 控制 FAN_PWM/sys/class/pwm/pwmchip1/pwm0 TEMP_ZONES/sys/class/thermal CAPTURE/sys/class/pwm/pwmchip2/pwm0 get_temp() { local max0 for z in $TEMP_ZONES/thermal_zone*/; do local t$(cat $z/temp 2/dev/null || echo 0) [ $t -gt $max ] max$t done echo $max } get_rpm() { local cap$(cat $CAPTURE/capture 2/dev/null) local period$(echo $cap | sed -n s/period\([0-9]*\).*/\1/p) [ -z $period ] { echo 0; return; } echo $(( 1000000000 / period * 60 / 2 / 1000 )) } while true; do temp$(get_temp) # 毫攝氏度 temp_deg$((temp / 1000)) rpm$(get_rpm) duty0 if [ $temp_deg -ge 70 ]; then duty255 elif [ $temp_deg -ge 45 ]; then # 45~70度線性映射 duty$(( (temp_deg - 45) * 255 / 25 )) fi echo $duty $FAN_PWM/duty_cycle # 日志記錄方便事后分析 logger -t guardian temp${temp_deg}C rpm${rpm} duty${duty} sleep 2 done我推薦的分段線性溫控策略45℃以下風扇低速或停轉(zhuǎn)45到70℃按線性比例加速70℃以上直接全速。這個策略比溫度高了就全速、溫度低了就停轉(zhuǎn)的死板模式更平順能避免風扇頻繁啟停帶來的噪聲和磨損。如果對噪聲敏感可以把風扇啟動閾值調(diào)到50℃但上限一定要留夠余量——我一般在75℃就強制全速不給熱量累積的機會。3.4 風扇異常降級保護溫控邏輯跑通之后最容易被忽略的是風扇故障檢測。風扇屬于機電產(chǎn)品有壽命會卡灰會缺油會斷線。不要等到SoC熱保護關(guān)機了才反應過來。在上面的腳本基礎(chǔ)上我加了一段異常邏輯當PWM占空比已經(jīng)超過一定閾值但讀取到的轉(zhuǎn)速低于200RPM且持續(xù)30秒就判定風扇故障強制PWM全速輸出同時把故障狀態(tài)寫到監(jiān)控數(shù)據(jù)庫并觸發(fā)本地告警。轉(zhuǎn)速為0還有一種可能就是capture通道本身配置錯了。所以我在項目里特意做了PWM開度與轉(zhuǎn)速聯(lián)動檢查風扇開度從0調(diào)到255如果在設(shè)定時間內(nèi)轉(zhuǎn)速沒有按預期上升就認為測速鏈路有問題同樣要告警。這個檢查在設(shè)備剛啟動的時候跑一次就夠了不用總是做。風扇異常時最怕的是業(yè)務還在繼續(xù)跑熱量還在繼續(xù)累積。所以降級方案不只是全速轉(zhuǎn)風扇還要考慮主動降載檢測到風扇故障后詢問業(yè)務管理系統(tǒng)是否可以降低AI推理頻率或關(guān)閉一路視頻分析優(yōu)先保系統(tǒng)和最核心的業(yè)務。這個策略因項目而異但思路是通用的——散熱異常時先限制發(fā)熱源再等待運維介入。4. 系統(tǒng)級不死保障內(nèi)核參數(shù)、硬件看門狗與systemd聯(lián)動散熱保證的是硬件不死系統(tǒng)級保障要解決的是操作系統(tǒng)本身假死和真死的問題。很多RK3588設(shè)備跑著跑著SSH連不上串口也沒反應但電源燈還亮著這種狀態(tài)最讓人頭疼。Guardian在這層的目標是能恢復的自動恢復不能恢復的快速復位盡量縮短設(shè)備不可用的時間窗口。4.1 內(nèi)核關(guān)鍵參數(shù)與觸發(fā)條件在Debian 11或Ubuntu系統(tǒng)上我建議在/etc/sysctl.d/99-guardian.conf里寫入以下參數(shù)kernel.panic 5 kernel.panic_on_oops 1 kernel.softlockup_panic 1 kernel.hardlockup_panic 1 kernel.hung_task_timeout_secs 60 kernel.hung_task_panic 1 kernel.nmi_watchdog 1 fs.file-max 65536 fs.inotify.max_user_watches 262144逐個說下我為什么這么設(shè)。kernel.panic5是內(nèi)核panic后延遲5秒自動重啟。延遲是為了讓panic信息有時間刷到console方便排查。如果設(shè)為0系統(tǒng)卡在panic界面等人工到場就失去了自愈能力。kernel.panic_on_oops1讓內(nèi)核在處理Oops非致命的內(nèi)核錯誤時升級為panic從而觸發(fā)重啟。為什么要這么做因為Oops說明內(nèi)核已經(jīng)處于不可靠狀態(tài)繼續(xù)跑下去可能產(chǎn)生更嚴重的損壞不如直接重啟。kernel.softlockup_panic1和kernel.hardlockup_panic1讓CPU軟鎖死和硬鎖死也能觸發(fā)panic。軟鎖死通常是中斷上下文里死循環(huán)硬鎖死可能和硬件異常有關(guān)。這兩個參數(shù)在內(nèi)核里默認可能是0不加的話CPU鎖死就永遠鎖死了。kernel.hung_task_timeout_secs60和kernel.hung_task_panic1用于檢測用戶空間任務長時間處于D狀態(tài)不可中斷睡眠。D狀態(tài)任務卡住直接影響業(yè)務同時很可能是IO子系統(tǒng)出了問題的信號。設(shè)成60秒超過就panic重啟。這個時間不能太短否則在高負載IO場景會誤觸發(fā)我試過30秒在日志量大的設(shè)備上出現(xiàn)過誤報調(diào)到60秒就穩(wěn)定了。這些參數(shù)在邊緣AI設(shè)備的套路基本是固定的。大家在做rk3588系統(tǒng)定制的時候拿這套配置基本不會出大問題。4.2 硬件看門狗的接入與喂狗策略RK3588的dts里如果有watchdog節(jié)點Linux內(nèi)核會注冊出/dev/watchdog。我一般先看一眼節(jié)點是否存在ls -l /dev/watchdog* cat /dev/watchdog 21 | head -1喂狗的方式很簡單往設(shè)備寫任意數(shù)據(jù)就會觸發(fā)一次喂狗操作。系統(tǒng)里常見的喂狗工具是wd_keepalive也可以自己寫個循環(huán)腳本#!/bin/bash while true; do echo -n K /dev/watchdog sleep 5 done關(guān)鍵在喂狗間隔和WDT超時時間的匹配。如果看門狗超時是30秒喂狗周期建議控制在5到10秒也就是超時時間的六分之一到三分之一。喂太頻繁系統(tǒng)卡死幾秒就喂不上狗看門狗也能容忍但一卡就超過30秒才能復位業(yè)務中斷時間太長。喂太慢稍微調(diào)度抖動就會誤復位。我在實際項目中習慣設(shè)WDT超時30秒喂狗周期5秒留足余量。如果板子上沒有內(nèi)置WDT或者對可靠性格外敏感可以考慮外接獨立看門狗芯片比如STWD100通過GPIO做喂狗。外置看門狗的好處是即使SoC內(nèi)部時鐘或總線出了問題它依然能可靠復位。普通項目用RK3588內(nèi)置WDT就夠但如果設(shè)備部署在無人區(qū)我建議上外置方案多出來的成本比起一次人工出差的差旅費劃算得多。4.3 systemd WatchdogSec業(yè)務級心跳與硬件復位聯(lián)動系統(tǒng)啟動后systemd作為第一個用戶空間進程它的健康狀態(tài)也應該被監(jiān)督。在/etc/systemd/system.conf里有一個關(guān)鍵參數(shù)RuntimeWatchdogSec30設(shè)置這個參數(shù)后systemd主進程會周期性地喂養(yǎng)內(nèi)核的/dev/watchdog。這樣即使systemd它自己卡死了硬件看門狗也能在30秒內(nèi)復位整個系統(tǒng)。配合前面的kernel.panic5一條完整的復位鏈就通了業(yè)務進程卡死 → systemd殺掉重啟系統(tǒng)內(nèi)核卡死 → 內(nèi)核panic → 自動重啟systemd卡死 → 硬件看門狗復位。在具體服務單元里還可以給關(guān)鍵業(yè)務進程單獨配WatchdogSec[Service] ExecStart/usr/bin/guardian-ai --config /etc/guardian/ai.conf Restartalways RestartSec3 WatchdogSec30 MemoryMax2G MemoryHigh1500M TasksMax256配合WatchdogSec應用進程需要定期調(diào)用sd_notify(0, WATCHDOG1)通知systemd自己還活著。C代碼里是這樣的#include systemd/sd-daemon.h while (1) { /* 業(yè)務邏輯 */ run_inference(); sd_notify(0, WATCHDOG1); sleep(5); }一個容易犯的錯誤是把喂狗放在獨立線程里這樣主業(yè)務線程卡死時systemd仍然能收到心跳看門狗根本發(fā)現(xiàn)不了問題。我要求喂狗必須和業(yè)務心跳綁在同一個執(zhí)行路徑上——每次跑完核心推理循環(huán)就喂一次這樣systemd心跳實際上代表的是業(yè)務側(cè)的健康狀態(tài)而不是某個空轉(zhuǎn)線程的狀態(tài)。4.4 應急恢復兜底recovery和雙系統(tǒng)方案軟件再強也總有把自己搞壞的一天比如誤刷了錯誤的固件。所以Guardian的最底層兜底是硬件恢復通路。瑞芯微平臺的recovery機制大家應該都熟按住recovery/maskrom鍵用USB Type-C數(shù)據(jù)線連到電腦上電然后工具就能識別到設(shè)備進入升級模式。這套機制建議在項目交付文檔里寫清楚現(xiàn)場維護的人必須掌握。比recovery更進一步的是A/B雙系統(tǒng)分區(qū)。系統(tǒng)A啟動失敗時引導程序自動切到系統(tǒng)B系統(tǒng)B再失敗就從recovery引導。這個方案需要存儲空間翻倍但對7×24設(shè)備來說值得考慮。我做一個戶外采集項目時跑過這套方案升級固件再也不用擔心寫一半斷電變磚穩(wěn)定性提升非常明顯。5. AI推理場景的進程守護OOM隔離、心跳上報與自動重啟前兩章保證了系統(tǒng)和硬件層面不會死透但7×24場景里最頻繁出問題的其實是AI推理和視頻流這些業(yè)務進程。RK3588上部署YOLOv8這類模型推理進程一般是用C寫的常駐服務一次模型加載就要幾秒鐘模型文件轉(zhuǎn)成RKNN格式后跑在NPU上。這類服務一旦掛掉設(shè)備看起來還開著機但業(yè)務已經(jīng)完全停了。5.1 用cgroup做內(nèi)存隔離AI推理服務是內(nèi)存消耗大戶模型權(quán)重、中間張量、圖像緩沖疊在一起輕松吃掉1~2GB內(nèi)存。如果系統(tǒng)內(nèi)存被某個業(yè)務進程吃滿內(nèi)核OOM killer可能把SSH服務或者其他核心進程殺掉設(shè)備直接失聯(lián)。解決辦法是用systemd的MemoryMax參數(shù)給每個服務設(shè)置內(nèi)存上限。[Service] MemoryMax2G MemoryHigh1500M OOMScoreAdjust500MemoryHigh是軟限制超過之后內(nèi)核會回收這個進程的可回收內(nèi)存MemoryMax是硬限制一旦超過內(nèi)核就對這個cgroup觸發(fā)OOM。配合OOMScoreAdjust500讓OOM killer優(yōu)先殺這個業(yè)務進程而不是殺掉systemd或sshd。這樣內(nèi)存異常時犧牲的只是一個可以自動重啟的推理進程整個設(shè)備仍然可訪問、可運維。要驗證上限是否生效可以手動往進程里注入一段不斷申請內(nèi)存的測試代碼觀察dmesg里OOM kill的記錄。這一步必須做不然上線后內(nèi)存泄漏爆發(fā)時系統(tǒng)可能直接卡死。5.2 AI推理進程的心跳與自動重啟進程守護需要業(yè)務級心跳不是簡單的進程存活。比如推理服務進程還活著但內(nèi)部某個線程死鎖了外表看著一切正常實際已經(jīng)停止處理新任務。我的做法是讓服務暴露一個本地HTTP健康檢查接口比如/healthz返回最近一次推理處理的幀數(shù)和耗時。守護腳本定期請求這個接口同時驗證兩個條件一是有響應二是最近一次推理耗時沒有超過正常值的3倍。#!/bin/bash # guardian-health-check.sh curl --max-time 5 -s http://127.0.0.1:8090/healthz || { logger -t guardian health check failed, restarting service systemctl restart guardian-ai }把這個健康檢查腳本放到systemd timer里每30秒跑一次或者直接用systemd服務自帶的WatchdogSec機制來實現(xiàn)效果類似。關(guān)鍵點在于心跳要和業(yè)務卡死聯(lián)動而不是空轉(zhuǎn)。比如推理服務內(nèi)部單獨開了個線程每5秒調(diào)用sd_notify主線程卻堵在某個圖像處理函數(shù)里出不來這種心跳就沒有意義。我一般把心跳調(diào)用放在主推理循環(huán)的每個幀處理之后而不是放在獨立線程里這樣只要心跳還在跳動就說明核心業(yè)務還在跑。5.3 視頻流與模型加載的穩(wěn)定性細節(jié)RK3588邊緣AI設(shè)備大量用于視頻監(jiān)控場景RTSP拉流 硬解碼 推理 結(jié)果上報是標準鏈路。這個鏈路里最容易被忽視的是網(wǎng)絡(luò)抖動。RTSP拉流線程如果阻塞在socket讀取上一旦上游攝像頭斷流這個線程可能一直卡著不返回。處理辦法是給所有socket調(diào)用加超時同時在守護腳本里加新幀看門狗實時視頻流如果超過N秒沒有新幀到達判定拉流異常重啟整個視頻處理進程。模型加載方面RKNN推理服務啟動時要把模型加載到NPU這個過程在冷啟動時可能需要幾秒鐘到十幾秒。systemd服務默認的啟動超時是90秒正常情況下足夠用。但要注意一個問題如果系統(tǒng)剛啟動時NPU驅(qū)動還沒初始化完成推理服務啟動就會失敗。我在服務單元里加了Afterrockchip-npu.service和Restartalways保證NPU就緒后再啟動推理服務啟動失敗也能自動重試。內(nèi)存泄漏是AI服務的另一大隱患。我建議對每個推理服務做一次72小時的壓測每隔1小時記錄一次RSS內(nèi)存如果RSS單調(diào)上漲超過10%基本可以斷定有泄漏上線前就要修。實在趕到項目交付節(jié)點來不及修也可以用systemd的MemoryMax做一個定時重啟的折中方案——比如每天凌晨業(yè)務空閑時自動重啟一次推理服務把所有泄漏的內(nèi)存吐回去。這個方案治標不治本但確實能讓設(shè)備先跑起來。6. 存儲與日志的可靠性eMMC壽命、只讀根文件系統(tǒng)與日志輪轉(zhuǎn)邊緣AI設(shè)備絕大多數(shù)用eMMC做存儲。eMMC雖然比SD卡可靠得多但也不是無限寫壽命的。而且系統(tǒng)日志、AI推理日志、視頻片段如果隨意落盤要么把存儲寫穿要么把分區(qū)寫滿兩者都會導致設(shè)備無法正常工作。這一章講存儲和日志的守護手段。6.1 根文件系統(tǒng)只讀化把根文件系統(tǒng)設(shè)成只讀是嵌入式設(shè)備提高可靠性的經(jīng)典做法。好處顯而易見意外斷電不會破壞系統(tǒng)盤日志寫滿也不會影響系統(tǒng)目錄惡意或異常寫入更不會污染二進制文件。在Rockchip平臺的Debian/Ubuntu上通常做法是用overlayfs把根文件系統(tǒng)合并成只讀底層內(nèi)存上層。具體實現(xiàn)可以用Linux內(nèi)核boot參數(shù)配合initramfs腳本或者安裝overlayroot后配置overlayroottmpfs配置之后重啟根文件系統(tǒng)就是tmpfs疊加在只讀的eMMC分區(qū)上了系統(tǒng)運行時對/目錄的寫入都落在內(nèi)存重啟后自動恢復到出廠狀態(tài)。業(yè)務數(shù)據(jù)和日志則寫入單獨的可寫分區(qū)比如/data和/var/log。這樣既保留了系統(tǒng)的靈活性又把系統(tǒng)盤寫損壞的概率降到了最低。需要注意只讀根文件系統(tǒng)會讓某些需要寫/var的包安裝失敗需要提前規(guī)劃好哪些路徑走tmpfs、哪些路徑走獨立可寫分區(qū)。我通常的做法是/etc里需要動態(tài)修改的文件用bind mount映射到/data分區(qū)/var/log直接掛到/data/log/tmp和/run本來就是tmpfs不用管。6.2 日志輪轉(zhuǎn)與落盤策略日志寫滿分區(qū)是邊緣設(shè)備最常見的一種慢死。AI推理服務如果每個檢測幀都打一條日志一天能寫好幾個GBeMMC很快扛不住。我的標準策略是應用日志統(tǒng)一寫到/data/logs配合logrotate做輪轉(zhuǎn)和壓縮。以/etc/logrotate.d/guardian-ai為例/data/logs/ai_service.log { daily rotate 7 compress delaycompress maxsize 50M missingok notifempty copytruncate }copytruncate這個選項很重要它確保日志文件還在被進程打開寫入時也能安全輪轉(zhuǎn)。系統(tǒng)日志方面journald默認會把所有日志寫到/var/log/journal如果根文件系統(tǒng)只讀化了就要把日志轉(zhuǎn)發(fā)到內(nèi)存或者只保留systemd內(nèi)存日志必要時再手動導出。我一般設(shè)置SystemMaxUse200M MaxRetentionSec3dayjournald自己控制體積日志太多時自動丟棄老日志不會把磁盤撐爆。6.3 eMMC磨損保護除了控制寫入量eMMC本身也要做一些保養(yǎng)。最關(guān)鍵的是定期執(zhí)行TRIM讓eMMC內(nèi)部GC有合理的時機整理廢棄塊fstrim -v /data可以放到cron或systemd timer里每周執(zhí)行一次。另外盡量避免在業(yè)務代碼里做高頻率小文件寫入比如每秒鐘寫一個狀態(tài)文件。日志先寫入內(nèi)存緩沖攢夠一定量再批量落盤這樣既能減少寫放大又能避免每次斷電都丟關(guān)鍵日志。如果對存儲可靠性要求更高可以啟用eMMC的硬件寫保護通過MMC工具設(shè)置永久寫保護區(qū)域或者干脆把系統(tǒng)盤做成只讀eMMC業(yè)務數(shù)據(jù)全部走外部USB SSD或者網(wǎng)絡(luò)存儲。不同方案的取舍取決于項目預算和數(shù)據(jù)重要性但思路都是一樣的保護存儲就是保護系統(tǒng)本身的生存能力。7. 一次完整排查實錄散熱失控導致的風扇卡滯與系統(tǒng)關(guān)機前面幾章講的是理論和方法這一章我拿一個實際案例把整個排查鏈路走一遍。這個案例來自一個室外配電柜里的RK3588邊緣AI盒子跑的正是YOLOv8人員識別加RTSP視頻流設(shè)備已經(jīng)穩(wěn)定運行了兩周突然在一個高溫午后自動關(guān)機。7.1 現(xiàn)象與最初的懷疑方向用戶反饋設(shè)備掉線Console口接上沒有輸出ping不通電源指示燈不亮。第一反應是斷電了后來確認供電正常。懷疑軟件死鎖但設(shè)備是完全斷電狀態(tài)不是假死。把設(shè)備取回實驗室上電串口看日志發(fā)現(xiàn)最后幾行是thermal zone的臨界溫度告警然后就是硬件熱保護斷電。所以問題不是軟件是設(shè)備燒過了。我把設(shè)備裝上溫度探頭重新跑壓測同時讓日志系統(tǒng)記錄溫度、風扇PWM、轉(zhuǎn)速三個數(shù)據(jù)。到這里第一個教訓就出現(xiàn)了如果沒有提前做監(jiān)控和日志這種故障排查會像無頭蒼蠅一樣毫無頭緒。所以我在所有RK3588項目里都強制要求記錄溫度軌跡和風扇轉(zhuǎn)速就是為了這種時候能回放現(xiàn)場。7.2 逐層排查風扇轉(zhuǎn)速異常的過程模擬現(xiàn)場高負載跑了大概兩天數(shù)據(jù)庫里的記錄顯示關(guān)機前幾分鐘溫度從75℃一路漲到95℃而PWM duty已經(jīng)是255全速。按理說全速運轉(zhuǎn)下溫度不應該升這么快唯一的解釋是風扇沒有在轉(zhuǎn)。我調(diào)出轉(zhuǎn)速記錄果然PWM全速之前的幾十分鐘轉(zhuǎn)速已經(jīng)從3000RPM快速下降到幾百RPM最后穩(wěn)定在0附近。風扇故障幾乎可以確定了。但為什么會突然轉(zhuǎn)速下降打開盒子檢查發(fā)現(xiàn)風扇葉片上積了一層灰軸承發(fā)澀用手撥動葉片有明顯阻力。長期運行加灰塵卡滯導致風扇軸心阻力變大最終停轉(zhuǎn)。為了確認測速鏈路沒問題而不是誤報我用示波器直接測風扇FG引腳葉片停轉(zhuǎn)后確實沒有任何脈沖輸出。到這里問題定位完成不是PWM capture配置錯不是內(nèi)核讀轉(zhuǎn)速讀錯就是純粹的風扇機電故障。這個案例里的溫控策略也有問題為了靜音風扇在50℃以下長期低速運行低速工況下灰塵更容易附著在葉片和軸承上日積月累就卡死了。這是產(chǎn)品設(shè)計層面的隱患不只是風扇質(zhì)量問題。7.3 根因確認與修復方案最后我給這個項目做了三處改動也推薦給所有類似場景的RK3588設(shè)備。第一溫控策略從低速常轉(zhuǎn)改成按需調(diào)速每周還加了一次30秒的全速自清潔周期利用離心力把葉片上的灰塵甩掉一部分。第二增加風扇故障檢測邏輯PWM開度超過一定閾值而轉(zhuǎn)速異常偏低時立即觸發(fā)告警并主動限制AI推理負載降低發(fā)熱。第三也是最關(guān)鍵的給設(shè)備加上了硬件看門狗和內(nèi)核panic自動重啟。這樣即使故障真正再次發(fā)生導致重啟也只需要45秒左右就能恢復業(yè)務而不是等人工到場。這次排查給我最大的觸動是散熱問題的根源往往不在散熱本身而在監(jiān)測缺失。如果一開始就盯著風扇轉(zhuǎn)速和溫度趨勢故障是可以提前發(fā)現(xiàn)的。后來我在每個項目的設(shè)備驗收清單里都加上了一條必須驗證看門狗能復位系統(tǒng)必須驗證風扇在失速時能告警必須驗證日志能在故障后留痕。做過這套Guardian體系之后我對RK3588邊緣AI設(shè)備的7×24穩(wěn)定性有了新的理解。所謂不死機不是追求設(shè)備永遠不壞而是要讓每次故障都能在最短時間內(nèi)自愈把設(shè)備的不可用時間壓縮到分鐘級以內(nèi)。硬件壞了有看門狗兜底業(yè)務掛了有systemd拉起內(nèi)存泄漏了有cgroup隔離日志滿了有輪轉(zhuǎn)清理。把這些環(huán)節(jié)都打通再回頭看那些死機問題絕大多數(shù)都只是守護體系里的一個待完善節(jié)點。但也不要過度迷信守護機制本身——守護本質(zhì)上是在為系統(tǒng)的脆弱兜底更好的方向永遠是在設(shè)計階段就把散熱、電源、存儲這些基礎(chǔ)功課做扎實讓Guardian從救命稻草變成保險措施。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香五月狠狠在线观看| 中文字幕AV在线| 欧美丁香五月| CHINESE熟女老女人HD视频| 99热最新精品| 色色热| 激情综合网 激情五月天| 婷婷丁香成人五月天| 另类图片五月天| 91色在线 | 日韩| 开心五月丁香综合久久| 高清无码.com| 色玖玖| 大鸡巴伊人网| 久久久精品婷婷五月天| 熟女人妻视频| 欧美在线视频99| 九九亚洲| 婷婷五月天激情电影| 狠狠色丁婷婷日日,伊人激情综合网| 久久五月情| AV片一区在线观看| 五月丁香婷婷久久| 五月丁香网视频| 色综合久网| 少妇真实被内射视频三四区| 色无婷婷| 高清 码 免费看片短视频| 抽插特写| 狠狠色婷婷7777久综合| 五月丁香偷拍| www.maotanji.com| 殴美日比视频| 六月婷婷色综合| www.无码com| 岛国AAAV| www.色色com| 91狼友视频网页更新| 大香蕉520| 色五月亚洲| 丁香五月成人在线| 第四色婷婷丁香五月| 婷婷丁香六月影视| 亚洲色a| 久久久思思热| 这里只有国产精品在线| 九一99| 夜夜夜夜操| 天天肏屄夜夜爽| 色色色色色色色色五月先| 亚洲综合另类| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 26uuu最新地址| 无码人妻一区二区三区免费九色| www99热| 99色视频免费在线规看| 久久综合五月天| 天天天综合网| 天天激情站| 九九操操| 亚洲丁香五冃97色| 色播播婷婷| 亚洲色图五月丁香| 九九视频这里是精品五月| 久久99热只有精品| 狠狠激情五月天| 婷婷精品性性性性性性性| 色五月婷婷丁香五月| 99精品22| 久久精品99| 五月丁香六月婷| 99精品偷自拍| 色综合av超碰| 狠狠色婷婷7| 第二色AⅤ| 六月丁香深深爱| av性爱在线| 99只有这里有精品在线视频| 色综合久久久久| 高清资源站日A美A欧亚…| 婷婷色色网站| 91狠狠综合网| 五月天停停成人网| 婷婷六月激情| 一区二区三区XXXXXX| 五月天丁香久久| www.99色| 丁香六月情| 激情性爱五月| 丁香九月色| 欧美日韩国产日本精品四虎网网站物| 丁香五月日啪| 久久伊人五月天| 香蕉久久国产AV一区二区| 99婷五月| 婷婷五月天伊人在线| 色综合综合网| 强辱丰满人妻HD中文字幕| 丁香五月六月激情久久| 天天做天天爱| 五月天婷婷社区久久综合| 精品色情一区二区三区四区| 999精品乱码77777| 免费观看高清无码| 综合网激情五月天| 停停五月天激情网| 婷婷色色网| 丁香五夜激情四射夜夜夜| 狠狠色综合网| 婷婷五月天综合久久| 99免费视频| 色约约视频一区二区三区四区五区| 香蕉大综综综合久久| 婷婷五月免费观看| 日本色婷婷| www.综合久久| 五月花免费视频| 国产AV一区二区三区日韩| 久久婷婷五月综合啪| 日日操日日干| 日日做A爰片久久毛片A片英语 | 五月丁香操亭亭网| www.色色色com| 色婷五月| 婷婷亚洲影院| 日本操碰碰| 开心五月激情婷婷| 国产人人操| 久久成人性爱| 熟女人妻一区二区三区免费看| 综合伊人久久| 综合激情在线| 久久婷婷成人| 超碰成人电影| 噜一噜免费视频| 婷婷伊人综合中文字幕| 超碰免费人妻| 婷婷六月色| 国产精品国产| www.久久99| 日本一级特黄大片AAAAA级| 五月丁香淫淫婷婷婷| 国产午夜成人免费看片无遮挡| 无码激情| 久久久人妻| 久操热| 91超碰在线观看| 久久99精品久久久久久青青AR| 天天综合网网欲色| 九热免费视频| 欧美色频| 婷婷丁香激情五月天色色| 超碰99在线观看| 欧美日韩一a.无| 国産精品| 99这里只有免费的小视频在线观看| 人人操五月天| 五月丁香婷婷啪啪综合网| 国产午夜精品AV一区二区麻豆| 色综合xx| AV在线收看| 99热综合网| 一本色道久久综合狠狠躁小说| 丁香五月Av| 综合精品99| 人人操AV| 99热这里只有精品66| 婷婷天堂视频| 色吧综合网| 99这里只有精品国产| 这里只有精品视频在线| 天天免费日日夜夜夜夜| 婷婷五月天奸女| 97干在线| 日日夜夜小色哥| 黄页免费一级视频懂色| 97色碰| av 一区三区四区| 少妇AB又爽又紧无码网站| 久久婷婷欧美| 婷婷色在线观看| 97人人射| 亚洲欧美婷婷五月色综合| 91人妻人人操人人爽| 婷婷五月激情丁香| 色狠久| 丁香六月久久| 伊人激情综合| 五月丁香综合| 人人色婷婷| 日韩另类| 大香蕉太香蕉视频97| 国产精品色婷婷99久久精品| 国产一级婬片毛片| 久99久视频| 爽tv | 丁香五月天亚洲视频| 99热这里是精品| 激情文学综合婷婷五月天丁香花| 99九九在线视频| 天天情天天狠天天透| 国产乱人偷精品人妻A片| 五月丁香婷婷三级| 五月天婷基地| 色域五月婷婷丁香| 亚州精品成人片| 久久久久人妻精品| 婷婷五月天AV在线| 亚洲另类噜噜| 五月香蕉婷婷| 99热在线爱| 九九热在线视频观看免费10| 欧美亚洲色色色色| 91九色网| 久热这里只有精品99re | 丁香六月激情国产| 无码毛片992367| 日本三级毛片| 九九九九无码| 另类国产欧美视频| 91中文狠狠综合| 久综合色| 色色日本欧美| 丁香婷婷深情五月亚洲| 亚洲精色| 欧美VA在线观看| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 激情综合激情五月一起草| 九九热色视频| 97碰免费视频在线| 99综合一区| 超碰啪啪网| 99精品视频在线观看| 天天日日夜夜| 欧美成人精品A片免费一区99| 六月丁香婷婷尤物| 我爱婷婷五月天综合88| 五月开心婷婷| 久久久精久人妻| 婷婷五月天成人娱乐| 9l视频自拍9l九色9l成人| 久久XX日本综合| 99热这里只有精品9| 大香蕉中文| 天天操电影院色狼性av| 亚洲视色| 26uuu精品一区二区| 五月丁香激情深爱婷婷| 人妻精品久久久久久久| 99热.com| 停停五月色宗合| 国产精品热搜丁香五月婷婷| 五月天啪啪啪| 色色色地址| 色噜噜狠噜噜视频| www.色五月.com| 丁香五月社区| 欧美日韩91| 久久久久9| 成人一级片| 九九五月天| 国产婷婷综合在线免费视频| 亚洲久热| 国产偷人爽久久久久久老妇APP | 亚洲综合色网| 五月婷婷激情综合网| 在线综合网| 亚洲热综合| www.夜夜操| 久久婷婷五月| 超碰人人妻| 99人人干人人操| 小泽玛利亚视频一区二区| 成人一区在线观看| 任你艹| www.激情.com.| 狠狠香婷婷五月| 亚洲激情图文小说| 天天撸天天干天天插| 色色色色av色色色色| 无码人妻一区| 激情五月综合| 天天久久婷婷| 久久网站免费亚洲| 五月丁香AV在线| 丁香色婷婷五月天| 婷婷丁香六月天| 国产做爰视频免费播放| 99熟女啪啪视频| 五月总合激情网| 五月天激情网图片 - 百度| www.五月婷婷久久.com| 97色啪| www.五月天| 操操操B| 天天操五月天| 5月色亭亭视频| 夜夜骑天天玩天天日| 97性视频| 色涩视频久久| 99久久婷婷国产综合精品青桔| 激情婷婷人妻| 九色91国产| 激情五月天丁香| 丁香九色不卡aaa| 色综合九九| 第一区久久网站| 99ri视频在线播放| 伊人五月婷| 日韩人妻在线观看| 伊人啪啪网| 色婷婷电影| 99久久综合狠狠综合久久| 人人插9| 婷婷五月在线综合| 久久东京热婷婷五月| 欧美五月停| 男人天堂99| 五月丁香色停停啪啪啪| 色爱综合视频| 99精品久久| 操逼亚洲天堂| 婷婷五月天天| 激情丁香五月婷婷| 婷婷五月综激情| 99热色在线精品| 永久精品| 狠狠色丁香| 人人爱人人摸人人澡| 中文AV网| 色综合久| 天天舔天天爽| 99re热视频这里只有综合亚洲| 99久久免费精品| 99色视频| 色色精品色| 五月天激情小说网| 人人妻人人澡人人爽| 欧美视频在线观看噜噜| 国产日产亚系列精品版优势| 欧美婷婷五月激情| 国产亚洲色婷婷久久99精品91| 天天色丁香| 久久久这里有精品| 午夜色丁香| 伊人狠狠干| 九九色综合| 五月天社区| 色婷婷天堂| 欧美成人AAA片一区国产精品| 国产在线aaa片一区二区99| 激情五月天色网站| 五月婷婷av| 天天操无码| 黄网免费观看| 99re热精品在线视频| 色老久久| 91久久久久久久| 9有码中文| 97热久久| 91久久久久久久久久久| 丁香五月激情天AV无码| 国产99久久久国产精品免费看| 五月婷婷深深的爱| 四虎国产精品永久在线国在线| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 人人综合色| A色色| 婷婷五月欧美综合| 国产色色色色| 日韩欧美老妇性视频91久久久| 午夜丁香婷婷| 婷婷九九| 激情又色又爽又黄的A片| 亚洲天天免费| 国产精女同一区二区三区久| 六月婷婷开心| 亚洲网视屏| 99热这里精品| 白天AV月月| 伊人九九68| 人人干人人操人人摸| avv在线| 九九干视频| 五月丁香六月在线欧美| 精品九九九久| 婷婷五月丁香欧洲| 天天综合激情| 伊人激情网| 91九九九九九九| 六月丁香社区| www.婷婷五月| 色婷婷丁香女女| 99热这里有精力| 婷婷欧美激情| 777精品久无码人妻蜜桃| 婷婷日日天天| 99热综合在线| 亚洲愉拍99热成人精品| 精品爆操| 五月丁香狠狠爱婷婷综合| 人人操超碰| 五月婷婷啪啪啪| 久婷婷五月激情| 五月婷婷欧洲| 99热只有这里有精品| 五月婷婷无码专区| 97色婷| 九九操屄| 亚洲a色| 婷婷五月色網站| 婷婷伊人综合中文字幕| 婷婷五月色播天| 丁香六月婷婷色播| 欧美亚洲操逼| 色色综合色视频| 狠狠色综合久久久久| 五月丁香激情综合| 天天久| 色五月之第四色| 久久91久久精品久久| 99精品热视频| 26uuu欧美日本| ay2区| 成人 九九九九| 欧美日韩99| 婷婷激情六月| 婷婷伊人久久综合| 丁香六月视频| 99色色热| 五月综合色| 5五月综合网亚洲| 午夜成人片400| 大香蕉天堂| 色婷婷裸体色性在线| 婷婷五月在线免费| 婷婷五月综合网| 七七久久综合| 丁香五月婷婷啪啪视频| 国产精产国品一二三在观看| 亚洲欧美婷婷五月色综合| 色播五月网| 婷婷丁香五月天小说| 伊人久久婷婷| 激情综合区| 久久大香蕉伊人| 亚洲色99综合天堂| 美女久久天堂| 国产jd1024基地手机看国产| 丁香婷婷老熟女综合网| 97操操网| 色欲色欲久久宗合网| 久久婷婷精品| 亚洲视频在线观看| 国产精品久久久久久久久久免费| 99热这里只有精品99| 天天精品视频免费观看| 婷婷五月激情五月激情| 婷婷狠狠干| 综合网色| 99久久网站| 99九九精品| 色综合区| 色婷婷小说| 久月婷婷| 99色在线视频| 国产婷伊人| 任你躁XXXXX麻豆精品| 精品成人无码A片观看香草视频| 人人摸人人干| 色色婷婷综合| 五月丁香花激情啪啪网| 婷婷色色丁香| 97视频.干com| 五月天婷a在线| 亚洲VA欧美VA| 99热只有精品在线观看| 五月丁香天堂网| 五月天六月婷婷| 另类视频五月天| 五月婷婷色| 成人五月天丁香婷| 五月丁香色婷婷| 婷婷五月成人| 影音先锋一区二区资源站| 国产精品男人AV不卡| 97偷拍在线视频| 五月婷婷丁香六月| 丁香五月六月久久综合| 色五月婷婷婷婷| 婷婷丁香五月亚洲免费| 99热e| 五月婷婷在线视频| 日本三级第一页| 婷婷久久伊人| 人人操Av| 99热精品无码| 日本丁香五月| 99A片| 丁乡久久| 天天操天天爽天天爱| 亚洲成人va| 久久婷婷五月综合色丁香| 九九黄色网| 国产AV熟妇人震精品一品二区| 五月天堂六月丁香亚州中文字幕久久| 婷婷无码视频| ss视频xx91| w婷婷五月婷婷w| 亚洲精品久久久久AV无码| 情色五月天 网站| 久久婷婷五月天蜜桃| 狠狠艹狠狠艹| 极品另类| 丁香五月婷婷色综合| 六月婷婷久久| 亚洲第一色区| 天天爽天天| 婷婷五月天性爱视频| 五月婷婷啪啪| 婷婷五月成人| www,99视频| 玖玖爱综合网| 久久久精品色| 五月婷婷综合在线| 99热国内精品| 婷婷开心五月| av网站不卡在线| 色情五月综合婷婷| 五月丁香六月婷婷啪啪| 中国无码av| 天堂久久精品| 激情网五月天| 日本丰满久久| 五月天影院婷婷在线观看| 欧美色色色色色色色| 亚洲操女| 襙比视频| 日本三级中国三级99人妇网站| 色婷婷激情四射视频| 五月综合激情综合久| 五月婷婷啪啪| 婷婷五月丁香综合激情| 婷婷五月天天天| 伊人网色婷婷五月天| 99er这里只有精品视频| 91干| 久久精品婷婷| 婷婷久久99| 性爱七区| 5月婷婷6月六月丁香| 超碰只有精品在线| 五月激情久久综合| 成人精品视频99在线观看免费| 五月丁香婷婷久久| 久久综合首页| 99re热99| 开心五月婷婷激情| 啊v视频在线观看| www.婷婷五月天| 久久艹网| 激情五月天偷拍综合网| 99人人操| 精品久久9| 婷婷综合影院| 久久综合干| 亚洲av网站在线观看| 五月天丁香婷婷社区| 亚洲第一第二网站| 亚洲啪啪精品| 五月丁香网站| 99热免费精品| 99激情网| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 天天操五月天| 激情综合在线观看| 婷婷99| 9久久精品| 久鲁鲁色网| 亚洲日韩一页精品发布| 伊人五月网| 射婷婷中文字幕| 亚洲 五月 婷婷 成人| 色啪久 | 九九热99视频在线| 日本色色色| 99热国品免费| 97日韩无套内| 激情五月天小说网| 色五月成人| 伊人99热| 五月天社区狠狠| 99国产欧美视频| 久9精品视频| 香蕉久久国产AV一区二区| 婷婷五月丁香五月| 精品51XX| 久久多色| 高潮毛片又色又爽免费| 色中色综合| 亚洲视频五区| 日99网站| 人妻激情在线| 狠狠 婷婷| 9久热视频| 人人操插| 久热这里只有精品视频6| 免费啪啪啪网站| 亚洲激情在线| 久色网五月| 97五月婷婷| 好好干Av| 精品五月花| 中文字幕综合网| 日韩av干| 99热爱爱干干日| 色狠狠色噜噜AV天堂五区| 五月激情综| 天天干,天天舔| 亚洲精品九九| 综合色99| 久久五月天网| 久久婷婷一级片| 日韩高清成人| 亚洲中文字幕翔田千里| 亚洲色热| 国产精品爽爽久久久久久| 6月丁香婷婷| 大香伊人婷婷| 嫩草AV久久伊人妇女超级A| 激情网五月天| 色婷婷色五月综合| 99久久丝| 婷婷九月亚洲| www狠狠爱com| 日本操天堂| 91碰碰碰| 五月色婷婷影院| 久热播这里只有精品| www.99热日韩.com| 91丨九色丨熟女| 啪啪五月婷婷| 三年高清大片免费观看国语| 99爱在线免费视频| 色婷婷综合亚洲| 五月天精品综合| 五月婷婷久久开心网| 玖玖爱综合网| 怡春院久操| 4399精品一区二区| 草草色情综合网| 色情五月婷婷| 26uuu亚洲| 色播婷婷大香蕉| 四月丁香五月婷婷久久| 天天爽日日爽夜夜爽| 六月色色综合| 五月人人丁香婷婷五月人人丁香| 91狠狠综合久久久久久| 五月色综合| 996er热| 六月丁香婷婷色狠狠久久| 色综合网页| 丁香五月激情图片婷婷| 夜夜嗨一区二区三区直播内容 | 日本天天色| 婷婷五月天开心网| 精品乱码久久久久| 夜夜干天天操| 黄网在线播放| 99久久99久久综合| 超碰久热| 亚洲精品字幕| 日本综合99| 五月天啪啪网| 日本三日本三级少妇三级66| 九九热婷婷| www.五月天色色色| 91avse| 激情久久久| 99久久亚洲精品视频| 超碰av在线| 丁香五月婷婷深爱综合激情 | 婷婷五月丁综合| 色色五月婷婷丁香| 色偷偷五月天| 亚洲中文字幕av| 丁香婷婷基地| 国产全是老熟女太爽了| 大香蕉婷婷婷| 99热碰碰| 九九热精品| 五月激情另类| 丁香五月六月激情久久| 色色日本欧美| 99热这里只有精品4| 99热66| 久久这里只有精品视频15| 婷婷六月天| 99a级片| 开心婷婷中文字慕| 第四色婷婷色五月| 夜夜爱网站| 无码人妻激情| 亚洲V国产V欧美V久久久久久| 五月婷婷色色爱| 欧美日韩国产一区二区| 丁香五月激情宗合| site:feetmall.com| 久狠狠狠| 麻豆AV一区二区三区| 丁香五月天大香蕉啪啪| 狼友超碰| 久久久婷丁香五月| 色欲五月婷婷| 激情内射人妻1区2区3区| 亚洲天堂有码| 六月婷婷五月丁香首页| 九九热免费| 91操操| www.金莲av| 亚洲一级色电影| 丁香五月天婷婷久久综合| 五月综合婷婷五月| 天天天天干| 欧美激情久| 天堂爱爱| 伊人久久大香线蕉av一区| 五月丁香久久| 在线天堂9| Jh7Uf088VHafNm| 99操逼| 婷婷丁香六月天激情四射网| 99热在线播放| www.五月天婷婷| 国产偷人爽久久久久久老妇APP| 視频福利乱色| 99色热视频| 九九热黄色| 五月丁香A∨在线| 婷婷丁香六月影视| 999婷婷综合| 91碰碰视频在线观看| 亚洲一个色| 激情五月丁香婷婷| 操大屄五月天视频| 男人天堂伊人五月丁香| 六月撸婷婷| 久久99草五月婷婷| 丰满人妻一区三区三区| 久久激情网| 色情婷婷。| 欧美色爱五月天| 99网| 免费99情趣网视频| 激情av| Www99热| 色五月激情| www.第四色99| 丁香五月激情澎湃一区| 成人做爰A片免费看视频| 91久久久久久久久久久| 久久五月天视频| 午夜日韩久久久网站| 人人操人av| 国产AV一区二区三区最新精品| 五月丁香综合啪啪| 色色五月天网站| www.五月丁香| 五月综合激情| 亚洲熟女乱色综合亚洲网站| 精品久久99码| 午夜丁香 婷婷| 久久久这里有精品| 丁香六月婷婷色XXXXX| 亚洲激情.com| 日本色超碰| 婷婷精品综合| 夜夜AVV| 五月婷婷色五月| 中文在线视频久9| 六月丁香VA| 69精品人人人人人人| 日韩无码色色| 欧美日韩成人高清在线| 9l视频自拍9l九色9l成人| 精品爆操| www色五月| 婷婷五月丁香久久| 99亚洲精品| 婷婷热婷婷色| 大操人妻| 日狠狠| 五月天婷婷爱| 99久久综合| 5月色婷婷| 97精品人人A片免费看| 久热这里只有精品视频6| 五月四色激情| 色婷婷五月天偷拍| 亚洲综合网 665566| 激情五月天在线视频| 五月激情六月| 永久天堂日本| 日本九九视频| 超碰三级秋霞| 丁香五月婷婷啪啪视频| 天天摸天天舔天天天天爽| 五月天久久www| 97福利视频| 五月丁香六月婷婷亚洲| 美国天天操无码| 亚洲中文字幕AV| 亚洲性爱99| 色噜婷婷| 另类小说五月天| 狠狠干总合| 大香蕉啪啪啪啪啪啪| 国产精品久久..4399| 天天日综合网射| 五月丁香色色色| 色婷婷在线播放| 五月丁香综合伦理片| 免费成人中文字幕| 色噜噜狠狠一区二区三区| 九九热区一区二区三区| 五月丁香少妇| 性做久久久久久久免费看| 怡红院一二三| 色综合色综合婷婷热| 五月天婷婷无码| 超碰人人艹| 六月丁香婷婷在线波多| 亚洲免费99| 欧美A级成人婬片免费看理论| www.maotanji.com| 丁香五月久久综合| 婷婷综合五月天| 狠狠色丁香乆乆| 99自拍视频在线观看| 国产精品久久久60086| 99热主页日本| 香港九九六区八区99| 九热视频| 五月天婷婷综合免费| 色色色在线免费视频| 91婷婷五月丁香碰| 成人国产欧美大片一区| 天天综合网91| 激情亚洲网| 视色网在线播放| 日本操碰碰| 国内精品免费一区二区2009| 亚洲啪啪网| 色婷婷超碰| 成人国产网| 激情综合色| 国产精品日日躁夜夜躁| 成人超碰Av| 五月天婷五月天综合网在线观| 色五月婷婷91| 韩日AV片| 六月婷婷色色网| 久久小视频| 激情色播| 久久久久九九九九视屏小说88| 婷婷五月丁香六月| 97干在线播放| www天天色天天射| 国产精品A片| 激情五月婷婷在线区| 91久久婷婷| 99精品久久久久久久| 97色碰碰公开视频| 欧洲MV日韩MV国产| 久草热8精品视频在线观看| 开心五月婷婷激情| 亚洲六月婷婷| 99久久久久久www| 亚洲热热视频| 很很干天天干| 99re思思热久久| 五月香六月婷| 久久99成人性爱高清视频| 五月亭亭激情综合| 狠狠五月丁香色婷| 丁香五月婷婷丫| 79亚洲精品少妇| 五月欧美色播| 久久五月六月| 99精品这里只有免费视频| WWW五月婷婷| 亚洲日本激情| 玖玖在线资源视频| 激情综合网五月天天| 5月婷婷综合| 99热这里只有精品手机在线观看| 成人超碰AV| 亚洲小说五月婷婷| 色五月婷婷狠狠撸| 五月婷婷开心色伊人| 五月天亚洲最大成人| 六月激情婷婷综合| 小视频一区| 丁香婷婷综合激情五月色| 五月丁香花激情综合网| 亚洲激情综合免费| 婷婷久久丁香| 超碰超碰在线| 九九热精品视频在线观看| 色色色99| 色色色色色色色色色影院| 欧美综合激情| 青青草五月天| 色狠狠色综合久久久绯色AⅤ影视| 碰97久久| www.粉嫩av.com| 嫩草综合网| 日日操天天| 婷婷八月丁香激情综合| 五月婷婷激情综合| 国产肥白大熟妇BBBB视频| 久久婷婷九月国产精品| 色色五月激情| 99在线观看| 第六色在线| 久久久精品色| 国产亚洲99久久精品| 日本欧美成人片AAAA| 啪啪视频99| 99爽视频| 青青草蜜臀| 五月天婷婷激情综合| 婷婷视频网| AV在线不卡播放| 99 福利 导航| 永久思思热在线| 久久久五月婷婷| 99干日本| 少妇搡BBBB搡BBB搡毛茸茸| 色婷婷无吗| 五月婷婷久久综合| 亚洲性爱日韩无码| 五月天婷婷免费| 色婷五月天| 一区二区aV电影免费看| 97在线视频观看| 天天射色五月天| 国产67194| 婷婷碰碰| 五月色情婷婷| 激情五月六月婷婷| 成人片在线播放| 亚洲欧美国产A片免费观看| 婷婷精品| 五月婷婷av| 思思99热| 殴美激情综合网| 日日激情网| 欧美日韩一区二区三区四区| 亚洲天堂AV综合网| AV伊人青草丁香六月| 超碰1999| 99噜噜噜在线播放| 婷婷五月丁香91| 激情综合网 激情五月天| 99综合视频一体| 1024在线观看免费视频| 中文人妻主播久久| 噜噜干日本| 日本nghangse中文字幕| 丁香五月婷婷综合视频| 天天舔天天摸| 婷婷丁香熟女| 九九热视频网站| 五月婷婷激情| 久艹久| 第一区久久网站| 天天日天天插| 99在线观看精品| 丁香五月亚综合图片| 国产美女无遮挡裸体毛片A片| 午夜爱爱网站| 人人干人人看| 玖玖九九超碰| 久久久五月激| 国产精产国品一二三在观看 | 激情五月天婷婷播播久久综合91 | 思思久久青草热| 五月婷婷深深爱| www.粉嫩av.com| 自拍偷窥99热| 99热网址| 婷婷六月色| 亚洲在线播放| 桔色成人在线| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 日本熟妇人妻在线| 开心五月婷婷| 天天插天天插天天日| 9久久精品| 翔田千里 50岁 无码| 色在线99| 色99在线看| 日日夜夜狠狠| 伊人玖玖网| 五月丁香六月玩女人| 丁香色情五月综合激情| 色五婷婷| 九九99视频精品| 久久婷婷五月天亚洲欧美| av在线婷婷| 欧美3AaAa大片| 99视频综合网| 五月丁查人人| 国产免费一区二区三州老师F1F1……| 丁香五月婷婷色情综合| 人人操人人添人人摸97| 天天日,天天插| 青青草原爱爱网| 亚洲热视频| 色99色| 综合大香蕉| 久草五月| 啪啪综合网| 这里只有精品99www| 亚洲中文字幕AV在线| 亚洲综合色五月| 综合久久8| 少妇人妻人伦A片| 亚洲午夜视频| 婷婷五月婷婷| 久久伊人日日夜夜| 91热在线观看视频| 婷婷成人五月天成人文学| 日韩欧美成人片| 99热在线只有精品| 天天日夜夜草进麻麻的子宫| 99色热综合| 丁香五月五月婷婷| 日本在线视频www色| 99综合视频| 五月激情黄色小说| 五月丁香毛片| 五月天色婷婷综合| 伊人五月网| 五月天丁香综合在线| 99日本在线| 婷婷激情六月综合| 久久精彩视频99| 97人人搞| 天天爱天天做天天舔| 欧美一级a | 丁香婷婷视频一区二区| 新激情综合| 中文av网| 久色资源网| 妇激情基地| 97干在线视频精品店| 99熟女啪啪视频| AV天堂淫乩| 人人操人人看97干| 久久思思热| 日日操夜夜骑| 在线观看熟女少妇| 九一牛视频探花| 99热66| 综合网天天| 欧美又粗又大一区二区在线观看| 大香蕉丁香婷婷| 五月婷婷香| 天天色激情| 深爱五月月天| 激情婷婷。| 99精品在线| 色爱综合网| 亚洲性爱99在线| 丁香婷婷网| 婷婷综合伊人| 色婷五月天| 丁香五月激情啪| 无码人妻一区二区三区免费九色| 色五月婷婷在线| 超碰免费观看| 免费AV播放| 亚洲视频操| 丁香五月婷婷综合网| 色久婷婷五月| 五月丁香色婷婷色| 婷婷视频在线碰| 婷婷色婷婷| 色色免费网站| 婷婷操婷婷干婷婷射| www.色窝| 99在线观看| 国产AV不卡福利| 久久9情免费| 欧美成人精品三区综合A片| 人妻久久婷婷| 欧美xx激情视频在线观看| 亚洲天堂AAA| 久久五月视频| 精典久久| 日本丁香久在线| 亚洲殴洲精品Av在线| 98国产精品综合一区二区三区| 热99在线| www婷婷| 日本天堂爱爱| 色五月婷婷小说亚洲中文字幕组| 思思w99| 情欲综合网| 立川无码av| 狠狠搞五月天| 亚洲在线操| 九九热re99re6在线精品| 婷婷六月久久| 青青草伊人婷婷| 风流少妇A片一区二区蜜桃| 色播五月婷婷| 久久久WWW| 五月丁香激情婷婷| 九色七七| 丁香六月激情四射| 97干在线播放| w婷婷五月婷婷w| 久久婷婷综合国产| 亚洲va综合va国产va中文| 久久人人妻| 亚洲色婷婷| 丁香五月中文字幕色播| 激情六月婷婷| 色爱综合网| 国产婷婷综合在线免费视频| 99在线热视频| 亚洲色夜| 粉嫩av懂色av蜜臀av熟妇| 久婷婷婷| 99久久婷婷| 精品人妻久久久久久| 激情综合网色播五月| www久久99| 九九视频在线观看视频6 | 成人做爰高潮A片免费视频| 男女啪啪做爰高潮无遮挡| 性色做爰片在线观看WW| 欧美69久成人做爰视频| 五月婷婷av在线| 五月停亭久久电影| 91pornav在线| 亚欧州精品视频| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 蜜臀99精品| 变态另类9| 99精品综合| 麻豆AV一区二区三区| 亚洲xx在线| 伊人大香蕉综合在线| 九洲一级A片| 色视频2025| 婷婷色色播五月天| 五月婷婷六月丁香激情| 亚洲人成色A777777在线观看| 亚洲啪啪啪啪| 丁香五月激情五月| 五月激情丁香啪啪| 九草性爱| 九九热超碰| 青青草六月丁香| XX色综合| 九九色综合九九色| 国产SUV精品一区二区883| 丁香五月激情啪啪啪啪| AV色婷婷| 侠女刀之记忆电影在线看免费| 99热最新网址| 婷婷中文字幕网| 99热精品在线| 香蕉久久五月| 色玖玖爱| 天天干天天 亚洲| 婷婷五月,偷窥偷拍网| 超碰在线国产| 1024久婷| 五月婷婷色色| 五月天久久综合婷婷丁香| 欧美日韩123| 中文字幕丰满孑伦无码专区| 色九九丁香九月色九九色| 狠狠大香婷婷爱| 婷婷瑟瑟五月天| 大香蕉综合网| 91丨九色丨老熟女激情| 免费在线观看欧美激情xx小视频| 99热这里只有精品66| 中文av网| 99艹精品在线观看| 99九九久久| 色99网站| 少妇大叫太大太粗太爽了A片| caopeng97人人| 美女要搞搞天天搞搞搞网站| 天天日天天爽| 国产偷人爽久久久久久老妇APP| 日本九九网| 五月噜噜| 高清无码视频网址| 婷婷色狠狠| 超黄亚洲瑟瑟网站| 噜噜噜久久| 日日干四虎| 开心婷婷中文字慕| 色综合天天综合成人网| 三人荫蒂添的好舒服A片| 婷婷情色五月天| 天天天天色天天天天天干| 综合网色| 伊久久婷婷| 婷婷婷婷婷婷婷五月丁香| 人妻丰满精品一区二区A片| 国产脫衣舞一区二区三区| 婷婷丁香人妻天天| 欧美丰满熟妇BBB久久久| 日本69日人视频| 色五月AV| 婷婷热色| 先锋资源 996| 97操操| 亚洲欧美成人在线| 激情深爱五月天| 丝雨一区二区| 2025天天爽天天摸| 99色视频| av九九| 91人人爽狠狠狠| 九九干视频| 五月色婷婷综合| 99爱在线| 婷婷六月天亚州| 四川BBB搡BBB爽爽视频| 久婷婷五月激情| www.五月.com| 91九色国产| 欧美va视频| 丁香五月最新地址| 天天干天天拍| 久热久re| 亚洲另类视频| 99re在线免费视频| 综合五月天完整| 久久免费高| 天天舔天天摸天天透| 亚洲狠狠色丁香婷婷综合久久| 色色色色色级无码| 九九热免费视频| 亚洲性爱干干| 午夜不卡久久精品无码免费| 丁香五月婷婷性爱| 婷婷九月| 五月丁香婷婷综合激情基地| 五月天激情小说网| 五月丁香啪啪激情| 成人片黄网站色大片免费毛片| 超碰AAAAAAV| 亚州男人天堂婷婷五月| 夜丁香五月婷婷|