欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

RK3588邊緣AI設(shè)備不死機(jī)實戰(zhàn):看門狗、NPU守護(hù)與系統(tǒng)自愈機(jī)制

RK3588邊緣AI設(shè)備不死機(jī)實戰(zhàn):看門狗、NPU守護(hù)與系統(tǒng)自愈機(jī)制 先說一個我自己的真實經(jīng)歷。前兩年給客戶做一臺基于 RK3588 的邊緣 AI 盒子部署在園區(qū)配電房做 YOLOv8 安全帽檢測設(shè)備放在弱電井里7×24 跑推理。頭一個月一切正常第二個月凌晨三點(diǎn)值班電話打過來——畫面全黑設(shè)備失聯(lián)。我驅(qū)車來回兩小時結(jié)果到現(xiàn)場一看機(jī)器沒死是 NPU 卡死了推理線程阻塞系統(tǒng)負(fù)載飆到 20 多網(wǎng)絡(luò)假死。按一下復(fù)位好了。但這個場景發(fā)生在偏遠(yuǎn)站端呢來回一次的成本夠買三臺設(shè)備。從那以后我開始認(rèn)真研究 RK3588 平臺的“不死機(jī)”問題陸陸續(xù)續(xù)做了三版方案后來慢慢沉淀成一套完整的守護(hù)機(jī)制我管它叫 Guardian。今天把整套思路、配置、踩過的坑全部攤開講希望能幫到正在做邊緣 AI 設(shè)備的朋友。適合誰看如果你正在做基于 RK3588 的AI盒子、邊緣計算終端、工業(yè)視覺設(shè)備或者已經(jīng)遇到了設(shè)備長時間運(yùn)行后死機(jī)、NPU 卡死、SSH 假死這類問題這篇文章應(yīng)該能幫你省掉至少兩個月的試錯時間。1. 先說結(jié)論RK3588 邊緣設(shè)備為什么需要“守護(hù)”而不是“運(yùn)維”很多做產(chǎn)品的朋友一上來就討論散熱、電源、看門狗方向?qū)Φ窬中×?。RK3588 這塊芯片本身是非常成熟的8nm 工藝、四核 A76 四核 A55、6 TOPS NPU算力在邊緣側(cè)完全夠用。7×24 不死機(jī)的難點(diǎn)從來不在芯片而在芯片之外的整個“系統(tǒng)生態(tài)”。1.1 三個真實場景告訴你“不死機(jī)”有多難第一個場景工業(yè)檢測。設(shè)備掛在產(chǎn)線旁邊環(huán)境溫度 40℃ 以上旁邊還有電焊機(jī)、變頻器這類強(qiáng)干擾源。RK3588 的 NPU 滿載跑 YOLOv8整板功耗能摸到 15W 以上散熱稍跟不上芯片溫度直奔 85℃。溫度一高CPU 降頻推理幀率掉一半客戶以為你算法不行其實你已經(jīng)快死機(jī)了。第二個場景無人店 / 自助終端。這種場景往往是市電不穩(wěn)晚上電壓波動大設(shè)備用著用著突然斷電或者“半斷電”——電壓忽高忽低導(dǎo)致 eMMC 寫入出錯。第二天開機(jī)系統(tǒng)起不來卡在 kernel panic只能派工單上門刷機(jī)。第三個場景車路協(xié)同邊緣站。設(shè)備放在戶外機(jī)柜網(wǎng)絡(luò)是 5G CPE偶爾斷網(wǎng)是常態(tài)。斷網(wǎng)期間軟件里的網(wǎng)絡(luò)重連邏輯如果寫得不好線程會不斷堆積內(nèi)存慢慢漲幾天后 OOM系統(tǒng)自動殺掉關(guān)鍵進(jìn)程然后整機(jī)進(jìn)入假死狀態(tài)。這三個場景說明一個問題邊緣 AI 設(shè)備的不死機(jī)不是靠某一個看門狗芯片就能解決的而是一整套從硬件到內(nèi)核再到應(yīng)用的分層兜底機(jī)制。單純靠遠(yuǎn)程運(yùn)維去“救火”成本高、時效差用戶根本等不起。1.2 死機(jī)是表象根因都在這些位置我統(tǒng)計了自己手上 RK3588 設(shè)備的故障記錄大概 80% 的“死機(jī)”其實不是真正意義上的硬件死機(jī)而是下面這幾種情況NPU 卡死RKNN 推理進(jìn)程在調(diào)用rknn_run時長時間不返回或者返回了錯誤的錯誤碼但應(yīng)用層沒處理導(dǎo)致進(jìn)程不死不活。內(nèi)核鎖死常見于某些外設(shè)驅(qū)動異常比如 USB 攝像頭掉線后內(nèi)核在等待 USB 枚舉超時或者 MIPI-CSI 信號異常導(dǎo)致 dmesg 刷屏把系統(tǒng) IO 拖垮。OOM 被殺Python 推理進(jìn)程內(nèi)存泄漏跑幾天后 RSS 漲到幾個 GB觸發(fā)內(nèi)核 OOM killer關(guān)鍵進(jìn)程被殺。文件系統(tǒng)寫滿或損壞日志沒做輪轉(zhuǎn)eMMC 被寫滿或者異常掉電導(dǎo)致 overlayfs/ext4 元數(shù)據(jù)損壞。有意思的是這些根因在實驗室里都很難復(fù)現(xiàn)因為實驗室環(huán)境太“干凈”了。真正到了現(xiàn)場電網(wǎng)波動、高溫、電磁干擾、斷網(wǎng)、人為誤操作各種因素疊加才會暴露問題。1.3 Guardian 守護(hù)的設(shè)計目標(biāo)與分層思路我定義 Guardian 的目標(biāo)很簡單即使應(yīng)用層已經(jīng)“感知”不到系統(tǒng)了設(shè)備也必須能在無人干預(yù)的情況下自動恢復(fù)而且恢復(fù)時間越短越好。理想狀態(tài)下最壞情況是 3 分鐘內(nèi)重啟恢復(fù)期間如果用戶詢問運(yùn)維人員只需要說一句“設(shè)備自愈了”就行。為了實現(xiàn)這個目標(biāo)我采取的是分層兜底架構(gòu)層級守護(hù)手段解決的問題L0 硬件層硬件看門狗、電源保護(hù)、溫控系統(tǒng)崩潰、電池/電源異常L1 內(nèi)核層內(nèi)核 panic 自動重啟、EDAC 內(nèi)存錯誤內(nèi)核級死鎖、硬件錯誤L2 系統(tǒng)層systemd 服務(wù)健康檢查、日志兜底關(guān)鍵服務(wù)異常退出L3 應(yīng)用層進(jìn)程守護(hù)、心跳上報、RKNN 超時恢復(fù)推理進(jìn)程卡死、內(nèi)存泄漏核心思路是每一層都只兜住自己下面的那一層不要把寶押在單一機(jī)制上。比如你寫了很好的應(yīng)用層守護(hù)但內(nèi)核已經(jīng) panic 了應(yīng)用層代碼再漂亮也沒用必須靠硬件看門狗把系統(tǒng)拉起來。反過來你不能只靠硬件看門狗因為它能做的只是“重啟”重啟之后應(yīng)用層問題依舊存在設(shè)備會陷入反復(fù)重啟的死循環(huán)。下面我把每一層的具體做法拆開講能貼配置貼配置能貼代碼貼代碼都是實測驗證過的。2. 硬件看門狗 軟件看門狗把底兜住看門狗是整套 Guardian 的地基。如果地基打不好上面蓋什么樓都沒用。RK3588 內(nèi)部自帶硬件看門狗DW_wdtIP在 Linux 下對應(yīng)dw_wdt驅(qū)動設(shè)備節(jié)點(diǎn)是/dev/watchdog。這個看門狗一旦啟動系統(tǒng)就必須周期性去“喂狗”否則硬件強(qiáng)制復(fù)位。2.1 devicetree 里開啟硬件看門狗很多 RK3588 開發(fā)板出廠默認(rèn) watchdog 是 disabled 的因為默認(rèn)固件不啟用喂狗服務(wù)開了不喂會一直重啟。所以第一步是在內(nèi)核 devicetree 里把它打開。以 RK3588 的 dtsi 節(jié)點(diǎn)為例wdt { status okay; timeout-sec 16; };timeout-sec我建議設(shè)置在 10~16 秒之間。太短了系統(tǒng)高負(fù)載時喂狗線程本身被調(diào)度延遲容易誤觸發(fā)重啟太長了真死機(jī)時要等半天才復(fù)位業(yè)務(wù)中斷時間太長。16 秒是我測試下來比較穩(wěn)的值。然后是 Linux 內(nèi)核配置需要確保這幾個 config 打開了CONFIG_WATCHDOGy CONFIG_DW_WATCHDOGy CONFIG_WATCHDOG_COREy如果用的是 Rockchip 的 SDK默認(rèn)一般都有。但如果你是自己 build 的 mainline 內(nèi)核務(wù)必檢查一下缺了這兩個 config后面的所有看門狗配置都是白搭。2.2 systemd 軟件看門狗怎么配合硬件看門狗只是最后一道保險正常運(yùn)行時我們更希望用 systemd 的軟硬結(jié)合機(jī)制來提前發(fā)現(xiàn)異常。systemd 本身內(nèi)置了 watchdog 支持可以讓 PID 1 周期性去喂硬件看門狗。只要 systemd 還活著系統(tǒng)就被認(rèn)為是健康的。配置在/etc/systemd/system.confRuntimeWatchdogSec10 ShutdownWatchdogSec60RuntimeWatchdogSec10的意思是 systemd 每 10 秒向/dev/watchdog喂一次狗。這個值必須小于 devicetree 里的timeout-sec16 秒否則喂狗間隔比硬件超時還長系統(tǒng)會被誤殺。ShutdownWatchdogSec60是關(guān)機(jī)和重啟階段給系統(tǒng)更多時間去卸載文件系統(tǒng)、停服務(wù)避免關(guān)個機(jī)還被看門狗打斷。配置完重啟 systemd 或者整機(jī)重啟后可以用下面命令確認(rèn)喂狗生效cat /dev/watchdog正常情況下這條命令會打開設(shè)備節(jié)點(diǎn)并觸發(fā)一次喂狗然后會報錯退出這反而說明驅(qū)動正常。更靠譜的驗證方式是watch -n 1 cat /sys/devices/platform/watchdog/watchdog0/state也可以直接禁掉喂狗服務(wù)手動觀察設(shè)備會不會在 16 秒后自動重啟。我建議每一批板子出廠前都做一次這個測試確保硬件看門狗是真實可用的而不是 devicetree 里寫了“okay”但實際沒生效。2.3 看門狗喂狗的正確姿勢這里有個關(guān)鍵細(xì)節(jié)喂狗不是在應(yīng)用層隨便寫個死循環(huán)就行的必須設(shè)計成“健康檢查通過才喂”。我見過太多團(tuán)隊寫一個while(1) { write(fd, w, 1); sleep(5); }的線程一直喂等于自己把看門狗廢了——任何應(yīng)用層故障都不會觸發(fā)重啟因為你的喂狗線程還活著。我之前在一套方案里做的是分級喂狗喂狗線程每 10 秒讀取一次系統(tǒng)健康狀態(tài)關(guān)鍵進(jìn)程是否存活、內(nèi)存是否夠用、最近的 dmesg 里有沒有驅(qū)動報錯。只有所有檢查項都通過才寫入/dev/watchdog。任一檢查項失敗停止喂狗等硬件看門狗超時自動復(fù)位。偽代碼大致長這樣import fcntl import os import time WATCHDOG_FD os.open(/dev/watchdog, os.O_WRONLY) def system_healthy(): # 1. 關(guān)鍵進(jìn)程存活檢查 if not check_process(rknn_infer): return False # 2. 內(nèi)存檢查可用內(nèi)存低于 200MB 判定為異常 if available_memory_mb() 200: return False # 3. 最近 60 秒 dmesg 是否出現(xiàn)連續(xù)驅(qū)動錯誤 if recent_dmesg_has_errors(): return False return True while True: if system_healthy(): os.write(WATCHDOG_FD, bw) time.sleep(10)注意這里我刻意把這個喂狗邏輯做成了獨(dú)立進(jìn)程而不是放在主業(yè)務(wù)進(jìn)程里。為什么因為主業(yè)務(wù)進(jìn)程是最容易卡死的如果喂狗邏輯跟著它跑卡死就一起卡死守護(hù)就失去了意義。用 systemd 把喂狗進(jìn)程拉起來加Restartalways即便這個進(jìn)程本身崩了systemd 也會把它重新拉起來繼續(xù)喂——當(dāng)然如果 systemd 都崩了還有硬件層兜底這是雙保險。3. 應(yīng)用層守護(hù)與 RKNN 推理異常自恢復(fù)看門狗解決的是“系統(tǒng)級死機(jī)”但實際項目里更常見的是“應(yīng)用級卡死”。系統(tǒng)沒死SSH 能連top 能看到進(jìn)程還在但 NPU 推理線程卡住不動了畫面一直停在那。這種問題靠看門狗是發(fā)現(xiàn)不了的必須靠應(yīng)用層自己的健康檢查機(jī)制。3.1 進(jìn)程守護(hù)與心跳我在方案里給每一個關(guān)鍵業(yè)務(wù)進(jìn)程都配了 systemd service統(tǒng)一加了Restartalways和健康檢查。以推理服務(wù)為例[Unit] DescriptionRKNN Inference Service Afternetwork-online.target rknn.service [Service] Typesimple ExecStart/usr/bin/rknn_infer --config /etc/guardian/rknn_infer.yaml Restartalways RestartSec5 WatchdogSec30 StartLimitIntervalSec60 StartLimitBurst5 [Install] WantedBymulti-user.targetRestartalways保證進(jìn)程退出后 5 秒內(nèi)被拉起來。但光這樣不夠因為前面說的“卡死”不是進(jìn)程退出而是進(jìn)程還活著但無響應(yīng)。所以這里又用了WatchdogSec30——systemd 會要求服務(wù)每 30 秒調(diào)用一次sd_notify(WATCHDOG)如果超時systemd 會認(rèn)為這個服務(wù)已經(jīng)“僵死”殺掉并重新拉起。服務(wù)內(nèi)部需要周期性地維護(hù)看門狗通知。C 里用sd_notifyPython 里用systemd庫或者直接往/run/systemd/notify寫消息import socket import time NOTIFY_SOCKET_PATH /run/systemd/notify def notify(): sock socket.socket(socket.AF_UNIX, socket.SOCK_DGRAM) sock.connect(NOTIFY_SOCKET_PATH) sock.send(bWATCHDOG1) sock.close() while True: # 執(zhí)行一幀推理 result rknn_run() if result is not None: notify() time.sleep(1)這個機(jī)制的意義在于只要推理主循環(huán)還能跑完一幀我們才認(rèn)為服務(wù)健康如果一幀推理超過 30 秒沒完成即使進(jìn)程還在systemd 也直接把它干掉重來。實測下來這套機(jī)制對“NPU 卡死但進(jìn)程還活著”的場景特別有效。3.2 RKNN 運(yùn)行時的超時檢測與自動重初始化RKNN 的rknn_run默認(rèn)是同步阻塞調(diào)用的如果 NPU 內(nèi)部出現(xiàn)了異常這個調(diào)用可能永遠(yuǎn)不返回。你寫再多的心跳代碼也走不到心跳那里。所以我在封裝 RKNN 推理時會把推理放到獨(dú)立線程里用帶超時的 join 去檢測一旦超時就認(rèn)為 NPU 已卡死進(jìn)入恢復(fù)流程std::futurecv::Mat future std::async(std::launch::async, [this] { return infer(frame); // 內(nèi)部調(diào)用 rknn_run }); if (future.wait_for(std::chrono::seconds(5)) std::future_status::timeout) { // 推理超時判定 NPU 卡死 recover_from_npu_hang(); return; } cv::Mat result future.get();恢復(fù)流程recover_from_npu_hang()做幾件事先把舊的推理進(jìn)程退出調(diào)用rknn_destroy釋放 NPU 上下文如果還能調(diào)用的話實在不行就直接exit(0)讓 systemd 重啟整個服務(wù)。然后把/dev/rknpu設(shè)備節(jié)點(diǎn)重新 bind/unbind 一次把 NPU 驅(qū)動復(fù)位echo 0 /sys/class/misc/rknpu/device/remove echo 1 /sys/class/misc/rknpu/device/remove注意/dev/rknpu設(shè)備節(jié)點(diǎn)的路徑在不同 SDK 版本里可能不一樣有的叫rknpu有的叫mpp_service需要先確認(rèn)一下你們板子的實際情況。復(fù)位 NPU 驅(qū)動后再重新rknn_init加載模型繼續(xù)推理。這個過程最好能自動完成不需要重啟整機(jī)恢復(fù)正常的時間控制在 10 秒以內(nèi)業(yè)務(wù)中斷的感知就很小了。3.3 進(jìn)程崩潰后的現(xiàn)場保留進(jìn)程崩潰后第一件事不是急著拉起來而是把現(xiàn)場保護(hù)好。我只說一個點(diǎn)coredump 一定要開但要寫到內(nèi)存盤上不能寫 eMMC。否則每次崩潰都往 eMMC 寫幾百 MB core 文件寫幾次 eMMC 就廢了。我的做法是# /etc/systemd/coredump.conf [Coredump] Storageexternal Compressyes # 把 coredump 臨時保存到 /tmptmpfs重啟后自動清空配合掛載一個 tmpfs 到/var/log/coredumptmpfs /var/log/coredump tmpfs defaults,size256m,mode0755 0 0這樣崩潰時 core 文件先落內(nèi)存盤不影響 eMMC如果現(xiàn)場非常重要再通過網(wǎng)絡(luò)把 core 傳到遠(yuǎn)端。很多團(tuán)隊的設(shè)備一到現(xiàn)場就頻繁崩潰但 Log 里什么都沒有就是因為 coredump 沒開或者開了直接寫壞存儲。4. 散熱與供電防止“慢性死亡”講完了看門狗和應(yīng)用層守護(hù)可能有人覺得夠了。但我的經(jīng)驗是真正的“不死機(jī)”有一半功夫要花在散熱和供電上。白天 NPU 滿載還好到了滿載幾個小時后如果沒有合理的溫控策略RK3588 會熱到降頻甚至直接高溫關(guān)機(jī)。這種問題不是突發(fā)性的而是“溫水煮青蛙”——系統(tǒng)越來越慢最后悄悄死給你看。4.1 PWM 風(fēng)扇控制與轉(zhuǎn)速讀取RK3588 開發(fā)板一般都有 PWM 風(fēng)扇接口內(nèi)核驅(qū)動是pwm-fan。我在設(shè)備樹里是這樣配的pwm13 { status okay; pinctrl-names active; pinctrl-0 pwm13m1_pins; }; fan: pwm-fan { compatible pwm-fan; #cooling-cells 2; pwms pwm13 0 50000 0; /* 50kHz 頻率 */ cooling-min-state 0; cooling-max-state 255; };這里的核心參數(shù)是pwms里的 period也就是 PWM 頻率。不同風(fēng)扇對頻率的要求不同但我測過的大部分 4 線 12V 風(fēng)扇在 25kHz~50kHz 之間都能正常工作。太低的頻率比如 1kHz會有明顯噪音太高的頻率100kHz 以上風(fēng)扇驅(qū)動芯片可能跟不上。然后是讀取風(fēng)扇轉(zhuǎn)速。很多 4 線風(fēng)扇的轉(zhuǎn)速反饋引腳FG可以直接接 RK3588 的 GPIO用pwm-capture或者 GPIO 中斷的方式測量。但我更推薦用hwmon的方式RK3588 的 SDK 里通常已經(jīng)支持了風(fēng)扇轉(zhuǎn)速的 hwmon 節(jié)點(diǎn)cat /sys/class/hwmon/hwmon0/fan1_input如果輸出一個 RPM 數(shù)值說明測速功能正常。如果沒有這個節(jié)點(diǎn)就需要檢查一下風(fēng)扇的 FG 引腳是否接到了正確的 GPIO 上以及內(nèi)核有沒有開CONFIG_SENSORS_PWM_FAN或者你們需要的gpio-fan驅(qū)動。轉(zhuǎn)速讀取的價值不只是讓你知道風(fēng)扇轉(zhuǎn)沒轉(zhuǎn)更關(guān)鍵的是可以做風(fēng)扇失效檢測。當(dāng) PWM 輸出已經(jīng) 100% 但轉(zhuǎn)速始終為 0說明風(fēng)扇卡住了或者掉線了必須立即告警否則芯片溫度會直線飆升。4.2 溫控策略別讓芯片扛到最后RK3588 芯片的結(jié)溫上限一般是 105℃ 左右但長期跑在 85℃ 以上不僅加速器件老化還有可能觸發(fā)內(nèi)部熱保護(hù)直接斷電。我的溫控策略是在用戶空間寫一個守護(hù)線程直接讀 SoC 溫度做分級控制import os import time def read_temp(): with open(/sys/class/thermal/thermal_zone0/temp) as f: return int(f.read().strip()) / 1000.0 def set_fan_duty(duty): # 通過 pwm-fan 的 cooling device 或者 sysfs 設(shè)置占空比 with open(/sys/class/hwmon/hwmon0/pwm1, w) as f: f.write(str(duty)) while True: temp read_temp() if temp 45: set_fan_duty(0) # 停轉(zhuǎn)安靜省電 elif temp 60: set_fan_duty(80) # 低轉(zhuǎn)速 elif temp 75: set_fan_duty(160) # 中轉(zhuǎn)速 else: set_fan_duty(255) # 全速壓溫度 time.sleep(5)閾值可以根據(jù)實際機(jī)型微調(diào)但思路是留出冗余在 75℃ 就已經(jīng)全速散熱不要等到 90℃ 才慌。另外如果你的設(shè)備是靜音優(yōu)先的場景可以考慮把 45℃ 這個停轉(zhuǎn)閾值調(diào)高到 50℃但一定要配合風(fēng)扇失效檢測否則夏天必出事。還有一點(diǎn)RK3588 有thermal-zones的被動降頻策略建議在 devicetree 里打開讓內(nèi)核在溫度過高時主動給 CPU/GPU 降頻而不是硬扛thermal_zones { soc_thermal { trips { cpu_cooling: cpu_cooling { temperature 75000; hysteresis 5000; type passive; }; }; cooling-maps { map0 { trip cpu_cooling; cooling-device cpu0 THERMAL_NO_LIMIT THERMAL_NO_LIMIT; }; }; }; };4.3 供電與硬件防護(hù)軟件做再好供電不行全白搭。RK3588 在滿負(fù)載時核心電壓對電源紋波極其敏感我碰到過一個案例設(shè)備白天跑得好好的一到晚上就隨機(jī)重啟查了半天最后發(fā)現(xiàn)是客戶配的劣質(zhì) DC 適配器紋波超標(biāo)電壓一波動芯片就復(fù)位。所以硬件選型上電源部分至少要滿足三個要求輸入電壓要留足余量標(biāo)稱 12V 供電實際要能扛住 9V~16V 的波動。很多開發(fā)板用的 DC-DC 方案輸入范圍就是 9~24V但有些精簡方案只在 12V 附近能穩(wěn)住。輸出紋波要小CPU 核心供電VDD_CPU的紋波最好控制在 50mV 以內(nèi)否則高頻負(fù)載變化時系統(tǒng)會隨機(jī)復(fù)位。要有過壓/反接保護(hù)鄉(xiāng)村、工控現(xiàn)場的市電環(huán)境很差插錯電源是常事硬防護(hù)必須做。如果成本允許建議加一個簡單的電源監(jiān)控芯片比如 INA226在應(yīng)用層定期讀電壓電流一旦發(fā)現(xiàn)輸入電壓異常波動就主動告警把問題暴露在“死機(jī)之前”。5. 存儲保護(hù)與日志策略延長 eMMC 壽命防止日志寫爆很多 RK3588 設(shè)備出廠配的是 eMMCTLC 顆粒擦寫壽命大概在 3000~5000 次 P/E 之間。如果系統(tǒng)跑一些頻繁寫日志的軟件每天寫幾十 GBeMMC 很快就廢了然后就是各種詭異故障文件系統(tǒng)只讀、應(yīng)用啟動報錯、系統(tǒng)隨機(jī)重啟。這些都是慢性病等到你發(fā)現(xiàn)的時候往往只能返廠換板了。5.1 根文件系統(tǒng)只讀化能讀就不寫我的設(shè)計原則是能只讀的絕對不讀寫。根文件系統(tǒng)掛載為只讀/var、/tmp、/run這些動態(tài)目錄掛到 tmpfs所有需要持久化的數(shù)據(jù)集中到/data分區(qū)。具體做法是把根文件系統(tǒng)做成 squashfs 或者 ext4 只讀分區(qū)然后用 overlayfs 提供一個小規(guī)模的可寫層mount -t squashfs -o loop /dev/mtdblock0 /mnt/ro # 或者 ext4 ro mount -t tmpfs tmpfs /mnt/rw mount -t overlay overlay -o lowerdir/mnt/ro,upperdir/mnt/rw/upper,workdir/mnt/rw/work /這樣程序只能往內(nèi)存里寫重啟后所有修改自動丟棄從源頭上杜絕了“日志寫滿磁盤”的可能。需要持久化的配置和數(shù)據(jù)明確寫到/data分區(qū)并且做好掉電保護(hù)。這個方案唯一的副作用是現(xiàn)場臨時改配置變得有點(diǎn)麻煩。但換個角度想這也倒逼你把配置項通過 web 界面或者遠(yuǎn)程統(tǒng)一管理而不是每次都用 SSH 上去 vi 一通改。5.2 日志輪轉(zhuǎn)與內(nèi)存緩沖如果因為業(yè)務(wù)原因必須寫日志到磁盤至少做到兩點(diǎn)限制大小、及時輪轉(zhuǎn)。我通常用logrotatesystemd-journald配合journald 本身已經(jīng)有大小限制功能# /etc/systemd/journald.conf SystemMaxUse128M RuntimeMaxUse32M SystemMaxFileSize32M MaxRetentionSec3day ForwardToSyslogno這個配置把 journald 的總量控制在 128MB 以內(nèi)避免它無限膨脹。業(yè)務(wù)日志如果走syslog或者直接寫文件也要在應(yīng)用層做好 max size 控制超過就滾動。還有一個很實用的做法日志先寫內(nèi)存盤定期同步到遠(yuǎn)端。把/var/log掛成 tmpfs應(yīng)用和方法和之前的 coredump 一樣。然后寫一個腳本每 5 分鐘檢查一次日志目錄有需要?dú)w檔的內(nèi)容就通過 MQTT 或者 HTTP 上報到運(yùn)維平臺上報完把這個文件刪掉。這樣日志既不會丟遠(yuǎn)端有也不會傷 eMMC。5.3 異常掉電防護(hù)工業(yè)現(xiàn)場最怕的其實是“寫一半斷電”。文件系統(tǒng)層最穩(wěn)妥的方案還是 ext4 開 journaltune2fs -O journal_data_ordered /dev/mmcblk0p6如果用的是 overlayfs 的可寫層tmpfs斷電其實無所謂內(nèi)存直接清空。但data分區(qū)如果直寫 ext4掉電后有可能損壞。所以我建議 data 分區(qū)采用“先寫臨時文件fsync再 rename 覆蓋”的方式保存配置避免原地修改主文件時掉電導(dǎo)致文件損壞FILE *tmp fopen(/data/config.yaml.tmp, w); fprintf(tmp, key: value\n); fclose(tmp); sync(); rename(/data/config.yaml.tmp, /data/config.yaml); sync();這算是嵌入式 Linux 上最實用、最可靠的掉電安全寫文件方式了簡單但極其有效。6. 常見問題排查與避坑速查看完前面的內(nèi)容按部就班把這些機(jī)制搭起來設(shè)備大概率已經(jīng)比較穩(wěn)了。但調(diào)試過程中一定會踩到各種奇奇怪怪的坑。我把常見的幾個寫下來省得大家再走一遍彎路。6.1 開機(jī)報 “cant find suitable delayline” 是什么問題這個錯誤在 RK3588 上很常見很多人一搜出來就慌了以為板子壞了。其實這是 RK3588 的rockchip_drm驅(qū)動在初始化時嘗試去查找某個顯示接口的 delayline 校準(zhǔn)參數(shù)失敗。多數(shù)情況下是 devicetree 里沒有包含對應(yīng)的board.dtsi參數(shù)或者是顯示時序配置里缺了delayline相關(guān)字段。如果設(shè)備不接顯示屏、不跑 HDMI這些報錯通常不影響正常運(yùn)行可以直接忽略。但如果你的設(shè)備需要 HDMI 輸出就要去 devicetree 里補(bǔ)齊對應(yīng)端口的參數(shù)hdmi0_in_vp0 { status okay; }; hdmi0 { pinctrl-names default; pinctrl-0 hdmim0_tx0_cec hdmim0_tx0_sda hdmim0_tx0_scl; };注意不同開發(fā)板的 pinmux 可能不同這個要根據(jù)你的板子原理圖來確認(rèn)。遇到這類問題我的建議是先確認(rèn)功能是否受影響不受影響就不用管。6.2 網(wǎng)絡(luò)連接受限 / 網(wǎng)絡(luò)假死RK3588 設(shè)備跑著跑著 SSH 連不上了、Ping 不通但設(shè)備的串口界面還有響應(yīng)這是邊緣設(shè)備最常見的“假死”現(xiàn)象。排查思路按順序來先看dmesg里有沒有網(wǎng)卡驅(qū)動報錯比如 RTL8211F 這種 PHY 芯片在弱電環(huán)境下偶爾會掛掉。檢查是不是省電策略把網(wǎng)卡休眠了。很多 SDK 默認(rèn)開了ethtool的節(jié)能特性現(xiàn)場環(huán)境下網(wǎng)絡(luò)稍有波動就觸發(fā)網(wǎng)卡掛起。直接關(guān)掉ethtool -s eth0 autoneg on duplex full speed 1000 ethtool -K eth0 tx-checksum-ip-generic off如果還是不定期斷網(wǎng)建議在應(yīng)用層加網(wǎng)絡(luò)質(zhì)量巡檢每 30 秒 Ping 一次網(wǎng)關(guān)連續(xù) 3 次超時就把網(wǎng)卡 down 掉再 up 一遍。ifconfig eth0 down sleep 2 ifconfig eth0 up這個土辦法治“網(wǎng)卡假死”特別有用實際效果立竿見影。6.3 啟動進(jìn) recovery / maskrom 后怎么辦RK3588 的刷機(jī)模式有兩種Recovery 模式和 MaskROM 模式。Recovery 模式按住 recovery 鍵再上電用于日常固件升級MaskROM 模式一般出現(xiàn)在 loader 損壞、固件刷壞的情況下。如果你的設(shè)備啟動進(jìn)不了系統(tǒng)而是被識別為 MaskROM 設(shè)備別慌先用 USB Type-C 線連電腦打開 RKDevTool重新燒錄完整的 Loader 和固件。從我踩過的坑來看最容易導(dǎo)致進(jìn) MaskROM 的情況是燒錄過程中突然斷電、或者用了和板子不匹配的 Loader/miniloader。所以我強(qiáng)烈建議量產(chǎn)前把 loader 文件和固件打包鎖定不要讓現(xiàn)場人員隨意用新版工具去刷否則很容易出現(xiàn)兼容性問題。6.4 miniloader.bin 版本不匹配如果你用的是自己編譯的 U-Boot 或者從網(wǎng)上拉的新版工具鏈燒錄時經(jīng)常遇到miniloader.bin報錯或者燒完起不來。原因通常是 SDK 版本和燒錄工具版本不匹配。處理辦法很簡單——用什么 SDK 編出來的 loader就用那個 SDK 配套的燒錄工具不要交叉使用。Rockchip 官方的工具版本很多但每個版本的 miniloader 和 ddrbin 都跟具體芯片和系統(tǒng)版本強(qiáng)相關(guān)混用很容易翻車。6.5 問題排查速查表現(xiàn)象可能原因優(yōu)先排查方向運(yùn)行幾小時后整機(jī)無響應(yīng)內(nèi)存泄漏 / 內(nèi)核鎖死檢查OOM日志、dmesg尾部、top內(nèi)存占用NPU 推理越跑越慢散熱不足導(dǎo)致降頻查看thermal_zone0溫度、風(fēng)扇轉(zhuǎn)速斷電后起不來eMMC 分區(qū)損壞進(jìn)入 MaskROM 重刷固件風(fēng)扇不轉(zhuǎn)但機(jī)器沒死風(fēng)扇控制失效 / 溫控策略未生效手動寫pwm1測試日志刷屏導(dǎo)致系統(tǒng)卡頓驅(qū)動反復(fù)報錯檢查dmesg關(guān)掉或降級出問題的外設(shè)驅(qū)動WiFi/以太網(wǎng)頻繁斷開省電策略 / 供電不足關(guān)節(jié)能ethtool -K、檢查電源功率這套表是我整理給自己團(tuán)隊線上排障用的基本可以覆蓋現(xiàn)場 90% 的難題。做邊緣 AI 設(shè)備拼的從來不是誰算法刷榜高而是誰能讓設(shè)備在無人看守的角落里安安穩(wěn)穩(wěn)跑上一年。RK3588 本身底子很好用好了它能成為非??煽康倪吘壦懔ζ脚_希望這些經(jīng)驗?zāi)軒湍闵僮咭恍澛贰W詈笤賳乱痪淙魏问刈o(hù)機(jī)制都要先做故障注入測試——手動 kill 進(jìn)程、拔掉風(fēng)扇、斷電、寫滿內(nèi)存——確認(rèn)設(shè)備都能自愈才算真正的“守護(hù)”。祝大家的設(shè)備都能安穩(wěn)運(yùn)行。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲成人无码片| 91综合网| 婷婷香香五月| 国精产品一区一区三区免费视频| 五月网激情| 天天舔天天摸视频| 亚洲国产精品二二三三区| 丁香五月 综合| 色欲五月丁香| 色婷婷五月天激情久久| 欧美成人精品A片免费一区99| 六月婷欧美| 丁香五月手机在线| 精品99视频| 人人看人人草人人摸| 色很久综合| 亚洲国产网站| 五月丁香在线综合| 婷婷丁香成人在线视频| 免费无码毛片一区二区A片| 久久视频这里都是精品| 午夜丁香六月婷| 99re在线视频| 色婷婷小说| 九九综合影音先锋| 四色AVwww| 九色色| 成人精品视频99在线观看免费| 99人碰碰碰| 91人妻人人做人碰人人爽九色| 五月色亚洲| 五月婷啪| 91Chinese在线| www.99热在线观看| 内射综合网| 五月天天堂久久| 99热啪啪| www.日韩艹| 级人人91| 婷婷五月丁香六月| 久久久久9| 天天干天天干天天干天天干天天干| 九色在线观看91av| 五月丁香久久网| 婷婷午夜综合| 免费精品99| 狠狠做五月婷婷| 久久XX| 五月丁香久久综合| 色碰97| 六月婷久久| 97操碰人人| 色综合丁香婷婷| www.九月婷婷丁香.com| 狠狠干天天日| 五月 丁香 欧美| 在线免费视频caop| 久色| 天天色综合色| 丁香五月伊人| 婷婷五月天丁香| 性 色 婷婷| www.色婷婷| 五月天婷婷色播综合在线| 亚洲AV影片在线观看| 色色色色色色网站| 激情丁香社区| 色婷网站| 久草热在线视频| 五月丁香美女| 无码髙清| 久久婷婷七月丁香| 五月丁香婷婷爱| 五月婷婷熟女| 婷婷WWW久久| 丁香婷婷网| 天天肏夜夜肏| 去色色五月天| 五月丁香啪啪综合| 精品五月天| 综合亚洲色色| 99亚洲精品综合在线| 五月天另类小说久久小说网| 五月婷婷新网站| 久久久久久久久18久久| 成人片在线播放| 国产欧美婷婷五月| 99久热精品在线| 国产午夜精品AV一区二区麻豆| 人人摸人人射| 任你操精品免费| 国产精产国品一二三在观看| 亚洲色在线观看| 欧洲99视频在线| 亚洲啪| 激情AV在线| www.夜夜夜| 丁香五月婷婷激情完整版| 丁香五月婷婷基地| 狠狠做婷婷| 激情五月天开心总和网| 日日操日日射| 开心婷婷五月天综合| 97性高潮久久久| 99综合网| 99性视频| 中文字幕av在线播放| 日日夜夜青青草| 欧美碰碰碰| 另类激情中文| 狠狠搞狠狠操| 综合网亚洲| 天天操天天日天天爽| www激情网站| 夜夜操加勒比| 97人人草| 三级三久久线久久99久目本WW| 五月婷婷播| 99热超碰在线| 亚洲五月婷婷| a网站免费观看| 色婷婷国产精品综合在线观看| 久久99大| 丁香网五月天| 9久久狠狠的| 99热综合| 婷婷丁香十月| 香蕉久久国产AV一区二区| 五月天成人网在线观看| 婷婷婷婷色| 久久人妻系列| 婷婷六月爽| www,色婷婷| 欧美五月停| 五月天婷婷激情| 国产精品日日躁夜夜躁| 婷婷五月天激情在线| 五月天婷婷基地丁香| 99精品综合在线| www色色com| 超碰爱爱爱| 五月色影院| 丁香桃色综合网| 婷婷爱爱蜜臀天天操| 婷婷最新地址| 九九综合影音先锋| 久久久亚洲精品一区二区三区浴池| 91九色在线视频| 色婷婷激情五月天在线观看| 激情婷婷另类| 午夜丁香六月婷| 一个色的综合| 69色色视频| 色五月视频无码播放| 成人五月天在线视频在线观看| 9久久婷婷国产综合精品性色| 久久久久久久,99精品视频| 另类少妇人与禽zOZZ0性伦| 九色自拍| 思思热视频| 热久久这里只有精品| 五月婷婷之综合激情| 天天婷婷综合亚洲亚洲| 99婷婷狠狠成为人免费视频| 国产精品涩涩涩视频网站 | 色婷婷中文| 中国女人做爰A片| 久久er99热精品一区二区| 大地资源色婷婷视频在线| 五月婷婷涩涩爱| 狠狠色综合图片| 玖玖综合玖玖| 欧亚洲在线高清视频| www.97碰碰com| 色婷五月天| 97亚洲色 torrent magnet| 激情五月图| 日韩婷婷五月天| 夜夜躁狠狠| 婷婷激情五月综合基地| 色五月六月婷婷| 五月婷激情| 五月婷六月| 九色91视频| 丁香五月性| 久久91久久精品久久| 91大神在线免费看视频全集男男一起操| 2015在线中文字幕| 九九色逼| 激情六月婷| 激情小说 五月天| 日韩久久这里只有精品| 婷婷激情社区| 97在线精品视频| 激情影院69| 五月天激情黄色网址| 超碰在线资源| 91中文在线| 丁香五月天无码| 婷婷六月天激情| 五月天婷婷视频| 精品久久艹| 天天爱天天操| 69人人操人人爽| 91丨九色丨白浆| 欧美精品999| 欧美色色色| 婷婷偷拍网| 甈吧vv| 欧美日韩AAA| 五月六月丁香激情| 天天日,天天插| 欧美丰满熟妇BBB久久久| 亚洲狠狠色丁香婷婷综合久久| 99爱爱网| 丁香五月色播中文在线播放| 97人人做| 婷婷色基地在线看 | 久久久五月天| 噜噜狠狠色| 色爆五月| www,久久久| 九九热这里只有精品31| 成人免费120分钟啪啪| 射区导航| 丁香五月网| 日韩九九| 九久九精品| 91日日日| 天色综合网站| AV大香蕉| 激情五月天婷婷| 99热在线只有精品| 玖玖婷婷五月天毛片| WWW.夜夜操.com| 9热精品| 亚韩精品视频1区| 久久婷婷五月天激情四射| WWW、日本色丁香、co m| 超碰人人草| 丁香五月123| 婷婷激情五月综合在线视频| 色色网站在线| 色99超碰| 五月丁香六月婷婷在线| 色狠狠色噜噜AV天堂五区| 99久re热| 国产avapp 网| www.99日本| 婷婷成人在线| 久久丁香五月婷婷| 狼人久草| 久久激情五月婷婷| 欧美天天草人人草| 久久综合五月天| 99热99精品在线观看| 五月婷婷丁香成人网| 日韩色久| 久久99久久99精品免视看婷| 可以直接看的av| 五月婷婷六月天| 97人人操com| 99热九九在线| 在线观看免费视频| 丁香五月天在线观看视频| AV在线观看网站| 99九九在线视频| 婷婷久久免费| 天天干,夜夜爽| 韩国97天堂| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 狠狠色丁香婷婷综合久久97AV| 色婷婷色99国产综合精品| 久99热| 99精品在线播放| 我爱大香蕉| 五月天婷婷视频| 久久综合99| 欧美精品18| 伊人三级激情| 香蕉久久国产AV一区二区| 日本一道久久| 综合99久久| 一区视频网站| 色情久久久| 人妻激情网| 另类国产综合| 碰碰碰97免费精彩视频| 99啪啪网| 26uuu丁香婷婷五月| 婷婷五月激情视频在线| 2017人人操| 精品成人a v无码内射| 久操人| 天天综合 99久久婷婷| 亚洲无码成人网| va亚洲中文在线| 爆乳熟女-区二区三区| 色婷婷色99国产综合精品| 99cao婷婷| 五月草视频| 丁香五月人妻| 国产一级婬片毛片| 欧美婷婷| 情趣视频66| 色婷婷综合久久久久| 婷婷五月婷婷| 丁香5月婷婷| 婷婷综合一二三| 九九这里都是精品| 五月丁香综合中文| 26uuu欧美| 婷婷播播五月天| 超碰97色| 九九AV| www开心激情网| 婷婷无五月无码视频| 色婷婷五月天天天做| 99国产97在线,| 丁香五月区| 九九精品这里只有| 国产精产国品一二三在观看 | 国产日韩欧美性生活| 九月丁香久久网| 天天爽天天| 久久久妻人人人| 久久桃花网色婷婷| 五月天另类小说| 日本超碰在线| 丁香五月激情啪啪啪| 99精品热| 激情综合婷婷| 亚洲中文字幕在线观看| 激情九九这里只有精品| 欧美日韩99| 五月天成人综合| 日日操无码| 97性视频| 色日本丁香婷婷| 人人叉久| 操碰91| 日本婷婷色日| 亚洲色小说在线综合| 激情久久丁香| 99精品久久| 久久精彩视频| 欧美天天五月丁香免费观看| 99九九视频精彩在线| 伊人91| 逼里香不卡| 日日夜夜狠狠婷婷色| 伊人玖玖网| A片试看120分钟做受图片| 日韩高清成人| 精品九九视频在线观看| 69精品人人人人| 日韩av变天就操逼不卡区| 久久婷婷婷| 色久综合天天做视频| 欧美天天草人人草| 色人久夂| 99久久九九视频| 亚洲综合视频在线| 九九在线视频| 色XX综合网| www.激情| 91色欲综合| 国产精品18久久久| 丁香婷婷六月| 久久ab| 婷婷五月婷婷| 狠狠色婷婷丁香六月| wWW九九在线播放| 亚洲妇女熟BBW| 色婷婷九月| 日撸夜撸日操| 伊人春天av| 久久总和99| 久久久免费图片视频| 日韩久久成人| 久久五月婷6 9| 久色| 人人色AV| 91人人超碰在线| 另类少妇人与禽zOZZ0性伦| 久久久久9| 六月婷婷视频| 亚洲狠狠狠| 九九av| 久久性刺激| 久久99jiu9| 丁香五月天啪啪| AV九九| 色天堂A| 色天五月天在线观看视频| 激情五月婷婷色| 五月天激情综合首页| 亚洲、欧美、国产另类笫二区| 色五天综合| 色爱综合网| 五月婷婷丁香六月| 亚洲中文字幕在线观看| 精品夜夜澡人妻无码AV| 99婷婷狠狠成为人免费视频| 丁香花社区av| 精品国产一区二区三区四区阿崩| 色99网| 国产在线中文字幕| 五月婷婷色五月| 五月天婷婷视频| 激情小说五月天| 丁香婷婷五月天在线视频| 婷婷色色播五月天| 婷婷五月天资源| 色激情综合狠狠婷婷| 美欧日韩国产成人在战| 日本一级大片| 亚洲成人无码片| 人人色人人弄人人操| 怎么样可以看免费的一级av| 五月丁香婷婷激情爱爱| 69热91天堂| 无码人妻丰满熟妇奶水区码| 丁香五月欧美婷婷综合| 嫩草极品| 99啪在线| 五月天婷婷色在线视频免费观看| 超碰av在线| 色99热| 色原狠狠综合| 欧美WW在线网| 亚洲激情网| 激情99| 午夜天堂啪啪| 色欲人妻综合aaaaaaaa网| 亚洲视频在线观看99| 99操| 天天爽人人爽| 六月婷婷国产| 六月综合婷婷开心伊人| 另类激情五月在线视频欧美| 国产成人av在线| 色色婷| 美女久久天堂| 色综合大香蕉| 久久9久| 亚洲综合五月天婷婷丁香| 国在线激情网| 美女五月天婷婷| 三级大香蕉网| 影音先锋色婷婷| 97碰碰在线看视频免费| 国产精品人成A片一区二区| 精品热九九| 综合网啪啪| 99热在这里只有免费精品| 五月天停停基地| 视频一二区| 色一情一乱一乱一区91Av| 丁香五月天视频| 午夜不卡成人一区二区| 91热99| 五月婷婷久久内射| 国产精品视频| 超碰99在线观看| 97亚洲视频在线| 日韩免费99| 天天五月香欧美| 怡红院一二三| 97色色视频| 亚洲蜜乳AV| 五月天色播网| 天天色粽合合合合合合合| 91丨九色丨白浆秘| 婷婷色婷婷| 亚洲色图在线视频| 色婷婷国色天香综合| 五月丁香六月欧美综合网站| AAA久久| 五月天综合网| 99丁香五月婷| 深爱激情五月天色婷婷| www99精品| 狠狠ri| 日本精品99| 欧美VA在线观看| 开心激情站| 精品一二三区久久AAA片 | 久久婷婷原创视频| 97色色婷婷五月天| 这里只有精品视频国产| 99九九玖玖| 丁香五月色情| 久久艹网| 久久99色色| www.狠狠操| 亚洲深喉AV| 中文字幕成人| 婷婷丁香五月综合| 国产亚洲AV人片在线| 成人超碰AV| 激情婷婷啪啪| 中文幕无线码中文字蜜桃| 九洲一级A片| 超碰亚洲欧美| 亚洲激情图文小说| 亚洲AV成人精品日韩在线播放| 一级韩国产精品毛| 99只有这里是精品| 色综合丁香| 亚洲欧洲一二| 五月婷婷久| 99在线观看精品视频| 丁香五月婷中字在线| 婷婷色五月开心五月| 五月激情日本在线| 婷婷色网| 激情婷婷五月综合| 视频综合网| 国产白丝在线一区| 综合激情肏逼网| 婷婷五月中文在线视频| 婷婷色五月大香蕉在线| 色婷久久| 99热这里只有精品3| 天天拍天天操| 另类视屏| 婷婷国产成人| 99久99久| 精品国产人人爱人人| 久久激情视频| 超碰av天堂| 吉澤明步Av一區二區| 99免费在线视频| 亚洲成人中文字幕| 天天日夜夜曹| 日亚二欧美| 五月丁香性| 嫩草哈哈操| 再綫Av免费視品| 久久婷婷伊人| 婷婷激情四射网| 另类激情五月在线视频欧美| 色五月丁香91| 伊人午夜综合色啪| 91高潮喷水久久久久久久久| 五月丁六月香| 亚洲AV日韩在线观看| 亚洲性图一区二区| 免费观看的av| 久久狠狠欧美| 丁香五月天黄色片| 草草视频91| 99re这里只有| 99热国产| 影视av久久久噜噜噜噜噜三级| 欧美精品狠狠色丁香婷婷| 久热精品视频| 色99婷婷五月天| 色综合色色色色色| 天天肏在线| 99综合激情久久精品久久| 微拍92| 狠狠狠狠狠操| 99热 精品在线| 第二色AⅤ| 国产人妻人伦精品一区二区| 久久婷婷成人视频| 五月婷婷六月激情| 色偷偷色婷婷| 亚洲欧洲一二| 免费视频99| 九九热精品99| 色在线99| 欧美激情五月综合| 五月天社区婷婷| 激情丁香五月激情婷婷| 最新高清无码专区| 五月丁香AV、伊人业余、性色熟妇| 五月综合无码| 99精品热视频只有精品10| AV九九| 综合五月天婷婷色| 中文字幕成人日韩| 操人91| 操操啪| 丰满少妇猛烈A片免费看观看| 久久九九在线视频| 97人人搞| 国产毛多水多女人A片| 美女婷婷六月色| 久久日婷婷| 玖玖99免费视频| 丁香五月综合婷婷| 99ER热精品视频| 色综合久久天天综合网 | 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 五月丁香A片| av狠狠操| 国产精品操| 色情五月丁香| 天天综合中文| 一区二区中文字幕| www.99久久久久99| www.狠狠操| 婷婷丁香五月天激情| 五月天激情综合在线| 操碰97| 婷婷六月网| 九九99男女视频在线观看| 色久影院| 色欲婷婷夜夜| 九色在线观看91av| www,天天干| 色丁香婷婷| 丁香香蕉婷婷| 国产国产乱老熟女视频网站97| 男人综合网| 久久婷婷人人| 狠狠爱深色婷婷综合| 久久一热| 99热 免费| 色五月婷婷激情基地| 色婷婷大香蕉| 五月开行婷婷色五月| av线电影| 久久se 综合网| 超碰chaompinm| 五月天激情无码专区| 五月六月播婷婷| www.一起草av| 五月天色小说| 91超级碰| 六月婷婷九月丁香| 五月花婷婷| 九九青青草成人| 懂色AⅤ| 操人妻90p| …亚洲黄色在线播放日韩、av中文a…| 五月婷婷激情综合网| 99综合色| 婷婷五月AV| 婷婷五月丁香花综合| 久久ri精品| 色哟哟精品| 精品久久66| 激情综合激情五月| 97五月天婷婷午夜| 五月天伊人久久| 亚洲精品国产A久久久久久| 99热在线精品观看| 日本欧美国产| 丁香五月社区| 色综合激情| 色天天综合天天综合频道。| 五月丁香婷婷色播无码| 丁香五月花影院| 丁香花五月天激情| 五月丁香综合激情| 精品久久久人妻| 夜夜涩涩涩| 九月婷婷久久久| 4438成人电影| 欧美日韩二区在线| 91久热| 久色| 久色五月| 激情五月丁香激情综合网| 深爱丁香网| 久久久婷婷| 丁香五月最新网址| AV免费在线网站| 性爱111111| www久| 六月婷婷色| 99色综合| 综合五月天| 丁香六月婷婷综合| www99热| 性爱视频久久| 91婷婷丁香| 97精品综合久久| 丁香五月六月综合欧美| 人人干av| 色五月超碰| 国产午夜精品久久久观看| 久久这里面只有精品视频| 五月天激情播播网| 涩涩五月天综合| 久久婷婷色情7777网站| 久久五月网| 丁香五月综合久久综合| 极品色丁香| 97人人操在线| 久久之人妻| 天天做综合| 99在线热| 99热免费精品| 五月婷久久久| 91尤物九色在线| 99精品久久久久久久婷婷| 77777亚洲午夜久久| 99啊精典免费视频| 色停停香蕉视频| 九九热在线观看6| 色波激情五月天| 天天插天天很| 色色色在线免费视频| 开心五月丁香综合久久| 五月伊人综合| 另类综合国产| 草五月| 日日噜噜夜夜狠狠久久丁香六月| 六月丁香五月婷婷| 天天日夜夜拍| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 九九热在视频| 99热乎| 第六色在线| 色天天久婷婷| 色婷婷丁香| 99九九在线精品热动漫| 开心激情婷婷| 在线观看欧美3区| 91伦| 大香蕉久艹| 婷丁香五月天| 婷婷五月综合欧美在线播放| 亚洲激情网站| 五月天啪啪视频| 成人午夜无码视频| 亚洲无AV在线中文字幕| 天天揷综合网| 9久国产| 亚州激情网站无码| 狠狠激情五月天| 天天色亚洲| 天天干夜晚夜操| 999热视频精品99免费在线| 精品99在线| 国产67194| 色综合久久无码| 五月丁香啪综合| 91久久久久久| 五月丁香无码| 97在线视频观看| 亚韩精品视频1区| 久久日韩婷婷五月| 六月五月丁香五月欧美| 99精品视频在线| 99亚洲日韩| 欧美久久网| 丁香五月花| 久久五月天视频| 亚洲国产色婷婷| 深爱婷婷丁香五月激情| 日本天天色| 亚洲免费综合一区| 99久久99久久综合| 99re鈥哸鈥唙| 大地9中文在线观看免费高清| 91久女| AV伊人青草丁香六月| 色五月婷婷亚洲| 拍真实国产伦偷精品| 色综合99无码| 激情深爱综合| 操人久久| 亚洲视频在线观看| 99九九99九九九视频精彩| www久久五月com| 天天人人人人人人人人人人人| 精品久久99码| AA片在线观看视频在线播放| 超碰人人干| 五月丁花色综合网| 99免费热视频在线| 碰超亚洲| 这里只有精9| 久热综合| 婷婷五月天午夜激情影院| 天天综合天天玩夜夜玩天天玩夜夜玩| 狠狠xx| 熟妇无码乱子成人精品| 激情九九九九| 久久五月婷天天干| 色婷婷亚洲婷婷| 婷婷中文网站| 99久久国产成人精品| 久99综合婷婷| 激情五月丁香五月色| 亭亭丁香aV| 色射影院| www,com,五月色色| 丁香五月第九色| 99免费视频| 亚洲成人AV电影网| 婷婷五月天免费| 成人做爰A片免费看视频| 五月婷婷黄| 99热www.| 五月丁香六月天| 97碰在线| 久久9视频欧美| 国产资源在线视频| www..com色爱| 操操操Av| 六月婷婷色综合| 4438国产免费看| 蜜臀九九九九| 色五月综合激情| 色五月婷婷91| 天天舔天天摸天天透| 国产小精品| 人妻系列久久久久久久久久久| 丁香婷婷六月| 丁香五月婷婷av| 色婷婷久久| 疯狂做受XXXX高潮A片| 丁香五月AV在线| 激情丁香九九五月综合网| 天天干在线播放| 亚洲五月婷天天操| 能看的av网站| 青青草tp| 情色五月天网站| 激情综合网激情五月天| 97碰碰碰| 丁香久久综合| 激情综合在线观看| 久久久精品色| 日韩ww| 这里只有精品在线看| aaa久久久| 婷婷在线五月天观看| 色五月婷婷网| 久久久人妻人伦| 人人摸人人| 激情丁香五月婷| 亚洲国产精品二二三三区| 日日操夜夜爽天天天| 99色婷婷视频| 五月婷婷色播视频| 婷婷爱五月| 深爱五月天 开心网| 久久精品熟女亚洲AV麻豆| www.开心激情| 狠狠久久婷婷| 亚洲精品99| 亚洲综合视频八| 综合视频五月| 亚州美女| 性生活久久人妻| 久久婷婷东京热大香樵| 五月丁香好婷婷A片网| 亚洲中文字幕AV| 色色激情五月天| 精品99只有。| 激情综合在线播放| 天天噜日日噜综合无码| 五月激情丁香六月狠狠干| 成 人片 黄 色 大 片| 【乱子伦】黄色| 久久综合婷婷激情| 涩综合婷婷| av第一二区| 丝袜大香蕉| 激情综合网五月天天| 五月婷婷影视| 影音先锋91资源站| 热的五码久久精品| 草草色情综合网| 狠狠操综合| 激情五月天婷婷图| 国产成人综合电影| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 欧美日韩大黄| 91伦| www久久99| 99久久久免费| 日本无码专区| 极品另类| 天天噜天天爱| 激情av网| 99在线免费观看| 4438激情网| 久久怡红院| 五月丁香色婷基地综合久久| 天天舔天天爽| 五月天久久www| 97色片| www.99热日韩.com| 婷婷综合仓库中文| 猫咪伊人久久| www.久久99| 97色 五月天丁香| ji'qi'luan'ren'lun| 久久综合激情| 成人AV播放| 大香蕉五月天婷婷| 99亚洲色| 99色色网| 97成人在线视频| 天天干天天操天天爽| 99热99色| 9l视频自拍9l视频自拍九色学生| 少妇大叫太大太粗太爽了A片| 婷婷六月天| www.婷婷| 色五月情| 日日噜噜夜夜狠狠久久丁香六月| 五月天婷婷久久综合| 无码人妻一区二区一牛影视| 五月丁香激情综合网| 欧美六月| 午夜天堂一区人妻| 五月丁香龟婷婷| 日韩色色色色色| 99久久婷婷五月| 亚洲色婷婷| 六月亭亭久久综合激情| 婷婷丁香九月| 丁香五月五月婷婷欧美大香蕉| 丁香六月婷婷综合激情欧美| 五月丁香龟婷婷| 热久久77777| 99惹 精品在线| 日本色五月| 能看的AV网站| 日本久久精品| W色综合| 色婷久久| 婷婷五月综合啪| 色综合爽| 婷婷五月天影院| 青青日韩| 色婷婷yy久| 国产av天堂| 性爱综合网| 久色激情| 五月丁香999| 欧美色色色| 五月久久网| 久久久久视剧HD| 中文字幕日本最新乱码视频| 婷婷五月色情| 色色网五月激情| 这里只有精品99www| 香蕉婷婷色五月| 激情国产五月| 国产XXXX搡XXXXX搡麻豆| 婷婷婷婷色| 婷婷97碰碰| 亚洲天天操| 五月丁香亚洲婷婷| 激情综合丁| 爱操天堂| 丁香六月婷婷综合| 丁香五月区| 99re99热| 伊人婷婷91| 欧洲区自拍| 九一牛视频探花| 狠狠操综合| 成人网在线视频| 操一操插一插| 久久婷婷欧美| 婷婷丁香五月久久| 久1色色| 日本色噜| 激情深愛五月視頻| 亚洲夜五月| 亚洲另类婷婷五月丁香在线播放| 国产44页| 岛国资源站| A片试看120分钟做受图片| 99这里有精品视频| 五月色色色| 99热这里只有精品1| 久久伊人日日夜夜| 五月丁香 久久久| 成人看片网站| 麻豆雪千夏| 97丁香视频| 五月婷婷久久大片| 婷婷碰碰| 91精品久| 久久中文网| 99免费在线视频| 亚洲色久| 极品人妻VideOssS人妻| 岛国av网站| 久久久久久久人妻| 老美AA片| 国产超碰在线| 亚洲国产精品二二三三区| 亚洲深喉AV| 精国产品一区二区三区A片| 人妻丰满精品一区二区A片| 五月婷婷丁香五月| 色色五月天婷婷| 人妻久久久久久久 | AV九九| 91要啪| www.色婷婷.com| 久99久在线观看| 九九av| 99操视频| 婷婷色综合| 婷婷五月天天| 青草青草视频2免费观看| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 99自拍视频在线| 色综合色综合婷婷热| 南京搡BBBB搡BBBB| 99re这里只有精品免费| 5月婷婷六月丁香| 米奇激情婷婷| 婷婷开心久久| 色综合天堂| 亚洲人人干| 久久九九蜜| 亚洲熟妇无码乱子AV电影| 亚洲成人网站在线观看| 99色婷婷视频| 国产精品18久久久| 亚洲9久久精品| 日韩精品一区二区亚洲AV观看| 国产精品成人网站| 国产99久9在线| 久久草大香蕉| 综合五月草| 五月天婷婷成人资源站| 婷婷色导航| 99无码精品| 伊人五月天| 免费三级黄色| av线电影| YJLZZJLZZ亚洲乱熟无码| 色99视| 激情五月婷婷丁香| 强伦轩人妻一区二区电影| 五月天婷婷综合色| 99re视频在线精品| 99精品热视频| 丁香五月天无码| 久色激情| 夜夜骑夜夜撸| 天天干天天插| 欧美熟妇一区二区三区| 色色色在线| 五月丁香网站在线播放| 99精品综合视频| 成人丁香五月| 久久午夜丁香| 大香蕉婷婷五月天| 九九热这里只有精品一| 夜夜综合色| 99热精品在这里| 婷婷综合在线网| 五月天婷婷色| 五月丁香六月婷婷综合网站 | 色~性~乱~伦~噜| 操91综合网| 久久久久久欧美精品se一二三四| 人人操人av| 99热这里有精力| 曰韩少妇内射免费播放| 九月丁香婷婷网| 98永久精品| 色综合开心五月深爱五月| 天天狠天天叉| 大地9中文在线观看免费高清| 超碰无码318604| 色狠狠狠干| A色色| 色人久久| 激情丁香五月综合| 色婷婷欧美在线| 五月激情婷婷在线| 激情久久久| 青青草伊人婷婷| 日韩不卡DvD| 日日噜狠狠色综合久久| 超碰av在线| A片天天| 无码区婷婷五月花开| 开心五月深爱五月丁香五月激情五月| 丁香久久久| 成人做爰A片免费看视频| 丁香久久综合| 五月青青草综合| 大香蕉综合网| 操日本三片99| www.五月瑟| 天天操婷婷| www色哟哟| 五月天婷婷青青| 久久只有18视频| 97碰碰视频| 久久婷婷六月综合资源| 色色婷| 国产高清视频91九九九久久久| 日韩成人五月天| www.日日夜夜.com| 国产精品 的国产| 五月激情日本在线| 91人人爽狠狠狠| 特级操b片| 婷婷五月综合激情免费| 超碰免费人人| 婷婷综合一二三| 五月天成人伊人| 99re这里只有| 大香蕉精品视频| 99热精品99| 久久婷婷综合拍| 这里只有精彩亚洲视频推荐| 日本99热| 男人天堂 久久| 天天爽日日爽夜夜爽| 日本人人超碰| 婷婷五日b| 婷婷成人五月天| 五月婷婷丁香成人网| 色区久久| 五月丁香婷婷久久| 久久婷婷五月天综合| 九九热视频在线观看| 超碰高清在线| 人妻尝试久久久久久久久久久久| 大香蕉av在线| 91偷拍视频| 吉澤明步Av一區二區| 欧美性猛交99久久久久99按摩 | 成人国产欧美大片一区| 欧美成人热| 色五月婷婷网| 99久久99九九99九九九| 色综合久久88色综合天天99| 超级碰碰97在线| 天天日天天添| 五月天综合视频| 欧美婷婷六月丁香综合色| 色情婷婷五月天| 五月丁香九九| 九九热最新| 91超级碰人人操| 五月天亭亭俺也| 久久婷婷原创视频| 日韩十国产极品久久| 被强行糟蹋的女人A片| 大香蕉520| 狼人婷婷综合| 欧美五月婷婷| 91精品91久久久中77777| 如何安全看伊人婷婷| 97色色婷婷| 天天色五月| 草草色情综合网| 综合激情五月天六月婷免费视频| HD久久精品视频| 射区导航| 日本久久9| www,com,五月色色| 九九五月天| 饮料下药迷倒漂亮女同事强干| 色色啊| 日韩另类| 婷婷成人五月天一区| 777精品久无码人妻蜜桃| 五月激情偷拍婷婷| 强壮的公次次弄得我高潮A片日本 | 五月天婷婷爱丁香中文字幕| 五月婷婷丁香| 性爱先锋AV| 极品人妻VIDEOSSS人妻| 99re在线观看视频| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 日本人人草草| 九九色综合| 色婷婷五月天av在线| 天天日天天操心| dingxiangtingtingliuyue| 麻豆精品| 色婷婷电影网| 日本超碰在线| 欧洲色区| 九九一综合精品| 欧洲区自拍| 久久久97| www婷婷亚洲| 久久五月天丁香花| 精品成人久久久久久久_一二三四视| 色五月xxx| 中文AV网站| 日本激情91| www.99热视频| 激情六月综合| 99免费视频久久| 亚洲狠9| 操操国产| 人妻videos人妻高清| 美女久久婷婷| 中国激情网| 欧美男女婷婷| 色综合激情| 日本成人小说婷婷六月| 97色97干| 免费视频WWW在线观看网站| 五月丁香六月婷婷亚洲| 97超级免费无码| 婷婷五月电影院| 九九这里精品| 97色女人在线| 99热这里只有精品2| 俺去也在线视频| 婷婷五月AV| www.丁香五月| 人妻内射视频| 99小精品| 大香蕉丁香五月| 五月天精品| 国产成人VA| 婷婷趴趴| 免费无码毛片一区二区A片| 亚洲人成色A777777在线观看| 久久xxxx| 日本道久久91| 婷婷五月激情网| 午夜五月天| 丁香五月日韩| 五月丁香综合| 五月婷婷五月天| 久久久人妻人伦| 激情国产五月| 99在线观看精品| 婷婷久久国产视频| 91九九热| 可以看的av| 婷婷五月天激情在线| 色色五月天网站| 伊人无码高清| 日本婷久久| 久色国产| 激情婷婷五月女| 91丨九色丨老熟女激情| 欧美激情综合色综合啪啪五月| 99热只有这里有精品| 另类在线| 91日在线视频| 亚洲国产成人在线| 97色伦另类图片小说视频 | 婷婷伊人五月| 怕怕視頻| 1024在线视频| 国产精品a无线| 久热只有这里有精品| 深爱五月婷婷| h亚洲| 色了色综合| 伊人大香五月天| 九九激情| 久热这里只有精品6| 俺去也五月天| 久久开心五月婷婷|