欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

嵌入式實(shí)時(shí)性為何會(huì)失穩(wěn)?從截止時(shí)間到優(yōu)先級(jí)反轉(zhuǎn)的排查指南

嵌入式實(shí)時(shí)性為何會(huì)失穩(wěn)?從截止時(shí)間到優(yōu)先級(jí)反轉(zhuǎn)的排查指南 1. 先糾正一個(gè)直覺(jué)主頻高、跑得快并不會(huì)讓系統(tǒng)“實(shí)時(shí)”我調(diào)試過(guò)一臺(tái)設(shè)備主控從一顆中等主頻的MCU換成更高主頻、帶浮點(diǎn)單元的新芯片采集周期、控制算法代碼一行沒(méi)改。結(jié)果反而出現(xiàn)偶發(fā)抖動(dòng)甚至有過(guò)一次看起來(lái)完全不該發(fā)生的重啟。當(dāng)時(shí)團(tuán)隊(duì)第一反應(yīng)是“新芯片沒(méi)調(diào)好”查下去才發(fā)現(xiàn)問(wèn)題壓根不出在算力上。做嵌入式的人很容易把“實(shí)時(shí)性”理解成“處理得快”。這恰恰是整個(gè)領(lǐng)域最貴的一個(gè)誤會(huì)。實(shí)時(shí)性真正的意思是系統(tǒng)能不能在約定的時(shí)間點(diǎn)之前確定地完成該做的事。它不關(guān)心你平均跑得多快、峰值吞吐有多高只關(guān)心一個(gè)最壞情況下的邊界——也就是“截止時(shí)間”deadline。1.1 實(shí)時(shí)性衡量的不是“平均速度”而是“最壞情況下的上界”先看一組我經(jīng)常拿來(lái)測(cè)試新人的對(duì)比數(shù)據(jù)。假設(shè)有兩個(gè)系統(tǒng)都要處理一個(gè)周期為50ms的控制任務(wù)指標(biāo)系統(tǒng)A系統(tǒng)B平均執(zhí)行時(shí)間1ms5ms最壞執(zhí)行時(shí)間40ms6ms能否穩(wěn)定滿(mǎn)足50ms截止時(shí)間偶爾能經(jīng)常懸穩(wěn)定滿(mǎn)足系統(tǒng)A的平均執(zhí)行時(shí)間只有1ms看起來(lái)比系統(tǒng)B的5ms快很多。但在實(shí)時(shí)系統(tǒng)里A是災(zāi)難級(jí)的因?yàn)樗顗那闆r下要跑40ms而且這個(gè)最壞值何時(shí)出現(xiàn)完全無(wú)法預(yù)測(cè)。一旦它出現(xiàn)下一個(gè)周期的任務(wù)又會(huì)跟著推遲系統(tǒng)直接進(jìn)入超時(shí)狀態(tài)。系統(tǒng)B平時(shí)看起來(lái)“笨”一點(diǎn)但它最壞也就6ms離截止時(shí)間有充足余量整個(gè)控制回路都能在可預(yù)測(cè)的節(jié)奏里跑。對(duì)實(shí)時(shí)系統(tǒng)來(lái)說(shuō)B才是合格的。這就像一個(gè)物流公司承諾“平均3天送到”和“最遲5天必到”之間的差別。做實(shí)時(shí)系統(tǒng)你需要的不是平均你需要的是“承諾”本身。截止時(shí)間就是這個(gè)承諾的邊界超過(guò)它任務(wù)即使完成了也是失敗。1.2 “跑得快”掩蓋了什么中斷延遲、調(diào)度延遲與阻塞時(shí)間那提高主頻是不是完全沒(méi)用有用但它只能在“純計(jì)算時(shí)間”上做文章。而實(shí)時(shí)系統(tǒng)里一個(gè)任務(wù)從“事件發(fā)生”到“動(dòng)作輸出”時(shí)間開(kāi)銷(xiāo)分布在很多環(huán)節(jié)中斷延遲外設(shè)發(fā)出中斷請(qǐng)求到CPU真正跳進(jìn)ISR第一條指令之間的時(shí)間。只要系統(tǒng)里有任何一段關(guān)中斷的臨界區(qū)這段延遲就會(huì)被拉長(zhǎng)。調(diào)度延遲任務(wù)已經(jīng)就緒但RTOS調(diào)度器要等當(dāng)前任務(wù)主動(dòng)出讓CPU或被搶占才能把控制權(quán)交給高優(yōu)先級(jí)任務(wù)。上下文切換開(kāi)銷(xiāo)寄存器保存、棧切換、內(nèi)核態(tài)進(jìn)出這部分和主頻相關(guān)但在整體時(shí)間里占比通常不大。阻塞時(shí)間等待互斥鎖、信號(hào)量、硬件總線(xiàn)I2C、SPI、CAN的時(shí)間。這種等待可能持續(xù)幾百微秒甚至幾毫秒和主頻沒(méi)有任何關(guān)系。所以會(huì)出現(xiàn)一種反直覺(jué)的現(xiàn)象主頻提升后任務(wù)平均執(zhí)行時(shí)間確實(shí)縮短了但某一次鎖沖突、某一次DMA搬運(yùn)等待、某一次關(guān)中斷臨界區(qū)調(diào)度延遲輕輕松松就把省下的零點(diǎn)幾毫秒全部吃回去甚至倒虧。高主頻還帶來(lái)新的問(wèn)題功耗上升散熱變差flash讀取需要插入等待周期CPU cache命中率不穩(wěn)定外設(shè)和總線(xiàn)時(shí)鐘不一定跟著同步提升。這些都是時(shí)序抖動(dòng)的來(lái)源。我后來(lái)復(fù)盤(pán)那次“換芯片后偶發(fā)抖動(dòng)”的經(jīng)驗(yàn)發(fā)現(xiàn)新芯片雖然算得快但內(nèi)存系統(tǒng)的延遲和中斷控制器行為變了反而把系統(tǒng)最壞延遲從原來(lái)的可預(yù)測(cè)變成不可預(yù)測(cè)。所以實(shí)時(shí)性設(shè)計(jì)的第一條原則不是問(wèn)“這顆芯片有多快”而是問(wèn)“這條路徑上所有環(huán)節(jié)的最壞時(shí)間加在一起能不能壓進(jìn)截止時(shí)間以?xún)?nèi)。”2. 錯(cuò)過(guò)截止時(shí)間后系統(tǒng)是怎么一步步“失穩(wěn)”的標(biāo)題里說(shuō)要“失穩(wěn)”不是嚇唬人。錯(cuò)過(guò)截止時(shí)間的直接后果往往不是立刻崩潰而是系統(tǒng)進(jìn)入一種持續(xù)偏離正常狀態(tài)、自我放大的過(guò)程。不同結(jié)構(gòu)的系統(tǒng)失穩(wěn)的路徑不一樣但底層邏輯是共通的每一個(gè)任務(wù)都以為自己是偶發(fā)地慢了一次但下游任務(wù)、緩沖區(qū)、控制回路會(huì)把這一次次的“偶發(fā)”累積成系統(tǒng)性故障。2.1 控制回路的“相位滯后→振蕩→發(fā)散”鏈條做電機(jī)控制、電源控制、溫控、飛行姿態(tài)控制的工程師對(duì)這節(jié)的內(nèi)容會(huì)特別有共鳴。一個(gè)典型的閉環(huán)反饋系統(tǒng)控制器以固定周期T反復(fù)執(zhí)行采樣傳感器數(shù)據(jù)計(jì)算控制量輸出到執(zhí)行器。這個(gè)周期T為什么不能隨意亂變因?yàn)樵诳刂圃砝锊蓸又芷诤蛨?zhí)行延遲都直接作用于回路增益與相位。假設(shè)控制任務(wù)從采樣到輸出之間的延遲是τ那么這個(gè)延遲對(duì)應(yīng)一個(gè)相位滯后相位滯后 2π f τ。f是信號(hào)的頻率τ越大滯后越嚴(yán)重。當(dāng)相位滯后增大到一定程度系統(tǒng)的相位裕度下降原本穩(wěn)定的回路開(kāi)始振蕩甚至發(fā)散。關(guān)鍵在這里如果τ是一個(gè)固定值那還好設(shè)計(jì)階段可以把它算進(jìn)模型里。但實(shí)時(shí)系統(tǒng)里錯(cuò)過(guò)截止時(shí)間意味著τ不再是固定值它會(huì)隨著任務(wù)拖欠、排隊(duì)時(shí)間變化而不斷波動(dòng)。一個(gè)本來(lái)只有2ms的延遲某次變成10ms再下一次變成15ms。相位裕度在不同周期之間忽大忽小系統(tǒng)就會(huì)表現(xiàn)出間歇性的振蕩溫度過(guò)沖、電機(jī)抖動(dòng)、PWM波形毛刺。我見(jiàn)過(guò)一個(gè)實(shí)例一塊溫控板卡控制器周期是100ms平時(shí)壓得很穩(wěn)波動(dòng)不到正負(fù)0.5度。后來(lái)有人往里加了一個(gè)“看門(mén)狗喂狗”的任務(wù)優(yōu)先級(jí)還設(shè)置錯(cuò)了導(dǎo)致控制器任務(wù)經(jīng)常被推遲執(zhí)行。表面上看控制任務(wù)還是每100ms跑一次但實(shí)際采樣的數(shù)據(jù)有時(shí)是舊的輸出執(zhí)行時(shí)刻忽前忽后。結(jié)果溫控波動(dòng)拉大到正負(fù)2度客戶(hù)那邊直接判定不合格。這就是典型的“截止時(shí)間被錯(cuò)過(guò)但任務(wù)本身沒(méi)有丟”——系統(tǒng)沒(méi)有崩潰穩(wěn)定性已經(jīng)被破壞了。2.2 事件驅(qū)動(dòng)的“任務(wù)堆積→雪崩”鏈條和周期控制不同另一類(lèi)系統(tǒng)是事件驅(qū)動(dòng)的串口收到報(bào)文、CAN總線(xiàn)來(lái)了一幀數(shù)據(jù)、網(wǎng)絡(luò)包到達(dá)。這類(lèi)系統(tǒng)的失穩(wěn)路徑更常表現(xiàn)為“雪崩”。假設(shè)一個(gè)通信任務(wù)每收到一串完整報(bào)文要在1ms內(nèi)解析并寫(xiě)入共享數(shù)據(jù)結(jié)構(gòu)。正常時(shí)候報(bào)文一個(gè)接一個(gè)處理得干干凈凈。但某一次高優(yōu)先級(jí)任務(wù)長(zhǎng)時(shí)間占用CPU通信任務(wù)錯(cuò)過(guò)了截止時(shí)間又恰好在這段時(shí)間里緩沖區(qū)堆積了好幾幀報(bào)文。等通信任務(wù)被調(diào)度到它發(fā)現(xiàn)緩沖區(qū)里有5幀數(shù)據(jù)要處理哪怕每一幀只處理1ms也要5ms。在這5ms里新的報(bào)文繼續(xù)進(jìn)來(lái)緩沖區(qū)越積越多最終溢出、丟包。丟包的后果是上層協(xié)議開(kāi)始重傳重傳又增加了網(wǎng)絡(luò)負(fù)載讓通信任務(wù)更忙不過(guò)來(lái)。整個(gè)系統(tǒng)進(jìn)入一種“持續(xù)超載”狀態(tài)——不是哪一次突然崩潰而是一直在超時(shí)、丟包、重試之間惡性循環(huán)。這類(lèi)失穩(wěn)最麻煩的地方在于表面上看系統(tǒng)還在“運(yùn)行”沒(méi)有死機(jī)但業(yè)務(wù)指標(biāo)已經(jīng)完全不達(dá)標(biāo)了。對(duì)想要定位問(wèn)題的工程師來(lái)說(shuō)這種半死不活的狀態(tài)比徹底崩潰難查得多。2.3 協(xié)作式依賴(lài)鏈的“多米諾效應(yīng)”還有一類(lèi)系統(tǒng)靠多個(gè)任務(wù)流水線(xiàn)配合任務(wù)A采集傳感器數(shù)據(jù)通過(guò)隊(duì)列傳給任務(wù)B做數(shù)據(jù)融合任務(wù)C再根據(jù)融合結(jié)果輸出控制指令。每個(gè)任務(wù)單獨(dú)看延遲都還好但它們之間存在嚴(yán)格的“數(shù)據(jù)新鮮度”要求。假設(shè)任務(wù)A的周期是25ms它采集的數(shù)據(jù)在30ms后還沒(méi)被任務(wù)B處理掉這份數(shù)據(jù)就已經(jīng)過(guò)期了。任務(wù)B即使拿到了這份過(guò)期數(shù)據(jù)算出來(lái)的中間結(jié)果也沒(méi)有意義任務(wù)C再基于這個(gè)中間結(jié)果去輸出就是拿舊數(shù)據(jù)做新決策。實(shí)時(shí)系統(tǒng)里有個(gè)概念叫“數(shù)據(jù)年齡”data age從數(shù)據(jù)采集完成到最終被使用經(jīng)歷的時(shí)間越短越好。如果這條鏈路里任何一個(gè)任務(wù)錯(cuò)失截止時(shí)間年齡就會(huì)增長(zhǎng)下游任務(wù)來(lái)不及等到“新鮮”的數(shù)據(jù)時(shí)只能使用過(guò)期數(shù)據(jù)最終反映到執(zhí)行器上就是動(dòng)作錯(cuò)誤。單個(gè)任務(wù)偶爾超時(shí)的概率可能只有萬(wàn)分之一但一條鏈路上串聯(lián)了5個(gè)任務(wù)任何一個(gè)超時(shí)都會(huì)導(dǎo)致最終結(jié)果失真。這就是為什么“偶發(fā)故障”這么難排查你看到的往往是最末端那個(gè)任務(wù)的輸出異常而根因可能早在幾個(gè)任務(wù)之前就已經(jīng)埋下了。3. 把“穩(wěn)定運(yùn)行”翻譯成可落地的實(shí)時(shí)參數(shù)“系統(tǒng)要穩(wěn)定運(yùn)行”“不能卡頓”“響應(yīng)要快”這類(lèi)需求在需求文檔里常見(jiàn)但拿給嵌入式工程師落地時(shí)完全沒(méi)有可操作性。你需要把它拆成一組明確的實(shí)時(shí)參數(shù)從事件發(fā)生到動(dòng)作完成整條路徑上每個(gè)環(huán)節(jié)各自有多少時(shí)間預(yù)算誰(shuí)可以多花誰(shuí)必須卡死。3.1 需求拆解從一句“不能卡頓”到明確的截止時(shí)間集合我通常的做法是拿到一個(gè)實(shí)時(shí)需求先畫(huà)出“事件入口到動(dòng)作輸出”的完整鏈路然后給每個(gè)環(huán)節(jié)做時(shí)間預(yù)算。用一個(gè)簡(jiǎn)單的溫度控制器舉例。需求一句話(huà)溫度采樣周期100ms從傳感器數(shù)據(jù)就緒到執(zhí)行器輸出更新延遲不能超過(guò)5ms。鏈路拆解如下環(huán)節(jié)內(nèi)容時(shí)間預(yù)算傳感器中斷ADC采樣完成觸發(fā)中斷0.2msDMA搬運(yùn)把采樣數(shù)據(jù)從ADC寄存器搬到內(nèi)存0.5ms調(diào)度延遲控制任務(wù)從就緒到獲得CPU1.0ms控制計(jì)算PID運(yùn)算、濾波、限幅2.0ms輸出寫(xiě)入寫(xiě)DAC/驅(qū)動(dòng)芯片寄存器0.3ms合計(jì)4.0ms總預(yù)算4.0ms需求是5ms余量1ms勉強(qiáng)夠。開(kāi)工前我會(huì)把余量再放大一點(diǎn)比如壓到3.5ms以?xún)?nèi)因?yàn)楹竺嬉A(yù)留給中斷頻繁發(fā)生、總線(xiàn)重試、鎖沖突等突發(fā)事件。注意一個(gè)關(guān)鍵點(diǎn)預(yù)算里的“控制計(jì)算”寫(xiě)的是2.0ms這在工程上不叫“平均執(zhí)行時(shí)間”而叫WCET最壞執(zhí)行時(shí)間Worst-Case Execution Time。你不能拿“平時(shí)只要1ms”來(lái)填這個(gè)格子必須考慮最糟糕分支、cache失效、編譯器優(yōu)化差異、內(nèi)存被DMA占用的競(jìng)爭(zhēng)情況。最壞值至少要跑了上萬(wàn)次壓測(cè)后統(tǒng)計(jì)得出通常還要在這個(gè)值上再放大20%到50%作為安全余量。3.2 調(diào)度策略與可調(diào)度性判斷會(huì)算“能不能滿(mǎn)足截止時(shí)間”預(yù)算拆完之后下一個(gè)問(wèn)題是在操作系統(tǒng)層面這套任務(wù)能不能在每個(gè)周期內(nèi)都按時(shí)完成這就涉及可調(diào)度性分析。RTOS里最常用的調(diào)度策略是固定優(yōu)先級(jí)搶占式調(diào)度每個(gè)任務(wù)有一個(gè)固定優(yōu)先級(jí)高優(yōu)先級(jí)任務(wù)就緒時(shí)可以搶占正在運(yùn)行的低優(yōu)先級(jí)任務(wù)。對(duì)一組周期任務(wù)可以用“速率單調(diào)調(diào)度RMS”的優(yōu)先級(jí)分配思路周期越短的任務(wù)優(yōu)先級(jí)越高。比如溫度控制任務(wù)周期100ms通信任務(wù)周期10ms那么通信任務(wù)優(yōu)先級(jí)應(yīng)該更高。這個(gè)原則符合直覺(jué)也符合經(jīng)典理論??烧{(diào)度性判斷要算CPU利用率U Σ (Ci / Ti)其中Ci是任務(wù)i的最壞執(zhí)行時(shí)間Ti是任務(wù)i的周期。RMS調(diào)度的充分條件是U ≤ n × (2^(1/n) - 1)n是任務(wù)數(shù)量。當(dāng)n2時(shí)這個(gè)上限約是0.828n越大上限越接近ln2也就是約0.693。換句話(huà)說(shuō)在純RMS調(diào)度下CPU利用率超過(guò)70%以后想保證所有任務(wù)都在截止時(shí)間內(nèi)完成理論上就開(kāi)始吃力了。很多剛從裸機(jī)轉(zhuǎn)RTOS的工程師喜歡把CPU跑得滿(mǎn)滿(mǎn)當(dāng)當(dāng)覺(jué)得利用率90%才“不浪費(fèi)”。在實(shí)時(shí)系統(tǒng)里這是要命的思路。我一般會(huì)建議至少留30%的CPU余量。這30%不只是用來(lái)應(yīng)付未知負(fù)載更是為了給中斷、錯(cuò)誤處理、日志記錄留空間。除了RMS還有一種理論上更優(yōu)的調(diào)度算法叫EDF最早截止時(shí)間優(yōu)先它可以在CPU利用率達(dá)到100%之前保證可調(diào)度。但工程上我很少在中小型項(xiàng)目里用EDF原因很實(shí)際動(dòng)態(tài)調(diào)度的行為難預(yù)測(cè)工程師很難靠直覺(jué)判斷“下一個(gè)跑的到底是誰(shuí)”出了問(wèn)題不好排查。固定優(yōu)先級(jí)雖然理論利用率上限低一些但行為直觀、可控性強(qiáng)這是工程價(jià)值超過(guò)理論最優(yōu)的地方。3.3 優(yōu)先級(jí)反轉(zhuǎn)與互斥設(shè)計(jì)被低估的阻塞放大器實(shí)時(shí)任務(wù)的執(zhí)行時(shí)間Ci通常被理解為“純粹的CPU計(jì)算時(shí)間”。但任務(wù)里只要用了互斥鎖、信號(hào)量這類(lèi)同步機(jī)制真實(shí)的最壞執(zhí)行時(shí)間就要把“等待資源的時(shí)間”也算進(jìn)去。這引出了實(shí)時(shí)系統(tǒng)里最經(jīng)典的坑——優(yōu)先級(jí)反轉(zhuǎn)。優(yōu)先級(jí)反轉(zhuǎn)的場(chǎng)景是這樣的低優(yōu)先級(jí)任務(wù)先拿到了一個(gè)互斥鎖正在臨界區(qū)里執(zhí)行此時(shí)高優(yōu)先級(jí)任務(wù)就緒搶占CPU接著去申請(qǐng)同一把鎖發(fā)現(xiàn)鎖被占用只能阻塞等待。如果系統(tǒng)的調(diào)度策略允許中等優(yōu)先級(jí)任務(wù)在這時(shí)搶占低優(yōu)先級(jí)任務(wù)那么高優(yōu)先級(jí)任務(wù)就會(huì)一直等下去因?yàn)榈蛢?yōu)先級(jí)任務(wù)根本得不到CPU無(wú)法釋放鎖。最終結(jié)果是一個(gè)高優(yōu)先級(jí)任務(wù)被一個(gè)中等優(yōu)先級(jí)任務(wù)間接阻塞了時(shí)間可能長(zhǎng)達(dá)幾毫秒甚至幾十毫秒。解決優(yōu)先級(jí)反轉(zhuǎn)的標(biāo)準(zhǔn)方法是“優(yōu)先級(jí)繼承”當(dāng)一個(gè)低優(yōu)先級(jí)任務(wù)持有高優(yōu)先級(jí)任務(wù)需要的互斥鎖時(shí)系統(tǒng)臨時(shí)把低優(yōu)先級(jí)任務(wù)的優(yōu)先級(jí)提升到高優(yōu)先級(jí)任務(wù)的水平讓它盡快執(zhí)行完、釋放鎖。FreeRTOS的互斥量Mutex就支持優(yōu)先級(jí)繼承機(jī)制這也是它和裸信號(hào)量Semaphore的一個(gè)重要區(qū)別。我也在不少現(xiàn)場(chǎng)見(jiàn)過(guò)另一種工程性質(zhì)的反轉(zhuǎn)任務(wù)A和任務(wù)B共享一個(gè)結(jié)構(gòu)體訪問(wèn)前加鎖。結(jié)果某工程師給臨界區(qū)里塞了一大段計(jì)算把鎖持有時(shí)間拉到幾十毫秒。這種情況下就算優(yōu)先級(jí)繼承再?gòu)?qiáng)也只能保證持鎖任務(wù)不被搶但它持有鎖的時(shí)間本身太長(zhǎng)阻塞依然存在。我的經(jīng)驗(yàn)是三條能不加鎖就不加鎖優(yōu)先用隊(duì)列、消息郵箱這類(lèi)無(wú)鎖或少鎖的通信方式。必須加鎖時(shí)臨界區(qū)里只做最必要的數(shù)據(jù)讀寫(xiě)和拷貝不做計(jì)算、不做外設(shè)訪問(wèn)。**中斷服務(wù)函數(shù)里絕不允許阻塞等待鎖。**ISR里需要的不是鎖而是禁中斷保護(hù)或帶中斷保存的臨界區(qū)而且臨界區(qū)要盡量短。這三條看起來(lái)簡(jiǎn)單但絕大多數(shù)實(shí)時(shí)性事故追到根子上都逃不出它們。4. 藏在暗處的失穩(wěn)元兇共享資源、Cache、動(dòng)態(tài)內(nèi)存和日志有些問(wèn)題不是調(diào)度策略算錯(cuò)了而是任務(wù)本身在“看不見(jiàn)的地方”被拖慢。這類(lèi)問(wèn)題最討厭它們不常出現(xiàn)一旦出現(xiàn)就表現(xiàn)為偶發(fā)抖動(dòng)、偶發(fā)超時(shí)很難復(fù)現(xiàn)更難定位。我自己踩過(guò)不少下面這幾個(gè)值得重點(diǎn)排查。4.1 日志和調(diào)試打印最容易被忽略的“時(shí)間刺客”很多工程師喜歡在任務(wù)里加串口打印用來(lái)觀察執(zhí)行流程。這在調(diào)試階段問(wèn)題不大但如果你忘了關(guān)掉或者線(xiàn)上版本還保留著這些打印麻煩就來(lái)了。以一個(gè)典型的115200波特率串口為例傳輸一個(gè)字符大約87微秒。如果某次調(diào)試打印輸出一行50個(gè)字符的日志任務(wù)會(huì)被阻塞約4.3毫秒。要是這行日志出現(xiàn)在一個(gè)5ms截止時(shí)間的控制任務(wù)里等于直接把全部預(yù)算吃掉還倒欠。更隱蔽的是SD卡日志。往SD卡寫(xiě)一次數(shù)據(jù)受文件系統(tǒng)、磨損均衡、總線(xiàn)重試影響最壞情況可能達(dá)到幾十毫秒。這種延遲根本無(wú)法預(yù)測(cè)對(duì)實(shí)時(shí)路徑是毀滅性的。我的建議是**實(shí)時(shí)路徑里不要直接調(diào)用任何阻塞式日志輸出。**如果確實(shí)需要日志用無(wú)鎖的環(huán)形緩沖區(qū)任務(wù)只負(fù)責(zé)往緩沖區(qū)里寫(xiě)后臺(tái)低優(yōu)先級(jí)任務(wù)負(fù)責(zé)把緩沖區(qū)內(nèi)容通過(guò)DMA或定時(shí)批量發(fā)送出去。同時(shí)要保留一個(gè)編譯開(kāi)關(guān)線(xiàn)上版本可以直接關(guān)掉日志功能避免性能污染。另外補(bǔ)充一句**用日志測(cè)執(zhí)行時(shí)間本身就是在污染測(cè)量結(jié)果。**你往代碼里加一條“打印時(shí)間戳”的語(yǔ)句打印本身的耗時(shí)就會(huì)讓結(jié)果失真。測(cè)量執(zhí)行時(shí)間應(yīng)該靠GPIO翻轉(zhuǎn)加示波器或者硬件計(jì)數(shù)器而不是往實(shí)時(shí)路徑里塞串口輸出。4.2 動(dòng)態(tài)內(nèi)存分配Malloc/Free不是實(shí)時(shí)安全的裸機(jī)開(kāi)發(fā)時(shí)很多人習(xí)慣了隨時(shí)調(diào)用malloc和free。到了RTOS環(huán)境這個(gè)習(xí)慣必須改。動(dòng)態(tài)內(nèi)存分配之所以不實(shí)時(shí)安全不在于它慢而在于它的耗時(shí)不確定。標(biāo)準(zhǔn)庫(kù)的malloc在堆內(nèi)存碎片化時(shí)可能觸發(fā)內(nèi)存整理、合并空閑塊最壞情況下的耗時(shí)比正常情況高出幾個(gè)數(shù)量級(jí)。如果任務(wù)在截止時(shí)間附近恰好觸發(fā)了一次復(fù)雜的內(nèi)存分配超時(shí)的風(fēng)險(xiǎn)是不可控的。更嚴(yán)重的是有些RTOS的堆分配實(shí)現(xiàn)不是線(xiàn)程安全的需要加鎖malloc的鎖持有時(shí)間一長(zhǎng)還會(huì)造成其他任務(wù)阻塞。中斷服務(wù)函數(shù)里使用malloc在很多平臺(tái)上是明確禁止的因?yàn)橹袛嗌舷挛母静辉试S做可能引起阻塞的操作。解決辦法也簡(jiǎn)單**內(nèi)存池預(yù)分配。**在系統(tǒng)啟動(dòng)階段把任務(wù)需要的所有內(nèi)存塊都分配好之后運(yùn)行時(shí)不再動(dòng)態(tài)分配和釋放。或者直接定義固定大小的對(duì)象數(shù)組用位圖管理空閑項(xiàng)。分配和釋放操作都變成O(1)的確定操作耗時(shí)可控。4.3 Cache與DMA一致性問(wèn)題最隱蔽的延時(shí)來(lái)源帶Cache的MCU比如Cortex-M7、Cortex-A系列上Cache與DMA的一致性問(wèn)題是又一頭“房間里的大象”。場(chǎng)景是這樣的DMA把外設(shè)數(shù)據(jù)搬運(yùn)到內(nèi)存緩沖區(qū)然后CPU去讀取這個(gè)緩沖區(qū)。但CPU Cache里可能還存著舊數(shù)據(jù)的副本CPU直接讀到的可能不是DMA剛寫(xiě)入的新數(shù)據(jù)而是Cache里的陳舊數(shù)據(jù)。反過(guò)來(lái)如果CPU先寫(xiě)了一個(gè)緩沖區(qū)然后讓DMA去搬運(yùn)DMA訪問(wèn)的是物理內(nèi)存而不是Cache搬走的可能是舊數(shù)據(jù)。這個(gè)問(wèn)題和實(shí)時(shí)性有什么關(guān)系關(guān)系大了。它導(dǎo)致的不是每次都錯(cuò)而是偶爾讀到臟數(shù)據(jù)。控制任務(wù)一旦基于臟數(shù)據(jù)計(jì)算輸出就會(huì)異常因?yàn)榕K數(shù)據(jù)出現(xiàn)的條件取決于Cache的命中狀態(tài)、時(shí)序交錯(cuò)幾乎不可能穩(wěn)定復(fù)現(xiàn)。處理標(biāo)準(zhǔn)做法是在DMA寫(xiě)數(shù)據(jù)后執(zhí)行Cache Invalidate在DMA讀數(shù)據(jù)前執(zhí)行Cache Clean。對(duì)Cortex-M7這類(lèi)帶Cache的MCU要仔細(xì)編寫(xiě)數(shù)據(jù)同步操作。性能上的代價(jià)是每次同步都要把相應(yīng)Cache線(xiàn)寫(xiě)回或丟棄這個(gè)操作本身要花時(shí)間但換來(lái)的是數(shù)據(jù)正確性。如果你發(fā)現(xiàn)一個(gè)系統(tǒng)“偶爾抽風(fēng)”現(xiàn)象完全沒(méi)有規(guī)律先查一下Cache一致性尤其是DMA和CPU共用緩沖區(qū)的場(chǎng)景。這類(lèi)問(wèn)題經(jīng)常被誤判為芯片不穩(wěn)定實(shí)際是緩存同步缺失。4.4 中斷里做太多事、共享總線(xiàn)被長(zhǎng)時(shí)間占用、低功耗喚醒延遲中斷服務(wù)函數(shù)是實(shí)時(shí)系統(tǒng)里最容易被寫(xiě)壞的地方。不少工程師習(xí)慣在ISR里直接解析協(xié)議、算校驗(yàn)、處理邏輯。這會(huì)把中斷延遲無(wú)限拉長(zhǎng)其他中斷進(jìn)不來(lái)高優(yōu)先級(jí)任務(wù)也得不到調(diào)度。ISR里的正確姿勢(shì)是讀必要的寄存器、置標(biāo)志位、釋放信號(hào)量/事件標(biāo)志把耗時(shí)處理丟給任務(wù)去干。ISR越短系統(tǒng)的實(shí)時(shí)性上限越高。共享總線(xiàn)的占用也是一個(gè)暗坑。一個(gè)SPI總線(xiàn)上掛了Flash、ADC、DAC等多個(gè)設(shè)備如果某次大塊讀Flash的操作占用了總線(xiàn)幾百微秒這塊總線(xiàn)上其他設(shè)備的通信就得排隊(duì)。CAN總線(xiàn)也一樣總線(xiàn)仲裁、錯(cuò)誤重試機(jī)制會(huì)讓某些幀的發(fā)送延遲大幅波動(dòng)。做時(shí)間預(yù)算時(shí)這類(lèi)“外部因素”一樣要放進(jìn)余量里。低功耗模式的喚醒延遲也是常被忽略的一項(xiàng)。MCU從STOP模式喚醒可能花費(fèi)幾十到幾百微秒從Standby模式喚醒更長(zhǎng)。如果一個(gè)系統(tǒng)既要低功耗又要實(shí)時(shí)性必須把喚醒延遲明確寫(xiě)入鏈路預(yù)算否則就會(huì)出現(xiàn)“設(shè)備睡過(guò)去了叫不醒”的失穩(wěn)癥狀。可以用tickless空閑模式減少喚醒頻率但每個(gè)周期性任務(wù)醒來(lái)后都得多留出喚醒時(shí)間的余量。5. 一次真實(shí)失穩(wěn)的完整排查鏈路這類(lèi)問(wèn)題光講理論很容易云里霧里。分享一個(gè)我做過(guò)的排查案例鏈路很典型你可以把這套思路直接拿去應(yīng)付同類(lèi)問(wèn)題。5.1 現(xiàn)象記錄偶發(fā)抖動(dòng)與“重啟后恢復(fù)正常”項(xiàng)目背景是一塊帶Cortex-M7內(nèi)核的板子做高速數(shù)據(jù)采集加電機(jī)控制。采樣周期25kHz也就是40微秒一次采集完成后通過(guò)SPI把處理結(jié)果發(fā)給驅(qū)動(dòng)芯片同時(shí)一個(gè)UART口負(fù)責(zé)向上位機(jī)打印狀態(tài)??蛻?hù)的反饋是設(shè)備運(yùn)行一段時(shí)間后電機(jī)會(huì)偶發(fā)抖動(dòng)上位機(jī)偶爾收不到命令回復(fù)重啟之后能好一段時(shí)間然后又復(fù)發(fā)。這個(gè)現(xiàn)象有兩個(gè)關(guān)鍵點(diǎn)偶發(fā)、可恢復(fù)。偶發(fā)說(shuō)明不是邏輯上必然的路徑錯(cuò)誤可恢復(fù)說(shuō)明沒(méi)有永久性的資源泄漏或死鎖。很多人一上來(lái)就懷疑是硬件問(wèn)題換芯片、換板子我一般不建議這么干先記錄現(xiàn)象用數(shù)據(jù)定位。5.2 逐步縮小范圍從任務(wù)間隔到鎖等待第一步我在中斷入口拉高一個(gè)GPIO在SPI發(fā)送完成回調(diào)里拉低用邏輯分析儀抓包看不同階段的高電平持續(xù)時(shí)間。跑了大約幾萬(wàn)個(gè)采樣周期后確實(shí)抓到幾個(gè)明顯超寬的脈沖。對(duì)照時(shí)間軸發(fā)現(xiàn)超寬脈沖集中出現(xiàn)在UART打印狀態(tài)下而且每次超寬脈沖之后下一次采樣任務(wù)執(zhí)行都跟著推遲。這立刻給了兩個(gè)線(xiàn)索日志打印有嫌疑而且打了日志之后整個(gè)任務(wù)的節(jié)奏都亂了。第二步我先臨時(shí)關(guān)掉所有UART打印觀察一段時(shí)間。抖動(dòng)頻率明顯下降但沒(méi)有根除說(shuō)明還有一個(gè)更深層的問(wèn)題。第三步給任務(wù)里幾個(gè)關(guān)鍵調(diào)用點(diǎn)加時(shí)間戳記錄到環(huán)形緩沖區(qū)事后通過(guò)調(diào)試口讀出來(lái)。對(duì)比數(shù)據(jù)發(fā)現(xiàn)任務(wù)里有一段訪問(wèn)共享結(jié)構(gòu)體的互斥鎖正常情況下等待時(shí)間只有幾微秒但偶發(fā)情況下會(huì)沖到幾百微秒。順著鎖的持有方查發(fā)現(xiàn)一個(gè)低優(yōu)先級(jí)任務(wù)會(huì)定期拿這把鎖做一個(gè)“參數(shù)打包”操作。打包過(guò)程本身要遍歷一批數(shù)組、換算單位、拷貝到輸出緩沖耗時(shí)比較長(zhǎng)。由于它是低優(yōu)先級(jí)任務(wù)一旦被打斷它持鎖的時(shí)間會(huì)更長(zhǎng)而高優(yōu)先級(jí)任務(wù)就在鎖上被晾著。這正是優(yōu)先級(jí)反轉(zhuǎn)的教科書(shū)表現(xiàn)。第四步我用FreeRTOS的互斥量替代了原來(lái)的二值信號(hào)量把優(yōu)先級(jí)繼承機(jī)制打開(kāi)。問(wèn)題基本消失。但第五步又找到一顆雷在中斷服務(wù)函數(shù)里有一段代碼調(diào)用了malloc雖然調(diào)用頻率很低但每次段錯(cuò)誤風(fēng)險(xiǎn)都不小——每次動(dòng)態(tài)分配都會(huì)帶來(lái)不確定耗時(shí)影響中斷延遲。我把這段改成啟動(dòng)時(shí)預(yù)分配的結(jié)構(gòu)體數(shù)組抖動(dòng)徹底消失連續(xù)運(yùn)行好幾天沒(méi)有再犯。5.3 根因確認(rèn)與復(fù)盤(pán)為什么這類(lèi)問(wèn)題藏得住排查步驟手段發(fā)現(xiàn)處理第一步GPIO翻轉(zhuǎn) 邏輯分析儀UART打印任務(wù)會(huì)阻塞采樣任務(wù)日志改后臺(tái)發(fā)送第二步插樁時(shí)間戳互斥鎖等待偶發(fā)達(dá)到幾百微秒替換為帶優(yōu)先級(jí)繼承的互斥量第三步代碼審查ISR中存在malloc調(diào)用改為預(yù)分配內(nèi)存池這個(gè)案例里最值得復(fù)盤(pán)的一點(diǎn)是**這三個(gè)問(wèn)題是疊加在一起而不是孤立出現(xiàn)的。**只解決日志打印問(wèn)題不會(huì)根除只解決優(yōu)先級(jí)反轉(zhuǎn)UART打印的阻塞依然會(huì)制造新的抖動(dòng)。很多嵌入式系統(tǒng)的失穩(wěn)背后都是多個(gè)不良習(xí)慣疊加后的“合力”爆發(fā)排查時(shí)必須一層層剝不能碰巧看到一個(gè)嫌疑就收工。另一個(gè)經(jīng)驗(yàn)是**GPIO翻轉(zhuǎn)加邏輯分析儀是我用過(guò)的最便宜的實(shí)時(shí)性觀測(cè)手段。**它不侵入代碼邏輯不需要額外的調(diào)試串口測(cè)量精度完全取決于GPIO翻轉(zhuǎn)指令的耗時(shí)通常小于一微秒。在板子功能正常的時(shí)候你很難看到哪里有毛病但只要把GPIO翻轉(zhuǎn)點(diǎn)埋進(jìn)關(guān)鍵路徑任何一次超時(shí)都會(huì)在波形上留下清晰的“罪證”。6. 測(cè)量與驗(yàn)證怎么證明你的系統(tǒng)真的“實(shí)時(shí)”了需求拆了調(diào)度算了代碼也寫(xiě)了一堆經(jīng)驗(yàn)教訓(xùn)。但最后總要面對(duì)一個(gè)實(shí)際問(wèn)題**你怎么證明這套系統(tǒng)真的能在長(zhǎng)期運(yùn)行中穩(wěn)定滿(mǎn)足截止時(shí)間**實(shí)時(shí)性不是靠拍胸脯保證的要靠測(cè)量數(shù)據(jù)。6.1 用GPIO翻轉(zhuǎn)加邏輯分析儀測(cè)時(shí)間上界測(cè)量實(shí)時(shí)性最基礎(chǔ)也最可靠的方法就是GPIO翻轉(zhuǎn)法。原理很簡(jiǎn)單在待測(cè)事件入口處把某個(gè)GPIO拉高在出口處拉低用邏輯分析儀或示波器測(cè)量高電平的持續(xù)時(shí)間。因?yàn)椴僮髦挥幸粋€(gè)寄存器寫(xiě)指令開(kāi)銷(xiāo)極小幾乎不影響被測(cè)路徑的時(shí)序。這個(gè)方法要測(cè)出效果必須注意兩點(diǎn)測(cè)量對(duì)象要覆蓋“最壞路徑”不能只測(cè)正常運(yùn)行要在系統(tǒng)滿(mǎn)載、外設(shè)全部打開(kāi)、網(wǎng)絡(luò)流量打滿(mǎn)、日志后臺(tái)發(fā)送開(kāi)啟的狀態(tài)下連續(xù)測(cè)幾十萬(wàn)個(gè)周期。最壞執(zhí)行時(shí)間只有在極端工況下才肯現(xiàn)身。統(tǒng)計(jì)最大值而不是平均值記錄每次脈沖寬度找出最大的一次。如果最大值還在時(shí)間預(yù)算以?xún)?nèi)說(shuō)明這個(gè)環(huán)節(jié)的實(shí)時(shí)性是有保障的。如果某個(gè)周期出現(xiàn)超寬脈沖再結(jié)合時(shí)間軸看看當(dāng)時(shí)發(fā)生了什么。用示波器看時(shí)觀察超時(shí)毛刺是關(guān)鍵。一個(gè)穩(wěn)定實(shí)時(shí)的系統(tǒng)脈沖寬度方差應(yīng)該非常小一旦出現(xiàn)“有時(shí)窄有時(shí)寬”的跡象就要引起警覺(jué)。6.2 RTOS自帶的Trace與統(tǒng)計(jì)工具GPIO翻轉(zhuǎn)法雖然直觀但只能看到有限幾個(gè)測(cè)點(diǎn)。想全面了解所有任務(wù)的運(yùn)行狀況可以借助RTOS自己的統(tǒng)計(jì)能力。在FreeRTOS里開(kāi)啟configGENERATE_RUN_TIME_STATS后可以通過(guò)vTaskGetRunTimeStats()拿到每個(gè)任務(wù)的CPU占用時(shí)間。配合configUSE_TRACE_FACILITY和uxTaskGetSystemState()還能拿到任務(wù)狀態(tài)、喚醒次數(shù)、阻塞時(shí)間等數(shù)據(jù)。看任務(wù)的實(shí)際CPU占用和分析值之間的差距能快速定位某個(gè)任務(wù)是不是跑得比預(yù)期多。RT-Thread也提供類(lèi)似能力線(xiàn)程信息、信號(hào)量超時(shí)等待統(tǒng)計(jì)、事件集狀態(tài)都能在shell里直接查看。我特別喜歡用這類(lèi)命令驗(yàn)證“某個(gè)任務(wù)是不是一直拿不到鎖”如果某把鎖的等待隊(duì)列里經(jīng)常有任務(wù)掛在那里說(shuō)明資源競(jìng)爭(zhēng)已經(jīng)很激烈了。除了軟件統(tǒng)計(jì)硬件DWT模塊的時(shí)鐘周期計(jì)數(shù)器也值得一用。Cortex-M內(nèi)核提供DWT-CYCCNT可以精確計(jì)數(shù)CPU周期。測(cè)量一小段代碼的耗時(shí)只需要記錄前后差值分辨率遠(yuǎn)高于任何軟件定時(shí)器。配合ITM調(diào)試接口還能做時(shí)間戳事件流對(duì)現(xiàn)場(chǎng)排查很管用。6.3 面向嵌入式Linux平臺(tái)的實(shí)時(shí)性評(píng)估如果你的“嵌入式”跑的是Linux而不是裸機(jī)或RTOS評(píng)估方法會(huì)換一套。普通Linux內(nèi)核不是硬實(shí)時(shí)系統(tǒng)但在很多工業(yè)場(chǎng)景里只要滿(mǎn)足軟實(shí)時(shí)也就是延遲大多數(shù)情況下在可接受范圍內(nèi)就夠用了。最常用的評(píng)估工具是cyclictest它用于測(cè)量線(xiàn)程按指定周期喚醒時(shí)實(shí)際喚醒時(shí)刻與期望時(shí)刻之間的偏差。運(yùn)行一段時(shí)間后看統(tǒng)計(jì)結(jié)果最小值、平均值、最大值和超過(guò)某閾值的次數(shù)。最大延遲是評(píng)判軟實(shí)時(shí)能力的關(guān)鍵數(shù)據(jù)如果這個(gè)值遠(yuǎn)小于你的采樣周期基本可以認(rèn)為滿(mǎn)足要求。要提升Linux的實(shí)時(shí)性常用的手段包括給RT任務(wù)綁定專(zhuān)用CPU核、設(shè)置SCHED_FIFO調(diào)度策略和實(shí)時(shí)優(yōu)先級(jí)、關(guān)掉CPU調(diào)頻節(jié)能、用PREEMPT_RT補(bǔ)丁讓內(nèi)核可搶占。但要注意這些手段都是降低延遲分布的下限和抖動(dòng)卻不能給出硬實(shí)時(shí)保證。項(xiàng)目里如果對(duì)截止時(shí)間有硬約束老老實(shí)實(shí)上RTOS或裸機(jī)不要在通用Linux上賭運(yùn)氣。6.4 看門(mén)狗只是保險(xiǎn)絲不是實(shí)時(shí)性工具很多團(tuán)隊(duì)喜歡用看門(mén)狗來(lái)兜底“不是怕系統(tǒng)跑飛嗎我喂狗就行?!钡撮T(mén)狗只能防“系統(tǒng)徹底掛死”防不了“慢、卡、抖、錯(cuò)”。任務(wù)哪怕每次都在截止時(shí)間后跑完只要它還在執(zhí)行、還會(huì)喂狗看門(mén)狗就認(rèn)為一切正常。更麻煩的是看門(mén)狗設(shè)置不當(dāng)會(huì)制造新的失穩(wěn)。假設(shè)你把看門(mén)狗超時(shí)時(shí)間設(shè)成比任務(wù)最壞執(zhí)行時(shí)間還短某個(gè)長(zhǎng)臨界區(qū)阻塞了喂狗任務(wù)一小會(huì)兒看門(mén)狗就觸發(fā)了復(fù)位。系統(tǒng)從“運(yùn)行但偶發(fā)抖動(dòng)”變成“每過(guò)一段時(shí)間神秘重啟”排查難度直接上了一個(gè)臺(tái)階。我的建議是看門(mén)狗超時(shí)時(shí)間要明顯大于系統(tǒng)正常的最大喂狗間隔比如留2到3倍余量最好由獨(dú)立于主控制鏈路的監(jiān)控任務(wù)負(fù)責(zé)喂狗讓它只檢測(cè)系統(tǒng)是否還有心跳而不是去卡主流程的執(zhí)行節(jié)拍。復(fù)位后還要在非易失存儲(chǔ)里留下故障信息方便現(xiàn)場(chǎng)定位。做實(shí)時(shí)系統(tǒng)這幾年我最大的體會(huì)是實(shí)時(shí)性不是項(xiàng)目后期調(diào)出來(lái)的也不是換一顆更高主頻的芯片就能解決的。它是一個(gè)從需求拆解、調(diào)度分析、資源設(shè)計(jì)到測(cè)量驗(yàn)證貫穿始終的設(shè)計(jì)約束。早期漏掉的每一個(gè)假設(shè)都會(huì)在產(chǎn)線(xiàn)上以一次偶發(fā)抖動(dòng)、一次神秘重啟的方式加倍還回來(lái)。與其等到現(xiàn)場(chǎng)出問(wèn)題再翻波形不如在設(shè)計(jì)階段就把截止時(shí)間當(dāng)作一等公民認(rèn)認(rèn)真真地對(duì)待它。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天堂AV在线看| 99人妻碰碰久久久禁片| 亚洲小视频免费播放| 天天搞天天色综合| 婷婷性爱| 五月天综合色| 久久婷婷色色| 俺去也五月| 丁香激情五月综合网| 五月婷婷啪啪网| 色黄啪啪| 粉嫩av懂色av蜜臀av熟妇| 综合精品99| 青青草成人网| 色色五月婷婷久久| 婷婷五月天成人| 99热乎| 天天天干夜夜夜操| 色5月婷婷| 激情小说色五月| 久久狠狠色| 玖玖婷婷五月天| 色天堂A| 日本色五月| 色综合香蕉| 激情综合在线观看| 色婷丨日丨天丨综合久久| 国产精品第一国产精品| 久热这里只有精品视频免费观看| 91精品又长又大又粗又爽又猛| 第四色大香蕉| 人人舔人人色人人高潮| 色色五月天 亚洲| 久久99成人性爱高清视频| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 人人爽人人射-美女久久久久久久久久-成人AV| 偷拍五月丁香| 热久久视频99| 成人在线网| 99色精品| 九九热思思| 六月激情丁香一道本7777| 亚洲精品视频电影| 夜夜操夜夜姧| 久热 91| 亚洲午夜AV| 五月天色婷婷av| 丁香婷婷六月| 99自拍视频在线| 天天综合插插| 99精品人人| 九九热超碰| 色综合日日| 五月天婷婷AV| 疯狂做受XXXX高潮A片| 色五月第四色| 五月丁香六月婷婷综合在线| 亚洲欧洲小视频9| 婷婷五月av| 可以直接看的av网站| 婷五月天丁香婷五月| 人人爱操| 婷婷五月深深爱| 五月综合丁香婷婷| 亚洲偷| 色无码| 色之综合网| 伊人大香蕉毛片| 久热 91| 九九视频这里是精品五月| 五月丁香日逼| 人妻久久久| 97色色综合| 丁香婷婷五月综合影院| 久久综合最新网址| 99热这里| 色五月婷婷91| 天天干天天操| 777久久综合视频| 久久精品99国产精品日本| 天天爽夜夜爽| www.99热视频在线观看| aa久久| 婷婷香蕉精品| 丁香六月婷婷久久综合| 91精品婷婷国产综合久久| 激情综合丁| 色色五月婷婷| 亚州激情九月| 国产成人+综合亚洲+天堂| 97色操| 五月丁香久久丝袜啪啪| 五月天激情综合网站| 久久丁香九| 大香蕉综合| 欧美久久网| 999影院成人在线影院| 色色五月婷| 91日综合欧美| 九九久久偷拍| 丁香五月婷婷香| 丁香成人五月天| 色五月天电影| 欧美性色五月天| 久久视屏这里只有久久| 91人妻色色网| 婷婷视频网| 超碰国产AV| 日本婷婷激情四射中文字幕在线观看| 成人视频网| 色五月综合| 99热这里全都是精品| 婷婷五月开心中文字幕在线| 天天射射夜| 五月综合久久| 婷婷久久欧美| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 偷偷操99| 日韩色久| 99精品热视频| 色情综合| 亚洲人人96@| 五月婷色色| 九九热99视频在线| 97干欧美| 精品久久人妻热| 欧美色骚婷婷五月天 | 国产熟妇乱子伦hd| 免费91久久精品| 搡BBBB搡BBB搡18| 99色在线视频| AA片在线观看视频在线播放| 色综合99无码 | 99视频在线| 日本不卡中文字幕| 欧美性爱五月天| 丁香五月激情综合| www.亚洲激情.com| 色哟哟www| 五月丁香激| 色五月色图| 四虎成人精品永久免费AV九九| 色综合久久88色综合天天99| 一夜福利不卡| 大陆肏屄视频| 欧美日韩成人在线网站| 久久a热| 五月激情影院| 婷婷五月丁香综合桃花色网| 噜噜噜狠狠色综| 欧美日韩一a.无| 五月激情丁香久久综合网| 51精品国自产在线| 一区二区传媒视频| 亚洲五月天色| 99热在线免费| 九九精品热播| 欧美久久网| 伊人婷婷大香蕉| 玖玖国产视频一区| 色99色| 欧美精品A片一区在线观看| 91偷拍视频| 激情婷婷色小说| 国产一级黄色影片,| 99热丁香| 日韩色情亚洲五月天婷婷| 久久综合中文字幕| 人人操9| 五月激情网站| www色五月天| 91超碰在线播放| 色爱综合网| 欧美五月丁香| 人人爱天天摸摸天天爱| 久久综合影院| 七月丁香婷婷 色色| 91色吧网| 婷婷激情六月天视频| 九月影院義母在线播放| 久久33视频| 五月丁香大香蕉| 六月婷婷网站| www.久久爱| 国产av网| 风流少妇A片一区二区蜜桃| 一起草Av| www.婷婷五月.com| 精品久久99| 五月天婷婷久久视频| 99 热| 亚洲激情| 一级AV片| 久久人妻精品| 超碰在线精品| 婷婷五月天电影区小说区| 狠狠干婷婷| 97在线天堂| 久久久久人妻精品| 婷婷性爱网| 色偷偷狠狠| 97人人草| 欧美啪啪9| 久久九九激情五月天 | 青青热视频| 色婷婷色综合| 色五月,com| 直接看的AV| 这里只有精品在线视频在线观看| 五月激情婷婷色| 亚洲精品国产setv| 9精品视频在线| 色欧美一级| 91欧美| 亚洲丁香婷婷丁香五月天激情| 丁香五月婷婷丫| 久久久久久激情| 毛片九九九九九九| 人妻免费网站| 六月婷综合| 99热久| 久久久.COM| 九九精品视频在线观看| 亚州精品久久久久AV无码| 五月噜噜噜色综合| 超碰免费在线| 91色婷婷综合久久中文字幕二区| 91大神操美女| 免费97碰碰| 久久五月天激情婷婷| AV在线不卡播放| 五月天婷婷色| 一起草av| 欧美大片| 免费无码毛片一区二区A片| 亚洲综合99| 综激情网| 色婷婷色99国产综合精品| 99精品视频免费观看| 天天干天天射综合网| 五月激情另类| 开心久久爱五月天| 六月香五月婷| 日本成人噜噜噜噜噜| 婷婷色五月噜噜| 婷婷啪啪| 丁香色情五月天| 伊人网欧美在线男人天堂五月丁香| 九九精品综合| 欧美色图45678| 97人人做| 99热超碰| 激情网站综合五月天| 深爱五月婷婷开心中文字幕| 思思99精品视频在线观看| 欧洲99视频在线| 九九精品在线视频观看| 亚洲 25P| 色性日本| 婷婷开心激情| 九九热啪啪| 婷婷五月色综合| 91综合色| 思思热视频在线观看| 大香蕉啪啪网| 婷婷成人五月天| 五月丁香六月激情综合| 91精品久久久久久久久久| 97在线观视频免费观看| 五月丁香另类网| 色色色色色九九九九九| 激情五月天色婷婷综合| 大香蕉综合| 97人人干| 日日撸天天干| 久久免片| 色综合婷婷| 另类在线| 亚洲成人影视在线| 五月婷婷黄色毛片| 五月丁香婷婷色色| 天天干,噜噜色,狠狠色| 日韩十国产极品久久| 一本久道综合色婷婷五月| 人人摸人人搞| 久久停停超碰| 色噜噜狠狠色综无码久久合欧美| 婷婷在线日韩综合| 99WWW免费视频| 激情婷婷色色| 天天上天天爽| 79色色色色| 极品人妻VideOssS人妻| 久碰视频| 日本V在线观看不卡视频网站| ztEJj| 91精品丝袜久久久久久久久粉嫩| 婷婷的久久网站| WWW色五月天| www.五月天。com| 日韩精品二三区| 六月婷婷久久| 91操操| 国内精品99| 大香蕉75线| 久操大| 99久久a线观| www.俺去也com| 26uuu| 任你艹| 日本熟妇乱妇熟色A片蜜桃 | 婷婷中文字幕| 激情五月少妇| 色情五月婷婷| 激情综合五月丁香六月婷婷| 色婷婷久久久| 六月丁香好婷婷| 综合激情在线视频| 少妇水多A片太爽了| 精品9l九九九九九77777| 超碰在线观看9| 激情婷婷五月天伊人在线观看| 婷婷色五月综合| 婷婷中文在线| 五月天婷婷Av| 狠狠做五月| 激情五月www| 欧美精产国品一二三区| 婷婷五月丁香综合网| 日本WWW九九九| 久热2025无码| 人人色婷婷| 91色色色| 狼人婷婷久久| 五月综合六月婷婷| 超碰在线人妻| 久久五月天色婷婷| 丁香五月综合亚洲| 婷婷狠狠操| 天天操天天插天天射| 久操大香蕉| 天天色综合网吨吧| 久综合网| 狠狠爱婷婷| 五月天激情Av| www.婷婷| 97婷婷狠狠久久综合9色| 成人天天爽| 综合色色色| 五月天婷婷影院| 97操碰在线视频| 六月色狠狠色| 丁香五月天啪啪| 丁香97综合| 色婷婷内射| 亚洲五月天另类小说图片| 激情99| 久婷婷五月天影院| 色丁香五月天婷婷| 国产成人精品一区二三区熟女在线| 色一情一乱一乱91Av| 五月丁香六月婷婷中合网| 大香蕉久久婷婷| 丁香五月-激情综合| 五月天激情影院| 久久丁香久久| 色色三级视频| eeuus五月婷| 思思热在线| 激情五月黄色| 色综合xx| 五月综合激情网| www.91在线观看| 俺也去在线视频 | 成人免费在线电影| 亚洲视频1区| 丁香五月天av| 国产小精品| 在线另类| 日本三级韩三级99久久| wWW九九在线播放| 99热无码| 99热伊人综合| 淫水导航| 91919191919久久成人视频| 99五月丁香丁| 99热这里只| 中文字幕97超级碰| 五月婷婷日| 涩丁香91| 天天做天天爱天天玩夜夜爽| 秋霞AV吧| 99视频精品全部免费 在线| site:pnnrt.com| 久久色五月| 激情六月天婷婷| 色综久久久| 婷婷深爱五月亚洲综合| 亚洲情综合五月天| 极品人妻videosss人妻| 九九精品在线观看视频6| 福利视频在线播放| 少妇激情五月婷婷| 强壮的公次次弄得我高潮A片日本 | 超碰在线国产| 天天色亚洲| 色五月天堂| 99在线免费视频| 啪精品| 色色网站在线| 涩涩婷婷五月| 久久婷网| 亚洲第一成人无码A片| 久久精品系列| Www99热| 中文字幕激情综合| 免费婷婷| 丁香五月婷婷五月| 久久久er热| 九九在线视频| 久久99热精品a片在线观看| 9久久狠狠的| 26UUU亚洲欧美| 日韩av一区二区在线/日产精品久久久| 激情五月天开心网丁香无码| 成人做爰黄A片免费看直播室男男 久草热8精品视频在线观看 | 五月婷婷色| 91狠狠综合久久久久久| 丁香五月天啪啪| 好吊操这里只有精品| 桃色五月天| 天天综合干| 日韩黄在免| 五月婷婷激清网| 香港九九六区八区99| 婷婷丁香色情五月天| 亚洲视频另类| 色综合久久99色| 丁香六月婷婷综合| 国产99久久久国产精品免费看| 精品国产va久久久久久久| 嫩BBB搡BBBB榛BBBB| 亚洲人妻一区二区| 冬月かえでAV无码播放| 九月婷婷久久久| 五月久久五月激情| 大香蕉久久青青| 丁香六月亚洲综合| 射区导航| 激情婷婷五月天| 久久伊人日日夜夜| 日本欧美999久久久三级片| 99这里只有精品| 亚洲五月婷婷| 香蕉AV777XXX色综合一区| 亚洲综合色棒| 伊人网大香| www.五月天。com| 婷婷性爱五月天丁香网| 五月婷婷深深爱| 五月丁香六月激情综合网 | 六月丁香婷婷综合在线| 91精品久久久久久| 色色色色丁香| 五月婷婷色播| 亚洲爱爱无码婷婷色五月| 中文AV网站| 99视频网址| 天天做天天爱天天爽夜夜揉| 五月丁香六月综合图| 五月天天天天天天天天天天天婷婷婷| 综合亚洲五月天| 日碰日| 五月婷婷导航| 久久人妻爱爱| 国产精品视频网| 婷婷激情五月综合| 婷婷丁香五月天在线| 色婷婷a| 五月婷婷影院| 夜夜爱网站| 99热九九这里只有精品| 婷婷综合久久综合| 丁香五月婷婷在线| 久久婷婷综合五月趴| a九九热www| 99热这里只有精品9| 丁香六月婷婷综合在线| www.zbzhongsen.com| 五月丁香花成人社区| 久99在线视频| 日撸夜撸日操| 性一交一乱一交A片久久四色| 四川女人毛多水多A片| 日日夜夜干| 人妻videos人妻高清| 97热超碰| 国产精品久久久久久久久久| 婷婷的色色五月天| 亚洲热综合网在线观看| 成人网站在线观看视频| 成人精品网站在线观看| 亚洲综合五月天| 婷婷婷婷婷婷婷婷| 九九精品丁香花| 91久久1118| 色噜噜在线| 97干欧美| 天天综合网色欲香| 韩国真做片在线观看| 婷婷激情六月视频| 久久在线人妻| 六月婷婷俺也去| 91丁香| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 激情五月综合| 五月婷婷六月丁香综合在线| 五月丁香999| 午夜成人网站在线观看| 91综合网| 久久久一级AAA| 亚洲久久激情| 丁香五月欧美色综合| 米奇影视五月天| 亚洲视频a| 亚洲精品在线视频| 久热视频97AV在线观看| 怡红院AV亚洲一区二区三区H | 春色激情| 五月丁香狠狠爱| 在线另类视频| 五月天婷婷基地| 激情都市五月天| 五月丁香六月色婷婷综合五月天| 成人免费在线电影| 久久五月婷综合网| 欧美一级a | 99热在线爱| 久久se 综合网 | 五月天色丁香| 激情五月天综合网| 五月激情婷婷播播开心| 丁香婷婷色五月| 亚洲五月丁| 影音先锋色色色资源色资源色| 欧美久久网| 久久久久久久五月| www网站在线观看| 蜜桃婷婷丁香综合久久开心亚洲| 九九Av| 亚洲五月婷婷| 六月婷婷激情| 五月婷婷五月天| 五月丁香啪啪网| 婷婷激情社区| 99热6色| 99视频精品全部免费观看| 久久这有这里精品| 婷婷色色综合激情| 亚洲性爱干干| 777.色色| 欧美日韩成卜| 婷婷丁香91综合| 日本色色色色色色色色一色二色| 无码AV免费精品一区二区三区| 色五月综合| 婷婷狠狠操| 久久婷婷五月| 色色色成人网| 日本片日本片祼观看网站在线看中文版网页在线看 | 99操无码视频观看| www.婷婷五月天| 国产av影片| 免费亚洲成人电影AV| 综合久久六月| 五月丁香婷婷啪啪综合| www.婷婷.com| 综合大香蕉| 日本精品99| 影音先锋一区二区三区| 无码se| 99精品视频免费在线播放| 婷婷丁香69精华| 色视频2025| 日本激情ⅩXX免费视频| 激情婷婷人妻| 婷婷丁香五月欧美人| 五月丁香花开综合网| 丁香婷婷六月在线资源观看| 色婷五月天激情| 99re热视频这里只精品| 丁香五月婷婷基地| 婷婷91| 99热色精品| 国产乱子轮XXX农村| 欧美色五月天| 草五月| 99超级碰碰| 91爱操| 日本天天操| 欧美S码亚洲码精品M码| 丁香婷婷影院| 超碰在线观看成人视| Www99热| 日本一级黄色电影| 天天色天天爱天天舔| 丁香五月久久综合| 第四色五月天| www.久久久.com| 五月丁香五月婷婷| 五月天婷婷综合色| 五月婷婷草| 玖玖婷婷五月天| 这里只有精品99视频| 五月丁香婷婷婷婷综合网| 好激情在线综合网| 久久草中文日韩欧美| 九九色热| 亚洲精品第一国产综合亚AV | 色五月丁香婷婷| 欧美人与性动交CCOO| 亚洲精品第一国产综合亚AV | 蜜桃人妻无码AV天堂三区| 丁香婷婷激情网站| 91精品久久久久久久久 | OUMEIRIHANCHENGREN| 丁香五月日韩| 成人AV在线网站| 久久综合人妻| www.狠狠操| 99se丁香| 天天摸天天肏| 天天色天天舔天天爱天天爽| 91九色欧美| 婷婷五月天av| 中文在线视频久9| 大香蕉520| sewuyuetingtingiii| 综合网色| 欧洲第一久色| 五月婷婷中文字幕| 五月 婷 久| 啊v视频在线观看| 五月丁婷婷| 97五月久久丁香婷婷| 五月天激情国产综合婷婷婷 | 99在线观看| 亚洲综合欧美色丁香婷婷888月图片| 色综合久久天天综合网| 伊人狠狠综合| 996热| 天堂久久久久天堂网| 日本久热| 性日本精品| 久久精彩免费视频| 淫荡A片| 99色啊| 丁香婷婷五月综合| 任你躁XXXXX麻豆精品| www.91婷婷| 九九热短视频在线观看| 91九色首页| 禁片二区| 婷色成人| 色色色色五月天| 久久五月婷天天干| 五月天无码| 婷婷性爱五月天| 99国产精品白浆在线观看免费| 五月开心久久| www一区二区三区| 久久婷婷五月综合| 五月天综合久久丁香91| 婷婷五月天激情AV影院| 99在线精品视频| 九九99热| 思思国产99| 六月丁丁香| 色噜噜夜夜夜综合网| 婷婷色成人| 色综合99| 九九热九九| 日本色视| 日韩三十六页| 午夜 外网 精品 在线| 日本综合久久| 五月天成人在线播放| 国产99久| 久草五月天电影网| 日本色婷婷| 丁香婷婷九月| 亚洲中文乱字字幕在线永久| 色五月色综合| 五月天欧美 另类小说| 国产精品大香蕉| 六月丁香狠狠爱| 26uuu欧美宗合| 精品国产AV色一区二区深夜久久| 丁香五月婷婷久久综合激情网 | 色婷婷丁香五月| 亚洲五月婷婷| 97碰碰在线看视频免费| 91 九色 入口| 天天插AV丝袜中| 久久五月婷天天干| 丁香花五月天| 亚洲亚洲人成综合网络| 99色综合网| 九九操操| 久久多色| 99热在线观看精品| 97色在线观看视频| 美欧成人视频| 综合九九中文字幕| 激情综合网五月婷婷| 五月色亭丁香| 洗浴中心操B视频| 天天色中文字幕女优AV| 久久精品永久免费| 四季8848精品成人免费网站| 五月的丁香六月的婷婷| 青草青草视频2免费观看| 亚州激情网站无码| 99只有精品| 丁香五月婷婷亚洲色图| 色五月综合| 久久er这里只有精品| 亚洲六月婷婷| 婷婷欧美色| 激情五月色婷婷| 天天狠狠婷婷在线| www五月| 激情五月天婷婷免费观看| 狠狠插狠狠插| 欧美五月停| 五月丁香久久呀| 色香蕉婷婷| av性爱在线| 琪琪狠狠干| 天天狠狠干| 免费操超碰| www.色婷婷.com| 久久色五月天| 色婷五月| 狠狠色五月激情| 久久精品国产一区二区三区四区| 先锋资源996| 字幕网AV中文字幕| 丁香六月婷婷综合在线| 丁香五月WWW| 国产精品国产| 综合色99| 激情婷婷丁香| 日本不卡五月婷婷丁香| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看| 五月网在线| 99视频91| 婷婷五月综合在线| 99小精品| 五月婷婷伊| 夜夜干天天操| 色婷婷综合久久久久| 激情综合五月婷婷| 逼逼AV| 九月婷婷综合色干| 激情综合五月| 丁香色五月直播| 丰满人妻妇伦又伦精品国产| 女人天堂 AV| 91久久久久久久91| 天天色天天| www.久久66| 中文网婷婷字幕婷| 九九激情网| 无码G高清天| 久久日婷婷| 久久综合影院| 久久综合激情五月天| 91打屁股免费看| 激情www| 色婷婷久久综合| 色婷婷五月天| 五月婷婷中文字幕| 色欲丁香| 99热 精品在线| 天天摸天天做天天爱天天爽| 色9999日韩国产| 国产古装妇女野外A片| 九九性视频| 大香蕉网站,大香蕉综合| 色五月综合网| 色综合久久88色综合天天| 色五月婷婷操逼| 五月丁香综合| www色五月| 色啦啦视频| 日本欧美国产| 精品无码人妻一区| 一操久久| 欧美性做爰大片免费看办公室 | 91久久久久久| 亚洲人妻五月丁香婷婷| 日韩成人av在线| 岛国在线观看91| 婷婷午夜综合| 五月丁香婷婷综合激情基地| 97婷婷狠狠久久综合9色| 激情婷婷丁香| xxx.色婷婷| 丁香婷婷精品视频| 一起草aV| 99网| 色在线99| www,婷婷五月天777me,com| 色婷婷先锋| 色色三级视频| 久操热线| 色永久| 色综合色综合婷婷热| 五月丁香A∨在线| 超碰人妻在线| 天天爽天天| 99婷婷| 99网址在线观看| 久久久中文| 激情五月天无人视频在线| 久久这里只有精彩| 亚洲蜜乳AV| 国产AV国片偷人妻麻豆| 青青草tp| 99热这里只有精品最新网址| 婷婷亚洲五| 99.N在线视频| 最新无码专区| 色婷婷综合视频| 欧美这里只有精品| 色婷婷五月天激情综合| 亚洲九九夜夜| 欧美精品久| 国产黄大片在线观看画质优化| 久久99久久99精品免视看婷| 五月亚洲| 色综合久久88色综合中文字幕| 4399成人黄A片| 99热很操老逼| 国产乱子轮XXX农村| 99天堂网| 五月天成人在线视频网站| 天堂婷婷丁香六月网| 99啪啪| 99久精品视频| 色 噜噜 九月 婷婷| 人妻熟女一区二区AV| 五月天天天开心激情网| 色五月综合在线| 影音先锋天天日| 婷婷丁香精品视频在线观看| 99ER热精品视频| 操骚货在线| 亚洲无线视频| 蜜臀99精品| 337午夜福利| 亚洲开心激情网| 天天舔天天插天天爱| 99免费热视频在线| 99热99天堂| 亚洲欧洲美女在线观| 人妻体体内射精一区二区| 99免费在线| 大香蕉婷婷五月天| 91凹凸在线| 激情五月天影院| 婷婷干五月综合在线播放| www.五月婷婷久久.com| 热99热| 色五月xxx| 五月丁香久久| 五月天激情四射| 亚洲第一成人无码A片| 色婷亚洲五月丁香| 激情丁香久久| 在线超碰精品| 五月丁香婷婷激情爱爱| 超碰九热| 激情6月| 夜色热久| 久久久久久久久18久久| 伊人婷婷大香蕉在线| 校花娇喘呻吟校长陈若雪视频| 97久久视频| 久久激情五月| 六月婷婷综合| 亚州美女| 无码激情AAAAA片-区区| 香蕉AV777XXX色综合一区| 丰满少妇乱A片无码| 婷婷综合久久| 少妇高潮A片无套内谢麻豆传| 99热18| 国产av天堂| 国产偷人爽久久久久久老妇APP| 色婷五月天| 蜜桃五月天| 亚洲电影在线观看| 久久se 综合网 | 99精品在线观看视频| 人妻久热| 丁香色色网| 色色五月婷婷| 99久久久99久久91熟女| 色婷婷五月在线| 五月玖玖| 亚洲成人免费电影| 久久丁香五月天| 激情五月丁香五月| 亚洲亚洲人成综合网络 | 91久久九久久九久久九久久九久久| 久久久久婷| 久久五月网| www激情| 色婷婷丁香五月| 天天射网站| 色综合色香蕉网| 69人人操人人爽| 婷婷激情啪啪| 综合色图区| 蜜臀AV在线观看| AV色色天堂中文| 一区二区三区四区牛| 男人的天堂五月丁香| 91色色色| 天天草天天爱| 久久成人天| 天天做天天爱天天爽综合网| 久久总和99| 日本三级日本三级99| 亚洲V国产V欧美V久久久久久| 丁香五月婷中字在线| 婷婷久久女人| 9久热在线视频精品| 色婷婷丁香网| 人妻尝试久久久久久久久久久久| 五月天天天色| 久久九九爽| 最近中文字幕大全免费版在线| 婷婷大香焦| 高清国产AV| 99色热| 婷婷激情六月综合| 色五月婷婷五月天激情综合| 婷婷欧美综合| 26uuu欧美| 嫩草视频| 久月婷婷| 另类图片 五月激情| 五月天最新网| 五月天色社区| 九九XX视频| 日韩99视频| 色婷婷五月天激情久久| 婷婷五月天免费视频| 97AV在线视频| 丰满少妇乱A片无码| 欧美久人人| 久久只有这里精品免费| 婷婷爱五月天人人爱| 99热99极品观看| 国产精产国品一二三在观看| 伊人激情网| 婷婷伊人中文字幕| 色色亚卅| 久99视频在线观看| 久久综合久色欧美综合狠狠| 久久嘟嘟丁香| 六月欧美综合色情| 五月天婷婷综合免费| 人妻久久久久久| 香蕉99网| 国产精品久久99| 久久五月天激情| 精品久久艹| 大香久久综合网| 激情网第九色| 婷婷久久综合久色| a久久| 99啪视频在线观看| 天天舔夜夜操www com| 色日本五月天| 激情综合网激情五月天| 久久亚洲天堂| www.色窝| 久热中文字幕| 热热色色五月天婷婷| 久99久视频| 夜丁香五月婷婷| 国内外色色色色色成人视频| 丁香六月青青草| 性婷婷| 激情五月综合视频| 深爱激情综合| 三十熟女| 久久婷婷色| 丁香五月在线| 男妓跪趴把舌头伸进我的嘴巴| 色五月婷婷影院| 五月天在线视频尤物视频在线看| www久| 丁香六月色| 色婷婷丁香五月丁香| 午夜天堂啪啪| 午夜福利成人AV91| 五月丁香综合久久| 国产激情视频在线观看| 九九九九中文字幕| 婷婷激情蜜桃玖玖丁香| 亚洲中文字幕网| 婷婷激情四射五月天| 丁香花五月天| 五月色婷婷综合| 热99免费在线| 思思热精品在线观看| 久久精品99国产精品日本| 人人操97| 五月天开心婷婷激情网站| 国产成人综合亚洲| 激情丁香婷婷六月天| 123草逼网| a毛片二逼wwwwwwwwww| 另类小说五月天综合| 国产亚洲在线观看| www.99热在线| 欧美婷婷色五月| 国产伦亲子伦亲子视频观看 | 丁香涩涩五月天| 色婷婷六月| 成人丁香色| 99成人在线观看| www.夜夜爱.com| 婷婷免费无视频| 天天日天天爽| 天天插天天玩天天干| 操碰99| 91九色视频在线观看| 99在线小视频| 无语停婷丁香网| 精品久久久久久久久久久久人妻| 99爱在线视频| 精品久久二6| 激情综合色网| 久超超碰| 97欧美在线| 天堂网色色| 可以直接看的av| 99久久久精品| 丁香六月无码| 天天激情站| 九九热99精品在线| 欧美性生交XXXXX无码小说| 99在线观看视频免费| 色婷婷综合网| 色九区| 中文激情网| 超碰在线精品| 在线视频另类| 丁香五月激情啪| 五月丁香婷婷色色色| 91九色国产熟女| 中文字幕激情综合| 99色五月| 香蕉视频91| 五月婷婷久久大香蕉| 色女人久久| 色情五月天丁香社区| 久热91精品| 色碰干| 狠狠久久婷五月| 日本啪啪网| 九九热99视频| 99操久久| 丁香五月在线| 日日噜狠狠色综| 婷婷久久综合| 丁香五月婷婷色综合基地| 亚洲欧美在线观看| A A色色| 亚洲AV日韩在线观看| 99热在线观看亚洲区| 草久私拍| 日韩啊啊啊| 五月天天综合| 久久人操| 婷婷激情五月吧| 另类少妇人与禽zOZZ0性伦| 中文字幕丁香五月| 五月婷婷色在线| 丁香五月在线看| 人妻激情网| 色色五月天婷婷丁香| 激情小说五月天| 六月丁香婷婷尤物| 任你弄在线视频免费| 激情五月,婷婷五月,丁香五月| 久久婷婷六月综合综合| 五月天伊人久久久久| 亚洲精品国产成人AV在线| 九月丁香婷婷| 色婷婷六月激情| 秋霞AV吧| 婷婷丁香五月色| 亚洲午夜视频| 无码99| 天天射射夜| 另类国产欧美视频| 丁香 久久| 操91| 成人无码髙潮喷水A片| 天天综合网网欲色| 超碰国产AV| 成人丁香五月天| 五月丁香六月婷婷不卡免费无码| 国产jd1024基地手机看国产| 人人爱摸视频| 色九网| 国产成人精品亚洲线观看| 亚洲va欧美va国产综合久久久| 91亚洲天堂| 激情五月综合| 成人网站免费sxj| 六月婷婷日| 成人婷99最新| 丁香五月日啪| 操操操91| 丁香六月久久| 色婷婷五月天激情综合| 黄页免费一级视频懂色| 亚洲综合久| 伊人婷婷激情| 久婷自拍视频| 久久久精品人妻| 色噜噜在线| 亚洲免费观看高清完整版AV线| 六月丁香网| 婷婷丁香色情五月天| 91尤物九色在线| 国产肥白大熟妇BBBB视频| 丁香五月六月综合激情| 五月婷五月婷伊人伊人五月婷| 色无婷婷| AA久久| 夜夜天天天天天干天天爽| 欧美日韩成人高清在线| 久99热| 婷婷五月天综合在线 | 日日操无码| www.yw尤物| 天天操综合网站| 97久久视频| 九九九九热99超碰| 婷婷五月色情天| 热99精品视频| 久久久久9| 狠狠色噜噜狠狠狠狠狠色综合久久| 日日干天天射| 色婷婷激情视频| 亚洲操逼片| 67194中文在线| 色五月婷婷久久| 久久婷婷五月综合色和| 如何安全看伊人婷婷| 97se在线视频| 色婷网| 亚洲精品色| 婷婷在线午夜| 大香蕉久久久久| 91黄色五月天视频| 天天天干夜夜夜操| 色爱亚洲| www,欧美干干干干干干| 天堂久久婷婷| 97色射| 五月婷丁香| 播播网色播播| 丁香五月深爱五月婷婷| 色色爽爽天天| 精品婷婷丁香五| 婷婷五月天色色| 国产免费一区二区三区三州老师F1F1.CC | 国产精品人成A片一区二区| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 5月丁香六月婷婷| 欧美色色色色色色色色| 99久久9| 操日视频| 色婷婷五月天综合网| 丁香五月天激情网址| 久久9RE热视频精品98| XX色综合| 色综合色色| 色色亚洲| 色欲资源网| 丁香婷婷五月天亚洲| 久久婷婷内射| 六月丁香婷婷综合在线| 天天在线久久综合| 婷婷天堂站| 色婷在线视频| 日本久久九| 538在线精品| 婷婷五月天丁香| 久久99大全| 天天碰夜夜爽| 婷婷久久六月天| 五月丁香婷婷网网网网| 热久国产| 五月天大香蕉AV| 色欲久久99精品久久久久久| 99操| 婷婷色五月天在线| 激情五月丁香六月综合AVXXXX| 五月丁香基地| 丁香五月激情月| 成人va在线观看视频| 97在线视频人妻九色| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 激情九九这里只有精品| 女人天堂av| 99热久| 日本一级一片免费视频| 丁香久久九九99| 丁香亚洲色综合| 超碰成人黄色网| 免费无码毛片一区二区A片| 天天综合网站| 久热9| 亚韩在线视频| 新激情五月天天在线网| 激情综合色播| 99热国产在线| 五月婷婷婷婷婷婷艺术| 五月婷婷久久开心网| 久久五月视频| 五月丁香网视频| 久9视频| 久久99久久99精品免观看粉嫩| 色色色色区| 五月深情久久| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 欧美国产一区二区三区| 视色综合| 99er6热在线观看精品6| 青青草婷婷综合五月| 激情五月无码| 五月婷成人网| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 国产伦亲子伦亲子视频观看| 五月天激情影院| 亚洲综合九九| 婷婷五月天av| 91Chinese在线| 99久久99久久综合| 天天干,夜夜爽| 亚洲乱码日产精品BD| 国产精品VIDEOSSEX久久发布| 成人做爰A片免费看视频| 蜜桃五月天| 久久综合久色欧美综合狠狠|