欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

嵌入式死鎖防治指南:從原理到建立完整防護(hù)體系

嵌入式死鎖防治指南:從原理到建立完整防護(hù)體系 2. 死鎖的本質(zhì)不是bug是資源分配的“死局”先想一個(gè)生活場(chǎng)景一條很窄的單行橋上兩輛車迎面相遇誰都不肯倒車結(jié)果誰都過不去。如果兩輛車一直僵持那這條橋就徹底廢了。操作系統(tǒng)里的死鎖Deadlock就是這個(gè)味道——一組進(jìn)程線程各自占著一些資源又在等對(duì)方手里的資源而且誰都不主動(dòng)放手結(jié)果所有進(jìn)程全部卡死系統(tǒng)調(diào)度再努力也白搭。在計(jì)算機(jī)四級(jí)嵌入式考綱里死鎖是操作系統(tǒng)原理的必考核心而且這塊內(nèi)容和實(shí)際嵌入式系統(tǒng)的穩(wěn)定性關(guān)系極大。你可以把它理解成“資源分配里的死局”每個(gè)進(jìn)程都像在飯桌上搶菜但每個(gè)人的筷子都被別人拿著大家大眼瞪小眼誰也沒法繼續(xù)吃。死鎖的本質(zhì)不是程序邏輯寫錯(cuò)了雖然邏輯設(shè)計(jì)不當(dāng)往往是誘因而是“資源分配策略”和“進(jìn)程推進(jìn)順序”共同作用下的系統(tǒng)性僵局。它不同于普通的程序崩潰——崩潰至少是“有個(gè)錯(cuò)誤被逮住了”而死鎖是“所有進(jìn)程看起來都活著但沒有任何一個(gè)能繼續(xù)推進(jìn)”。這就是為什么嵌入式系統(tǒng)里死鎖問題特別讓人頭疼現(xiàn)象不是立刻崩而是系統(tǒng)“慢慢咽氣”或者干脆在某次特定運(yùn)行條件下才暴露。2.1 四個(gè)必要條件缺一不可才算死鎖判斷一個(gè)系統(tǒng)是否可能發(fā)生死鎖先看四個(gè)必要條件。這四者在嵌入式考試?yán)飵缀跏潜乇晨键c(diǎn)而且它們之間是“同時(shí)滿足”的關(guān)系不是“或”。第一個(gè)條件互斥Mutual Exclusion資源同一時(shí)刻只能被一個(gè)進(jìn)程占用。比如一個(gè)串口、一塊共享內(nèi)存、一個(gè)硬件定時(shí)器這些資源天然具有互斥性。如果資源可以無限共享那根本不會(huì)因?yàn)椤罢加谩倍a(chǎn)生等待。第二個(gè)條件持有并等待Hold and Wait進(jìn)程已經(jīng)占著一些資源又在等待別的資源。這個(gè)過程不會(huì)主動(dòng)釋放已經(jīng)拿到手的資源。典型場(chǎng)景進(jìn)程A獲得打印機(jī)又去申請(qǐng)掃描儀進(jìn)程B獲得掃描儀又去申請(qǐng)打印機(jī)。雙方都“抱著自己的不放又惦記別人的”。第三個(gè)條件不可剝奪No Preemption進(jìn)程所占資源不能被系統(tǒng)強(qiáng)行搶走只能由持有者主動(dòng)釋放。注意嵌入式實(shí)時(shí)系統(tǒng)里有些資源其實(shí)是可以被剝奪的比如通過優(yōu)先級(jí)繼承或資源重置但如果所有資源都設(shè)計(jì)成不可剝奪死鎖風(fēng)險(xiǎn)就會(huì)上升。第四個(gè)條件循環(huán)等待Circular Wait存在一個(gè)進(jìn)程等待環(huán)路P1等P2的資源P2等P3的資源P3等P1的資源形成一個(gè)閉合環(huán)。這是死鎖最直觀的“形態(tài)特征”也是我們?cè)谙到y(tǒng)設(shè)計(jì)中最容易通過資源排序來破壞的一個(gè)條件。把這四個(gè)條件記成一句話互斥、持有等待、不可剝奪、循環(huán)等待。只要打破任意一個(gè)死鎖就不可能成立。備考時(shí)遇到判斷題或分析題第一件事就是拿這四個(gè)條件去套題干場(chǎng)景。2.2 一個(gè)最小死鎖示例拿串口和DMA通道說事嵌入式系統(tǒng)里最常見的死鎖場(chǎng)景之一就是多個(gè)任務(wù)搶共享外設(shè)資源。我寫一個(gè)極簡的偽代碼示例幫你直觀感受死鎖的誕生過程// 任務(wù)1先拿串口再拿DMA通道 void task1(void) { lock(serial_port); // 步驟1獲得串口 lock(dma_channel); // 步驟2等DMA通道此時(shí)可能被任務(wù)2占著 // 使用串口DMA傳輸數(shù)據(jù) unlock(dma_channel); unlock(serial_port); } // 任務(wù)2先拿DMA通道再拿串口 void task2(void) { lock(dma_channel); // 步驟1獲得DMA通道 lock(serial_port); // 步驟2等串口此時(shí)可能被任務(wù)1占著 // 使用DMA串口接收數(shù)據(jù) unlock(serial_port); unlock(dma_channel); }如果任務(wù)1執(zhí)行完lock(serial_port)后調(diào)度器切到任務(wù)2任務(wù)2執(zhí)行完lock(dma_channel)那循環(huán)等待就形成了任務(wù)1等待DMA通道任務(wù)2等待串口誰都不松手。這個(gè)例子在真實(shí)嵌入式系統(tǒng)中很常見——特別是用多個(gè)外設(shè)做數(shù)據(jù)采集與傳輸時(shí)資源申請(qǐng)順序不一致就會(huì)埋雷。提示判斷死鎖的關(guān)鍵并不是“兩個(gè)任務(wù)都在等”而是“等待是否形成了環(huán)”。如果任務(wù)2的執(zhí)行順序調(diào)整為“先拿串口再拿DMA通道”和任務(wù)1保持一致就不會(huì)有環(huán)也就不會(huì)死鎖。這里“資源順序”就是破局的第一把鑰匙。3. 死鎖的三種解法預(yù)防、避免、檢測(cè)恢復(fù)從系統(tǒng)工程角度看處理死鎖有三種思路它們的側(cè)重點(diǎn)完全不同。嵌入式考試?yán)锝?jīng)常會(huì)把這三種思路放在一起對(duì)比考察讓你判斷某個(gè)系統(tǒng)用了哪種策略。我用一張表格快速梳理一下策略類型核心思路優(yōu)點(diǎn)缺點(diǎn)典型應(yīng)用場(chǎng)景死鎖預(yù)防Prevention從源頭破壞四個(gè)必要條件之一簡單、確定性高資源利用率偏低小型嵌入式裸機(jī)系統(tǒng)死鎖避免Avoidance動(dòng)態(tài)判斷資源分配是否安全不安全就不分配資源利用率較高需要預(yù)知進(jìn)程最大需求實(shí)現(xiàn)復(fù)雜銀行家算法為代表的通用OS死鎖檢測(cè)與恢復(fù)Detection Recovery允許死鎖發(fā)生周期性檢測(cè)并解除不限制進(jìn)程行為檢測(cè)延遲、恢復(fù)代價(jià)高大型服務(wù)器、數(shù)據(jù)庫系統(tǒng)3.1 死鎖預(yù)防從設(shè)計(jì)上絕掉后路預(yù)防的核心思想特別簡單讓四個(gè)必要條件至少一個(gè)永遠(yuǎn)不成立。具體手法如下破壞互斥條件讓資源變成“可同時(shí)共享”。但嵌入式系統(tǒng)里串口、I2C總線、Flash寫入這類資源天生就是互斥的不可能讓兩個(gè)任務(wù)同時(shí)寫同一個(gè)串口所以這個(gè)條件實(shí)際上很難破壞。這也是為什么“破壞互斥”在實(shí)際系統(tǒng)中極少被采用——資源本身的物理屬性決定了它必須互斥。破壞持有并等待條件要求進(jìn)程在運(yùn)行前一次性申請(qǐng)所有需要的資源申請(qǐng)不到就一個(gè)都不拿。這種“全有或全無”的分配方式實(shí)現(xiàn)了“不允許邊持有邊等待”但從資源利用率角度看很浪費(fèi)——任務(wù)可能只需要5%的CPU時(shí)間卻要把所有相關(guān)資源都占滿。在資源緊張的嵌入式系統(tǒng)里這種方案往往不劃算。破壞不可剝奪條件允許系統(tǒng)強(qiáng)行收回資源。這個(gè)方案在嵌入式實(shí)時(shí)系統(tǒng)里是比較實(shí)用的——當(dāng)一個(gè)高優(yōu)先級(jí)任務(wù)需要的資源被低優(yōu)先級(jí)任務(wù)占著時(shí)RTOS可以通過優(yōu)先級(jí)繼承機(jī)制或資源重置來剝奪。但注意剝奪資源可能造成數(shù)據(jù)丟失或狀態(tài)不一致比如一個(gè)正在寫Flash的進(jìn)程被強(qiáng)行打斷Flash里的數(shù)據(jù)可能就廢了。所以“破壞不可剝奪”要謹(jǐn)慎用一般只適合可重置、損失可容忍的資源。破壞循環(huán)等待條件給所有資源編號(hào)要求所有任務(wù)必須按編號(hào)從小到大申請(qǐng)資源。這是嵌入式領(lǐng)域最常用也最有效的預(yù)防手段因?yàn)樗鼜倪壿嬌献尛h(huán)路永遠(yuǎn)無法形成。只要每個(gè)任務(wù)都遵循“先拿低編號(hào)資源再拿高編號(hào)資源”那所有等待方向都是一致的不可能出現(xiàn)“P1等P2P2又等P1”的循環(huán)。我對(duì)資源編號(hào)法的評(píng)價(jià)是它簡單、可操作性強(qiáng)、對(duì)系統(tǒng)性能影響小代價(jià)是編程時(shí)需要額外遵守一套申請(qǐng)順序規(guī)范。一個(gè)典型的做法是// 定義資源編號(hào) #define RES_LOCK_SERIAL 1 // 串口鎖 #define RES_LOCK_DMA 2 // DMA通道鎖 #define RES_LOCK_SPI 3 // SPI總線鎖 #define RES_LOCK_FLASH 4 // Flash寫鎖 // 所有任務(wù)只能按編號(hào)升序申請(qǐng)資源 // 例如先申請(qǐng)串口(1)再申請(qǐng)DMA(2)最后申請(qǐng)F(tuán)lash(4) void task_capture_and_store(void) { lock(RES_LOCK_SERIAL); lock(RES_LOCK_DMA); lock(RES_LOCK_FLASH); // 執(zhí)行采集存儲(chǔ) unlock(RES_LOCK_FLASH); unlock(RES_LOCK_DMA); unlock(RES_LOCK_SERIAL); }這套方式的本質(zhì)是“把并發(fā)問題轉(zhuǎn)化為順序問題”在工程上非常香。實(shí)際嵌入式開發(fā)里很多成熟的RTOS方案比如基于信號(hào)量或互斥鎖的資源管理都會(huì)建議開發(fā)者對(duì)共享資源做編號(hào)管理目的不是別的就是防止死鎖。3.2 死鎖避免銀行家算法與安全狀態(tài)死鎖避免的代表算法就是著名的銀行家算法Bankers Algorithm。它的思路有點(diǎn)像銀行貸款審批銀行在放貸前要確認(rèn)這筆錢貸出去后系統(tǒng)里還剩下足夠的錢能讓所有客戶最多完成他們的需求。如果可以就放貸如果不可以就拒絕免得客戶最后還不上錢把銀行拖垮。對(duì)應(yīng)到操作系統(tǒng)里資源就是“錢”進(jìn)程就是“客戶”。銀行家算法要求每個(gè)進(jìn)程提前聲明自己“最多需要多少資源”Max。系統(tǒng)手里有一個(gè)“剩余資源向量”Available。每次進(jìn)程申請(qǐng)資源時(shí)系統(tǒng)做一次安全性檢查假設(shè)把這筆資源分配給你剩下的資源能否讓所有進(jìn)程都走到終點(diǎn)。如果能當(dāng)前狀態(tài)就是“安全狀態(tài)”Safe State可以分配否則就拒絕分配讓進(jìn)程等。安全性檢查算法本身不難核心就是模擬推進(jìn)找“剩余資源能滿足其最大需求”的進(jìn)程讓它執(zhí)行完畢、釋放資源然后再找下一個(gè)直到所有進(jìn)程都能完成。如果存在一個(gè)完整的安全執(zhí)行序列就說明系統(tǒng)是安全的。但在嵌入式領(lǐng)域銀行家算法的應(yīng)用非常有限原因有三個(gè)難以預(yù)知每個(gè)任務(wù)的資源最大需求。嵌入式系統(tǒng)里很多任務(wù)是動(dòng)態(tài)創(chuàng)建、動(dòng)態(tài)申請(qǐng)資源的提前聲明Max值很麻煩。檢查算法本身有一定開銷在實(shí)時(shí)性要求高的系統(tǒng)中這個(gè)開銷不可忽視。嵌入式系統(tǒng)資源種類繁多每個(gè)任務(wù)可能要鎖串口、鎖I2C、鎖DMA、鎖Flash、鎖內(nèi)存池資源矩陣規(guī)模一大更新和檢查的成本就上去了。所以我個(gè)人建議考試要會(huì)用銀行家算法做題主要是安全序列推導(dǎo)但做嵌入式工程時(shí)優(yōu)先考慮資源編號(hào)法這類預(yù)防手段。銀行家算法更適合通用操作系統(tǒng)、數(shù)據(jù)庫這類資源種類少但并發(fā)度高的場(chǎng)景。3.3 死鎖檢測(cè)與恢復(fù)事后的“救火隊(duì)”檢測(cè)與恢復(fù)策略的思路是不預(yù)防、不避免讓死鎖發(fā)生然后事后發(fā)現(xiàn)并救回來。系統(tǒng)在運(yùn)行過程中周期性檢查“當(dāng)前資源分配圖”是否存在環(huán)路如果存在環(huán)路說明有死鎖就啟動(dòng)恢復(fù)機(jī)制。環(huán)路檢測(cè)的關(guān)鍵是維護(hù)一張“資源分配圖”Resource Allocation Graph圖中包含兩類節(jié)點(diǎn)進(jìn)程節(jié)點(diǎn)和資源節(jié)點(diǎn)。當(dāng)一個(gè)進(jìn)程申請(qǐng)一個(gè)資源時(shí)畫一條從進(jìn)程指向資源的“請(qǐng)求邊”當(dāng)一個(gè)進(jìn)程占有一個(gè)資源時(shí)畫一條從資源指向進(jìn)程的“分配邊”。如果圖中存在環(huán)就說明死鎖發(fā)生了?;謴?fù)手段一般有三種直接終止一個(gè)或多個(gè)進(jìn)程簡單粗暴終止哪個(gè)進(jìn)程需要權(quán)衡犧牲優(yōu)先級(jí)最低、工作量最少的那個(gè)通常是較好的選擇。資源搶占從某個(gè)進(jìn)程手里搶走資源分配給另一個(gè)進(jìn)程但被搶的進(jìn)程需要回滾到安全點(diǎn)。這在嵌入式場(chǎng)景里實(shí)現(xiàn)成本很高因?yàn)楹芏嗤庠O(shè)根本無法“回滾”。人工介入嵌入式系統(tǒng)出現(xiàn)死鎖時(shí)很多時(shí)候只能靠看門狗Watchdog復(fù)位系統(tǒng)。這也算是一種“恢復(fù)”——代價(jià)是整個(gè)系統(tǒng)重啟實(shí)時(shí)性任務(wù)全部被打斷。說實(shí)話在嵌入式領(lǐng)域檢測(cè)與恢復(fù)策略通常是最后的底線手段不是首選。真正靠譜的系統(tǒng)設(shè)計(jì)要在“資源申請(qǐng)順序”和“鎖粒度”上下功夫盡量做到“死鎖不發(fā)生”。4. 嵌入式RTOS里的經(jīng)典死鎖場(chǎng)景互斥鎖與優(yōu)先級(jí)反轉(zhuǎn)嵌入式系統(tǒng)里用的最多的是RTOS實(shí)時(shí)操作系統(tǒng)而RTOS里死鎖問題的呈現(xiàn)方式和通用OS還不太一樣額外疊加了一個(gè)“優(yōu)先級(jí)反轉(zhuǎn)”Priority Inversion的坑。這塊內(nèi)容考試?yán)锝?jīng)常和死鎖放一起考因?yàn)樗鼈z在癥狀上很像都是任務(wù)卡住不動(dòng)。但處理方式完全不同我在這里單獨(dú)拎出來講清楚。4.1 優(yōu)先級(jí)反轉(zhuǎn)癥狀像死鎖但解法完全不同先看一個(gè)經(jīng)典場(chǎng)景系統(tǒng)有三個(gè)任務(wù)優(yōu)先級(jí)從高到低分別是T1高、T2中、T3低。T3先運(yùn)行拿到了一把互斥鎖。T1就緒搶占CPU嘗試拿同一把鎖但鎖被T3占著T1阻塞等待。T2此時(shí)就緒它不搶鎖但它的優(yōu)先級(jí)比T3高于是T2搶占CPU運(yùn)行。T3被T2搶占了CPU但還抱著鎖不放。T1還在等鎖。T2一直運(yùn)行T3一直無法推進(jìn)鎖就一直無法釋放T1就一直卡死。從表面上看這就像死鎖高優(yōu)先級(jí)任務(wù)T1在等一個(gè)永遠(yuǎn)可能等不到的鎖。但嚴(yán)格來說這不是死鎖——因?yàn)檫@里沒有“循環(huán)等待”T3并沒有在等T1的資源它只是被T2搶占導(dǎo)致無法釋放鎖。這是一種“優(yōu)先級(jí)反轉(zhuǎn)”問題。解決優(yōu)先級(jí)反轉(zhuǎn)的標(biāo)準(zhǔn)手段是優(yōu)先級(jí)繼承Priority Inheritance和優(yōu)先級(jí)天花板Priority Ceiling優(yōu)先級(jí)繼承當(dāng)高優(yōu)先級(jí)任務(wù)T1等待低優(yōu)先級(jí)任務(wù)T3持有的鎖時(shí)把T3的優(yōu)先級(jí)臨時(shí)提升到T1的級(jí)別讓T3盡快運(yùn)行、盡快釋放鎖。優(yōu)先級(jí)天花板給每把鎖設(shè)定一個(gè)“天花板優(yōu)先級(jí)”等于所有可能使用該鎖的任務(wù)的最高優(yōu)先級(jí)。任何任務(wù)拿到鎖時(shí)它的優(yōu)先級(jí)自動(dòng)升到天花板級(jí)別。這兩個(gè)機(jī)制能有效避免“中等優(yōu)先級(jí)任務(wù)長期搶占導(dǎo)致高優(yōu)先級(jí)任務(wù)餓死”的惡性現(xiàn)象。需要注意的是優(yōu)先級(jí)繼承解決的是“反轉(zhuǎn)”問題而不是死鎖。如果你的系統(tǒng)同時(shí)存在優(yōu)先級(jí)反轉(zhuǎn)和資源申請(qǐng)順序不一致那就要雙管齊下一邊用優(yōu)先級(jí)繼承/天花板一邊用資源編號(hào)法。注意考試?yán)锝?jīng)常有這種陷阱題——“系統(tǒng)中有多個(gè)任務(wù)互相等待對(duì)方持有的資源且形成了循環(huán)等待”問你這是什么問題。答案是死鎖。但如果題干改成“高優(yōu)先級(jí)任務(wù)等待低優(yōu)先級(jí)任務(wù)釋放鎖中等優(yōu)先級(jí)任務(wù)一直搶占CPU”那答案就是優(yōu)先級(jí)反轉(zhuǎn)。把這兩種現(xiàn)象的判定特征理清楚基本不會(huì)錯(cuò)。4.2 RTOS互斥鎖使用時(shí)的三個(gè)實(shí)操建議在實(shí)際嵌入式項(xiàng)目里互斥鎖Mutex的使用有幾個(gè)成熟經(jīng)驗(yàn)值得遵守建議一所有任務(wù)對(duì)同一組共享資源的加鎖順序必須一致。這是預(yù)防死鎖最核心的工程紀(jì)律。假設(shè)項(xiàng)目里有串口和Flash兩個(gè)共享資源那就規(guī)定所有任務(wù)只能“先鎖串口再鎖Flash”不允許出現(xiàn)“先Flash后串口”的寫法。代碼Review時(shí)要重點(diǎn)盯這一條。建議二鎖的持有時(shí)間盡量短。鎖的范圍越小、持有鎖的時(shí)間越短發(fā)生死鎖和性能瓶頸的概率就越低。一個(gè)常見的反面案例是有人在中斷處理里加鎖或者在長時(shí)間計(jì)算過程中一直持有鎖這些都會(huì)讓系統(tǒng)變得極其脆弱。中斷上下文里一般只做標(biāo)記或數(shù)據(jù)拷貝不要直接加鎖等待。建議三使用超時(shí)機(jī)制給鎖加上“護(hù)欄”。很多RTOS的互斥鎖API支持超時(shí)參數(shù)比如等待50ms、100ms等。給鎖等待加上超時(shí)后即使因?yàn)槟承┎豢深A(yù)知的原因真的發(fā)生了死鎖任務(wù)也不會(huì)無限期卡死而是會(huì)超時(shí)返回錯(cuò)誤碼這樣系統(tǒng)就有機(jī)會(huì)進(jìn)行恢復(fù)或上報(bào)異常。雖然超時(shí)機(jī)制并不能根除死鎖但它能把“死局”變成“可察覺、可恢復(fù)的異?!痹诠こ汤锾貏e實(shí)用。4.3 用信號(hào)量與互斥鎖的區(qū)別再看一遍死鎖嵌入式系統(tǒng)里還有一類并發(fā)原語叫信號(hào)量Semaphore。信號(hào)量分二值信號(hào)量和計(jì)數(shù)信號(hào)量兩種二值信號(hào)量和互斥鎖在用法上特別像但兩者有本質(zhì)區(qū)別互斥鎖Mutex有“所有權(quán)”概念誰加的鎖只能由誰釋放適合保護(hù)共享資源。信號(hào)量Semaphore沒有所有權(quán)概念一個(gè)任務(wù)釋放信號(hào)量另一個(gè)任務(wù)可以獲取信號(hào)量常用于任務(wù)間“事件通知”或“計(jì)數(shù)資源管理”。從死鎖風(fēng)險(xiǎn)看互斥鎖必須要關(guān)注“加鎖順序”否則死鎖概率很高信號(hào)量由于沒有所有權(quán)它更多用于“生產(chǎn)者-消費(fèi)者”模型死鎖風(fēng)險(xiǎn)相對(duì)低一些但依然存在比如兩個(gè)任務(wù)都等待對(duì)方發(fā)信號(hào)量就會(huì)形成“活鎖”式的僵局。我見過不少嵌入式開發(fā)新手在項(xiàng)目里不加區(qū)分地混用互斥鎖和信號(hào)量結(jié)果出現(xiàn)問題后很難排查。我的建議是保護(hù)共享資源優(yōu)先用互斥鎖任務(wù)間通信或事件通知優(yōu)先用信號(hào)量。這樣邏輯清晰出問題也好定位。5. 死鎖排查一個(gè)真實(shí)的嵌入式故障分析過程前面講了原理和預(yù)防手段但真實(shí)項(xiàng)目中死鎖問題往往不會(huì)在你寫完代碼的當(dāng)下就暴露出來。它通常是在某次壓力測(cè)試、某次極端時(shí)序下突然出現(xiàn)的。下面我分享一個(gè)模擬項(xiàng)目X中“系統(tǒng)間歇性卡死”的排查實(shí)錄幫你理解真實(shí)場(chǎng)景里的死鎖長什么樣。5.1 故障現(xiàn)象與初步判斷模擬項(xiàng)目X是一套基于某RTOS的嵌入式數(shù)據(jù)采集系統(tǒng)里面有4個(gè)主要任務(wù)采集任務(wù)C負(fù)責(zé)從傳感器讀取數(shù)據(jù)通過DMA搬運(yùn)到內(nèi)存然后通過串口發(fā)送。顯示任務(wù)D負(fù)責(zé)把采集到的數(shù)據(jù)在屏幕上刷新。存儲(chǔ)任務(wù)S負(fù)責(zé)把壓縮后的數(shù)據(jù)寫入外部Flash。通信任務(wù)N負(fù)責(zé)通過以太網(wǎng)口上報(bào)數(shù)據(jù)。某天測(cè)試時(shí)發(fā)現(xiàn)系統(tǒng)偶爾運(yùn)行十幾分鐘后所有任務(wù)全部停住串口不再輸出屏幕畫面定格看門狗沒有觸發(fā)板子“假死”。當(dāng)時(shí)第一反應(yīng)是“系統(tǒng)卡在死循環(huán)里了”。但用調(diào)試器掛上去一看發(fā)現(xiàn)各個(gè)任務(wù)都停在lock調(diào)用上CPU占用率卻不為零——這說明不是死循環(huán)而是多個(gè)任務(wù)在互相等待鎖。我立刻開始抓資源申請(qǐng)順序。通過調(diào)試器查看每個(gè)任務(wù)當(dāng)前持有的鎖和正在等待的鎖很快就還原出真實(shí)的死鎖鏈路任務(wù)C持有串口鎖正在等Flash寫鎖任務(wù)S持有Flash寫鎖正在等串口鎖。兩個(gè)任務(wù)互相等環(huán)形成了。這就是教科書級(jí)別的死鎖。5.2 根因分析為什么之前沒被發(fā)現(xiàn)問題根因是任務(wù)C和任務(wù)S的加鎖順序不一致。任務(wù)C的代碼路徑里是先鎖串口、再鎖Flash而任務(wù)S的代碼路徑里是先鎖Flash、再鎖串口。正常情況下兩個(gè)任務(wù)同時(shí)運(yùn)行且恰好“交錯(cuò)申請(qǐng)”的概率不高所以前期測(cè)試沒暴露。但在壓力測(cè)試中數(shù)據(jù)量增大任務(wù)C和任務(wù)S并發(fā)執(zhí)行的頻率大幅提升死鎖觸發(fā)概率就上來了。這也解釋了為什么死鎖問題最怕“偶現(xiàn)”——它和時(shí)間、負(fù)載強(qiáng)相關(guān)單次功能測(cè)試往往覆蓋不到。我們?cè)诖aReview階段沒有嚴(yán)格要求“全局統(tǒng)一資源編號(hào)”所以在設(shè)計(jì)階段就埋下了隱患。5.3 解決方案與經(jīng)驗(yàn)沉淀我當(dāng)時(shí)的修復(fù)方案很簡單但很有效給共享資源定義全局編號(hào)規(guī)定任務(wù)C和任務(wù)S都必須按“串口鎖 - Flash寫鎖”的順序申請(qǐng)。改完代碼后壓力測(cè)試連續(xù)跑48小時(shí)死鎖再?zèng)]復(fù)現(xiàn)。從這個(gè)案例里我總結(jié)出三條嵌入式死鎖排查經(jīng)驗(yàn)經(jīng)驗(yàn)一用調(diào)試器看任務(wù)棧和鎖狀態(tài)準(zhǔn)確定位環(huán)。不要靠猜。先在調(diào)試環(huán)境里掛到目標(biāo)板上查看每個(gè)任務(wù)的“持有鎖列表”和“等待鎖列表”還原出完整的資源申請(qǐng)圖。只要發(fā)現(xiàn)環(huán)就百分之百是死鎖。經(jīng)驗(yàn)二代碼Review階段就要檢查和統(tǒng)一加鎖順序。很多死鎖問題是“設(shè)計(jì)階段不統(tǒng)一、寫代碼時(shí)各寫各的”造成的。如果項(xiàng)目里有多個(gè)人并行開發(fā)一定要在資源鎖的使用規(guī)范上達(dá)成一致最好寫在編碼規(guī)范里。經(jīng)驗(yàn)三引入“鎖超時(shí)”作為源碼級(jí)保護(hù)。給所有l(wèi)ock調(diào)用加上超時(shí)參數(shù)一旦超時(shí)就記錄日志并嘗試恢復(fù)。這樣即使預(yù)防措施沒到位問題也能被快速定位不至于在現(xiàn)場(chǎng)“假死”時(shí)無從下手。另外補(bǔ)充一點(diǎn)在嵌入式系統(tǒng)里死鎖伴隨的常見癥狀往往是“任務(wù)無響應(yīng)、看門狗未觸發(fā)”。很多人看到這種現(xiàn)象會(huì)先懷疑中斷或任務(wù)優(yōu)先級(jí)配置但如果你能在調(diào)試器里看到多個(gè)任務(wù)卡在lock上那基本可以直接鎖定死鎖方向。6. 死鎖考點(diǎn)拆解與備考做題技巧最后這部分專門服務(wù)備考計(jì)算機(jī)四級(jí)嵌入式的同學(xué)。死鎖在考綱里屬于“操作系統(tǒng)原理”的難點(diǎn)模塊出題形式以選擇、判斷、簡答為主偶爾會(huì)有“安全性分析”類的大題。我結(jié)合真題風(fēng)格梳理了幾個(gè)高頻考點(diǎn)和做題技巧。6.1 高頻考點(diǎn)清單考點(diǎn)一死鎖的四個(gè)必要條件。題目通常是“以下哪個(gè)條件不是死鎖的必要條件”或者“下列哪種情況不屬于死鎖的四個(gè)必要條件之一”。這類題的干擾項(xiàng)很喜歡設(shè)置“饑餓”“活鎖”“優(yōu)先級(jí)反轉(zhuǎn)”等概念你需要把死鎖和這些相鄰概念嚴(yán)格區(qū)分開。考點(diǎn)二死鎖預(yù)防的四種方法。核心是每種方法破壞哪個(gè)條件。比如“資源一次性申請(qǐng)”對(duì)應(yīng)破壞“持有并等待”“資源編號(hào)排序法”對(duì)應(yīng)破壞“循環(huán)等待”“允許搶占”對(duì)應(yīng)破壞“不可剝奪”??键c(diǎn)三銀行家算法的安全序列推導(dǎo)。給你一張進(jìn)程-資源需求表讓你判斷系統(tǒng)是否安全以及求一個(gè)安全執(zhí)行序列。這類題目看起來復(fù)雜但只要有固定的解題套路模擬分配并反復(fù)掃描就能穩(wěn)定拿分??键c(diǎn)四資源分配圖與死鎖判斷。給一張資源分配圖問是否存在死鎖。判斷方法是找環(huán)資源分配圖里有環(huán)且有向環(huán)上每類資源數(shù)量都滿足“占滿”條件那死鎖成立。要注意的是一般圖論里有環(huán)還不一定死鎖比如資源數(shù)量大于1時(shí)環(huán)內(nèi)某個(gè)資源還有盈余要結(jié)合“資源實(shí)例數(shù)量”仔細(xì)看??键c(diǎn)五死鎖與饑餓、活鎖的區(qū)別。死鎖是“永久相互等待”饑餓是“進(jìn)程長期得不到資源但系統(tǒng)還在推進(jìn)”活鎖是“進(jìn)程狀態(tài)在變化但就是無法實(shí)現(xiàn)真正的推進(jìn)”。三者極易混淆做題時(shí)要把定義咬準(zhǔn)。6.2 銀行家算法做題步驟完整示例我用一個(gè)小數(shù)據(jù)量的例子演示一遍標(biāo)準(zhǔn)解法假設(shè)系統(tǒng)有3類資源A、B、C總量分別是10, 5, 7。當(dāng)前系統(tǒng)里有如下5個(gè)進(jìn)程它們的最大需求Max、已分配Allocation、剩余需求量Need如下進(jìn)程Max (A,B,C)Allocation (A,B,C)Need (A,B,C) Max - AllocationP0(7, 5, 3)(0, 1, 0)(7, 4, 3)P1(3, 2, 2)(2, 0, 0)(1, 2, 2)P2(9, 0, 2)(3, 0, 2)(6, 0, 0)P3(2, 2, 2)(2, 1, 1)(0, 1, 1)P4(4, 3, 3)(0, 0, 2)(4, 3, 1)當(dāng)前分配總量A類023207B類100102C類002125。 剩余資源向量Available 總資源量 - 當(dāng)前分配總量 (10-7, 5-2, 7-5) (3, 3, 2)。接下來找一個(gè)能“滿足Need且不超過Available”的進(jìn)程P0需要(7,4,3)Available是(3,3,2)不夠跳過。P1需要(1,2,2)Available是(3,3,2)夠。讓P1執(zhí)行完畢釋放它的Allocation2,0,0Available變?yōu)?32, 30, 20)(5,3,2)。繼續(xù)找P3需要(0,1,1)Available(5,3,2)夠。讓P3執(zhí)行完釋放(2,1,1)Available變?yōu)?7,4,3)。再找P4需要(4,3,1)Available(7,4,3)夠。讓P4執(zhí)行完釋放(0,0,2)Available變?yōu)?7,4,5)。再找P0需要(7,4,3)Available(7,4,5)夠。讓P0執(zhí)行完釋放Allocation(0,1,0)Available變?yōu)?7,5,5)。最后P2需要(6,0,0)Available(7,5,5)夠。全部進(jìn)程都能完成。安全序列之一是P1 - P3 - P4 - P0 - P2。做題時(shí)只要按這個(gè)流程走基本不會(huì)失分。關(guān)鍵點(diǎn)是每次模擬執(zhí)行完一個(gè)進(jìn)程后Available要加上它的Allocation然后再找下一個(gè)可以執(zhí)行的進(jìn)程。不要搞混“Need”和“Allocation”——釋放資源時(shí)釋放的是Allocation不是Need。6.3 考場(chǎng)上容易踩的三個(gè)坑坑一分不清“死鎖”和“不安全狀態(tài)”。不安全狀態(tài)是“可能發(fā)生死鎖”并不是“一定發(fā)生死鎖”。銀行家算法拒絕的資源請(qǐng)求會(huì)使系統(tǒng)進(jìn)入不安全狀態(tài)但拒絕它之后系統(tǒng)依然是安全的。做題時(shí)要注意安全狀態(tài)一定不會(huì)死鎖但不安全狀態(tài)不一定立刻死鎖。坑二把“循環(huán)等待”當(dāng)成死鎖的充分條件。資源分配圖里有環(huán)不一定死鎖例如環(huán)內(nèi)的某類資源還有空閑實(shí)例但四個(gè)必要條件全滿足時(shí)就一定死鎖??荚?yán)锵矚g用“有環(huán)死鎖”這種不嚴(yán)謹(jǐn)說法當(dāng)干擾項(xiàng)??尤梆囸I”和“死鎖”混為一談。饑餓的進(jìn)程并沒有形成循環(huán)等待只是某個(gè)進(jìn)程一直得不到資源。比如低優(yōu)先級(jí)任務(wù)長期被高優(yōu)先級(jí)任務(wù)搶占就是一種饑餓但它不是死鎖。判斷時(shí)先看“有沒有環(huán)”。7. 最后的實(shí)戰(zhàn)建議死鎖防治要在“設(shè)計(jì)階段”下手回頭看這篇文章你會(huì)發(fā)現(xiàn)死鎖問題的本質(zhì)在于“并發(fā)資源分配”這個(gè)系統(tǒng)設(shè)計(jì)問題而不是簡單的編碼錯(cuò)誤。它決定了你的系統(tǒng)在極端負(fù)載下是穩(wěn)定運(yùn)行還是突然假死。我個(gè)人在嵌入式項(xiàng)目里的體會(huì)是死鎖防治要前置到架構(gòu)設(shè)計(jì)階段而不是等出了問題再靠檢測(cè)和恢復(fù)兜底。具體來說可以在項(xiàng)目啟動(dòng)時(shí)就做這幾件事第一梳理所有共享資源和它們的使用者做一張“資源-任務(wù)矩陣”。哪個(gè)任務(wù)會(huì)用到哪些資源、什么順序申請(qǐng)全部畫出來。只要在矩陣?yán)锇l(fā)現(xiàn)“加鎖順序有交叉”的跡象立刻調(diào)整設(shè)計(jì)。第二寫編碼規(guī)范時(shí)明確資源申請(qǐng)順序和鎖使用邊界。特別是多人協(xié)作的項(xiàng)目如果每個(gè)人都有自己的加鎖習(xí)慣死鎖風(fēng)險(xiǎn)會(huì)成倍增加。規(guī)范里可以強(qiáng)制要求所有互斥鎖申請(qǐng)必須按資源編號(hào)升序進(jìn)行如果確實(shí)需要反序申請(qǐng)必須走評(píng)審流程。第三在系統(tǒng)聯(lián)調(diào)階段加入“鎖等待超時(shí)監(jiān)控”和“周期性狀態(tài)快照”。給每個(gè)任務(wù)增加一個(gè)“當(dāng)前等待鎖”的狀態(tài)變量在調(diào)試打印里定期輸出。一旦出現(xiàn)異常等待超過閾值日志里就能直接看到“哪個(gè)任務(wù)在等哪把鎖”排查效率會(huì)提升一個(gè)數(shù)量級(jí)。第四最后再分享一個(gè)小技巧如果實(shí)在沒辦法給所有鎖加超時(shí)那么在代碼里加一個(gè)“看門狗喂狗注釋約定”——凡是持有鎖超過約定時(shí)間的代碼路徑都要在注釋里寫明原因。這樣未來排查時(shí)可以直接通過日志和代碼注釋快速縮小范圍。死鎖防治不是一個(gè)高深的理論問題而是一個(gè)非常依賴工程紀(jì)律和前置設(shè)計(jì)的實(shí)踐問題。把這篇文章里提到的“四個(gè)必要條件”“資源編號(hào)法”“鎖超時(shí)”“調(diào)試定位”結(jié)合起來你的嵌入式系統(tǒng)就會(huì)穩(wěn)很多??荚噷用姘雁y行家算法的做題步驟練熟把死鎖與饑餓、優(yōu)先級(jí)反轉(zhuǎn)的區(qū)分邊界理清這塊分?jǐn)?shù)基本就能穩(wěn)拿。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天日天天插| www狠狠爱com| 欧美日比视频| 五月丁香六月香综合激情| 婷婷五月综合网激情| 久热久| 99视频久久免费视频| 丁香五月天堂网AV| 丁香五月天久久| 激情伊人| www热久久yy9| 五月草视频| 91丨九色丨东北熟女| 久久婷婷五月天丁香| 伊久久婷婷| 丁香五月性| 国产熟妇乱子伦hd| 色欲久久综合| 久久婷婷五月综合| 我去色色网五雨天| 天天做天天爱天天综合| 综合久久五月| 精品一二三区久久AAA片| 新激情五月开心五月婷婷五月丁香五月| 7777精品伊人久久久大香线蕉最新版| 五月天大香焦| 97超碰,人人舔,人人操,人人摸| 97性视频| 五月激情站| 日本精品。999| 大香蕉狠狠爱主页| 婷婷综合网性| 色婷婷AV在线| 色吊丝永久访问网址| 国产麻豆视频| 精品欧美性爱超级爽| 久久丁香五月婷婷| 91色婷婷综合久久中文字幕二区| 五夜丁香| 亚洲成人高清在线| 丁香六月狠狠干| 五月天激情网开心网| 99成人精品六| 狠狠人妻久久久久久综合丁香| 久久精品63| 国产色视频网站2| 婷色影院| 9l久久久视频| 五月天停婷基地| 色婷婷伊人激情在线观看| 这里只有精品在线视频精品| 伊人久久大香网| 1024AV视频| 99ER热精品视频| 婷婷狠狠操| 综合AV在线| XX久久| 99热精品在线| 黄色三级日本| 丁香五月偷拍| 免费看欧美成人A片无码| 亚洲成人五月天| 亚洲第一成人无码A片| 中文在线视频久1| 思思re视频在线| 五月色 亚洲| 九九国产精视频| 色五月婷婷av| 五月婷婷亚洲综合网| 丁香婷婷丁香五月欧美人| 激情q青青草在线婷婷| 国产亚洲99久久精品| 九九色之九九色之88| 色五月大| 毛片网站谁有| 日韩十国产极品久久| 亚洲精品性色| 五月丁香综合激情| 五月丁香六月激情| 九九色婷婷五月天| 91av视频在线观看最新网址| 午夜免费试看| 2020久久婷婷五月| 思思热高清在线观看| 91chinese 在线| www.99精品视频| 精品99视频| 香蕉久久国产av一区二区| 91九色熟女| 五月天激情四射| 日本99热| 天天精品视频在线观看视频| 射久久丁香五月| 五月天激情影院| 亚洲五月花| 国产成人网| 九九99久久精品| 丁香五月亚洲综合| www.99婷婷| WWW.天天日| 蜜乳.comcom| 婷婷综合激情五月综合| 久久婷婷五月综合激情国产 | 99,色| xx色综合| 色哟哟www| 中文字幕在线播放视频| 99热久| 激情综合五月激情17| 中文字幕婷婷在线| 91男同| 人人草人人爱| 久久久高清| 婷婷五月天首页激情| 久久九九国产| 天天干天天射综合网| 日韩aaaaa| 秋霞免费三级片| 蜜乳9188| 五月天精品综合| 亚洲激情.com| 五月花婷婷| 亚洲超碰青涩| 丁香九月综合| 激情五月天综合网| 婷婷丁香18| 人人综合久| 五月丁香啪啪拍| 激情五月天综合婷婷网| 五月婷激情| 69天堂99| 天天 日综合| 色 色 色综合com| 婷婷色中文字幕| 五月婷婷 激情按摩| 波多野结衣AV无码Porn| 99色一| 日本爆乳片手机在线播放| av九九| aaaa久久| tingting五月天亚洲| 日欧大屏操| 69精品人人人人| 停婷丁五月在线| 99网| 五月婷婷开心亚洲无| 天天做天天爱天天做| 狠狠干综合| 亚洲午夜一区二区| 激情五月天小说| 深爱五月婷婷| 亚洲五月天,激情视频| 噜噜五月天综合| 狠狠综合网| 免费看无码视频A级| 久久99热 这里有精品| 五月婷婷黄色| 色一情一乱一乱一区91| 亚洲秘 无码一区二区三区妃光/1| 操碰97| 婷婷99狠狠躁天天躁中| 婷婷五月综合社区| 色欲五月婷婷| 99热主页日本| 影音先锋一区二区三区| 婷婷伊人中文字幕| 日本色婷婷| 九九在线精点品| 99re资源在线视频导航| 日韩人妻操逼视频| 99热九九九九| 91婷婷五月天嫩女| 大香蕉欧美在线| 97五月天婷婷| 狠狠色婷婷丁香五月| 五月天自拍网| 丁香五月婷婷色综合| 国产精品美女久久久久AV超清| 九九久99免费视频| 日日杆天天| 丁J香六月首页| 激情五月图| 丁香色婷婷五月天| 五月丁香在线视频观看| 国产SUV精品一区二区6| 欧美综合激情五月| www,setingting| 五月天欧美激情| 久热在线中文字幕色999舞| 五月丁香视频在线观看| 国产操B| 开心激情站婷婷五月天| 五六月婷婷久久| 这里只有精品在线免费视频| 成人视频免费观看高清完整版在线观看| 激情五月天色爱| 亚洲久热| 五月丁香无码视频| 男人視頻站| 99国产小视频| 97色婷婷在线观看| 久久99网| 思思热久久婷婷五月天| 99精品97| 色色色999| 丁香五色月婷婷网| 亚洲性爱AV| 五月天精品视频| 日韩操啪| 综合亚洲色色| 免费91久久精品| 天天干天天爽天天操| 伊人丁香五月婷婷潮吹| 啪啪91| 久久久思思热| 丁香六月婷婷久久亚洲天堂| 久久综合激情| 婷婷五月天伦理| 波多婷婷久久| 99在线播放视频| 久久五月网| www.色综合| 色婷激情网| 国产精品黑丝| 国产67194| 五月婷婷五月天激情视频| 白人荫道BBWBBB大荫道| 天天做天天爱| 久久奄也去色色网站| 大香焦啪啪啪| 91viP在线看| 亚洲第一色色色| 九色综合网| 日本久久精品18| 激情六月五月婷婷综合网| 人人肏逼视频在线一区二区| 久99热| 手机激情网| 婷婷久久18| 婷婷色五月天在线观看| 亚洲热久久| www久久99| 少妇AB又爽又紧无码网站| 丁香六月久| 91精品婷婷国产综合久久| 五月亚洲激情| 久久婷婷丁香| 色综啪啪网| 久久人人超| 五月花婷婷最新| 日韩在线99| 性做久久久久久久免费看| 色色a| 婷婷五月天xxx| 免费啪啪啪网站| 五月天综合久久| 涩涩涩.com| 亚洲精品网址| 激情五月天婷婷播播久久综合91| 少妇人妻人伦A片| 五月天婷婷在看| 色九月欧美| WWW嗯嗯啊啊啊啊| 91久操| 桔色成人在线| 婷婷六月天亚州| 婷色五月| 亚洲AV中文在线| 五月婷婷激情在线| 在线中文AV| 五月婷婷激情综合网| 色婷婷狠狠| 激情五月激情综合网一级丸片 | 日韩情色在线观看| 色欲五月丁香| 色网五月婷婷| 国产肥白大熟妇BBBB视频| 婷婷五月激情网站| 97人人操在线| 国产在线黄色| www.99久| 欧美久久婷婷| 婷婷久久大香蕉| av第一二区| 国内9l视频自拍老熟女九色| 久久婷婷九月国产精品| 久久综合九色综合97婷婷| 精品久久艹| 激情AV在线| 色欲香综合网| 久久午夜理论| anquye五月| 五月丁香六月婷婷中合网| Av九九| 先锋资源婷婷| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 亚洲国产色婷婷| 久久久久久久久久久-久五月天婷婷| 99热官网| 中文字幕日产A片在线看| 99操逼| 久久色五月天| 国产在线中文字幕| 综合色五月| 久久激情五月婷婷| 97久久视频| 天天综合精品| 伊人玖玖婷婷| 日夜操B| 色丁香五月天| 激情五月综合| 99热国产这里只有| 内射丰满人妻| 丁香六月婷婷综合啪啪| 婷婷五月丁香色综合| 亚洲无码色| 欧美成人va| 99热亚洲| 天天色视频| 五月丁香激情综合| 激情5月婷婷| 丁香花综合永久入口| 亚洲精品无人区| 中文字幕成人网站| 久久综合综合综合| w婷婷五月婷婷w| 久99久视频| 久久婷婷视频| 久久婷婷五月激情网站| 99热这里只有精品66| 五月婷婷丁香| 久久丁香五月天| 大香蕉手机视频| 久久99热这里只频精品6学生| 思思久久99热只有频精品66| 丁香五月 性爱| 极品另类| 色丁香综合影院| 五月婷婷之激情五月| 有哪些A片网站| 激情婷婷六月天| 伦乱天堂| 琪琪色网在线| 五月天堂婷婷| 丁香深五月婷婷| www. 五月. com| 丁香婷婷六月天| 日韩欧美颜射| 伊人网色婷婷五月天| 5月丁香婷婷激情网| 五月丁香91| 99热综合| 久婷久婷| 婷婷在线五月天观看| 亚洲综合婷婷五月| 午夜成人AV在线| 大香蕉AV在线| 免费观看高清无码| 第2色五月婷| 久8色色| 人人操人人干AV| 人人爱操| 久9热视频在线观看| 九九家庭影院| 色无码| 26uuu精品一区二区| 色一色综合| 色一情一乱一乱91Av| 夜夜躁狠狠| 丁香五月五月婷婷| 国产精品涩涩涩视频网站| 狠狠综合区| 六月婷婷五月丁香首页| 色99色| 中字幕视频在线永久在线观看免费| 五月天丁香啪啪啪啪| 六月丁香啪啪| 99热免费| 五月丁香婷婷激情爱爱| 天堂爱爱| 五月天另类小说| 1024在线视频| 小视频一区| 99热日本| 秋霞AV美国| 精品九九视频| 婷婷丁香六月| 99久久久| 欧美影院| 久久一操| 五月激情婷婷女| 久久99网站| 色色色9| 亚洲中文字幕在线观看| 91久久婷婷| 五月丁香另类图片| 嘿嘿视频免费看9| 开心五月天私房婷婷| 欧美 日韩 成人| 中字幕视频在线永久在线观看免费 | 99热亚洲综合| 夜夜骑天天玩天天日| 天天操夜夜操| 婷婷99| 久久婷网| 狠狠久综合| 996热re视频精品视频这里| 91超级碰碰碰| 九九精品99| 99热这里只有精品9| 三日本无码| 五月丁香网中文字幕| 丁香六月婷婷综合| 久久五月视频| 中文字幕成人| 96人人操人人操人人| 香蕉综合在线| 五月综合丁香婷婷| 天天精品视频免费观看| www.91AV.com| 99综合| 久久综合香蕉国产国产蜜臀AV| 久久婷婷欧美| 99热个人在线| 色综色五月天婷婷| 97亚洲精品| 五月天俺去也| 九九精品综合| 五月天婷婷操逼视频| 婷五月天| 亚洲免费av在线| 99热综合色图| 色五月色五天色情网| 9精品在线| 国产成人综合在线| 久久久精品人妻| 亚洲欧美成人在线| 99久在线观看| 粉嫩av蜜桃av蜜臀av| 久99视频在线观看| 婷婷亚洲五| 色5月婷婷| 色青青五月| 嫩草AV久久伊人妇女超级A | 久久久www| 五月婷丁香| 日本一级一级一级一级| 色青五月天| 男女激情久久| 欧美色色色色色色| 久久精品性爱视频,| 国产伦亲子伦亲子视频观看| 狠婷婷五月| 98热精品| 五月丁香六月激情欧美综合| 五月花婷婷最新| 天天拍天天操| 丁香五月婷婷六月| 色色激情网| 九九免费视频| 开心五月综合| 日良久久| 香蕉婷婷五月| 免费不卡狠操美女视频网| 玖玖精品婷婷| AV美美午夜| 99九九精品视频推荐| 夜夜干天天操| 二人电影免费版在线观看| 俺也去色| 精品人妻一区二区| 久久婷婷成人视频| 午夜福利8055| 亚洲操逼网| 99r这里只有精品在线观看| 成人网站av免费网站推荐| 婷婷久久五月天| 色婷婷五月天激情综合| 99ri精品在线| 超碰在线观看三级片| 囯产精品久久欠久久久久久九大| 激情综合区| 99在线免费观看| 久热播这里只有精品| 夜夜大香蕉婷婷丁香| 欧美日韩99| 99精色| 日本一道久久| www.久久色.com| 色五月婷婷综合| 色综合久久久久久久久五月| 五月婷婷av| 欧美日韩成卜| 色五月av| 99.N在线视频| 69er小视频| 日韩大片艹艹| 色色婷婷综合| 色五月婷婷在线| 综合网视频| 深情六月婷婷综合久久| 玖玖五月丁香| 九九热免费视频| 中文AV在线观看| 极品人妻videosss人妻| 五月综合色| 99国产这里只有精品| 国产超碰在线| 五月天狠狠色| 97操碰日本女人| 思思热精品在线视频| 天天干狠狠| 91热er| 91久久电影| 日本久久色| 久久这里只精品| 思思99热| 狠狠色狠狠操| 日本社区五月天激情| 免费精品66| 超碰大香蕉网| 九九狠狠干| 97性高潮久久久| 六月成人网| 强伦轩人妻一区二区电影| 亚洲狠狠干| 亚洲九九99精品视频在线播放| 天天做天天爱天天爽夜夜揉| 五月丁香另类图片| 91人人网| 99九色视频在线观看| 婷婷五月色色| 婷婷综合在线播放| 99啪在线| www.99热这里精品 | 99ER热精品视频| 婷婷丁香五月综合| 高清无码入口| 九九精品自拍| 色域五月婷婷丁香| 久久婷.com| 丁香五月综合激情啪啪| 色色com| 欧洲亚洲精品| 婷婷五月天福利| 五月天婷婷久久视频| 婷婷五月欧美| 九九精品少妇| 五月综合丁| 色久99| 婷婷五月丁香综合瑟瑟| 9精品国产在热久久| 99热 日韩| 日本婷婷色| 国产精品久久久久久久久久免费 | 一片AV片免费播放| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 婷婷99狠狠| 婷婷激情网五月天| 97精品自拍| 五月婷婷爽爽爽| 婷婷五月天网| 久久色在线视频| 免费观看日韩成人av| 婷婷五月天天天| 婷婷五六月丁香| 99热无码精品| 五月天夜夜爱夜夜操| 五月天婷婷成人资源站| 婷婷中文字幕版| site:publishdd.com| 精品少妇蜜臀91| 人人干AV| 亚洲中文乱字字幕在线永久| 色五月综合在线| 久久综合激情| 香蕉婷婷五月| 日韩高清久久| 激情色中文| 伊人五月人妻精品| jiZZdr| 婷婷97碰碰| 婷婷九月久久| 人妻久久婷婷| 丁香五月另类小说在线阅读| 激情小说五月欧美亚洲丁香| 伊人婷婷大香蕉| 99热这里有精品| 高潮毛片又色又爽免费| 色综合久久8| 丁香九月综合在线| 久热这里只精品| 九九爱看亚洲| 久色资源| 婷婷五月天av| 亚洲在线播放| 五月丁香色色综合| 天天插天天操| 色色色热| 97干在线免费| 六月丁香深深爱综合网| 日日狠狠久久偷偷四色综合免费 | 91精品丝袜久久久久久| 久久久aaa| 丁香五月区| 婷婷在线操| 色五月欧美| 色婷婷香蕉| 天天网曰日曰夜夜综合永久免费| 色热久资源| 手机免费福利视频| 免费视频无码| 国产成人AV| 99人人操人人操人人精| hd五月婷婷在线| 99色精品| 大伊香蕉精品视频在线| 亚洲99在线| 亚洲成人电影aaaa| 丁香五月中文字幕| 色9999综合久久| 国产精品日日躁夜夜躁| 九九热精品6| 日日夜夜天天| 久久婷网| 色丁香六月| 99无码视频| 丁香五月综合久久综合| 五月天激情网页| 亚洲第一第二网站| 99手机在线精品视频| 国产精品国产VA片国产| 99在线精品视频| 成人资源在线| 天天干com| 欧美美女视频| 大香蕉五月天婷婷| 99re这里只有| 97干在线免费| 就99这里只有精品| 九九99在线免费在线观看视频| 91n网站cad入口在线观看| 色色成人網| 五月丁香婷婷婷激情爱爱| 玖玖婷婷色欲| 这里只有精品99www| 99re思思热久久| 色在线99| 这里只有精品无码| 国产伊人大香蕉| 伍月婷丁香花全集| 国产人妻777人伦精品HD| 婷婷激情综合| 中文字幕av在线| 久草五月天| 99热首页| se色综合网| 激情五月深爱婷婷| 99青青草99| 激情综合网亚洲色图| 99爱视频在线观看| 亚洲国产婷婷色五月| 九九这里是免费的视频5| 丁香香蕉婷婷| 停婷丁五月在线| 婷婷色基地在线看| 亚州日本欧州韩美高青高潮一| 九九热最新| 综合五月草| 欧美色五月| 夜夜爽天天| 伊人久久五月天| www.色综合.com| 夜夜资源站| 婷婷五月天堂| 色色亚洲视频| 欧美色骚婷婷五月天| 免费看欧美成人A片无码| 激情五月综合网| 99无码视频| 丁香婷婷五月天网站| 天天爽天天| 五月天天天操天天爽夜夜操| 成 人片 黄 色 大 片| 五月天自拍网| 婷婷日韩| 丁香六月无码| 欧美WW在线网| 成人短视频在线观看| 天天操天天爱天天日| 97色婷婷| 性色99| 婷婷六月丁综合| 色狠狠色综合| 色色婷婷丁香五月天| 五月丁香色婷婷久久| 久久伦乱| 天天做天天爽| 婷婷色成人| 在线观看亚洲AV| 欧美色婷婷| 五月婷婷黄色| 亚洲欧洲中文日韩久久AV乱码 | 色婷婷视频| 天天射影院| 嫩BBB槡BBBB搡BBBB视频| 人妻在线观看视频| 色欲久久久久| 久热人妻| 日本一級黃色一級片| 日韩在线婷婷五月天综合| 色吊丝中文字幕| 日韩在线视频中文字幕| 久久五月天合网| 久草免费福利视频| 中文字幕AV在线播放| 六月欧美综合色情| 2021日韩无码| 高清无码视频网址| 草做免费在线观看| 色999;丁香五月| 草了bav视频在线观看| 天天色视频| 婷婷五月天成人网| www.婷婷五月.com| 婷婷午夜天| 爱婷婷五月| www.99热在线观看| 国产乱子轮XXX农村| 婷婷五月天影视首页| 九九sese| 色播播婷婷| 国产做爰视频免费播放| 丁香婷婷视频| 婷婷五月天成人动漫 | 婷婷大美在线| 色九九九九| 熟妇人妻中文字幕无码老熟妇| 色婷五月天| 这里只有精品99视频| 欧美日韩成人在线免费| 无码AV免费精品一区二区三区 | 久热这里只有精品66| 97热久久| 色色网站毛片| 泰州成人视频| 99久久五月婷婷| 多精窝99在线视频| 亚州操操| 丁香av网| 久草热在线视频| 99热成人| 天天精品视频在线观看视频| 婷婷五月四狠狠| 在线观看亚洲AV| 97大香蕉五月天| 99热只有这里有精品| 五月天色综合服务平台| 九九99久久| 97碰碰电影| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 亚洲婷婷婷| 婷婷激情中文综合| 久久与婷婷| 99久免费视频| 五月综合激情网| 激情久久五月天| 五月婷婷av| 深爱激情av| 九九热10| 99综合熟女| 国产亚洲成人综合| 五月停停大香蕉| 亚洲六月色| 激情五月天影院| 婷婷色爱| 婷婷五月天天aV| 天天综合干| 99rewww| 色五月天影视| 国产成人网址| 久久精品99久久久久久| 2022人人操人人看| 色色五月天com| 亚洲色区17| 777影视理论片大全在线观看| 五月激情站| 四色永久成人网站| 综合色色婷婷| 五月丁香婷婷啪啪| 五月天婷婷色色| 国产亚洲精品久久一区二区三区| 草综合14| 人人摸人人| 丁香五月天资源网| nvrentiantang av| AV操操操| 激情第四色| 色色五月婷婷久久| 六月婷久久| 大香蕉九操| 大香蕉五月天婷婷| 26uuu在线观看| 欧美成人va| 99色色| 99久久66综合| 色99久草在线| 91九色最新视频| 婷婷丁香九色| 免费播放AV| www.无码com| 男人天堂99| 无码色色色色色| 九九色热| 综合亚洲五月天| 天天做天天爰天天爽天天无遮挡| 婷婷五月激情片| 婷婷十月丁香| 激情五月天视频| 91超碰在线观看| 日日干夜夜干| 91 九色大美女| 4399精品一区二区| 99亚洲视频| 久久九九99| 色五月婷婷少妇人妻| 呦呦AV| 影音先锋777xfplay色资源网站| 亚洲另类日本| 婷婷九月亚洲| 二色av| 久久看九九90| 少妇人妻人伦A片| 真实的国产乱XXXX在线91| 色婷婷性爱| 六月色色| www.热99热| www.色五月| 五月丁香六月在线| 亚洲精品国产A久久久久久| 殴美97色| 任你爽视频| 五月天全国最大成人网| 亚洲综合五月天婷婷| 91 九色 熟女| 在线视频区| 九九美女视频| 99er6免费视频热播| 天天射天天射一道本日本社区 | 狠狠操狠狠操AV| 激情五月成年| 伊人婷婷色| 99爱免费在线观看| 天天热夜夜操| 超碰免费人妻| 五月久久综合| 亚洲成人在线免费| 天堂爱爱| 婷婷播5月| 蜘蛛女免费观看完整版高清电影 | 色婷婷丁香| 伊人久久丁香狠狠婷婷综合香蕉| 视频在线免费观看欧洲乱码| 狠狠干婷婷| 99久久玖玖| 综合久久婷婷| 金品在线视频99| 丁香六月 人妻| 色欲影香| 蜜臀综合久草| 五月丁香久久精品在线观看| 五月丁香欧美综合| 成人精品在线观看| 97超级碰碰碰| 99.色| 亚洲情欲| WWW.桔色成人.COM| 五月丁香激情四射| 丁香六月无码| 九月丁香婷婷| 97资源欧美日韩大香蕉超碰一区| 日韩欧美骚货| 久热大香蕉| 色婷婷久久综| 天天干天天操天天上| 99在线精品观看99| 欧美激情-区二区三区| 91热er| 五月婷婷欧美| 丁香色五月AV在线| 久久婷婷婷婷伊人| 色色色综合色| 六月婷婷七月丁香| 丁香五月婷婷影院| 天天草天天爱| 五月丁香无码| 中文字幕第四色.999| 婷婷成人丁香色情基地30 | 开心五月深爱五月| 99热官网精品在线| 九六五月天婷婷| 能看的AV| 久久激情五月网| 久久五月综合| 爆乳熟妇一区二区三区四区| 99 频99热国里只有精品| 亚洲AV网站| 国产精品人妻在线网址| Www.狠狠| 九九色插| 五月天激情无码高清| 粉嫩AV久久一区二区三区| 久热九九| 欧美内射AA| 婷婷激情性爱| 九九re精品视频在线观看| 亚洲啪啪精品| 亚洲欧美999| BlACKEDRAW视频一区二区| 青青草a在线| 五月婷婷天堂| 三级毛片7979| 九九热免费| 91欧美日韩| 韩国三级五月天婷婷。| 色吧网91| 天天搞天天色综合| 一区二区无码视频| 狠狠操狠狠干综合| 玖玖综合色区在线观看| 26uuuuuuuu国产| 91九九九九九九| 色五月六月婷婷| 色五月婷婷在线观看第一页舔| 人妻肉射免费观看| 成人综合网站| 激情婷婷丁香色五月| www99精品日韩| 色A网| 蜜桃人妻无码AV天堂三区| 色色综合日韩| 国产,欧美,学生妹,视频| 色综合久久天天综合网| 国产精品久久久久9999小说| 九九热视频免费观看| 久久九九热38| 婷婷五月天高清无码| 久久码久久无清| 六月丁香久久| 99超级碰碰| 色综合九九| 美女天天久久| 国产在线激情视频| 亚洲aV写真天天综合网久久| Www.狠狠| 日韩性视频| 夜夜躁狠狠 | 五月开心网| 四月婷婷五月丁香| VA色婷婷| 亚洲五月六丁香激情| 99精品偷自拍| 激情五月丁香综合网站 | 色五月天 丁香| 九九综合| 五月间天堂综合| www.99婷婷| 超碰三级秋霞| 一本久久婷婷| 婷婷久月| AV在线免费播放| 色色色综合网| 天天色综合网吨吧| 色玖玖导航| 婷婷五月天成人网| 可以免费看AV网站| 激情综合色图| 日本欧美成人片AAAA| 狠狠狠狠免费| 日本情色一区二区| 玖玖在线视频| 婷婷涩涩网| 久久一级片| 日本99久久| 欧美英丁香开心快乐六月天网| AVV黄| 色婷视频| 五月激情综| 久久五月网| 六月婷婷毛片| 粉嫩av懂色av蜜臀av熟妇| 久久99久久99精品免观看粉| 日本熟妇乱妇熟色A片蜜桃| 五月天婷婷激情在线色图| 久久精彩综合视频| 久久久久九九九九视屏小说88| 99热偷拍| 深爱激情av| 五月天婷婷色色网| 国产SUV精品一区二区883| 五月欧美丁香在线观看| 啪啪综合| 在线超碰免费| 丁香婷婷啪啪| www、色色色| 天天色月| 中文字幕av亚洲| 国精产品一区一区三区免费视频| 成人五月天视频| 狠狠搞五月天| 婷婷五月丁香性爱| 日本99久久| 免费AV在线| 一本综合丁香日日狠狠色| 亚洲激情综合| 99热综合色图| 久久人人添人人爽添人人片αV| 色五月综合| 婷婷激情五月天小说校园| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 超碰在线资源| 国产精品久久久久久久久久| 色综合久久88色综合天天99| 热99热9| 丁香五月天欧洲在线| 情一色一乱一伦一91A| 九九九九精品精| 九九99在线免费在线观看视频| 99亚洲色色| 婷婷六月开心网| 婷婷精品视频| 中文字幕激情综合| 色域五月丁香| 久久人妻熟女一区二区| 婷色五月| www夜夜操com| 99精品久久久久久久婷婷久久| 五月婷婷六月丁香激情深爱| www久久久久久久| 日本不卡高字幕在线2019| 性综合网| 日韩黄色电影| 天天操天天曰| 久久思思热视频| 天天干,噜噜色,狠狠色| 秋霞三级色戒| 色婷婷综合久久久久| 99热第一页| 久久久色情| 操逼五月婷婷| 五月婷婷六月激情| 欧洲色色| 丁香婷婷影院| 这里只有精品视频在线看| 九九热思思热| 四色 爱 婷婷 精品 亚洲 五月天| 99re这里只有精品99| 综合色吧| 色五月大| 五月天婷婷涩涩| 丁香伊人五月色婷婷五十路| 欧美五月婷婷综合| 在线不卡AC| 久操乱| 久久久精品免费啪啪国| 婷婷激情五月呦呦| 黄色中文字目| 久久婷婷老| 91色综合网站在线| 成人五月丁香花| 97操女视频| 久久一操| 五月天丁香综合久久国产| 色五月婷婷综合在线| 色五月色五天色情网| 无码啪啪| 亭亭玉立国色天香| 第二色AⅤ| 五月综合亚洲| 色综色五月天婷婷| 婷婷激情五月色综合| www,天天干| 婷综合| av狠狠操| 国产一区二区三区影院| 99久久国产宗和精品1上映| 色播激情| 光棍影院日韩精品| 97性高潮久久久| 9精品视频在线| 亚洲AV网站| 婷婷五月丁香五月丁香| 丁香五月深爱五月婷婷| 婷婷丁香五月天欧美| 婷婷的五月天另类视频| 99精品爱| 婷婷久久色| 在线中文字幕视频| 婷婷五月成人| 亚洲成人日韩无码精品| 色噜久| 激情小说五月天社区丁香 | 丁香五月婷婷色综合| 996热re视频在线观看视频| 综合色网站| 久久久人妻久久久| 99热精品一区| 性爱视频99| 色爱综合网| 五月丁香婷婷成人网| 午夜福利成人AV91| 大香蕉手机视频| 激情五月婷婷啪啪| 色欧美影院| 超碰九色| 尤物一区二区| 人人综合91网| 任你日视频| 婷婷五月天影视网址| 丁香激情综合| 99热这里全是精品| 久久久久久久久久久-久五月天婷婷| 日韩成人综合| 高清成人综合| 人色五月天婷婷| 五月天婷婷7米| 天堂成人A片永久免费网站 | 能直接看的AV网站| 九九亚洲综合| 大香蕉久久综合网| 亚洲乱码在线观看| 99.色| 99熟女视频| 久久久久久久11111111111| 99热在线资源| 激情五月婷婷伊人| www.色九月| 欧美成人精品A片免费一区99| 色情婷婷久久五月天| 激情综合五月| 天天做天天爰天天爽天天无遮挡| 五月丁香五月婷婷在线观看| 九九99九九99九九99视频网| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 五月综合激情| 成年视频免费观看| 婷婷丁香六月五月天| 日婷婷久久开心| 99热精品在线播放| 丁香久久久| 99色视频在线观看| 激情综合网址| 另类图片五月激情| 五月婷婷中字在线| 夜夜骑天天操| 97超级碰人人| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 五月天婷婷激情春色小说| 丁香六月综合激情| 99综合成人视频在线观看 | 99精品热| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷五月丁香青青草在线| 超碰国产在线| 开心五月深爱婷婷| 亚洲妇女熟BBW| 一区二区成人电影| 丁香五月电影| 中国操逼99| 婷婷色女| 五月婷婷三级| 刘玥av在线| 色狠狠激情五月| 天天综合色| 婷婷人妻激情| 丁香五月婷婷乱| 搡BBBB搡BBB搡18 | 久久最新色色色| 婷婷五月天堂| 婷婷五月色情| 日日夜夜爽| 97在线99| 久久久er热| 亚洲热视频在线| 国产.亚洲.欧洲视频在线| 79精品视频| 亚洲激情四射色| 综合xx网| 日日干日日| 极品色丁香| 五月开心激情| -91九色大屁股| 99热这里都是精品| 成人在线日韩欧美| 日欧大屏操| 人操综合| 色99综合视频| 日B日潘金莲BB| www,色中色| 成人五月丁香花| 五月天婷婷丁香视频| 成人αV视频免费观看| 五月 丁香 欧美| 日韩av一区二区在线/日产精品久久久 | 五月丁香在线看| 婷婷丁香97| WWW免费视频碰碰碰碰| 色色色在线观看| 久久99看免费| 超碰免费大香蕉| 亚洲乱码在线观看| 超碰免费人妻| 97碰在线| 色婷婷99| 婷婷五月69| 五月丁香在线| 再次出发二| 亚洲婷婷性爱| 久8色色| www.爱婷婷.com| 99久久五月婷婷| 丁香婷婷色| 丁香色色网| 五月天伊人av| 国色天香成人网| 69er小视频| 中文字幕不卡网站| 激情www| 欧美色97| 日本色五月婷婷| 91九色无码日韩 | 丁香五月欧美婷婷| 激情综合五| av国产精品偷| www.zbzhongsen.com| 亚洲 精品 综合 精品| 五月婷婷色在线| 91精品久久久久久综合五月天| 丁香综合久久| 久久色天堂| 思思久久99热| AA片在线观看视频在线播放| 99热这里只有精品搜| 色婷av| 精品久热| 婷婷五月天首页| 超碰AV成人| 激情五月综合网| 五月丁香婷婷国产精品综合| 久久视9精| 噜噜色婷婷| 久久多色| 色五月综合网| 三级大香蕉网| 超碰成人av| 伊人五月天在线| 插插五月天| 色婷婷五月综合在线| 五月天婷婷基地| 国产精品日韩十五区| 三级毛片7979| 被强行糟蹋的女人A片| 色色色色五月| www.色综合| 婷婷五月激情欧美大胆视频| 欧美激情综合色综合啪啪五月|