1. 先搞清楚死鎖AXI總線不是數(shù)據(jù)庫(kù)也會(huì)卡死干驗(yàn)證或者做SoC集成的朋友應(yīng)該都經(jīng)歷過這種畫面仿真跑到某個(gè)點(diǎn)時(shí)鐘還在翻波形里的valid全部高懸ready全部紋絲不動(dòng)整條總線像被人按了暫停鍵。抓下來一看AWVALID、WVALID、AWREADY、WREADY這幾根信號(hào)排列組合出一個(gè)死局最常見的元兇之一就是AXI總線死鎖里的AW-W依賴。這篇文章就把這個(gè)場(chǎng)景掰開揉碎講清楚它怎么產(chǎn)生、怎么復(fù)現(xiàn)、怎么定位以及RTL里怎么防、驗(yàn)證里怎么查。AXI總線死鎖聽起來像是個(gè)“協(xié)議小概率事件”但只要系統(tǒng)里有多個(gè)Master、多個(gè)Outstanding事務(wù)、或者經(jīng)過一層帶內(nèi)部FIFO的橋接邏輯它就會(huì)從理論變成現(xiàn)實(shí)。最容易踩到的坑是大家把“AXI允許outstanding”理解成“隨便發(fā)多少個(gè)都不會(huì)卡”結(jié)果忽略了一個(gè)事實(shí)從設(shè)備和互連邏輯里的FIFO深度、地址槽數(shù)量、狀態(tài)機(jī)處理能力都是有限的。當(dāng)這些有限資源遇上AW通道和W通道之間的依賴死鎖的四個(gè)條件就湊齊了。1.1 死鎖四定律在AXI里長(zhǎng)什么樣死鎖不是數(shù)據(jù)庫(kù)和線程并發(fā)編程的專利。操作系統(tǒng)課上講的那四個(gè)必要條件放在AXI總線上照樣成立互斥、持有并等待、不可搶占、循環(huán)等待。在AXI場(chǎng)景里“資源”可以是一個(gè)地址槽、一條寫數(shù)據(jù)FIFO、一個(gè)內(nèi)部事務(wù)表項(xiàng)甚至是一段W通道的調(diào)度權(quán)。互斥的意思是這些資源同一時(shí)刻只能被一個(gè)事務(wù)占用持有并等待是一個(gè)Master已經(jīng)占住了AW地址槽但還在等W通道讓出不可搶占是AXI的valid/ready握手一旦沒有完成誰(shuí)也沒法強(qiáng)行把數(shù)據(jù)塞進(jìn)從設(shè)備循環(huán)等待就是A事務(wù)在等B事務(wù)占的資源B事務(wù)又在等A事務(wù)占的資源。只要這四個(gè)條件同時(shí)成立總線就必然變成一潭死水。很多工程師第一次接觸死鎖是在數(shù)據(jù)庫(kù)或者多線程編程里覺得鎖表、互斥量這些東西離硬件很遠(yuǎn)。其實(shí)從系統(tǒng)角度看去AXI總線上的死鎖和數(shù)據(jù)庫(kù)行鎖死鎖是同一套模型資源被多個(gè)請(qǐng)求方競(jìng)爭(zhēng)每個(gè)請(qǐng)求方都攥著自己已經(jīng)拿到的資源不肯放最后誰(shuí)也推進(jìn)不下去。理解了這層共性后面看波形和畫等待圖的時(shí)候就會(huì)順手很多。1.2 寫通道里的“AW-W依賴”到底指什么AXI寫操作有三條通道AW發(fā)地址W發(fā)數(shù)據(jù)B回響應(yīng)。從架構(gòu)上看這三條通道是獨(dú)立握手的所以Master可以先發(fā)AW再發(fā)W也可以在特定實(shí)現(xiàn)下把W數(shù)據(jù)和AW相對(duì)獨(dú)立地推進(jìn)。協(xié)議的靈活性給性能帶來了好處也給死鎖埋了引線。所謂AW-W依賴指的是寫地址通道是否能夠繼續(xù)推進(jìn)取決于寫數(shù)據(jù)通道上某個(gè)事務(wù)的數(shù)據(jù)是否已經(jīng)被接收。最常見的實(shí)現(xiàn)是從設(shè)備內(nèi)部只有一個(gè)寫事務(wù)地址槽或者一個(gè)事務(wù)表項(xiàng)AW進(jìn)來之后從設(shè)備把它記錄在案然后必須等對(duì)應(yīng)的W數(shù)據(jù)全部到齊內(nèi)部寫狀態(tài)機(jī)才能把這個(gè)事務(wù)清空空出來的地址槽才能接收下一個(gè)AW。換句話說AW通道能不能向前走本質(zhì)上被W通道的完成情況鎖住了。這種設(shè)計(jì)從單筆事務(wù)看沒什么問題先有地址再有數(shù)據(jù)順序合理。但一旦系統(tǒng)里有多個(gè)Master、多個(gè)Outstanding事務(wù)W通道又不是專門給同一筆事務(wù)服務(wù)的就可能出現(xiàn)“AW在等WW又在等另一個(gè)事務(wù)的AW”的閉環(huán)。這就是我們把這類死鎖統(tǒng)稱為AW-W依賴型死鎖的原因。2. AW-W依賴型死鎖的完整推演光說定義不夠直觀我直接搭一個(gè)最小復(fù)現(xiàn)模型。這個(gè)模型我至少在兩個(gè)真實(shí)項(xiàng)目里見過等價(jià)版本每次根因都一樣從設(shè)備把地址槽的釋放條件和W數(shù)據(jù)的接收綁死而W通道又被另一個(gè)Master的突發(fā)數(shù)據(jù)長(zhǎng)期占據(jù)。2.1 一個(gè)最小復(fù)現(xiàn)模型兩個(gè)Master、一個(gè)從設(shè)備、一個(gè)地址槽假設(shè)系統(tǒng)里有兩個(gè)MasterM0和M1它們都向同一個(gè)從設(shè)備S發(fā)寫事務(wù)。從設(shè)備S的寫通道內(nèi)部資源如下只有一個(gè)寫事務(wù)地址槽地址槽被占住后AWREADY不會(huì)再為新的AW拉高地址槽要等當(dāng)前事務(wù)的W數(shù)據(jù)被接收、內(nèi)部狀態(tài)機(jī)清空后才釋放W通道仲裁采用嚴(yán)格優(yōu)先級(jí)M1優(yōu)先級(jí)高于M0從設(shè)備內(nèi)的寫數(shù)據(jù)FIFO非常淺只能暫存少量數(shù)據(jù)且必須拿到對(duì)應(yīng)AW才能決定數(shù)據(jù)往哪個(gè)目標(biāo)去。第一眼看上去這不過是一個(gè)“outstanding能力為1”的從設(shè)備。問題是M0和M1并不知道這個(gè)限制它們都認(rèn)為AXI協(xié)議允許自己同時(shí)發(fā)多筆寫。于是總線就按照下面的節(jié)奏一步步走進(jìn)死鎖。2.2 一步一步進(jìn)入死鎖我用一個(gè)表格記錄這個(gè)死鎖過程的每一步方便你在調(diào)試時(shí)對(duì)著波形找步驟M0 行為M1 行為從設(shè)備/互連狀態(tài)1發(fā)出AW0握手成功還沒動(dòng)作地址槽被AW0占用等待W02準(zhǔn)備好W0等待W通道授權(quán)發(fā)出AW1但AWREADY拉低AW1停在總線上地址槽不釋放AW1無法進(jìn)入3W0一直等W通道W1突發(fā)被W通道仲裁選中開始傳輸W通道被W1占用從設(shè)備數(shù)據(jù)FIFO開始接收W14W0繼續(xù)等W1繼續(xù)傳直到從設(shè)備數(shù)據(jù)FIFO寫滿數(shù)據(jù)FIFO滿WREADY拉低W1也無法前進(jìn)5等WREADY變高等從設(shè)備消費(fèi)W1而消費(fèi)W1需要AW1從設(shè)備等W0完成釋放地址槽W0又被W通道擋住走到第5步總線實(shí)際上已經(jīng)凍住了。從表面上看起來每一方都在等一個(gè)“很正常”的條件但所有條件互相咬死誰(shuí)都不會(huì)先松手。2.3 循環(huán)等待的拆解把上面的等待關(guān)系畫成一張圖會(huì)更清楚M0.W0 -- 等待 W 通道 W 通道 -- 被 M1.W1 占用 M1.W1 -- 等待 從設(shè)備 WREADY 從設(shè)備 WREADY -- 等待 數(shù)據(jù) FIFO 空位 數(shù)據(jù) FIFO 空位 -- 等待 AW1 AW1 -- 等待 地址槽釋放 地址槽釋放 -- 等待 W0 完成這個(gè)依賴鏈正好是一個(gè)環(huán)W0等通道通道被W1占著W1又從設(shè)備數(shù)據(jù)FIFO滿被卡住數(shù)據(jù)FIFO要等AW1來消費(fèi)AW1要等地址槽釋放地址槽要等W0完成W0又回到了等待通道。這就是教科書意義上的循環(huán)等待只不過資源從數(shù)據(jù)庫(kù)鎖變成了AXI的通道和FIFO。同樣的道理也適用于另一個(gè)方向的依賴也就是W先到、從設(shè)備必須先等AW才能接收數(shù)據(jù)。如果AW通道因?yàn)閯e的事務(wù)的W卡住而W通道又在等AWREADY最后也會(huì)形成等價(jià)的死鎖環(huán)。所以說AW-W依賴不是單指某一種狀態(tài)機(jī)寫法而是指地址通道和數(shù)據(jù)通道之間互相鉗制的這一類問題。3. 實(shí)際調(diào)試中怎么把這種死鎖揪出來偉哥說得好遇到死鎖別慌先抓波形。AXI死鎖的特征其實(shí)非常明顯時(shí)鐘還在跑所有通道都處于valid和ready僵持的狀態(tài)而且這個(gè)狀態(tài)能持續(xù)幾百甚至幾千個(gè)周期不動(dòng)。只要看到這種情況十有八九是死鎖而不是單純性能問題。3.1 從波形里認(rèn)出“僵硬”的握手拿到波形后先把關(guān)鍵的寫通道信號(hào)拉出來AWVALID、AWREADY、WVALID、WREADY、BVALID、BREADY。一個(gè)典型的AW-W依賴死鎖快照長(zhǎng)這樣一個(gè)Master的AWVALID為1AWREADY為0它的AW已經(jīng)被從設(shè)備拒之門外很長(zhǎng)時(shí)間另一個(gè)Master的WVALID為1WREADY為0它的W數(shù)據(jù)被從設(shè)備的WREADY卡住再往前翻能看到最早一個(gè)AW已經(jīng)握手成功但對(duì)應(yīng)的W數(shù)據(jù)遲遲沒有完成所有Master的write outstanding計(jì)數(shù)都停在某個(gè)值既不變多也不變少。這種狀態(tài)和普通擁塞最大的區(qū)別是“完全沒有周期級(jí)的抖動(dòng)”。正常擁塞下即使整體吞吐低總會(huì)有某個(gè)通道偶爾握手成功而死鎖狀態(tài)下所有相關(guān)握手信號(hào)像焊死了一樣一個(gè)周期都不動(dòng)?？吹竭@種畫面基本就可以進(jìn)入根因定位了。3.2 畫一張等待圖別靠猜定位死鎖最忌諱上來就改代碼或者隨便調(diào)仲裁優(yōu)先級(jí)。正確做法是把當(dāng)前系統(tǒng)里所有寫事務(wù)的狀態(tài)列出來畫一張等待圖。具體操作分四步第一步列出每個(gè)Master當(dāng)前還沒收到B響應(yīng)的寫事務(wù)記錄每筆事務(wù)的AW是否已握手、W是否已開始、W是否已結(jié)束第二步去從設(shè)備側(cè)看內(nèi)部資源占用情況比如地址槽被哪個(gè)事務(wù)占著數(shù)據(jù)FIFO里存的是哪個(gè)事務(wù)的數(shù)據(jù)第三步看互連邏輯的仲裁狀態(tài)W通道當(dāng)前在服務(wù)哪個(gè)Master的哪筆事務(wù)第四步把這些信息整理成“誰(shuí)在等誰(shuí)”的依賴邊。等你把依賴圖畫完如果發(fā)現(xiàn)它能繞成一個(gè)環(huán)死鎖結(jié)論就成立了。這個(gè)方法看著笨但在復(fù)雜SoC里特別管用。很多死鎖問題看起來像“某個(gè)Master卡住了”其實(shí)問題根本不在那個(gè)Master身上而在另一個(gè)Master的W突發(fā)把整個(gè)通道占死了。3.3 數(shù)據(jù)庫(kù)死鎖、線程死鎖同樣的模型不同的馬甲AXI總線死鎖、數(shù)據(jù)庫(kù)死鎖、線程死鎖本質(zhì)上都是資源分配不當(dāng)導(dǎo)致的循環(huán)等待。我在調(diào)試AXI死鎖的時(shí)候經(jīng)常直接借用并發(fā)編程里的術(shù)語(yǔ)只不過把“鎖”換成“地址槽”和“W通道授權(quán)”。類型典型資源持有者等待對(duì)象常見解法數(shù)據(jù)庫(kù)死鎖行鎖、表鎖事務(wù)另一個(gè)事務(wù)持有的鎖鎖順序、超時(shí)回滾、死鎖檢測(cè)線程死鎖互斥量、條件變量線程另一個(gè)線程持有的鎖鎖順序、trylock、層級(jí)鎖AXI總線死鎖地址槽、數(shù)據(jù)FIFO、W通道授權(quán)Master/從設(shè)備狀態(tài)機(jī)另一個(gè)事務(wù)占用的通道資源限制outstanding、解耦A(yù)W/W釋放條件、公平仲裁這張表不是生搬硬套。數(shù)據(jù)庫(kù)里兩個(gè)事務(wù)互相等鎖和AXI里兩個(gè)Master互相等通道資源從檢測(cè)思路上完全一致找到環(huán)打破環(huán)。數(shù)據(jù)庫(kù)死鎖有超時(shí)回滾硬件死鎖沒有“回滾”這個(gè)選項(xiàng)一旦總線凍住整個(gè)系統(tǒng)只能復(fù)位重啟。所以硬件上更依賴在設(shè)計(jì)階段就把死鎖條件拆掉。4. 堵住AW-W依賴從協(xié)議、RTL到驗(yàn)證的完整打法知道了死鎖怎么形成預(yù)防思路就清晰了要么讓AW和W不互相等要么保證在資源有限的情況下不會(huì)形成循環(huán)等待。下面從不同層面講我實(shí)際用過的做法。4.1 協(xié)議與架構(gòu)層面的約束架構(gòu)上最容易犯的錯(cuò)誤是覺得AXI協(xié)議允許outstanding就無腦讓Master往死里發(fā)。實(shí)際做系統(tǒng)集成的時(shí)候一定要先確認(rèn)從設(shè)備和互連到底支持多少個(gè)outstanding寫事務(wù)。如果某個(gè)從設(shè)備的地址槽必須等W數(shù)據(jù)完成才能釋放那么這個(gè)從設(shè)備實(shí)際outstanding能力就是1所有OS看不到這一層的Master都會(huì)踩雷。我在項(xiàng)目里定過一個(gè)規(guī)矩凡是內(nèi)部有“AW接收依賴W完成”的模塊對(duì)外必須把這個(gè)限制暴露出來要么通過outstanding count配置限制主端要么在互連的QoS/調(diào)度層面保證前一筆W數(shù)據(jù)能優(yōu)先占用W通道。不能一邊只給一個(gè)地址槽一邊要求多個(gè)Master并發(fā)寫還指望不出事。另外還要注意W數(shù)據(jù)和AW的順序約束。如果從設(shè)備不支持W先到Master就不能把W數(shù)據(jù)提前推到通道上反之如果從設(shè)備必須先收AW再等W那么Master在發(fā)出AW之后必須保證W數(shù)據(jù)能很快跟上不能發(fā)出AW就晾在那里去等別的通道。很多死鎖其實(shí)是Master的調(diào)度器“只發(fā)AW不發(fā)W”造成的跟從設(shè)備關(guān)系不大。4.2 RTL設(shè)計(jì)里的關(guān)鍵取舍RTL設(shè)計(jì)上最直接的解耦辦法是把“地址槽釋放條件”從“W數(shù)據(jù)完全接收”改成“W數(shù)據(jù)已經(jīng)進(jìn)入一個(gè)足夠深的數(shù)據(jù)緩沖”。比如AXI-to-AHB橋里AW進(jìn)來后先把地址轉(zhuǎn)換成AHB總線事務(wù)W數(shù)據(jù)進(jìn)FIFO只要FIFO沒滿就允許下一個(gè)AW進(jìn)來。這樣AW通道的推進(jìn)不再被W通道的即時(shí)完成狀態(tài)綁死循環(huán)等待的一個(gè)關(guān)鍵邊就被切斷了。如果確實(shí)因?yàn)楹蠖舜鎯?chǔ)或數(shù)據(jù)通路限制必須等W數(shù)據(jù)到齊才能接受下一個(gè)AW那就要從資源數(shù)量下手。把地址槽深度從1加到2或者把寫數(shù)據(jù)FIFO加深到能容納一筆完整突發(fā)都能打破死鎖環(huán)。注意這里不是隨便加一個(gè)深度就完事而是要結(jié)合最長(zhǎng)突發(fā)長(zhǎng)度和outstanding事務(wù)數(shù)計(jì)算W數(shù)據(jù)緩沖深度至少應(yīng)該能容納可能被堵在中間的所有突發(fā)數(shù)據(jù)。仲裁器設(shè)計(jì)同樣重要。W通道仲裁如果采用嚴(yán)格優(yōu)先級(jí)高優(yōu)先級(jí)Master一直有數(shù)據(jù)低優(yōu)先級(jí)Master可能永遠(yuǎn)拿不到W通道就為循環(huán)等待創(chuàng)造了條件。至少要做到公平輪轉(zhuǎn)最好還能配合“等待超時(shí)提升優(yōu)先級(jí)”的機(jī)制。我在前面那個(gè)最小模型里特意設(shè)置了嚴(yán)格優(yōu)先級(jí)就是因?yàn)閷?shí)際項(xiàng)目里這種配置非常常見而且最容易出事。4.3 驗(yàn)證與斷言讓死鎖在回歸前現(xiàn)形驗(yàn)證層面除了跑隨機(jī)壓力用例一定要加liveness檢查。協(xié)議檢查通常只查handshake規(guī)則比如valid不能在沒有ready時(shí)亂拉低但這類檢查查不出“雙方都合法但誰(shuí)都不往前走”的死鎖。我常用的一個(gè)簡(jiǎn)單斷言是只要AW完成握手最終必須看到對(duì)應(yīng)的WLAST和B響應(yīng)。property p_write_txn_complete(slave_if s); (posedge s.aclk) disable iff (!s.aresetn) (s.awvalid s.awready) |- ##[1:$] (s.wvalid s.wready s.wlast); endproperty property p_write_response_after_wlast(slave_if s); (posedge s.aclk) disable iff (!s.aresetn) (s.wvalid s.wready s.wlast) |- ##[1:$] (s.bvalid s.bready); endproperty這種屬性只會(huì)在死鎖出現(xiàn)后超時(shí)觸發(fā)定位時(shí)作用有限但能在回歸階段第一時(shí)間把問題炸出來。除了斷言還可以在testbench里加一個(gè)deadlock watchdog設(shè)定一個(gè)最大等待周期數(shù)某個(gè)通道的握手如果超過該周期數(shù)還沒有完成就dump當(dāng)前所有Master和從設(shè)備的狀態(tài)到日志并打印等待圖。實(shí)測(cè)下來這種監(jiān)視器比事后拿waveform翻幾百周期要快得多。5. 復(fù)盤一次真實(shí)的AXI寫通道死鎖講完方法論分享一個(gè)我印象很深的案例。這個(gè)案例不是虛構(gòu)是在一個(gè)帶CPU和DMA的子系統(tǒng)驗(yàn)證里遇到的現(xiàn)象、定位和修復(fù)都非常典型。5.1 現(xiàn)場(chǎng)現(xiàn)象與第一印象當(dāng)時(shí)測(cè)的是一個(gè)SoC子系統(tǒng)CPU核和DMA會(huì)同時(shí)訪問掛在AXI-to-APB橋后面的外設(shè)寄存器區(qū)。隨機(jī)壓力測(cè)試跑了幾千個(gè)事務(wù)后仿真永遠(yuǎn)停在同一個(gè)地方不是報(bào)錯(cuò)也不是超時(shí)就是整條總線卡死。第一眼看到波形時(shí)CPU側(cè)已經(jīng)發(fā)出了AW正在等W通道DMA側(cè)則在做一個(gè)大塊數(shù)據(jù)搬運(yùn)WVALID一直為高但WREADY長(zhǎng)期為低。橋接模塊內(nèi)部的地址FIFO顯示只有一項(xiàng)而且這項(xiàng)被CPU的AW占著。第一印象是“DMA把總線擠爆了”因?yàn)镈MA的數(shù)據(jù)量確實(shí)很大。但如果只是擁塞總線至少會(huì)在某些周期讓一個(gè)握手成功。實(shí)際情況是AWREADY和WREADY都紋絲不動(dòng)說明這不是性能問題而是死鎖。5.2 根因定位一個(gè)“看起來沒問題”的狀態(tài)機(jī)把等待圖畫出來后發(fā)現(xiàn)根因和模型里的場(chǎng)景幾乎一樣橋接模塊的狀態(tài)機(jī)為了省事設(shè)計(jì)成“收到AW幀后必須等當(dāng)前寫事務(wù)的W數(shù)據(jù)全部到達(dá)才允許接收下一個(gè)AW”。也就是說地址FIFO雖然只有一項(xiàng)但在這一項(xiàng)被占住后橋不會(huì)回收它除非W通道把數(shù)據(jù)送完。與此同時(shí)DMA的W突發(fā)被仲裁器判定為高優(yōu)先級(jí)持續(xù)占據(jù)W通道CPU的W0根本無法進(jìn)入。DMA的W數(shù)據(jù)不斷地往橋的數(shù)據(jù)FIFO里灌但橋的消費(fèi)邏輯又需要拿到DMA的AW1才能知道數(shù)據(jù)該寫到哪個(gè)外設(shè)地址而AW1被地址FIFO擋住。依賴環(huán)就此形成CPU等W通道W通道被DMA占住DMA等AW1AW1等地址FIFO釋放地址FIFO釋放又等CPU的W0完成。這里最坑的地方在于每一個(gè)模塊單獨(dú)看都“符合協(xié)議”橋的狀態(tài)機(jī)沒有違反AXI握手規(guī)則DMA也只是在發(fā)正常的寫突發(fā)仲裁器嚴(yán)格按優(yōu)先級(jí)調(diào)度也不違反AXI規(guī)范。但把它們組合在一起就湊齊了死鎖的全部條件。5.3 修復(fù)與回歸一行代碼的代價(jià)和兩個(gè)驗(yàn)證點(diǎn)修復(fù)方案不是把DMA優(yōu)先級(jí)調(diào)低也不是讓CPU多等一會(huì)而是直接把地址FIFO深度從1改成2同時(shí)把地址槽的釋放條件從“W數(shù)據(jù)全部接收”改成“W數(shù)據(jù)進(jìn)入數(shù)據(jù)FIFO即可”。改完之后即使CPU的W0還堵在路上DMA的AW1也能進(jìn)入地址FIFO橋的消費(fèi)邏輯拿到AW1后就能消費(fèi)DMA的W數(shù)據(jù)W通道一旦釋放CPU的W0自然跟著走了。代碼改動(dòng)其實(shí)很小但回歸驗(yàn)證需要補(bǔ)兩個(gè)點(diǎn)第一加一條斷言保證橋的地址FIFO只要還有空位AWREADY就必須在有限周期內(nèi)拉高第二隨機(jī)測(cè)試?yán)锇袰PU和DMA的寫優(yōu)先級(jí)、突發(fā)長(zhǎng)度、outstanding數(shù)量都設(shè)成不同組合連續(xù)跑了幾百個(gè)種子。修改后這些用例全部通過之后類似的死鎖沒再?gòu)?fù)現(xiàn)過。這個(gè)案例給我最大的教訓(xùn)是協(xié)議上“合法”不代表系統(tǒng)里“安全”AXI死鎖從來不是某一條通道自己的問題而是通道間依賴關(guān)系的問題。6. 常見問題速查表與最后幾點(diǎn)心得調(diào)試AXI死鎖是個(gè)熟練活很多問題看一眼現(xiàn)象就能猜到大概方向。這里整理了一張速查表也是我平時(shí)給人排查死鎖時(shí)的第一份checklist。現(xiàn)象可能原因排查方向AWVALID為1且長(zhǎng)時(shí)間不握手從設(shè)備地址槽滿或地址槽被某筆未完成事務(wù)占住查從設(shè)備內(nèi)部事務(wù)表項(xiàng)、地址FIFO占用WVALID為1且WREADY長(zhǎng)時(shí)間為0從設(shè)備數(shù)據(jù)FIFO滿或W通道被更高優(yōu)先級(jí)突發(fā)占用查數(shù)據(jù)FIFO深度、W通道仲裁狀態(tài)AW和W各卡在不同Master上基本就是AW-W依賴型循環(huán)等待畫等待圖找“AW等W、W等AW”的環(huán)改變一個(gè)Master優(yōu)先級(jí)后死鎖消失仲裁問題掩蓋了資源不足不要只調(diào)優(yōu)先級(jí)要查資源深度和釋放條件斷言只報(bào)超時(shí)不報(bào)位置Liveness檢查缺少狀態(tài)dump增加deadlock watchdog和等待圖打印6.1 最后幾點(diǎn)心得我在實(shí)際項(xiàng)目中處理完這類死鎖后最深的體會(huì)是AXI死鎖問題很難靠“看一眼代碼”發(fā)現(xiàn)因?yàn)樗l(fā)生在多個(gè)模塊的交互邊界上。習(xí)慣性做三件事能省很多時(shí)間一是所有寫通道都加liveness斷言不要只做handshake協(xié)議檢查二是設(shè)計(jì)評(píng)審時(shí)重點(diǎn)審“地址槽釋放條件”和“數(shù)據(jù)FIFO消費(fèi)條件”凡是兩者形成依賴的都要標(biāo)黃三是出現(xiàn)卡死先畫等待圖不要急著改仲裁優(yōu)先級(jí)優(yōu)先級(jí)很可能只是壓死駱駝的最后一根稻草。另一個(gè)小技巧是在testbench里專門做一個(gè)“事務(wù)超時(shí)監(jiān)控器”按Master分別統(tǒng)計(jì)所有outstanding寫事務(wù)的年齡。年齡超過閾值的Master把它當(dāng)前AW、W、B三個(gè)通道的狀態(tài)全部打印出來。這個(gè)監(jiān)視器寫起來不復(fù)雜但每次都能在死鎖產(chǎn)生后立刻給出第一手的現(xiàn)場(chǎng)證據(jù)比事后翻波形高效太多。最后想強(qiáng)調(diào)的是AW-W依賴不是某一種從設(shè)備實(shí)現(xiàn)獨(dú)有的bug它是通道獨(dú)立性帶來的固有風(fēng)險(xiǎn)。只要系統(tǒng)里存在多個(gè)Master、多筆outstanding寫事務(wù)、以及有限深度的內(nèi)部緩沖就有可能出現(xiàn)這種環(huán)。理解了模型之后再回去看那些“偶爾卡死但復(fù)現(xiàn)不出來”的老問題往往會(huì)有一種豁然開朗的感覺。