SAD模板匹配：從算法到Verilog的實時目標跟蹤實戰(zhàn))
1. 從圖像數(shù)據(jù)流到目標坐標SAD算法的硬件友好性拆解做FPGA圖像處理這幾年我最大的體會是很多在軟件里隨手就能寫的算法搬到硬件上完全是另一回事。SAD模板匹配恰好是少有的天生適合FPGA的算法之一這也是為什么很多實時目標跟蹤項目的第一版原型都會選它。SADSum of Absolute Differences絕對差值和的原理簡單到一句話就能說清拿一個已知的目標模板在視頻幀的搜索區(qū)域內(nèi)逐個位置滑動計算模板與對應(yīng)圖像塊的像素差值絕對值之和和最小的位置就是目標最可能出現(xiàn)的地方。聽起來就是一個雙重循環(huán)加累加器的事在CPU上寫起來確實也就十幾行代碼。但放到實時視頻處理場景里事情就沒那么輕松了。以1080p60fps的輸入為例一幀圖像大約有200萬個像素留給每幀的處理時間只有16.7毫秒。如果搜索區(qū)域是100×100像素模板是32×32像素暴力遍歷需要計算的候選位置接近一萬個每個位置要做1024次減法、取絕對值和累加。這個計算量在通用處理器上做軟件優(yōu)化能跑到實時但CPU占用率基本就滿了。而在FPGA上SAD的計算結(jié)構(gòu)可以被完全并行化和流水線化同樣的工作量占用資源很少還能把整條圖像處理鏈路的時間壓到微秒級。不過這里要提醒一句SAD在FPGA上好實現(xiàn)不等于隨便寫寫就能跑。實際工程里最麻煩的往往不是算法本身而是數(shù)據(jù)怎么喂進來、結(jié)果怎么送出去、時序怎么收斂。所以這篇文章我會從算法公式出發(fā)一路講到具體的Verilog代碼結(jié)構(gòu)、乒乓緩存設(shè)計、時序約束技巧最后聊一聊實測性能和踩過的坑。先看SAD的數(shù)學(xué)表達。假設(shè)模板T的大小是M×N搜索圖像I中的候選塊與模板的SAD值為SAD(x, y) Σ(i0 to M-1) Σ(j0 to N-1) |I(xi, yj) - T(i, j)|其中(x, y)是候選塊左上角在搜索區(qū)域中的坐標。遍歷整個搜索區(qū)域后取SAD值最小的位置作為跟蹤結(jié)果。這個公式?jīng)]有任何復(fù)雜的非線性運算只有減法、絕對值、加法三種操作映射到FPGA上就是減法器、絕對值邏輯和加法樹。整個計算鏈路的延遲只有幾個時鐘周期吞吐量極高。1.1 為什么模板匹配在target跟蹤場景仍不過時現(xiàn)在深度學(xué)習(xí)目標檢測很火動不動就是YOLO、Transformer似乎傳統(tǒng)方法已經(jīng)被淘汰了。但實際做工程項目你會發(fā)現(xiàn)很多場景根本用不上那么重的方案。第一FPGA上跑神經(jīng)網(wǎng)絡(luò)推理尤其是視頻流實時處理資源開銷非常大。一個稍微像樣點的卷積網(wǎng)絡(luò)即使做了量化也要消耗大量的DSP和BRAM資源邏輯資源和功耗也跟著上去。而SAD模板匹配只用到加法器和比較器幾乎不碰DSP資源邏輯資源消耗也很小在入門級芯片上就能跑得很輕松。第二當目標是預(yù)先知道的小尺寸剛體比如零件、標記點、特定紋理區(qū)域模板匹配的精度和穩(wěn)定性完全夠用。目標跟蹤不等于一定要做語義級別的理解很多工業(yè)場景只需要知道目標在畫面里的像素坐標就夠了。第三模板匹配算法是確定性的行為完全可預(yù)測這對通過安全認證或功能驗證非常有幫助。而深度學(xué)習(xí)模型的行為很難做到逐幀可解釋。我做過一個高速運動目標跟蹤的Demo目標是一個快速移動的小球背景相對干凈。用SAD模板匹配在100MHz時鐘下處理720p視頻單幀匹配耗時不到1毫秒跟蹤穩(wěn)定沒有任何卡頓感。這要是用軟件跑單幀耗時至少翻十倍還得面臨操作系統(tǒng)調(diào)度帶來的延遲抖動。2. 硬件架構(gòu)設(shè)計從頂層框圖到數(shù)據(jù)通路FPGA工程和軟件工程最大的區(qū)別在于你得先把數(shù)據(jù)的流動路徑想清楚再談計算邏輯。SAD模板匹配的整體架構(gòu)我習(xí)慣這樣劃分圖像緩存與數(shù)據(jù)流控制模塊、SAD計算陣列并行比較器陣列、最小值和坐標提取模塊、以及輸出與顯示控制接口。每個模塊各司其職組合成一條完整的流水線。頂層數(shù)據(jù)通路的邏輯是這樣的視頻輸入可以是攝像頭接口也可以是測試用的測試圖案發(fā)生器先把像素數(shù)據(jù)寫入行緩存行緩存將數(shù)據(jù)組織成模板大小的圖像塊然后送入SAD計算單元。計算單元對搜索區(qū)域內(nèi)的所有候選位置并行計算SAD值或者按行流水計算得到一個SAD值序列送入最小SAD追蹤模塊。該模塊不斷比較當前SAD值和歷史最小值最終輸出最小SAD值對應(yīng)的坐標。2.1 搜索窗口的行緩存設(shè)計別小看這塊BufferSAD計算需要同時訪問模板和圖像中的鄰域像素。如果直接從外部存儲器讀取每個候選塊的像素訪問次數(shù)會爆炸。以32×32模板、100×100搜索區(qū)域為例暴力讀取的像素數(shù)大約是32×32×100×100 ≈ 1000萬次這在實時系統(tǒng)里是不可接受的。正確的做法是用行緩存Line Buffer在FPGA內(nèi)部構(gòu)建一個滑動窗口。經(jīng)典方案是利用FPGA內(nèi)部的BRAM實現(xiàn)N行緩存N等于模板高度比如32行每來一個新像素窗口整體右移一格當窗口到達行尾時換到下一行。這樣任意時刻窗口內(nèi)都保存了當前位置周圍32×32的圖像塊數(shù)據(jù)復(fù)用率接近100%。行緩存的實現(xiàn)有一些細節(jié)值得注意用移位寄存器還是用BRAM模板小的話比如8×8可以用移位寄存器實現(xiàn)延遲小、邏輯簡單模板大的話16×16以上建議用BRAM實現(xiàn)多行循環(huán)緩存節(jié)省寄存器資源。建議用兩級緩存第一級緩存原始圖像的行數(shù)據(jù)第二級緩存窗口內(nèi)的數(shù)據(jù)塊。這樣可以把圖像輸入速率和計算速率解耦。行緩存深度要留余量。如果圖像寬度是1920緩存深度至少是1920但實際工程中我習(xí)慣留到2048因為有些視頻源會有行消隱和同步信號控制邏輯更省心。實際代碼里行緩存的經(jīng)典寫法是用一個二維數(shù)組 寫指針循環(huán)覆蓋。以16行緩存、每行1280像素、8bit灰度為例reg [7:0] line_buffer [15:0][1279:0]; reg [9:0] write_addr; reg [3:0] write_line; always (posedge clk) begin if (data_valid) begin line_buffer[write_line][write_addr] pixel_in; if (write_addr 1279) begin write_addr 0; write_line write_line 1b1; end else begin write_addr write_addr 1b1; end end end這段代碼維護了16行、每行1280像素的滑動窗口。窗口的讀地址根據(jù)當前像素坐標動態(tài)生成取出的16×16數(shù)據(jù)塊直接對接后續(xù)的SAD計算陣列。2.2 SAD計算陣列并行度與資源的天平SAD計算陣列是整個設(shè)計的核心。一次完整的SAD計算要對模板和圖像塊的每一個像素做減法、取絕對值、累加。在FPGA上這個操作可以按像素級并行展開。以16×16模板為例理想情況下我可以生成256個減法器和256個絕對值電路然后通過一個加法樹把256個結(jié)果累加起來。這樣只用一個時鐘周期就能完成一個候選位置的SAD計算。但256路并行意味著大約256個DSP48E1或大量的LUT對資源緊張的芯片不現(xiàn)實。實際工程中需要在并行度和資源占用之間取平衡。我常用的設(shè)計是把一行的16個像素做并行計算然后按行累加16個像素并行做減法、絕對值、部分和消耗16個減法器和16個加法器每一行的部分和在一個時鐘周期內(nèi)完成16行的部分和再串行累加得到完整的SAD值。這樣只需要大約16路的并行計算資源代價是單個候選位置需要16個時鐘周期才能出結(jié)果。不過這個速度對大多數(shù)跟蹤場景已經(jīng)夠用了。下面給出16×16模板、行并行實現(xiàn)的核心Verilog框架// 假設(shè)win_data和template_data是16 bit位寬的16個像素 // 實際使用中應(yīng)展開為16路減法器 wire [8:0] diff [0:15]; wire [9:0] abs_diff [0:15]; genvar i; generate for (i 0; i 16; i i 1) begin: sad_cell assign diff[i] {1b0, win_data[i]} - {1b0, template_data[i]}; assign abs_diff[i] diff[i][8] ? (~diff[i] 1b1) : diff[i]; end endgenerate wire [13:0] row_partial_sum; assign row_partial_sum abs_diff[0] abs_diff[1] ... abs_diff[15];每一行得到一個14bit的部分和之后在16行的尺度上做累加。這個加法樹可以做成pipeline結(jié)構(gòu)每級插一拍寄存器避免組合邏輯過長導(dǎo)致時序不收斂。我實測過一個8×8模板、64路像素級并行加法樹的設(shè)計在Artix-7系列上跑到200MHz沒有任何問題。如果做16×16模板全并行256路頻率會降到150MHz左右但對720p視頻來說仍然綽綽有余。2.3 最小SAD追蹤比大小也有講究SAD計算陣列不斷產(chǎn)生候選位置的SAD值目標跟蹤需要從中選出最小的那個以及對應(yīng)的坐標。這個模塊看似簡單其實有一個容易忽略的性能瓶頸。如果你在每個時鐘周期都做一個當前SAD 歷史最小SAD的比較那整個比較鏈會變得很長。比較器是有延遲的尤其是當歷史最小值需要反饋到下一拍時組合邏輯回路很可能成為時序瓶頸。更好的做法是流水線化比較過程把SAD值和坐標寫進一個FIFO由專門的最小值搜索狀態(tài)機來處理。狀態(tài)機每次從FIFO取一個SAD值和當前最小值比較同時記錄坐標。FIFO可以平滑計算陣列的輸出節(jié)奏讓最小值搜索不阻塞SAD計算。另一個工程細節(jié)是不要只記最小SAD值還得把對應(yīng)的搜索位置坐標存下來。坐標需要跟著SAD值一起進FIFO或者通過一個與SAD計算陣列同步的計數(shù)器來生成。我習(xí)慣用后者搜索位置由行列計數(shù)器直接編碼當SAD值被判定為新的最小值時把當前計數(shù)器值鎖存到輸出寄存器。下面是這個核心比較邏輯的示意always (posedge clk or negedge rst_n) begin if (!rst_n) begin min_sad 16hFFFF; best_x 0; best_y 0; end else if (sad_valid) begin if (sad_value min_sad) begin min_sad sad_value; best_x curr_x; best_y curr_y; end end end注意一個坑如果搜索區(qū)域里有多個候選位置SAD值相同到底取哪一個這在模板匹配里是個真實存在的問題尤其當背景有大片平坦區(qū)域時。我的做法是取先出現(xiàn)的即只在嚴格小于時更新這樣實現(xiàn)最簡單行為也確定。如果你需要取中心位置之類的策略就得再加一個計數(shù)器記錄候選位置與搜索區(qū)域中心的距離并在SAD值相等時做二次比較。3. 模板更新機制與多目標擴展從Demo到工程化的距離能跑通單目標跟蹤只是第一步。真正落地的目標跟蹤系統(tǒng)幾乎都會遇到兩個問題目標外觀變化了怎么辦畫面里有多個目標怎么辦先說模板更新。固定模板在目標發(fā)生尺度變化、旋轉(zhuǎn)、光照變化時匹配效果會迅速惡化。比如跟蹤一輛正在轉(zhuǎn)彎的車模板還是直著時的正面照轉(zhuǎn)過30度角之后SAD值就會暴漲跟蹤框很容易飄走。最樸素也最有效的方案是每N幀用當前跟蹤結(jié)果區(qū)域的圖像更新模板。這樣做的好處是能持續(xù)跟隨目標外觀變化壞處是跟蹤錯誤一旦發(fā)生錯誤會被累積放大也就是所謂的模板漂移。為了解決漂移問題工程上常用的折中方案是保留初始模板第一幀手工框選或檢測得到的目標每次匹配時同時計算當前模板和初始模板的SAD當當前模板的SAD迅速變差時回退到初始模板重新匹配。這在FPGA上的實現(xiàn)成本很低只需要雙端口RAM存兩份模板比較邏輯稍作修改即可。而它帶來的穩(wěn)定性提升非常明顯尤其適合目標被短暫遮擋或姿態(tài)突變的場景。如果你用的是Zynq這類SoC FPGA更聰明的做法是把模板更新放到ARM核上做比如每50幀用當前跟蹤框的圖像重新計算一次模板做一些簡單的濾波比如新舊模板加權(quán)平均然后通過AXI-Lite接口把新模板寫入FPGA側(cè)的模板RAM。FPGA只管高速匹配ARM管決策和更新分工非常合理。再說多目標擴展。SAD算法天然支持多目標擴展思路有兩種時分復(fù)用一個SAD計算陣列輪流加載多個目標的模板輸出多個最小SAD值和坐標。缺點是當目標數(shù)量增多時整體幀率會線性下降?？臻g并行復(fù)制多份SAD計算陣列每份配一個模板同時計算多個目標的位置。缺點是資源占用會成倍增加。如果做4個目標的跟蹤4套16×16模板的SAD陣列中等規(guī)模的FPGA芯片能扛住。我實際做過的項目里用空間并行方案在一塊中等規(guī)模的Kintex-7上同時跟蹤4個目標處理1080p60fps輸入資源占用大約在45%左右時序收斂良好約180MHz。如果目標數(shù)量再多建議還是考慮用DSP軟件方案來卸載部分計算。畢竟FPGA也不是萬能的關(guān)鍵還是選對計算引擎。4. 系統(tǒng)集成與實時性分析當SAD匹配撞上視頻流算法模塊單獨驗證沒問題不代表放到整個視頻鏈路里也能跑。SAD模板匹配的目標跟蹤一般嵌在視頻采集 → 預(yù)處理 → 目標匹配 → 結(jié)果疊加 → 顯示輸出的完整系統(tǒng)中。這里每個環(huán)節(jié)都會影響SAD模塊的輸入數(shù)據(jù)質(zhì)量以及整個系統(tǒng)的實時性。4.1 輸入預(yù)處理灰度轉(zhuǎn)換與降噪SAD算法本身是基于灰度圖像的所以彩色視頻進來必須先做RGB轉(zhuǎn)灰度。如果攝像頭輸出的是RAW Bayer格式那還得先做去馬賽克再轉(zhuǎn)灰度。這些預(yù)處理在FPGA上做很快但要注意預(yù)處理延遲要計算進整個流水線——如果你的預(yù)處理要緩存好幾行才能出結(jié)果那SAD模塊收到第一幀完整數(shù)據(jù)的時間會往后拖。降噪方面如果畫面噪聲較大SAD匹配的穩(wěn)定性會很差。我的經(jīng)驗是加一個簡單的3×3中值濾波或者高斯濾波作為預(yù)處理。中值濾波在FPGA上的經(jīng)典實現(xiàn)是行緩存 排序網(wǎng)絡(luò)3×3窗口的9個像素排序需要3個比較器級聯(lián)資源開銷不大效果立竿見影。但注意濾波會使邊緣略微模糊如果目標本身是很精細的紋理結(jié)構(gòu)模板匹配精度可能會輕微下降這一點要在實際項目中權(quán)衡。4.2 幀存調(diào)度DDR3/DDR4帶寬與時序跟蹤是在視頻幀上撒搜索窗口可能涉及對整幀圖像的隨機訪問。如果要把搜索區(qū)域擴展到全圖或者需要大范圍的搜索比如目標快速運動就需要把整幀圖像存入外部DDR內(nèi)存。這時DDR讀寫帶寬就成為主要瓶頸。以1080p、8bit灰度、60fps為例寫入幀存帶寬約124MB/s讀取搜索窗口數(shù)據(jù)的帶寬取決于搜索策略。如果搜索區(qū)域覆蓋整個畫面每個候選位置都要從DDR讀一個模板大小的圖像塊帶寬需求會爆炸根本跑不動。所以全圖搜索的SAD跟蹤在實際工程中很少見大多數(shù)情況是基于上一幀目標位置的小范圍搜索——比如只搜上一幀位置周圍64×64的區(qū)域。這樣DDR讀取帶寬可以控制在一個可接受的范圍。我做過一個測試上一幀位置周圍64×64搜索、16×16模板720p60fps輸入DDR3-1600單片16bitDDR帶寬占用大約25%余量充足。如果把搜索范圍擴大到128×128帶寬占用直接飆到80%以上系統(tǒng)的其他部分比如顯示疊加就會開始卡頓。4.3 流水線設(shè)計的時序約束要點FPGA設(shè)計跑到系統(tǒng)集成階段最讓人頭疼的就是時序收斂。SAD計算陣列動輒幾百級的組合邏輯如果不加流水線寄存器時序必然出問題。我的做法是在每個SAD計算級之間插入一級寄存器形成3~5級流水線減法和絕對值合并在同一級流水內(nèi)完成減少組合邏輯深度加法樹每級加法插一拍寄存器用乒乓寄存器加法器結(jié)構(gòu)實現(xiàn)。時序約束文件XDC里建議給SAD計算陣列單獨定義時鐘組并對跨時鐘域信號做異步FIFO隔離。視頻輸入時鐘和系統(tǒng)時鐘不一致是很常見的情況比如攝像頭給一個24MHz像素時鐘系統(tǒng)主頻跑100MHz中間必須通過異步FIFO轉(zhuǎn)換。我實測過一個設(shè)計因為忽略了跨時鐘域約束導(dǎo)致跟蹤坐標偶爾跳變排查了半天才發(fā)現(xiàn)是亞穩(wěn)態(tài)問題。下面給出一段簡化版的XDC約束示例create_clock -period 10.000 -name sys_clk [get_ports clk] create_clock -period 41.667 -name pix_clk [get_ports pix_clk] set_clock_groups -asynchronous -group [get_clocks sys_clk] -group [get_clocks pix_clk]5. 實測調(diào)優(yōu)SAD閾值、搜索策略與性能數(shù)據(jù)設(shè)計做完之后真正決定能不能用的是調(diào)優(yōu)階段。SAD模板匹配有非常多的旋鈕可以調(diào)不同場景下的最優(yōu)參數(shù)差異很大。分享幾個我實際調(diào)過的經(jīng)驗。5.1 SAD閾值與遮擋判定的配合SAD最小值本身不能直接說明匹配有多可靠。如果目標跑出畫面外或者被完全遮擋SAD計算還是會給你一個最小的數(shù)值但那個數(shù)值通常比正常跟蹤時高不少。所以工程上必須設(shè)置一個SAD閾值當最小SAD值超過閾值時判定為跟蹤丟失或目標被遮擋此時可以切換到等待模式或者啟動搜索模式擴大搜索區(qū)域重新尋找。閾值的標定方法我建議這樣先讓系統(tǒng)對著目標正常跟蹤50~100幀記錄SAD值的統(tǒng)計分布最大值、均值、標準差然后設(shè)定閾值為均值加3~4倍標準差。在FPGA上做這個統(tǒng)計不方便一般是在仿真階段用軟件算好再固化到寄存器里。如果想做自適應(yīng)閾值可以把統(tǒng)計邏輯放在Zynq的ARM端每N幀回調(diào)一次更新閾值寄存器。5.2 多尺度搜索大目標變小目標怎么辦SAD模板匹配對尺度變化非常敏感。目標在畫面里變大變小SAD值都會迅速增大。解決這個問題的一個實用方案是多尺度模板池預(yù)先生成目標在不同尺度下的多個模板比如1.0倍、0.85倍、0.7倍每一幀對每個尺度都做一次SAD匹配取所有尺度中最小的SAD值及其坐標作為輸出。這個方案在FPGA上的實現(xiàn)開銷是乘法器資源BRAM容量。如果模板數(shù)量不多3~5個尺度資源成本還能接受。我的實測感受是多尺度匹配對跟蹤穩(wěn)定性的提升是肉眼可見的尤其是在俯視相機比如無人機視角場景中目標大小隨高度變化非常明顯。不過要注意多尺度匹配的計算時間會成倍增加。對于實時系統(tǒng)建議優(yōu)先做時間維度的并行優(yōu)化也就是把不同尺度的匹配任務(wù)分配到不同的計算陣列上而不是串行執(zhí)行。5.3 實測性能數(shù)據(jù)參考最后給出一組典型的實測數(shù)據(jù)硬件平臺是Xilinx Artix-7 XC7A200T工作時鐘150MHz圖像分辨率1280×720灰度8bit參數(shù)配置數(shù)值模板大小32 × 32搜索區(qū)域64 × 64以上一幀目標位置為中心候選位置數(shù)1089單候選位置SAD計算周期32個時鐘周期單幀匹配總耗時約232微秒資源占用LUT/FF/BRAM/DSP12500/9800/20/0整體幀率60fps232微秒的匹配耗時意味著即使搜索區(qū)域進一步擴大依然有充足的性能余量。如果你用更高端的芯片比如Kintex-7或Zynq UltraScale跑更大的模板和更大的搜索區(qū)域也毫無壓力。所以SAD模板匹配在FPGA上做目標跟蹤最大的優(yōu)勢不是能不能做而是做了之后還剩多少資源給其他功能。這在實際產(chǎn)品設(shè)計中往往比單純的算法效果更具決策價值。6. 踩坑實錄跨時鐘域、資源競爭與坐標抖動調(diào)試階段總是會遇到一些讓人抓狂的問題。分享幾個我踩過的坑希望能幫你少走彎路。6.1 異步FIFO沒處理好坐標偶爾跳變的癥狀是跟蹤基本正常但每隔幾秒鐘目標坐標會突然跳出去幾十個像素然后下一幀又跳回來。一開始懷疑是算法問題查了半天邏輯仿真完全正常。后來用ILA抓實時信號發(fā)現(xiàn)是像素時鐘域和系統(tǒng)時鐘域之間的異步FIFO讀數(shù)據(jù)時出現(xiàn)了亞穩(wěn)態(tài)導(dǎo)致偶爾讀到錯誤的像素值SAD計算結(jié)果當然就錯了。解決辦法是給異步FIFO加上擺同步gray code指針同步并且預(yù)留兩級寄存器同步后再判斷FIFO空滿狀態(tài)。這個坑提醒我FPGA里最貴的時序成本往往不是算法本身而是接口轉(zhuǎn)換。6.2 模板RAM和圖像緩存的BRAM資源打架之前在一個設(shè)計中模板最多支持64個預(yù)留給多目標每個模板32×32×8bit 8KB總共512KB直接吃了半片Artix-7的BRAM。結(jié)果SAD計算陣列里頭行緩存已經(jīng)用了不少BRAM布局布線時資源告警甚至出現(xiàn)時序違例。解決方案有兩個方向把模板存儲在DDR里運行時通過AXI DMA按需讀取到FPGA的BRAM緩存中。這樣BRAM只需要保存當前用的幾個模板即可壓縮模板位寬?；叶?bit降到6bit或者5bitSAD精度略降但對跟蹤穩(wěn)定性影響不大。曾做過一次測試5bit量化模板下SAD值整體偏小但最小坐標基本不變。6.3 目標高速運動時跟蹤框滯后目標移動速度太快搜索窗口跟不上目標直接跑出搜索范圍。癥狀是跟蹤框一開始還行目標加速后就丟掉然后到處亂跑。這不是算法算得慢而是搜索策略的問題。解決思路是引入運動預(yù)測。最簡單的預(yù)測方法是記錄前兩幀目標坐標用差分近似速度預(yù)測當前幀的搜索中心。公式上就是predict_x last_x (last_x - prev_x)predict_y last_y (last_y - prev_y)然后把搜索窗口中心放在predict坐標上而不是上一幀坐標。這個改動在FPGA上幾乎沒有成本兩個減法器加兩個加法器。但效果非常顯著目標以高速直線運動時跟蹤成功率幾乎達到100%。如果還想更精細一些可以上卡爾曼濾波不過卡爾曼在FPGA上實現(xiàn)涉及矩陣運算資源消耗大不少。我的建議是先用差分預(yù)測效果不夠再考慮卡爾曼。很多場景下差分預(yù)測已經(jīng)足夠。另外有一個容易忽略的細節(jié)預(yù)測坐標不要直接作為跟蹤輸出而是作為搜索中心。最終輸出仍然用SAD匹配到的坐標。這樣即使預(yù)測偏了只要目標還在搜索窗口內(nèi)依然能正確捕獲。7. 用FPGA做SAD跟蹤的幾點經(jīng)驗總結(jié)如果讓我用一個詞概括FPGA上的SAD模板匹配目標跟蹤我會選劃算。算法邏輯簡單、資源消耗可控、實時性極強是FPGA圖像處理入門到進階之間非常優(yōu)質(zhì)的一個練習(xí)項目。它可以鍛煉行緩存設(shè)計、流水線架構(gòu)、并行計算陣列、跨時鐘域處理這些基本功而這些能力在更復(fù)雜的FPGA視頻處理項目里都是通用的。再說幾個個人體會最深刻的點。其一不要一上來就追求全并行。SAD的并行度可以根據(jù)芯片資源靈活調(diào)整先用行并行、串行累加的方式跑通整個鏈路再去優(yōu)化并行度是更穩(wěn)妥的路徑。全并行方案在資源利用率上并不一定更優(yōu)反而會引入更復(fù)雜的布線擁塞和時序收斂問題調(diào)試成本陡增。其二數(shù)據(jù)流的組織比計算本身更重要。很多FPGA初學(xué)者把精力都花在SAD計算邏輯上卻忽略了行緩存、FIFO、坐標計數(shù)器這些數(shù)據(jù)管道。實際上視頻處理系統(tǒng)的性能瓶頸十有八九出在數(shù)據(jù)搬運上而不是計算上。行緩存設(shè)計是否合理、跨時鐘域FIFO是否可靠直接決定了整個系統(tǒng)的穩(wěn)定性。其三善用Zynq這種SoC平臺做任務(wù)分工。單純的FPGA實現(xiàn)適合追求極致實時性和確定性要求的場景但一旦涉及復(fù)雜的模板更新策略、多目標管理、甚至和上層控制系統(tǒng)交互ARM核的加入會讓系統(tǒng)架構(gòu)清爽很多。SAD計算在PL側(cè)做管理和決策在PS側(cè)做這是Zynq平臺上目標跟蹤項目最經(jīng)典的架構(gòu)之一。最后留一個可以繼續(xù)深入的優(yōu)化方向當前做的是灰度圖像的SAD匹配如果把RGB三通道的SAD分別計算再加權(quán)合并可以在彩色特征明顯的場景下大幅提升匹配精度。實現(xiàn)上只需把單通道SAD陣列復(fù)制三份或者做時分復(fù)用資源增加約2倍但對特定目標的跟蹤效果提升明顯。以后有空我會把這個擴展的實現(xiàn)細節(jié)單獨整理出來這次就先聊到這里。 FPGA實現(xiàn)SAD模板匹配：從算法到Verilog的實時目標跟蹤實戰(zhàn)
1. 從圖像數(shù)據(jù)流到目標坐標SAD算法的硬件友好性拆解做FPGA圖像處理這幾年我最大的體會是很多在軟件里隨手就能寫的算法搬到硬件上完全是另一回事。SAD模板匹配恰好是少有的天生適合FPGA的算法之一這也是為什么很多實時目標跟蹤項目的第一版原型都會選它。SADSum of Absolute Differences絕對差值和的原理簡單到一句話就能說清拿一個已知的目標模板在視頻幀的搜索區(qū)域內(nèi)逐個位置滑動計算模板與對應(yīng)圖像塊的像素差值絕對值之和和最小的位置就是目標最可能出現(xiàn)的地方。聽起來就是一個雙重循環(huán)加累加器的事在CPU上寫起來確實也就十幾行代碼。但放到實時視頻處理場景里事情就沒那么輕松了。以1080p60fps的輸入為例一幀圖像大約有200萬個像素留給每幀的處理時間只有16.7毫秒。如果搜索區(qū)域是100×100像素模板是32×32像素暴力遍歷需要計算的候選位置接近一萬個每個位置要做1024次減法、取絕對值和累加。這個計算量在通用處理器上做軟件優(yōu)化能跑到實時但CPU占用率基本就滿了。而在FPGA上SAD的計算結(jié)構(gòu)可以被完全并行化和流水線化同樣的工作量占用資源很少還能把整條圖像處理鏈路的時間壓到微秒級。不過這里要提醒一句SAD在FPGA上好實現(xiàn)不等于隨便寫寫就能跑。實際工程里最麻煩的往往不是算法本身而是數(shù)據(jù)怎么喂進來、結(jié)果怎么送出去、時序怎么收斂。所以這篇文章我會從算法公式出發(fā)一路講到具體的Verilog代碼結(jié)構(gòu)、乒乓緩存設(shè)計、時序約束技巧最后聊一聊實測性能和踩過的坑。先看SAD的數(shù)學(xué)表達。假設(shè)模板T的大小是M×N搜索圖像I中的候選塊與模板的SAD值為SAD(x, y) Σ(i0 to M-1) Σ(j0 to N-1) |I(xi, yj) - T(i, j)|其中(x, y)是候選塊左上角在搜索區(qū)域中的坐標。遍歷整個搜索區(qū)域后取SAD值最小的位置作為跟蹤結(jié)果。這個公式?jīng)]有任何復(fù)雜的非線性運算只有減法、絕對值、加法三種操作映射到FPGA上就是減法器、絕對值邏輯和加法樹。整個計算鏈路的延遲只有幾個時鐘周期吞吐量極高。1.1 為什么模板匹配在target跟蹤場景仍不過時現(xiàn)在深度學(xué)習(xí)目標檢測很火動不動就是YOLO、Transformer似乎傳統(tǒng)方法已經(jīng)被淘汰了。但實際做工程項目你會發(fā)現(xiàn)很多場景根本用不上那么重的方案。第一FPGA上跑神經(jīng)網(wǎng)絡(luò)推理尤其是視頻流實時處理資源開銷非常大。一個稍微像樣點的卷積網(wǎng)絡(luò)即使做了量化也要消耗大量的DSP和BRAM資源邏輯資源和功耗也跟著上去。而SAD模板匹配只用到加法器和比較器幾乎不碰DSP資源邏輯資源消耗也很小在入門級芯片上就能跑得很輕松。第二當目標是預(yù)先知道的小尺寸剛體比如零件、標記點、特定紋理區(qū)域模板匹配的精度和穩(wěn)定性完全夠用。目標跟蹤不等于一定要做語義級別的理解很多工業(yè)場景只需要知道目標在畫面里的像素坐標就夠了。第三模板匹配算法是確定性的行為完全可預(yù)測這對通過安全認證或功能驗證非常有幫助。而深度學(xué)習(xí)模型的行為很難做到逐幀可解釋。我做過一個高速運動目標跟蹤的Demo目標是一個快速移動的小球背景相對干凈。用SAD模板匹配在100MHz時鐘下處理720p視頻單幀匹配耗時不到1毫秒跟蹤穩(wěn)定沒有任何卡頓感。這要是用軟件跑單幀耗時至少翻十倍還得面臨操作系統(tǒng)調(diào)度帶來的延遲抖動。2. 硬件架構(gòu)設(shè)計從頂層框圖到數(shù)據(jù)通路FPGA工程和軟件工程最大的區(qū)別在于你得先把數(shù)據(jù)的流動路徑想清楚再談計算邏輯。SAD模板匹配的整體架構(gòu)我習(xí)慣這樣劃分圖像緩存與數(shù)據(jù)流控制模塊、SAD計算陣列并行比較器陣列、最小值和坐標提取模塊、以及輸出與顯示控制接口。每個模塊各司其職組合成一條完整的流水線。頂層數(shù)據(jù)通路的邏輯是這樣的視頻輸入可以是攝像頭接口也可以是測試用的測試圖案發(fā)生器先把像素數(shù)據(jù)寫入行緩存行緩存將數(shù)據(jù)組織成模板大小的圖像塊然后送入SAD計算單元。計算單元對搜索區(qū)域內(nèi)的所有候選位置并行計算SAD值或者按行流水計算得到一個SAD值序列送入最小SAD追蹤模塊。該模塊不斷比較當前SAD值和歷史最小值最終輸出最小SAD值對應(yīng)的坐標。2.1 搜索窗口的行緩存設(shè)計別小看這塊BufferSAD計算需要同時訪問模板和圖像中的鄰域像素。如果直接從外部存儲器讀取每個候選塊的像素訪問次數(shù)會爆炸。以32×32模板、100×100搜索區(qū)域為例暴力讀取的像素數(shù)大約是32×32×100×100 ≈ 1000萬次這在實時系統(tǒng)里是不可接受的。正確的做法是用行緩存Line Buffer在FPGA內(nèi)部構(gòu)建一個滑動窗口。經(jīng)典方案是利用FPGA內(nèi)部的BRAM實現(xiàn)N行緩存N等于模板高度比如32行每來一個新像素窗口整體右移一格當窗口到達行尾時換到下一行。這樣任意時刻窗口內(nèi)都保存了當前位置周圍32×32的圖像塊數(shù)據(jù)復(fù)用率接近100%。行緩存的實現(xiàn)有一些細節(jié)值得注意用移位寄存器還是用BRAM模板小的話比如8×8可以用移位寄存器實現(xiàn)延遲小、邏輯簡單模板大的話16×16以上建議用BRAM實現(xiàn)多行循環(huán)緩存節(jié)省寄存器資源。建議用兩級緩存第一級緩存原始圖像的行數(shù)據(jù)第二級緩存窗口內(nèi)的數(shù)據(jù)塊。這樣可以把圖像輸入速率和計算速率解耦。行緩存深度要留余量。如果圖像寬度是1920緩存深度至少是1920但實際工程中我習(xí)慣留到2048因為有些視頻源會有行消隱和同步信號控制邏輯更省心。實際代碼里行緩存的經(jīng)典寫法是用一個二維數(shù)組 寫指針循環(huán)覆蓋。以16行緩存、每行1280像素、8bit灰度為例reg [7:0] line_buffer [15:0][1279:0]; reg [9:0] write_addr; reg [3:0] write_line; always (posedge clk) begin if (data_valid) begin line_buffer[write_line][write_addr] pixel_in; if (write_addr 1279) begin write_addr 0; write_line write_line 1b1; end else begin write_addr write_addr 1b1; end end end這段代碼維護了16行、每行1280像素的滑動窗口。窗口的讀地址根據(jù)當前像素坐標動態(tài)生成取出的16×16數(shù)據(jù)塊直接對接后續(xù)的SAD計算陣列。2.2 SAD計算陣列并行度與資源的天平SAD計算陣列是整個設(shè)計的核心。一次完整的SAD計算要對模板和圖像塊的每一個像素做減法、取絕對值、累加。在FPGA上這個操作可以按像素級并行展開。以16×16模板為例理想情況下我可以生成256個減法器和256個絕對值電路然后通過一個加法樹把256個結(jié)果累加起來。這樣只用一個時鐘周期就能完成一個候選位置的SAD計算。但256路并行意味著大約256個DSP48E1或大量的LUT對資源緊張的芯片不現(xiàn)實。實際工程中需要在并行度和資源占用之間取平衡。我常用的設(shè)計是把一行的16個像素做并行計算然后按行累加16個像素并行做減法、絕對值、部分和消耗16個減法器和16個加法器每一行的部分和在一個時鐘周期內(nèi)完成16行的部分和再串行累加得到完整的SAD值。這樣只需要大約16路的并行計算資源代價是單個候選位置需要16個時鐘周期才能出結(jié)果。不過這個速度對大多數(shù)跟蹤場景已經(jīng)夠用了。下面給出16×16模板、行并行實現(xiàn)的核心Verilog框架// 假設(shè)win_data和template_data是16 bit位寬的16個像素 // 實際使用中應(yīng)展開為16路減法器 wire [8:0] diff [0:15]; wire [9:0] abs_diff [0:15]; genvar i; generate for (i 0; i 16; i i 1) begin: sad_cell assign diff[i] {1b0, win_data[i]} - {1b0, template_data[i]}; assign abs_diff[i] diff[i][8] ? (~diff[i] 1b1) : diff[i]; end endgenerate wire [13:0] row_partial_sum; assign row_partial_sum abs_diff[0] abs_diff[1] ... abs_diff[15];每一行得到一個14bit的部分和之后在16行的尺度上做累加。這個加法樹可以做成pipeline結(jié)構(gòu)每級插一拍寄存器避免組合邏輯過長導(dǎo)致時序不收斂。我實測過一個8×8模板、64路像素級并行加法樹的設(shè)計在Artix-7系列上跑到200MHz沒有任何問題。如果做16×16模板全并行256路頻率會降到150MHz左右但對720p視頻來說仍然綽綽有余。2.3 最小SAD追蹤比大小也有講究SAD計算陣列不斷產(chǎn)生候選位置的SAD值目標跟蹤需要從中選出最小的那個以及對應(yīng)的坐標。這個模塊看似簡單其實有一個容易忽略的性能瓶頸。如果你在每個時鐘周期都做一個當前SAD 歷史最小SAD的比較那整個比較鏈會變得很長。比較器是有延遲的尤其是當歷史最小值需要反饋到下一拍時組合邏輯回路很可能成為時序瓶頸。更好的做法是流水線化比較過程把SAD值和坐標寫進一個FIFO由專門的最小值搜索狀態(tài)機來處理。狀態(tài)機每次從FIFO取一個SAD值和當前最小值比較同時記錄坐標。FIFO可以平滑計算陣列的輸出節(jié)奏讓最小值搜索不阻塞SAD計算。另一個工程細節(jié)是不要只記最小SAD值還得把對應(yīng)的搜索位置坐標存下來。坐標需要跟著SAD值一起進FIFO或者通過一個與SAD計算陣列同步的計數(shù)器來生成。我習(xí)慣用后者搜索位置由行列計數(shù)器直接編碼當SAD值被判定為新的最小值時把當前計數(shù)器值鎖存到輸出寄存器。下面是這個核心比較邏輯的示意always (posedge clk or negedge rst_n) begin if (!rst_n) begin min_sad 16hFFFF; best_x 0; best_y 0; end else if (sad_valid) begin if (sad_value min_sad) begin min_sad sad_value; best_x curr_x; best_y curr_y; end end end注意一個坑如果搜索區(qū)域里有多個候選位置SAD值相同到底取哪一個這在模板匹配里是個真實存在的問題尤其當背景有大片平坦區(qū)域時。我的做法是取先出現(xiàn)的即只在嚴格小于時更新這樣實現(xiàn)最簡單行為也確定。如果你需要取中心位置之類的策略就得再加一個計數(shù)器記錄候選位置與搜索區(qū)域中心的距離并在SAD值相等時做二次比較。3. 模板更新機制與多目標擴展從Demo到工程化的距離能跑通單目標跟蹤只是第一步。真正落地的目標跟蹤系統(tǒng)幾乎都會遇到兩個問題目標外觀變化了怎么辦畫面里有多個目標怎么辦先說模板更新。固定模板在目標發(fā)生尺度變化、旋轉(zhuǎn)、光照變化時匹配效果會迅速惡化。比如跟蹤一輛正在轉(zhuǎn)彎的車模板還是直著時的正面照轉(zhuǎn)過30度角之后SAD值就會暴漲跟蹤框很容易飄走。最樸素也最有效的方案是每N幀用當前跟蹤結(jié)果區(qū)域的圖像更新模板。這樣做的好處是能持續(xù)跟隨目標外觀變化壞處是跟蹤錯誤一旦發(fā)生錯誤會被累積放大也就是所謂的模板漂移。為了解決漂移問題工程上常用的折中方案是保留初始模板第一幀手工框選或檢測得到的目標每次匹配時同時計算當前模板和初始模板的SAD當當前模板的SAD迅速變差時回退到初始模板重新匹配。這在FPGA上的實現(xiàn)成本很低只需要雙端口RAM存兩份模板比較邏輯稍作修改即可。而它帶來的穩(wěn)定性提升非常明顯尤其適合目標被短暫遮擋或姿態(tài)突變的場景。如果你用的是Zynq這類SoC FPGA更聰明的做法是把模板更新放到ARM核上做比如每50幀用當前跟蹤框的圖像重新計算一次模板做一些簡單的濾波比如新舊模板加權(quán)平均然后通過AXI-Lite接口把新模板寫入FPGA側(cè)的模板RAM。FPGA只管高速匹配ARM管決策和更新分工非常合理。再說多目標擴展。SAD算法天然支持多目標擴展思路有兩種時分復(fù)用一個SAD計算陣列輪流加載多個目標的模板輸出多個最小SAD值和坐標。缺點是當目標數(shù)量增多時整體幀率會線性下降?？臻g并行復(fù)制多份SAD計算陣列每份配一個模板同時計算多個目標的位置。缺點是資源占用會成倍增加。如果做4個目標的跟蹤4套16×16模板的SAD陣列中等規(guī)模的FPGA芯片能扛住。我實際做過的項目里用空間并行方案在一塊中等規(guī)模的Kintex-7上同時跟蹤4個目標處理1080p60fps輸入資源占用大約在45%左右時序收斂良好約180MHz。如果目標數(shù)量再多建議還是考慮用DSP軟件方案來卸載部分計算。畢竟FPGA也不是萬能的關(guān)鍵還是選對計算引擎。4. 系統(tǒng)集成與實時性分析當SAD匹配撞上視頻流算法模塊單獨驗證沒問題不代表放到整個視頻鏈路里也能跑。SAD模板匹配的目標跟蹤一般嵌在視頻采集 → 預(yù)處理 → 目標匹配 → 結(jié)果疊加 → 顯示輸出的完整系統(tǒng)中。這里每個環(huán)節(jié)都會影響SAD模塊的輸入數(shù)據(jù)質(zhì)量以及整個系統(tǒng)的實時性。4.1 輸入預(yù)處理灰度轉(zhuǎn)換與降噪SAD算法本身是基于灰度圖像的所以彩色視頻進來必須先做RGB轉(zhuǎn)灰度。如果攝像頭輸出的是RAW Bayer格式那還得先做去馬賽克再轉(zhuǎn)灰度。這些預(yù)處理在FPGA上做很快但要注意預(yù)處理延遲要計算進整個流水線——如果你的預(yù)處理要緩存好幾行才能出結(jié)果那SAD模塊收到第一幀完整數(shù)據(jù)的時間會往后拖。降噪方面如果畫面噪聲較大SAD匹配的穩(wěn)定性會很差。我的經(jīng)驗是加一個簡單的3×3中值濾波或者高斯濾波作為預(yù)處理。中值濾波在FPGA上的經(jīng)典實現(xiàn)是行緩存 排序網(wǎng)絡(luò)3×3窗口的9個像素排序需要3個比較器級聯(lián)資源開銷不大效果立竿見影。但注意濾波會使邊緣略微模糊如果目標本身是很精細的紋理結(jié)構(gòu)模板匹配精度可能會輕微下降這一點要在實際項目中權(quán)衡。4.2 幀存調(diào)度DDR3/DDR4帶寬與時序跟蹤是在視頻幀上撒搜索窗口可能涉及對整幀圖像的隨機訪問。如果要把搜索區(qū)域擴展到全圖或者需要大范圍的搜索比如目標快速運動就需要把整幀圖像存入外部DDR內(nèi)存。這時DDR讀寫帶寬就成為主要瓶頸。以1080p、8bit灰度、60fps為例寫入幀存帶寬約124MB/s讀取搜索窗口數(shù)據(jù)的帶寬取決于搜索策略。如果搜索區(qū)域覆蓋整個畫面每個候選位置都要從DDR讀一個模板大小的圖像塊帶寬需求會爆炸根本跑不動。所以全圖搜索的SAD跟蹤在實際工程中很少見大多數(shù)情況是基于上一幀目標位置的小范圍搜索——比如只搜上一幀位置周圍64×64的區(qū)域。這樣DDR讀取帶寬可以控制在一個可接受的范圍。我做過一個測試上一幀位置周圍64×64搜索、16×16模板720p60fps輸入DDR3-1600單片16bitDDR帶寬占用大約25%余量充足。如果把搜索范圍擴大到128×128帶寬占用直接飆到80%以上系統(tǒng)的其他部分比如顯示疊加就會開始卡頓。4.3 流水線設(shè)計的時序約束要點FPGA設(shè)計跑到系統(tǒng)集成階段最讓人頭疼的就是時序收斂。SAD計算陣列動輒幾百級的組合邏輯如果不加流水線寄存器時序必然出問題。我的做法是在每個SAD計算級之間插入一級寄存器形成3~5級流水線減法和絕對值合并在同一級流水內(nèi)完成減少組合邏輯深度加法樹每級加法插一拍寄存器用乒乓寄存器加法器結(jié)構(gòu)實現(xiàn)。時序約束文件XDC里建議給SAD計算陣列單獨定義時鐘組并對跨時鐘域信號做異步FIFO隔離。視頻輸入時鐘和系統(tǒng)時鐘不一致是很常見的情況比如攝像頭給一個24MHz像素時鐘系統(tǒng)主頻跑100MHz中間必須通過異步FIFO轉(zhuǎn)換。我實測過一個設(shè)計因為忽略了跨時鐘域約束導(dǎo)致跟蹤坐標偶爾跳變排查了半天才發(fā)現(xiàn)是亞穩(wěn)態(tài)問題。下面給出一段簡化版的XDC約束示例create_clock -period 10.000 -name sys_clk [get_ports clk] create_clock -period 41.667 -name pix_clk [get_ports pix_clk] set_clock_groups -asynchronous -group [get_clocks sys_clk] -group [get_clocks pix_clk]5. 實測調(diào)優(yōu)SAD閾值、搜索策略與性能數(shù)據(jù)設(shè)計做完之后真正決定能不能用的是調(diào)優(yōu)階段。SAD模板匹配有非常多的旋鈕可以調(diào)不同場景下的最優(yōu)參數(shù)差異很大。分享幾個我實際調(diào)過的經(jīng)驗。5.1 SAD閾值與遮擋判定的配合SAD最小值本身不能直接說明匹配有多可靠。如果目標跑出畫面外或者被完全遮擋SAD計算還是會給你一個最小的數(shù)值但那個數(shù)值通常比正常跟蹤時高不少。所以工程上必須設(shè)置一個SAD閾值當最小SAD值超過閾值時判定為跟蹤丟失或目標被遮擋此時可以切換到等待模式或者啟動搜索模式擴大搜索區(qū)域重新尋找。閾值的標定方法我建議這樣先讓系統(tǒng)對著目標正常跟蹤50~100幀記錄SAD值的統(tǒng)計分布最大值、均值、標準差然后設(shè)定閾值為均值加3~4倍標準差。在FPGA上做這個統(tǒng)計不方便一般是在仿真階段用軟件算好再固化到寄存器里。如果想做自適應(yīng)閾值可以把統(tǒng)計邏輯放在Zynq的ARM端每N幀回調(diào)一次更新閾值寄存器。5.2 多尺度搜索大目標變小目標怎么辦SAD模板匹配對尺度變化非常敏感。目標在畫面里變大變小SAD值都會迅速增大。解決這個問題的一個實用方案是多尺度模板池預(yù)先生成目標在不同尺度下的多個模板比如1.0倍、0.85倍、0.7倍每一幀對每個尺度都做一次SAD匹配取所有尺度中最小的SAD值及其坐標作為輸出。這個方案在FPGA上的實現(xiàn)開銷是乘法器資源BRAM容量。如果模板數(shù)量不多3~5個尺度資源成本還能接受。我的實測感受是多尺度匹配對跟蹤穩(wěn)定性的提升是肉眼可見的尤其是在俯視相機比如無人機視角場景中目標大小隨高度變化非常明顯。不過要注意多尺度匹配的計算時間會成倍增加。對于實時系統(tǒng)建議優(yōu)先做時間維度的并行優(yōu)化也就是把不同尺度的匹配任務(wù)分配到不同的計算陣列上而不是串行執(zhí)行。5.3 實測性能數(shù)據(jù)參考最后給出一組典型的實測數(shù)據(jù)硬件平臺是Xilinx Artix-7 XC7A200T工作時鐘150MHz圖像分辨率1280×720灰度8bit參數(shù)配置數(shù)值模板大小32 × 32搜索區(qū)域64 × 64以上一幀目標位置為中心候選位置數(shù)1089單候選位置SAD計算周期32個時鐘周期單幀匹配總耗時約232微秒資源占用LUT/FF/BRAM/DSP12500/9800/20/0整體幀率60fps232微秒的匹配耗時意味著即使搜索區(qū)域進一步擴大依然有充足的性能余量。如果你用更高端的芯片比如Kintex-7或Zynq UltraScale跑更大的模板和更大的搜索區(qū)域也毫無壓力。所以SAD模板匹配在FPGA上做目標跟蹤最大的優(yōu)勢不是能不能做而是做了之后還剩多少資源給其他功能。這在實際產(chǎn)品設(shè)計中往往比單純的算法效果更具決策價值。6. 踩坑實錄跨時鐘域、資源競爭與坐標抖動調(diào)試階段總是會遇到一些讓人抓狂的問題。分享幾個我踩過的坑希望能幫你少走彎路。6.1 異步FIFO沒處理好坐標偶爾跳變的癥狀是跟蹤基本正常但每隔幾秒鐘目標坐標會突然跳出去幾十個像素然后下一幀又跳回來。一開始懷疑是算法問題查了半天邏輯仿真完全正常。后來用ILA抓實時信號發(fā)現(xiàn)是像素時鐘域和系統(tǒng)時鐘域之間的異步FIFO讀數(shù)據(jù)時出現(xiàn)了亞穩(wěn)態(tài)導(dǎo)致偶爾讀到錯誤的像素值SAD計算結(jié)果當然就錯了。解決辦法是給異步FIFO加上擺同步gray code指針同步并且預(yù)留兩級寄存器同步后再判斷FIFO空滿狀態(tài)。這個坑提醒我FPGA里最貴的時序成本往往不是算法本身而是接口轉(zhuǎn)換。6.2 模板RAM和圖像緩存的BRAM資源打架之前在一個設(shè)計中模板最多支持64個預(yù)留給多目標每個模板32×32×8bit 8KB總共512KB直接吃了半片Artix-7的BRAM。結(jié)果SAD計算陣列里頭行緩存已經(jīng)用了不少BRAM布局布線時資源告警甚至出現(xiàn)時序違例。解決方案有兩個方向把模板存儲在DDR里運行時通過AXI DMA按需讀取到FPGA的BRAM緩存中。這樣BRAM只需要保存當前用的幾個模板即可壓縮模板位寬?；叶?bit降到6bit或者5bitSAD精度略降但對跟蹤穩(wěn)定性影響不大。曾做過一次測試5bit量化模板下SAD值整體偏小但最小坐標基本不變。6.3 目標高速運動時跟蹤框滯后目標移動速度太快搜索窗口跟不上目標直接跑出搜索范圍。癥狀是跟蹤框一開始還行目標加速后就丟掉然后到處亂跑。這不是算法算得慢而是搜索策略的問題。解決思路是引入運動預(yù)測。最簡單的預(yù)測方法是記錄前兩幀目標坐標用差分近似速度預(yù)測當前幀的搜索中心。公式上就是predict_x last_x (last_x - prev_x)predict_y last_y (last_y - prev_y)然后把搜索窗口中心放在predict坐標上而不是上一幀坐標。這個改動在FPGA上幾乎沒有成本兩個減法器加兩個加法器。但效果非常顯著目標以高速直線運動時跟蹤成功率幾乎達到100%。如果還想更精細一些可以上卡爾曼濾波不過卡爾曼在FPGA上實現(xiàn)涉及矩陣運算資源消耗大不少。我的建議是先用差分預(yù)測效果不夠再考慮卡爾曼。很多場景下差分預(yù)測已經(jīng)足夠。另外有一個容易忽略的細節(jié)預(yù)測坐標不要直接作為跟蹤輸出而是作為搜索中心。最終輸出仍然用SAD匹配到的坐標。這樣即使預(yù)測偏了只要目標還在搜索窗口內(nèi)依然能正確捕獲。7. 用FPGA做SAD跟蹤的幾點經(jīng)驗總結(jié)如果讓我用一個詞概括FPGA上的SAD模板匹配目標跟蹤我會選劃算。算法邏輯簡單、資源消耗可控、實時性極強是FPGA圖像處理入門到進階之間非常優(yōu)質(zhì)的一個練習(xí)項目。它可以鍛煉行緩存設(shè)計、流水線架構(gòu)、并行計算陣列、跨時鐘域處理這些基本功而這些能力在更復(fù)雜的FPGA視頻處理項目里都是通用的。再說幾個個人體會最深刻的點。其一不要一上來就追求全并行。SAD的并行度可以根據(jù)芯片資源靈活調(diào)整先用行并行、串行累加的方式跑通整個鏈路再去優(yōu)化并行度是更穩(wěn)妥的路徑。全并行方案在資源利用率上并不一定更優(yōu)反而會引入更復(fù)雜的布線擁塞和時序收斂問題調(diào)試成本陡增。其二數(shù)據(jù)流的組織比計算本身更重要。很多FPGA初學(xué)者把精力都花在SAD計算邏輯上卻忽略了行緩存、FIFO、坐標計數(shù)器這些數(shù)據(jù)管道。實際上視頻處理系統(tǒng)的性能瓶頸十有八九出在數(shù)據(jù)搬運上而不是計算上。行緩存設(shè)計是否合理、跨時鐘域FIFO是否可靠直接決定了整個系統(tǒng)的穩(wěn)定性。其三善用Zynq這種SoC平臺做任務(wù)分工。單純的FPGA實現(xiàn)適合追求極致實時性和確定性要求的場景但一旦涉及復(fù)雜的模板更新策略、多目標管理、甚至和上層控制系統(tǒng)交互ARM核的加入會讓系統(tǒng)架構(gòu)清爽很多。SAD計算在PL側(cè)做管理和決策在PS側(cè)做這是Zynq平臺上目標跟蹤項目最經(jīng)典的架構(gòu)之一。最后留一個可以繼續(xù)深入的優(yōu)化方向當前做的是灰度圖像的SAD匹配如果把RGB三通道的SAD分別計算再加權(quán)合并可以在彩色特征明顯的場景下大幅提升匹配精度。實現(xiàn)上只需把單通道SAD陣列復(fù)制三份或者做時分復(fù)用資源增加約2倍但對特定目標的跟蹤效果提升明顯。以后有空我會把這個擴展的實現(xiàn)細節(jié)單獨整理出來這次就先聊到這里。