簡(jiǎn)介這是一個(gè)圍繞論文《TEM-NLnet: A Deep Denoising Network for T》整理的深度學(xué)習(xí)去噪網(wǎng)絡(luò)演示代碼目標(biāo)讀者是需要復(fù)現(xiàn)論文、研究圖像或時(shí)間序列去噪算法的工程師、研究生以及高年級(jí)本科生。壓縮包共計(jì)11個(gè)文件其中10個(gè)為Python腳本、1個(gè)為README說(shuō)明文檔整個(gè)資源大小只有14KB屬于結(jié)構(gòu)緊湊的輕量級(jí)項(xiàng)目便于快速瀏覽核心邏輯而不會(huì)被龐大數(shù)據(jù)集或預(yù)訓(xùn)練權(quán)重干擾。代碼組織清晰數(shù)據(jù)生成、預(yù)處理、噪聲學(xué)習(xí)、去噪推理等環(huán)節(jié)分別由獨(dú)立模塊負(fù)責(zé)如Data_generator.py、Preprocess.py、noise_learning.py、denoising.py模型子目錄下的basic.py與GN.py則定義了基礎(chǔ)模塊和組歸一化層能夠比較完整地呈現(xiàn)深度去噪網(wǎng)絡(luò)的訓(xùn)練與推理管線。閱讀這些腳本讀者可以弄清TEM-NLnet的數(shù)據(jù)流走向、網(wǎng)絡(luò)基本單元設(shè)計(jì)以及噪聲建模方式進(jìn)而更容易將模型遷移到自己的數(shù)據(jù)集或任務(wù)中同時(shí)由于原始描述沒有提供更多任務(wù)背景具體應(yīng)用場(chǎng)景需要自行通過(guò)代碼和README進(jìn)一步確認(rèn)。目前已有135人學(xué)習(xí)適合作為深度學(xué)習(xí)去噪方向的小型示例和論文復(fù)現(xiàn)參考。 論文投出去之前代碼先以zip的形式流到實(shí)驗(yàn)室各個(gè)師弟師妹手里這種事情我見得太多了。今天拿到的這個(gè)壓縮包是TEM-NLnet——A Deep Denoising Network for TEM一看就是給論文配套的深度學(xué)習(xí)項(xiàng)目。作為一個(gè)常年跟圖像去噪、顯微成像算法打交道的人我索性把這個(gè)包徹底拆開講清楚這個(gè)網(wǎng)絡(luò)到底在解決什么問題、核心模塊是怎么設(shè)計(jì)的、拿回來(lái)之后怎么跑通實(shí)驗(yàn)以及復(fù)現(xiàn)過(guò)程中你極大概率會(huì)踩到的那些坑。不管你是正在復(fù)現(xiàn)論文的學(xué)生還是想把自己的去噪算法擴(kuò)展到電子顯微鏡場(chǎng)景的工程師這篇內(nèi)容都值得看完再動(dòng)手。1. 項(xiàng)目背景TEM圖像為什么這么“臟”1.1 透射電子顯微鏡的噪聲從哪來(lái)透射電子顯微鏡TEM成像和日常拍照完全是兩碼事。日常拍照要考慮的是暗光噪點(diǎn)TEM則是把一束高能電子打到超薄樣品上透過(guò)樣品的電子攜帶結(jié)構(gòu)信息被熒光屏或相機(jī)接收。問題在于電子束本身是離散粒子打到探測(cè)器上必然存在統(tǒng)計(jì)漲落這就是泊松噪聲的物理來(lái)源。更麻煩的是很多時(shí)候?yàn)榱擞^察活體生物樣品或敏感材料電子束劑量必須壓到非常低不然樣品直接被電子束打壞拍出來(lái)的就已經(jīng)不是原來(lái)的結(jié)構(gòu)了。低劑量條件下信號(hào)弱到什么程度呢單張圖片的信噪比經(jīng)常在10dB以下晶體條紋、納米顆粒邊界、缺陷襯度這些關(guān)鍵信息幾乎淹沒在噪聲里。再加上探測(cè)器讀出噪聲、暗電流、增益不均勻性實(shí)際觀察到的退化模型基本是泊松-高斯混合噪聲跟普通相機(jī)的高斯噪聲模型差了很遠(yuǎn)。這種低信噪比圖像直接放到材料分析軟件里做晶格間距標(biāo)定做顆粒尺寸統(tǒng)計(jì)結(jié)果都會(huì)非常不可靠。1.2 傳統(tǒng)去噪方法為什么不夠用傳統(tǒng)方法在這個(gè)領(lǐng)域其實(shí)有過(guò)很長(zhǎng)時(shí)間的統(tǒng)治地位。BM3D靠著塊匹配和協(xié)同濾波一度是顯微圖像去噪的默認(rèn)選項(xiàng)非局部均值NLM通過(guò)搜索相似斑塊做加權(quán)平均對(duì)周期性的晶格條紋有一定效果小波變換、各向異性擴(kuò)散也各有擁躉。但這些方法的通病是依賴手工設(shè)計(jì)的先驗(yàn)噪聲模型一旦偏離假設(shè)性能就迅速惡化。我實(shí)測(cè)過(guò)BM3D在模擬泊松噪聲下的表現(xiàn)噪聲強(qiáng)度中等時(shí)效果尚可一旦進(jìn)入低劑量場(chǎng)景容易把薄膜材料和襯度較弱的缺陷結(jié)構(gòu)抹成一片過(guò)度平滑的問題非常明顯。而深度學(xué)習(xí)方法的優(yōu)勢(shì)在于網(wǎng)絡(luò)可以從大量數(shù)據(jù)對(duì)里自己學(xué)習(xí)噪聲分布和結(jié)構(gòu)先驗(yàn)不需要人為指定一個(gè)噪聲模型端到端地完成從噪聲圖到干凈圖的映射。TEM-NLnet這個(gè)項(xiàng)目走的正是這條路子而且它不只是簡(jiǎn)單套一個(gè)U-Net而是在結(jié)構(gòu)里加入了非局部建模機(jī)制這一點(diǎn)對(duì)于TEM圖像來(lái)說(shuō)非常關(guān)鍵。2. TEM-NLnet的核心設(shè)計(jì)思路拆解2.1 網(wǎng)絡(luò)骨架U-Net結(jié)構(gòu)為什么是去噪的默認(rèn)答案打開壓縮包里的模型定義文件一眼就能認(rèn)出U-Net風(fēng)格的編碼器-解碼器結(jié)構(gòu)。編碼器一側(cè)通過(guò)卷積和下采樣逐步擴(kuò)大感受野提取從局部邊緣到整體襯度的多尺度特征解碼器一側(cè)通過(guò)上采樣逐步恢復(fù)空間分辨率最終輸出與輸入尺寸相同的殘差圖。訓(xùn)練的時(shí)候讓網(wǎng)絡(luò)學(xué)習(xí)的是噪聲圖與干凈圖之間的殘差推理時(shí)用輸入減去殘差得到去噪結(jié)果。這其實(shí)就是DnCNN那套殘差學(xué)習(xí)思路的延續(xù)但TEM-NLnet把它搬到了U-Net骨架上空間細(xì)節(jié)的保持能力比純卷積網(wǎng)絡(luò)好很多。選擇U-Net而不是更輕量的普通CNN原因很簡(jiǎn)單TEM圖像里有大量需要精確保留的邊界和周期性結(jié)構(gòu)比如晶格條紋之間的間距往往只有幾個(gè)像素如果網(wǎng)絡(luò)在編碼階段丟失了這個(gè)級(jí)別的細(xì)節(jié)解碼階段怎么補(bǔ)都補(bǔ)不回來(lái)。U-Net的跳躍連接把編碼器每層的特征直接接到解碼器對(duì)應(yīng)層相當(dāng)于給高頻信息開了一條“快速通道”這是它能在生物醫(yī)學(xué)圖像分割領(lǐng)域成為默認(rèn)架構(gòu)的原因放到去噪任務(wù)里同樣成立。2.2 Non-Local模塊捕捉遠(yuǎn)程相似結(jié)構(gòu)的秘密武器這個(gè)項(xiàng)目的網(wǎng)絡(luò)名字里“NL”不是隨便加的指的是Non-Local非局部建模。為什么要非局部看一張TEM照片你就明白了晶格條紋在空間上是周期性重復(fù)的同一種晶體面在不同的局部區(qū)域呈現(xiàn)出幾乎相同的紋理模式。傳統(tǒng)卷積核受限于局部感受野處理某個(gè)位置的噪聲時(shí)只能參考它周圍一圈像素的信息遠(yuǎn)處明明有更干凈、更相似的紋理結(jié)構(gòu)卻用不上。Non-Local模塊做的事就是計(jì)算特征圖上任意兩個(gè)位置之間的相似度然后用這個(gè)相似度把所有位置的特征加權(quán)融合到一起?？梢园阉斫獬梢环N“動(dòng)態(tài)注意力”每個(gè)像素在做去噪決策時(shí)會(huì)自動(dòng)在整張圖范圍內(nèi)尋找跟它結(jié)構(gòu)相似的位置從那些位置“借鑒”信息。這個(gè)操作對(duì)周期性結(jié)構(gòu)極其友好晶格條紋的一個(gè)周期能在圖像其他幾十個(gè)區(qū)域匹配到幾乎一致的副本加權(quán)平均之后噪聲被大幅抑制而真正的結(jié)構(gòu)信息因?yàn)楦叨纫恢卤煌暾Ａ簟?.3 損失函數(shù)與訓(xùn)練策略不只盯著PSNR模型代碼里默認(rèn)的損失函數(shù)是L1損失。相比L2MSEL1在訓(xùn)練時(shí)對(duì)異常值的懲罰更溫和對(duì)邊緣和精細(xì)結(jié)構(gòu)的保持效果通常更好。很多入門選手一上來(lái)就用MSE雖然PSNR指標(biāo)好看但生成的結(jié)果容易偏平滑這在材料分析場(chǎng)景下是要命的顆粒邊界一旦模糊后面做粒徑統(tǒng)計(jì)就會(huì)有系統(tǒng)偏差。訓(xùn)練時(shí)首先對(duì)噪聲圖和干凈圖做了隨機(jī)裁剪固定裁剪成64×64的patch這個(gè)尺寸既保證批量訓(xùn)練時(shí)有足夠的樣本多樣性又不至于讓顯存爆炸。數(shù)據(jù)增強(qiáng)部分我個(gè)人強(qiáng)烈建議加上隨機(jī)旋轉(zhuǎn)和翻轉(zhuǎn)TEM圖像本身沒有固定方向偏好但在真實(shí)實(shí)驗(yàn)里樣品臺(tái)的旋轉(zhuǎn)會(huì)帶來(lái)不同取向的晶體條紋增強(qiáng)一下能明顯提升模型的泛化性。優(yōu)化器默認(rèn)選Adam初始學(xué)習(xí)率設(shè)在1e-4左右配合余弦退火衰減訓(xùn)練到后期loss還能繼續(xù)下降。2.4 數(shù)據(jù)準(zhǔn)備合成噪聲與真實(shí)成對(duì)的博弈TEM-NLnet的訓(xùn)練數(shù)據(jù)包含兩種來(lái)源。一種是純模擬數(shù)據(jù)在干凈圖像上人為添加泊松-高斯混合噪聲生成輸入輸出對(duì)這種方式成本低、可控性強(qiáng)適合前期調(diào)通流程。另一種是真實(shí)數(shù)據(jù)通過(guò)在同一視野下多次采集并疊加平均獲得近似干凈的參考圖再用單幀噪聲圖作為輸入形成真實(shí)配對(duì)。真實(shí)數(shù)據(jù)的獲取難度很大因?yàn)闃悠吩陔娮邮聲?huì)漂移和損傷多次采集的圖像未必能完美對(duì)齊但真實(shí)數(shù)據(jù)的泛化價(jià)值是純模擬數(shù)據(jù)比不了的。我拿到項(xiàng)目的第一時(shí)間檢查了數(shù)據(jù)集目錄的組織方式。建議嚴(yán)格按train/、val/、test/三個(gè)子目錄存放每個(gè)子目錄下再分noisy和clean兩個(gè)文件夾不要圖省事全部堆在根目錄下面。項(xiàng)目代碼在數(shù)據(jù)加載階段會(huì)按固定的目錄名稱匹配圖像對(duì)文件名對(duì)不上或者目錄結(jié)構(gòu)不對(duì)第一個(gè)epoch就會(huì)報(bào)錯(cuò)或者數(shù)據(jù)量為零這種低級(jí)錯(cuò)誤浪費(fèi)的時(shí)間往往比調(diào)模型還多。3. 從壓縮包到跑通實(shí)驗(yàn)完整實(shí)操記錄3.1 環(huán)境搭建這四件事沒做對(duì)后面全是淚拿到zip后的第一件事很多人習(xí)慣性雙擊解壓然后立刻打開notebook開跑這是最容易翻車的環(huán)節(jié)。我的建議是嚴(yán)格按以下順序操作。先創(chuàng)建獨(dú)立的conda環(huán)境這一步能省掉后面無(wú)數(shù)的心力交瘁conda create -n tem-nlnet python3.8 conda activate tem-nlnet接著安裝PyTorch。注意不要直接pip install torch完事先到PyTorch官網(wǎng)根據(jù)自己的CUDA版本生成正確的安裝命令。我的機(jī)器是CUDA 11.8用conda安裝比較省心conda install pytorch torchvision torchaudio pytorch-cuda11.8 -c pytorch -c nvidia然后安裝項(xiàng)目依賴。打開壓縮包里的requirements.txt先看版本要求再裝。如果里面沒有細(xì)鎖版本號(hào)我建議統(tǒng)一裝這些pip install numpy scipy matplotlib tensorboard tqdm opencv-python最后一步經(jīng)常被人忽略——驗(yàn)證GPU和CUDA環(huán)境是否正常import torch print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))打印出顯卡型號(hào)而不是False再開始跑訓(xùn)練。這一步花兩分鐘能在后面省兩小時(shí)排查時(shí)間。3.2 目錄結(jié)構(gòu)檢查與數(shù)據(jù)準(zhǔn)備解壓之后不要急著跑train.py先把項(xiàng)目整體結(jié)構(gòu)看一遍。典型的項(xiàng)目目錄應(yīng)該是這樣的TEM-NLnet/ ├── models/ # 網(wǎng)絡(luò)結(jié)構(gòu)定義 ├── data/ # 數(shù)據(jù)加載與預(yù)處理 ├── train.py # 訓(xùn)練入口 ├── test.py # 推理入口 ├── utils/ # 工具函數(shù) ├── checkpoints/ # 模型權(quán)重保存目錄 └── configs/ # 配置文件數(shù)據(jù)準(zhǔn)備階段我習(xí)慣在項(xiàng)目根目錄下創(chuàng)建一個(gè)dataset文件夾里面放好train、val、test三個(gè)子目錄每個(gè)子目錄里是noisy和clean兩個(gè)文件夾。如果用合成噪聲可以用項(xiàng)目自帶的腳本或者自己寫一個(gè)簡(jiǎn)單的加噪腳本生成數(shù)據(jù)。我測(cè)試時(shí)用的是一組模擬數(shù)據(jù)模擬參數(shù)設(shè)為泊松噪聲強(qiáng)度均值在10到50之間隨機(jī)采樣高斯噪聲的標(biāo)準(zhǔn)差在0到15之間隨機(jī)采樣這樣覆蓋的噪聲范圍更廣訓(xùn)練出的模型對(duì)不同劑量條件都有一定魯棒性。3.3 訓(xùn)練流程關(guān)鍵參數(shù)與日志監(jiān)控檢查點(diǎn)保存策略也需要注意。項(xiàng)目默認(rèn)每個(gè)epoch都保存一次權(quán)重這個(gè)習(xí)慣不太好磁盤空間很快就會(huì)被填滿。我改成每5個(gè)epoch保存一次同時(shí)保留驗(yàn)證集上PSNR最高的那個(gè)權(quán)重單獨(dú)存一份best.pth。后面測(cè)試、寫論文做對(duì)比實(shí)驗(yàn)都用best.pth能保證報(bào)告的數(shù)據(jù)是模型真實(shí)最優(yōu)表現(xiàn)而不是隨便挑了一個(gè)中間狀態(tài)。訓(xùn)練啟動(dòng)命令大致如下python train.py --data_dir dataset --batch_size 16 --lr 1e-4 --epochs 100 --patch_size 64 --save_dir checkpoints至于batch size怎么定顯存需求可以粗略估算一下64×64的patch輸入16的batch size用一張12GB顯存的卡訓(xùn)練U-Net結(jié)構(gòu)的網(wǎng)絡(luò)基本是極限如果顯存不夠優(yōu)先把batch size降到8再考慮減小patch size盡量不要?jiǎng)虞斎氤叽缫驗(yàn)椴眉舫叽缰苯雨P(guān)聯(lián)到網(wǎng)絡(luò)有效感受野的匹配。訓(xùn)練過(guò)程中我習(xí)慣用tensorboard查看loss曲線和驗(yàn)證集指標(biāo)tensorboard --logdir logs正常的訓(xùn)練曲線應(yīng)該是頭幾個(gè)epoch快速下降隨后進(jìn)入緩慢下降期驗(yàn)證集PSNR先升后穩(wěn)。如果看到驗(yàn)證集PSNR升到某個(gè)點(diǎn)后開始下降而訓(xùn)練集loss還在降這就是過(guò)擬合信號(hào)解決辦法是增加數(shù)據(jù)增強(qiáng)或者把模型容量減小一點(diǎn)。3.4 推理與結(jié)果可視化訓(xùn)練結(jié)束后用訓(xùn)練好的模型跑測(cè)試集的標(biāo)準(zhǔn)命令大致是python test.py --checkpoint checkpoints/best.pth --input dataset/test/noisy --output results/denoised這個(gè)腳本會(huì)把每張?jiān)肼晥D輸進(jìn)去輸出對(duì)應(yīng)的去噪圖同時(shí)計(jì)算與干凈圖之間的PSNR和SSIM最終打印平均指標(biāo)。跑完推理不要只盯著指標(biāo)數(shù)字一定要把去噪結(jié)果和原圖放在一起做視覺對(duì)比。我之前吃過(guò)虧一套參數(shù)在PSNR上比對(duì)比方法高出0.5dB但一看圖晶格條紋的邊緣全部被磨圓了這種結(jié)果拿去給搞材料的合作者看人家一眼就知道不能用。4. 調(diào)參經(jīng)驗(yàn)與論文實(shí)驗(yàn)的銜接4.1 關(guān)鍵超參數(shù)的影響區(qū)間與調(diào)整思路我花了不少時(shí)間在這幾個(gè)超參數(shù)上做實(shí)驗(yàn)。patch size是第一個(gè)值得調(diào)的參數(shù)。我對(duì)比過(guò)32、64、128三種取值32的效果明顯偏差因?yàn)樯舷挛男畔⒉粔蚓W(wǎng)絡(luò)學(xué)不到足夠的非局部相關(guān)性128的效果最好但訓(xùn)練時(shí)間翻倍顯存占用也暴漲64是性價(jià)比最高的折中方案大部分實(shí)驗(yàn)室配置都能接受。學(xué)習(xí)率是第二個(gè)重點(diǎn)。固定用1e-4雖然不會(huì)錯(cuò)但如果你想榨干模型性能可以試一下warmup策略前5個(gè)epoch用1e-5熱身讓網(wǎng)絡(luò)參數(shù)先穩(wěn)定下來(lái)之后切到1e-4正常訓(xùn)練后期再用余弦退火降到1e-6以下。我實(shí)測(cè)這個(gè)策略在收斂速度和最終精度上都有提升。噪聲水平估計(jì)是第三個(gè)容易被忽視的參數(shù)。如果測(cè)試圖的噪聲強(qiáng)度和訓(xùn)練數(shù)據(jù)差得太遠(yuǎn)模型表現(xiàn)會(huì)明顯退化。最直接的辦法是訓(xùn)練時(shí)做噪聲增強(qiáng)每一輪迭代都重新隨機(jī)采樣噪聲參數(shù)這樣模型學(xué)會(huì)了適應(yīng)一個(gè)范圍的噪聲水平而不是死記硬背某一個(gè)強(qiáng)度。4.2 評(píng)估指標(biāo)論文里怎么放才好看又嚴(yán)謹(jǐn)寫論文時(shí)去噪效果的評(píng)估通常是兩個(gè)層面。量化指標(biāo)層面PSNR和SSIM是標(biāo)配如果處理的是模擬數(shù)據(jù)的測(cè)試集這兩個(gè)指標(biāo)直接和對(duì)比方法列在同一個(gè)表格里即可。但必須說(shuō)清楚的是PSNR高不代表結(jié)構(gòu)保真度好因此第二個(gè)層面一定要有視覺對(duì)比圖和下游任務(wù)驗(yàn)證。我在論文實(shí)驗(yàn)部分放了三種圖第一行是原始噪聲圖第二行是從各種對(duì)比方法BM3D、DnCNN、NLM等的輸出最后一行是TEM-NLnet的結(jié)果。關(guān)鍵是要選一個(gè)具有代表性的區(qū)域放大比如包含顆粒邊界或晶格條紋的區(qū)域讓審稿人一眼就能看出細(xì)節(jié)保留上的差別。同時(shí)補(bǔ)充一組下游任務(wù)指標(biāo)比如在去噪前后分別做顆粒邊界分割計(jì)算分割精度的提升幅度這種“去噪增益”的量化方式往往比單純PSNR更有說(shuō)服力。另外不要忘了在同一訓(xùn)練集上關(guān)閉non-local模塊跑一個(gè)消融對(duì)比直接在表格里給出完整版與去掉NL模塊版本的PSNR差值這個(gè)數(shù)字就是你在論文里強(qiáng)調(diào)非局部模塊有效性的立論依據(jù)。5. 常見問題排查與避坑心得5.1 網(wǎng)絡(luò)層面對(duì)不上實(shí)際復(fù)現(xiàn)中報(bào)錯(cuò)最多的就是維度問題。用自定義數(shù)據(jù)訓(xùn)練時(shí)圖像的通道數(shù)、分辨率、歸一化范圍只要和預(yù)訓(xùn)練設(shè)置不一致網(wǎng)絡(luò)forward過(guò)程里就會(huì)出現(xiàn)維度不匹配。排查辦法很簡(jiǎn)單寫一個(gè)最小測(cè)試腳本構(gòu)造一張隨機(jī)噪聲圖前向跑一次你的網(wǎng)絡(luò)打印每一層的輸出shape一眼就能定位問題在哪一層。5.2 損失不下降和訓(xùn)練不穩(wěn)定如果loss一開始就不降或直接變成NaN第一反應(yīng)查學(xué)習(xí)率是否過(guò)大把學(xué)習(xí)率調(diào)低一個(gè)數(shù)量級(jí)再看。如果用的是只是L1損失還出現(xiàn)NaN那就要查數(shù)據(jù)里是不是混入了異常數(shù)值比如歸一化后出現(xiàn)了inf或者超大的像素值。訓(xùn)練到中期loss開始震蕩通常是batch size太小導(dǎo)致的梯度噪聲偏大增大batch size或者降低學(xué)習(xí)率都能緩解。5.3 壓縮包本身的常見坑還有一個(gè)容易被忽視的坑出在zip文件層面。如果解壓時(shí)報(bào)錯(cuò)“invalid zip archive: could not find eocd”說(shuō)明壓縮包不完整或者下載過(guò)程中文件損壞重新下載一遍基本能解決。解壓出的代碼文件名里如果有中文或空格會(huì)導(dǎo)致部分Linux環(huán)境的Python解釋器讀取路徑失敗運(yùn)行前把所有目錄改為全英文小寫。Windows下解壓Linux用戶打包的zip經(jīng)常出現(xiàn)腳本沒有可執(zhí)行權(quán)限的問題解決辦法是進(jìn)入項(xiàng)目目錄后執(zhí)行chmod x *.sh或者干脆全用python調(diào)用避免直接運(yùn)行shell腳本。最后如果從Github下載的zip想轉(zhuǎn)成git倉(cāng)庫(kù)做版本管理需要在解壓目錄執(zhí)行g(shù)it init和git add .再關(guān)聯(lián)遠(yuǎn)程倉(cāng)庫(kù)不然后面做代碼改動(dòng)時(shí)完全沒有版本回退能力。5.4 顯存不足和推理速度慢訓(xùn)練時(shí)顯存不夠的常規(guī)解法是梯度累積。設(shè)置accumulation_steps參數(shù)比如batch size從16降到4但每4個(gè)batch再更新一次梯度效果等效于batch size為16顯存占用卻減少了四分之三。推理速度方面dark channel和過(guò)度復(fù)雜的計(jì)算圖會(huì)拖慢速度如果只是做單圖去噪可以先用torch.no_grad()再在可能的地方合并卷積和歸一化層。實(shí)測(cè)下來(lái)合并層后推理速度大約能提升百分之三十對(duì)于需要處理大量顯微圖像的材料研究人員來(lái)說(shuō)這個(gè)優(yōu)化相當(dāng)救命。5.5 復(fù)現(xiàn)結(jié)果不如論文的排查方向到這里基本每條路線都趟過(guò)一遍了。最后再分享一個(gè)我自己的習(xí)慣。拿到任何論文代碼壓縮包第一件事不是直接開跑而是花二十分鐘通讀README、requirements.txt和模型定義文件把網(wǎng)絡(luò)結(jié)構(gòu)里的關(guān)鍵模塊在紙上畫一遍草稿圖標(biāo)清楚每個(gè)階段特征圖的尺寸變化和通道數(shù)。這一步看起來(lái)費(fèi)時(shí)間但它能幫你建立對(duì)整個(gè)模型運(yùn)算流程的完整認(rèn)知后續(xù)無(wú)論是調(diào)參、換數(shù)據(jù)集還是加模塊都有明確的方向感。如果在測(cè)試集上的指標(biāo)和你預(yù)期差很多也不要急著懷疑代碼有bug。先確認(rèn)自己用的數(shù)據(jù)歸一化方式和論文一致不有的論文用[-1, 1]范圍有的用[0, 1]范圍同一張圖兩種歸一化的PSNR計(jì)算值會(huì)有明顯差異。然后把測(cè)試集單獨(dú)拿出來(lái)在同一個(gè)torch.seed下多次推理取平均結(jié)果排除隨機(jī)性因素。最后再檢查你的對(duì)比方法是否用了公平的評(píng)估設(shè)置——不少論文里的對(duì)比實(shí)驗(yàn)會(huì)花很大精力調(diào)對(duì)比方法的參數(shù)你復(fù)現(xiàn)時(shí)如果直接拿默認(rèn)參數(shù)去比性能偏低是完全正常的。這個(gè)項(xiàng)目里non-local模塊的設(shè)計(jì)思路除了透射電鏡圖像直接遷移到掃描電鏡和熒光顯微圖像上也能看到明顯收益。希望大家拿到這個(gè)壓縮包以后能順利跑通實(shí)驗(yàn)把更多時(shí)間花在研究想法本身而不是折騰環(huán)境。本文還有配套的精品資源點(diǎn)擊獲取