簡(jiǎn)介面向神經(jīng)網(wǎng)絡(luò)初學(xué)者的 MATLAB 算法練習(xí)包聚焦實(shí)現(xiàn)從網(wǎng)絡(luò)搭建、訓(xùn)練到預(yù)測(cè)的完整流程。包內(nèi)提供 12 個(gè)文件涵蓋 .m 腳本、.mat 數(shù)據(jù)文件和 .xlsx 表格數(shù)據(jù)整體僅 1.07MB便于快速下載運(yùn)行。程序由基礎(chǔ)網(wǎng)絡(luò)示例、自定義網(wǎng)絡(luò)模型、數(shù)據(jù)預(yù)處理及時(shí)間序列預(yù)測(cè)等模塊組成其中權(quán)重初始化、前向傳播、反向傳播、Sigmoid/ReLU 激活函數(shù)和梯度下降優(yōu)化均有相應(yīng)實(shí)現(xiàn)附帶的多組數(shù)據(jù)以 MAT 數(shù)組和 Excel 表格形式存放支持訓(xùn)練、測(cè)試與對(duì)比分析。通過反復(fù)調(diào)試這些代碼讀者可同步熟悉數(shù)據(jù)清洗、歸一化、特征選擇以及損失函數(shù)計(jì)算、準(zhǔn)確率評(píng)估、交叉驗(yàn)證等關(guān)鍵環(huán)節(jié)有助于將算法遷移到圖像分類、文本情感分析、回歸預(yù)測(cè)等實(shí)際任務(wù)。已有 2173 人學(xué)習(xí)適合希望通過實(shí)戰(zhàn)掌握神經(jīng)網(wǎng)絡(luò)原理并快速上手的入門讀者。 說實(shí)話每次發(fā)MATLAB寫神經(jīng)網(wǎng)絡(luò)的帖子評(píng)論區(qū)總有人問同一句話都這年頭了為什么不用Python這個(gè)問題我理解但問這話的人多半沒經(jīng)歷過這些場(chǎng)景手里已經(jīng)有一套Simulink的機(jī)電系統(tǒng)模型老板讓你把故障診斷精度從80%提到95%手頭剛拿到一批振動(dòng)信號(hào)數(shù)據(jù)想當(dāng)天驗(yàn)證一個(gè)新想法結(jié)果裝環(huán)境就折騰了一下午你學(xué)控制或通信出身寫慣了矩陣運(yùn)算突然要學(xué)張量、DataLoader、設(shè)備上下文這一整套第一反應(yīng)就是煩。我的選擇很明確做算法驗(yàn)證、做科研復(fù)現(xiàn)、配合Simulink做聯(lián)合仿真MATLAB依然是效率最高的工具之一。Python生態(tài)確實(shí)強(qiáng)但MATLAB的Deep Learning Toolbox這些年進(jìn)步遠(yuǎn)比很多人印象中快而且它有一個(gè)無可替代的優(yōu)勢(shì)——矩陣寫出來就是程序網(wǎng)絡(luò)結(jié)構(gòu)畫出來就是模型從數(shù)據(jù)加載到訓(xùn)練曲線再到結(jié)果可視化的鏈路天然閉環(huán)。這條路線適合誰我總結(jié)三類人第一類是科研人員論文里的公式想快速驗(yàn)證而不是把精力耗在工程細(xì)節(jié)上第二類是傳統(tǒng)工科從業(yè)者機(jī)械、控制、通信、電力方向本來就在MATLAB生態(tài)里干活新需求沒必要再引一套Python環(huán)境第三類是教學(xué)場(chǎng)景給學(xué)生講神經(jīng)網(wǎng)絡(luò)MATLAB的交互式腳本和實(shí)時(shí)可視化能極大拉低理解門檻。工具是給人服務(wù)的不是用來站隊(duì)的。下面從零開始把在MATLAB里實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)算法的完整路徑講清楚先手寫核心代碼理解原理再用工具箱快速解決工程問題最后復(fù)盤那些動(dòng)輒就踩的坑。1. 先從零手寫一個(gè)前饋神經(jīng)網(wǎng)絡(luò)公式、代碼與驗(yàn)證很多人一上來就是trainNetwork一把梭網(wǎng)絡(luò)是訓(xùn)出來了但問他一句反向傳播到底在算什么就卡殼了。我建議不管以后用什么工具至少手寫一次前饋神經(jīng)網(wǎng)絡(luò)FNN這是理解后面所有深度模型——CNN、RNN、Transformer——的基石。1.1 網(wǎng)絡(luò)結(jié)構(gòu)與前向傳播一個(gè)三層前饋網(wǎng)絡(luò)輸入層-隱藏層-輸出層的前向傳播就四個(gè)式子z1 X * W1 b1 a1 σ(z1) z2 a1 * W2 b2 a2 σ(z2)輸入樣本X經(jīng)過權(quán)重矩陣W1和偏置b1線性變換再過激活函數(shù)σ得到隱藏層輸出a1a1繼續(xù)經(jīng)過W2、b2和輸出層激活得到最終預(yù)測(cè)a2。隱藏層激活函數(shù)常用ReLU或sigmoid二分類輸出層用sigmoid多分類則用softmax。1.2 反向傳播不過就是鏈?zhǔn)椒▌t反向傳播的本質(zhì)是從輸出層的誤差出發(fā)按鏈?zhǔn)椒▌t把梯度一層層傳回去算出每個(gè)權(quán)重對(duì)總誤差的貢獻(xiàn)再用梯度下降更新。對(duì)輸出層δ2 (a2 - y) .* σ(z2)對(duì)隱藏層δ1 (δ2 * W2) .* σ(z1)權(quán)重更新規(guī)則W W - lr * (X * δ) / N其中l(wèi)r是學(xué)習(xí)率N是樣本數(shù)這里做了批量平均.*是逐元素乘。整個(gè)過程沒有任何玄學(xué)就是一個(gè)循環(huán)套著鏈?zhǔn)角髮?dǎo)。1.3 完整MATLAB實(shí)現(xiàn)MATLAB寫這個(gè)極其順手因?yàn)榫仃嚤磉_(dá)和公式幾乎一一對(duì)應(yīng)% 手寫三層前饋神經(jīng)網(wǎng)絡(luò) - 二分類示例 rng(42); % 生成兩類數(shù)據(jù) X [randn(50,2)*0.5 [1 1]; randn(50,2)*0.5 [-1 -1]]; Y [ones(50,1); zeros(50,1)]; % 網(wǎng)絡(luò)結(jié)構(gòu): 2-4-1 inputSize 2; hiddenSize 4; outputSize 1; % He初始化權(quán)重 W1 randn(inputSize, hiddenSize) * sqrt(2/inputSize); b1 zeros(1, hiddenSize); W2 randn(hiddenSize, outputSize) * sqrt(2/hiddenSize); b2 zeros(1, outputSize); % sigmoid及其導(dǎo)數(shù) sigmoid (z) 1 ./ (1 exp(-z)); sigmoidPrime (z) sigmoid(z) .* (1 - sigmoid(z)); % 訓(xùn)練參數(shù) lr 0.1; epochs 2000; lossHistory zeros(epochs, 1); for epoch 1:epochs % 前向傳播 Z1 X * W1 b1; A1 sigmoid(Z1); Z2 A1 * W2 b2; A2 sigmoid(Z2); % 損失: 均方誤差 loss mean((A2 - Y).^2); lossHistory(epoch) loss; % 反向傳播 dZ2 (A2 - Y) .* sigmoidPrime(Z2); dW2 A1 * dZ2 / size(X,1); db2 mean(dZ2, 1); dA1 dZ2 * W2; dZ1 dA1 .* sigmoidPrime(Z1); dW1 X * dZ1 / size(X,1); db1 mean(dZ1, 1); % 梯度下降更新 W2 W2 - lr * dW2; b2 b2 - lr * db2; W1 W1 - lr * dW1; b1 b1 - lr * db1; end % 繪制損失曲線 figure; plot(lossHistory, LineWidth, 1.5); xlabel(Epoch); ylabel(Loss); title(手寫B(tài)P網(wǎng)絡(luò)訓(xùn)練損失); % 測(cè)試 testX [0.8 0.8; -0.8 -0.8]; Z1_t testX * W1 b1; A1_t sigmoid(Z1_t); pred sigmoid(A1_t * W2 b2); disp(預(yù)測(cè)結(jié)果:); disp(pred);這段代碼跑通后我能明顯感覺到幾個(gè)關(guān)鍵細(xì)節(jié)的重要性權(quán)重初始化不要全零或太大這里用He初始化sqrt(2/fan_in)有效緩解梯度消失和梯度爆炸。輸出層梯度里必須乘上sigmoidPrime(Z2)很多人手寫時(shí)漏掉這一項(xiàng)結(jié)果網(wǎng)絡(luò)怎么訓(xùn)都不收斂。數(shù)據(jù)要?dú)w一化原始數(shù)據(jù)尺度差異大時(shí)loss曲線會(huì)抖得沒法看先歸一化再訓(xùn)練是鐵律。我的建議是別急著往下看先把這個(gè)例子在MATLAB里跑通改一改學(xué)習(xí)率、隱層節(jié)點(diǎn)數(shù)觀察loss曲線的變化規(guī)律。這個(gè)手感比看十篇教程都管用。2. 工具箱實(shí)戰(zhàn)CNN手寫數(shù)字識(shí)別的完整流程手寫代碼讓你理解原理工程落地還是要靠工具箱。Deep Learning Toolbox里最經(jīng)典的上手例子就是基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別這個(gè)例子我從入門用到現(xiàn)在強(qiáng)烈推薦大家完整走一遍。2.1 數(shù)據(jù)準(zhǔn)備內(nèi)置數(shù)據(jù)集是真省心MATLAB內(nèi)置了digitTrain4DArrayData和digitTest4DArrayData直接加載即可不用自己上網(wǎng)下數(shù)據(jù)集、做格式轉(zhuǎn)換、寫歸一化腳本這就省掉了新手入門時(shí)的第一道坎% 加載訓(xùn)練和測(cè)試數(shù)據(jù) [trainImages, trainLabels] digitTrain4DArrayData; [testImages, testLabels] digitTest4DArrayData; % 查看數(shù)據(jù)維度 disp(size(trainImages)); % 5000x28x28x1, 5000張28x28單通道圖片 disp(size(trainLabels)); % 5000x1, 標(biāo)簽trainImages是5000張28x28的單通道灰度圖存儲(chǔ)格式是HxWxCxN高、寬、通道、樣本數(shù)這個(gè)維度順序和Python里NCHW不同剛開始容易搞混MATLAB用的是HWCN定義網(wǎng)絡(luò)層時(shí)imageInputLayer([28 28 1])就和它對(duì)應(yīng)。動(dòng)手前先size一下確認(rèn)維度這個(gè)習(xí)慣能救你命。2.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)為什么是卷-池-全連接手寫數(shù)字識(shí)別用CNN而不是前饋網(wǎng)絡(luò)核心原因是圖像是二維結(jié)構(gòu)全連接層會(huì)把像素拉平、丟失空間相鄰關(guān)系。我常用的一個(gè)緊湊結(jié)構(gòu)layers [ imageInputLayer([28 28 1]) convolution2dLayer(3, 8, Padding, same) batchNormalizationLayer reluLayer maxPooling2dLayer(2, Stride, 2) convolution2dLayer(3, 16, Padding, same) batchNormalizationLayer reluLayer maxPooling2dLayer(2, Stride, 2) fullyConnectedLayer(10) softmaxLayer classificationLayer ];這個(gè)結(jié)構(gòu)每個(gè)模塊的用意convolution2dLayer(3, 8, Padding, same)3x3卷積核8個(gè)濾波器Paddingsame保持特征圖尺寸不變。卷積核越小、層數(shù)越深參數(shù)越少、非線性擬合能力越強(qiáng)。batchNormalizationLayer每一批數(shù)據(jù)做歸一化能容忍更大的學(xué)習(xí)率收斂明顯加快。加了BN之后我經(jīng)常把初始學(xué)習(xí)率直接設(shè)成0.01甚至0.05。maxPooling2dLayer(2, Stride, 2)2x2最大池化下采樣一半增大感受野的同時(shí)減少后面全連接層的參數(shù)。最后接fullyConnectedLayer(10)10個(gè)數(shù)字類別softmaxLayerclassificationLayer分類損失層。2.3 訓(xùn)練選項(xiàng)learning rate和mini-batch怎么配options trainingOptions(adam, ... MaxEpochs, 10, ... MiniBatchSize, 128, ... InitialLearnRate, 1e-3, ... Shuffle, every-epoch, ... Plots, training-progress, ... Verbose, true);訓(xùn)練選項(xiàng)的幾個(gè)坑InitialLearnRate用Adam時(shí)1e-3是保守穩(wěn)妥的起點(diǎn)想在BN加持下加速可以試0.01但要盯著loss曲線漲了趕緊降。**Shuffle**務(wù)必設(shè)成every-epoch每個(gè)epoch重新打亂樣本順序。不設(shè)的話模型會(huì)學(xué)到數(shù)據(jù)排列順序表現(xiàn)是訓(xùn)練集acc很高、測(cè)試集跳水。**Plots, training-progress**是MATLAB最貼心的功能實(shí)時(shí)畫出訓(xùn)練和驗(yàn)證曲線。我在后臺(tái)跑實(shí)驗(yàn)時(shí)就靠它判斷要不要提前停。訓(xùn)練完成后評(píng)估代碼就三行YPred classify(net, testImages); accuracy mean(YPred testLabels); disp([測(cè)試集準(zhǔn)確率: , num2str(accuracy*100, %.2f), %]);我跑出來的結(jié)果一般在98%~99%以上。第一次跑到這個(gè)數(shù)字時(shí)那種成就感跟手寫B(tài)P完全不是一個(gè)量級(jí)——工具箱把GPU自動(dòng)調(diào)用、數(shù)據(jù)打亂、梯度裁剪全部封裝好了你只需專注在結(jié)構(gòu)設(shè)計(jì)和調(diào)參上。這里有個(gè)細(xì)節(jié)classify(net, X)輸出的是categorical類型和testLabels也是categorical逐元素比較就行不用自己寫循環(huán)。3. 帶時(shí)序的模型vanilla RNN與Hopfield網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)很多人以為MATLAB只能做CNN和普通擬合其實(shí)時(shí)序模型和經(jīng)典神經(jīng)網(wǎng)絡(luò)它在行得很。熱搜詞里高頻出現(xiàn)標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)核心公式和Hopfield神經(jīng)網(wǎng)絡(luò)這兩個(gè)恰好是兩類非常值得自己動(dòng)手實(shí)現(xiàn)的模型。3.1 vanilla RNN的核心公式標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)在時(shí)間步t的隱藏狀態(tài)更新就兩個(gè)式子h(t) tanh(W_hh * h(t-1) W_xh * x(t) b_h) y(t) W_hy * h(t) b_yh(t)是當(dāng)前時(shí)刻的隱藏狀態(tài)由上一時(shí)刻的h(t-1)和當(dāng)前輸入x(t)共同決定。激活函數(shù)選tanh而不是sigmoid是因?yàn)閠anh輸出范圍是[-1,1]梯度更平穩(wěn)能一定程度緩解梯度消失。理解這個(gè)公式后再看任何RNN變體——LSTM、GRU——都能秒懂它們只是在如何更新隱藏狀態(tài)上加了門控機(jī)制。MATLAB實(shí)現(xiàn)vanilla RNN的時(shí)間步循環(huán)代碼非常直觀% 參數(shù)設(shè)置 inputSize 5; hiddenSize 8; outputSize 1; T 20; % 時(shí)間步數(shù) N 1; % 樣本數(shù) % 初始化 Whh randn(hiddenSize, hiddenSize) * 0.01; Wxh randn(inputSize, hiddenSize) * 0.01; Why randn(hiddenSize, outputSize) * 0.01; bh zeros(1, hiddenSize); by zeros(1, outputSize); % 模擬輸入序列 X randn(N, inputSize, T); h zeros(N, hiddenSize); Y zeros(N, outputSize, T); for t 1:T x_t X(:, :, t); h tanh(h * Whh x_t * Wxh bh); % 隱藏狀態(tài)更新 Y(:, :, t) h * Why by; % 輸出 end注意這里的矩陣方向我習(xí)慣用樣本數(shù) x 特征數(shù)布局所以隱藏狀態(tài)更新寫成h * Whh而不是教科書里常見的Whh * h。MATLAB里矩陣乘法方向一定要和你的數(shù)據(jù)layout保持一致手寫公式和代碼對(duì)應(yīng)不上的時(shí)候八成就是這里轉(zhuǎn)置沒轉(zhuǎn)對(duì)。在實(shí)際訓(xùn)練RNN時(shí)工具箱里有l(wèi)stmLayer、gruLayer這些封裝但建議先手寫幾次vanilla RNN的前向和反向體會(huì)參數(shù)在每一時(shí)間步共享這一點(diǎn)。你會(huì)對(duì)梯度隨時(shí)間步連乘導(dǎo)致消失/爆炸的問題有切膚之痛之后再看梯度裁剪gradientThreshold就完全明白了。3.2 Hopfield網(wǎng)絡(luò)聯(lián)想記憶的MATLAB實(shí)現(xiàn)Hopfield網(wǎng)絡(luò)是一個(gè)讓我印象很深的模型它不走前向-反向的老路而是靠能量函數(shù)最小化來實(shí)現(xiàn)聯(lián)想記憶。核心思想是把要記憶的模式存進(jìn)權(quán)重矩陣之后給一個(gè)殘缺或帶噪聲的輸入網(wǎng)絡(luò)會(huì)通過狀態(tài)更新逐步把它修正回最接近的存儲(chǔ)模式。權(quán)重學(xué)習(xí)規(guī)則Hebb規(guī)則W sum(模式 * 模式) / N 對(duì)角線置零狀態(tài)更新s_new sign(W * s_old - b)MATLAB寫一個(gè)簡(jiǎn)單的Hopfield聯(lián)想記憶程序% 定義兩個(gè)要記憶的8bit模式 p1 [1 1 1 1 -1 -1 -1 -1]; p2 [1 1 -1 -1 1 1 -1 -1]; patterns [p1; p2]; % Hebb學(xué)習(xí)規(guī)則 N length(p1); W zeros(N, N); for i 1:size(patterns,1) p patterns(i,:); W W p * p; end W W / size(patterns,1); W(eye(N)1) 0; % 對(duì)角線置零防止自反饋 % 給一個(gè)帶噪聲的測(cè)試輸入 test [1 1 1 -1 -1 -1 -1 -1]; % p1的一半翻轉(zhuǎn) current test; % 異步更新直到收斂 for iter 1:10 idx mod(iter, N) 1; % 每次更新一個(gè)神經(jīng)元 newVal sign(W(idx,:) * current); current(idx) newVal; if isequal(current, p1) || isequal(current, p2) break; end end disp(恢復(fù)結(jié)果:); disp(current);兩個(gè)要點(diǎn)Hopfield的權(quán)重矩陣是對(duì)稱且對(duì)角線為零這是能量函數(shù)收斂的前提狀態(tài)更新可以用同步所有神經(jīng)元同時(shí)更新或異步逐個(gè)更新異步更新更能保證穩(wěn)定收斂但速度慢。跑這個(gè)程序時(shí)我犯過一次錯(cuò)把p直接當(dāng)列向量用導(dǎo)致p*p算錯(cuò)方向恢復(fù)出來的模式完全不對(duì)。后來養(yǎng)成習(xí)慣寫代碼前先在草稿紙上把p寫成行向量還是列向量定下來這個(gè)習(xí)慣幫我避免了很多類似問題。4. 手寫、工具箱、預(yù)訓(xùn)練遷移三條路線怎么選經(jīng)常有讀者問我該手寫代碼還是直接用工具箱我的回答是取決于你要交付什么。用一張表說明白路線適合場(chǎng)景優(yōu)點(diǎn)缺點(diǎn)純手寫自定義訓(xùn)練循環(huán)理解原理、發(fā)表算法論文、實(shí)現(xiàn)工具箱沒有的模型完全可控可以逐層打印梯度調(diào)試開發(fā)慢要自己處理GPU、數(shù)據(jù)打亂等工具箱trainNetwork/dlnetwork標(biāo)準(zhǔn)CNN、LSTM、分類回歸任務(wù)幾行代碼出結(jié)果內(nèi)置可視化、早停、GPU加速結(jié)構(gòu)固定改一個(gè)細(xì)節(jié)可能很費(fèi)勁預(yù)訓(xùn)練模型遷移學(xué)習(xí)圖像分類樣本少、特征提取任務(wù)數(shù)據(jù)量小時(shí)效果最好訓(xùn)練時(shí)間短依賴預(yù)訓(xùn)練模型與任務(wù)的匹配度我給三類人的具體建議學(xué)生、剛?cè)腴T先手寫B(tài)P和vanilla RNN跑通后立刻用工具箱做CNN手寫數(shù)字識(shí)別。對(duì)比兩種方式在代碼量和訓(xùn)練速度上的差異你會(huì)對(duì)框架做了什么框架沒做什么有清晰認(rèn)識(shí)?？蒲腥藛T核心是自己設(shè)計(jì)損失函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)或訓(xùn)練算法時(shí)走dlnetworktrainNetwork自定義訓(xùn)練循環(huán)路線。dlnetwork支持自定義前向傳播和損失函數(shù)靈活性和PyTorch接近而且能直接利用MATLAB的自動(dòng)微分。工程落地直接用工具箱最成熟的接口把精力放在數(shù)據(jù)質(zhì)量和特征工程上。我的經(jīng)驗(yàn)是神經(jīng)網(wǎng)絡(luò)在工業(yè)場(chǎng)景里數(shù)據(jù)質(zhì)量對(duì)最終效果的影響遠(yuǎn)大于模型結(jié)構(gòu)那點(diǎn)差別。遷移學(xué)習(xí)這塊特別提一句如果手上只有幾百?gòu)垐D千萬別從零訓(xùn)練CNN加載googlenet或resnet18截?cái)嘧詈笠粚訐Q成自己的分類層用options里的InitialLearnRate調(diào)小一點(diǎn)1e-4左右做微調(diào)幾分鐘就能拿到一個(gè)可用的分類器。這是MATLAB里被我用到最多的功能之一沒有之一。5. 訓(xùn)練不收斂我按這個(gè)順序排查模型訓(xùn)練出問題90%的情況下不是網(wǎng)絡(luò)不夠深而是下面這五個(gè)方向之一。我排錯(cuò)從來不動(dòng)腦子亂試而是按固定順序排查第一步看數(shù)據(jù)預(yù)處理。特征有沒有歸一化到[0,1]或零均值單位方差標(biāo)簽和損失函數(shù)是否匹配二分類用sigmoid交叉熵多分類用softmax交叉熵回歸用MSE數(shù)據(jù)維度size是不是HWCN我見過太多人把[5000,784]的矩陣直接喂給imageInputLayer([28 28 1])報(bào)錯(cuò)報(bào)得一頭霧水。第二步檢查學(xué)習(xí)率。學(xué)習(xí)率太大loss會(huì)震蕩甚至變成NaN太小loss下降慢得像蝸牛。我的經(jīng)驗(yàn)法則是先在1e-2到1e-4之間各跑幾十個(gè)epoch對(duì)比loss曲線的下降速度選一個(gè)降得最快但不震蕩的量級(jí)。第三步檢查權(quán)重初始化。全零初始化是個(gè)大坑會(huì)讓隱藏層所有神經(jīng)元輸出完全一樣梯度也相同網(wǎng)絡(luò)上再深也等于一個(gè)神經(jīng)元。隨機(jī)初始化不一定要用復(fù)雜的Xavier/He但randn之后乘一個(gè)0.01的小系數(shù)基本就能避開對(duì)稱性問題。工具箱的trainingOptions里沒有暴露初始化方法但手寫代碼時(shí)務(wù)必注意。第四步加BN、換激活函數(shù)。如果loss卡在某個(gè)值下不去優(yōu)先考慮加batchNormalizationLayer把激活函數(shù)從sigmoid換成ReLU或LeakyReLU。sigmoid在深層網(wǎng)絡(luò)里梯度消失問題太嚴(yán)重ReLU系列在深層表現(xiàn)好得多。我遇到過最典型的情況手寫B(tài)P用sigmoid三層就已經(jīng)訓(xùn)不動(dòng)了換上ReLU之后立刻活過來。第五步觀察過擬合。訓(xùn)練loss還在降、驗(yàn)證loss開始漲這是過擬合的典型信號(hào)。處理手段優(yōu)先級(jí)加數(shù)據(jù)增強(qiáng)圖像左右翻轉(zhuǎn)、隨機(jī)裁剪 加Dropout層dropoutLayer(0.5) 減小網(wǎng)絡(luò)容量 加L2正則化trainingOptions里的L2Regularization。工具箱里Plots設(shè)為training-progress可以同時(shí)看訓(xùn)練和驗(yàn)證曲線兩頭分開的時(shí)間點(diǎn)就是你的最佳早停點(diǎn)。這套排查鏈路我分享過很多次幾乎覆蓋了90%的網(wǎng)絡(luò)不收斂問題。剩下10%的情況——loss先降后升然后NaN——大概率是梯度爆炸把trainingOptions里的GradientThreshold設(shè)成1或2基本能壓住。最后再分享一條個(gè)人心得不管是手寫代碼還是用工具箱每次改動(dòng)只動(dòng)一個(gè)變量把loss曲線截圖留下來對(duì)比。我見過太多人一次改五六個(gè)參數(shù)最后模型好了也不知道是哪個(gè)改動(dòng)起的作用壞了更無從排錯(cuò)。神經(jīng)網(wǎng)絡(luò)調(diào)參就像做實(shí)驗(yàn)控制變量是底線。MATLAB這個(gè)生態(tài)最值錢的地方就是讓我這種傳統(tǒng)工科背景的人不用先去補(bǔ)Python那套工程體系就能把神經(jīng)網(wǎng)絡(luò)這個(gè)工具用起來、用明白。從手寫B(tài)P到CNN識(shí)別從RNN到Hopfield每跑通一個(gè)模型你對(duì)算法這兩個(gè)字的理解都會(huì)比之前更深一層。希望這篇文章能幫你少踩幾個(gè)我踩過的坑把時(shí)間花在真正值得花的地方。本文還有配套的精品資源點(diǎn)擊獲取