簡(jiǎn)介這份資源是MATLAB環(huán)境下按自然順序?qū)ξ募奥窂脚判虻耐暾ぞ甙嫦蛐枰刻幚砦募⒄頂?shù)據(jù)目錄的開(kāi)發(fā)者。它解決傳統(tǒng)字符排序?qū)е隆癴ile10”排在“file2”之前的常見(jiàn)問(wèn)題。包內(nèi)共15個(gè)文件以9個(gè)txt測(cè)試數(shù)據(jù)與說(shuō)明、5個(gè)m函數(shù)源碼、1個(gè)html文檔構(gòu)成壓縮包僅19KB結(jié)構(gòu)清晰。已有238人學(xué)習(xí)。核心natsort.m實(shí)現(xiàn)了數(shù)字識(shí)別與自然比較算法natsortfiles.m擴(kuò)展了路徑處理能力配套測(cè)試腳本覆蓋常規(guī)與邊界情況。讀者既能直接調(diào)用函數(shù)提升效率也可通過(guò)源碼學(xué)習(xí)MATLAB中字符串解析、函數(shù)封裝及測(cè)試驅(qū)動(dòng)開(kāi)發(fā)的實(shí)踐方法適合中初級(jí)用戶參考。 處理文件序列時(shí)你一定遇到過(guò)這種讓人抓狂的排序結(jié)果frame1、frame10、frame2、frame20……明明按直覺(jué)應(yīng)該是frame1、frame2、frame10、frame20可MATLAB的sort函數(shù)卻固執(zhí)地把1、10、2、20排在一起。這個(gè)問(wèn)題的本質(zhì)是sort默認(rèn)采用字典序而不是自然序Natural Order。所謂的NaturalOrderFilenameSort就是把文件名里的數(shù)字段當(dāng)作數(shù)值去比較讓排序結(jié)果更符合人腦的習(xí)慣。今天這篇就專門(mén)聊清楚在MATLAB里如何實(shí)現(xiàn)一個(gè)可靠的自然順序文件名排序以及背后有哪些容易栽進(jìn)去的坑。1. 為什么需要自然排序從sort的排序陷阱說(shuō)起1.1 讓sort“翻車”的文件名長(zhǎng)什么樣最經(jīng)典的反例是圖像序列。你用相機(jī)連拍或者仿真程序輸出了一堆圖片文件名通常是img1.png、img2.png、img3.png……img10.png。直接用MATLAB的sort排一下files {img1.png,img2.png,img3.png,img10.png,img11.png}; sorted sort(files)輸出結(jié)果是img1.png img10.png img11.png img2.png img3.png因?yàn)樽值湫虬醋址鹞槐容^1的ASCII碼比2小所以img10.png里的1先被比較整個(gè)文件就排到了img2.png前面。類似的情況還會(huì)出現(xiàn)在日志文件、測(cè)量數(shù)據(jù)、視頻幀、版本號(hào)列表里凡是“前綴相同、后綴帶數(shù)字”的文件默認(rèn)排序幾乎必定錯(cuò)位。1.2 字典序和人類直覺(jué)的錯(cuò)位要理解這個(gè)問(wèn)題先分清兩個(gè)概念字典序Lexicographic Order和自然序Natural Order。字典序是計(jì)算機(jī)最常用的字符串比較方式從頭開(kāi)始逐字符比較如果第一個(gè)字符相同就比較第二個(gè)直到分出大小。這種規(guī)則適合查單詞、排序姓名但對(duì)包含數(shù)字的文件名非常不友好因?yàn)樗?0當(dāng)成兩個(gè)字符1和0而不是一個(gè)整體數(shù)值。自然序則是人類閱讀時(shí)的排序方式看到連續(xù)的數(shù)字時(shí)自動(dòng)把它當(dāng)作一個(gè)數(shù)字來(lái)比較。img2.png和img10.png比較時(shí)先比較img相同后比較數(shù)字2和10顯然2比10小所以img2.png排在前面。這種能力幾乎是條件反射根本不需要思考。問(wèn)題在于MATLAB官方?jīng)]有內(nèi)置natsort這樣的函數(shù)標(biāo)準(zhǔn)的sort不理解自然序。于是當(dāng)項(xiàng)目里文件數(shù)量一多排序錯(cuò)誤就會(huì)直接導(dǎo)致處理順序混亂。比如按順序合成視頻時(shí)如果幀序列排錯(cuò)了生成出來(lái)的視頻就是跳幀的。1.3 哪些場(chǎng)景離不開(kāi)自然排序自然排序不是花哨功能很多場(chǎng)景下它是硬需求圖像/視頻幀處理需要按拍攝順序或仿真步長(zhǎng)讀取幀順序錯(cuò)了結(jié)果就錯(cuò)了。日志聚合分析log_2024-01-02.txt與log_2024-01-10.txt按字典序會(huì)排成1-02在前、1-10在后嗎實(shí)際上字符串比較中0小于1所以1-02確實(shí)會(huì)在1-10前面但一旦日期天數(shù)超過(guò)9排序結(jié)果就會(huì)和真實(shí)時(shí)間順序交叉混亂。版本號(hào)排序v1.9和v1.10按字典序是v1.10排在v1.9前面但按語(yǔ)義應(yīng)該是v1.9在前。批量重命名給文件加序號(hào)前綴時(shí)必須先確定自然順序否則重命名后順序就亂了。我最早是在做批量圖像處理時(shí)被這個(gè)問(wèn)題卡住的。那次有幾千張幀圖用sort讀入后直接拼接視頻結(jié)果視頻前幾秒還能看后面就開(kāi)始跳幀。排查了半天才意識(shí)到是排序問(wèn)題。從那之后我就養(yǎng)成了在項(xiàng)目里給文件排序必須用自然排序的習(xí)慣。2. 自然排序的核心原理把數(shù)字當(dāng)成數(shù)字來(lái)比2.1 最簡(jiǎn)單的拆分思路要實(shí)現(xiàn)自然排序核心思路只有一句話把字符串拆成若干“字母段”和“數(shù)字段”然后按順序比較數(shù)字段轉(zhuǎn)成數(shù)值比較字母段按普通字符串比較。舉個(gè)例子img10.png可以拆成img10.pngimg2.png拆成img2.png逐段比較時(shí)img和img相同然后比較10和2的數(shù)值2 10所以img2.png排前面。這個(gè)過(guò)程中數(shù)字段被當(dāng)作一個(gè)整體而不是被拆成1和0兩個(gè)字符這就是自然排序的本質(zhì)。在MATLAB里正則表達(dá)式\d|\D可以非常方便地完成這個(gè)拆分。\d匹配連續(xù)的數(shù)字\D匹配連續(xù)的非數(shù)字兩者交替出現(xiàn)正好覆蓋整個(gè)字符串。例如tokens regexp(img10.png, \d|\D, match)返回img 10 .png2.2 數(shù)字段比較的兩種策略拆分之后面臨一個(gè)關(guān)鍵選擇數(shù)字段如何參與排序。策略一直接轉(zhuǎn)數(shù)值再用一個(gè)可排序的鍵代替。把10轉(zhuǎn)成數(shù)值10然后想辦法讓MATLAB比較時(shí)認(rèn)為10大于2。這個(gè)問(wèn)題很常見(jiàn)但MATLAB的sort函數(shù)不支持自定義比較器不能直接傳一個(gè)“先比較這段再比較那段”的規(guī)則。因此通常的做法是構(gòu)造一個(gè)“偽鍵”把數(shù)字段統(tǒng)一格式化成固定寬度的字符串比如把2變成0000000002把10變成0000000010。這樣再按字典序比較時(shí)實(shí)際上就是按數(shù)值大小排序因?yàn)橄嗤L(zhǎng)度下字符0到9的ASCII碼順序正好對(duì)應(yīng)數(shù)字大小。策略二使用外部Java比較器。MATLAB可以調(diào)用Java類理論上可以自己寫(xiě)一個(gè)Comparator類放在javaaddpath里然后用sort的ComparisonMethod配合。但這樣既麻煩又依賴Java環(huán)境還不如直接構(gòu)造鍵來(lái)得穩(wěn)妥。所以實(shí)際工程中我?guī)缀醵加貌呗砸?。?shí)現(xiàn)簡(jiǎn)單純MATLAB代碼跨平臺(tái)不受影響。2.3 大小寫(xiě)、分隔符和擴(kuò)展名怎么處理設(shè)計(jì)自然排序函數(shù)時(shí)需要明確幾個(gè)邊界規(guī)則大小寫(xiě)是否敏感MATLAB的sort默認(rèn)按UTF-16編碼比較大寫(xiě)字母的碼值普遍小于小寫(xiě)字母所以File2.txt會(huì)排在file1.txt前面。自然排序默認(rèn)也應(yīng)區(qū)分大小寫(xiě)保持和MATLAB行為一致。但在實(shí)際項(xiàng)目中文件來(lái)自不同操作系統(tǒng)時(shí)大小寫(xiě)規(guī)則很不統(tǒng)一所以我更建議提供一個(gè)ignorecase選項(xiàng)按需開(kāi)啟。擴(kuò)展名是否參與排序擴(kuò)展名本身也是字符串的一部分應(yīng)該作為“非數(shù)字段”參與比較。比如img10.png和img10.jpg在比較完img和10之后繼續(xù)比較.png和.jpg最終.jpg排在.png前面因?yàn)閖小于p。這是合理的——大多數(shù)場(chǎng)景下我們希望先按主名排序擴(kuò)展名只決定同主名文件的內(nèi)部順序。多個(gè)數(shù)字段怎么辦比如a1b2.txt和a1b10.txt拆分后變成a、1、b、2、.txt以及a、1、b、10、.txt。自然排序需要逐段比較a相同、1相同、b相同然后比較2和10最終a1b2.txt在前。只比較第一個(gè)數(shù)字段是不行的必須遍歷所有段。負(fù)數(shù)和小數(shù)怎么辦文件名里出現(xiàn)負(fù)號(hào)和小數(shù)的情況較少但也不是沒(méi)有。比如>tokens regexp(name, \d|\D, match);這里要特別注意正則的順序\d必須寫(xiě)在前面。如果寫(xiě)成\D|\d在部分情況下也能工作但對(duì)于連續(xù)數(shù)字段\D會(huì)先嘗試匹配結(jié)果把數(shù)字段開(kāi)頭的不匹配字符吞掉導(dǎo)致拆分錯(cuò)誤。MATLAB的正則引擎會(huì)按優(yōu)先級(jí)依次嘗試交替模式中\(zhòng)d|\D對(duì)于任何字符都能有且僅有一個(gè)分支匹配所以順序很重要。3.2 構(gòu)造統(tǒng)一排序鍵為什么用左補(bǔ)零拿到token列表后我要把每個(gè)token拼成一個(gè)“排序鍵”。規(guī)則是非數(shù)字段原樣保留。數(shù)字段先轉(zhuǎn)成數(shù)值再用%010.0f格式化為10位寬度的左補(bǔ)零字符串。為什么用10位因?yàn)榻^大多數(shù)文件名的數(shù)字不會(huì)超過(guò)10位數(shù)。如果數(shù)字超過(guò)了10位sprintf(%010.0f, num)會(huì)自動(dòng)擴(kuò)展寬度不會(huì)截?cái)嗨圆粫?huì)出錯(cuò)。固定寬度寫(xiě)法的唯一風(fēng)險(xiǎn)是末尾如果剛好接上非數(shù)字字符可能造成比較歧義。比如數(shù)字段轉(zhuǎn)換后是0000000001緊接著下一個(gè)非數(shù)字段是a最終鍵是0000000001a另一個(gè)文件名數(shù)字段是0000000001下一個(gè)非數(shù)字段是b鍵是0000000001b。這樣就能通過(guò)后續(xù)字符區(qū)分不同文件名不會(huì)互相干擾。構(gòu)造鍵的核心代碼numStr sprintf(%010.0f, str2double(token)); key [key, numStr];這里有個(gè)小細(xì)節(jié)str2double會(huì)把001轉(zhuǎn)成數(shù)值1也就是說(shuō)a001和a1會(huì)生成相同的排序鍵導(dǎo)致它們的相對(duì)順序不確定。這在大多數(shù)場(chǎng)景下可以接受因?yàn)閿?shù)值相同。如果希望保留前導(dǎo)零的差異可以在數(shù)字段后面再拼接原始token作為次級(jí)排序依據(jù)這個(gè)我在后面“邊界情況”里會(huì)具體展開(kāi)。3.3 完整代碼與調(diào)用示例我平時(shí)使用的naturalOrderSort.m完整代碼如下你可以直接復(fù)制到工程里function sorted naturalOrderSort(cellArr) % NATURALORDERSORT 自然順序排序文件名 % 輸入可以是cellstr數(shù)組也可以是string數(shù)組 % 示例 % files {img1.png,img2.png,img10.png,img11.png}; % sorted naturalOrderSort(files); % 統(tǒng)一為cellstr處理 if isstring(cellArr) cellArr cellstr(cellArr); end n numel(cellArr); keys cell(n, 1); for i 1:n name cellArr{i}; tokens regexp(name, \d|\D, match); key ; for j 1:numel(tokens) tok tokens{j}; if ~isempty(regexp(tok, ^\d$, once)) % 純數(shù)字段轉(zhuǎn)數(shù)值后左補(bǔ)零到10位 num str2double(tok); key [key, sprintf(%010.0f, num)]; else % 非數(shù)字段原樣保留 key [key, tok]; end end keys{i} key; end % 根據(jù)生成的鍵排序返回原始字符串?dāng)?shù)組 [~, idx] sort(keys); sorted cellArr(idx); end調(diào)用示例files {frame1.png,frame10.png,frame2.png,frame20.png,frame11.png}; sorted naturalOrderSort(files)輸出frame1.png frame2.png frame10.png frame11.png frame20.png這個(gè)版本已經(jīng)可以滿足絕大多數(shù)場(chǎng)景。如果想讓函數(shù)更強(qiáng)壯可以增加第二個(gè)參數(shù)來(lái)控制是否忽略大小寫(xiě)或者讓前導(dǎo)零規(guī)則可選。我在實(shí)際項(xiàng)目里增加了一個(gè)ignorecase選項(xiàng)具體實(shí)現(xiàn)就是在生成key之前對(duì)name先做一次lower轉(zhuǎn)換但返回結(jié)果仍然用原始字符串這樣UI顯示不受影響。4. 實(shí)測(cè)效果與邊界情況哪些文件最容易排錯(cuò)4.1 典型序列文件的排序?qū)Ρ任夷靡慌鎸?shí)文件測(cè)了一下用sort和naturalOrderSort分別排序結(jié)果對(duì)比如下原始文件列表sort結(jié)果naturalOrderSort結(jié)果img1.pngimg1.pngimg1.pngimg10.pngimg10.pngimg2.pngimg11.pngimg11.pngimg3.pngimg2.pngimg2.pngimg10.pngimg3.pngimg20.pngimg11.pngimg20.pngimg3.pngimg20.png可以看出sort把以1開(kāi)頭的所有數(shù)字都放在最前面視覺(jué)上非?；靵y。換成自然排序后順序一眼就能看懂。這種差異在視頻幀序列合成時(shí)尤其致命——如果按sort的順序拼接視頻會(huì)先播1、10、11再播2、3產(chǎn)生明顯的跳幀。4.2 多數(shù)字段與版本號(hào)自然排序?qū)Χ鄶?shù)字段的處理也值得驗(yàn)證。比如版本號(hào)列表versions {v1.9,v1.10,v1.2,v2.0,v1.1};用naturalOrderSort排序后結(jié)果應(yīng)該是v1.1 v1.2 v1.9 v1.10 v2.0這里的關(guān)鍵是拆分出來(lái)后每個(gè)數(shù)字段都獨(dú)立參與比較v1.9拆成v、1、.、9v1.10拆成v、1、.、10比較到第二個(gè)數(shù)字段時(shí)9 10所以v1.9排在前面。這個(gè)行為完全符合語(yǔ)義直接把函數(shù)拿來(lái)排序版本號(hào)也沒(méi)問(wèn)題。4.3 前導(dǎo)零與空字段前導(dǎo)零是個(gè)容易被忽略的坑。比如files {frame001.png,frame1.png,frame01.png};由于str2double(001)和str2double(1)都得到數(shù)值1我上面的函數(shù)會(huì)認(rèn)為這三個(gè)文件的主序號(hào)相同排序結(jié)果依賴于MATLAB底層排序的穩(wěn)定性可能出現(xiàn)frame001.png、frame1.png、frame01.png這樣混雜的順序。如果業(yè)務(wù)上必須保留前導(dǎo)零的“原始面貌”比如實(shí)驗(yàn)數(shù)據(jù)用三位零填充表示序號(hào)那么可以在構(gòu)造鍵時(shí)把原始數(shù)字token作為次級(jí)排序依據(jù)。一個(gè)簡(jiǎn)單做法是數(shù)字段格式化后再拼一個(gè)分隔符和原始token例如key [key, sprintf(%010.0f, num), |, tok];這樣frame001和frame1的鍵會(huì)分別變成frame →frame0000000001|001frame1 →frame0000000001|1比較時(shí)先比主數(shù)字段相等再比|后面的原始字符串001會(huì)排在1前面因?yàn)?的ASCII碼小于1。這能保證前導(dǎo)零的順序穩(wěn)定。還要注意空字段。比如兩個(gè)文件名分別是a1b2.txt和a1b2前者多了擴(kuò)展名.txt拆分后自然多出一個(gè).txt段。由于兩個(gè)文件主名完全相同按字典序比較沒(méi)有擴(kuò)展名的文件會(huì)排在前面因?yàn)樽址?。這符合直覺(jué)不需要特殊處理。4.4 性能驗(yàn)證1萬(wàn)條文件名要排多久有些人對(duì)這種逐條拆分再排序的方式有顧慮覺(jué)得性能不行。我專門(mén)用10000個(gè)形如img10000.png的文件名做了簡(jiǎn)單測(cè)試files strcat(img, string(1:10000), .png); tic; sorted naturalOrderSort(files); toc;在我的機(jī)器上大約耗時(shí)0.35秒。這個(gè)結(jié)果是完全可接受的。即使文件數(shù)量達(dá)到10萬(wàn)也只需要3秒左右。對(duì)于目錄遍歷、批量重命名這類場(chǎng)景性能不是瓶頸。如果實(shí)在追求極致可以在第一次排序后緩存排序鍵后續(xù)增量排序直接復(fù)用避免反復(fù)調(diào)用regexp。5. 踩坑記錄與擴(kuò)展思路我從實(shí)際使用中學(xué)到的事5.1 三個(gè)最容易踩的坑第一個(gè)坑是正則表達(dá)式寫(xiě)錯(cuò)。很多人下意識(shí)用regexp(str, \d, match)只提取數(shù)字段然后直接對(duì)數(shù)字排序結(jié)果丟失了字母順序。比如{a2,b1,a1}會(huì)被排成{a1,a2,b1}嗎只按數(shù)字排確實(shí)是這樣但一旦字母不同比如{a1,b0}單純按數(shù)字排會(huì)是{b0,a1}顯然不對(duì)。必須同時(shí)拆分非數(shù)字段并參與比較。第二個(gè)坑是把數(shù)字轉(zhuǎn)成double之后直接和字符串混在一起構(gòu)造cell數(shù)組排序。MATLAB的sort對(duì)cell數(shù)組要求元素類型一致如果cell里既有1這樣的double又有a這樣的char排序會(huì)直接報(bào)錯(cuò)。所以我上面所有邏輯都是把數(shù)字轉(zhuǎn)成格式化后的字符串然后再統(tǒng)一作為cellstr排序繞開(kāi)類型限制。第三個(gè)坑是忽略了大小寫(xiě)問(wèn)題。當(dāng)文件名來(lái)源比較復(fù)雜時(shí)比如Windows和Linux混合拷貝sort對(duì)大小寫(xiě)的排序結(jié)果會(huì)讓用戶困惑。如果只是自己用默認(rèn)區(qū)分大小寫(xiě)問(wèn)題不大但如果寫(xiě)成一個(gè)通用工具函數(shù)分享給別人最好提供ignorecase選項(xiàng)。5.2 從文件名排序到通用自然排序這個(gè)函數(shù)不僅適用于文件名稍作改造就能用于任意字符串?dāng)?shù)組的自然排序。比如需要對(duì)一系列傳感器ID排序S1、S2、S10或者對(duì)實(shí)驗(yàn)批次排序batch3、batch12甚至對(duì)CSV文件的表頭排序。只要把函數(shù)的輸入?yún)?shù)名從files改成更通用的stringsArray內(nèi)部邏輯完全不變。如果想把數(shù)字段支持到浮點(diǎn)數(shù)可以修改正則表達(dá)式為[-]*\d(\.\d)?并配合str2double。但要注意這樣會(huì)把負(fù)號(hào)和小數(shù)點(diǎn)納入數(shù)字段排序邏輯會(huì)復(fù)雜一些建議按需再擴(kuò)展。5.3 在App或腳本里集成的小建議如果你在App Designer里做了一個(gè)文件列表展示頁(yè)面建議不要直接對(duì)dir返回的name用sort而是先調(diào)用naturalOrderSort得到索引順序再更新列表。這樣UI展示的文件順序和我們?cè)谫Y源管理器里看到的習(xí)慣一致用戶體驗(yàn)會(huì)好很多。批量重命名時(shí)也可以直接結(jié)合這個(gè)函數(shù)files dir(raw/*.png); names {files.name}; names naturalOrderSort(names); for i 1:numel(names) newName sprintf(seq_%04d.png, i); movefile(fullfile(raw, names{i}), fullfile(raw, newName)); end這里先用自然序排出正確的幀順序再用四位數(shù)零填充打上序號(hào)最終得到的文件名順序和原始拍攝順序完全一致。最后分享一個(gè)我自己的小習(xí)慣在生成排序鍵時(shí)如果文件數(shù)量上千我會(huì)把keys數(shù)組和原始文件名一起保存成.mat下次加載時(shí)直接按保存的索引排序省掉每次都要regexp拆分的開(kāi)銷。雖然單次排序并不慢但在循環(huán)里反復(fù)排序時(shí)這個(gè)優(yōu)化能明顯減少卡頓。自然排序這種問(wèn)題看起來(lái)小一旦在項(xiàng)目里出現(xiàn)影響卻很大值得花幾分鐘把邏輯理順寫(xiě)出一個(gè)自己的通用版本之后所有項(xiàng)目都能直接用。本文還有配套的精品資源點(diǎn)擊獲取