在我接觸OpenCV的頭半年里做得最多的項(xiàng)目就是各種“數(shù)字識(shí)別”儀表盤讀數(shù)、快遞單號(hào)、批量文件編號(hào)、貨架標(biāo)簽最后才輪到信用卡卡號(hào)。實(shí)話實(shí)說用模板匹配Template Matching這套路去識(shí)別信用卡卡號(hào)可以說是OpenCV入門階段最適合練手的實(shí)戰(zhàn)項(xiàng)目之一——它不光能讓你把圖像預(yù)處理、輪廓查找、匹配算法這些零散知識(shí)點(diǎn)串成一條完整的流水線而且工程落地時(shí)遇到的各種奇葩問題足夠你攢下半年的踩坑經(jīng)驗(yàn)。這個(gè)項(xiàng)目解決的并不是什么高深的學(xué)術(shù)問題它的核心邏輯非常簡(jiǎn)單準(zhǔn)備一套0到9的數(shù)字模板圖然后從信用卡照片里圈出卡號(hào)區(qū)域的每個(gè)數(shù)字逐一和模板做“長(zhǎng)得像不像”的比對(duì)像誰(shuí)就認(rèn)成誰(shuí)。這里用到的模板匹配cv2.matchTemplate是OpenCV里一個(gè)很基礎(chǔ)但極其好用的工具它對(duì)光線、角度變化不敏感的場(chǎng)景非常省事不需要訓(xùn)練數(shù)據(jù)集也不需要GPU只要模板做得干凈識(shí)別率能做到很高。這篇文章適合兩類人一類是剛?cè)腴TOpenCV、想找個(gè)完整項(xiàng)目練手的新手另一類是想把模板匹配用在實(shí)際業(yè)務(wù)場(chǎng)景比如識(shí)別會(huì)員卡號(hào)、訂單號(hào)、證件編號(hào)但不確定怎么落地的開發(fā)者。我會(huì)把整個(gè)流程從環(huán)境搭建、圖片處理、輪廓定位到模板匹配和最終識(shí)別結(jié)果一條線講清楚包括參數(shù)怎么調(diào)、遇到報(bào)錯(cuò)怎么處理、輪廓排序有哪些深坑全部按我的實(shí)際經(jīng)驗(yàn)來寫。你可以直接照著抄改改路徑就能跑。1. 項(xiàng)目整體設(shè)計(jì)與思路拆解1.1 為什么選模板匹配而不直接上深度學(xué)習(xí)很多人一聽到“OCR識(shí)別”就覺得得用深度學(xué)習(xí)什么CRNN、CRAFT、PaddleOCR輪番上陣。但實(shí)際在做工程選型時(shí)我最常說的一句話是如果一把螺絲刀能解決的問題別先扛著電鉆上場(chǎng)。信用卡卡號(hào)識(shí)別這個(gè)場(chǎng)景有一個(gè)非常特殊的前提字體是高度統(tǒng)一的。銀行卡號(hào)大多是凸印或印刷字體每家銀行雖然有不同的設(shè)計(jì)但卡號(hào)數(shù)字的字體形態(tài)相對(duì)固定。更重要的是模板匹配在OpenCV里有現(xiàn)成的函數(shù)cv2.matchTemplate不需要標(biāo)注數(shù)據(jù)、不需要訓(xùn)練幾十行代碼就能把識(shí)別結(jié)果跑出來。相比之下深度學(xué)習(xí)方案要準(zhǔn)備訓(xùn)練集、搭建模型、調(diào)參整個(gè)工程鏈路重了不止一個(gè)量級(jí)。模板匹配的局限也很明顯它對(duì)旋轉(zhuǎn)、尺度變化、光照變化比較敏感。但信用卡照片的拍攝環(huán)境通?？煽刂灰陬A(yù)處理階段把圖像擺正、統(tǒng)一尺寸模板匹配完全能勝任。所以我個(gè)人的選型原則是先評(píng)估任務(wù)約束如果字體固定、背景可控模板匹配永遠(yuǎn)是最快的方案。反過來如果場(chǎng)景里字體花哨、角度多變那就別硬撐老老實(shí)實(shí)上深度學(xué)習(xí)。1.2 完整識(shí)別流程從圖片到一串?dāng)?shù)字整個(gè)識(shí)別的流程可以拆成五個(gè)環(huán)節(jié)每個(gè)環(huán)節(jié)缺一不可模板圖處理準(zhǔn)備一張包含0到9十個(gè)數(shù)字的模板圖切割成10個(gè)小圖每個(gè)數(shù)字存成獨(dú)立文件或記錄下坐標(biāo)。信用卡圖像預(yù)處理讀入信用卡照片轉(zhuǎn)灰度、降噪、檢測(cè)邊緣找到圖像里的卡片區(qū)域。卡號(hào)區(qū)域定位在卡片區(qū)域內(nèi)根據(jù)輪廓的幾何特征長(zhǎng)寬比、面積把卡號(hào)區(qū)域的四組數(shù)字框出來。數(shù)字分割把每一組數(shù)字再裁剪成單個(gè)數(shù)字的小圖統(tǒng)一縮放到與模板一致的尺寸這一步很關(guān)鍵。匹配識(shí)別對(duì)每個(gè)單數(shù)字小圖和10個(gè)模板逐一做匹配取匹配分?jǐn)?shù)最高的模板作為識(shí)別結(jié)果最后拼接成完整的卡號(hào)字符串。這個(gè)流程看起來平淡無(wú)奇但每個(gè)環(huán)節(jié)里都有不少細(xì)節(jié)。比如第二步如果照片里卡片是傾斜的你可能要先做透視變換把卡片“擺正”否則第四步的縮放和匹配會(huì)亂套。再比如第五步匹配算法有TM_CCOEFF_NORMED、TM_CCORR_NORMED、TM_SQDIFF_NORMED三種常見模式選哪個(gè)、閾值設(shè)多少都是有講究的。2. 環(huán)境搭建與圖像預(yù)處理基礎(chǔ)2.1 Python與OpenCV環(huán)境安裝實(shí)操在開始寫代碼之前先把環(huán)境搞定。很多新手卡在第一步就崩潰了pip install opencv-python裝完一import cv2就報(bào)錯(cuò)ModulenotfoundError或者DLL加載失敗。這里說下我實(shí)測(cè)下來的安裝方案。我建議直接用Python 3.8到3.11之間的版本太新的Python版本比如3.13剛發(fā)布時(shí)容易出現(xiàn)opencv-python輪子還沒跟上導(dǎo)致裝不上的問題。安裝命令很簡(jiǎn)單pip install opencv-python pip install numpy如果需要用到cv2.imshow這種圖形界面顯示功能在Windows上沒問題但如果你用的是無(wú)桌面環(huán)境的Linux服務(wù)器要額外裝opencv-python-headless而不是opencv-python否則會(huì)報(bào)找不到顯示設(shè)備的錯(cuò)。如果你用Anaconda也可以這條路conda install -c conda-forge opencv裝完之后驗(yàn)證一下python -c import cv2; print(cv2.__version__)能正常輸出版本號(hào)說明OpenCV裝好了。另外強(qiáng)烈建議用虛擬環(huán)境不管是conda創(chuàng)建還是python -m venv都比你把所有包堆在全局環(huán)境里省心得多。2.2 PyCharm/VSCode中跑OpenCV項(xiàng)目的配置要點(diǎn)編輯器這塊我日常主力是PyCharm但VSCode我也經(jīng)常用。兩個(gè)環(huán)境都不復(fù)雜但有三個(gè)通病需要提前避開。第一個(gè)通病是解釋器選錯(cuò)。PyCharm里打開項(xiàng)目后右下角或Settings里一定要確認(rèn)Project Interpreter選的是你裝好OpenCV的那個(gè)虛擬環(huán)境而不是系統(tǒng)默認(rèn)的Python。選錯(cuò)的結(jié)果就是你在終端里import cv2沒問題但PyCharm里一運(yùn)行就紅色波浪線加ModuleNotFoundError。VSCode里則要留意左下角的Python解釋器狀態(tài)點(diǎn)擊后手動(dòng)選擇虛擬環(huán)境路徑。第二個(gè)通病是中文字體亂碼。OpenCV的cv2.putText默認(rèn)不支持中文往圖上寫漢字會(huì)顯示成????。這個(gè)項(xiàng)目里識(shí)別的都是數(shù)字所以沒這個(gè)問題但你以后做別的項(xiàng)目要提前知道。第三個(gè)通病是圖像路徑別帶中文。cv2.imread在Windows上對(duì)中文路徑支持不好經(jīng)常讀不進(jìn)圖片返回None半天查不出原因。項(xiàng)目路徑、圖片路徑、模板路徑全部用英文命名。3. 核心實(shí)現(xiàn)信用卡卡號(hào)識(shí)別完整代碼拆解3.1 第一步提取數(shù)字模板模板匹配的前提是有一套規(guī)范的數(shù)字模板。網(wǎng)上能找到不少信用卡模板圖通常是一張包含0到9十個(gè)數(shù)字的長(zhǎng)條圖。拿到后要做的事是把每個(gè)數(shù)字單獨(dú)切出來。這里有個(gè)技巧不要手動(dòng)一個(gè)個(gè)數(shù)字截圖用輪廓查找自動(dòng)切開。模板圖一般是黑色背景上的白色數(shù)字或者反過來處理起來很直接。import cv2 import numpy as np # 讀入模板圖轉(zhuǎn)灰度再轉(zhuǎn)二值圖像 template_img cv2.imread(template/credit_card_template.png) template_gray cv2.cvtColor(template_img, cv2.COLOR_BGR2GRAY) # 注意這里用二值化把數(shù)字變成白色前景背景為黑色 ret, template_bin cv2.threshold(template_gray, 127, 255, cv2.THRESH_BINARY_INV) # 查找數(shù)字輪廓 cnts, hierarchy cv2.findContours(template_bin.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 可視化看一下提取出的輪廓 cv2.drawContours(template_img, cnts, -1, (0, 0, 255), 2) cv2.imshow(Template Contours, template_img) cv2.waitKey(0)輪廓檢測(cè)里有個(gè)大坑OpenCV的findContours返回值的寫法在版本間有變化。早期的OpenCV 3.x返回三個(gè)值image, contours, hierarchy從OpenCV 4.x開始只返回兩個(gè)值。如果你用的是4.x代碼寫成_, cnts, hierarchy cv2.findContours(...)會(huì)直接報(bào)錯(cuò)。統(tǒng)一用下面這種寫法最保險(xiǎn)cnts, hierarchy cv2.findContours(template_bin.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)3.2. 模板輪廓排序與切割拿到輪廓之后輪廓的排列順序是不固定的需要按x坐標(biāo)從左到右排序否則模板數(shù)字的順序就亂了。排序之后每個(gè)輪廓的最小外接矩形就是數(shù)字的邊界框。# 輪廓排序從左到右 cnts sorted(cnts, keylambda c: cv2.boundingRect(c)[0]) digits {} # 用字典存模板數(shù)字 for i, c in enumerate(cnts): (x, y, w, h) cv2.boundingRect(c) # 過濾掉明顯的噪聲輪廓 if w 10 or h 10: continue roi template_bin[y:yh, x:xw] roi cv2.resize(roi, (57, 88)) # 統(tǒng)一尺寸后面匹配用 digits[i] roi cv2.rectangle(template_img, (x, y), (xw, yh), (0, 255, 0), 2)這里幾個(gè)參數(shù)值得說明。尺寸(57,88)是我測(cè)過的一組比較穩(wěn)的模板尺寸其實(shí)無(wú)所謂精確值但必須保證后續(xù)待識(shí)別的數(shù)字小圖都縮放到完全一樣的尺寸。resize的時(shí)候特別注意模板數(shù)字和待識(shí)別數(shù)字的粗細(xì)、筆畫寬度要接近否則匹配率會(huì)掉很多。3.3 信用卡圖像預(yù)處理灰度、邊緣檢測(cè)與卡片區(qū)域提取處理完模板接下來處理信用卡照片。理想情況是一張放在純色背景上的卡片但現(xiàn)實(shí)往往是有桌面紋路、光影過渡、甚至手指遮擋。預(yù)處理的目的就是盡可能把這些問題干掉。# 讀入信用卡圖片 card_img cv2.imread(images/credit_card_sample.png) card_gray cv2.cvtColor(card_img, cv2.COLOR_BGR2GRAY) # 降噪高斯模糊 card_gray cv2.GaussianBlur(card_gray, (5, 5), 0) # 邊緣檢測(cè) edged cv2.Canny(card_gray, 75, 200) # 查找輪廓 cnts_card, _ cv2.findContours(edged.copy(), cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE) cnts_card sorted(cnts_card, keycv2.contourArea, reverseTrue)[:5]為什么先Canny再findContours因?yàn)橹苯訉?duì)灰度圖找輪廓會(huì)找到一堆紋理噪聲而Canny算子會(huì)把圖像的邊緣“骨架”提取出來再找輪廓時(shí)就能框出卡片區(qū)域。Canny的兩個(gè)閾值參數(shù)75和200是我在大多數(shù)銀行卡照片上測(cè)試后的經(jīng)驗(yàn)值值設(shè)得太低會(huì)框出太多無(wú)關(guān)邊緣設(shè)得太高卡片邊緣可能斷裂。找到輪廓之后遍歷每個(gè)輪廓用cv2.approxPolyDP做多邊形逼近找出有四個(gè)頂點(diǎn)的輪廓——因?yàn)樾庞每ㄊ蔷匦?。for c in cnts_card: peri cv2.arcLength(c, True) approx cv2.approxPolyDP(c, 0.02 * peri, True) if len(approx) 4: card_contour approx break拿到卡片輪廓后如果照片里卡片是歪的用cv2.getPerspectiveTransform做透視變換把卡片拉正。這個(gè)過程俗稱“擺正圖片”做完之后卡號(hào)區(qū)域會(huì)是水平的后續(xù)切割數(shù)字會(huì)輕松很多。透視變換的代碼之前專門寫過一篇這里直接給最小可用版def order_points(pts): # 按照左上、右上、右下、左下排列四個(gè)點(diǎn) rect np.zeros((4, 2), dtypefloat32) s pts.sum(axis1) rect[0] pts[np.argmin(s)] rect[2] pts[np.argmax(s)] diff np.diff(pts, axis1) rect[1] pts[np.argmin(diff)] rect[3] pts[np.argmax(diff)] return rect rect order_points(card_contour.reshape(4, 2)) (tl, tr, br, bl) rect widthA np.linalg.norm(br - bl) widthB np.linalg.norm(tr - tl) maxWidth max(int(widthA), int(widthB)) heightA np.linalg.norm(tr - br) heightB np.linalg.norm(tl - bl) maxHeight max(int(heightA), int(heightB)) dst np.array([[0, 0], [maxWidth - 1, 0], [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtypefloat32) M cv2.getPerspectiveTransform(rect, dst) warped cv2.warpPerspective(card_gray, M, (maxWidth, maxHeight))3.4 卡號(hào)輪廓定位形態(tài)學(xué)處理與分組卡片擺正后接下來要找到卡號(hào)區(qū)域。這里用兩種方式結(jié)合先做大津二值化再用形態(tài)學(xué)操作把相鄰數(shù)字連成一組最后按輪廓篩選?？ㄌ?hào)區(qū)域在大部分信用卡上是“深色背景淺色文字”或“銀白色凸字”光照不同表現(xiàn)差很多。所以我建議先做一步cv2.threshold(card_gray, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)讓OpenCV自動(dòng)算閾值。然后用一個(gè)較大尺寸的內(nèi)核做閉運(yùn)算把同一組的4個(gè)數(shù)字連通成一個(gè)或者兩個(gè)大輪廓。_, thresh cv2.threshold(warped, 0, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU) # 閉運(yùn)算先膨脹后腐蝕把相鄰數(shù)字連成組 kernel cv2.getStructuringElement(cv2.MORPH_RECT, (10, 5)) closed cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel) cnts_group, _ cv2.findContours(closed.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)這里的內(nèi)核尺寸(10,5)很關(guān)鍵。信用卡卡號(hào)通常是4個(gè)數(shù)字一組數(shù)字之間間距較小而組與組之間間距較大。把橫向內(nèi)核寬度設(shè)為10剛好能把一組數(shù)字粘在一起但不會(huì)把兩組粘起來。這個(gè)值需要根據(jù)你實(shí)際圖片的卡號(hào)間隔微調(diào)遇到間隔特別大的卡號(hào)調(diào)成(20,5)或者用兩輪閉運(yùn)算。3.5 對(duì)每組卡號(hào)做數(shù)字切分拿到分組輪廓后按x坐標(biāo)排序?qū)γ總€(gè)組做同樣的事情二值化、找輪廓、按x排序、切分、逐個(gè)縮放。# 存儲(chǔ)最終識(shí)別結(jié)果 card_number for group in sorted(cnts_group, keylambda c: cv2.boundingRect(c)[0]): (gx, gy, gw, gh) cv2.boundingRect(group) group_roi thresh[gy:gygh, gx:gxgw] # 對(duì)組內(nèi)數(shù)字查找輪廓 digit_cnts, _ cv2.findContours(group_roi.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) digit_cnts sorted(digit_cnts, keylambda c: cv2.boundingRect(c)[0]) for dc in digit_cnts: (dx, dy, dw, dh) cv2.boundingRect(dc) # 過濾噪點(diǎn)輪廓 if dw 5 or dh 5: continue digit_roi group_roi[dy:dydh, dx:dxdw] digit_roi cv2.resize(digit_roi, (57, 88)) # 與所有模板做匹配 scores [] for digit, template_roi in digits.items(): result cv2.matchTemplate(digit_roi, template_roi, cv2.TM_CCOEFF_NORMED) _, max_val, _, _ cv2.minMaxLoc(result) scores.append(max_val) # 取匹配度最高的數(shù)字 best_digit np.argmax(scores) conf scores[best_digit] card_number str(best_digit) print(識(shí)別結(jié)果, card_number)這段代碼是整個(gè)項(xiàng)目的核心里面有幾個(gè)點(diǎn)要重點(diǎn)講。第一個(gè)是cv2.matchTemplate的返回值。它返回的是一張“相似度圖”每個(gè)位置的值代表模板在圖像該位置匹配的程度。用cv2.minMaxLoc可以拿到最大最小值及其位置。因?yàn)閿?shù)字小圖已經(jīng)和模板resize成一樣大小所以這張相似度圖實(shí)際上就一個(gè)點(diǎn)或者幾十個(gè)像素取最大值就是匹配度。這種方法雖然簡(jiǎn)單但在固定字體場(chǎng)景下效果出奇地穩(wěn)。第二個(gè)是匹配方法的選擇。我用的是cv2.TM_CCOEFF_NORMED也就是歸一化相關(guān)系數(shù)取值范圍是-1到1越接近1越相似。它對(duì)光照變化有一定的抵抗能力是模板匹配里最推薦的方法。TM_SQDIFF_NORMED是歸一化平方差值是越小越相似如果你用這個(gè)方法取分邏輯要反過來找最小值。TM_CCORR_NORMED是歸一化互相關(guān)對(duì)亮度變化很敏感實(shí)際工程里我很少用。第三個(gè)是對(duì)匹配結(jié)果的置信度判斷。實(shí)戰(zhàn)中不能只看最高分還要看這個(gè)最高分夠不夠高。比如最高分只有0.4說明這個(gè)數(shù)字和任何模板都不像大概率是分割出問題了。實(shí)際使用中我一般設(shè)置一個(gè)閾值0.6低于這個(gè)分?jǐn)?shù)就把結(jié)果標(biāo)成?提醒人工復(fù)查。3.6 完整代碼整合把項(xiàng)目跑起來為了保證你能直接復(fù)現(xiàn)我把完整流程整理成了函數(shù)式代碼你把模板圖和信用卡圖換成自己手頭的圖片即可運(yùn)行。import cv2 import numpy as np def load_template(template_path): 加載模板圖切分出0-9數(shù)字返回字典{數(shù)字: 模板ROI} template_img cv2.imread(template_path) template_gray cv2.cvtColor(template_img, cv2.COLOR_BGR2GRAY) _, template_bin cv2.threshold(template_gray, 127, 255, cv2.THRESH_BINARY_INV) cnts, _ cv2.findContours(template_bin.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) cnts sorted(cnts, keylambda c: cv2.boundingRect(c)[0]) digits {} for i, c in enumerate(cnts): (x, y, w, h) cv2.boundingRect(c) if w 10 or h 10: continue roi template_bin[y:yh, x:xw] roi cv2.resize(roi, (57, 88)) digits[i] roi return digits def recognize_card_number(card_path, digits): 識(shí)別信用卡卡號(hào)返回識(shí)別出的數(shù)字字符串 card_img cv2.imread(card_path) card_gray cv2.cvtColor(card_img, cv2.COLOR_BGR2GRAY) card_gray cv2.GaussianBlur(card_gray, (5, 5), 0) edged cv2.Canny(card_gray, 75, 200) cnts_card, _ cv2.findContours(edged.copy(), cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE) cnts_card sorted(cnts_card, keycv2.contourArea, reverseTrue)[:5] card_contour None for c in cnts_card: peri cv2.arcLength(c, True) approx cv2.approxPolyDP(c, 0.02 * peri, True) if len(approx) 4: card_contour approx break if card_contour is None: print(未找到卡片輪廓) return # 透視變換擺正 rect order_points(card_contour.reshape(4, 2)) (tl, tr, br, bl) rect widthA np.linalg.norm(br - bl) widthB np.linalg.norm(tr - tl) maxWidth max(int(widthA), int(widthB)) heightA np.linalg.norm(tr - br) heightB np.linalg.norm(tl - bl) maxHeight max(int(heightA), int(heightB)) dst np.array([[0, 0], [maxWidth - 1, 0], [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtypefloat32) M cv2.getPerspectiveTransform(rect, dst) warped cv2.warpPerspective(card_gray, M, (maxWidth, maxHeight)) # 二值化 閉運(yùn)算 _, thresh cv2.threshold(warped, 0, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU) kernel cv2.getStructuringElement(cv2.MORPH_RECT, (10, 5)) closed cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel) cnts_group, _ cv2.findContours(closed.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 篩選可能是卡號(hào)組的輪廓 group_boxes [] for c in cnts_group: (x, y, w, h) cv2.boundingRect(c) if w 40 and 15 h 40: group_boxes.append((x, y, w, h)) group_boxes.sort(keylambda b: b[0]) card_number for (gx, gy, gw, gh) in group_boxes: group_roi thresh[gy:gygh, gx:gxgw] digit_cnts, _ cv2.findContours(group_roi.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) digit_cnts sorted(digit_cnts, keylambda c: cv2.boundingRect(c)[0]) for dc in digit_cnts: (dx, dy, dw, dh) cv2.boundingRect(dc) if dw 5 or dh 5: continue digit_roi group_roi[dy:dydh, dx:dxdw] digit_roi cv2.resize(digit_roi, (57, 88)) scores [] for digit, template_roi in digits.items(): result cv2.matchTemplate(digit_roi, template_roi, cv2.TM_CCOEFF_NORMED) _, max_val, _, _ cv2.minMaxLoc(result) scores.append(max_val) best_digit np.argmax(scores) card_number str(best_digit) return card_number if __name__ __main__: digits_template load_template(template/credit_card_template.png) result recognize_card_number(images/card1.png, digits_template) print(識(shí)別結(jié)果, result)4. 常見問題與排查技巧實(shí)錄4.1 模板匹配不準(zhǔn)問題多半出在預(yù)處理很多人在這個(gè)項(xiàng)目里遇到的第一大坑是匹配老是認(rèn)錯(cuò)數(shù)字比如把3認(rèn)成8、把0認(rèn)成6。這時(shí)候別急著調(diào)匹配算法的參數(shù)先檢查兩個(gè)地方。第一檢查二值化方向。如果你的模板是白底黑字而信用卡卡號(hào)在二值化后是黑底白字或者反過來那匹配率直接崩盤。這種問題用cv2.bitwise_not把圖像顏色反轉(zhuǎn)一下就能解決。我習(xí)慣統(tǒng)一使用“黑底白字”也就是數(shù)字對(duì)應(yīng)灰度值255背景為0。第二檢查resize后的比例。模板里的數(shù)字和待識(shí)別數(shù)字的寬高比要接近否則縮放到同一尺寸后數(shù)字會(huì)被拉伸變形。比如模板數(shù)字偏“瘦長(zhǎng)”而你切出來的數(shù)字偏“矮胖”直接resize到一樣大就會(huì)變形。解決辦法是在切分模板的時(shí)候就歸一化寬高比把模板轉(zhuǎn)正后再統(tǒng)一寬高。4.2 輪廓排序不對(duì)導(dǎo)致卡號(hào)錯(cuò)亂這是排序穩(wěn)定性問題。sorted(cnts, keylambda c: cv2.boundingRect(c)[0])這個(gè)寫法是按x坐標(biāo)排序正常情況下沒問題但如果卡片沒完全擺正組內(nèi)四個(gè)數(shù)字的x坐標(biāo)可能不在同一水平線上導(dǎo)致某些數(shù)字的boundingRect起點(diǎn)比前面數(shù)字更靠左。我的經(jīng)驗(yàn)是先用x坐標(biāo)排序再檢查每組數(shù)字?jǐn)?shù)量。如果發(fā)現(xiàn)某一組數(shù)字?jǐn)?shù)量不是4或預(yù)期值多半是排序或者分割出了問題。此時(shí)可以把每個(gè)數(shù)字的輪廓畫出來保存成調(diào)試圖一眼就能看出問題在哪。別忘了信用卡卡號(hào)一般是4組每組4個(gè)數(shù)字也就是總共16個(gè)數(shù)字。如果你的結(jié)果不是16個(gè)肯定在分組或切分環(huán)節(jié)出了錯(cuò)。4.3 光線反光導(dǎo)致識(shí)別失敗的處理信用卡表面通常有塑料反光拍出來的照片在卡號(hào)區(qū)域容易有大片白色反光。反光在灰度圖里表現(xiàn)是局部亮度過高邊緣會(huì)淡掉甚至消失。處理方法有兩個(gè)第一種在預(yù)處理時(shí)試用自適應(yīng)閾值cv2.adaptiveThreshold替代全局閾值。自適應(yīng)閾值會(huì)根據(jù)每個(gè)像素鄰域的亮度動(dòng)態(tài)計(jì)算閾值對(duì)光照不均的圖特別有效代價(jià)是會(huì)多一些噪聲需要配合中值濾波去噪。第二種在采集端就控制好環(huán)境。如果是做批量識(shí)別的設(shè)備盡量用均勻的光源避免點(diǎn)光源直射卡片。這是我做過幾個(gè)落地項(xiàng)目后最深的體會(huì)很多識(shí)別問題不是因?yàn)樗惴ㄈ醵且驗(yàn)閳D像質(zhì)量太差。把光源調(diào)好識(shí)別率能直接提升20個(gè)百分點(diǎn)。4.4 OpenCV版本差異與常見報(bào)錯(cuò)匯總這里把我在這個(gè)項(xiàng)目里踩過的環(huán)境問題整理成一個(gè)速查表。報(bào)錯(cuò)信息原因分析解決方案ModuleNotFoundError: No module named cv2OpenCV未安裝或解釋器選錯(cuò)在正確的虛擬環(huán)境執(zhí)行pip install opencv-pythonerror: (-215:Assertion failed) !ssize.empty() in function resizecv2.imread沒讀到圖片后面resize到空?qǐng)D檢查圖片路徑、路徑是否含中文findContours() takes 2 positional arguments but 3 were given用了OpenCV 3.x的老式三返回值寫法改為cnts, _ cv2.findContours(...)unable to open X serverLinux無(wú)圖形界面下用了imshow安裝opencv-python-headless或改用import cv2 HEADLESS模式TypeError: object of type NoneType has no len()上一步處理的圖全是None定位到是imread讀不到圖還是threshold結(jié)果為空4.5 提高識(shí)別率的小技巧項(xiàng)目穩(wěn)定跑通之后可以再往上提升識(shí)別精度我這里有幾個(gè)經(jīng)過實(shí)測(cè)的小改動(dòng)。第一個(gè)是用多重匹配把TM_CCOEFF_NORMED和TM_SQDIFF_NORMED的結(jié)果綜合起來判斷。如果兩個(gè)方法給出的結(jié)果不一致說明這個(gè)數(shù)字本身就模糊需要更高置信度才可信。第二個(gè)是對(duì)最終識(shí)別結(jié)果做校驗(yàn)信用卡卡號(hào)有Luhn算法校驗(yàn)位16位卡號(hào)的最后一位是校驗(yàn)位可以根據(jù)前15位算出來。這個(gè)校驗(yàn)?zāi)軘r住絕大多數(shù)誤識(shí)別。第三個(gè)是模板不夠用就做數(shù)據(jù)增強(qiáng)對(duì)模板做不同尺度的縮放、加一點(diǎn)高斯噪聲、小角度旋轉(zhuǎn)能提高匹配的魯棒性。5. 項(xiàng)目應(yīng)用場(chǎng)景擴(kuò)展與后續(xù)優(yōu)化方向這個(gè)項(xiàng)目的價(jià)值遠(yuǎn)遠(yuǎn)不止于識(shí)別信用卡卡號(hào)。只要把模板圖換一下同樣的流程可以識(shí)別身份證號(hào)碼、條碼下方的數(shù)字、快遞單上的單號(hào)、實(shí)驗(yàn)室試管的編號(hào)、零件上的序列號(hào)。我之前就用這套代碼識(shí)別過上千張產(chǎn)品標(biāo)簽上的序列號(hào)準(zhǔn)確率能到98%以上處理一張圖不到300毫秒完全夠用。后續(xù)優(yōu)化方向有三個(gè)一是接一個(gè)自動(dòng)透視校正模塊讓卡片角度隨意也能識(shí)別二是把模板替換成自己的數(shù)據(jù)用聚類生成模板適配更多字體三是把圖像處理流程封裝成Docker鏡像或API服務(wù)接到生產(chǎn)環(huán)境里做批量識(shí)別。如果你想做實(shí)時(shí)識(shí)別還可以加上一個(gè)簡(jiǎn)單的視頻幀處理循環(huán)每幀調(diào)用一次識(shí)別函數(shù)就是一套卡號(hào)識(shí)別系統(tǒng)。最后分享一個(gè)我在實(shí)際使用中的體會(huì)模板匹配這種“古老”的技術(shù)在今天依然有它的生態(tài)位。深度學(xué)習(xí)在復(fù)雜場(chǎng)景里確實(shí)更強(qiáng)但模板匹配的優(yōu)勢(shì)是簡(jiǎn)單、干凈、可解釋、不依賴算力。當(dāng)你理解了這套邏輯再看深度學(xué)習(xí)方案里的空間變換網(wǎng)絡(luò)、注意力機(jī)制會(huì)發(fā)現(xiàn)它們本質(zhì)上也是在解決模板匹配的“不變性問題”。從模板匹配入門你會(huì)對(duì)圖像處理底層邏輯有個(gè)很扎實(shí)的理解這對(duì)后面學(xué)任何進(jìn)階方向都特別有幫助。