車牌辨識模型

本文欲用卷積神經網路針對“停車場入場汽車監視錄影”建立一足夠準確且足以實時辨識的車牌辨識模型，本文為重點摘錄，詳細報告請參考這個連結：https://goo.gl/XBrgKy

研究方法

本文使用“停車場入場汽車監視錄影”截取的萬餘張 1280*720 點陣圖像經過一系列前處理後輸入模型訓練，以下就每一步詳細說明。

監視錄像截圖

裁減並縮放

盡管卷積神經網路已經大幅縮減運算量，但是在網路足夠深的時候，其運算量依然不容小覷，尤其本文的模型相當深且又講求的是“實時辨識”，所以本文對圖像重新裁剪，另外，本文所採用的模型為 YOLOv2，原生的 YOLOv2 只接收輸入大小為 416*416 的圖像，因此本文便直接的將裁剪後的截圖直接縮放至 416*416。

縮放後的錄像圖

標記資料集

本文採用的模型有主要兩個部份，兩部份皆採同一種模型設計，第一部份的網路負責定位車牌位置，第二部份的網路則負責定位並辨識車牌字元，因此在前期資料集的標注上略有不同。

車牌資料集

對每張縮放圖像標注四個值(x,y,w,h)，分別代表車牌圖在原圖像中的左上座標、長、寬,然後標記其為“車牌”作為正樣本，另外YOLOv2 中 Anchor 的機制會自動生成“非車牌”的負樣本，因此無須額外生成。

字元資料集

待車牌資料集標示完成，便可從標記的車牌邊框中切出車牌的圖像以標記其中的字元，標記部份大致與前述相同，不過標記字元的工作量更為龐大，因此本文採用了一個較為取巧的辦法，本文將車牌圖二值化利用傳統的偵測邊界方法，加上一些簡單的過濾規則，將完全框中字元的圖像留下，一旦有缺失則直接丟棄，如此雖然只能生出少量的資料，不過也可免去大量的人力標記邊框，目前為止已經可以生出某些車牌圖像中的每個字元的邊框(x,y,w,h)四項數值，考慮本文模型需要圖像大小為 416*416,因此這裡再次簡單的縮放至 416*416，並同步縮放字元的邊框(x,y,w,h)，至此終於得出最後的圖像及相對應的字元位置，再進一步的人工標上相對應字元編號，例如:“A”、“L”等等，最終這些便是字元資料集裡面的正樣本，同上點所述，YOLOv2 中 Anchor 的機制保證了負樣本的產生，因此這裡無須額外生成。

車牌圖案

傳統偵測邊界 (良好)

模型

同前面所述，本文的整個模型分為兩個主體部份，這裡分別稱之為“定位網路”、“辨識網路”，兩組網路都是YOLOv2的架構，連層數、超參數也無不同，差別僅是用來執行不同的任務，在車牌辨識的議題中，車牌中的字元相較於整張監視錄像的截圖非常小，YOLOv2對於小物體的辨識能力極差，因此本案以兩組模型依序定位、辨識，這裡僅簡單敘述。

定位網路 (Detection)

“定位網路”用來定位車牌，“經裁剪並縮放的錄像截圖”輸入本網路後，網路輸出若干可能的車牌邊框(Possible Plates)，並同時輸出這些可能的車牌為真實車牌分類的得分(Possible Plates Scores)，並由得分最高者得出最後的車牌邊框(Final Predict Plate)，整體的架構如下。

定位網路架構

辨識網路 (Recognition)

“辨識網路”是以“經裁剪的錄像截圖”輸入“定位網路”後得到的“車牌圖像”再縮放後，作為網路輸入，輸出可能的字元邊框(Possible Chars)，同時輸出這些可能字元的真正分類(Possible Chars Class)，並按邊框座標重新排序字元分類已得出最後真正的車牌字串(Final Predict Plate  Str)。

辨識網路架構

所以整體的網路如下圖所示：

完整網路架構

實驗結果

切分訓練/測試集

本文所處理之監視錄像的截圖是針對車輛進場的連續過程進行截取，因此t時間的一輛車子自出現至消失為止約有10~20張圖像，換句話說，類似的圖像會有10~20張，另一問題則是本文在裁剪縮放的過程中可能裁到車牌，使得有些圖片本身就不含完整車牌，因此本文將兩份資料集分別再切為“訓練集”、“測試集”時必須考慮此二問題，否則最後的準確與否就會有所偏差，因此本案按以下思路切分資料：

1. 兩相異車輛的定義：兩車入場時間不同或車牌號碼不同

2. 總計953輛車合計有10477張

3. 刪除裁剪並縮放後未含完整車牌圖像者，餘613輛車，計4989張

4. 613輛車中489輛為訓練集，124輛為測試集

5. 兩份資料集按以上車輛類別將每張圖像分至訓練/測試集

上述的切分思路考慮了不含車牌的狀況，也基於車輛較合理的切分資料，相異車輛的定義則考慮了儘管同一輛車出現在鏡頭，也會因入場時間不同導致光影、環境等有所異。

評估結果

這裡列出最後的評估結果，確切的詳細評估請參閱報告內容。

模型整體的的準確度可歸納為下列兩點：

1. 本文實踐的模型在辨識車輛的表現中展現了足夠優秀的75.9%準確度。
2. 在確保截圖品質的前提下辨識車輛的表現則展現驚人的94.9%準確度。

DEMO

辨識效果