识别流程
牌照自动识别是一项利用车辆的动态视频或静态图像进行牌照号码、牌照颜色自动识别的模式识别技术。其硬件基础一般包括触发设备(监测车辆是否进入视野)、摄像设备、照明设备、图像采集设备、识别车牌号码的处理机(如计算机)等,其软件核心包括车牌定位算法、车牌字符分割算法和光学字符识别算法等。某些车牌识别系统还具有通过视频图像判断是否有车的功能称之为视频车辆检测。一个完整的车牌识别系统应包括车辆检测、图像采集、车牌识别等几部分(如图1所示)。当车辆检测部分检测到车辆到达时触发图像采集单元,采集当前的视频图像。车牌识别单元对图像进行处理,定位出牌照位置,再将牌照中的字符分割出来进行识别,然后组成牌照号码输出。
车牌识别系统的基本工作原理及流程
车牌识别就是依次实现汽车图像的车牌定位、车牌字符分割、车牌字符识别算法的过程。车牌定位就是把车牌图像从含有汽车和背景的图像中提取出来,其输入的是原始的汽车图像,输出是车牌图像。
车牌的字符分割就是通过对车牌图像的预处理、几何校正等把字符从车牌图像中分割出来,分成一个个独立的字符,其输入是车牌定位后得到的车牌图像,输出是经过预处理、几何校正等后得到的一组单个的字符图像,并得到各个字符的点阵数据。字符识别是依次从单个字符点阵数据中提取字符特征数据,并给出识别结果。
① 车辆检测跟踪模块
车辆检测跟踪模块主要对视频流进行分析,判断其中车辆的位置,对图像中的车辆进行跟踪,并在车辆位置时刻,记录该车辆的特写图片,由于加入了跟踪模块,系统能够很好地克服各种外界的干扰,使得到更加合理的识别结果,可以检测无牌车辆并输出结果。
② 车牌定位模块
车牌定位模块是一个十分重要的环节,是后续环节的基础,其准确性对整体系统性能的影响巨大。车牌系统完全摒弃了以往的算法思路,实现了一种完全基于学习的多种特征融合的车牌定位新算法,适用于各种复杂的背景环境和不同的摄像角度。
③ 车牌矫正及精定位模块
由于受拍摄条件的限制,图像中的车牌总不可避免存在一定的倾斜,需要一个矫正和精定位环节来进一步提高车牌图像的质量,为切分和识别模块做准备。使用精心设计的快速图像处理滤波器,不仅计算快速,而且利用的是车牌的整体信息,避免了局部噪声带来的影响。使用该算法的另一个优点就是通过对多个中间结果的分析还可以对车牌进行精定位,进一步减少非车牌区域的影响。
④ 车牌切分模块
车牌系统的车牌切分模块利用了车牌文字的灰度、颜色、边缘分布等各种特征,能较好地抑制车牌周围其他噪声的影响,并能容忍一定倾斜角度的车牌。这一算法有利于类似移动式稽查这种车牌图像噪声较大的应用。
⑤ 车牌识别模块
在车牌识别系统中,通常采用多种识别模型相结合的方法来进行车牌识别,构建一种层次化的字符识别流程,可有效地提高字符识别的正确率。另一方面,在字符识别之前,使用计算机智能算法对字符图像进行前期处理,不仅可尽可能保留图像信息,而且可提高图像质量,提高相似字符的可区分性,保证字符识别的可靠性。
⑥ 车牌识别结果决策模块
识别结果决策模块,具体地说,决策模块利用一个车牌经过视野的过程留下的历史记录,对识别结果进行智能化的决策。其通过计算观测帧数、识别结果稳定性、轨迹稳定性、速度稳定性、平均可信度和相似度等度量值得到该车牌的综合可信度评价,从而决定是继续跟踪该车牌,还是输出识别结果,或是拒绝该结果。这种方法综合利用了所有帧的信息,减少了以往基于单幅图像的识别算法所带来的偶然性错误,大大提高了系统的识别率和识别结果的正确性和可靠性。
⑦ 车牌跟踪模块
车牌跟踪模块记录下车辆行驶过程中每一帧中该车车牌的位置以及外观、识别结果、可信度等各种历史信息。由于车牌跟踪模块采用了具有一定容错能力的运动模型和更新模型,使得那些被短时间遮挡或瞬间模糊的车牌仍能被正确地跟踪和预测,终只输出一个识别结果。
对车牌图像进行图像形态学操作
由于成像系统、传输介质、记录设备等的不完善,以及天气情况的变化等,车牌图像往往受到多种噪声的污染。在经过二值化处理的车牌图像上,会出现一些与要研究的对象(即车牌区域)不相关的孤立点或者像素块,扰乱图像的研究对象,影响对车牌区域的提取、分割等操作。于是要构造一种有效抑制噪声的滤波器来有效的去除目标和背景中的噪声,同时,能够很好地保护车牌区域的形状、大小及特定的车牌纹理特征。 图像滤波,即在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制,是图像处理中消除噪声的不可或缺的操作,其处理的结果的好坏将直接影响到对后续图像进行处理和分析的有效性和可靠性。常用的滤波操作方法有很多种,如中值滤波、形态学滤波、高斯滤波、双边滤波等。我们在这里介绍一下中值滤波和本文所研究系统采用的形态学滤波。
车牌识别系统也是基于形态学操作的重要性质,对经过二值化后的车牌图像首先进行闭运算操作,使得车牌的字符区域连接起来,然后对车牌图像进行开运算操作,来消除车牌上的噪声,得到明亮的车牌区域从候选区域中去除伪车牌并定位出车牌区域 通过对车牌图像的数学形态算,图像中剩下少部分的连通区域,即为车牌的候选区域,这些区域包括车牌区域和伪车牌区域,为此,需要从图像中去除伪车牌并定位出车牌。
首先,经过对白色连通区域的轮廓进行处理得到矩形边界框,再根据我国车牌长宽比的特征,即44:14,考虑到在车牌定位过程中,由于对车牌的数学形态学操作会减少车牌信息以及拍摄所得到的车牌图像中车牌的倾斜等原因,取长宽阈值为2.0-6.0,这样就剔除了长宽比不符合条件的候选区域。 然后,由于对车牌图像的数学形态学操作会减少车牌信息,所以定位出的车牌区域会有可能小于车牌的实际区域,这时,我们就需要对定位出的车牌区域进行放大,在这里,我们对车牌区域进行放大的比例是120%,即对已经定位出的车牌候选区域的边界进行扩大。车牌由七个字符组成,在对候选区域对应的灰度化图像进行边缘检测二值化之后,正常情况下,车牌水平投影区域内每行的边缘点数要大于14,根据经验值,我们取15。在车牌水平投影区域内会出现较大的波峰,该波峰认为是车牌的上下边界,根据实验结果,要求波峰的始点和终点之差大于20小于120,从而得到车牌的上下边界。后,根据二值化车牌图像中车牌的纹理特征信息,即在车牌区域范围内会出现明显的梯度变化特征,来确定车牌区域,终定位出车牌。在二值化图像中,255代表车牌图像中的边缘信息,0代表非边缘信息。为了更加精确的定位出车牌和剔除伪车牌,需要对定位出的车牌区域进行筛选,有两个筛选条件,一个是在二值化图像中灰度值为255和灰度值为0的像素比大于0.25,另一个是二值化图像中灰度的跳变次数范围是[5,30]。
通过对车牌图像的灰度处理、边缘检测、二值化、图像形态学操作定位出车牌的候选区域,接着利用车牌的特征,如长宽比、像素比等,从候选区域中定位出车牌
车牌识别技术原理
1、车牌识别系统框架
文通车牌识别系统采用高度模块化的设计,将车牌识别过程的各个环节各自作为一个独立的模块,采用国际的计算机智能算法技术,首先通过摄像头提取车牌视频图像,对获取的每一帧图像,利用的高效视频检测技术对车牌进行定位和跟踪,从中自动提取车牌图像,然后经过车牌精确定位、切分和识别模块准确地自动分割和识别字符,得到车牌的全部字符信息以及颜色信息。系统框架如图所示:
2、车牌定位模块
车牌定位模块是一个十分重要的环节,是后续环节的基础,其准确性对整体系统性能的影响巨大。本系统实现了一种完全基于学习的多种特征融合的车牌定位新算法,适用于各种复杂的背景环境和不同的摄像角度。同步内置的区域设置功能,可以很大程度上减少外部环境对于车牌识别的干扰,达到的识别效率。
3、车牌矫正及定位模块
受拍摄条件的限制,图像中的车牌总不可避免的存在一定的倾斜,需要一个矫正和定位环节来进一步提高车牌图像的质量,为切分和识别模块做准备。本系统使用*创的精心设计的快速图像处理滤波器,计算速度快,利用车牌整体信息,避免了局部噪声带来的影响,另一个优点就是通过对多个中间结果的分析还可以对车牌进行定位,进一步减小非车牌区域的影响。本系统较之其他公司的车牌识别系统,对于倾斜车牌图片的支持要更多,一般的车牌识别软件,支持的倾斜角度是±5°,该车牌识别软件,能支持±45°的倾斜角度,并且通过内部倾斜校正算法,不会因为倾斜角度的增加而降低识别率。
4、车牌切分模块
车牌切分模块利用车牌文字的灰度、颜色、边缘分布等各种特征,能较好地抑制车牌周围其他噪声的影响,并能容忍一定倾斜角度的车牌。
5、车牌识别模块
在车牌识别模块中,采用了多种识别模型相结合的方法,构建了一种层次化的字符识别流程,有效地提高了字符识别的正确率。另一方面,在字符识别之前,使用计算机智能算法对字符图像进行了前期处理,不仅保留了图像信息,而且提高了图像质量和相似字符的可区分性,保证了字符识别的可靠性。
6、车牌识别结果决策模块
文通车牌识别系统可以对每帧车牌图像进行实时识别,因此在一辆车的识别过程中,本系统将得到若干相同或不同的识别结果。这就需要一个识别结果的决策模块,具体地说,决策模块利用一个车牌的帧图像,对识别结果进行智能化的决策,通过计算观测帧数、识别结果稳定性、平均可信度和相似度等度量值得到该车牌的综合可信度评价,从而决定是否输出识别结果,或是拒绝该结果。一个车牌的终识别结果是通过分析所有帧的识别结果,对它们进行智能化的归类和投票,并结合一定的文法信息综合而成。这种方法综合利用了所有帧的信息,减少了以往基于单幅图像的识别算法所带来的偶然性错误,大大提高了系统的识别率和识别结果的正确性和可靠性。