Question

前景与背景差分得到的灰度图像，如何将目标识别出来

前景与背景差分得到的灰度图像，如何将目标识别出来，也就是那辆车，去点旁边的干扰，二值化时换了好几个阈值，都不理想，该怎么办，小弟毕业设计要被抽查了，大家帮帮忙

Answer 1

二值化的阈值你怎么确定的 matlab里面的T=graythresh（）确定的阈值是Otsu方法确定的 效果是可以的 车辆旁边的干扰因素可以在二值化后用数字图像的形态学膨胀腐蚀以及开运算和闭运算去掉
如果要算车辆在图像中的面积可以边缘检测之后和形态学处理后的图像联合处理并做掩模运算基本可分割出来车辆的目标以及整个车辆的区域

Answer 2

嵌入式汽车身份自动识别系统

一、项目介绍
（研究目标、研究背景及现状、工作原理和方案设想、计划进度安排等）

见附录。
二、项目自我评价
1、先进性：
在数字信息技术和网络技术高速发展的后PC时代，随着嵌入式处理器性能的不断提高，高性能的处理器已经能满足复杂算法应用和其他复杂功能应用，嵌入式将不可避免得走进各个领域。另一方面，伴随着我国经济的快速发展和北京奥运会的举行，“交通智能化”将毋庸质疑的成为热门话题。由于交通行业的特殊性，其对ITS设备的技术参数、使用条件都有苛刻的要求，而嵌入式恰好能够满足此要求，因此嵌入式智能交通设备的大范围应用是必然趋势。嵌入式汽车身份自动识别系统是智能化交通管理系统的重要组成部分，是嵌入式技术与汽车身份识别技术的完美结合，他涵盖了嵌入式车牌识别、嵌入式车标识别以及汽车颜色识别三大主体功能，力求将汽车目标一次性锁定。
它拥有以下优点：
1、高度独立：使用嵌入式技术，仅通过通信接口与应用系统连接，独立性高。
2、功能齐全：同时识别汽车车牌、车标及颜色，一次性锁定目标，具有现有系统所没有的强大功能。
3、可塑性强：前端可与信号触发装置等上游产品结合，末端内置无线网络及多种串口接口以便与下游产品结合。系统功能与使用范围得到极大拓展。
4、易于维护：修理、维护仅涉及本系统而不影响其他模块，维护成本远低于同类产品。
5、便携灵活：设备高度集成，小巧灵活，使用方便。

2、可操作性和可实现性：
目前，车牌识别、车标识别等技术日趋成熟与完善，相关资料较易获取。现有的嵌入式技术也比较成熟。故，从技术难度上讲该选题较于其他的前沿科学容易实现。选题所涉及的设备和材料也较易获得，且成本适中。
3、创新点：
现有的车牌识别装置一般使用电脑处理数据，有些甚至需要若干台电脑合作完成，占用大量空间与资源。即使偶有由嵌入式完成的系统其功能也仅限于车牌识别或车标识别。本系统创造性地将嵌入式与车牌识别、车标识别以及汽车颜色识别相结合，一次性解决了目前设备体系臃肿、集成难度大、稳定性差，维护难，功能单一等问题。
4、可能存在的问题：
目前，主要问题是嵌入式集成度及无线传输的距离。我们所设想的理想情况是：针对现在大多使用电脑整机处理数据，设备灵活性差的缺点，开发出便携式、数据可无线传输的汽车身份识别系统。但是由于我们时间、精力和资金的限制，“便携的程度”是目前最大的难题。另外车速与景深对图像识别的影响问题也是我们可能会面对的难题。

三、预期成果

（成果的具体形式，如：申请专利、公开发表论文、制作科技实物（含软件程序）等，可以同时有多种成果形式）

我们预计我们的实验成果有以下几个方面。
首先，我们计划制作出科技实物，即确实地完成该嵌入式系统，拿出实实在在的成果。
第二，从我们对市场现状的分析来看，该嵌入式汽车身份识别系统的市场前景非常乐观，故可以将我们的产品申请专利并投入市场进行生产。
第三方面，由于汽车颜色、车牌、车标的组合识别还没有合适的算法，所以在完成本系统的过程中我们不可避免的要完成算法设计，而这部分成果可以通过公开发表论文的形式进行展示。
因为我们计划完成一个系统，所以我们需要同时完成该系统的硬件和软件两个部分。从大的角度来看，软件及算法部分的成果可以通过论文发表，而硬件方面的成果则可以通过投入生产和申请专利来体现。无疑，我们的成果形式会比只做软件部分或者只做硬件部分的选题多。这也是我们的一大优势。
实验环境要求
经费预算 内容 用途 预算金额 预计执行时间
CCD摄像部分 前端图像的获取，购买摄像头或摄像机 3000 07.12~ 08.2月
辅助光源 针对特殊环境进行光线补充 1500 07.12~ 08.2月
图像采集卡 模拟信号数字化 2500 07.12~ 08.2月
嵌入式系统硬件设施 图像的处理 4000 08.3~ 08.10月
硬盘录像机 视频信息的存储 2500 08.10~ 08.12月
显示装置 输出图像识别结果 1500 08.12~ 09.2月
无线收发或有线传输装置 信息的传输 2500 09. 2~ 09.3月
机械加工 机械零件组装成样机 2000 最后阶段
合计：19500元
学院审批意见
专家委员会评审意见
学校审批意见
附录一：选题的现状、背景及意义
自1885年，世界上第一台汽车诞生至今，汽车为我们日常工作与生活的带来了翻天覆地的影响。一百多年来，汽车以其价格低廉，操作方便等优势逐渐被大众所接受，走入了千家万户。在我国，每年都有许多人加入有车一族。随之而来的自然是越来越快捷方便的生活方式以及由此引发的一系列问题：汽车盗窃案每年逾万，交通事故时有发生……无疑，汽车需要规范管理。现在，我国的大部分汽车管理工作都是由人来操作完成的。不难想象，面对越来越庞大的汽车队伍，人工操作明显的力不从心。所以“交通智能化”将成为未来交通管理的必然趋势。
要实现交通智能化怎么可以没有“汽车身份”的识别呢。早在上个世纪九十年代初，汽车身份识别已经引起了全世界的广泛重视，人们开始研究有关汽车身份证——汽车牌照自动识别的相关问题。几年后，汽车的另一个重要的身份象征——汽车标志识别也成为了热门话题。车牌识别的一般途径为：采用计算机图象处理技术对车牌进行分析后自动提取车牌信息以确定车牌号。车标识别则基于边缘直方图和模板匹配相关系数混合的算法。目前车牌与车标识别的理论已经成熟，离线算法识别率已经达到较高的水平，同时正向着集成化、智能化方向发展。
在智能化交通管理系统中，汽车身份识别相当于vc++中的“基类”地位，即智能化交通管理系统中的其他子模块需要在汽车身份识别的基础上进行继承和发展。所以我们认为，汽车身份识别要求较高的集成度，最好能由可以嵌入到其他系统中的、集成度高的模块来完成，如单片机、CPLD。而现阶段的汽车身份识别大部分却是依靠计算机来完成的。
另外，由于汽车身份识别的“基类”定位，使用时对“能否唯一的锁定汽车”以及“能否很快地判定是哪辆车”就有了一定的要求。而现阶段的汽车身份识别却仅依靠单纯的识别车牌来完成。市场上存在的也多是车牌或是车标的单独识别系统，将二者结合的系统则非常罕见。而这些单一的系统显然很难达到真正的识别锁定汽车身份的目的。
结合智能化交通管理系统的要求，现今汽车身份识别的现状以及二者的发展趋势，我们小组选择了嵌入式汽车身份自动识别系统作为我们本次创新实验计划的选题。我们计划以嵌入式完成汽车身份识别后，将处理完的数字信息传递到智能化交通管理系统的其他模块中。用嵌入式代替电脑处理汽车身份识别将大大提高智能化交通管理系统的集成度，降低成本。区别于单一的识别系统，我们设计完成的汽车身份识别系统将车牌识别与车标识别相结合，并辅以汽车颜色识别。同时识别，同时输出，从而从多方面判断并锁定汽车，力求达到万无一失。从而极大地方便了该系统在各个领域的使用。
公安交管领域，该嵌入式汽车身份自动识别系统可被应用在交管系统中。将本产品嵌入到用来测速、测超载的其他交通设施中，就可以完成一系列的管理工作；与终端电脑处理系统相连，传输的是已经经过处理的数字信息而非图片信息，大大节省了终端电脑的处理时间和内存空间，提高反应速度与处理效率，有效解决交管领域人手不足的现状。
在园区车辆管理方面，本嵌入式汽车身份自动识别系统将留有端口，使其可以与园区的业主入住时所登记的汽车信息库相连。在园区大门处，安装我们的车牌自动识别系统，以对进出车辆自动识别，然后将数据传到数据库并根据数据库中的车牌数据判断是否是园区内的车辆，然后分情况处理。这将大大增加园区汽车的安全系数，而使用该系统的成本远低于使用电脑处理的系统的成本。
关于停车场管理，我们的嵌入式车牌自动识别系统可以完成智能化管理过程。将系统安装在停车场的出、入口处，用来对进出停车场的车辆进行自动识别，而处理后的数据将传入终端电脑，由终端电脑结合传入的信息与数据库判断是否属已买（或租）车位的车辆做出相应处理。
综上，我们有理由相信我们计划完成的嵌入式车牌自动识别系统可以在未来的交通智能化管理系统中发挥举足轻重的作用，是值得去研究和探索的。

附录二：工作原理及方案设想
本汽车身份识别系统包含车牌识别、车色以及车标的识别，本系统将使用嵌入式系统完成此三部分的识别。由于我们刚接触这部分内容，所以想法不是很成熟。
下面将分车牌识别与车色、车标识别以及嵌入式三个部分介绍我们的工作原理和方案。

第一部分：车牌识别
1、总体结构

车牌自动识别系统主要分为三大模块:（1）触发：即前端设备的数据入口处，如测速系统等。(2)图像处理部分：分为图像采集、车牌定位、字符分割和字符识别四部分。(3)无线传输系统将所处理得的数据传送至后端应用系统，如交通违规管理系统，只能停车场系统，安检系统等。
2、算法部分
①前端CCD摄像机：
原始图像获取
由CCD摄像机及辅助照明装置组成。获取图像质量的好坏直接影响到后端处理和识别的效果. 要获得比较清晰的图像, 需要考虑许多影响图像质量的因素, 主要包括: 摄像头和图像卡的选取, 摄像机的位置标定, 汽车的车速, 出入单位的汽车车队之间的距离, 天气、光线等情况对摄像机所摄图像曝光量的影响。
判断是否有车辆进入观测区
采用图像差值法来判断监测区是否有目标进入，即首先将视频图像灰度化，然后比较两幅图像对应像素点的灰度值，看是否有变化以及变化有多少。
图像差分只能测定监测区中是否有物体经过，但它是否交通车辆，尚未可知。鉴于图像差分所产生的噪声、行人、自行车比汽车所占区域小得多，设计尺度滤波器将尺度较小的物体及噪声滤掉。
②车牌定位及预处理
左图为车牌定位的主要算法。完成基本的车牌定位后，还需要对车牌进行一些基本的预处理。包括倾斜矫
正与铆钉和边框的去除。
I、车牌字符的倾斜矫正
车牌字符分割的难点在有些车牌是倾的，直接分割效果不好，需要做校正。首先求出车牌的倾斜率，根据此斜率对车牌做旋转校正。
II、车牌边框和铆钉的去除
先验知识：对于标准车牌，字符间间距为12mm，第2、3个字符间间距为34mm，其中，中间小圆点l0mm宽，小圆点与第2、3个字符间间距分别为12mm。在车牌边框线的内侧，通常有四个铆钉，他们不同程度地与第2个字符或第6个字符粘连，如果不去除铆钉，将给第2和第6在字符的识别造成困难。
将车牌图像进行二值化后，图像仅黑、白二值。白色像素点(灰度值255)取1，黑色像素点(灰度值0)取0，这里采用的是白底黑字模式。对车牌图像逐行进行从内向外式扫描，当扫描到车牌图像某一行中，白色像素点的宽度大于某一阀值时(第一个符合条件的行)，则认为是车牌字符的边沿处，切除这一行以上或以下的所有行。
③车牌字符分割
右图为车牌
字符分割的主要
算法。
在此，由于
我们的知识有限
就不对这些算法
做具体介绍了。

④字符识别方法
字符
识别是车
牌识别的
核心部分。
常见的车
牌字符识
别算法包
括六种。
我们将他
们罗列在
右图中。
其中，我们比较感兴趣的是基于神经网络的字符识别算法。下面，我们具体介绍两种比较简单且普遍的算法以及基于神经网络的字符识别算法。
I、模板匹配车牌字符识别
中国车牌的字符模板分为汉字、英文字母和数字模板，由统计方法构造并保存到数据库中。模板匹配是将字符模板和标准化了的车牌字符进行匹配来识别字符。
II、特征匹配车牌字符识别
车牌识别的方法中，可利用的字符特征很多，大致可以分为结构特征、象素分布特征及其他特征。
在这里，我们拟重点突破神经网络法，因为人工神经网络技术具有非线性描述、大规模并行分布处理能力、高度鲁棒性和自学习与联想等特点，适用于非线性时变大系统的模拟与在线控制。具体步骤如下图所示：
此外，我们还会尝试将各种算法结合起来，以扬长避短，如：将遗传算法与人工神经网络结合起来，既能利用遗传算法能并行计算且能快速、全局搜索的优点又能克服神经网络固有的搜索速度慢且易陷入局部旱热的缺点等。
由于我们还在大学二年级学习专业基础课程，对图像处理的最新算法还不够了解，我们会在实际操作过程中，选择一种最优的方案并且结合我们的系统特征提出改进意见。

第二部分：车色以及车标识别
①、车身颜色识别
颜色特征具有对图像本身的尺寸、方向、视角等依赖小、鲁棒性高等优点，因此在基于内容的图像索引技术和智能交通系统以及众多的I业(如造纸、纺织、印刷等)系统中有着极其重要的应用。长期以来，由于各种原因，人们提出了数量众多的彩色空间模型，主要可分为三类:第一类是基于人类视觉系统(HumanV isionS ystem,H VS)的彩色空间，它包括RGB,H SI,M unsell彩色空间等；第二类是基于特定应用的彩色空间，它包括电视系统中所采纳的YUV和YIQ、摄影行业如柯达的YCC、打印系统的CMY (K)彩色空间；第三类是CIE彩色空间(包括CIE XYZ, CIE Lab和CIE Luv等)。这些彩色空间各有优缺点，它们在各自的领域里发挥了重要的作用。
我们拟采用RGB彩色空间完成我们的系统。RGB彩色空间在计算机相关领域里应用广泛，例如用于常见的CRT显示器等。在RGB彩色空间中，各彩色值用R、G、B三通道值的组合来共同表示，而其相应的通道值是通过图形采集卡或者CCD传感器等类似器件中的光感受器来获得的。其中，各通道值用入射光及其相应光感受器的光敏函数值之和来表示:
R=
G=
B=
其中，S (A)是光谱，R(A)、G(A)和B(A)分别是R,G,B传感器的灵敏度函数。从上式可以看出，该彩色空间是设备相关的，它与具体捕获设备的光敏函数相关。然而，由于RGB值易于获得和在计算机中计算和表示，因此通常可以用来表示其他各彩色空间，即把RGB值转换为其他彩色空间值。RGB彩色空间的标准色差定义为：
）
由于不同的彩色对人主观感受的影响不同，为了更好的表示色差，在本颜色识别子系统中使用经验色差公式：

对于我们拟设计的车身颜色识别系统主要分以下四大步骤完成车身颜色识别
1．识别区域的选取
为了准确识别出车身颜色，识别区域的选取至关重要。本实验选取车脸前部靠近排气扇的部分

2．颜色直方图计算
对所选区域，计算出现次数最多的颜色。在实际应用中，由于其他彩色空间模型的分量值均可用RGB值来表示，为了计算简便，在计算颜色直方图时可仅针对RGB彩色空间模型进行。
3．色差计算
根据相应彩色空间模型的色差计算公式，计算其与 颜色模板间的色差。
4、颜色识别
在得到样本色与标准色在各个彩色空间模型中的对应色差后，就可以根据其结果进行颜色识别。即选取前一步计算得到的色差中的最小值，作为识别结果。

②、车标识别部分
毋庸质疑，车牌和车标的自动、实时识别是运动车辆类型精确识别系统中至关重要的两个部分。目前人们已经提出了众多的车牌定位算法，主要可以分为两大类:基于黑白图像的车牌定位算法和基于彩色图像的车牌定位算法。基于黑白图像的车牌定位算法又可以分为多类，如基于特征的车牌定位算法基于自适应能量滤波的车牌定位算法，基于小波变换和形态学处理相结合的车牌定位算法，基于二值投影的车牌定位算法，以及基于遗传算法的车牌定位算法等。
这些车牌定位算法各有优缺点，但他们都可以在一定程度上作为车标定位的参考。
车标定位与识别无论在国内还是国外都是一个较为崭新的领域。由于车标本身固有的特殊性：目标小、相似性大、受尺寸和光照影响大、背景不统一，以及不同汽车公司的车标形状大小不一致等，使得其精确定位识别成为一个难点。
我们将车标识别分为以下几个主要步骤:
(l)车牌定位:根据车牌的纹理特征，基于多分辨率分析快速获取车牌区域 ；
(2)车头定位:根据车头区域能量较高且较为集中的特点，通过OTSU二值化算法 进 行 图像二值化，然后利用二值投影，并结合车牌位置信息进行车头快速定位 ；
(3)中轴定位:在车头区域内，根据轴对称性定位车头中轴；
(4)车标粗定位:在定位出车头的基础上，根据车标与车牌的先验知识，得到车标经验搜矩形；
(5)车标精确定位:在第(4)步的基础上，利用车标纹理特征进行车标的精确定位。主要包括两步:一是根据车标区域在垂直方向上具有能量高且相对集中的特点，利用能量增强和自适应形态学滤波进行车标的一次定位；二是利用改进的模板匹配算法进行车标的精确定位。车标识别系统是运动车辆识别系统中的重要组成部分，与车牌识别一样，它也包括了定位和识别两项关键技术。

上图为车标识别系统结构示意图，与典型的目标识别系统一样，它包括了离线的训练过程和在线的识别过程。在训练过程中，首先将手工采集得到的车标样本进行图像归一化、尺度归一化等预处理，然后分别进行模板提取以得到车标标准模板库。车标标准模板库中的模板不仅用于车标定位，还用于进行特征提取以得到车标特征模型库用于车标识别。在定位过程中，除了输入汽车图像外，还需输入车牌的位置信息。这是因为各类车标不具有稳定的纹理特征，且大小、形状各不相同，所以在复杂的背景下直接利用特征匹配或模板匹配进行车标定位是非常困难的。因此必须利用车牌位置、车辆对称性等先验信息进行粗定位，在此基础上再利用相关图像处理技术和模板匹配进行精确定位。车标定位以后，车标识别问题就转化为一个2D形状的识别问题，这可以通过模板匹配的方法实现。但是在实际采集的图像中，往往存在光照、噪声、部分遮挡和形状相似等问题的影响，常规的模板匹配方法难以达到满意的识别效果。因此通常还需要一种合适的特征提取和识别方法来辅助进行车标识别，以提高系统的识别率。

第三部分：嵌入式
按照历史性、本质性、普遍性要求，嵌入式系统应定义为：“嵌入到对象体系中的专用计算机系统”。“嵌入性”、“专用性”与“计算机系统”是嵌入式系统的三个基本要素。对象系统则是指嵌入式系统所嵌入的宿主系统。
嵌入式系统的核心是嵌入式微处理器，它有4个优点：
(1) 对实时和多任务有很强的支持能力，能完成多任务并且有较短的中断响应时间，从而使内部的代码和实时操作系统的执行时间减少到最低限度；
(2) 具有功能很强的存储区保护功能。
(3) 可扩展的处理器结构，可以迅速地扩展出满足应用的高性能的嵌入式微处理器；
(4) 嵌入式微处理器的功耗很低，尤其是用于便携式的无线及移动的计算和通信设备中靠电池供电的嵌入式系统更是如此，功耗只能为 mW甚至μ W级，这对于能源越来越稀缺昂贵的时代，无疑是十分诱人的。
另外，嵌入式实时操作系统提高了系统的可靠性。这些都值得我们去做一个嵌入式车牌识别系统。
考虑到通常车牌以及车标识别算法的运算量大，同时又要满足实时性要求。因此，我们准备采用32位ARM嵌入式微处理器作为核心单元，以CPLD作为时序控制单元，采用基于ARM 9 S3C 241 C的嵌入式图像采集处理系统，在内嵌Linux操作系统的草础上，充分利用了ARM器件体积小、能力强以及功耗低的特点，实现并行数据总线/USB日接口图像接入、图像快速处理、图像信息的本地压缩存储和IP化数数据传输。该系统可使整个系统简化电路并且减少占用资源。
系统设计构成
整个系统由USB图像采集子系统，ARM处理子系统和网络数据传输子系统成摄像头采集现场视频数据通过U SB传输至ARM处理板;ARM处理板内嵌Linux操作系统，采用快速图像算法对图像序列进行处理，并根据处理结果采取相应的措施;网络传输子系统可以处理数据上传监控中心做进一步后续处理，系统结构下图所示。

ARM图像处理子系统拟采用S3C 2410处理器，能满足图像处理速度的要求；USB图像接入，可以保证图像传输速度;扩展64M SD RAM与64M Flash,大容量的RAM能够保存多幅图像，便于图像的分析与处理;无线网络接口实现了数据信息的网络化管理。
当然，以上只是我们的初步设想这些设想都将在我们以后的大量实验过程中得到论证和优化！

附录三：计划进度与安排
计划进度安排：
1.用约15天时间买一些实验所需的基本用品。
2.利用课余时间学习所需知识。
3.用约七个月时间完成编程，解决软件方面问题。
4.用约一年完成硬件方面，并制作样机。
5.初步检查，花费约一个月。
6.以六个月时间调试样机，发现缺陷并修正。反复试验，直至达到一个令人满意的水平。
综上，我们是计划用两年左右的时间拿下这个项目。当然，以上只是大体计划，以后会随实验的实际进度进行适当调整。