基于视觉的车辆查验方法及车辆查验系统与流程

本技术涉及数字图像处理领域，更具体地说，是基于视觉的车辆查验方法及车辆查验系统。背景技术：1、在安检场所，需要对通道上车辆进行安全查验，其可包括驾驶员在内的乘客的数量以及查验座舱内是否携带有危险物品。若是通过人工查验，需要安检人员始终在车道长时间等待过往车辆，并且需要在打开车门后，查验人员通过手持摄像头、红外线探测仪等需要人工在现场进行操作，查验人员需要长时间在车道处等到查验车辆，如此查验效率低且不便捷。技术实现思路1、针对现有技术，本技术解决的技术问题是提供一种提高查验效率、查验便捷型以及有利于实现智能化查验的基于视觉的车辆查验方法及车辆查验系统。2、为解决上述技术问题，第一方面，本技术提供一种基于视觉的车辆查验方法，其包括：3、获取由感应面朝向预设框的第一相机采集的第一图像j，基于第一图像j判断车辆与预设框的位置关系；4、若车辆停靠于预设框内，则语音提示司机打开所有车窗；5、利用车道上的深度相机采集停靠于预设框内的车辆侧面图像以获得第二图像f，检测第二图像f的所有车窗目标和计算每一车窗目标的开合度；6、若是存在任一车窗目标的开合度小于开窗阈值，继续进行语音提示开窗操作，重新获取第二图像f，并持续检测第二图像f的所有车窗目标和计算每一车窗目标的开合度，直至所有车窗目标的开合度大于开窗阈值；7、计算每一车窗目标的开窗区域的中心点至深度相机的第一三维世界坐标；以及，8、将第一三维世界坐标值转换成位车道上的机械臂的第二三维世界坐标。9、在一种可能的实现方式中，基于第一图像j判断车辆是否停靠于预设框内，包括：10、获取预设框在第一相机图像视野中的预设框区域；11、利用第一目标检测模型对第一图像j进行车辆目标检测，获得车辆目标框；12、判断车辆目标框的四个角点是否在预设框区域内；13、若是，则车辆停靠于预设框内；14、否者，判断车辆目标与预设框在通行方向上和垂直于通行方向上的偏移情况。15、在一种可能的实现方式中，第一图像j的图像坐标系的原点位于图像左上角点，图像坐标系的横轴与车辆通行方向平行且图像坐标系的纵轴与车辆通行方向垂直；其中，判断车辆目标与预设框在通行方向上和垂直于通行方向上的偏移情况，包括：16、获取预设框区域中心点ofra（xfra,yfra）和车辆目标框的中心点ocar（xcar,ycar）；17、判断在通行方向上是否发生偏移现象：如果xfra与xcar差值的绝对值大于横向阈值且xfra与xcar差值大于0，则车辆目标在平行通行方向上相对于预设框靠后；如果xfra与xcar差值的绝对值大于横向阈值且xfra与xcar差值小于0，则车辆目标在平行通行方向上超过预设框；18、判断在垂直于通行方向上是否发生偏移现象：如果yfra与ycar的差值的绝对值大于纵向阈值且yfra与ycar的差值大于0，则车辆目标在垂直于通行方向上相对于预设框靠左；如果yfra与ycar的差值的绝对值大于纵向阈值且yfra与ycar的差值小于0，则车辆目标在垂直于通行方向上相对于预设框靠右。19、在一种可能的实现方式中，在进行基于第一图像j判断车辆与预设框的位置关系之前，基于视觉的车辆查验方法还包括：利用设置于位于车道上的多个测距元件判断车辆是否停稳；该多个测距元件形成一列且沿预设框的平行于通行方向的边长分布。20、在一种可能的实现方式中，第二图像f包括彩色图像f1和深度图像f2，其中，检测第二图像f的所有车窗目标和计算每一车窗目标的开合度，包括：21、基于第一目标检测模型检测出彩色图像f1中的所有车窗目标，获得车窗目标集合window；22、对深度图像f2进行深度信息的直方图统计，获得车体至深度相机的距离d；23、以距离d为作为第二阈值对深度图像f2进行二值化处理，获得二值化图像；24、依序利用第一结构元素和第二结构元素对二值化图像进行腐蚀操作，获得腐蚀的图像，其中第一结构元素的尺寸大于第二结构元素；25、对腐蚀的图像进行连通域求解操作，计算所有连通域的最小外接矩形，在所有最小外接矩形中选取宽度满足第一预设条件的最小外接矩形以形成代表开窗区域的最小外接矩形集合openw；26、在最小外接矩形集合openw中匹配属于每一车窗目标内的最小外接矩形；27、若是一车窗目标windowi未匹配到最小外接矩形集合openw中的最小外接矩形，则判定车窗目标windowi未开窗；28、若是一车窗目标windowi匹配到最小外接矩形集合openw中的最小外接矩形openwj，车窗目标windowi的开合度degi=hopenwj/hwindowi，其中，hwindowi为一车窗目标windowi的高度，hopenwj与车窗目标相匹配的最小外接矩形openwj的高度。29、在一种可能的实现方式中，对于最小外接矩形集合openw中任一最小外接矩形openwj与任一车窗目标windowi相匹配需满足的条件为：的值大于设定阈值；30、其中，代表最小外接矩形openwj在横轴方向上的坐标范围，为车窗目标windowi在横轴方向上的坐标范围，表示求交集操作。31、在一种可能的实现方式中，计算每一车窗目标的开窗区域的中心点至深度相机的第一三维世界坐标，为：32、 ；33、；34、其中，、、和来自深度相机的内参矩阵k；、分别为图像物理坐标系原点在图像像素坐标系中的横坐标和纵坐标；、为该车窗目标的开窗区域的中心点在图像中横坐标和纵坐标；和分别为深度相机的横轴方向的焦距和纵轴方向的焦距；为开窗区域的中心点至深度相机的第一三维世界坐标值。35、在一种可能的实现方式中，将第一三维世界坐标值转换成位车道上的机械臂的第二三维世界坐标，为：36、a×+；37、a=；38、其中，a为矩阵，为第一三维世界坐标值转换成机械臂坐标系下的第二三维世界坐标值，三个角度、和分别为翻滚角、俯仰角和偏航角，,,分别为深度相机坐标系原点在机械臂坐标系下的x轴、y轴和z轴下的坐标值。39、本技术还提供一种车辆查验系统，其包括：40、位于车道的一侧安全岛上的第一相机，其感应面朝向规划于车道内的预设框；41、与所述第一相机设置于车道的同一侧安全岛上且位于预设框一侧的深度相机，所述第一相机和所述深度相机沿车辆通行方向依序分布，所述深度相机用于采集停靠于车道的预设框内的车辆侧视图；42、与所述深度相机同侧设置于车道安全岛上的滑轨，所述滑轨沿车辆通行方向延伸且与所述深度相机在垂直于车辆通行方向上左右并排设置；43、与所述滑轨滑动连接的机械臂，所述机械臂可相对于车道上下运动且可相对于车道预设框内的车辆伸缩运动；44、设置于所述机械臂上的查验装置；45、设置于车道上的语音播报器；以及，46、图像处理模块，用于执行所述基于视觉的车辆查验方法步骤。47、本技术提供的基于视觉的车辆查验方法及车辆查验系统的有益效果在于：通过图像视觉方法分析车辆是否停靠在预设框内并分析出车辆的所有车窗是否打开至开窗阈值，对于充分开窗的车辆，计算每一车窗目标的开窗区域的中心点至深度相机的第一三维世界坐标，并将第一三维世界坐标转换成机械臂坐标系下的第二三维世界坐标以为机械臂的运动提供了目标位置，如此便于后续机械臂带动查验设备运动至第二三维世界坐标的车窗位置处，对车内情况进行查验。