一种头部姿态数据采集方法、装置、电子设备及_中国专利数据库
全国客户服务热线:4006-054-001 疑难解答:159-9855-7370(7X24受理投诉、建议、合作、售前咨询),173-0411-9111(售前),155-4267-2990(售前),座机/传真:0411-83767788(售后),微信咨询:543646
企业服务导航

一种头部姿态数据采集方法、装置、电子设备及

发布日期:2024-08-22 浏览次数: 专利申请、商标注册、软件著作权、资质办理快速响应热线:4006-054-001 微信:15998557370


一种头部姿态数据采集方法、装置、电子设备及
申请号: 申请日:
公开(公告)号: 公开(公告)日:
发明(设计)人: 申请(专利权)人:
主分类号: 分类号:
代理公司: 代理人:
地址: 国省代码:
权利要求书: 说明书:
微信咨询: 添加微信:543646或【点此在线咨询 文件下载: 【点此下载】请正确填写本页网址和接收邮箱
摘要: 本申请涉及智能座舱,具体而言,涉及一种头部姿态数据采集方法、装置、电子设备及存储介质。、随着座舱技术的快速发展,在座舱系统中实现智能和个性化的用户交互也成为了关键需求,而头部姿态估计正是其中的重要组成部分。通过头部姿态估计,座舱系统可以根据乘客的头部动作调整显示屏的角度以确保最佳视觉效果,...
相关服务: 软件产品登记测试全国受理 软件著作权666元代写全部资料全国受理 实用新型专利1875代写全部资料全国受理

本技术涉及智能座舱,具体而言,涉及一种头部姿态数据采集方法、装置、电子设备及存储介质。背景技术:1、随着座舱技术的快速发展,在座舱系统中实现智能和个性化的用户交互也成为了关键需求,而头部姿态估计正是其中的重要组成部分。通过头部姿态估计,座舱系统可以根据乘客的头部动作调整显示屏的角度以确保最佳视觉效果,此外,该技术还可用于驾驶员监测系统,以提高驾驶员的警觉性和安全性,防止驾驶员出现分心、疲劳驾驶和不适当的驾驶姿态。2、目前,随着深度学习的快速发展,主要通过深度学习模型训练估计乘客的头部姿态,其中,涉及到获取头部姿态的真值数据,通常可以通过设备(例如,多目摄像头、tof摄像头或者激光雷达等)获取人脸的深度信息,并同时对人脸的三维模型进行建模,计算得到头部姿态真值(头部姿态数据)。3、但是,基于人脸三维建模获取头部姿态真值的方法受限于人脸建模的精度,容易受到个体差异的影响,且由于需要进行在线标定即一边采集头部姿态真值一边进行实时标定,使得获取头部姿态真值的灵活性及准确性较低,同时,由于涉及到人脸建模,存在个体差异的影响,采集成本较高、采集效率低下,此外,由于采集过程中相机和用户之间往往存在人障碍物,导致采集角度受限。技术实现思路1、有鉴于此,本技术的目的在于提供一种头部姿态数据采集方法、装置、电子设备及存储介质,通过对惯性测量单元和摄像单元进行时间同步后将惯性测量单元固定在摄像单元上,并采集用户的头部图像后基于目标姿态变换矩阵获取用户的头部姿态数据,实现了对惯性测量单元和摄像单元的离线标定,提高了获取头部姿态数据的灵活性和准确性,且不需要依赖人脸建模,减少了个体差异的影响,降低了采集成本,提高了采集效率。同时,由于采集过程中摄像单元和用户之间不存在人障碍物,解决了采集角度受限的问题。2、第一方面,本技术实施例提供了一种头部姿态数据采集方法,应用于头部姿态数据采集系统;所述头部姿态数据采集系统包括惯性测量单元和摄像单元;所述方法包括:3、响应于所述惯性测量单元在所述摄像单元的可见区域中移动并在目标时间停止运动,对所述惯性测量单元和所述摄像单元进行时间同步;4、响应于将所述惯性测量单元固定在所述摄像单元上,获取所述摄像单元相对于所述惯性测量单元的目标姿态变换矩阵;其中,所述目标姿态变换矩阵为所述摄像单元相对于所述惯性测量单元的姿态变换矩阵;5、响应于所述摄像单元对准用户的头部,采集所述用户的头部图像,并基于所述目标姿态变换矩阵获取所述用户的头部姿态数据。6、在一种可能的实施方式中,所述对所述惯性测量单元和所述摄像单元进行时间同步,包括:7、记录所述惯性测量单元的数值停止变化时的第一时间戳;8、基于所述摄像单元观测得到所述惯性测量单元停止运动时的第二时间戳,并基于所述第一时间戳和所述第二时间戳的时间差,对所述惯性测量单元和所述摄像单元进行时间同步。9、在一种可能的实施方式中,所述头部姿态数据采集系统还包括标定板;所述获取所述摄像单元相对于所述惯性测量单元的目标姿态变换矩阵,包括:10、响应于在不同的位置和姿态下移动所述惯性测量单元,基于所述摄像单元捕捉所述标定板的标定图像,并基于预设的角点检测方法从每个所述标定图像中提取所述标定板的特征点;11、基于预设的位姿求解方法和所述标定板的特征点得到当前位置和姿态下所述摄像单元相对于所述标定板的第一姿态,并记录当前位置和姿态下所述惯性测量单元输出的第二姿态;12、根据所述第一姿态和所述第二姿态计算得到目标姿态变换矩阵。在一种可能的实施方式中,所述根据所述第一姿态和所述第二姿态计算得到目标姿态变换矩阵,包括:13、基于所述第一时间戳和所述第二时间戳的时间差对所述第一姿态和所述第二姿态进行时间同步,得到同步后的所述第一姿态和所述第二姿态;14、根据所述同步后的第一姿态和第二姿态,计算所述惯性测量单元的第三姿态和所述摄像单元的第四姿态;其中,所述第三姿态为所述惯性测量单元从一个位置到另一个位置的姿态;所述第四姿态为所述摄像单元从一个位置到另一个位置的姿态;15、基于所述惯性测量单元的第三姿态和所述摄像单元的第四姿态计算得到所述目标姿态变换矩阵。16、在一种可能的实施方式中,所述基于所述目标姿态变换矩阵获取所述用户的头部姿态数据,包括:17、计算预设的头部坐标系相对预设的相机坐标系之间的第一姿态关系;18、确定所述惯性测量单元的第一数值,并基于所述第一姿态关系、所述第一数值和所述目标姿态变换矩阵计算得到所述头部坐标系相对预设的惯性坐标系之间的第二姿态关系;19、在所述第二姿态关系下,响应于在不同位置和姿态围绕所述用户的头部移动所述摄像单元,获取所述用户的头部姿态数据。20、在一种可能的实施方式中,所述获取所述用户的头部姿态数据,包括:21、确定所述惯性测量单元的第二数值;22、基于所述第二数值、所述目标姿态变换矩阵和所述第二姿态关系计算出所述用户的头部姿态数据。23、在一种可能的实施方式中,所述方法还包括:24、在预设的时间间隔内基于所述摄像单元获取目标头部图像,并基于所述目标头部图像计算得到头部姿态校验数据;25、基于所述头部姿态数据和所述头部姿态校验数据计算得到目标夹角度,并响应于所述目标夹角度大于预设的阈值,则重新计算所述第一姿态关系,并重新采集所述头部图像和所述头部姿态数据。26、第二方面,本技术实施例还提供了一种头部姿态数据采集装置,应用于头部姿态数据采集系统;所述头部姿态数据采集系统包括惯性测量单元和摄像单元;所述装置包括:27、同步模块,用于响应于所述惯性测量单元在所述摄像单元的可见区域中移动并在目标时间停止运动,对所述惯性测量单元和所述摄像单元进行时间同步;28、第一获取模块,用于响应于将所述惯性测量单元固定在所述摄像单元上,获取所述摄像单元相对于所述惯性测量单元的目标姿态变换矩阵;其中,所述目标姿态变换矩阵为所述摄像单元相对于所述惯性测量单元的姿态变换矩阵;29、第二获取模块,用于响应于所述摄像单元对准用户的头部,采集所述用户的头部图像,并基于所述目标姿态变换矩阵获取所述用户的头部姿态数据。30、在一种可能的实施方式中,所述同步模块,具体用于:31、记录所述惯性测量单元的数值停止变化时的第一时间戳;32、基于所述摄像单元观测得到所述惯性测量单元停止运动时的第二时间戳,并基于所述第一时间戳和所述第二时间戳的时间差,对所述惯性测量单元和所述摄像单元进行时间同步。33、在一种可能的实施方式中,所述头部姿态数据采集系统还包括标定板;所述第一获取模块,具体用于:34、响应于在不同的位置和姿态下移动所述惯性测量单元,基于所述摄像单元捕捉所述标定板的标定图像,并基于预设的角点检测方法从每个所述标定图像中提取所述标定板的特征点;35、基于预设的位姿求解方法和所述标定板的特征点得到当前位置和姿态下所述摄像单元相对于所述标定板的第一姿态,并记录当前位置和姿态下所述惯性测量单元输出的第二姿态;36、根据所述第一姿态和所述第二姿态计算得到目标姿态变换矩阵。37、在一种可能的实施方式中,所述第一获取模块,具体用于:38、基于所述第一时间戳和所述第二时间戳的时间差对所述第一姿态和所述第二姿态进行时间同步,得到同步后的所述第一姿态和所述第二姿态;39、根据所述同步后的第一姿态和第二姿态,计算所述惯性测量单元的第三姿态和所述摄像单元的第四姿态;其中,所述第三姿态为所述惯性测量单元从一个位置到另一个位置的姿态;所述第四姿态为所述摄像单元从一个位置到另一个位置的姿态;40、基于所述惯性测量单元的第三姿态和所述摄像单元的第四姿态计算得到所述目标姿态变换矩阵。41、在一种可能的实施方式中,所述第二获取模块,具体用于:42、计算预设的头部坐标系相对预设的相机坐标系之间的第一姿态关系;43、确定所述惯性测量单元的第一数值,并基于所述第一姿态关系、所述第一数值和所述目标姿态变换矩阵计算得到所述头部坐标系相对预设的惯性坐标系之间的第二姿态关系;44、在所述第二姿态关系下,响应于在不同位置和姿态围绕所述用户的头部移动所述摄像单元,获取所述用户的头部姿态数据。45、在一种可能的实施方式中,所述第二获取模块,具体用于:46、确定所述惯性测量单元的第二数值;47、基于所述第二数值、所述目标姿态变换矩阵和所述第二姿态关系计算出所述用户的头部姿态数据。48、在一种可能的实施方式中,所述头部姿态数据采集装置,还包括:49、第三获取模块,用于在预设的时间间隔内基于所述摄像单元获取目标头部图像,并基于所述目标头部图像计算得到头部姿态校验数据;50、校验模块,用于基于所述头部姿态数据和所述头部姿态校验数据计算得到目标夹角度,并响应于所述目标夹角度大于预设的阈值,则重新计算所述第一姿态关系,并重新采集所述头部图像和所述头部姿态数据。51、第三方面,本技术实施例提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如第一方面任一项所述的头部姿态数据采集方法的步骤。52、第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行第一方面任一项所述的头部姿态数据采集方法的步骤。53、本技术实施例提供的一种头部姿态数据采集方法、装置、电子设备及存储介质,响应于惯性测量单元在摄像单元的可见区域中移动并在目标时间停止运动,对惯性测量单元和摄像单元进行时间同步,响应于将惯性测量单元固定在摄像单元上,获取摄像单元相对于惯性测量单元的目标姿态变换矩阵,响应于摄像单元对准用户的头部,采集用户的头部图像,并基于目标姿态变换矩阵获取用户的头部姿态数据。本技术,通过对惯性测量单元和摄像单元进行时间同步后将惯性测量单元固定在摄像单元上,并采集用户的头部图像后基于目标姿态变换矩阵获取用户的头部姿态数据,实现了对惯性测量单元和摄像单元的离线标定,提高了获取头部姿态数据的灵活性和准确性,且不需要依赖人脸建模,减少了个体差异的影响,降低了采集成本,提高了采集效率。同时,由于采集过程中摄像单元和用户之间不存在人障碍物,解决了采集角度受限的问题。为使本技术的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

一种头部姿态数据采集方法、装置、电子设备及