用于模块化玩具构造套件的传感器模块的制作方

本公开涉及一种用于模块化玩具构造套件的传感器模块，该模块化玩具构造套件具有一个或多个光学传感器、一个或多个孔(一个或多个光学传感器通过该一个或多个孔接收光)以及多个单独的指示灯，其中指示灯被配置为响应于确定所识别对象在一个或多个光学传感器中的至少一个的视场内的位置而以照明图案点亮。此外，本公开涉及一种帮助包括传感器模块的模块化玩具的用户的方法。背景技术：1、存在于光学传感器(诸如例如相机、或lidar传感器、或组合的lidar和视觉图像相机)的视场内的对象可以使用图像识别算法来识别，并且这在包括例如相机的电子设备中广泛使用。在具有可以在其上呈现用户信息的屏幕的设备中，屏幕可以向用户示出所记录的图像内的哪些对象被识别，以及其中，例如通过将所记录的图像示出为实时馈送并用亮红色正方形的轮廓覆盖对象的图像。2、在某些游戏情况下，例如用玩具构造套件游戏，屏幕可能由于各种原因而不合适，因此缺少这种帮助用户知道对象已被识别以及所识别的对象在光学传感器的视场内的方式。玩这种玩具的用户(诸如儿童)可能会感到沮丧，因为它认为它正在光学传感器的视角内显示待识别的对象，但是实际上该对象在光学传感器所看到的对象之外，并且由于识别而缺乏预期的响应。3、此外，在用于模块化玩具构造套件的传感器模块用于训练神经网络以识别新对象的情况下，缺少对用户的已经识别出对象的反馈是麻烦的。4、因此，本领域需要一种用于模块化玩具构造套件的传感器模块，其中减轻或消除了上述缺点。技术实现思路1、在第一方面，提供了一种用于模块化玩具构造套件的传感器模块，并且在第二方面，提供了一种帮助用户使用包括传感器模块的模块化玩具的方法。2、在第一方面，用于模块化玩具构造套件的传感器模块包括一个或多个光学传感器、一个或多个孔以及多个单独的指示灯，一个或多个光学传感器通过该一个或多个孔接收光，其中指示灯被配置为响应于确定所识别的对象在一个或多个光学传感器中的至少一个的视场内的位置而以照明图案点亮。3、如本文所公开的用于模块化玩具构造套件的传感器模块具有多个单独的指示灯，其被配置为响应于确定所识别的对象在一个或多个光学传感器的视场内的位置而以照明图案点亮。这允许用户(诸如儿童)在用户向传感器模块示出要识别的对象时具有来自传感器模块的反馈。因此，提供给儿童的反馈有利地与可能由屏幕提供的反馈类型断开，这需要屏幕连接到模块化玩具或者屏幕内置在玩具中，因此增加了其成本并可能降低其耐久性。连接到玩具的单独屏幕意味着儿童必须把视线从玩具移走，从而把视线从光学传感器移走，以获得反馈。通过把视线从模块化玩具移走，儿童不再能够将光学传感器视场中的对象的位置和移动与反馈直接相关联，并且如果对象位于儿童本身上，例如识别儿童面部的一部分，则把视线移走可能导致对象不再被识别。4、单独的指示灯的形状和尺寸可以使得它们容易被用户感知为单独的、独立的指示灯。指示灯具有适于在直接人类交互的背景下使用的宏观尺寸，即，指示灯的尺寸优选地被设计成提供在毫米和/或厘米范围内的发光区域。虽然可以想到低至0.5mm的指示灯尺寸，但是为了适当地分辨和区分各个指示灯，需要至少1mm、至少2mm或至少3mm的最小尺寸。因此，在一些实施例中，任何一个指示灯的至少一个尺寸大于或等于0.5mm，例如大于或等于1mm，例如大于或等于2mm，例如大于或等于3mm。指示灯的尺寸的上限由传感器模块和占据空间的其他传感器模块部件(例如相机镜头)的尺寸确定。在一些实施例中，单独的指示灯彼此间隔开，特别是使得它们可被用户感知为单独的指示灯。为此，在一些实施例中，单独的指示灯可以彼此间隔开至少0.5mm，例如至少1mm、至少2mm或至少3mm。单独的指示灯之间的相对距离的上限由传感器模块和占据空间的其他传感器模块部件(例如相机镜头)的尺寸确定。5、指示灯虽然是单独的照明元件，但是可以例如以灯条布置。指示灯可以是例如led或其他类似的合适的照明元件。指示灯可以以白色或彩色点亮，并且一些或全部指示灯可以以不同的颜色点亮。当指示灯点亮时，它们可以在彼此相比变化的流明中这样做。指示灯的亮度可以在不同时间和/或在不同照明图案之间变化，即，与另一时刻相比，它可以在给定时刻更亮或更暗。照明图案可以包括被点亮的单个指示灯，或者它可以包括同时或按时间顺序点亮的两个或更多个指示灯。根据一些实施例，照明图案可以包括动画光效果，诸如运行或闪烁的光、颜色效果和/或其任何组合。6、光学传感器可以是无源的或有源的，其中无源光学传感器测量反射光，并且有源光学传感器测量来自它们自己的光源的反向散射反射光。在这个意义上，当日常相机使用闪光灯时，记录视觉范围内的光的日常相机变成无源和有源传感器的混合。传感器模块中的无源光学传感器可以测量例如红外光、可见光、紫外光等。传感器模块中的有源光学传感器可以是lidar传感器。在一些实施方式中，一个或多个光学传感器包括有源传感器，例如lidar传感器，和/或一个或多个光学传感器包括无源传感器，例如相机。7、利用有源和无源光学传感器的组合可能是有利的，因为每个光学传感器通常具有优点和缺点。例如，lidar传感器可以容易地提取几何特征并确定距离，但是不能检测颜色，因此不能区分颜色差异是唯一区别的特征，例如阅读文本。另一方面，相机传感器(诸如彩色相机)可以容易地识别颜色，并且因此区分lidar传感器无法识别的特征类型。因此，在一些实施例中，一个或多个光学传感器包括lidar传感器和相机，例如彩色相机。8、由传感器模块中的光学传感器记录的图像是光学传感器的3d视场内的对象的2d或3d表示。光学传感器的视场(fov)是在空间中的特定位置和取向处光学传感器可见的世界的一部分，并且fov被给定为视锥的角度大小，或者在lidar的情况下，发射lidar信号的角度通常被称为fov。在fov内的对象由光学传感器记录，而在fov之外的对象不由光学传感器记录。如果记录视觉图像的相机与lidar传感器一起使用，则通常选择lidar的fov以匹配视觉图像相机的fov。9、无源光学传感器通常将来自其fov内的对象的光记录到图像平面上。在数码相机中，数字图像传感器(例如ccd或其他)的表面是相机的图像平面。通过相机的透镜，来自fov内的对象的光被投射到图像平面上。有源光学传感器具有关于其测量的反射光的更多信息，并且因此可以提取更多数据，诸如例如fov内的点的3d位置。10、由传感器模块记录的图像内的所识别对象的位置的确定可以使用本领域已知的各种图像识别算法中的任何一种来完成，并且所识别的对象可以例如是标签、玩具人物、玩具构造模型或元件，诸如特定颜色或形状的玩具构造砖、面部特征等，并且确定的一部分可以包括检测例如颜色或移动。合适的识别算法的示例包括wo 2016/075081中描述的识别玩具对象的方法、用于检测qr码或类似的视觉可检测码(诸如条形码、矩阵码等)的已知方法。11、指示灯可以特别地响应面部识别，例如，当所识别的对象被识别为面部时，或者当所识别的对象被识别为特定面部而不仅仅是面部时。因此，在一些实施例中，指示灯还被配置为响应于确定所识别的对象是面部而点亮，和/或指示灯还被配置为响应于确定所识别的对象是特定面部而点亮。12、“所识别的对象”是指系统已经在传感器模块中的光学传感器的视场的图像内识别和定位对象。整个对象不需要在光学传感器的视场内，因为系统可以被配置为识别和定位部分可见的对象或者识别和定位对象本身的部分。例如，在人形玩具造型的情况下，可以识别和定位玩具造型的手臂、手、头部或其他部分，而整个玩具造型不在光学传感器的视场内。类似地，如果整个对象是例如儿童，则可以在儿童的完整身材不在光学传感器的fov内的情况下识别和定位儿童的耳朵、鼻子、手臂或其他部分。然后，整个对象的一些部分本身是可识别对象，并且系统还可以被配置为知道可识别部分可以是较大对象的一部分。在这种情况下，指示灯将响应于所识别对象(例如手臂、手、头部或玩具造型的其他部分)在光学传感器的视场内的位置的确定而以照明图案点亮。13、因此，在一些实施例中，对象的识别包括确定所识别的对象是否是较大对象的一部分。确定所识别的对象是否是较大对象的一部分包括确定所识别的对象是较大对象的一部分的可能性。14、可以由传感器模块识别的对象可以被分类，使得对象可以被识别为属于类或子类。例如，对象可以被识别为人或面部，被识别为类，或者被识别为子类，被识别为特定的人或面部，或者被识别为玩具造型的类，或者被识别为子类，被识别为特定类型的玩具造型。15、传感器模块还可以被配置为将对象识别为具有与其相关联的机器可读代码(例如，qr码)的对象。在这种情况下，指示灯还可以被配置为通过它们的照明图案指示已经识别出机器可读代码，该照明图案可以包括动画光效果、颜色效果和/或其任何组合。16、同样，系统可以能够将对象识别为较大对象的一部分，该较大对象具有与其相关联的机器可读代码。因此，即使整个机器可读代码不在传感器模块的视场内，系统也可以识别对象，并且指示灯然后将响应于所识别的对象的位置的确定而以照明图案点亮。因此，在实施例中，指示灯还可以被配置为通过它们的照明图案来指示包括机器可读代码的一部分的对象已经被识别，该照明图案可以包括动画光效果、颜色效果和/或其任何组合。17、照明图案将用于帮助用户将对象定位在视场内，因此，识别作为较大对象的一部分的对象意味着当仅识别的部分在传感器模块中的光学传感器的视场内时，用户将能够使用来自指示灯的反馈。这可以帮助用户正确定位整个对象，以便于不仅识别整个对象的一部分，而且识别整个对象。18、指示灯可以根据所识别的对象和传感器模块之间的距离一起或单独地增加或减小它们的亮度。例如，如果确定所识别的对象与传感器相距第一距离，则点亮的一个或多个指示灯可以具有第一亮度，并且如果所识别的对象移动使得距离增加或减小，则点亮的指示灯可以分别变暗或变亮。因此，在一些实施例中，指示灯还被配置为以使得传感器模块上的一个或多个照亮的指示灯中的任何一个的亮度与传感器模块和所识别的对象之间的所确定的距离相关联的方式照亮。传感器模块和所识别的对象之间的距离可以使用多种方法中的任何一种来确定，例如lidar测距，或者fov的多少被所识别的对象占据。19、如果一个或多个光学传感器中的任何一个可以确定所识别的对象的颜色，则指示灯可以与所确定的颜色相关联。例如，如果所识别的对象是红色的，或者所识别的对象的一部分是红色的，则传感器模块上的一个或多个照亮的指示灯可以以红色点亮。类似地，如果所识别的对象的至少一部分是蓝色的，则传感器模块上的一个或多个点亮的指示灯可以以蓝色点亮，等等。因此，在一些实施例中，指示灯还被配置为以使得传感器模块上的一个或多个照亮的指示灯中的任何一个的颜色与所识别的对象的至少一部分的所确定的颜色相关的方式照亮。20、宏观指示灯的目的是在游戏期间向用户(例如儿童)提供交互式引导，其中图像识别起作用。作为模块化玩具构造套件的一部分的传感器模块可以形成各种玩具构造模型的一部分。传感器模块可以是特定的一组模块化玩具构造元件的一部分，或者是单独的元件，其被配置为与其他预先存在的模块化玩具构造元件配合。模块化玩具构造元件通常配置成以某种方式彼此可释放地互连或互锁，并且模块化玩具构造套件可以例如是积木组。21、传感器模块可以包括一个或多个联接元件，其配置成用于将传感器模块与已知的玩具构造元件可释放地互连，以便于利用传感器模块实现模块化且易于扩展的游戏体验。因此，传感器模块可以容易地作为整体部件或作为改装件添加到玩具构造模型中。22、光学传感器(无论是无源的还是有源的)将通过孔(诸如相机上的透镜的光圈)接收光。孔可以位于传感器模块的第一侧上，并且至少在相机的情况下，这通常将被称为相机的前部。因此，具有一个或多个孔的侧面将被称为传感器模块的前部。通过传感器模块作为模块化玩具构造元件来实现协同效应，因为用于将传感器模块连接到其他模块化玩具构造元件的可释放互锁元件可以被配置成使得用户(例如儿童)被激励以连接传感器模块，使得一个或多个孔可见。例如，这可以通过仅在传感器模块的任何侧面上而不是在一个或多个孔所在的侧面上具有一个或多个互锁元件来实现。此外，当指示灯位于传感器模块的同一侧时，传感器模块可以以各种方式集成在不同的玩具构造模型中，只要对传感器模块的放置和互连施加很少的附加限制(如果有的话)，以便在作为玩具构造模型的一部分的传感器模块的操作期间确保指示灯的可见性。23、传感器模块可以例如形成启用运动的构造玩具的一部分，诸如可以构造玩具机器人的机器人玩具构造套件，机器人是自主的或半自主的并且能够自动执行一系列动作。玩具机器人还可以被配置为可移动的，并且可以具有移动部件，例如致动器，其允许玩具机器人四处移动并与其环境交互。如果玩具机器人具有人形形状，则传感器模块可以例如是机器人头部的一部分。在游戏情况下，用户(例如儿童)可以经由传感器模块与玩具构造机器人交互，并经由指示灯从玩具机器人接收反馈。例如，儿童可以向玩具机器人显示物品，并且从指示灯的响应中知道物品是否被识别，从而还知道对象在传感器模块中的光学传感器的fov内。也许所识别的物品用于指示机器人，并且儿童将再次知道是否接收到该指令。可以以这种方式向构造玩具机器人给出一系列指令，并且儿童可以确保以呈现指令项的顺序接收到每个指令。可以指示具有传感器模块的移动构造玩具机器人移动到一个位置，然后搜索物品，并且儿童将从指示灯给出的反馈中知道何时找到物品。24、传感器模块可以包括诸如电池的电源和/或被配置为由一个或多个外部单元经由一个或多个电源连接供电。25、如果在视场内已经识别出多于一个对象，则指示灯可以基于对象中的所选择的一个而点亮。为此，可以例如基于相应对象的检测到的尺寸、它们在视场中的检测到的位置、它们是完全可见还是仅部分可见、预定层级和/或类似物，来实现合适的选择规则。因此，在一个实施例中，如果多个所识别的对象在一个或多个光学传感器中的至少一个的视场内，则应用合适的选择规则，并且指示灯还被配置为响应于确定所选择的识别的对象在一个或多个光学传感器中的至少一个的视场内的位置而以照明图案点亮。例如，在一个实施例中，该过程可以使照明基于最接近视场中心的对象和/或基于在视场内检测到的最大对象。然后，用户将接收至少一个所识别的对象在视场内的反馈。通过移动一个或多个对象，用户可以确定指示灯响应于哪个对象，因为照明图案接着可以改变。在替代实施例中，或者如果选择过程未能进行选择，则该过程可以使灯保持未照亮或以预定方式照亮它们，例如所有灯闪烁和/或一种或多种颜色等。26、根据一些实施例，还通过其他手段(诸如声学信号/声音)向例如用户发信号通知所识别的对象在一个或多个光学传感器中的至少一个的视场内的位置的确定，该其他手段与照明图案相关，并且还可以与任何所提到的视觉效果组合。应当在与人类听觉兼容的频率范围内提供相关的声学信号。由此，甚至可以进一步增强交互体验。27、因此，包括传感器模块的构造玩具可以为用户、特别是儿童提供高度交互和刺激的游戏体验。28、在一些实施例中，指示灯还被配置为以使得传感器模块上的一个或多个照亮的指示灯的位置与所识别的对象在一个或多个光学传感器中的至少一个的视场内的位置相关联的方式照亮。特别地，指示灯可以被配置为以这样的方式照亮，使得传感器模块上的一个或多个照亮的指示灯的位置指示所识别的对象在一个或多个光学传感器中的至少一个的视场内的位置。29、例如，如果指示灯布置在一个或多个孔中的一个或多个周围，并且所识别的对象保持在一个或多个孔中的一个或多个的左侧，并且在一个或多个孔中的一个或多个的视场内，则从第一侧(即从前方)看到的一个或多个孔中的一个或多个的左侧的一个或多个指示灯将点亮。将所识别的对象移动到相机镜头的右侧，同时仍然在一个或多个光学传感器中的至少一个光学传感器的视角内，将导致从前面看到的一个或多个孔中的一个或多个的右侧上的一个或多个指示灯照亮，而左侧上的指示灯将关闭或变暗。将传感器模块上的照亮的指示灯的位置与所识别的对象在视场内的位置相关联允许对象在传感器模块的视角内的位置与用户握持对象的位置之间的强关联。这将帮助用户例如使所识别的对象居中和/或将所识别的对象保持在一个或多个光学传感器中的至少一个的视场内，并且以灵活但明确的方式动态地可视化视场。指示灯的位置与所识别的对象在视场内的位置的相关性还增强了较年轻和/或经验较少的用户利用图像识别进行游戏的可访问性。30、在实施例中，指示灯和一个或多个孔位于传感器模块的第一侧上，即，指示灯和一个或多个孔位于传感器模块的同一侧上。传感器模块的第一侧是一个或多个孔位于其上的一侧，即传感器模块的前部，因此，处于这种位置的指示灯对于观看或朝向一个或多个孔的用户将是可见的。通过使指示灯位于传感器模块的前部，用户可以同时看到指示灯以及一个或多个孔，并将待识别对象的位置和移动与来自指示灯的反馈相关联。31、在实施例中，多个指示灯中的指示灯以围绕一个或多个孔中的一个或多个孔的图案布置。图案可以是几何图案，诸如平行四边形、圆形、三角形等的全部或一部分。通过将灯布置在一个或多个孔中的一个或多个周围，用户(诸如儿童)可以将其注意力保持在较小的区域，因为当向传感器模块示出要识别的对象时，用户将已经聚焦在一个或多个孔中的至少一个所位于的区域上。即使儿童的主要焦点在孔上，也将容易看到指示灯，反之亦然。32、在一实施例中，多个指示灯中的指示灯均匀地分布在一个或多个孔中的一个或多个周围。33、在实施例中，多个指示灯中的四个指示灯围绕一个或多个孔中的一个或多个布置，使得对应于平行四边形的四个角的位置可以被照亮。平行四边形组包括矩形、菱形和正方形。指定的位置仅是平行四边形的四个角中的每一个处的位置，即两个边相交的位置。也可以存在来自多个指示灯或来自第二多个指示灯的其他指示灯，即，不排除除了四个角处的位置之外的其他位置。例如，围绕相机镜头布置成圆形或椭圆形的指示灯将在对应于平行四边形的四个角的位置处具有指示灯。指示灯至少定位在平行四边形的四个角处意味着指示灯适合于给出一个或多个光学传感器的视场的例如上/下和左/右的表示。34、在实施例中，多个指示灯中的指示灯还被配置为响应于传感器模块的状态而自适应地照亮。灯被配置为自适应地照明意味着它们可以改变它们的照明以适应不同的条件。传感器模块的状态可以是例如“开启”、流传输、更新、损坏软件、照片模式、识别模式、加载、搜索、低光等。35、在实施例中，传感器模块还包括安全灯，并且安全灯与指示灯一起起作用以响应于传感器模块的状态而自适应地照亮。相机和其他记录设备通常需要具有安全灯，该安全灯向用户传达其正在记录。通常，当相机记录图像时，安全灯打开，并且当相机不记录图像时，安全灯关闭。当安全灯和指示灯一起起作用以响应于传感器模块的状态而自适应地点亮时，安全灯和一个或多个指示灯都可以点亮，或者仅安全灯可以点亮，或者仅一个或多个指示灯可以点亮。36、在实施例中，传感器模块适于与传感器模块外部的处理器和/或与包括在传感器模块内的处理器通信。通信可以通过有线或无线连接进行。如果位于传感器模块外部，则处理器可以位于固定计算机内或移动设备内，诸如游戏控制器、移动电话、平板计算机或膝上型/便携式计算机。37、在实施例中，处理器被配置为包括一个或更多个自适应照射模式。每个自适应照射模式可以与传感器模块的状态相关，诸如例如“开启”、流传输、更新、损坏软件、照片模式、识别模式、加载、搜索、低光等，并且用于将传感器模块的状态传达给用户。38、在一个实施例中，指示灯还被配置为根据激活的自适应照明图案进行照明。例如，在识别模式中，指示灯响应于确定所识别的对象在一个或多个光学传感器的视场内的位置而以照明图案点亮。在具体实施方式中进一步描述上面列出的自适应照射模式的其余部分。39、在第二方面，一种帮助用户使用模块化玩具的方法，所述模块化玩具包括传感器模块，所述传感器模块包括一个或多个光学传感器、一个或多个孔以及多个指示灯，所述一个或多个光学传感器通过所述一个或多个孔接收光，其中所述指示灯被配置为响应于确定所识别的对象在所述一个或多个光学传感器中的至少一个的视场内的位置而以照明图案点亮，所述方法包括：40、-捕获所述一个或多个光学传感器中的至少一个光学传感器的视场的一个或多个图像，41、-分析所述一个或多个图像并确定所识别的对象是否存在于所述一个或多个图像中，42、-如果所识别的对象存在于所述一个或多个图像中，则以照明图案照亮一个或多个指示灯。43、在第二方面中，术语和特征涉及在第一方面中具有相同名称的术语和特征，因此上面给出的术语和特征的描述和解释也适用于第二方面。传感器模块可以是如本文中的任何实施例中所公开的传感器模块。44、在实施例中，以照明图案照亮一个或多个指示灯的步骤还包括：传感器模块上的照亮的指示灯的位置与所识别的对象在一个或多个光学传感器中的至少一个光学传感器的视场内的位置相关联。45、在实施例中，分析一个或多个图像并确定所识别的对象是否存在于一个或多个图像中的步骤由包括在传感器模块内的处理器和/或由与传感器模块通信的处理器执行。