一种仿人收获方式的簇状番茄采摘系统及其控制

本发明涉及农业采摘机器人，具体涉及一种仿人收获方式的簇状番茄采摘系统及其控制方法。背景技术：1、番茄的果实营养丰富，中国是鲜食番茄的生产和消费大国，新鲜番茄的市场需求量日益增大，温室番茄栽培的规模亦将进一步扩大，番茄如何高效采摘的问题随之而来。目前，我国番茄的收获基本上是依靠人工采摘，人工采摘占用的劳动力占整个过程劳动力的30%~50%，劳动强度高，效率低，机械化水平低。采摘番茄是蔬菜收获的核心环节之一，提高机械化收获十分的重要。2、目前的番茄采摘机械手研究中，剪切夹持果柄采摘式和剪切夹持/吸附一体式机械手易对番茄果体造成损伤、结构控制设计较为复杂、对果体位姿依赖度较高。柔性机械手对于番茄果体保护性较好，但存在速度慢、夹持力小、体积大、易干扰非目标果实等缺陷。常见的刚性机械手对于番茄采摘的实用性较强，但目前研发的机械手对于果实保护性不足，且多用于单个番茄果实采摘，未对簇状番茄植株的生长模式进行针对性结构设计。3、除此之外，在目前的番茄精准采摘研究中，因温室番茄挂果随机，存在果实相互遮挡、茎叶遮挡果实等情况，针对番茄挂果姿态识别的研究较少，导致在采摘番茄时机械手末端姿态缺乏合理性。采摘机器人收获效率和整体成功率较低，无法应对实际场景中的复杂工况，亟需将采摘机械手控制策略与多样化的番茄挂果特性相结合，研发番茄藤采摘策略，结合柔顺采摘机械手和高精度视觉系统，实现番茄采摘高效化。技术实现思路1、技术目的：针对现有番茄采摘机器人存在的果体易受损、定位信息不完善、采摘耗时长等不足，本发明公开了一种仿人收获方式的簇状番茄采摘系统及其控制方法，能够实现对番茄的无损采摘、精准采摘以及高效采摘。2、技术方案：为实现上述技术目的，本发明采用了如下技术方案：3、一种仿人收获方式的簇状番茄采摘系统，包括视觉系统、机械手、机械臂和连接法兰组，所述机械手通过所述连接法兰组与所述机械臂相连接，所述连接法兰组一部分向外延伸形成伸出端，所述视觉系统固定安装在所述连接法兰组的伸出端上；4、所述机械手包括驱动机构、固定组件和若干个机械手指，所述驱动机构设置在所述固定组件的内部，所述机械手指一端位于所述固定组件内部并与所述驱动机构相连，另一端穿出固定组件的一端，所述固定组件的另一端与所述连接法兰组相连接。5、本发明还提供一种仿人收获方式的簇状番茄采摘系统的控制方法，应用于上述任一所述的一种仿人收获方式的簇状番茄采摘系统，包括以下三个阶段：6、阶段一、番茄藤全貌感知阶段：采摘系统到达当前采摘点，以眼在手的方式进行手眼标定，视觉系统以（0，0，z）自上而下扫描番茄藤全貌，对视觉系统运用yolov5s算法进行番茄成熟度判别训练，然后判断番茄藤上是否有成熟的番茄，若没有成熟的番茄则前往下一采摘点，若有成熟的番茄，则输出图像中n个番茄簇的定位信息，进入阶段三；7、阶段二、番茄簇聚焦感知阶段：在输出图像中n个番茄簇的定位信息中近距离定位第m个番茄簇，m初始值为1，判断第m个番茄簇中是否有成熟的番茄，若无成熟的番茄，则判断m是否大于等于n，若m大于等于n，则当前番茄藤采摘结束，进入阶段一中的前往下一采摘点，若m小于n，则进行第m+1个番茄簇近距离定位，若有可采摘的成熟番茄，则通过权重输出番茄高度靠下且番茄深度靠外的成熟番茄六维位姿信息，进入阶段三，其中z表示番茄深度信息，x表示番茄高度信息，p为番茄深度信息权重，q为番茄高度信息权重，p+q=1；8、阶段三、采摘回收阶段：通过路径规划使机械臂到达采摘点，通过i/o控制机械手执行采摘作业，然后控制机械臂到达回收点，将采摘的番茄放至回收点，采摘回收阶段完成后回到番茄簇聚焦感知阶段的扫描番茄藤全貌过程中，进行下一个采摘循环。9、有益效果：本发明的所提供的一种具有如下有益效果：10、本发明的采摘系统通过设置机械臂、连接法兰组、机械手和视觉系统相互配合，连接法兰组上设置有伸出端用于放置视觉系统，避免视觉系统放置在机械手后端时机械手张合遮挡视觉系统，能够有效地采集番茄的成熟信息，同时机械手又由驱动组件、固定组件和若干机械手指组成，驱动组件带动机械手指运动进行番茄的采摘，固定组件又能够对机械手进行稳固，保证机械手的稳定工作，通过本系统结构的相互配合，能够快速高效的对番茄进行采摘。11、本发明的机械手整体采用欠驱动结构，由丝杆螺母上下运动带手指传动杆和电机传动杆的转动，从而带动机械手指开合运动，使得结构更小巧，控制简单，动作可靠，减少动力要求，减轻重量，降低了生产成本，同时本发明采用了无损采摘结构，指尖上设置有滚轮，在不影响安装的同时，包覆过程中与番茄表面起到滚动摩擦的效果，减轻了滑动摩擦带来的表皮损伤，增强了机械手对番茄的保护。12、本发明的指腹和指尖使用泡棉从上往下厚度均匀增加式覆盖，柔性泡棉覆盖夹持面的凹圆弧面曲率与番茄的凸圆弧面曲率近相一致，增大与番茄接触面积，避免采摘番茄时打滑，同时降低了接触瞬时压力，减轻机械手负担，同时本发明扭转弹簧嵌套于指根和手指传动杆之间的圆柱销上，两个扭臂分别作用于指根和手指传动杆的隔离柱上，满足机械手指对扭力要求的同时起到持续缓冲压力的作用。13、本发明提供了一种番茄藤采摘控制方法，包括番茄藤全貌视觉感知阶段、番茄簇聚焦感知阶段和采摘回收阶段，并针对机械手采摘环节进行了基于模仿人手采摘的控制策略设计，本发明通过调整位姿、抓握番茄、下拉果实、旋转扭断和番茄运输的工作过程的采摘方式，解决了簇状番茄采摘柔顺性需求、精准采摘需求和高效采摘需求。14、本发明通过番茄和果柄根据匹配算法将番茄与其对应果柄感兴趣区域（roi，region of interest）进行匹配，计算番茄和果柄的配对成功概率，运用二维坐标定位算法确定番茄和果柄的二维坐标，再通过点在封闭区域内的快速判别以及遍历不规则区域内的点获取番茄对应果柄的三维坐标，最终计算生成由番茄指向果柄的向量，作为采摘时机械臂参考进入的姿态，实现了番茄精准定位和姿态估计。技术特征：1.一种仿人收获方式的簇状番茄采摘系统，其特征在于，包括视觉系统（1）、机械手（2）、机械臂（3）和连接法兰组（4），所述机械手（2）通过所述连接法兰组（4）与所述机械臂（3）相连接，所述连接法兰组（4）一部分向外延伸形成伸出端，所述视觉系统（1）固定安装在所述连接法兰组（4）的伸出端上；2.根据权利要求1所述的一种仿人收获方式的簇状番茄采摘系统，其特征在于，所述固定组件包括底部法兰（12）、支撑铜柱（13）和顶部法兰（16），所述支撑铜柱（13）通过螺纹分别与顶部法兰（16）和底部法兰（12）相连接，所述步进电机（11）位于所述底部法兰（12）和所述顶部法兰（16）之间且固定在底部法兰（12）上，所述底部法兰（12）固定连接在所述连接法兰组（4）上。3.根据权利要求2所述的一种仿人收获方式的簇状番茄采摘系统，其特征在于，所述连接法兰组（4）包括机械手连接法兰（18）和机械臂连接法兰（19），机械手连接法兰（18）镶嵌固定于机械臂连接法兰（19）内，所述机械手法兰（18）与所述底部法兰（12）固定连接，所述机械臂连接法兰（19）与所述机械臂（3）固定连接，且所述机械臂连接法兰（19）上设置有所述伸出端，且所述视觉系统（1）固定安装在所述机械臂连接法兰（19）的伸出端上。4.根据权利要求1所述的一种仿人收获方式的簇状番茄采摘系统，其特征在于，所述指尖（17）处的柔性泡棉（6）为1mm，所述指腹（7）处的柔性泡棉（6）平均厚度为2mm，所述指腹（7）处的柔性泡棉（6）从上往下厚度均匀增加且柔性泡棉（6）覆盖夹持面呈凹圆弧面。5.一种仿人收获方式的簇状番茄采摘系统的控制方法，应用于权利要求1-4任一所述的一种仿人收获方式的簇状番茄采摘系统，其特征在于，包括以下三个阶段：6.根据权利要求5所述的一种仿人收获方式的簇状番茄采摘系统的控制方法，其特征在于，对视觉系统运用yolov5s算法进行番茄成熟度判别训练具体包括以下步骤：7.根据权利要求5所述的一种防人收获方式的簇状番茄采摘系统的控制方法，其特征在于，所述输出图像中n个番茄簇的定位信息具体包括以下步骤：8.根据权利要求5所述的一种仿人收获方式的簇状番茄采摘系统的控制方法，其特征在于，所述采摘回收阶段具体包括以下步骤：9.根据权利要求7所述的一种仿人收获方式的簇状番茄采摘系统的控制方法，其特征在于，所述番茄和果柄根据匹配算法进行配对具体包括：首先生成一个由番茄指向果柄的二维向量，计算所述二维向量与y轴的夹角，然后计算番茄与果柄的检测框重叠区域大小与果柄检测框大小的比值k，最后配对分数，其中m表示姿态权重，n表示重叠权重，m+n=1，分别计算所有番茄与果柄的配对分数，取配对分数较高的番茄与果柄进行配对。技术总结本发明公开了一种仿人收获方式的簇状番茄采摘系统及其控制方法，包括视觉系统、机械手、机械臂和连接法兰组，所述机械手通过连接法兰组与所述机械臂相连接，所述连接法兰组一部分向外延伸形成伸出端，视觉系统固定安装在所述连接法兰组的伸出端上；所述机械手包括驱动机构、固定组件和若干个机械手指，所述驱动机构设置在固定组件的内部，所述机械手指一端位于固定组件内部并与所述驱动机构相连，另一端穿出固定组件的一端，所述固定组件的另一端与所述连接法兰组相连接；本发明解决了簇状番茄采摘柔顺性需求、精准采摘需求和高效采摘需求，适用于簇状番茄收采摘，结构简单、动作可靠，控制简单，大幅度提高了簇状番茄收采摘的效率无损率。技术研发人员：李佩娟,王瑶,宋凯晨,郭铁铮,王美晴,郑亦峰,李孟宸受保护的技术使用者：南京工程学院技术研发日：技术公布日：2024/5/19