一种基于颜色特征和深度信息的水果图像分割方

本发明属于图像分割领域，涉及一种基于颜色特征和深度信息的水果图像分割方法。背景技术：1、农业是国民经济的支柱性产业，承担着支持国家经济建设和发展的重要责任。目前，我国的农业生产主要以人工为主，成本高且效率低下，开发能够进行自动化采摘的农业机器人对农业生产具有很大的经济应用价值。视觉系统是采摘机器人的关键组成部分，它负责定位和识别目标物体，并向机械臂提供位置信息以便进行果实采摘。水果通常具有较明显的颜色特征，成簇分布且生长环境复杂，本发明以成熟的圣女果作为典型的实例。目前，国内外学者对采摘机器人的视觉系统进行了大量的研究，已取得较丰富的成果，但仍有诸多问题跟挑战。2、图像分割算法是数字图像处理领域的关键技术，被广泛应用于目标识别和图像分析等。它能够将目标果实与背景进行分离，为后续的图像处理奠定基础。在图像分割领域中，主要应用的算法有：阈值分割法、边缘分割算法、区域分割算法等。而对于圣女果等颜色特征较明显的水果，通常会采用阈值分割算法进行处理，其中包括otsu法、bernsen算法和niblack算法等常见方法。3、otsu法是一种基于聚类思想的算法，其算法简单、分割效果明显，被广泛应用于各个领域的图像分割。其主要思想是最大化类间方差，并以此来确定分割的最佳阈值。otsu法只有在直方图呈现双峰时分割效果最好，如果存在多峰的情况，分割效果则会明显下降。此外，otsu法也存在计算量较大、迭代次数多，以及难以处理光照不均和背景复杂的情况等问题。4、bernsen算法是一种常用的局部二值化算法。在水果图像分割中，通常仅靠单个的阈值难以将目标与背景准确地分割出来，而采用局部的阈值算法可以根据图像每个部位的光照亮度不同，而对不同的区域分别选取不同的分割阈值进行处理，因此可以解决图像中由于光照不均匀带来的难以确定最佳阈值的问题。虽然bernsen算法能够解决图像中更复杂的情况，但其算法本身对噪声比较敏感。如果原始图像噪声比较多，那么使用bernsen算法进行阈值分割会出现图像细节丢失、噪声大量增加以及运算速度受到影响等问题。5、农业机械学报2017年第48卷第11期，熊俊涛等对夜间荔枝识别进行研究，通过分析同一串荔枝在白天自然光和夜间的led灯光下的颜色数据，确定以yiq颜色空间进行夜间识别的可行性。选择夜间情况下图像的i分量图，利用大津法去除背景，然后使用模糊c均值聚类算法分割果实和果梗图像,得到荔枝果实图像，最后使用hough圆拟合方法，对图像各个荔枝果实进行识别，达到良好的检测效果。6、现代制造工程2021年第6期，伍萍辉等以温室番茄为研究对象，提出了一种改进灰狼算法优化聚类中心的番茄图像自动分割方法，首先对灰狼算法进行改进，然后利用改进灰狼算法对k均值聚类算法的聚类中心进行优化，以提高其聚类效果，接着通过形态学与hough算法对目标进行提取完成分割。虽然该算法有良好的分割效果，但稳定性不强，受光照不均、背景复杂以及拍摄角度的影响较大。7、中国专利cn202010402539.5记载了基于otsu和改进bernsen的红外图像分割方法，采用otsu法计算出分割阈值gt，将图像先分为前景和背景两部分，接着对图像进行高斯平滑滤波，最后使用bernsen算法判断图像局部窗口内的对比度是否超出阈值范围，得到局部分割阈值t对电器设备的红外图像进行分割。但此技术没有解决大津法迭代次数多的问题，对bernsen算法改进较小，算法总体运算速度较慢，并且高斯平滑滤波对水果图像的去噪效果较差。8、中国专利cn202310634340.9，王方修等提出了基于改进鸡群优化算法的多阈值otsu图像分割方法。将鸡群算法应用到otsu灰度图像寻优算法中，并通过混沌映射，非线性权重递减策略以及改进母鸡和小鸡的位置更新过程对算法进行改进，以改进后的鸡群算法来搜索最优的分割阈值。该方法虽然提高了运算速度，但还是会留下许多噪声。技术实现思路1、有鉴于此，本发明的目的在于提供一种基于颜色特征和深度信息的水果图像分割方法。2、为达到上述目的，本发明提供如下技术方案：3、一种基于颜色特征和深度信息的水果图像分割方法，该方法包括以下步骤：4、s1、输入原始rgb图像和深度图，将原始rgb图像转换至ycbcr颜色空间，并对cr通道进行阈值分割，得到单通道的灰度图；对深度图进行二值化处理得到dmask图像；5、s2、采用改进的能量谷优化算法确定全局分割阈值，其中，将大津法中的最大类间方差函数取负值作为能量谷算法中的目标函数，引入tent混沌映射对能量谷算法中的粒子进行初始化，引入改进的非线性权重递减策略对β衰变的粒子位置进行更新，再根据目标函数对粒子进行评估并排序，选择能量最低、最稳定的粒子对应的阈值为全局分割阈值；6、并对传统中值滤波算法进行改进，再将改进后的中值滤波算法融入bernsen算法中得到局部分割阈值；7、s3、将全局分割阈值与局部分割阈值进行加权求和，得到最终分割阈值，再使用最终分割阈值对灰度图进行逐像素二值化处理，得到crmask图像；8、s4、将dmask图与crmask图逐像素执行二进制与运算，得到最终分割结果。9、进一步，在步骤s2中，采用改进的能量谷优化算法确定全局分割阈值包括以下步骤：10、(1)、将大津法中的最大类间方差函数取负值作为能量谷算法的目标函数，将能量谷算法中能量最低、最稳定的粒子对应的阈值作为最优阈值；11、(2)、采取tent混沌映射，在[0，1]区间内生成混沌序列f(zn)，对能量谷算法的粒子初始化进行改进，其计算方法如下所示：12、13、xi＝xi，min+f(zn)·(xi，max-xi，min)，i＝1，2，3...n14、式中，δ∈(0，1)为混沌状态参数，zn为[0，1]之间的随机数，zn+1表示为经tent混沌映射后的状态变量，xi，max和xi，min分别表示搜索空间的上界和下界，xi是粒子初始化后的值；15、(3)、采用非线性权重递减策略对β衰变的粒子位置更新过程进行改进，改进后的β衰变的粒子位置更新公式如下：16、17、式中，xi为当前位置矢量，为更新后的位置矢量，ωd为第d次迭代时的惯性权重，xbs为当前最稳定粒子的位置向量，xcp为搜索空间中的中心粒子的位置矢量，sli为当前粒子的稳定性水平，r1与r2为属于0到1范围内的随机数；18、其中，非线性权重递减策略公式如下：19、20、式中，ωmax表示初始最大惯性权重，ωmin表示到最大迭代次数时的惯性权重，d表示当前迭代次数，dmax为最大迭代次数，e是自然对数函数的底数；21、(4)、根据目标函数评估粒子的中子富集水平nel：22、μ＝ω0(t)·μ0(t)+ω1(t)·μ1(t)23、nel＝-(ω0(t)(μ0(t)-μ(t))2+ω1(t)(μ1(t)-μ(t))2)24、式中，t表示分割的阈值，ω0表示目标区域占整个图像的比值，ω1表示背景区域占整个图像的比值，μ0代表目标区域的平均灰度，μ1代表背景区域的平均灰度值，μ代表整幅图像的平均灰度；25、通过目标函数的评估结果确定粒子的富集界限eb：26、27、式中，neli是第i个粒子的中子富集水平，eb是搜索空间中所有粒子的富集边界；当neli>eb时，粒子通过衰变进行位置更新；28、(5)、搜索空间中粒子群进行位置更新，再根据目标函数对粒子进行评估并排序，判断能量谷算法是否达到最大的迭代次数，若是则进行步骤(6)，否则返回步骤(1)；29、(6)、选择能量最低、最稳定的粒子对应的阈值作为全局分割阈值tevo-otsu，其中，粒子稳定性评价函数如下：30、31、式中，sli是第i个粒子的稳定性水平，bs是当前迭代次数下稳定性最好的粒子，其为当前迭代次数下目标函数的最小值；ws是当前迭代次数下稳定性最差的粒子，其为当前迭代次数下目标函数的最大值。32、进一步，在步骤s2中，改进的中值滤波算法包括以下步骤：33、(1)选取目标像素点(j，k)，其灰度值为p(j，k)的(3×3)的邻域作为滤波窗口，窗口内所有像素灰度值集合sj，k的数学描述如下：34、a＝{-1，0，1}35、sj，k＝{p(j+l1，k+l2)|l1，l2∈a}36、(2)将滤波窗口内所有像素的灰度值xi进行排序，取出中位值，计算公式如下：37、y(j，k)＝med{x1，x2，x3...x9}38、式中，x1，x2，x3...x9为窗口内9个像素的灰度值，med{·}表示取xi序列的中值；39、(3)计算出滤波窗口内所有像素点灰度的平均值公式如下：40、41、式中，average(sj，k)表示取集合sj，k的平均值；42、(4)进行方差的运算：43、44、(5)设置处理临界值m为：45、46、(6)将滤波窗口中心像素点灰度值与临界值相比较，若中心点灰度值高于临界值，将其灰度值替换为中值y(j，k)，若临界值高，则将其改为临界值m，约束条件如下所示：47、48、式中，f(j，k)为中心像素点(j，k)处理后的灰度值；49、中心点的灰度值处理完毕后，移动滤波窗口，参与下一像素点的比较，直至完成整个灰度图像的处理。50、进一步，在步骤s2中，将改进后的中值滤波融入bernsen算法中，包括：51、选取目标像素点(j，k)，其灰度值为p(j，k)的(3×3)的邻域作为滤波窗口，对窗口内的像素应用改进后的中值滤波算法，然后计算滤波窗口内所有像素的最大值max和最小值min，通过如下公式求得max和min的均值，记为tmed-bernsen：52、53、目标窗口中心点的灰度值处理完毕后，移动滤波窗口，参与下一像素点的比较，直至完成整个灰度图像的处理。54、进一步，在步骤s3中，将全局分割阈值tevo-otsu和局部分割阈值tmed-bernsen进行加权求和，最终得到融合全局与局部信息的最终分割阈值tend，公式如下：55、tend＝α·tevo-otsu+(1-α)·tmed-bernsen56、式中，α为调节因子，取值范围为0到1；57、依次计算出每一个像素点的最终阈值，利用得到的最终阈值对灰度图像进行逐像素二值化，得到crmask图，处理规则如下：58、59、式中，p(j，k)表示灰度图像在坐标(j，k)的像素值。60、进一步，在步骤s4中，通过如下公式对s1中的深度图进行二值化处理得到dmask图：61、62、式中，d(j，k)表示在深度图(j，k)位置的深度值；63、将dmask图与crmask图逐像素执行二进制与运算，得到最终的分割图像，计算公式如下：64、65、式中，dmask(j，k)表示深度图二值化后在坐标(j，k)的像素值，crmask(j，k)表示cr通道灰度图二值化后在坐标(j，k)的像素值。66、本发明的有益效果在于：67、(1)本发明通过tent混沌映射对能量谷算法的粒子群进行初始化，使粒子均匀地分布在搜索空间，提高初始解的覆盖范围，快速找到最优解，并加快算法的收敛速度。通过提出一种改进的非线性权重递减策略，融入β衰变的粒子位置更新中，能够在初始时有较大的权重，使算法在全局范围内遍历搜索，后期时权重较小，有利于在局部范围寻优，从而达到整个搜索空间的最优解。68、(2)本发明通过对中值滤波算法增加一个判断处理的临界值，不仅可以降低普通的中值滤波算法经过排序后，中值恰好为噪声点的值，而又错误地将其赋值给中心像素点的概率，也能在去除噪声的同时也能更好地保护图像的边界信息。这一改进提升了图像的噪声去除效果，使图像更加平滑。69、(3)本发明通过将改进后的能量谷算法与大津法相结合，减少了原始大津法的运算量以及迭代次数。通过将改进后的中值滤波算法融入bernsen算法中，解决了使用传统bernsen算法时容易导致图像细节丢失以及噪声大量增加的问题。接着将全局阈值tevo-outs跟局部阈值tmed-bernsen进行加权求和，得到最终的阈值tend。依次计算出每一个像素点的最终阈值，然后使用阈值tend对灰度图进行逐像素二值化，精确地分割出圣女果所在区域，得到crmask图。结合圣女果采摘机器人的机械臂操作范围，运用深度信息，将圣女果深度图以150mm-1000mm的范围进行二值化，得到dmask图。最后对dmask图与crmask图逐像素执行二进制与运算生成新的mask图。对比现有技术，本发明解决了在光照不均以及复杂背景下圣女果分割的难题，并且通过结合深度图的信息，提高了采摘机器人的采摘精确度和效率。70、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。