基于yolov3的梨实时分类抓取方法.pdf

1、基于 yolov3 的梨实时分类抓取方法陆泽楠孙松丽朱文旭摘要：随着农业机械化水平的不断提高，分类机器人逐渐步入农业生产中。本文以深度学习理论为基础，将神经网络与机器视觉相结合，提出了基于 yolov3 模型的梨实时分类方法，分类平均准确率达到 98.7%，并准确得出相对坐标位置，为分类机器人提供良好抓取点。该分类方法具有良好的泛化能力和实时性，农业生产自动化提供良好平台。Abstract：With the continuous improvement of the level of agricultural mechanization，classification robots have g

2、radually entered agricultural production.Based ondeep learning theory，this paper combines neural network and machine vision，and proposes a real-time pear classification method based on yolov3 model.Theaverage classification accuracy rate reaches 98.7%，and the relativecoordinate position is accuratel

3、y obtained，which provides a good grasp forthe classification robot grab points.The classification method has goodgeneralization ability and real-time performance，and provides a goodplatform for agricultural production automation.关键词：梨;分类识别;深度学习;yolov3;自动化Key words：pear;classification recognition;dee

4、p learning;yolov3;automation中图分类号：TP24文献标识码：A文章编号：1006-4311（2020）14-0280-030引言随着农业机械化水平的不断提高，分类机器人逐渐步入农业生产中。梨实时识别技术是分类机器人的重要组成部分，主要依靠计算机视觉完成。由于自然环境下光照、相簇梨等干扰因素的差异，传统识别方法难以满足该条件下的识别泛化性和实时性。近年来，深度学习作为人工智能的重要算法，在计算机视觉领域引起了突破性的变革。在深度学习模型下进行梨的分类识别，不仅准确率得以大幅提升，而且单次识别时间能达到 0.01ms 以下，满足生产需求。1数据集的准备与制作1.1 原始

5、圖片的采集本文针对不同环境下的成熟梨果实进行实时识别研究，图像样本采集自果园及部分网站，采集环境基于不同天气条件、不同光照条件等，对不同果实状态和不同果实大小的梨果实进行图像采集，结合爬虫得到的部分图片，共采集原始图片 1630 张，并从中随机选择 1300 张作为原始训练集，230 张作为原始测试集，100 张作为验证集。1.2 数据集的制作首先，对实地采集的样本进行图像预处理，其中，为了降低卷积操作带来的巨大运算量，提高训练速度，通过 opencv 双线性插值法将所有样本的分辨率降低为 416416，为了提高对逆光等极端光照条件下的柑橘特征学习能力，对该环境下的原始训练样本采用自适应直方图

6、均衡化处理，部分低质量图像进行舍弃。其次，数据扩增可以提高识别模型的鲁棒性与泛化性，本文对随机抽取的部分原始训练样本和原始测试样本进行水平、垂直和对角镜像，以及45旋转操作。最后，对扩增后的训练集和测试集中的柑橘果实进行特征框标注，标注软件为 Colabeler，其中，对于像素面积低于 2020、被遮挡重叠区域面积大于 40%的梨果实不做标注，对存在多个果实的图像进行依次标注，验证样本不做标注。图片处理流程如图 1 所示。经过图像预处理、数据扩增和样本标注等操作，获得试验所需的训练集、测试集和验证集，具体信息如表 1 所示。1.3 分类识别模型目前目标检测领域的深度学习方法主要分为两类：two

7、 stage 的目标检测算法;onestage 的目标检测算法。two stage 是先由算法生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类，此类典型算法有 R-CNN 系列（R-CNN、Fast R-CNN、Faster R-CNN）。one stage 则不用产生候选框，直接将目标边框定位的问题转化为回归问题处理，这种端对端的算法结构的检测速度大于前者，此类典型算法有 YOLO 系列和 SSD 系列。正是由于两种方法的差异，在性能上也有不同，前者在检测准确率和定位精度上占优，后者在算法速度上占优。考虑目标检测的实时性及分类精度的需求，本文选用 yolov3 模型作为梨实时识别的

8、基础模型，并对其改进。2试验与分析2.1 试验平台本试验平台主要配置为：Nvidia Geforce RTX2060 6G GPU，Intel corei7-9700kCPU，16GB RAM，Ubuntu16.04 操作系统，Python3.6.0 语言，CUDA10.0 并行计算架构，Cudnn9.1 深度神经网络加速库，Darknet 深度学习框架。2.2 模型参数配置通过在性能与速度两方面对比 tiny darknet 与 Darknet-53，本文采用 Darknet-53 作为整体模型的 backbone 网络。迁移学习可以降低模型训练时的过拟合问题和计算量，因此，为加快梯度的收敛

9、速度，获得低泛化误差的初始模型，本文采用 darknet53.conv.74预训练模型作为本试验的初始权重模型。Darknet-53 框架下 yolov3 识别模型如图 2 所示。yolov3 识别模型的总损失函数包括定位损失（bbox 预测）、置信度损失（confidence_loss）以及类别预测损失三部分。可表示为：xy_loss=K.sum（xy_loss）/mfwh_loss=K.sum（wh_loss）/mfconfidence_loss=K.sum（confidence_loss）/mfclass_loss=K.sum（class_loss）/mfloss+=xy_loss+wh

10、_loss+confidence_loss+class_loss本文采用修改后的 yolov3-pear.cfg 训练优化算法：初始学习率为 0.08，权重衰减正则系数为 0.0005，学习率策略为 steps，学习率变动步长为 30000，学习率变动因子0.1。批处理大小为 32，动量项为 0.9，最大迭代步数为 50000，每迭代 10000 次保存一次训练模型。训练过程的损失图如图 3 所示，采用迁移学习方法，损失值快速收敛于 0.10.2 之间。2.3 试验评价指标通过采集训练过程中的输出参数：Region Avg IOU、Class、Obj、NoObj、.5R、.75R、count

11、等，对其进行可视化分析，作为试验试验评价指标。其中交并集之比 IOU（Intersection over Union）一个衡量模型检测特定的目标好坏的重要指标，其定义为：IOU=Area of Overlap/Area of Union。本试验 IOU 结果如图 4 所示，最终趋于 0.90.95 之间，说明矩形框跟目标重合度较高，符合要求。通过试验分析，选择输出模型 yolov3-pear_30000.weights 作为最终模型，将验证集输入到模型中，验证识别性能。以下是部分识别结果，其分类精准度高，并准确输出坐标信息。（circle，0.9996659755706787，（248.029

12、67834472656，241.03109741210938，303.18804931640625，275.822021484375）;（long，0.9999970197677612，（433.10748291015625，414.2956848144531，816.3567504882812，724.862060546875）2.4 結果分析将验证集的图像样本输入到训练所得的 yolov3-pear_30000.weights 模型中，定性分析模型的分类识别性能。针对不同果实状态、不同大小果实、不同光源条件等环境下的果实识别结果如图 5 所示，取得了较好的效果，但也呈现出该模型对小目标识别

13、的不足，可能有以下原因造成：针对小目标学习的样本量不足;本试验将被遮挡重叠面积超过 40%的果实目标放弃标注。3结论本文采用深度学习理论对梨果实分类识别展开了研究，通过修改后 yolov3 模型进行训练试验，并进行验证，结果表明：在 Darknet-53 网络下，使用 yolov3-pear.cfg 训练优化算法能得到分类能力较高的模型 yolov3-pear_30000.weights，并在最终分类使用中拥有较好的实时性和准确性，为分类机器人的分类抓取提供了良好的前提。参考文献：1徐东云.耕种规模与农机具的使用状况探析J.价值工程，2012，31（30）：313-315.2陈林求忠.论如何加强农机的安全管理J.农业开发与装备，2020（03）：43.3朱雪慧.机械化助推藜麦产业发展探讨以天祝藏族自治县为例J.南方农机，2020，51（05）：4，6.