20世纪80年代的神经网络第二次发展热潮时期,卷积神经网络(CNN)、长短期记忆网络(LSTM)模型获得了快速发展。2006年,杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念。2012年,在ImageNet图像识别大赛中,杰弗里·辛顿团队的深度学习模型AlexNet一举夺冠,将错误率降低至16%,至此开启了基于深度学习的人工智能繁荣新时代。
深度学习的迁移学习能力极高,因此预训练好的深度学习模型可以对较小的数据集实现精确的迁移学习。深度学习在处理图像问题时的优点是减少了对特征工程(FE)的需求。深度学习出现之前,传统的图像分类方法都是基于人工设计的特征,性能严重影响整体结果。FE是一个十分复杂且耗时的过程,每当目标问题或使用的数据集发生更改时,FE都需要重新做出调整。另外相对于机器学习来说,深度学习的测试速度比基于机器学习的方法快很多。但深度学习对计算机硬件、数据集的要求较高。当计算机硬件水平较差时,计算速度会大幅下降。
深度学习的主流方法
目前典型的深度学习算法主要有深度玻尔兹曼机、自动编码器、CNN等。各种算法的组成结构与特点如表1所示,这些典型算法经过不断的优化与发展,衍生出了更多的算法。
2、深度学习在水果品质检测与分类领域的研究现状
水果外部品质检测
水果在生产、销售、运输、贮存期间容易受到环境影响,发生机械损伤等,而导致水果的外观品质受到影响。水果的外部品质主要依据它们的颜色、形状、尺寸等物理特征和机械损伤、外部缺陷等进行评估。外部品质是水果最直观的品质特征,直接影响它们的市场销售价格和消费者的购买欲望。对水果外部品质进行快速及时的无损检测,可以最大限度地减少损失,满足消费者的需求。
蓝莓是日常生活中常见的一种水果,个体较小且表皮颜色较深,RGB图像难以反映出其损伤程度,而光谱图像能反映出蓝莓的损伤情况。ZhangMengyun等结合光谱透射图像采用全卷积网络,完成了对蓝莓内部损伤的无损检测。作者将基础VGG16模型改进成全卷积模型进行训练与检测。对VGG16模型的改进如图2所示,将池化层的结果与预测结果结合后加入两个转置卷积层进行卷积得到最终预测结果。使得最后的输出结果与输入图像的大小、分辨率相同,成为全卷积模型。实验结果表明,采用深度学习方法,可以将机械损伤后30min的蓝莓分割出蓝莓损伤区域和花萼区域,测试集的准确度达到81.2%。
水果内部品质检测
YuXinjie等结合深度学习与可见/近红外高光谱反射成像技术,预测了库尔勒香梨采后硬度和SSC。将堆叠自动编码器(SAE)和全连接神经网络(FNN)相结合,构建出一个SAE-FNN模型,具体如图3所示。在此模型中,将采集到的光谱图像使用SAE进行提取,获得深度光谱特征作为模型的输入,随后对模型进行训练,并将提出的SAE-FNN模型与SVM方法进行对比实验,结果显示SAE-FNN模型准确度更高,表现更优越。
水果安全品质检测
水果的安全品质关系到消费者的饮食安全和健康,是水果最为重要的品质特征之一,主要通过对各种病虫害、农药残留、外来污染物等进行检测评估。
为防止病虫害的发生,水果生长各阶段中需要喷洒农药,所以在果实上难免会有农药残留。农药残留是影响水果安全性的重要因素之一。JiangBo等采用AlexNetCNN进行了苹果采后农药残留检测。在实验时采集了喷洒4种农药的苹果高光谱图像。通过理论分析和实验验证,确定了CNN的结构和参数(图4)。
目前水果安全品质检测问题的主要研究是针对水果病害和农药残留。因为RGB图像不能明显反映水果内部病害、农药残留,所以需结合光谱数据进行实验研究。但此类实验对数据集的要求很高。只有数据集足够大、质量够高,能够完全满足模型训练的要求,才能在实际预测时获得较高的准确率。但是目前公开的高质量高光谱数据集较少,所以有些研究者使用了自建的数据集,通过数据增强操作提高了模型特征提取准确度,但普适性较差。
水果分级分类
目前水果的分级分类大多是通过RGB图像对水果颜色、果实形状、表面缺陷等方面进行识别从而进行分级的,仅适用于不同品级外观差距较大的水果;而对于外观表现不明显的水果来说,光谱信息更能反映出不同品级水果的某些内部信息,相对于RGB图像更加全面。希望在以后的研究中,有更多的研究者可以将光谱图像信息引入深度学习中,全面采集各种品质指标,进一步提高水果分级精确度。
水果分类识别
近年来深度学习技术在水果识别与分类方面最新的一些研究成果,AlexNet与VGGNet等各种不同的算法在不同研究中都有所使用。多数实验以RGB图像作为载体进行相应的研究,也有部分实验使用了高光谱图像进行研究。通过深度学习模型对RGB图像和高光谱图像进行学习和权值训练,可以成功提取与水果的各种特征,完成对水果的识别与分类。与传统的水果分类方法相比,深度学习方法具有更好的性能,值得进一步研究。水果分类识别仍旧是一个水果研究领域的难点问题。有几个难点尚未发现比较好的解决方案,一是有些水果种间外观差距较小,例如李子和杏外观特点就十分相似;二是光照阴影导致的明暗变化使得同物种间图像出现较大差异;三是图像背景干扰大,对识别造成较大影响。从上述几点中可以看出某些水果识别难度较高,如何提高这些水果图像的识别精度将是未来的重点研究目标。
结语
本文为水果品质检测与分类识别领域的研究者们总结了近期应用深度学习的研究成果,期望深度学习技术未来能够在本领域取得更多优秀的研究成果,并将研究结果付诸实践。