本发明公开一种电子秤，特别是一种物品自动识别商用条码电子秤及物品自动识别方法。
背景技术：
条码电子秤是在普通电子秤的基础上内置便携式条码打印机，产品的计量信息打印格式实现设置好，使用时便可清洗打印出条码纸，当物品放在秤盘上时，物品的压力施加给压力传感器，该传感器发生形变，从而使阻抗发生变化，同时使用激励电压发生变化，输出一个变化的模拟信号，将该信号经放大电路放大输出至模数转换器，转换成便于处理的数字信号输出到cpu运算控制，cpu根据键盘命令以及程序将结果输出到显示器，同时也输出到便携式打印机上，通过打印机系统把产品的品名及重量价格等信息打印到条形码纸上。
现在也有超市配备的一些条码电子秤采用触摸屏替代键盘来进行产品输入过程，屏幕上展示出一系列的商品图片，这些商品按照类别来排列，还附有商品的名称、价格等信息，方便顾客识别，可以实现减少员工，顾客自动选择所购物品完成计价打印的功能。虽然其采用了触摸屏来代替键盘，实现自动销售的目的，但还是需要人工(顾客自己或超市员工)配合，有可能出现不小心按错的情况，比如说两种外观很接近的水果；另一种情况是顾客为了省钱，故意输错，超市在收银时很难发现，造成财产损失。另外，顾客要在屏幕上自行选择和自己购物相同的物品进行称重结算，对大多数没有经过训练的普通购物者来说，是件很难堪的事情，有时候可能因操作部数量而耗时太多，让后面排队的客户等待不耐烦，有时候可能因自己无意选错项目造成商家误解，客户购物体验较差。称重流程请参看附图2。
技术实现要素：
针对上述提到的现有技术中的条码电子秤需要人工输入，给使用者带来诸多不便的缺点，本发明提供一种物品自动识别商用条码电子秤，其通过摄像头拍摄放在秤盘上的物品，然后对其进行特征识别，判断产品信息，自动打印条码，简单快捷，解决上述问题。
本发明解决其技术问题采用的技术方案是：一种物品自动识别商用条码电子秤，电子秤包括摄像头、图像获取和数字化处理模块、商品特征比较处理模块、图像和纹理数据库、erp数据库、压力传感器、称重adc及数字化处理模块、称重计算模块、打印驱动模块、控制及电源模块以及打印机，其中：
摄像头：用于采集放置在秤盘上的商品的图像，并将图像信息输出给图像获取和数字化处理模块；
图像获取和数字化处理模块：用于将摄像头采集的图像信息转换成数字信息，并将自学习过程中图像信息以及物品纹理信息存储于图像和纹理数据库中；
商品特征比较处理模块：用于将图像数字信息中的物品特征进行提取，并与存储在erp数据库中的物品特征信息进行比较，判断出物品的种类，并从erp数据库中提取相应的物品信息；
图像和纹理数据库：用于存储物品的纹理信息；
erp数据库：用于存储物品的价格、条码以及物品种类、特征信息；
压力传感器：用于检测秤盘上的物品的重量，压力传感器输出重力检测信号给称重adc及数字化处理模块；
称重adc及数字化处理模块：用于将压力传感器的重力检测信号转换成数字信号；
称重计算模块：用于根据erp数据库存储的商品信息结合压力传感器的重力检测信号以及商品特征比较处理模块识别的商品类别进行称重计算，计算出物品的价格，并输出给打印驱动模块；
打印驱动模块：打印驱动模块连接有打印机；
控制及电源模块：电源模块部分用于给其他模块供电，控制模块部分控制其他模块工作。
一种采用如上述的物品自动识别商用条码电子秤的物品自动识别方法，方法包括下述步骤：
(1)、电子秤处于待机状态，循环检测压力传感器是否有压力输入，当有压力输入时，则
(2)、自动打开摄像头，对秤台上的物品拍摄照片；
(3)、通过图像识别模块识别出物品，并获取对应价格；
(4)、称重模块计算出产品的重量，根据压力传感器的检测数值计算出产品的重量；
(5)、重量信息和物品信息传输给显示和打印驱动模块，进行条形码打印，并将信息显示的显示屏上。
本发明解决其技术问题采用的技术方案进一步还包括：
所述的电子秤还包括商品综合计价及打印支付管理模块，根据称重计算模块计算的物品的价格进行计价和支付管理。
所述的电子秤还包括键盘，键盘连接在控制及电源模块上。
所述的电子秤还包括支付pos机，支付pos机连接在控制及电源模块上。
所述的电子秤还包括主显示屏，主显示屏连接在打印驱动模块上。
所述的电子秤还包括光源，光源对应于摄像头的位置处设置。
所述的控制及电源模块中设有wifi模块。
所述的方法还包括下述步骤：
(6)、顾客是否选择支付功能，如果不选择，则称重结束，顾客将条形码标签贴在商品上，如果顾客选择支付功能，则
(7)、连接支付模块，生成二维码；
(8)、顾客进行扫码支付，如果支付未成功，则称重结束，顾客将条形码标签贴在商品上，如果顾客支付成功，则
(9)、反馈支付信息，打印收银小票，此次购物结束。
所述的步骤(3)，图像识别模块识别出物品时，包括下属子步骤：
a、对拍摄的图片进行图像预处理；
b、图像分割，将图像划分为多个有意义的区域；
c、特征提取，特征提取是从原始图像中找出最有效的特征赖表达该图片；
d、分类器的识别分类，根据提取的特征和数据库中存储的信息进行比较，从而识别出相似度最高的物品，并从数据库中调取其价格。
下面将结合附图和具体实施方式对本发明做进一步说明。
附图说明
图1为常规电子秤的称重流程图。
图2为自助电子秤的称重流程图。
图3为本发明的称重流程图。
图4为本发明系统方框图。
图5为本发明电子秤使用过程步骤流程图。
图6为本发明中物品自动识别流程图。
图7为本发明工作原理方框图。
具体实施方式
本实施例为本发明优选实施方式，其他凡其原理和基本结构与本实施例相同或近似的，均在本发明保护范围之内。
本发明和普通的条码电子秤相比，其不需要人工干预或者输入代码，只需把商品放到秤盘上即可自动完成物品识别，称重计价打印几秒钟内完成。
请参看附图4，本发明主要包括有摄像头、图像获取和数字化处理模块、商品特征比较处理模块、图像和纹理数据库、erp数据库、压力传感器、称重adc及数字化处理模块、称重计算模块、商品综合计价及打印支付管理模块、显示和打印驱动模块、控制及电源模块(带有wifi功能)、键盘、支付pos机、主显示屏以及打印机等，其中：
摄像头用于采集放置在秤盘上的商品的图像，并将图像信息输出给图像获取和数字化处理模块，本实施例中，摄像头通过支撑杆设置在秤盘上方正对秤盘的位置处，具体实施时，也可以设置在其他方便获取商品的图像信息的位置；
本实施例中，在对应于摄像头的位置处还设有光源，对摄像头拍摄提供必要的照明条件；
商品特征比较处理模块：用于将图像数字信息中的物品特征进行提取，并与存储在erp数据库中的物品特征信息进行比较，判断出物品的种类，并从erp数据库中提取相应的物品信息，如：价格、条码信息等；
图像和纹理数据库：用于存储物品的纹理信息等；
erp数据库：用于存储物品的价格、条码以及物品种类、特征信息等；
压力传感器：用于检测秤盘上的物品的重量，压力传感器的设置方式与安装结构等于常规的电子秤的结构相同，压力传感器输出重力检测信号给称重adc及数字化处理模块；
称重计算模块：用于根据erp数据库存储的商品信息(单价、物品种类等)结合压力传感器的重力检测信号以及商品特征比较处理模块识别的商品类别进行称重计算，计算出物品的价格，并输出给商品综合计价及打印支付管理模块以及显示和打印驱动模块；
商品综合计价及打印支付管理模块：根据称重计算模块计算的物品的价格进行计价和支付管理，其中，有两个分支，一种是生成二维码，顾客直接扫码支付，另一种是生成条码进行打印，再去收银台进行支付；
显示和打印驱动模块：本实施例中，显示和打印驱动模块连接有主显示屏和打印机，显示和打印驱动模块驱动主显示屏和打印机工作，主显示屏用于显示物品种类、图片、分类、价格信息等，打印机用于打印条码标签纸，本实施例中，显示和打印驱动模块上还设有显示接口，用于连接其他显示装置；
控制及电源模块(带有wifi功能)：本实施例中，控制及电源模块为本发明的控制中心和电源，电源模块部分用于给其他模块供电，控制模块部分控制其他模块工作，本实施例中，控制及电源模块上连接有键盘，用于手动输入物品信息，如：初始化时或者出现疑难物品无法识别时使用，控制及电源模块上还连接有支付pos机，用于直接通过pos机进行支付，本实施例中，控制及电源模块上还连接有rj45接口和usb接口，用于信息输出给控制中心等，本实施例中，控制及电源模块中设有wifi模块，用于无线通信。
本发明同时保护一种物品自动识别方法，即本发明中的电子秤的使用方法，其主要包括下述步骤：
(2)、自动打开摄像头及光源，对秤台上的物品拍摄照片；
(3)、通过图像识别模块识别出物品，并获取对应价格，本实施例中，通过图像识别模块识别出物品时，包括下属子步骤：
a、对拍摄的图片进行图像预处理，图像预处理是物品(如水果、蔬菜等)识别过程中的一个重要环节，输入图像由于图像采集环境的不同，如光照明暗程度以及设备性能的优劣等，往往存在有噪声、对比度不够等缺点，另外，距离远近、焦距大小等又使得物品在整幅图像中的大小和位置不确定，为了保证物品图像中物品位置以及图像质量的一致性，必须对图像进行预处理；
物品图像的预处理主要包括物品扶正、物品图像的增强以及归一化等工作。物品扶正是为了得到物品位置端正的物品图像；图像增强是为了改善物品图像的质量，不仅在视觉上更加清晰图像，而且使图像更利于计算机的处理与识别；归一化工作的目标是取得尺寸一致，灰度取值范围相同的标准化物品图像。本实施例中，采用以下3种预处理的方法。
(1)图像去噪：现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声扰等影响，称为含噪图像或噪声图像。减少数字图像中噪声的过程称为图像去噪。本系统主要用到的去噪方法为双边滤波方法去噪：
双边滤波(bilateralfilter)是一种可以保边去噪的滤波器，之所以可以达到此去噪效果，是因为滤波器是由两个函数构成：一个函数是由几何空间距离决定滤波器系数；另一个由像素差值决定滤波器系数。可以与其相比较的两个filter：高斯低通滤波器和α-截尾均值滤波器(去掉百分率为α的最小值和最大之后剩下像素的均值作为滤波器)。
本实施例中，在双边滤波器中，输出像素的值依赖于邻域像素的值的加权组合，
权重系数w(i,j,k,l)取决于定义域核
和值域核
的乘积
其中(i，j)表示一像数点，(k，l)表示相邻的另一像数点，exp()是以数学常数e为底数的指数函数，参数σd/σr分别为空域核函数d(i,j,k,i)和值域核函数r(i,j,k,i)的方差，双边滤波考虑了空间域与值域的差别，而gaussianfilter和α均值滤波分别只考虑了空间域和值域差别。
(2)图像分割：图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。本系统应用分割方法为基于图的分割(graph-basedimagesegmentation)。
初始化时每一个像素点都是一个顶点，然后逐渐合并得到一个区域，确切地说是连接这个区域中的像素点的一个mst(最小生成树minimumspanningtree)。
对于两个区域(子图)或者一个区域和一个像素点的相似性，最简单的方法即只考虑连接二者的边的不相似度。
那么可以设定一个阈值，本实施例中，阈值设为10，当两个像素之间的差异(即不相似度)小于该值时，合二为一。迭代合并，最终就会合并成一个个区域。
c、特征提取，特征提取是从原始图像中找出最有效(根据同类样本的不变性、不同样本的鉴别性、对噪声的鲁棒性)的特征(含颜色、形状、纹理等)来表达该图片；
经过图像分割后，物品和背景很明显地被区分开来，然后需要对每种水果的特征进行提取。先对图像进行标签化，所谓图像的标签化是指对图像中互相连通的所有像素赋予同样的标号，而对于不同的连接成分则给予不同的标号。经过标签化处理就能把各个连接成分进行分离，从而可以研究它们的特征。
本实施例中，为了提高物品的识别效率和准确性，结合了几何特征、形状特征、颜色特征、纹理特征等等。
几何特征：图像的几何特征是指图像中物体的位置、方向、周长和面积等方面的特征，图像的几何特征比较简单和直观，在分析问题中起到十分重要的作用，提取图像的几何特征之前，要先对图像进行分割和二值化处理，即处理成只有0和1两种数值的黑白图像，在图像分析和计算机视觉中，可用来分类、检定、定位等任务。
形状特征：形状是客户物体的基本特征之一，用形状特征区别物体非常直观，现在有基于形状特征的字母手势的分类及识别、基于形状特征的运动目标分类、基于形状特征的图像检索技术等，形状特征提取的正确与否直接关系到后续图像检索和识别的优劣，因此研究数字图像的形状特征提取有重要意义，对于简单的图像，直接采用轮廓提取算法，而对于较为复杂的图像采用先边缘检测再轮廓提取的方法或是用canny算子把目标的轮廓提取出来，取得了很好的结果。
针对本发明中颜色接近，但形状差别很大的蔬菜，如：胡萝卜、红辣椒、西红柿等，判断它们的圆形度(物体周长平方与面积的比值)。
经过轮廓提取处理之后，得到三种果蔬的实际形状：
本实施例中，计算圆形程度：
胡萝卜：0.31，西红柿：0.88，红辣椒：0.60，
比值越大，越接近圆形。在实际识别时，如计算得出某一物品的圆形度是0.62，经过比较，如这个圆形度最接近的是红辣椒，则识别结果为红辣椒。其他果蔬根据实际情况设定该比值。
颜色直方图是在许多图像检索系统中被广泛采用的颜色特征。它所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，即无法描述图像中的对象或物体。颜色直方图特别适于描述那些难以进行自动分割的图像。
本实施例中，在实际情况中的典型值为：桃子颜色平均值：223.24，与苹果的颜色平均值223.46，较为接近，与香蕉的颜色直方图相差较大(219.89)，本实施例中差值设为3，可以将颜色直方图差值少于3的的物品归为一子类，如：桃子和苹果，识别时采用多次分类器来识别。
纹理特征：纹理是一种不依赖于颜色或亮度变化的反映图像中同质现象的视觉特征，刻画了图像像素领域灰度空间分布的规律，它是所有物体表面都具有的内在特性，不同物体具有不同的纹理，如花生、苹果、西瓜、猕猴桃等都有各自的纹理特征。纹理特征包含了物体表面结构组织排列的重要信息以及他们与周围环境的联系，人类的视觉系统对外部世界的感知有赖于物体所表现出的纹理特征。纹理分析则是计算机视觉和数字图像处理中的一个重要的研究课题，而如何获得其中的纹理特征是其中的重要环节。
纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但它也有缺点，就是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。在本实施例中，采用局部二值化模式(lbp)来提取物品的纹理。
采用局部二值化方法，首先考虑参数的设置，其中lbp最主要的参数，一是p，表示临近域内的像素，二是r，表示邻域的半径，本实施例中，取r＝1，p＝8，采用uniformpattern，这样不仅大大降低了lbp模式集的维数，也方便了后继的数据分析。
请参看附图8，图8中横坐标代表lbp种类，一共有59种，纵坐标代表它们的幅值，可以看出这4种水果主要差别体现在幅值上，大部分的数值都比较小，而第58种的值非常突出，不妨将它们第58种的值归并在一幅图上来看它们之间的纹理区别，求得各个水果的平均值lbp，结果如图9所示，从图9可以明显看出，4种水果lbp的特征对应幅值不相同，苹果和香蕉幅值远远高于荔枝和贡梨，而且苹果和香蕉比较接近，荔枝和贡梨相差不多。lbp表现出一定的鉴别能力，但同时也存在组内相近的情况，需结合其他特征来识别物品。
d、分类器的识别分类，根据提取的特征和数据库中存储的信息进行比较，从而识别出相似度最高的物品，并从数据库中调取其价格等操作。本实施例中，设计了两级分类算法，第一级只依靠颜色特征来识别物品，一级分类没有识别出来的物品，进入第二级分类。第二级分类包含两个子类，一个子类依靠纹理特征来判断，第二个子类依靠形状特征来进一步识别。具体流程如图10所示。
具体实现时，本实施例中采用knn分类器来筛选结果，k最近邻(k-nearestneighbor，knn)分类算法可以说是最简单的机器学习算法了。它采用测量不同特征值之间的距离方法进行分类。它的思想很简单：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
本实施例中，对各种物品如水果、蔬菜进行拍照训练，提取特征值保存在数据库，将它作为knn分类器的输入参数，进行一级识别。其中k取10，投票选取规则如下：统计前k的结果，票数超过一半的，则认为这测试图片可以通过颜色识别出来，将这结果作为本次识别的最终结果。否则，表明这张测试图片无法通过颜色来区分，让它进入二级分类识别，如下表所示。
从表中看出，35种果蔬在一级识别中有6个测试样本识别不正确，识别率29/35＝82.85％，颜色容易出错的物品分别是：胡萝卜、红辣椒、西红柿、樱桃、柠檬、橙子、荔枝、桃子、苹果共9类。所以在设计时让这9类接近的物品进入二级识别，计算物品的平均lbp，与数据库的数据进行对比，如果数值相同，则判断为同类物品，即利用纹理来区分。
从表中看出，在颜色中识别出错的几类物品，在纹理中可以较好地识别出来，测试表明，结合多种特征来识别，能提供识别的准确率。
(4)、称重模块计算出产品的重量，根据压力传感器的检测数值计算出产品的重量，本实施例中，称重模块计算产品的重量与图像识别模块识别物品同步进行；
(5)、重量信息和物品信息传输给显示和打印驱动模块，进行条形码打印，并将信息显示的显示屏上；
本发明主要应用于超市、卖场、百货、批发市场等需要称量散装物品(如蔬果、干果、药材等)。例如：一位顾客在沃尔玛选购商品，他分别挑选了苹果、西瓜、香蕉等三种水果，挑选完之后他来到本发明中的电子秤面前，把其中的一种水果(如西瓜)放到秤台上，摄像头自动对西瓜进行拍照，通过内部算法进行图像的分割处理，并匹配出数据库对应的产品信息(编码、单价等)，再结合压力传感器输送过来的重量信息，通过打印机打印出商品条码；如此类推，顾客可以分别称量苹果和香蕉，整个过程不需要员工干预，而顾客需要做的就是把商品放到秤台上和取下来。