基于称重与图像识别技术的智能盘点方法在出版行业的研究与应用

<hr/>摘要：在国家对物流行业高质量发展的指导下，中国的物流产业呈现出较快的发展趋势，并与大数据、区块链、物联网等与物流行业结合，形成了中国物流与供应链数字化协同发展格局。近年来立体仓库被广泛使用，自动化设备管理水平不断提高，企业立体仓库的作业效率得到大幅提升。但是立体仓库密集式存储的特点对企业盘点提出了更高要求，传统的盘点方法往往依赖于人工，效率低，错误率高，已无法满足立体仓库的盘点需要。尽管已有RFID和图像识别技术应用于盘点领域，但针对图书出版行业的立体仓库实现智能盘点的应用仍较少。因此，本研究拟在人民卫生出版社人卫智慧数字研发综合服务示范项目中，结合称重传感器和图像识别技术，提出一种智能盘点方法。旨在提高盘点效率和准确性，为出版行业的数字化转型提供参考和借鉴。


关键词：智能盘点；称重；图像识别；出版行业；RFID
<hr/>
一、背景介绍


随着出版行业物流水平不断提升，物流建设已经成为提升供应链韧性和安全水平、展示行业形象、体现行业发展水平的新亮点和重要窗口。自动化立体仓库提高了图书的存储数量和出入库效率，但在实际的应用过程中，出现了立体仓库难以进行盘点的难题。经调研了解，目前多采用以下几种方式进行盘点：1.不进行集中盘点，出库时进行盘点核准；2.每年对随机品种进行抽盘；3.停止发货，对所有品种进行盘点。但是上述盘点方式会造成出库效率低、盘点数据不准确、仓库停发货影响正常业务开展等问题。
人卫智慧数字研发综合服务示范项目（一期）是由人卫集团投资建设的项目，人卫集团顺应了国家新基建的总体发展方向，以医学出版为主，以河北省廊坊市文安县经济开发区百亩土地为基础进行建设。人卫项目以技术创新为驱动，融合现代化信息技术，加强多元拓展和对外合作，建设集“现代化智慧仓储物流”“健康医疗科技产品研发”“自由工业基地”“数字新媒体融合”于一体的现代化智慧数字产业基地。项目总投资近6亿元，项目一期占地52亩，设计年发货能力35亿码洋，年吞吐能力70亿码洋。人卫项目所采用的立体仓库的货架高达24米，共13层，20768个储位。只有自动堆垛机能进入巷道进行存取货操作，人员不能进入立体仓库内对存储的图书进行盘点或者其他作业。根据人民卫生出版社库存盘点管理制度的要求，仓库存储的图书必须定期进行盘点，现阶段只能临时中止正常物流作业，将托盘通过堆垛机依次出库、盘点完毕后再入库。对于大型的立体仓库而言，这个盘点过程往往需要10～20天的时间，不仅影响了物流中心的正常物流作业，而且需要耗费大量的人力，以及驱动设备运转的电力能源。二


二、自动化立体仓库的智能盘点

自动化立体仓库的智能盘点，是在立体仓库的货物识别基础上进行数据统计存储，以图书盘点技术为例，目前已经被应用的自动识别技术有条形码识别技术、二维码识别技术、磁卡（条）识别技术、射频识别技术（Radio Frequency dentification，RFID）、智能书架盘点技术、机器视觉图像识别技术等。磁卡(条)识别技术由于存在运输使用过程中容易损坏造成无法继续使用的弊端，所以在仓储中应用并不广泛。
1.条形码、二维码识别技术：其利用货品条形码作为唯一标识。使用手持数据采集器（如扫码枪）对条形码进行扫描采集，采集到的数据通过数据线或无线方式传输到电脑系统，与系统数据库中的数据进行对比，从而得出盘点结果。虽然该盘点技术具有操作简便、成本较低的优点，但是往往需要人工逐一扫描，效率较低，需要耗费大量的人工和时间成本。
2.无线射频识别RFID技术：是利用射频信号通过空间耦合（交变磁场或电磁场）实现无接触信息传递，并通过所传递的信息达到自动识别的目的。在货品上贴上RFID电子标签，标签内存储货品的相关信息。使用RFID读写器和集成设备进行扫描识别，可以快速批量进行盘点，工作人员通过连接电脑或数据线的手持点检仪，直接在仓库内进行扫描，或者将整个容器放入扫描框架内，无需单个货品进行扫描，即可完成整个容器上货品的盘点。RFID技术在盘点领域目前应用广泛，RFID技术具有盘点速度快，准确率高等优点，也有其局限性。当盘点范围内装载RFID的货物存在密集且数量多的时候，RFID会存在成本高、识别时间长、识别结果不精准等问题。
3.智能书架盘点技术：智能书架在书架层级上装有天线，可以精准读取每一层中的书架信息，可以设置定时或不定时、整架或单层盘点模式，自动进行图书盘点。虽然该盘点技术实现了图书的实时盘点和管理，减少了人工干预，提高了效率，但是需要对自动化立体仓库出入库输送线体进行改造，安装智能书架，成本较高，不适用于库房等大批量存储的场景。
4.机器视觉图像识别技术：基于先进的人工智能视觉算法，无需对图书进行任何加工，即可实现图书的识别和盘点。通过使用摄像头拍摄待盘点的图书，通过算法识别图书信息。虽然该盘点技术的识别准确率高，盘点速度快，环境适应性强，但是对服务器性能要求较高，成本大幅度上升，对于密集摆放的图书识别效果受限。
上述自动化立体仓库盘点技术在一定程度上提升了盘点效率，但在面对类似图书这类高密度、大规模存储的商品时，仍面临盘点准确度不佳和成本高昂等技术难题。
鉴于现有技术中的缺陷或不足，本论文旨在研究一种基于称重与图像识别技术的智能盘点方法，包括：自动化立体仓库模块、称重传感器模块、图像获取模块、数据处理模块。既不会增加图书产品的成本，又无需改变既有仓储布局，实现图书等标准化货物在立体仓库中的精准和快速盘点。节省了大量人力和物力；物流中心也不再需要停止发货配合盘点工作，可以保证收发货业务的正常开展；拍摄的入库图片可以在WMS中展示，便于随时查阅，提供丰富和人性化的物流服务。三


三、系统总体结构


完整的立体库智能盘点系统，一般由自动化立体仓库模块、称重传感器模块、图像获取模块、数据处理模块四个部分组成，上述模块数据交互和紧密衔接才能实现立体库的智能盘点。
自动化立体仓库模块包括托盘轨道，托盘用于装载单一类别且标准尺寸的货物包装件，每个货物包装件包括固定数量的标准货物，托盘上设置有识别码，托盘轨道上设置有用于读取所述识别码的读码器；当托盘沿着托盘轨道移动至读码器时，读码器将读取的识别码信息发送至数据处理模块，包括托盘ID、货物类别、货物包装件的标准重量、货物包装件对应的货物数量和托盘核定的标准重量；
图像获取模块，是指设置在入库口区域的三个摄像头，摄像头位于承托货物的正视方向、俯视方向和侧视方向上，用于获取承托货物的正视图、俯视图和侧视图；
称重传感器模块，其用于测量并记录入库托盘和承托货物的称重数据以及拣出货物的称重数据，并通过无线网络传输至数据处理模块；
数据处理模块，用于将摄像头获取的图像、每个入库托盘和承托货物的称重数据、拣出货物的称重数据以及识别码信息关联存储至数据库中；根据入库托盘和承托货物的称重数据、拣出货物的称重数据、系统记录的当前库存量、摄像头获取的图像和识别码信息，对库存货物进行盘点，在实际应用中，一般结合仓库管理系统（Warehouse Management System，WMS）来进行整合应用。
本文还研究了基于称重与图像识别技术的智能盘点方案，主要步骤如下：当托盘通过传送带传送至信息检测区时，传送带上两端光电传感器发出触发信号，读码器记录托盘的识别码并发送至系统，系统接收到信号后，开始通知称重传感器对图书进行动态称重任务。同时系统下发抓拍指令，收到指令后图像获取模块进行图片抓拍和录像，由三个摄像头通过同一触发信号对托盘进行拍照，以至少获取托盘的正视图、侧视图和俯视图，并存储照片来图像识别，从顶层和侧面识别出图书的数量。最后，由数据处理模块来记录获取入库的称重数据、摄像头拍摄的图像和识别码信息，并关联存储至数据库中；通过出货位的称重传感器对每次预出库的拣出货物进行称重，获取拣出货物的称重数据，并上传至数据库中；从数据库获取托盘和某一类别的承托货物首次入库时的相关数据，系统可以随时调取图书的重量数据，与图书承载容器码绑定，存储照片，后续可以通过图像识别数据或人工核对方式来进行核验。
根据实际的应用需求，结合场地及作业环节的不同，整体设计需要因地制宜。设计的智能盘点系统结构示意图，如图1所示。


图1智能盘点系统结构示意图
智能相机的三点定位位置，如图2所示。


图2 监控设备结构的平视图
称重传感器的设计指标，参见表1。
表1 称重传感器设计参数参考

<span style="caret-color: red;"/>
四



四、智能盘点系统设计

1.硬件设计
智能盘点系统的硬件设计主要分为两个部分：图像获取模块、称重传感器模块。


图3 智能盘点步骤
图像获取模块主要组成部分是智能相机，包含3D和2D两种类型。智能相机可以在图书每次进入立体仓库之前进行拍摄，以托盘码和图书编码及日期进行命名来存储照片，对图片进行识别处理后获取有效信息；3D和2D智能相机在图像识别原理上存在一些基本的差异，这主要是由于它们捕获和处理图像信息的方式不同。2D智能相机主要捕获物体的二维图像信息。其图像识别原理主要基于二维图像的分析和处理。具体步骤如下：
（1）图像采集：通过相机的图像传感器（如CCD或CMOS）捕获待检测物体的二维图像；
（2）预处理：对采集到的图像进行预处理，包括去噪、增强、二值化等操作，以提高图像质量和识别准确性；
（3）特征提取：从预处理后的图像中提取出有意义的特征，如边缘、角点、纹理等。这些特征将用于后续的识别和分类；
（4）模式识别：将提取出的特征与预定义的模板或学习到的模型进行匹配，以识别出图像中的物体或场景；
（5）结果输出：将识别结果以文本、图像或其他形式输出。
3D智能相机通过捕获物体的三维信息来实现图像识别。与2D相机相比，3D相机能够提供更丰富的空间信息，有助于更准确地识别和理解物体。其原理主要基于以下结构光、双目立体视觉、飞行时间技术，在3D图像识别过程中，通常包括以下步骤：
（1）三维信息获取：使用上述技术之一获取物体的三维信息；
（2）三维数据处理：对获取的三维数据进行预处理、滤波、分割等操作，以提取出有意义的特征；
（3）三维模型匹配：将提取出的特征与预定义的三维模型进行匹配，以识别出物体；
（4）结果输出：将识别结果以文本、图像或三维模型等形式输出。
总的来说，3D智能相机通过捕获物体的三维信息来实现更准确的图像识别，而2D智能相机则主要依赖于二维图像的分析和处理。在实际应用中，可以根据具体需求选择适合的相机类型和技术方案。
称重传感器是一种用于测量物体质量的设备，其称重原理通常基于几种不同的物理效应，如压阻式、应变式和电磁式。立体仓库大部分使用的是电阻应变式原理，通过有线连接将数据直接传输到数据采集系统或PLC（可编程逻辑控制器），数据采集系统或PLC负责接收、处理并可能进一步传输这些信号，将数据处理后传输至系统，系统记录该托盘码的总重量。
2.软件设计
智能盘点系统的软件设计主要存在于数据处理模块，本文是基于现有的仓库管理系统WMS，新增智能盘点模块，用于记录存储每个托盘进入立体仓库时的重量及图片，在WMS下发图书托盘入库任务时，称重传感器通过PLC接收、处理并可能进一步传输这些信号，将数据处理后传输至WMS，同时WMS启动智能相机拍照，存储照片。通过特定规则进行命名。盘点步骤如下：
（1）立库开始盘点时，人员通过系统将立库内托盘中商品的重量转换成商品的数量，获得商品在托盘上的册数（下称“重量册数”）；
（2）对比“重量册数”与“账面库存” ；
（3）若存在两者存在差异，则启动“入库拍照盘点”功能，即通过托盘码获取图像识别后的总数，或者人工查看照片清点图书数量，得到图书在托盘上的册数（下称“图片册数”）；
（4）再次对比“重量册数”与“图片册数” ，若存在差异，则启动“人工立库盘点”；
（5）若数据对比无差异，则盘点完成，更新盘点数据，实盘量 =“账面库存”；
（6）当初盘完成或复盘完成后，管理人员审核盘点结果，数据确认无误后，对整个盘点批次进行盘点审核确认；
（7）盘点结果回传WMS。五


五、实际案例应用结果及分析


在实际应用智能盘点方法时，有以下几个前提条件：
（1）进入立体库的托盘规格相同，每个托盘的重量误差可以忽略不计。
（2）图书在托盘内是以包作为最小存储单元，每次出入库不会有拆包成册的现象，而成包图书均重相差较小，可以作为称重盘点的依据。
（3）入库图书摆放较为整齐，通过调整工业照相机角度，在增设多方位机位的情况下，拍摄出的照片，工作人员能较轻松判断托盘上成包图书的剩余数量。
（4）三维立体成像技术，可以更精确判断出托盘剩余图书包数。
项目具体应用情况如下：
1.智能称重部分
称重传感器设置于立体库进库口、图书生产中心二层整件拣选输送线，如图4所示。


图4 称重设备分布图
其中一楼立体库入库口为两个，称重设置托盘称重机，位置在图4中①和②处。二楼称重设备放置于输送线处，位置在图4中③处。三楼立体库入库口也为两个，称重设备放置于图中④、⑤处。
设置算法为：托盘及承托货物首次入库时重量上传系统设置为T，当托盘出库时，工人进行拣选等作业。作业完成后，托盘会再次回库，这时会经过立库入库口的称重设备，系统会记录剩余托盘及承托货物的重量为T1，假设托盘标准重量为A，每包图书标准重量为B，则此时托盘剩余图书包数X为：


同理，在立库二层拣选区，设置入库托盘及承托货物重量为T1，拣选出的图书重量为T2，每个托盘标准重量为A，每包图书标准重量为B，则回库的托盘内图书包数X为：

<span style="caret-color: red;"/>
通过数据传感器将对应重量信息传输到系统内，可直接计算出剩余图书包数，流程如图5所示。


图5 重量计算流程图
在实际工作中，库房管理中普遍存在的复杂变量挑战，如托盘间不可避免的重量差异、图书版本更迭导致的重量变化、包装材料多样性带来的重量波动等，传统方法需要依赖繁琐且易出错的算法规则进行逐一校正，往往难以有效应对。为了解决以上问题，我们引入了绝对误差值R和绝对误差率R'的概念，并设计了一套灵活适应实际场景的调整机制。这一机制不仅能够有效整合并统一处理上述各类不可控变量带来的误差，还显著提升了称重盘点的精确度和效率。通过动态调整R值及其相关参数，系统能够自动适应不同条件下的误差波动，确保即使在多变的环境中也能实现高精度的重量测量与记录。具体计算模式如下：
从系统中获取每个托盘和承托货物首次入库时的相关数据，并通过下式计算每个托盘及承托货物的绝对误差值R和绝对误差率R'：

<span style="caret-color: red;"/>
其中，T为托盘及承托货物首次入库时的重量，A为托盘核定的标准重量，B为每包图书的标准重量，S为托盘首次入库时清点得到的成包图书的数量；
若绝对误差率R'小于预设阈值，则将该绝对误差率R'对应的绝对误差值R作为可用误差值；若绝对误差率R'大于等于预设阈值，则调取该托盘首次入库时承托货物的正视图、俯视图和侧视图，通过图像识别算法识别出托盘首次入库时的货物包装件的数量S'，并根据图像识别出的货物包装件的数量S'再次计算绝对误差率R''，若两次计算出的绝对误差率R'和R''相同，则确定该绝对误差率对应的绝对误差值R为可用误差值。
当引入绝对误差值R后，以上算法可调整为：

<span style="caret-color: red;"/>
其中X为计算出的每个托盘上货物的当前库存量数据；T1为最近一次入库时托盘和承托货物的重量，T2为托盘最近一次入库后被拣选出的货物重量（如果首次入库则T2为0），A为托盘核定的标准重量，R为托盘及承托货物的可用误差值，B为每个货物包装件的标准重量。
若系统数据库记录的每个托盘上货物的库存数据和计算出的每个托盘上货物的当前库存数据，若不一致或差值大于预设阈值，则调取该托盘最近一次入库时的正视图、俯视图和侧视图，则需要通过图像识别算法识别“图片册数”。
2.图像识别部分
立体库智能监控系统主要由WMS盘点模块、盘点计算机、数据传输网络、X86开放平台、监控摄像头组成。在WMS盘点模块启动盘点任务时，WMS盘点模块主要完成任务拆分、子任务发起、WCS系统调度、计算数据、统计结果等功能。数据传输网络自上而下由汇聚交换机、光通信传输系统、接入交换机组成，负责指令与数据的传输。光通信传输系统、光通信传输技术传输距离远、信号稳定。
通过图像识别算法识别出该托盘上的货物包装件的数量X’，比较两次计算的库存量X和X’是否相同。若相同则盘点结束，若不相同则通过人工调取托盘查看实际库存作为核实后的托盘当前库存数据并进行数据更新。
本项目案例应用图像识别智能相机布置在立体库进库口，如图6所示。


图6 图像识别智能相机分布图
图书生产中心的进库口共14个，需要在每个入库口架设最少两个摄像头，位置分别为俯视方向、与正面视角，将工业级摄像机架设在入库输送线体周围，需要至少1200万像素工业相机搭配图像识别技术进行计算，也可以存留图片用于核查；将智能读码器在线体侧面架设，读取托盘上条码或者二维码，之后通过WMS软件将条码与照片进行数据融合进行输出并保存全景图。图片用条码及日期来命名。
按照这两个方向即可清晰拍摄出托盘上剩余图书，图7为试验图片。


图7 正面及俯视实验图片
在进行实际应用时，存储的部分重量数据记录如图8。


图8 智能传感器称重数据
（1）托盘重量测量
在实际应用之前，收集了五千条图书的克重数据，对托盘进行称重，最终获取一万条托盘入库称重数据。以图8的抽取不重复图书的12条数据来核对称重效果。
表2称重传感器实验数据


从表2的结果可以看出，以重量册数与实际库存册数的差异相对误差在0.2%至5.7%的区间浮动，当误差数据小于立体仓库最小存储单位册数时，即误差阈值，则可以忽略误差数据。值得注意的是，误差由以下几方面因素产生：①每个托盘实际重量会存在差异，所以要针对每个托盘进行核算，在使用过程中，托盘本身重量会因为环境发生变化；②同一图书不同印次使用不同纸张印刷时，存在每册克重有差异的情况，目前仓库难以统计印次间重量；③未考虑图书包装纸的重量。④人员操作存在错误情况。
要进一步减少误差，提高模型的精度，还需要从以下几方面完善基础数据的精确性：
①定期校验传感器的称重精度；②定期更新图书以及托盘的重量数据；③调整预设阈值；④人工审核系统的库存册数与实物是否相符，降低人员操作误差。
（2）图片图像识别试验
按照图9进行架设3D照相机，测试图书排布方式为：按照2层码放，底层有6个最小存储单位（包）（2×3排列），上层按照零散个数排布（1～4个不等）。3D相机拍摄角度：相机镜面与地面水平，箱子底部水平面垫物体，使整个托盘与相机形成角度，模拟实际的倾斜拍摄场景。如图10所示，在各种箱体排列布局下，本系统均能在常规光照环境中实现精确计数。


图9 3D相机架设模式图


图10图片识别试验界面
通过下式计算规则形状部分的货物包装件的数量Z1：

<span style="caret-color: red;"/>
其中，U为每层货物包装件在长度方向上的数量，V为每层货物包装件在宽度方向上的数量，W为货物包装件的层数；
直接清点不规则形状部分的货物包装件的数量Z2；
将规则形状部分的货物包装件的数量Z1和不规则形状部分的货物包装件的数量Z2之和作为托盘上货物包装件的总数量。
从表3可以看出，在货物包装件标准统一的前提下，图片识别技术能较好地识别托盘上的包数，进而与重量包数进行比对，存在差异的通过人工盘点获取实际包数，最终获得盘点结果，调整库存数据。
表3图片识别实验数据

<span style="caret-color: red;"/>
（3）出库应用情况
在经过一段时间的出库后，应用结果如表4，再次统计这些托盘入库的初始重量数据，减去每次拣选的称重数据计算得到称重库存，其误差阈值均小于预设阈值，调取这些托盘最后一次入库识别的库存数据，计算的库存量结果准确。结果表明准确度高。
表4出库实验数据




六、结语


目前机器视觉技术、数据传输技术、系统与设备交互技术、深度学习技术都在蓬勃发展，本论文研究的仓储货物智能盘点系统及方法，通过称重和图像识别相结合的技术方案，实现了图书等标准货物在仓储中的智能盘点，即：用入库货物的称重数据和每个托盘上拣出货物的称重数据计算当前的库存量，再用计算出的库存量和系统中记录的库存量做比较，若不匹配，则调用入库货物的图像，通过图像识别的方式自动识别每个托盘上的货物数量，进而计算出全部入库货物的数量，再根据图像识别结果计算出的货物数量和拣出货物的数量计算当前的库存量，比较两次计算出的库存量，即可获得盘点结果。该智能盘点方法无需增加仓储成本，也不改变既有仓储布局，通过融合仓储设备与智能软件系统，实现了对标准货物库存的精准、快速盘点，显著减少了人工干预，降低了人为错误的风险，提升了仓储管理的效率与准确性。
该研究成果现已应用到人卫智慧数字研发综合服务示范项目（一期）的物流中心建设中，实现立体仓库的即时盘点。物流中心不再需要停止发货配合盘点工作，可以保证收发货业务的正常开展。拍摄的入库图片可以在WMS中展示，便于随时查阅。具有一定的应用经验后，该研究成果也可以推广给各大出版社仓储中心，对出版行业物流中心建设和运营中将起到一定的标杆和示范效应。
本文系人民卫生出版社有限公司人卫创新发展研究项目资助，项目编号：CY23DⅢ009009<span style="caret-color: red;"/>

为毛老子总也抢不到沙发？！！

lz也多多分享一下感受，想换工作了

唉？楼主写完了？不打算多写点么？