基于深度学习的船舶舷号检测与识别
本栏目责任编辑：唐一东
人工智能及识别技术基于深度学习的船舶舷号检测与识别
路云，胡杰
（长江大学计算机科学学院，湖北荆州434000）
摘要：陆地交通和水上交通是我国交通运输必不可少的两部分，而水上交通以船运为主。类似汽车车牌号，正规的船舶一
般在两舷水线以上标明舷号以方便身份识别，但由于舷号命名和印刷的非标准性，其计算机的图像识别
尚未进入实用阶段。本文基于EAST 的场景文本检测算法以及基于CRNN 的端到端不定长文字识别算法，提出一种分阶段识别船舶舷号的解决方案。实验结果表明，该方案能较有效地对船舶舷号进行检测与识别，识别的准确率为73.06%。关键词：深度学习；舷号检测；舷号识别；EAST ；CRNN 中图分类号TP391
文献标识码：A
文章编号：1009-3044(2021)11-0178-03
开放科学（资源服务）标识码（OSID ）:
Detection and Identification of Ship's Hull Number Based on Deep Learning LU Yun ，HU Jie
(School of Computer Science,Yangtze University,Jingzhou 434000,China)
Abstract:Land transportation and water transportation are two essential parts of China's transportation,and water transportation is mainly based on shipping.Similar to car license plate numbers,regular ships generally have hull numbers above the waterline on both sides to facilitate identification.However,due to the non-standard naming and printing of hull numbers,computer image rec⁃ognition has not yet entered the practical stage.Based on EAST's scene text detection algorithm
and CRNN-based end-to-end variable length text recognition algorithm,this paper proposes a solution to identify hull number in stages.Experimental results show that this scheme can detect and identify ship's hull number more effectively,and the accuracy of identification is 73.06%.Key words:deep learning;detection of hull number;identification of hull number;ESAT;CRNN
1引言
水上交通的船运在陆地交通拥挤的情况下，以其耗能低、载量大和运费少的优点发挥着重要的交通运输作用，即使有港口调度，规定具体时间段的具体船舶通行时间及航道，但也没有发挥真正的优势，交通混乱、行驶不规范、撞击航标灯、船舶抢修不及时以及货船侧翻倾覆现象等时常发生。舷号像车牌号一样透露出该船的基本信息，例如中国海军小型舰艇和军辅船舷号命名规则如下：“1”字头为航母和驱逐舰，“2”或“3”字头为常规潜艇，“4”字头为核潜艇等[1]。运输船的舷号也有特定的命名规则，命名规则不统一，舷号位置不固定，印刷字体及大小不固定，要考虑到汉字和数字的多种组合。因此，港口调度结合船舶舷号的检测与识别可以得出该船舶的基本信息，方便事故追溯和及时抢修索赔，有利于规范行船行为，确保水上交通顺畅。
自从2012年Krizhevsky 等[2]使用深度卷积神经网络在大规模视觉识别挑战(Large scale visual recognition challenge,LS⁃VRC)上获得冠军后，深度学习在图像、文字、语音、视频等领域受到了广泛的关注[3]。海上频繁运输以及多变的天气状况使得
船舶舷号清晰度、完整度略有不足，采集船舶图像时也极易受到外界环境影响，传统图像处理方法已无法满足需求，但是现在，可以通过深度学习的方法从训练数据中直接学习有效的特征，以获得泛化能力更强的高级特征属性。本文采用基于深度神经网络的EAST 算法检测舷号，然后将舷号区域提取出来用CRNN 算法识别舷号的具体内容，在舷号的命名多变、长度多变、字体多变、大小多变以及残缺模糊等情况下鲁棒性更强。
2舷号检测
本文实验所用的船舶图像来源于网络上的部分SeaShips 数据集，该数据集包括内河航道中通行的6种船舶图像。第一阶段在低分辨率全局船舶图像中检测出舷号区域位置，主要包括两个方面的工作，分别是框出舷号位置，并将舷号从船体中分割出来。
EAST 全称是Efficient and Accurate Scene Text Detector ，是一种基于单一神经网络的两阶段的端到端快速高效的文本检测算法，有效地消除了中间的候选区域聚合、字符分割、后处理等多个不同的阶段，直接检测字符区域，检测的形状可以为任意倾斜的四边形或矩形框，正好符合曲面体的舷号区域。
收稿日期：2020-11-23
作者简介：路云（1998—），女，安徽宿州人，长江大学计算机科学学院硕士研究生，研究方向数字图像处理；通信作者：胡杰（1968
—），男，湖北荆州人，硕士，长江大学科学学院副教授、硕士生导师，研究方向计算机技术。
178
Computer Knowledge and Technology 电脑知识与技术
第17卷第11期(2021年4月)
英雄联盟麦林炮手出装
人工智能及识别技术
本栏目责任编辑：唐一东
EAST 模型主要由特征提取、多尺度特征融合以及预测结果生成三部分构成，在进行训练的过程中加入数据增强，包括随机缩放，随机裁剪，裁剪的目标尺寸大小是512×512，随机旋转，改变明度、对比度、调以及饱和度等，以扩充数据集。检测舷号区域经过以下几个步骤：
（1）通过PVANet 特征提取主干网络进行舷号检测，抽取不同层的feature map 得到不同尺度的特征图；
（2）利用U-shape 的思想逐步合并特征图，并且每层网络保持较少的上层采样，既利用不同级别的特征值，又节约了一
定的计算成本，减少了网络层中参数的数量[4]
；
（3）采用RBOX 几何特征图模式输出一系列具有旋转角度的矩形检测框；
（4）根据面积、高宽比等条件筛选满足要求的舷号区域，然后按照舷号在整个船舶图像中的先验位置信息定位到舷号区域并输出。
EAST 的损失函数如公式（1）所示，Ls 代表分数损失函数，Lg 代表几何损失函数，λg 为两个损失函数之间的重要性，一般设为1。为了简化训练过程，使用公式（2）类平衡交叉熵表示Ls ，其中Y 为预测值，Y *为标注值，β为正负样本之间的平衡因子，使用公式（3）表示Lg ，总体几何损失是AABB 几何形状损失和角度损失的加权和,L AABB 部分使用IoU 损失函数使计算更加平均化。
L =L s +λg L g (1)
L s =-βY *log Y -()1-β()1-Y *log ()
1-Y (2)
L g =L AABB +λθL θ
(3)
3舷号识别
通过舷号文本检测及提取，可获得舷号区域的图像，第二
阶段在局部舷号图像中检测出舷号的每个字符，并通过字库匹配最终确定船舶舷号内容，这里不考虑字母和符号的识别。3.1生成数据集
实地搜集数据集具有一定困难，且可用的数据集较少，所以根据实际情况生成以扩充数据集。长江流域上行驶的运货船船体和舷号具有一定的特征，常见的船舶颜以白、蓝、灰、红、黑以及绿为主，结合椒盐噪声和高斯模糊，生成相应的船体颜，即舷号背景图。然后根据舷号的特点选用0到9十个数字以及常用的贴合舷号命名的500个汉字随机生成舷号数据集，字符大小控制在14号至30号之间。由于舷号印刷体不固定，所以搜集了微软雅黑常规、宋体常规、隶书常规、SitKa Text 粗体和Times New Roman 粗体等字体文件，结合字体文件通过PIL 的字符生成函数生成舷号字符，舷号一般为白或黑。并且通过高斯模糊、适当膨胀、适当腐蚀、随即添加噪声等进行数据增强，以提高识别的准确率。生成的部分舷号数据集如图1
所示。
图1舷号数据集示例
3.2CRNN 识别
英语培训班招生广告
CRNN 全称是Convolutional Recurrent Neural Network ，是一种卷积神经网络结构，不需要分割舷号，就可以识别整个舷号的内容，网络结构从下到上依次为卷积层CNN ，循环层RNN 和
转录层CTC ，如图2所示。CRNN 改进了CNN 模块和RNN 模块
中的LSTM ，显著提升了不规则文本的识别准确率，同时对较规则文本具有很好的鲁棒性。首先采用四个Conv*2-BN-Max⁃Pool 形式的块结构组成的卷积层提取图像特征并根据Map-to-Sequence 输出特征序列，双层卷积能更有效地提取图像局部特征，BN 能够降低内部协变量移位造成的影响，缓解梯度消失与梯度爆炸的问题，MaxPool 可以快速提取图像的深层特征，缩短训练时间。然后采用循环层的深度双向LSTM 识别向量化的特征以得到每列的概率分布。最后采用CTC 和前向后向算法输出最优舷号识别结果。CRNN 网络由不同类型的神经网络组成，在训练的过程中，可以通过一个损失函数进行联合训练，从
而做到端到端的模型训练和结果预测[5]
。
图2CRNN 网络结构
4结果分析
本文实验的开发环境，GPU 为NVIDIA GRID T4-4Q ，内存为8GB DDR4。深度学习开发平台为Pytorch 1.2.0版本，开发语言为Python 3.6版本，GPU 并行开发环境为CUDA 10.0、CuDNN 7.4版本。
首先基于EAST 进行舷号检测训练，框出舷号，将舷号区域提取出来后基于CRNN 进行端到端的字符识别，并使用matplotlib 的绘图功能画框，以微软雅黑字体显示最终识别的舷号内容。
1）舷号检测时背影易干扰。检测舷号区域时会误框无舷号的其他区域，如图3所示为正确检测和错误检测示例。这要求在检测舷号之前要做进一步的图像预处理，使舷号与其他区域区别明显，弱化背景，
并扩充数据集。
图3船舶舷号检测结果
2）舷号识别准确率有待进一步提高。训练了825个epoch 后，识别的准确率为73.06%。每识别出一个舷号都会计算时间，通过多次测试，计算得出识别一个舷号平均耗费67ms 。如图4所示为正确识别舷号的结果图，如图5所示为舷号识别出错的部分结果图。这要求扩充真实情景下的舷号图像，在生成舷号数据集时逐渐减少与真实数据集的差距，进一步进行图像预处理和降噪处理，增加训练次数，不断调参，修改算法，优化
179
Computer Knowledge and Technology 电脑知识与技术第17卷第11期(2021年4月)
本栏目责任编辑：唐一东
人工智能及识别技术
模型结构。
图4
舷号正确识别结果
图5舷号错误识别结果
5总结与展望
为了识别运输船舶的身份信息“舷号”，本文提出检测与识
偷天换日女主角别的分阶段思想，首先用EAST 网络定位到舷号区域，然后利用CRNN 网络识别舷号字符。通过大量的训练和测试，验证了该方法的有效性，在一定程度上有利于高效的水上交通管理。尽管如此，本文提出的方案仍有提高的可行性，在实验流程上进一步细化，增加图像预处理和舷号矫正，尤其是降噪处理。后期尽可能克服困难搜集更多的带舷号的船舶图像，并在生成数
据集方面尽可能多的模拟真实情景中的舷号，采用迁移学习，改进算法，增加数据训练，以达到更好的训练效果，进一步提高船舶舷号检测与识别的准确率，在港口合理调度的基础上，优化水上交通环境。
参考文献：
[1]萧萧.中国军舰舷号命名奥妙多[J].党政论坛,2013(6):46.[2]Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutional neural networks[C]//NIPS'12:Proceed⁃ings of the 25th International Conference on Neural Informa⁃tion Processing Systems -Volume 1.2012:1097-110
5.
深圳心理咨询[3]LeCun Y,Bengio Y,Hinton G.Deep learning[J].Nature,2015,521(7553):436-444.
[4]Zhou X Y,Yao C,Wen H,et al.EAST:an efficient and accurate scene text detector[C]//2017IEEE Conference on Computer Vi⁃sion and Pattern Recognition (CVPR).July 21-26,2017,Honolu⁃lu,HI,USA.IEEE,2017:2642-2651.
[5]易鑫.基于深度学习的不规则文本识别算法研究[D].成都：电子科技大学,2020.
[6]石鑫，董宝良，王俊丰.基于CRNN 的中文手写识别方法研究[J].信息技术,2019,43(11):141-144,150.
【通联编辑：梁书】
（上接第171页）
[10]黄建平.一种基于数字全息及小波变换的图像水印算法[J].解放军理工大学学报(自然科学版),2008,9(5):536-539.
[11]孙刘杰，庄松林.双随机相位加密同轴傅里叶全息水印防伪技术[J].光学学报,2007,27(4):621-624.
[12]孙云峰，翟宏琛，杨晓苹，等.傅立叶计算全息数字水印在彩图像印刷防伪中的应用[J].光电子激光,2008,19(7):952-955.
[13]黄素娟，王朔中，于瀛洁.共轭对称延拓傅里叶计算全息[J].物理学报,2009,58(2):952-958.
[14]黄素娟，王杜瑶，任艳丽.基于数字全息及失真校正的抗打印扫描数字图像水印[J].应用科学学报,2011,29(3):281-288.[15]黄素娟，王杜瑶，刘晓静，等.基于小波变换的硬拷贝全息水印[J].光电子激光,2011,22(9):1415-1420.
[16]Wang S Z,Huang S J,Zhang X P,et al.Hologram-based water⁃marking capable of surviving print-scan process[J].Applied Optics,2010,49(7):1170-1178.
[17]吴清乐，彭代渊.基于离散傅里叶变换的数字全息水印[J].计算机应用,2013,33(3):752-755.
[18]吴清乐.抗打印扫描数字图像全息水印研究[D].成都：西南交通大学,2013.
[19]李孟涛.数字水印技术在印刷防伪中的应用研究[D].上海：上海理工大学,2013.
[20]谭海湖.抗半调全息水印防伪方法及应用[D].株洲：湖南工业大学,2016.
[21]谢勇，谭海湖，王凯丽，等.抗打印扫描彩图像水印算法[J].包装工程,2016,37(13):151-156.
[22]谢勇，谭海湖，王凯丽.基于DWT-QDFT 的硬拷贝彩图像全息水印[J].光电子·激光,2016,27(10):1086-1093.
个人离职申请 简短[23]吴贝贝.彩工程图抗打印扫描数字水印算法[D].长沙：湖南大学,2017.
[24]罗鹏.基于NSCT 域HVS 模型的抗打印扫描水印算法[J].武汉大学学报(理学版),2018,64(2):150-154.
[25]霍佳琦.抗打印扫描数字水印算法研究与实现[D].杭州：浙江大学,2019.
[26]王晓红，王春霞，孙业强，等.基于奇异值信息熵不变特性的抗打印拍摄信息隐藏方法[J].光学技术,2019,45(4):469-474.
【通联编辑：唐一东】
初三计划180

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。