基于卷积神经网络实现手语识别
2019年4月
一步完善有极大的推进作用。CAN总线监测点节点的数据传
输步骤如下：将待发送的数据信息，按特定的格式编入CAN
系统的通讯控制器中，当信息发送完毕后,CAN就可以开启网
路通讯环节；已经启动的节点对CAN总线现进行监听，在确
保总线相对空闲的状态下，发送报文；当报文发送成功后, CAN总线会对仲裁总线采取优先访问额方式进行冲裁访问，这样可以保证在多节点进行冲裁总线访问时，仲裁总线只接
u盘东西删不掉受优先级最高的节点进行仲裁;CAN总线的报文形式较多，都
是通过帧传送进行报文传输的，遇到总线报文出错时，应该中
断通讯，对数据进行重新发送;CAN总线在接收数据帧与远程
帧的报文时，对出错报文可以进行应答错误检验[3]。CAN现场总线是网络控制系统，直接面向于生产过程，所
以具有极强的可靠性与实时性，同时又能保证网络通信的数据完整性，拓宽检测系统的在船舶运行中的实际应用功能。对船舶的远程监控层与现场总线监控层进行实时有效的监控，确保船舶各监控系统的稳定运行，为船舶的安全行驶提供保障,CAN总线网络通信技术在船舶运行中的应用，对我国的海上运输行业有极大的促进意义。
4结语
伴随社会的发展，人们对船舶的需求量不断增高，对其安全行驶的要求也越来越高，本文通过对影响船舶CAN总线网络通信中，可能存在的问题进行深入分析，为提升CAN总线的应用效果提供保障。自动化技术在船舶行业的发展，使CAN 总线技术成为船舶控制和各设备监测的重要功能，因此，加强CAN总线技术在船舶运行中各环节的应用与推广，对提升整个船舶的行驶安全性能有极重要的意义。
参考文献
圆明园大宫门[1]朱菊霞，何晖晖.CAN总线在船舶在线式振动监测系统的通信网络
中的应用[J].舰船科学技术,2017(22):133-135.
[2]杨华伟，万正权.CAN总线在船舶结构安全监测系统中的应用[J].电子测量与仪器学报,2014,28(5):553-559.
收稿日期：2019-3-14
基于卷积神经网络实现手语识别
穷山沟里来的篮球之神宫艺璇（高新一中南校区，陕西省西安市710119）
【摘要】本文通过深度学习算法，使用Keras等构建卷积神经网络模型实现对手语图像的识别，手语识别就是通过不同的数学算法实现动作与语言的翻译，触觉与视觉的转化，可使聋人与机器间的交流的一项技术。实现手语的自动化识别能够使手语使用者更加便利地与外界进行沟通，亦可反向将他人口语的内容自动转化成手语图像。中国古代朝代表
抖音极速版怎么发布自己的作品
【关键词】手语识别；深度学习；神经网络；Keras
【中图分类号】TP183【文献标识码】A【文章编号】1006-4222（2019）04-0049-02
1前言
随着计算机视觉技术的发展，图像识别这一技术在不同领域中的应用也越发的广泛和普及[9]。图像识别注重图像的特征，建立具有相似度的模型[1]，静态的手语识别与之类似。在手语识别方面，世界上数百万听障人士通常使用手语进行交流[10]，因此手语自动翻译很有意义。
手语识别就是通过不同的数学算法实现动作与语言的翻译，触觉与视觉的转化，聋人与机器间的交流的一项技术[7]。通过自动化识别，听障人士使用的手语能被翻译转化为正常人的口语的表达方式，就算不懂得手语的正常人也能流畅的与残疾人沟通交流。其次，手语识别的实现，也可增加听障人士与外界沟通的机会。
深度学习的发展使得基于视觉的手语识别存在完美识别的可能，本文通过设计手语识别研究框架，基于卷积神经网络模型实现手语识别。卷积神经网络(CNN)是一种分析视觉图像的深度学习模型，其可通过卷积特征提取和函数参数优化等来实现复杂图像的识别。
2相关研究
计算机视觉的应用可自动化处理实际问题，据中国知网的数据显示，关于计算机视觉主题的论文达到7507篇，由此可见，基于计算机视觉的研究逐渐成为我国众学者的兴趣点所在。在传统的研究中，张露使用动态时间规整做手语中数字的识别，并取得不错的成效[4]；袁卉平基于MATLAB的汽车牌照自动识别系统在车牌识别中应用，并取得不错的成效[6]。
但随着深度学习的发展，神经网络高效的性能获得学者的认可，如张邯等利用非对称卷积结构对经典的AlexNet算法进行改进，并应用到交通标志的识别上[2]。cezhang等利用混合MLP-CNN分类器对遥感高精度的图像进行分类并有效解决了VFSR相关的难题[3]；张儒鹏等利用OI-LSTM(optimization⁃Inc
eption-LSTM)动作识别模型对人类动作特征的提取，并提高了图像识别的准确率[5]。
综上所述，在图像识别及分类领域使用深度学习的方法已经相当成熟，但国内以卷积神经网络来识别手语的研究尚未成熟，故本文通过神经网络模型及研究框架以探索手语识别的研究。
3研究方法与分析
3.1数据集描述
本文所使用数据集为手语图像数据集(SignLanguageM⁃NIST，如图1)，共包含27455条训练数据,7172条测试数据。
框架所使用数据集已通过灰度化、去噪、边缘分割等提取手势特征的处理。灰度化是将彩图片转化为灰画面的过程，再根据设定的灰度特征进行精准的图像切割；去噪是为了防止镜头及外界环境的影响，使用滤波器实现图像中目标的清晰；边缘分割也是保证了手势与背景的区分度，进而更好地提取特征向量进行手势识别。
由于手语特征的有效性差、缺少合适的公共数据集、不同人手语习惯差异较大等原因，数据集的建立过程需要注重目标的准确定位、场景覆盖性和定位边框的准确性。原始数据集基于不同背景的用户重复手语收集手语图像数据。每条数据都以1~25个标签与手语字母一一对应，且以0~255之间的数
通信设计与应用49
2019年4
月
图2本文研究框
架
图1手语数据集与英文字母对应图
值代表像素值在28×28像素灰度图像。
3.2研究框架及结果分析
为实现手语识别，本文基于深度学习构建论文研究框架如图2所示。将通过图像预处理的数据集进行切割，以70%作为训练集,30%作为测试集。随后将训练集用于训练基于Keras 实现的卷积神经网络模型，此模型共有10层神经网络层。
Keras 的核心数据结构是一种模型，可通过组合神经层、
成本函数、优化器、初始化方案、激活方案、正则化方案等独立的模块构建卷积神经网络。训练好的模型以测试集进行识别率检测以检验模型，通过精准度测试的模型则可用于实际的应用中，如自动翻译聋哑人手语成口语、或反向将口语内容翻译成可视化的手语。
将数据集以Matplotlib 可视化形式展示，可看到经过图像前处理后的数据样本如图3所示。Matplotlib 是Python 广泛使用的数据可视化工具包，其可将数据生成图、直方图、功率谱、条形图、散点图等。对于每个样本的标签，为加快计算速度，本文使用sklearn 进行onehotencoding 。Sklearn 是Python 第三方提供的机器学习库，包含特征提取、数据处理和模型评估三大模块。
如图4所示，在模型精度检测方面随着模型训练及测试
的进行，模型的分类的精度在快速地上升，当训练epochs 在
10~20之间时，模型的精度到达了高峰并维持在一定的水平，最后获得模型在测试集的精度为0.8853876。
4结论
诺基亚手机浏览器本文通过深度学习算法，基于Keras 及Sklearn 等工具构建卷积神经网络模型实现对手语图像的识别，实现手语的自动化识别能够使手语使用者更加便利地与外界进行沟通，亦可反向将他人口语的内容自动转化成手语图像。
图2框架模型精度上尚有不足，且由于字母J 及Z 存在动态的动作，也无法用简单的图像进行分类，往后的研究可以进一步完善手语识别系统及应用框架，尤其是通用模型的设计及实现。
手语识别系统在人机交互环境中非常重要，其已经在虚拟环境，游戏和电子控制，机器人操纵等中得到应用[7]。现今研究受限于算法、数据集的大小及单图像识别等，仍有较大提升空间，随着Keras 等框架的发展及优化，相关的研究也将获得更好的表现。
参考文献
[1]黄凯奇，任伟强，谭铁牛.图像物体分类与检测算法综述[J].计算机学报,2014,37(06):1225-1240.
[2]张邯，罗晓曙，袁荣尚.基于优化的卷积神经网络在交通标志识别中的应用[J].现代电子技术,2018(21):132-136.
[3]Zhang ,Ce ,etal.“A hybrid MLP-CNN classifier for very fine resolution remotely sensed image classification.”ISPRS Journal of Photogrammetry and Remote Sensing140(2018):133-144.
[4]张露.基于DTW 的单个手语识别算法[J].现代计算机(专业版),2016(8).
[5]张儒鹏，于亚新，张康，刘梦，尚祖强.基于OI-LSTM 神经网络结构的人类动作识别模型研究[J].计算机科学与探索,2018(12).
[6]袁卉平.基于MATLAB 的车牌识别系统的设计与研究[J].工业控制计算机,2010(10).
[7]Oyedotun ,Oyebade K.,and Adnan Khashman.“Deep learning in vi ⁃sion-based static hand gesture recognition.”Neural Computing and Ap ⁃plications 28.12(2017):3941-3951.
[8]Neverova ,Natalia ,etal.“Multi -scale deep learning for gesture detec ⁃tion and localization.”Workshop at the European conference on computer vision.Springer ,Cham ,2014.
[9]张家怡.图像识别的技术现状和发展趋势[J].电脑知识与技术,2010,06(21):6045-6046.
[10]Huang J ,Zhou W ,Zhang Q ,etal.Video -based Sign Language Recognition without Temporal Segmentation[J].2018.
[11]LeCun,Yann,Yoshua Bengio ,and Geoffrey Hinton.“Deep learning.”nature 521.7553(2015):436.
收稿日期：2019-3-14
图3数据样本的Matplotlib 显
示
图4随着训练进行，模型预测精度的变化
通信设计与应用
50

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。