利用大数据技术实现工业互联网数据档案的采集与分析
Informationization Construction 信息化建设
利用大数据技术实现工业互联网数据档案的采集与分析■胡京津 唐山市燃气集团有限公司
摘要：目前，企业档案管理数字化更多是着眼于实现传统
挡案尤其是纸质挡案的数字化。工业互联网能够保存企业
生产经营活动中产生的大量低价值密度数据信息，这些数
椐单个的价值密度很低几乎没有利用价值，但是当这些数
据汇聚成足够数量级别时，其利用价值就凸现出来。这些
低价值密度数据的收集与整理是传统的档案管理模式从未
涉及过的，大数据技术使得采集与分析这些价值密度低的
原始数据成为可能，从而使其具有了档案的属性，这促使
挡案工作者重新审视“数据挡案”的范畸。本文通过分析
蜷伏造句
工业互联网与大数据技术的特点，提出了如何采集以及分
析企业低价值密度数据档案的办法。
关键词：数据档案；工业互联网；大数据
传统档案馆数字化，一般是指纸质档案经过扫描 等手段处理实现电子化，进而实现档案信息的网络查 询，一定程度上提高了档案利用效率。但从本质上这 仍然属于传统的档案管理模式的数字化延伸，其着眼 点是实现纸质档案电子化、信息化。在大数据工业互 联网时代，企业生产经营活动中产生的各类信息都能 够以数据的形式保存下来，这些信息单个的价值密度 很低，几乎没有利用价值。但是，当这些价值密度低 的数据汇聚成足够数量级别时，其利用价值就凸现出 来。例如，企业生产经营活动中产生大量的机械设备 运行震动、温度、转速等数据，如果能有效采集并分析，就可以据此建立预测模型，预测机械设备的故障周期。这些低价值密度数据的采集与分析是传统的档案管理 模式从未涉及过的，大数据技术使得采集与分析这些 价值密度低的原始数据成为可能，从而使其具有了档 案的属性，这促使档案工作者重新审视“数据档案”的范畴。面对工业互联网产生的天量数据，笔者认为, 只有通过大数据技术，才能很好地实现这些数据档案 的采集与分析。―、工业互联网与大数据技术
工业互联网是制造业与大数据技术、云计算、人 工智能（A1)等数字信息技术深度融合的新兴事物，是形成现代工业生态、实现工业智能化发展的必由之 路，是实现智能制造的先决条件。工业互联网是
充分 挖掘设备、工艺及材料潜能，从而进一步提高生产效 率、优化配置资源、满足差异化产品需求和实现增值 服务的关键技术，呈现出跨领域、跨地域、全周期的 全新特性。工业互联网正在超越传统互联网数字空间 维度，加速向传统生产单位、设备、车间、工厂等物 理性实体维度扩展。工业互联网与传统工业体系深度 融合，涵盖了工业领域数字化转型的所有方向，加速 了工业数字化、网络化、智能化转型升级的进程，展现出无比巨大的潜能。工业互联网己被众多国家视为 第四次工业革命的基石，积极推进工业互联网建设是 抢占新一轮工业革命制高点和主导权的必由之路。网络化协同制造、智能制造、云制造是工业互联网的三 个主要方向m。
大数据被认为是经济领域“未来的新石油”。大数 据中蕴含着着巨大的价值，将给工业生产领域带来革 命性的变化。与传统数据管理模式相比，大数据技术 具有以下特点：海量性、时效性、数据类型多样性和 价值稀疏性。海量性是指大数据平台支持P B级甚至 Z B级数据的处理；时效性是指大数据平台数据处理效 率高，可实现数据的实时处理；数据类型多样性是指 大数据平台支持日志文件、音视频文件、图片文件等 多种类型数据；价值稀疏性是指大数据平台能够处理 价值大但价值密度低的数据，这对于工业互联网尤为 重要。基于大数据平台的应用系统能够存储大量结构 化、半结构化以及非结构化的数据，能够处理瞬时爆 发性数据，并且对数据进行分析处理。大数据平台运
8 /2021.03
信息化建设Informationization Construction
作可分为数据生成、数据获取、数据存储和数据分析 四个阶段，可提供数据全生命周期不同阶段数据处理 功能。大数据技术所要实现的主要目标是借助科学的 分析手段和算法从大量杂乱而又繁复的数据中，整理 和分析出有价值的数据12]。
二、工业互联网数据档案采集分析中面临的挑战与解决办法
工业互联网时代，企业生产经营活动中产生的海 量数据已经成为了一种重要资源，这些数据往往具有 半结构化、非结构化特点，对于数据资源高效的开发 利用能够极大地提高企业的生产效率。如何“开采、利用”这些数据档案资源，是当下企业数据档案管理 领域的新课题。大数据技术以其海量性、时效性、数 据类型多样性以及价值稀疏性等特点，正好满足了工 业互联网数据档案管理的需要。工业互联网数据档案 既然是一种资源，就要想办法开采、利用，笔者认为 要实现这一目标，需要解决如下几个问题：
(一）依靠系统化思路建立数据模型采集多态性数据
现代工业软件和硬件系统具有整体性及封闭性极 强的特点，涉及到各个设备因其数据格式、端口协议 等标准的差异造成了巨大的技术壁垒，甚至同一工厂 的同一型号的设备也可能因为使用的芯片、传感器等 元器件不同或者生产批次不同，造成其基础信息或生 成信息方式发生改变。故而无论对于工业体系的数据 进行采集与分析，还是对采集的数据进行结构化分解，都存在着巨大的挑战。由于机械设
备数据协议本身一 般都采用封闭式设计模式，有时甚至无法实现设备数 据的顺利采集；即便能够顺利获取数据，在一个工业 大数据项目实际实施过程中，往往也需要耗费较长的 时间并投入大量人力资源，才能完成数据格式与字段 的整理。而更大的难题来自于多样化并且高度可变的 复杂非结构化数据。因为工业系统在封闭性、敏感性 和安全性等方面要求很高，故而其内部的数据往往只 有特定的软件才能兼容并处理。这类问题必须依赖系 统化思路，一方面通过数据模型智能识别与匹配技术等大数据管理技术兼容复杂的非结构化数据，另一方 面也应该注重工业设备硬件和软件体系的标准化建设，采取综合手段有效解决。
张嘉译的前妻
(二） 利用先进通信技术实现高通量数据接入
天量的机器数据，特别是依时间轴产生的数据被通过工业互联网接入工业大数据系统。大型制造类 工业企业往往同时上线并接入工业互联网的机械设备 可达数十万台，数据的生成与接入速率每秒能够达到 百万数据点甚至千万数据点。面对如此庞大的数据接 入需求，工业互联网平台必须具备实时数据接入能力，这离不开“5G”等先进通讯技术的支持。而且由于工 业互联网平台要求对数据进行长期、高可靠的存储，所以如何实现高效的数据压缩编码也是工业互联网数 据档案采集工作中面临的重大课题。除此以外，为了 实现多条件复杂查询，在数据接入过程中还必须设计 完备的数据组织构架和索引体系，实施辅助预处理和 计算，从而采取有针对性措施接入高通量数据，实现 数据读写效率优化。
(三） 利用大数据完善算法实现低价值数据的分析
张家界旅游景点图片工业互联网数据档案工作需要面对的关键问题之 一，就是如何从庞大的低价值数据中提炼高价值的信 息，用大的数据量弥补低的信息密度。工业软硬件体 系对应严格的机理模型，每个变量的定义均具有明确 的实体含义。数据质量低下将会导致变量间函数关系 发生改变，进而影响工业大数据的分析。工业企业由 于技术和历史等因素，其数据系统的质量往往存在许 多问题，如企业资源管理系统中经常存在的物料一物 多码问题。物联网的数据质量也不容乐观，无效的工 况数据、时标错误、时序紊乱等数据质量问题在实际 工作中占比往往高达30%以上。而这些问题对数据分 析的结果和评价可以造成严重干扰，故在进行数据分 析之前有必要对原始数据进行有效整理。工业活动中 由于时间空间条件制约、物理环境工况恶劣等等因素 的影响，致使许多关键数据未被采集或未被充分精确 计量，上述情况要求利用工业大数据平台分析时，所 使用的算法能够在“非完美”“非精确”的数据基础上 进行分析。对于上述问题的解决，可以采取基于现有
2021.03/ 9
Informationization Construction 信息化建设
工业大数据分析的“软测量技术”，即通过大数据分析 建立相关指标之间的关联模型，通过能测可测的变量 参数来测算无法获得的过程变量值，进而完善整体数 据基础(31。
(四）利用多模态大数据实现复杂异构数据管理
小学五年级下册数学期末试卷工业生产过程中会产生大量多源性异构数据，如结构化业务数据、检测设备产生的时序数据以及大量 非结构化工程数据等。每一种类的数据都需要高效的 存储解决方案和有针对性的异构存储模型。目前大数 据平台技术尚无法满足全部要求，以非结构化工程数 据为例，大量的计算机辅助设计（CAD)文件、测试 仿真文件以及图片文档等小文件，要求按照项目类别、组织层次化的物料表单等不同维度进行组织排序，同时又要对数据进行批量管理、建模和质控，上述要求 对于目前的分布式文件管理体系和存储系统均存在一 定困难。为了方便使用、降低开发与学习困难程度，同时复杂异构数据的内部处理差异又需要尽量透明，以确保呈现给用户的数据模型和查询端口的统一，就 需要尽可能围绕多模态工业大数据提供一体化查询协 同服务。例如，在企业物联网数据分析中，需要将大 量传感器的部署信息等静态数据进行处理，而这往往 需要在时间序列数据与结构化数据之间建立跨库映射，从而建立链接关系，要想实现这一目标需要围绕多模态工业大数据提供一体化的查询协同优化。
工业互联网是制造业与大数据、人工智能等新兴 信息技术融合的产物。工业互联网时刻生产着海量的 工业数据，这些数据具有明显的档案属性。档案工作 者必须开阔眼界提升认识，在实践中不断探索研究，以便更好地采集并分析这些工业数据档案。我们必须 保持对信息技术发展的高度敏感性，创新档案管理思 维，依托大数据平台推进数据档案的采集利用，进一 步促进工业互联网的深度应用与制造业转型升级。
参考文献：
[1] 延建林.解析“工业互联网"与“工业4.0”及其对中国制造业发展的启示[J].中国工程科学，2015 (07) :141-144.
[2] 李高峰.大数据背景下区块链技术在档案馆的应用[J].山西档 案，2019 (02) : 97—100.
[3】王展.工业大致据及其技术挑战[J].电信网技术，2017 (08) : !—4.
10 / 2021.03 it
2019中考成绩查询>二舅是哪里人

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。