我的位置:首页 >> 最新文章

工业大数据如何轻量化上云橡胶助剂

发布时间:2019-09-19 11:57:54 来源:油条机械网

2018-08-06 09:47:57来源:贤集网

01、工业大数据的范畴

工业大数据包括制造企业信息化数据、工业物联网数据,以及外部跨界数据。信息化数据包括了ERP中的客户订单、生产计划等信息,工业物联网数据主要是从生产设备上采集到的各种产质耗数据和智能产品上获得的运维数据,而外部跨界数据包括环境数据、市场数据和竞品数据等,而其中从机器设备上得到的数据比重将越来越大。

工业大数据的特征除了大数据的4V(数据量大、类型多、价值密度低、速度快)以外,还有专业性、关联性、和时序性特征。工业大数据应该注意特征背后的物理意义以及特征之间关联性的机理逻辑,互联网上的大数据可以只针对数据本身进行挖掘和关联,而不考虑数据本身的意义,挖掘到什么结果就是什么结果。工业大数据的挖掘必须要有明确的挖掘目标,针对应用的功能在此基础上逐步扩展挖掘的方向。

02、为什么大数据上云要轻量化?

制造企业在构建大数据分析系统时,除了采用传统的自建数据中心架构以外,还可以采用数据存储和分析构建在公有云平台,采用离线训练模型,结合边缘计算在生产现场利用实时数据和已经训练好的模型进行业务应用的两级架构。

两级架构的优点主要体现在以下四个方面:

1、降低存储成本:从设备传感器上采集的数据点往往是时序连续的过程量,随着采集频率的提高和周期延长,数据量是非常大的,如果考虑对海量的数据的存储、备份和还原全生命周期的管理,往往在公有云上成本更低。

2、提高弹性:在公有云上处理大数据,空间和时间灵活性约高,对数据存储和计算资源的要求会随着项目时间越来越长而要求越来越高,而公有云基本能做到想什么时候要就什么时候要,想要多少就要多少。

3、提高容灾性:传统的数据中心的容灾备份往往采用两地三中心的方式,为保证7*24的系统高可用性对系统的要求高,而公有云的IaaS和PaaS的容灾备份机制能实现低成本的低数据丢失率和更短恢复间隔。

4、数据共享更便利:企业应该把自身看成“大数据”价值链中的一部分,那么企业既是贡献者也是受益者,工业大数据的价值可以共享给企业上下游使用,采用统一的公有云平台,促进数据资源的融会贯通,使得数据共享更方便。

大数据上云以后由于网络带宽的限制、对数据处理的时效性要求高、数据存储成本以及模型训练复杂程度多方面的原因,也要求在企业边缘层对原始数据进行一些轻量化处理,在不损失大数据价值性的基础上减少原始数据量。

03、轻量化的方法

轻量化是在不损失大数据价值性的基础上减少网络传输、存储和训练的数据量,并不是要剔除异常数据。在传统的仪表数据采集的时候都有一个过滤异常数据的操作,会设定一定的阈值去除仪表读数的异常跳变,而轻量化的方法不是采用这样的方法去除异常数据,因为异常的数据有可能对业务分析是有价值的。轻量化的方法是在业务分析人员以价值需求为导向去发现数据和提取数据,主要是通过采样中的特征选取和数据压缩两种方法。

特征选取是在可采集的样本特征集合中选择预测能力强的最佳子集,剔除重复,简化多个特征之间的相互关联。首先可以对多个特征做相关性分析,如果特征的相关性为1,表示两个特征的变化是完全相同的,通过找出两个特征的线性关系,能够通过一个特征还原另外一个特征,一个简单的例子如果产品的中文名称要求是唯一的,那么这个产品的中文名称和它的编码相关性就是1,不存在多个编码的产品取相同的名称,那么在做数据采集、传输、存储和训练的时候只需要保留产品编码,只需要在结果展示的时候通过对应表的方式找出产品名称。如果在训练样本的时候对特征维度有明确的要求,也可以采用PCA方法对特征进行降维,PCA把原先的n个特征用数目更少的m个特征取代,从旧特征到新特征的映射捕获数据中的固有变异性,尽量使新的m个特征互不相关。还有一些特征之间是有特殊规律可循,比如说某个机台生产的班次和班组的关系是完全按照四班三运转模式来排班,这个时候只需要确认班次就可以推导出执行班组信息,这样的规则如果是固定不变的话,可以在模型训练时候直接处理特征,而不需要另外做采集和储存。

采用压缩算法也是常用的轻量化手段,在带有时间戳的时序性连续变量采集中,随着采集频率的提高数据量也成级数上升,可以通过偏差检测处理和罗旋门压缩过滤,既能反映数据实际趋势,所需要采集、传输和保存的数据也显著减少。下面的三张图简单展示了数据压缩的过程。

而自编码神经网络是结合了以上两种方式,采用自编码神经网络既可以对特征维度进行降维,也会通过编码方式对数据进行压缩。自编码神经网络是一种无监督学习算法,它使用了反向传播算法,并让目标值等于输入值,可以通过设定神经网络的隐藏层节点数量来达到数据压缩的目的。比如我们有100个输入特征,可以设定隐藏层节点数量为50,最终输出层还是还原100个输入特征。模型训练完成后,我们可以用模型的输入层到隐藏层作为压缩算法,把模型的隐藏层到输出层作为解压算法,这样在边缘层进行模型部署进行压缩,在公有云利用模型进行解压。自编码神经网络相对PCA来说可以更好的处理特征之间的非线性关系。

04、结语

在越来越多的制造业把大数据放在云端进行处理的时候,在网络、存储和计算能力有效的情况下,采用对数据进行压缩和对数据特征进行选取的方法进行数据轻量化处理,以满足数据业务分析需求和处理效率的高效。

以上就是贤集网小编为您介绍的相关内容,如果您有什么想法,欢迎到下方评论留言。

过滤面罩滤烟过滤性能试验装置

便携式测漏机

消防头盔检测设备

相关阅读
压实效果出众徐工全液压双驱压路机优势详解济南旅行社

在市场上,有这样一款压路机,专注潜伏于高原、沙漠等恶劣工况中,它就是徐工全液压双驱压路机。小编今次告诉大家,徐工全液压双驱压路机如此受客户喜爱的秘诀:徐工全液压双驱压路机“都

11月12日 19:12
天津Q345CGB8163输送流体钢管价格济南金属粉末

天津Q345CGB8163输送流体钢管价格热轧:6月热轧板卷市场价格趋弱向下,需求压力加大,库存在逐步增加,风险在逐步累积。5月市场呈现高位向下趋势,市场成交逐步下降,整体较上个月有所回落,而

11月12日 19:12
中联智能互联型锂电池高空作业平台获TOP502019年度产品奖济南消防车

2019年4月2日,由业界权威机构中国工程机械工业协会、国家工程机械质量监督检验中心指导,工程机械与维修传媒主办的“2019工程机械产品发展(北京)论坛暨中国工程机械年度产品TOP50颁奖典礼”

11月12日 19:07
天津2520不锈钢管零售诚信互利济南输液泵

天津2520不锈钢管零售诚信互利同时,对以上钢厂的调查发现,节期间,钢厂减产、检修力度并不大,绝大多数钢铁企业开工率维持在正常水平。这意味着短期内钢材市场供应压力较有所增大。加上节

11月12日 19:07
为提振印度市场铃木将发布一款新微型四轮SUV济南螺纹管

08-12据外媒报道,印度作为铃木最大的市场,但近来其在该地区的销量表现却不尽如人意,为提振在其最大市场印度低迷的销量,铃木决定发布一款新微型四轮SUV,而这是铃木35年来首次发布SUV车型。

11月12日 18:55
山推海外客户关爱行走访东南亚区域济南真空阀

为全面督导、提升山推海外服务质量,及时获取设备运营信息,宣贯服务政策,配合营销系统做好重点市场支持工作,进出口公司联合研究院启动了山推海外客户关爱行活动,对东南亚业务区域重点

11月12日 18:54
友情链接: