主要技术内容:5　功能构成功能架构钢铁行业的边缘层涵盖了边缘数据接入、边缘数据服务两部分功能。边缘数据接入包括实时数据、结构化数据以及非结构化数据的接入；边缘数据服务包含数据处理、数据存储以及数据发布，边缘功能架构图见图1。图1 钢铁行业边缘功能架构图数据接入5.2.1　基本要求根据数据类型的不同，边缘层宜接入的数据包括实时数据、结构化数据以及非结构化数据。5.2.2　实时数据实时数据主要指由现场生产单元直接产生的数据，分为PLC设备数据、DCS设备数据、PDA设备数据、I/O Server数据、单体设备数据以及传感器设备数据。注1：单体设备一般是指现场功能独立的工艺设备。注2：传感器设备一般是指可以感受到被测量的信息的检测装置。5.2.3　结构化数据结构化数据是以信息系统为代表的一类数据，本文件将半结构化数据也作为结构化数据的一部分进行统一表述。5.2.4　非结构化数据非结构化数据是由相关系统产生的、没有固定结构的数据。数据服务5.3.1　基础要求数据是重要的资产，为保证信息的安全性、可靠性、完整性和有效性，制定和采取相应管理制度, 进行对信息的保护，防止未经授权地修改、泄漏和破坏。加强信息系统用户账号和权限的规范化管理,确保各信息系统安全、有序、稳定运行，防范应用风险。不同权限的用户，拥有着对数据不同深度的访问权限，因此需要对用户访问权限进行分级授权。在边缘数据服务层提供数据处理、数据存储以及数据发布等功能。5.3.2　数据处理数据处理宜包含数据清洗、数据转换、数据时序对位、数据空间对位等功能。5.3.3　数据存储数据存储应根据数据类型的不同，分为时序数据库、关系型数据库以及文件数据库等；5.3.4　数据发布数据发布应根据数据消费的形态，分为被动消费型的订阅发布模式和主动消费型的请求响应模式。6　边缘数据接入数据接入通用要求宜满足以下要求：a)在进行数据接入前，所有需要接入到边缘层的数据源宜与边缘层进行时间同步，以确保所有数据基于同一个时间基准，保证接入数据的时序性；b)以不影响原有系统网络正常运行为前提，对于大量数据进行高频采集时，宜单独组建采集网络来采集相关数据；c)所有数据采集功能宜不影响原有系统的正常运转；d)实时数据的接入，基于钢铁行业各生产区域应用的需求，对数据需求相对快速的生产工序，例如冷轧，热轧，数据采样周期不宜大于100ms，对数据需求相对慢速的生产工序，例如铁前，数据采样周期不宜大于1000ms；e)提供图形化配置工具，降低操作复杂度，提升用户体验。实时数据接入要求6.2.1　PLC、DCS设备数据接入要求一般要求PLC设备数据接入需要具备实时、高效、稳定的数据通讯链路。功能要求宜具备的功能如下：a)支持的接口包括但不限于： 基于Modbus、TCP/IP、UDP等协议的数据接口；b)具备链路自动修复、链路切换功能，满足无人值守的要求。性能要求针对一条常规产线、机组、工位，采集点数宜在10000点规模。6.2.2　PDA设备数据接入要求一般要求在配置有PDA系统的工序，PDA通过配置能按时间顺序采集配置好的各PLC中的数据。边缘层可通过PDA系统获取实时数据。功能要求宜具备的功能如下：a)支持的接口包括但不限于：基于OPC、TCP/IP、UDP等协议的数据接口；b)具备链路自动修复、链路切换功能，满足无人值守的要求；c)具备缓存和续传的功能；d)提供冗余功能，提升通讯可靠性。性能要求针对一条常规产线、机组、工位，采集点宜在10000点规模。6.2.3　I/O Server数据接入要求一般要求边缘层可实时获取来自工业现场工序SCADA监控系统中的数据。功能要求宜具备的功能如下：a)支持的接口包括但不限于： 基于OPC等协议的；b)具备链路自动修复、链路切换功能，满足无人值守的要求；c)具备缓存和续传的功能；d)提供冗余功能，提升通讯可靠性。性能要求针对一个常规产线、机组、工位，采集点数宜在10000点规模；6.2.4　单体设备数据接入要求一般要求单体设备数据接入，包括但不限于嵌入式仪表、测厚仪、测宽仪、平直度仪、表面检测仪、辊缝测量仪等特殊仪表及焊机、涂油机等工艺设备。边缘层宜采集尚未进入PLC系统的单体设备的数据，不包括已经进入PLC系统的设备数据。功能要求宜具备的功能如下：a)支持的接口包括但不限于：基于OPC、TCP/IP等协议的数据接口、CSV文本等；b)具备缓存和续传的功能；c)具备链路自动修复功能，满足无人值守的要求。性能要求每台单体设备，采集点数宜在200点规模。6.2.5　传感器设备数据接入要求一般要求传感器设备数据接入，包括但不限于振动传感器、温度传感器、激光位移传感器，辊子被动转传感器等各类冶金工业使用的设备数据接入。边缘层宜具备从这些设备获取数据的能力。功能要求宜具备的功能如下：a)支持的接口包括但不限于：基于MQTT、COAP等协议的数据接口；b)具备链路自动修复功能，满足无人值守的要求。性能要求每个传感器，采集点数宜为20点规模。结构化数据接入要求6.3.1　信息系统数据接入要求一般要求信息系统包括但不限于制造执行系统、过程控制系统、检化验系统、能源管理系统等，边缘层宜具备从这些系统获取数据的能力。功能要求宜具备的功能如下：a)基于TCP/IP协议的数据接入功能；b)基于关系型数据库的数据抽取功能；?被动式：定周期对数据库表进行查询，判断是否有新数据，有更新则获取表数据。应用场合对实时性要求低；?主动式：对在线数据库中采用触发方式，一旦数据表有数据更新，则触发数据传输到远程数据库。应用场合对实时要求较高；c)基于符合REST规范的数据获取接口。性能要求数据采样周期宜不大于10秒。非结构化数据接入要求6.4.1　图像、文本数据接入要求一般要求工业现场的质量检测图像以及存在计算机中的文本等信息宜接入到边缘层。功能性要求宜具备的功能如下：a)通过HTTP协议，基于文件二进制流文件上传方式；b)提供基于FTP方式的定时数据获取。6.4.2　声音、视频接入要求一般要求工业现场的声音、视频等信息需要接入到边缘层。功能性要求宜具备的功能如下：a)提供基于FTP方式的定时数据获取；b)采用视频公司提供的编程接口进行数据采集。7　边缘数据服务一般要求对采集到的数据进行数据处理（包括数据清洗），数据加工，数据存储后进行数据发布并使用。实时数据服务功能要求7.2.1　数据处理要求数据处理宜满足如下要求：a)数据预处理：数据对齐处理，数据从各种不同的专业系统汇聚而来，其数据的类型各不相同、数据的颗粒度也不尽相同、数据的原始结构也各有差异，所以要在数据写入数据库前对数据进行噪音处理、异点剔除等；若有统计方面的需求还可以对数据进行方差、正态分布、聚类、相关性等统计分析计算；b)时序对位：不同系统来的数据入库前需进行数据对位，即按照时刻点或材料位置点对数据按照时间对齐，例如同一时刻的轧机轧制力与振动信号、1点/m的带钢厚度与温度。对位前应要有系统对时功能，以及精确的材料跟踪功能。对于设备状态类数据宜基于设备码进行时序对位；c)空间对位：数据分析时需按照材料长度方向来进行数据的对位分析，例如，热轧带钢距离头部 300m 有一表面缺陷，分析该缺陷产生的原因，就需要该点分别在粗轧、精轧等各设备的信息和工艺参数，需要将这些点按照长度方向进行采集和对齐。7.2.2　数据存储要求数据存储宜满足如下要求：a)数据按照采集点的值和时刻存储在实时数据库中；b)数据宜保存至少90days，超过90days的数据可以循环覆盖，也可以定期离线存储备份；c)支持高性能分布式并行I/O，多数据源宜达到PB级数据存储；d)支持有损/无损数据压缩：?有损压缩：支持常见的工业压缩算法，实现数据的有损压缩，压缩率宜到达到5%以下；?无损压缩：支持无损压缩算法，实现数据的高效压缩，压缩率宜达到60%以下。7.2.3　数据发布要求数据发布宜满足如下要求：a)数据发布的格式宜为JSON等格式；b)提供基于请求响应模式的数据发布，供外部系统按需获取数据。请求响应模式宜包括但不限于符合REST规范的服务接口、符合OPC协议的数据服务；c)提供基于订阅发布机制的数据发布，对订阅者进行权限管理，外部系统作为数据的订阅者根据其权限获取数据。结构化数据服务功能要求7.3.1　数据清洗要求数据清洗宜满足如下要求：a)缺失值清洗：确定缺失值范围，去除不需要的字段、填充缺失内容、重新取数；b)格式内容清洗：时间、日期、数值、全半角等显示格式不一致；c)逻辑错误清洗：去重、去除不合理值、修正矛盾内容。7.3.2　数据存储要求数据存储宜满足如下要求：a)数据存储方式宜为关系数据库；b)数据宜保存至少90days，超过90days的数据可以定期删除，或离线存储备份；c)支持可视化的数据存储展示。7.3.3　数据发布要求数据发布宜满足如下要求：a)数据发布的格式宜为JSON格式；b)提供基于请求响应模式的数据发布，供外部系统按需获取数据。请求响应模式宜包括但不限于符合REST规范的服务接口。非结构化数据服务功能要求7.4.1　数据处理要求数据处理宜满足如下要求：a)根据文件格式进行分类命名；b)将文件名称、文件类型、文件产生时刻、文件存储路径等通用信息进行结构化存储，以方便使用。7.4.2　数据存储要求数据存储宜满足如下要求：a)支持分布式文件管理系统；b)支持分布式文件数据库；c)文件宜保存至少30days，超过30days的数据可以定期删除，或离线存储备份；d)支持可视化的数据存储展示。7.4.3　数据发布要求数据发布宜满足如下要求：a)支持对外发布公有/私有URL地址；b)提供支持符合REST规范的接口，供应用访问；c)支持文档内容检索：对上传的文档对象进行自动内容索引，可针对对象标题、标签、作者、类型进行检索，可针对文档对象内容进行索引