标准规范下载简介

Q／GDW 12104-2021 电力物联网数据中台技术和功能规范.pdf简介：

Q／GDW 12104-2021 电力物联网数据中台技术和功能规范.pdf部分内容预览：

Q/GDW12098和Q/GDW11816界定的以及下列术语和定义适用于本文件。 3.1 列式存储columnarstorage 按单列而不是多行进行的数据连续存储方式。 3.2 时序数据库timeseriesdatabase 存储与时间相关的数据，该数据是在时间上分布的一系列值

Q/GDW12098和Q/GDW11816界定的以及下列术语和定义适用于本文件。 3.1 列式存储columnarstorage 按单列而不是多行进行的数据连续存储方式。 3.2 时序数据库timeseriesdatabase 存储与时间相关的数据，该数据是在时间上分布的一系列值

MB：兆字节（Mbyte） MPP：大规模并行处理（Massivelyparallelprocessing） ODBC：开放数据库连接（OpenDataBaseConnectivity） PB：拍字节（PetaByte） RESTFUL：一种网络应用程序的设计风格和开发方式（RepresentationalStateTransfer） RPC：远程过程调用协议（RemoteProcedureCal1Protocol） SQL：结构化查询语言（StructuredQueryLanguage） SSD：固态硬盘（SolidStateDisk） TB：太字节（Terabyte) TCP：传输控制协议（TransmissionControlProtocol） TPS：事务处理系统（Transactionprocessingsystems） URL：统一资源定位符（UniformResourceLocator） XML：可扩展标记语言（ExtensibleMarkupLanguage)

数据中台包含贴源层、共享层、分析层、统一数据服务、数据资产管理和运营管理，总体架 1所示。

《通风管道技术规程 JGJ/T141-2017》图1数据中台总体架构

数据中台应满足对多源异构数据接入存储、多样化数据计算分析、数据服务化提供等相关应 具体如下： a）数据中台应支持对结构化、非结构化、采集量测等多源异构的数据接入：

b）数据中台应提供满足批量离线计算、实时流式计算、多维数据分析、报表分析、数据挖掘等 支撑能力，支持主流应用构建技术及算法自定义： 数据中台应提供满足数据业务化以数据服务方式对外提供服务，灵活支撑企业级数据共享及 应用，并可实现在线调度监测、自动化执行、敏捷化应用等。 支持多类型数据存储应用，包括结构化数据、非结构化数据、采集量测类数据以及E格式文 件和特定规约的消息数据等； 支持集群规模灵活扩展； f 系统运行指标方面支持与信息通信一体化调度运行支撑平台集成； 具备完善的整体数据安全和隐私保护措施，

5.3. 1 功能架构图

数据中台的能力主要包括数据接入、存储计算、数据分析、数据服务、数据资产管理、运营管 能架构图如图2所示。

5. 3. 2 功能描述

图2数据中台功能架构

数据中台功能主要包括： a 数据接入是指从数据中台外部将各类业务数据汇聚到数据中台贴源层的基本服务能力。数据 种类主要包括结构化数据、非结构化数据、采集量测类数据以及E格式文件和特定规约的消 息数据。源端可以是各类业务系统、终端设备和外部第三方服务提供商。其中数据交换能力 应具备横向和纵向级联数据传输能力； b) 存储计算是数据中台数据核心处理引擎。数据存储是指各类业务数据接入数据中台后的落地 过程。数据计算是指根据需求对数据进行计算加工的处理过程：

c）数据分析是为分析模型和分析算法提供管理，为数据报表与可视化展示提供工具集； d 数据服务通过数据服务目录实现安全、友好、可控的对内对外数据服务统一访问，提供Restfu 等各类形式的API服务接口的统一注册、管理和调度； e 数据资产管理对数据资产体系的模型、目录、数据标签等进行全面管控； 工 运营管理为数据中台的使用过程提供各种管理支撑工具，对数据服务和脱敏规则等进行参数 配置，对链路进行安全监控和调度计量，对数据开发提供在线交互功能，是实现数据全生命 周期监控的基本工具集，数据运营能力包括对模型、指标、标签、策略等开展持续运营的能 力。

数据复制具体功能应包括： a）支持通过在线日志或归档日志的数据增量捕获，非侵入式的实现数据库之间数据复制： 源端和目标端均支持Oracle、MySQL等常见关系数据库； e）具备多种比对策略，支持表结构、表记录等多对象的一致性比对； d）具备高比率的数据压缩，能够实现断点续传，并能在传输过程中进行安全的数据加密 e）具备对复制过程各个环节的运行情况进行记录和监控的能力； f）具备实时/准实时数据复制能力； 支持多种接口与第三方系统对接，提供增量数据变化描述的中间数据； 支持基于事务的数据同步

6.1.3数据抽取转换

数据抽取转换具体功能应包括： a）支持Oracle、MySQL、PostgreSQL、SQLServer、OracleRDB、DB2、Greenplum、Sybase、MSAcc SQLite等主流数据库； b)支持 txt、csV、xml 等主流格式文件:

Q/GDW12104202

c）支持Hbase、Hive、HDFS、Kafka等大数据组件，并支持kerberos安全认证机制； d）支持达梦、金仓、GBase8a等国产数据库，支持电力E文件等格式文件； 具备完善的数据整合处理能力，支持值映射、拆分字段、合并字段、字段选择、排序、编码 转换、计算、行列转换、剪切字符串、去重、唯一行（哈希值）、增加常量、增加序列、字 符串替换、行扁平化、设置字段值、正则表达式替换等； 支持对Oracle、MySQL、PostgreSQL、Gbase8a等常见数据库的高效加载机制，支持批量加载 并行加载、增量加载、通过变量控制加载范围等 支持独立的线上调度监控能力，支持定时执行、批量执行、依赖执行、增量执行、变量执行 接口调用执行、手动执行等调度方式；支持在线监控任务运行日志、运行进度、运行告警、 资源使用等； h）支持调度接口，支持与第三方应用交互，并反馈运行结果： i）支持可视化任务编排，支持可视化开发工具、可视化调度监控： i）支持批量配置； 支持集群部署，具备运行节点横向扩展能力； 支持开发环境与生产环境分离能力，支持在测试环境开发调试，将结果上传到生产环境运行 并提供B/S架构对系统进行管理。

c）支持Hbase、Hive、HDFS、Kafka等大数据组件，并支持kerberos安全认证机制； d）支持达梦、金仓、GBase8a等国产数据库，支持电力E文件等格式文件； e）具备完善的数据整合处理能力，支持值映射、拆分字段、合并字段、字段选择、排序、编码 转换、计算、行列转换、剪切字符串、去重、唯一行（哈希值）、增加常量、增加序列、字 符串替换、行扁平化、设置字段值、正则表达式替换等； 支持对Oracle、MySQL、PostgreSQL、Gbase8a等常见数据库的高效加载机制，支持批量加载、 并行加载、增量加载、通过变量控制加载范围等 多 支持独立的线上调度监控能力，支持定时执行、批量执行、依赖执行、增量执行、变量执行 接口调用执行、手动执行等调度方式；支持在线监控任务运行日志、运行进度、运行告警、 资源使用等； h）支持调度接口，支持与第三方应用交互，并反馈运行结果； i）支持可视化任务编排，支持可视化开发工具、可视化调度监控： ）支持批量配置； 支持集群部署，具备运行节点横向扩展能力； 支持开发环境与生产环境分离能力，支持在测试环境开发调试，将结果上传到生产环境运行 并提供B/S架构对系统进行管理。

Q/GDW121042021

批量计算具体功能应包括： a） 具备任务定义、提交、调度、监控能力 b) 支持多种数据来源及输出，包括关系数据库、分布式文件系统、分布式列式存储等，满足各 业务系统根据业务需求进行各类型统计分析任务的定义： C 具备错误检测和恢复机制，支持节点自动重启技术，使集群和计算框架具有应对节点失效的 健壮性DB4403／T 118-2020标准下载，能有效处理失效节点的检测和恢复； 业务应用能够通过调用批量计算服务API实现批量计算逻辑； e 支持横向扩展，可动态扩展节点，用于批量计算，

6. 2. 2 流计算

流计算具体功能应包括： a）支持多种内建的字符串、时间、统计、逻辑运算表达式等类型函数，支持用户自定义计算函 数，自定义输入、输出数据源； b 支持消息驱动的实时计算，支持对接不同的数据源，以毫秒级时延实现数据的聚合、拆分、 过滤等处理： C 支持在流上执行类SQL任务，支持多种输入、输出数据源及相关的序列化、反序列化方式； 类SQL能力至少包括：基于窗口的计算能力、提供窗口数据的统计能力、关联能力； d 支持自动、手动性能调优和监控报警； e 流计算集群支持线性扩展，具备容错机制，支持作业级容错； f）业务应用能够通过调用流计算服务API实现流计算逻辑

6. 2. 3 内存计算

3.2.4分布式列式数据库

分布式列式数据库具体功能应包括： a 提供列式存储、在线快速读写、线性扩展、监控管理等能力： b 支持大规模集群部署、PB级数据存储； 支持组件API访问接口，支持扩展的SQL访问，支持ODBC、JDBC等开发接口； d 支持二级索引，能够支持本地以及全局二级索引，并且能够支持组合学段索引，支持为已经 存在数据的表新增索引，支持索引册删除能力，支持通过API和Phoenix创建二级索引： e 支持与全文检索服务对接，支持在数据库数据加载过程中实时生成全文索引，提供快速、简 单的内容检索方案； f）支持MOB技术，满足小文件（比如图像数据、文档等）的高效存储和检索 数据加密存储时，能够支持SM3/SM4国密算法。

6.2. 5 分布式关系型数据库

Q/GDW12104202

分布式关系型数据库具体功能应包括： a）支持数据穴余存储、分库分表、透明读写分离、数据存储平滑扩容、分布式运维指令集、分 布式事务等功能； 支持数据库在线扩容、在线备份： c）支持数据库状态管理和监控能力； d）支持数据库SQL标准访问接口，支持ODBC、JDBC等开发接口； 支持大规模集群部署DB4403∕T 25-2019 海绵城市建设项目施工、运行维护技术规程，集群具备高并发响应能力； f）数据加密存储时，能够支持SM3/SM4国密算法