JR／T 0237-2021标准规范下载简介

JR／T 0237-2021 金融大数据平台总体技术要求.pdf简介：

JR/T 0237-2021 是中国金融行业推出的一项技术标准，全称为《金融大数据平台总体技术要求》，该标准主要针对金融大数据平台的设计、开发、建设和运行提出了技术要求。以下是该标准的一些关键要点：

1. 定义和范围：该标准明确了金融大数据平台的基本概念，包括大数据的采集、存储、处理、分析和应用等内容，适用于金融机构的数据处理环境。

2. 安全性要求：强调金融大数据平台需要有严格的安全保障，包括数据的加密、访问控制、审计跟踪等方面，以保护金融数据的安全和隐私。

3. 可扩展性和灵活性：平台应具备良好的扩展性和灵活性，以适应金融业务的复杂性和不断变化的数据需求。

4. 高效处理能力：要求平台具备高性能的数据处理能力，能够实时或近实时地处理海量金融数据，提供实时决策支持。

5. 数据质量：平台需要有数据质量控制机制，确保数据的准确性、完整性和一致性。

6. 合规性：平台需符合相关法律法规和行业监管要求，如GDPR、CCPA等，以及金融行业特定的数据管理和使用规定。

7. 标准化和接口：平台需要有统一的数据标准和接口设计，以便于数据的整合和共享。

8. 运行维护：提出了一套完整的运行维护体系，包括监控、故障处理、性能优化等内容。

总的来说，JR/T 0237-2021 是为了提升金融大数据平台的效能，保障数据安全，促进金融机构的数字化转型和风险管理。

JR／T 0237-2021 金融大数据平台总体技术要求.pdf部分内容预览：

JR/T0236一2021《金融大数据术语》界定的以及下列术语和定义适用于本文件。 3.1 大数据bigdata 海量的数据集，其数据在本质上具有体量大、种类多、变化快、变数多的特征，需要一种易扩展白 技术来有效存储、处理、管理和分析。 注：1.大数据通常以多种不同方式使用，例如，作为某种用于处理大数据海量数据集的易扩展技术的名称。 2.GB/T35295一2017《信息技术大数据术语》中2.1.1对大数据的定义为“具有体量巨大、来源多样、 成极快、且多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据”。 3.在某些非工程性研讨的场合，“大数据”一词的外延可能被扩大到所有的数据。 [来源：JR/T 0236—2021，3.1] 3.2 大数据参考体系结构bigdatareferencearchitecture 一种用作工具以便于对数据内在要求、设计结构和运行进行开放性探讨的高层概念模型 注：比较普遍认同的大数据参考体系结构一般包含：系统协调者、数据提供者、大数据应用提供者、大数据框架 提供者和数据消费者等5个逻辑功能构件。 [来源：JR/T0236—2021，4.1] 3.3 系统协调者systemorchestrator 大数据参考体系结构中的一种逻辑功能构件，可定义所需的数据应用活动并将其整合到可运行白 垂直系统中。 注：1.系统协调者可以是人、软件或这二者。

5金融大数据信息价值链

从信息价值链的角度来看，金融大数据平台面向金融大数据应用提供者、系统协调者及大数据 供者，核心活动在于从数据提供者处收集、处理、分析金融活动过程中的相关业务数据、用户 为数据等，并结合金融业务特征支撑金融机构的各项活动和服务。金融大数据信息价值链见图

《缓粘结预应力混凝土结构技术规程 JGJ387-2017》JR/T 02372021

金融大数据信息价值链

数据提供者为金融大数据平台提供数据或信息，包括数据源提供者、数据流通平台提供者和数据 API提供者。 系统协调者在金融领域规范和协调各类所需的数据应用活动，包括系统的配置管理、作业调度、 资源调度、运行监控等活动。 金融大数据应用提供者满足金融领域大数据服务需求，包括收集、预处理、分析、可视化和访问 等活动。 大数据框架提供者为金融大数据应用提供者在创建具体应用时提供资源和服务。 数据消费者是金融大数据应用的最终使用者或其他系统

6金融大数据平台总体目标

金融大数据平台的总体目标是帮助金融机构更高效、更快速地完成金融大数据应用的开发、部 理，从以交易为中心转向以数据为中心，以应对更多维、更大量、更实时的数据和互联网业务的排 融机构以防范系统性风险为底线，对数据安全和业务连续性保障的技术要求通常高于其他行业

7金融大数据平台功能技术要求

金融大数据平台是企业级、分布式、开放、统一的大数据平台，应包括数据接入、数据存储、数据 处理、数据分析及数据服务相关组件。从功能的必要性及重要性角度看，金融大数据平台具体功能技术 要求可以划分为基本要求和增强要求。增强要求是从技术的发展趋势和金融用户的前瞻性需求入手提 出的。 数据接入的基本要求应包括作业调度、数据传输、消息队列、批量采集，增强要求宜包括实时采集； 数据存储的基本要求应包括分布式关系数据库、分布式存储系统（文件、对象、块）等，增强要求宜包 括分布式列数据库、分布式图数据库；数据处理的基本要求应包括批处理、流处理、图计算，增强要求 宜包括批流融合计算、内存计算；数据分析的基本要求应包括模型库、数据处理引擎等，增强要求宜包 括数据可视化；数据服务的基本要求应包括风险管理、用户画像、营销管理、客户服务和经营分析等。 金融大数据平台技术架构见图2。

今融大数据平台技术架构

7.2数据接入功能要求

作业调度的功能要求如下： a）应支持工作流任务的调度。 b）应支持工作流的编排。 ）应支持工作流的批量启停、导入、导出 d）应支持通过接口方式进行工作流的增、删、改、查管理。

JR/T 02372021

e）宜支持工作流的可视

数据采集的功能要求如下： a）应支持数据库与文件系统间数据、文件的导入和导出。 b）应支持数据的批量采集。 c）宜支持数据的实时采集。 d）应支持任务的并行执行，在任务失败后可以重新调度 e）应支持通过可视化配置等形式进行的数据采集。 f）宜支持异构数据库之间的建表语句转换DDL建表功能。

消息队列的功能要求如下： a）应支持高吞吐、分布式消息的处理。 b）应支持消息的缓存。 c）应支持离线应用和在线应用对消息的使用和处理。 d）宜支持多种客户端。

7. 2. 4 数据传输

数据传输的功能要求如下： a）应支持通用的数据传输协议。 b）应支持断点续传机制。 c）应支持同步、异步传输机制。 d）应支持传输安全加密机制。 e）宜支持高速大容量数据传输机制，如FTP、FTPS、SCP、SFTP等。

7.3数据存储功能要求

7.3. 1 分布式文件系统

分布式文件系统的功能要求如下： a）应支持文件的上传、下载、读写、复制、移动、删除、访问控制等。 b）应支持文件的搜索、批量操作、回收站、快照等。 c）应支持文件容错机制和系统高可用机制，包括数据块的备份、系统快速恢复等。 d）应支持文件数据的校验和同步，保证数据的完整性与一致性。 e）应支持RESTful接口对分布式文件系统进行基本操作。 f）应支持金融大数据平台对国内外主流操作系统的兼容性，如Linux、Unix、AIX、MacOS、Kylin、 Euleros等。 注：Linux、Unix、AIX、MacOS、Kylin、EulerOS为操作系统名称。Linux是一种免费使用和自由传播的操作系 统：Unix是20世纪70年代初出现的一种操作系统，除了作为网络操作系统之外，还可以作为单机操作系统使用： AIx是国际商业机器公司开发的操作系统，名称来自先进交互运行系统（AdvancedInteractiveexecutive， AIx）；MacOS是由苹果公司开发的操作系统；Kylin是一个中国自主知识产权操作系统；EuleroS是华为自主研 发的服务器操作系统。 g）宜支持将小文件自动打包为大文件进行集中存储。 h）宜支持对不同型号CPU的兼容性。 i）宜支持弹性扩展功能、动态添加操作以及删除节点操作。 i）宜支持对数据资源的统一检索、编目、增加和册除操作

7.3.2分布式列数据库

分布式列数据库的功能要求如下： a）应支持数据以键值形式进行存储。 b）应支持基于表级、行级和列级的用户权限管理。 c）应支持对数据库数据进行列加密。 d）应支持多级索引。 e）宜支持将多个具有类似功能或存在关联的业务表合并存储。

7.3.3分布式图数据库

分布式图数据库的功能要求如下： a）应支持由节点及边组成（即节点间关系）的数据模型。 b）应支持图查询、图遍历及图分析。 c）应支持主流开发接口，如RESTful、Gremlin等的接口。 注：Gremlin是一种图遍历语言。 d）宜支持单节点、多节点多层关系扩线查询。 e）宜支持顶点、属性的继承操作。 f）宜支持长任务异步会话机制。

7.3.4分布式关系型数据库

分布式关系型数据库的功能要求如下： a）应支持结构化数据的分布式存储机制。 b）应支持SQL实现数据的查询操作，包括并发事务控制、存储过程等。 c）应支持多表关联。 d）应保障数据分布式存储的一致性。 e）应支持关系型数据库间的数据进行跨库关联。 f）宜支持行列混合存储，表按行或列格式存储。 g）宜支持与ODBC接口的兼容性。

7.4数据处理功能要求

JR/T 02372021

h）宜支持与JDBC接口的兼容性DB21／T 3438-2021标准下载， i）宜支持基于多种分布式流处理引擎的查询语言，如flink、spark等。 注：flink是一种开源流处理框架，spark是一种专为大规模数据处理而设计的快速通用的计算引擎， i）宜提供画布、SQL和JAR等多种流计算开发模式。

图计算的功能要求如下： a）应支持同步计算模型或异步计算模型编写迭代算法。 b）应支持基于属性图模型的图数据表达，包含结点或边上的标签和属性类型定义。 c）应支持内置常用图指标计算功能，以描述图的拓扑结构特征 d）应支持实现水平扩展的分布式图计算和图查询。 e）宜支持明细数据的多种导入方式，包括全量导入、增量导入以及自定义导入。 f）宜支持索引，提供在线图分析和图查询功能。 g）宜支持PageRank、社区发现、最短路、LPA等多种图计算能力。 注：PageRank是谷歌排名运算法则的一部分，是谷歌用来标识网页的等级或重要性的一种方法

内存计算的功能要求如下： a）应支持负载均衡和水平扩展。 b）应支持对多种数据类型的离线分析，包括结构化数据、半结构化数据、非结构化数据 c）应支持高度抽象算子，快速构建分布式的数据处理应用。 d）宜支持标准SQL语法。 e）宜支持读取非关系型数据库数据

7.4.5 批流融合计算

模型库的功能要求如下： a）应支持具备机器学习、深度学习、自然语言处理等能力的数据挖掘及分析 b）应支持动态扩展。 c）应支持模型有效性校验及评估。 d）应支持用户灵活的自定义模型。 e）应提供算法I/0注册、算法注册的接口，算法厂商的算法要与存储解耦。 f）算法镜像文件存储宜对接分布式文件系统，保证镜像数据的可靠性。 g）应为Web类常驻应用提供访问代理和负载均衡服务，允许用户自定义域名。

h）应提供标准的RESTful接口，方便业务系统集成 i）宜支持对多算法厂商多算法的统一注册、管理。 j）宜支持各算法厂商独立维护、升级算法。 k）宜提供友好直观的UI设计，方便用户操作管理。 1）宜对外提供在线或离线算法服务，

7. 5. 2数据处理引

数据处理引擎的功能要求如下 a）应支持图计算引擎。 b）应支持流处理引擎。 c）宜支持语义推理引擎。 d）宜支持规则引擎。 e）宜支持预测算法、机器学习

山东省建设工程施工机械台班费用编制规则(2020) 数据处理引擎的功能要求如下： a）应支持图计算引擎。 b）应支持流处理引擎。 c）宜支持语义推理引擎。 d）宜支持规则引擎。 e）宜支持预测算法、机器学习、推荐算法、相似度算法、分类聚类、文本挖掘。