标准规范下载简介

GB／T 38672-2020 信息技术 大数据 接口基本要求.pdf简介：

"GB/T 38672-2020 信息技术 大数据 接口基本要求"是中**家标准，全称为《信息技术 大数据 接口基本要求》。这个标准主要规定了在大数据处理和应用中，接口设计、开发、实施和管理的基本要求。它涵盖了大数据接口的标准化、数据安全、互操作性、性能、稳定性等方面，旨在促进大数据技术的健康发展，推动不同系统、平台和应用之间的数据交换和融合。

该标准适用于大数据相关领域的技术研发、产品设计、系统集成和运维管理，旨在提高大数据应用的效率和质量，保障数据安全，并推动大数据产业的标准化进程。通过遵循这个标准，企业和组织可以确保他们的大数据系统和服务满足行业规范，易于集成和扩展，有利于数据的深度利用和价值挖掘。

GB／T 38672-2020 信息技术 大数据 接口基本要求.pdf部分内容预览：

本标准按照GB/T1.1一2009给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由全*信息技术标准化技术委员会（SAC/TC28)提出并归口。 本标准起草单位：华为技术有限公司、中*电子技术标准化研究院、浪潮电子信息产业股份有限公 司、浪潮软件集团有限公司、智慧神州（北京）科技有限公司、美林数据技术股份有限公司、深圳讯策科技 有限公司、北京软件和信息服务交易所有限公司、内蒙古大学、中电长城网际系统应用有限公司、*** 路安科技股份有限公司。 本标准主要起草人：光亮、符海芳、杨彦林、王为中、尹卓、赵江、王功明、黄先芝、张慧敏、赵志强、 刘雪、董艳、李华、闵京华、龙祥、孙嘉阳、李冰。

本标准按照GB/T1.1一2009给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由全*信息技术标准化技术委员会（SAC/TC28)提出并归口。 本标准起草单位：华为技术有限公司、中*电子技术标准化研究院、浪潮电子信息产业股份有限公 同、浪潮软件集团有限公司、智慧神州（北京)科技有限公司、美林数据技术股份有限公司、深圳讯策科技 有限公司、北京软件和信息服务交易所有限公司、内蒙古大学、中电长城网际系统应用有限公司、*** 路安科技股份有限公司。 本标准主要起草人：光亮、符海芳、杨彦林、王为中、尹卓、赵江、王功明、黄先芝、张慧敏、赵志强 刘雪、董艳、李华、闵京华、龙祥、孙嘉阳、李冰

05ZJ201 平屋面本标推给出了基于天数据参 接口的基本要求。 本标准适用于指导 应用部著

依据GB/T35589一2017描述的大数据参考架构，数据提供者将新的数据或信息引入大数据系统。 数据消费者使用大数据应用提供者提供的应用。大数据应用提供者执行数据生命周期操作，以满足系 统协调者定义的需求以及安全和隐私保护需求。大数据框架提供者建立一种计算框架，在此框架中执 行转换应用，同时保护数据完整性和隐私。在数据提供者、数据消费者、大数据应用提供者、大数据框架 提供者、安全和隐私、管理模块之间存在丰富的接口，支持模块间的信息传递和互操作，对大数据系统集 成、兼容性、互操作性有着重要影响。模块内的组件间也有接口支持组件间的互操作。按照所连接的模 块可以对接口进行分类。各类别的接口提供相应的信息传递和交互功能，满足接口使用对象的需求。 本标准基于GB/T35589一2017描述的大数据参考架构，给出接口框架（见图1），包含数据提供者、 数据消费者、大数据应用提供者、大数据框架提供者、安全和隐私、管理模块之间的接口： 接口1是数据提供者与大数据应用提供者之间的接口； 接口2是数据消费者与大数据应用提供者之间的接口； 接口3是大数据应用提供者与大数据框架提供者之间的接口； 接口4是管理模块与其他模块（数据提供者、数据消费者、大数据应用提供者、大数据框架提供者、 安全和隐私）间的接口； 接口5是安全和隐私模块与其他模块（数据提供者、数据消费者、大数据应用提供者、大数据框架提 供者、管理）间的接口。 注：本标准不涉及大数据参考架构中的系统协调者与大数据应用提供者间的接口

示一个模块与多个模块之间

图1基于大数据参考架构的接口框架

一方面，数据提供者通过接口1向大数据应用提供者传送需要分析或处理的数据，包括结构化数 、半结构化数据和非结构化数据等各种数据格式。另一方面，大数据应用提供者可以通过接口1向数 提供者传递数据请求。 接口1的常见类别包括但不限于： a）数据访问接口：用于实时访问数据提供者的数据信息，包括业务系统访问接口、数据库访问接 口、文件访问接口等各种数据来源接口，可由数据提供者开放二次开发接口、从数据提供者应 用层面接口重构生成、或通过数据库生成数据库表访问接口等方式提供。 b） 数据采集接口：用于将数据提供者的数据信息按照一定的原则和规则进行获取，并按照指定的 方式存储。 C 数据核验接口：用于按照数据共享开放准则、信息保护和访问服务约束，进行跨层级、跨部门、 跨系统数据在线核验，返回核验信息。 注：例如来源于某一信息系统的单一信息核验、多项信息联合核验，及来源于多信息系统的某一信息联查对 比、多项信息联合比对核验等

一方面，数据提供者通过接口1向大数据应用提供者传送需要分析或处理的数据，包括结构 、半结构化数据和非结构化数据等各种数据格式。另一方面，大数据应用提供者可以通过接口1「 提供者传递数据请求。 接口1的常见类别包括但不限于

GB/T 38672—2020

共享数据同步更新，不需要重复录人。这类接口在跨层级、跨系统业务数据共享共用、系统 联互通中广泛使用。

一方面，大数据应用提供者通过接口3向大数据框架提供者下发数据计算、存储或访问指令，利用 数据框架提供者的各类计算、存储和网络资源。另一方面，大数据框架提供者通过接口3向大数据应 提供者返回数据计算的结果或需要访问的数据。大数据框架提供者包括各类计算、存储组件，一般基 开源版本进行增强。 根据访问的大数据框架提供者组件，接口3的常见类型包括但不限于： a）离线计算接口：用于对数据进行离线计算，支持数据读取、分发、聚集、输出等操作。同时对计 算任务进行编排和调度； b）内存计算接口：用于使用内存对数据进行计算、分析，支持数据聚集、数据集转换等操作； c 分布式文件存储接口：用于对分布式文件数据进行交互，支持文件系统连接、文件访问、文件流 及存储空间管理等操作； d 分布式列式存储接口：用于对分布式列式数据进行交互，支持实时查询、分析等操作； e） 关系型数据库接口：用于对关系型数据进行交互，支持数据库连接、数据库管理、数据表管理、 数据访问等操作； f 多维分析数据库接口：用于对多维数据进行交互，支持数据查询，和数据表的动态修改等操作； g 分布式内存数据库接口：用于对分布式内存数据进行交互，支持数据库连接、数据访问、数据管 理等操作； h） 海量全文检索接口：用于对海量文本数据进行检索和查询，支持索引库连接、数据表管理、数据 访问等操作

一方面，管理模块通过接口4向大数据系统的其他模块发送监控、配置指令，监管大数据系统其他 模块的资源和运行状态。另一方面，大数据系统的其他模块通过接口4向管理模块传送自身状态、配置 请求、出错或告警信息。

一方面，安全和隐私模块通过接口5向大数据系统的其他模块传送安全和隐私相关配置和指令，支 持身份管理、访问授权、安全审计等操作。另一方面，大数据系统的其他模块通过接口5将数据安全、系 统安全、用户隐私相关的状态、操作、验证请求等发送给安全和隐私模块。

各类接口应满足如下总体要求： a）开放性：符合产业习惯，兼容主流开源接口，减小接口定制化带来的重新设计、适配成本； b）易用性：尽可能设计成抽象程度高、屏蔽底层实现、语法易理解的接口； c）扩展性：同一接口可通过增加函数、操作符、语句等形式支持新的功能。

a）应支持多种数据来源（业务系统、数据库、文件等）、多种数据类型（例如业务相关数据、监控 据）、多种数据格式（结构化、半结构化、非结构化等）的数据访问； b）应支持按照大数据采集留存规则进行数据采集； c）应支持接口运行情况（如主要函数调用时延）的监控DB11∕T 1947-2021 *土空间分区规划计算机辅助制图标准，能及时发现错误、产生告警信号； d）宜支持多种数据访问接口实例的定时（例如按天、小时、分钟等）调用启动； e）宜支持对接常用数据库采集工具、主流日志采集工具（如Filebeat)； 宜支持对接基于系统应用服务接口（数据提供者提供或第三方重构的）实现数据采集的工具： 接口生成宜不受业务系统的开发语言、所处网络环境、系统形态等限制。

接口3的要求包括： a）应支持业界常用接口，兼容主流开源接口，支持系统集成； b）应支持海量数据的分布式离线计算，支持MapReduce计算，支持数据的读取、分发、聚集

接口3的要求包括 a）应支持业界常用接口，兼容主流开源接口，支持系统集成； b）应支持海量数据的分布式离线计算，支持MapReduce计算，支持数据的读取、

GB/T 386722020

输出等处理功能； 应提供内存计算的多种语言开发接口（例如Scala，Java），提供高度抽象算子构建分布式数据 处理应用； d 应支持分布式文件存储的文件操作（包括但不限于文件创建、读取、写人、删除、文件状态信息 查询等）及文件操作（包括但不限于文件夹创建、删除、状态信息查询、内容统计信息查询 等）； e） 应支持分布式文件系统设置，包括但不限于设置访向权限、设置文件所有者、设置访向时间或 者修改时间等； f)应支持关系型数据库的DDL、DML操作，支持标准SQL； 应支持多维分析数据库以标准SQL查询和分析； h） 应支持海量全文检索，提供结构化、非结构化文本的多条件检索、统计和报表生成； i 应支持自定义函数的定义、加载、使用机制； 应支持海量结构化数据的交互式OLAP分析； k） 宜支持分布式内存计算框架接入多种数据源（例如HDFS、HBase、Hive)，支持离线计算程序 平滑转接； 1 宜支持分布式列式存储不同类型索引（例如主键索引、组合索引、全文索引）的创建、查询 重建； m）宜支持关系型数据库的事务操作，包括但不限于事务开启、提交及回漆等，

接口4的要求包括： a）应支持大数据组件的安装部署、支持升级配置（包括但不限于查询可升级的版本、需配置的参 数等）； b） 应支持用户管理，包括但不限于增加、删除、修改用户，增加、删除、修改角色、用户权限控制等 c） 应支持监控告警，对资源使用情况、资源运行状态等进行监控，并提供多种展示方式，支持健康 检查； d） 应支持各类日志的收集和存储，包括但不限于运行日志、操作日志； e）应支持标准管理协议（例如SNMP)，提供RESTAPI、CLI等交互方式。

T∕CCES 1-2017 孔压静力触探测试技术规程接口5宜提供RESTAPI。

接口5宜提供RESTAPI