标准规范下载简介

GB／T 38673-2020 信息技术 大数据 大数据系统基本要求.pdf简介：

GB/T 38673-2020《信息技术 大数据 大数据系统基本要求》是由中国国家标准管理机构发布的一份技术标准。这份标准主要针对大数据系统的设计、开发、实施和运行提供了基本的要求和指南。它涵盖了大数据系统的关键要素，如数据管理、数据处理、数据安全、数据隐私、系统架构、性能评估、可扩展性、灵活性以及与传统IT系统的集成等。

该标准旨在帮助企业在使用大数据技术时，确保其大数据系统的可靠性、有效性、安全性以及合规性。它适用于所有需要处理、分析和利用大规模数据的组织，包括但不限于政府部门、企业、研究机构等。通过遵循该标准，组织可以提高其大数据应用的质量和效率，同时满足日益严格的监管要求。

总的来说，GB/T 38673-2020是一个对于大数据系统实施和管理的重要参考和规范，有助于推动中国大数据行业的健康发展。

GB／T 38673-2020 信息技术 大数据 大数据系统基本要求.pdf部分内容预览：

信息技术大数据 大数据系统基本要求

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T352952017信息技术大数据术语 GB/T35589一2017信息技术大数据技术参考

下列缩略语适用于本文件。

《深井曝气设计规范 CECS42：92》列缩略语适用于本文件。

GB/T 386732020

GB/T35589一2017定义了大数据参考架构，如图1所示。大数据参考是一个通用的大数 概念，它表示了通用的、与技术无关的大数据系统的逻辑功能构件及构件之间的互操作接口 开发各种具体类型大数据应用系统架构的通用技术参考框架。

本标准参考大数据参考架构逻辑功能构件划分，将大数据系统划分为数据收集、数据预处理、数 、数据处理、数据分析、数据访问、数据可视化、资源管理、系统管理9个模块。大数据系统框架 所示。

数据收集模块要求如下： a）应提供数据导人功能，支持结构化数据、非结构化数据和半结构化数据导人； b）应支持离线数据导人和实时数据导； C 应支持全量数据导人和增量数据导人； d）应提供自动定时导人数据功能； e 宜提供开放的数据导人API； f) 宜提供图形界面实现数据导入功能

数据预处理模块要求如下： a）应提供数据抽取功能，支持对结构化数据、非结构化数据和半结构化数据进行抽取 b）应提供数据清洗功能，支持对不一致数据、无效数据、缺失数据和重复数据的处理； c）应提供结构化数据的列转换、行转换和表转换功能； d) 应提供数据加载功能，支持将经过清洗和转换的数据加载到数据分析模块； e）宜提供清洗前后的数据比对功能； f 宜支持非结构化数据的数据转换功能。

数据存储模块要求如下： a）应提供数据存储功能，支持结构化数据、非结构化数据和半结构化数据存储。 b）应提供与关系型数据库、其他文件系统之间交换数据或文件的功能。 c）支持分布式文件存储，实现以下功能：

1）应支持文件系统基本操作，包括上传、下载、读写、复制、移动、删除、重命名、权限修改 2） 应提供数据块多副本存储、恢复功能； 3） 宜支持文件快速检索功能，支持数据资源的统一检索、编目、增加和删除操作； 4） 宜支持数据压缩存储功能。 d）支持分布式列式数据存储，实现以下功能： 1）应支持以键值形式存储数据的功能； 2）宜支持基于表、列族和列的用户权限管理功能，权限管理操作包括读、写、创建等。 e 支持分布式结构化数据存储，实现以下功能： 1）宜支持结构化数据的分布式存储，保证数据存储的可扩展性和一致性； 2）： 宜提供API实现数据的各类查询操作； 3） 宜支持多表关联。 f）支持分布式图数据存储，实现以下功能： 1）宜支持由节点及边组成的数据； 2）宜支持图查询，支持单节点、多节点多层关系的扩线查询； 3）宜支持图遍历，支持最短路径、最优路径遍历查询； 4）宜支持图分析

g）宜支持以有向无环图形式描述作业内多任务的依赖关系。 h）宜提供对复杂任务的调度能力

可视化模块要求如下： a）应支持使用常规图表展示数据，如表格、柱状图、饼图、折线图、热力图等； b）宜支持第三方数据可视化工具的API

数据访问模块应支持相应的 序使用大数据系统的数

方问模块应支持相应的访问接口，以便于第三方应用程序使用大数据系统的数据。

资源管理模块要求如下： a）应提供CPU、内存等资源的调度和配置功能； b） 应提供对全局资源的集中管理功能； 应支持静态资源分配策略和动态资源分配策略； d 应支持资源的弹性与抢占，即有空闲资源时，租户可使用超过其配置上限的资源，系统繁忙时 若租户使用的资源未达到其原始配置，则可抢占其他租户使用资源的超出部分； e 宜提供设置任务优先级的功能，并按任务优先级对资源进行调度； 宜支持多层次的队列资源管理，队列资源实现隔离，即不为队列分配超过其资源上限的资源； g) 宜提供根据作业需求动态分配计算资源，自动管理回收资源功能。

系统管理模块要求如下： 应提供配置管理功能，包括对大数据集群软硬件资源的配置管理，支持配置管理的分角色、分 组管理及自动化； 6 应提供租户管理功能，包括租户的角色、权限、资源等功能； ） 应提供监控告警管理功能，包括多维度、可视化的大数据系统的监控、告警等； d 应提供服务管理功能，包括对大数据系统组件服务的管理； 宜提供健康检查管理功能，支持以图形界面方式实现集群健康检查，

系统管理模块要求如下： 应提供配置管理功能，包括对大数据集群软硬件资源的配置管理，支持配置管理的分角色、分 组管理及自动化； b） 应提供租户管理功能，包括租户的角色、权限、资源等功能； c） 应提供监控告警管理功能，包括多维度、可视化的大数据系统的监控、告警等； d） 应提供服务管理功能，包括对大数据系统组件服务的管理； e）宜提供健康检查管理功能，支持以图形界面方式实现集群健康检查

高可用要求如下： a) 应提供系统自动故障探测及管理功能； b) 应确保系统组件不存在单点故障风险； 集群任意节点发生故障时，不应出现服务中断、数据丢失或数据不一致的情况； 集群任意单元发生故障时，系统操作应不受影响； e）应保证系统长期无故障不间断运行。

高可用要求如下： a）应提供系统自动故障探测及管理功能； b）应确保系统组件不存在单点故障风险； c）集群任意节点发生故障时，不应出现服务中断、数据丢失或数据不一致的情况； d）集群任意单元发生故障时，系统操作应不受影响； e）应保证系统长期无故障不间断运行

7.1.2数据穴余存储与分布

数据完余存储与分布要求如下：

GB/T386732020

a）应提供元数据 b）应提供基于分区 理分布的能力

7.1.3数据备份和恢复

数据备份和恢复要求如下： a）应提供分布式文件存储备份和恢复功能； b) 应提供分布式结构化数据存储备份和恢复功能； 应提供分布式列式存储备份和恢复功能； d）宜支持数据全量备份和增量备份； e）宜支持数据自动备份和手动备份

7.1.4故障恢复与迁移

故障恢复与迁移要求如下： a）任意节点发生故障后，系统应提供将修复后的节点接回系统的能力； b）故障恢复与迁移过程不应影响系统用户数据的完整性与一致性； c）故障恢复与迁移过程不应影响系统整体服务能力。

大数据系统应兼容不同品牌的操作系统

用户管理要求如下： a）应对登录用户进行身份标识和鉴别，保证用户身份标识唯一性； b）用户身份鉴别信息应满足一定的复杂度要求，并定期更换； c）应提供登录失败处理措施，如结束会话、限制非法登录次数、登录连接超时自动退出等措施

权限管理要求如下： a）应以系统组件为单位配置角色和用户； b）应按照权限最小化的原则为用户配置权限； c）应支持按照数据表级、数据列级的粒度为用户分配权限； d）应支持按照不同操作类型（如增、删、改、查，执行等）为用户分配权限

日志管理要求如下： a）应提供记录系统操作日志功能，记录用户的重要操作； b）应保证系统操作日志无法删除、修改或被覆盖； c）操作日志应包括日期、时间、操作者信息、操作类型、操作描述和操作结果等； d）应提供对系统操作日志进行统计、查询、分析及生成报表的功能。

浙G30 烧结多孔砖房屋结构构造GB/T38673—2020

a）应提供数据存储加解密功能，支持数据库级数据加密； b）应提供系统敏感数据加密传输功能，并且加密密钥可被替换； c）宜支持数据列级的数据加密。

系统可扩展性要求如下： a）应提供集群在线扩容和减容功能； b）应提供集群离线扩容和减容功能。

系统可维护性要求如下： a）应提供安装部署管理功能，对大数据集群中管理节点和数据节点软件进行安装部署； 6） 应提供查看系统版本信息的功能； 应提供系统在线升级功能，支持单组件升级、升级过程中回滚等； d）应提供错误诊断功能，发生错误时可提供准确的诊断信息以便于定位错误； e） 应提供各类计算任务运行进度、状态的实时跟踪及上报功能； f）宜提供系统降级功能，支持单组件降级、降级过程中回退等。

系统可维护性要求如下： a 应提供安装部署管理功能，对大数据集群中管理节点和数据节点软件进行安装部署； 6） 应提供查看系统版本信息的功能； 应提供系统在线升级功能，支持单组件升级、升级过程中回滚等； 应提供错误诊断功能，发生错误时可提供准确的诊断信息以便于定位错误； 应提供各类计算任务运行进度、状态的实时跟踪及上报功能； f）宜提供系统降级功能，支持单组件降级、降级过程中回退等。

系统易用性要求如下： a）应提供图形界面的系统安装配置工具SL 650-2014标准下载，以便于系统部署； b）应提供完整的产品文档，包括但不限于安装部署手册、管理员使用手册、应用开发指南、用户操 作手册等。