GB∕T 38673-2020标准规范下载简介

GB∕T 38673-2020 信息技术大数据系统基本要求.pdf简介：

GB/T 38673-2020是中国国家标准《信息技术 大数据系统基本要求》的最新版本。该标准于2020年发布，主要针对大数据系统的设计、开发、实施和管理提供了一套全面的通用性要求，目的是为了规范和提升大数据系统的建设与运营，确保大数据技术在各行各业中的有效应用。

以下是该标准的一些关键要点：

1. 系统架构：标准定义了大数据系统的基本架构，包括数据采集、数据存储、数据处理、数据分析和数据应用等环节，强调了大数据系统的组件和功能的完整性。

2. 数据管理：标准要求大数据系统应具备良好的数据质量控制机制，包括数据清洗、数据集成、数据标准化等，以保证数据的准确性和可用性。

3. 安全与隐私：标准涵盖了大数据系统的信息安全、隐私保护和合规性要求，确保数据的保密性和完整性。

4. 系统性能：标准关注大数据系统的性能指标，如处理能力、响应时间、扩展性等，以满足大数据处理的实时性和效率需求。

5. 管理与运维：标准规定了大数据系统的运维管理要求，包括监控、故障处理、性能优化等，以确保系统的稳定运行。

6. 服务与应用：标准要求大数据系统能够提供高质量的服务，并支持各种应用场景的开发，如预测分析、决策支持等。

总的来说，GB/T 38673-2020是为了促进大数据技术的健康发展，为企业和组织提供了一个通用的大数据系统建设指南。

GB∕T 38673-2020 信息技术大数据系统基本要求.pdf部分内容预览：

信息技术大数据 大数据系统基本要求

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T352952017信息技术大数据术语 GB/T35589一2017信息技术大数据技术参考模型

西南 04J412 阳台、外廊、楼梯栏杆下列缩略语适用于本文件。

列缩略语适用于本文件。

GB/T 386732020

GB/T35589一2017定义了大数据参考架构，如图1所示。大数据参考模型是一个通用的大数 概念模型，它表示了通用的、与技术无关的大数据系统的逻辑功能构件及构件之间的互操作接口 开发各种具体类型大数据应用系统架构的通用技术参考框架。

本标准参考大数据参考架构逻辑功能构件划分，将大数据系统划分为数据收集、数据预处理、数 、数据处理、数据分析、数据访问、数据可视化、资源管理、系统管理9个模块。大数据系统框架 所示。

数据收集模块要求如下： a）应提供数据导人功能，支持结构化数据、非结构化数据和半结构化数据导人； b）应支持离线数据导人和实时数据导； C 应支持全量数据导人和增量数据导人； d）应提供自动定时导人数据功能； e 宜提供开放的数据导人API； f) 宜提供图形界面实现数据导入功能

数据预处理模块要求如下： a）应提供数据抽取功能，支持对结构化数据、非结构化数据和半结构化数据进行抽取 b）应提供数据清洗功能，支持对不一致数据、无效数据、缺失数据和重复数据的处理； c）应提供结构化数据的列转换、行转换和表转换功能； d) 应提供数据加载功能，支持将经过清洗和转换的数据加载到数据分析模块； e）宜提供清洗前后的数据比对功能； f 宜支持非结构化数据的数据转换功能。

数据存储模块要求如下： a）应提供数据存储功能，支持结构化数据、非结构化数据和半结构化数据存储。 b）应提供与关系型数据库、其他文件系统之间交换数据或文件的功能。 c）支持分布式文件存储，实现以下功能：

1）应支持文件系统基本操作，包括上传、下载、读写、复制、移动、删除、重命名、权限修改 2） 应提供数据块多副本存储、恢复功能； 3） 宜支持文件快速检索功能，支持数据资源的统一检索、编目、增加和删除操作； 4） 宜支持数据压缩存储功能。 d）支持分布式列式数据存储，实现以下功能： 1）应支持以键值形式存储数据的功能； 2）宜支持基于表、列族和列的用户权限管理功能，权限管理操作包括读、写、创建等。 e 支持分布式结构化数据存储，实现以下功能： 1）宜支持结构化数据的分布式存储，保证数据存储的可扩展性和一致性； 2）： 宜提供API实现数据的各类查询操作； 3） 宜支持多表关联。 f）支持分布式图数据存储，实现以下功能： 1）宜支持由节点及边组成的数据模型； 2）宜支持图查询，支持单节点、多节点多层关系的扩线查询； 3）宜支持图遍历，支持最短路径、最优路径遍历查询； 4）宜支持图分析

g）宜支持以有向无环图形式描述作业内多任务的依赖关系。 h）宜提供对复杂任务的调度能力

可视化模块要求如下： a）应支持使用常规图表展示数据，如表格、柱状图、饼图、折线图、热力图等； b）宜支持第三方数据可视化工具的API

数据访问模块应支持相应的 序使用大数据系统的数

方问模块应支持相应的访问接口，以便于第三方应用程序使用大数据系统的数据。

资源管理模块要求如下： a）应提供CPU、内存等资源的调度和配置功能； b） 应提供对全局资源的集中管理功能； 应支持静态资源分配策略和动态资源分配策略； d 应支持资源的弹性与抢占，即有空闲资源时，租户可使用超过其配置上限的资源，系统繁忙时 若租户使用的资源未达到其原始配置，则可抢占其他租户使用资源的超出部分； e 宜提供设置任务优先级的功能，并按任务优先级对资源进行调度； 宜支持多层次的队列资源管理，队列资源实现隔离，即不为队列分配超过其资源上限的资源； g) 宜提供根据作业需求动态分配计算资源，自动管理回收资源功能。

系统管理模块要求如下： 应提供配置管理功能，包括对大数据集群软硬件资源的配置管理，支持配置管理的分角色、分 组管理及自动化； 6 应提供租户管理功能，包括租户的角色、权限、资源等功能； ） 应提供监控告警管理功能，包括多维度、可视化的大数据系统的监控、告警等； d 应提供服务管理功能，包括对大数据系统组件服务的管理； 宜提供健康检查管理功能，支持以图形界面方式实现集群健康检查，

系统管理模块要求如下： 应提供配置管理功能，包括对大数据集群软硬件资源的配置管理，支持配置管理的分角色、分 组管理及自动化； b） 应提供租户管理功能，包括租户的角色、权限、资源等功能； c） 应提供监控告警管理功能，包括多维度、可视化的大数据系统的监控、告警等； d） 应提供服务管理功能，包括对大数据系统组件服务的管理； e）宜提供健康检查管理功能，支持以图形界面方式实现集群健康检查

高可用要求如下： a) 应提供系统自动故障探测及管理功能； b) 应确保系统组件不存在单点故障风险； 集群任意节点发生故障时，不应出现服务中断、数据丢失或数据不一致的情况； 集群任意单元发生故障时，系统操作应不受影响； e）应保证系统长期无故障不间断运行。

高可用要求如下： a）应提供系统自动故障探测及管理功能； b）应确保系统组件不存在单点故障风险； c）集群任意节点发生故障时，不应出现服务中断、数据丢失或数据不一致的情况； d）集群任意单元发生故障时，系统操作应不受影响； e）应保证系统长期无故障不间断运行

7.1.2数据穴余存储与分布

数据完余存储与分布要求如下：

GB/T386732020

a）应提供元数据 b）应提供基于分区 理分布的能力

7.1.3数据备份和恢复

数据备份和恢复要求如下： a）应提供分布式文件存储备份和恢复功能； b) 应提供分布式结构化数据存储备份和恢复功能； 应提供分布式列式存储备份和恢复功能； d）宜支持数据全量备份和增量备份； e）宜支持数据自动备份和手动备份

7.1.4故障恢复与迁移

故障恢复与迁移要求如下： a）任意节点发生故障后，系统应提供将修复后的节点接回系统的能力； b）故障恢复与迁移过程不应影响系统用户数据的完整性与一致性； c）故障恢复与迁移过程不应影响系统整体服务能力。

大数据系统应兼容不同品牌的操作系统

用户管理要求如下： a）应对登录用户进行身份标识和鉴别，保证用户身份标识唯一性； b）用户身份鉴别信息应满足一定的复杂度要求，并定期更换； c）应提供登录失败处理措施，如结束会话、限制非法登录次数、登录连接超时自动退出等措施

权限管理要求如下： a）应以系统组件为单位配置角色和用户； b）应按照权限最小化的原则为用户配置权限； c）应支持按照数据表级、数据列级的粒度为用户分配权限； d）应支持按照不同操作类型（如增、删、改、查，执行等）为用户分配权限

日志管理要求如下： a）应提供记录系统操作日志功能，记录用户的重要操作； b）应保证系统操作日志无法删除、修改或被覆盖； c）操作日志应包括日期、时间、操作者信息、操作类型、操作描述和操作结果等； d）应提供对系统操作日志进行统计、查询、分析及生成报表的功能。

DB36／T 1339-2020 文化产业和旅游产业融合发展示范区评定规程.pdfGB/T38673—2020

a）应提供数据存储加解密功能，支持数据库级数据加密； b）应提供系统敏感数据加密传输功能，并且加密密钥可被替换； c）宜支持数据列级的数据加密。

系统可扩展性要求如下： a）应提供集群在线扩容和减容功能； b）应提供集群离线扩容和减容功能。

系统可维护性要求如下： a）应提供安装部署管理功能，对大数据集群中管理节点和数据节点软件进行安装部署； 6） 应提供查看系统版本信息的功能； 应提供系统在线升级功能，支持单组件升级、升级过程中回滚等； d）应提供错误诊断功能《道路车辆熔断器第4部分：插座式和螺栓式熔断器 GB/T31465.4-2015》，发生错误时可提供准确的诊断信息以便于定位错误； e） 应提供各类计算任务运行进度、状态的实时跟踪及上报功能； f）宜提供系统降级功能，支持单组件降级、降级过程中回退等。

系统可维护性要求如下： a 应提供安装部署管理功能，对大数据集群中管理节点和数据节点软件进行安装部署； 6） 应提供查看系统版本信息的功能； 应提供系统在线升级功能，支持单组件升级、升级过程中回滚等； 应提供错误诊断功能，发生错误时可提供准确的诊断信息以便于定位错误； 应提供各类计算任务运行进度、状态的实时跟踪及上报功能； f）宜提供系统降级功能，支持单组件降级、降级过程中回退等。

系统易用性要求如下： a）应提供图形界面的系统安装配置工具，以便于系统部署； b）应提供完整的产品文档，包括但不限于安装部署手册、管理员使用手册、应用开发指南、用户操 作手册等。