标准规范下载简介

GBT 39400-2020 工业数据质量 通用技术规范.pdf简介：

GBT 39400-2020《工业数据质量 通用技术规范》是一部由中国工业和信息化部发布的国家标准。该标准主要关注于工业数据的质量管理，旨在为工业领域的数据采集、处理、存储和分析提供统一的规范和指导。它涵盖了数据的准确性、完整性、一致性、时效性、可靠性和安全性等方面，对数据质量的评估、监控、控制和改进流程进行了详细的规定。

该标准旨在提升工业数据的质量，保障数据的可信度，促进工业智能化、数字化转型，提高生产效率，降低运营成本，以及支持企业决策的科学性和有效性。通过遵循这个通用技术规范，企业可以更好地管理和优化其工业数据，推动数据驱动的业务创新和优化。

GBT 39400-2020 工业数据质量 通用技术规范.pdf部分内容预览：

本标准规定了工业数据质量持续改进的，以及工业数据质量的描述、识别、评价、控制和报告的 要求。 本标准适用于工业数据采集、传输、维护和使用过程中的质量管理。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T19001—2016质量管理体系要求 3 术语和定义 下列术语和定义适用于本文件。 3.1 数据质量dataquality 数据的一组固有特性满足要求的程度。 注：固有特性一般指永久性的特性。 3.2 数据质量管理dataqualitymanagement 指导和控制某机构数据质量的协调活动。 3.3 质量评价过程 qualityevaluationprocedure 用于应用和报告质量评价方法及结果的操作。 3.4 质量测量qualitymeasurement 对质量定量元素、子元素的评估。 3.5 质量结果qualityresult 数据质量测量得到的一个值或一组值，或将这些值同规定的一致性质量等级相比得到的评价结果。 3.6 质量范围qualityscope 报告质量信息的数据的覆盖范围或特征。 3.7 数据集dataset 可以标识的数据集合。 [GB/T 33674—2017,定义 3.1]

本标准规定了工业数据质量持续改进的，以及工业数据质量的描述、识别、评价、控制和报告的 要求 本标准适用于工业数据采集、传输、维护和使用过程中的质量管理

4工业数据质量持续改进

工业数据主要包括主数据、事务数据和产品数据。 工业数据质量特性包括完整性、一致性、准确性以及其他附加特性

工业数据质量管理应用戴明环（PDCA循环）持续改进方法，PDCA循环符合GB/T19001一2016 的规定，工业数据质量持续改进见图1，包括策划、实施、检查和处置4个阶段，其中： 策划（Plan）：明确质量目标和用户需求，规划数据质量描述要素《混凝土预制拼装塔机基础技术规程 JGJ/T 197-2010》，开展数据质量描述； 实施（Do）：识别数据质量要素，新建数据质量要素，开展数据质量识别； 检查（Check）：选择评价方法，确定评价流程和步骤，开展数据质量评价； 处置（Act）：确定控制规则.选择控制方法，开展数据质量控制

GB/T 39400—2020策划实施数据质量描述数据质量识别明确质量目标和用户需求识别数据质量要素规划数据质量描述要素新建数据质量要素数据质量控制数据质量评价确定控制规则选择评价方法选择控制方法确定评价流程和步骤处置检查图1工业数据质量持续改进5工业数据质量描述5.1描述要素源自数据集、用户需求的工业数据质量信息所反映的数据质量应满足用户的特定需求。质量目标表明数据质量应符合任务的特定目的。通过识别数据集、用户需求、质量目标中的质量元素来描述质量信息。质量描述可用于数据集系列、数据集或数据集内具有相同特征的部分数据。一个数据集的质量用以下两个要素来描述：数据质量定量元素；数据质量非定量元素。每个数据质量定量元素可细分为多个数据质量定量子元素。每个数据质量定量子元素用多个数据质量定量子元素描述项描述。通过数据质量定量元素、数据质量定量子元素及数据质量定量子元素描述项，描述数据集满足数据规范中预先设定标准的程度，并提供定量的质量信息。数据质量非定量元素提供非定量的质量信息，可用于评价数据集在非预期的特定应用中的质量。质量信息的可信性，记录在“数据质量报告”中。数据质量描述框架见图2。3

GB/T39400—2020描述质量信息报告质量信息定量质量信息可用数据质量定量元素可用数据质量定量子元素数据质量定量子元素描述项数据质量范围数据质量测量数据质量评价过程数据质量结果工业数据数据质量值类型数据质量值单位数据质量测量日期质量信息的可信度质量评价报告非定量质量信息可用数据质量非定量元素图2数据质量描述框架5.2定量元素5.2.1构成数据质量定量元素用来描述数据集的定量质量信息，用来表达符合数据规范的程度。个包括但不限于以下元素：完整性：特征、特征属性及特征关系存在或不存在：致性：数据结构（包括概念结构、逻辑结构、物理结构）、属性及其关系符合逻辑规则的程度；准确性：包括正确性、精确性和时序性；附加数据质量定量元素：用户可根据需求设置，以便描述无法用以上定量元素描述的定量的数据质量信息。5.2.2子元素数据质量定量子元素与数据质量定量元素相对应，用来描述数据集的定量质量信息。包括但不限于以下子元素：a）完整性的子元素：多余：数据集中有多余数据；一缺少：数据集中缺少应有数据；交叉：数据集中存在交叉重复数据。b)一致性的子元素：概念一致性：符合概念模式规则；一值域一致性：值在值域范围内；格式一致性：数据存储与数据集物理结构的一致性。c）准确性的子元素：正确性：数据反映和描述客观事物及其变化的准确程度；4

精确性：数值符合其实际值或规定值的程度 时序性：表达有序活动或序列活动相关数据时间顺序的正确性。 对任意数据质量定量元素，可新建附加数据质量定量子元素

5.2.3子元素描述项

GB/T39400—2020

对每个可用的数据质量定量子元素，应记录其质量信息。每个数据质量定量子元素的完全质量信 息，用下列7个数据质量描述项来描述： 数据质量范围； 数据质量测量； 数据质量评价过程； 数据质量结果； 数据质量值类型； 数据质量值单位； 数据质量测量日期

数据质量非定量元素用来描述数据集的非定量的质量信息。包括但不限于以下元素： 目的：描述数据集的创建原因和其预定的便用目的， 用途：描述使用过该数据集的应用。数据生产者或其他数据使用者用“用途”来描述数据集的 使用情况。 数据志：描述数据集的历史，即数据集的整个生命周期信息。数据志包含两部分：描述数据集 起源的源信息；描述数据集生命周期中的处理步骤和过程信息。数据溯源描述参见 GB/T349452017

6.1定量的数据质量信息

6.1.1识别可用的数据质量定量元素

对可用于数据集的所有数据质量定量元素加以识别，判断这些元素是否适用于某一特定类型的数 据集 注：数据质量定量元素可用性由数据规范来决定

6.1.2新建附加数据质量定量元素

方面，则应命名并定义新的 量定量元素。附加数据质量定量元素的命名和定义，应作为数据集质量信息的一部分。

6.1.3识别可用的数据质量定量子元素

对可用数据质量定量元素的所有数据质量定量子元素加以识别，判断这些元素的数据质量定量 素是否适用于某一特定类型的数据集。每个可用数据质量定量元素至少包含一个可用数据质量定 元素。 注：数据质量定量子元素可用性由数据规范来决定，

GB/T39400—2020

6.1.4新建附加数据质量定量子元素

方面，则应命名并定义新的 量定量子元素。附加数据质量定量子元素的命名和定义，应作为数据集质量信息的一部分。

6.1.5数据质量定量子元素描述项使用

6.1.5.1数据质量范围

对每个可用数据质量定量子元素，应识别至少一个数据质量范围。数据质量范围可以是数据集系 列、数据集或数据集内具有相同特征的部分数据。若数据质量范围无法识别，则默认为该数据集 注：数据质量范围的确定参照数据规范及数据质量非定量元素提供的非定量质量信息

6.1.5.2数据质量测量

每个数据质量范围有一个数据质量测量。数据质量测量应简要描述测量类型和测量边界。数据集 的质量应由多个测量来衡量 注：单一测量不能充分评价数据质量，也不能为数据集的所有应用提供单一测量

6.1.5.3数据质量评价过程

每个数据质量测量有一个数据质量评价过程。数据质量评价过程应描述数据质量范围内的数据 量方法，并包含该方法报告

6.1.5.4数据质量结果

将数据质量测量应用到数据质量范围所限定的数据后得到的值或值的集合。 将所得到的值或值的集合，用可接受的指定一致性质量等级，评价这些值或值的集合得到的结 果。该数据质量结果为“通过”或“不通过”。 这两种类型的数据质量结果都应被提供

6.1.5.5数据质量值类型

每个数据质量结果有一个数据质量值类型。

6.1.5.6数据质量值单位

每个数据质量结果有一个数据质量值单位（若存在

6.1.5.7数据质量测量日期

6.2非定量的数据质量信息

6.2.1识别可用的数据质量非定量元素

数据集目的应明确，用途应清晰，数据志应完整。 数据集的数据志应是可用的，或者报告数据志，或者报告缺少数据志的原因。 数据质量范围所限定的数据集内，当一部分数据的数据志与其他部分的数据志不同时，应提供其

据志，作为非定量的数据质量信息完整记录的一部分

6.2.2新建附加数据质量非定量元素

GB/T39400—2020

若本标准所列数据质量非定量元素未能充分描述非定量数据质量的某一方面，则应命名并定义新 的数据质量非定量元素。附加数据质量非定量元素的命名和定义，应作为数据集质量信息的一部分《后张法预应力混凝土空心板梁 JC/T2358-2016》，

7.1.1数据质量评价方法分类

数据质量评价方法分为： 直接评价方法：通过比较数据与内外部参考信息来确定数据质量； 间接评价方法：使用与数据相关的外部知识推断或估计数据质量。

7.1.2直接评价方法

直接评价方法可分为： 完全检查方法：测试数据质量范围内的所有数据项； 抽样检查方法：测试数据质量范围内的部分数据项，抽样方法、抽样率及抽样过程应在数据质量报 告中报告 注：使用抽样检查方法时，特别是在使用小样本或非随机抽样时，分析数据质量结果的可信度

7.1.3间接评价方法

数据质量评价过程是产生和报告数据质量结果的一系列步骤。评价与报告数据质量结果的过 图3GB／T 37697-2019 露天边坡变形监测技术规范，评价步骤见表1。