标准规范下载简介

T／CECS20002-2020 城市供水信息系统基础信息加工处理技术指南.pdf简介：

"城市供水信息系统基础信息加工处理技术指南（T／CECS20002-2020）"是一份由中国建筑科学研究院发布的技术标准或指南。这份文档主要针对城市供水行业，提供关于信息系统中基础信息的加工处理技术详细规范和指导。它可能涵盖了数据采集、数据清洗、数据转换、数据分析、数据存储等方面的技术要求，以及信息安全、数据精度、数据时效性等相关内容。这份标准的目的是为了提升城市供水信息系统的效能，确保数据的准确性和可靠性，从而更好地服务于城市供水管理与运营。

T／CECS20002-2020 城市供水信息系统基础信息加工处理技术指南.pdf部分内容预览：

第一章总 第一节编制目的 第二节 适用范围· 第二章 基础信息加工处理基本流程 第三章 基础信息分类编码 第一节 基础信息分类 第二节 基础信息编码 第四章 基础信息加工处理 6 第一节 数据采集 6 第二节 数据清洗、转换及装载 第三节 数据存储与备份 (12） 第四节 数据分析与展示 （16） 第五章 基础信息数据质量保障 （20） 第一节 数据质量 (20) 第二节 数据安全 (22) 第六章 数据库系统维护与管理 （23) 第一节 维护内容 (23) 第二节 管理要求 （23） 参考资料 25

为有效使用城市供水信息系统中海量的基础信息数据，本 商对基础信息数据的分类、编码、采集、清洗、转换、装载、存储、 分、分析与展示等进行了规范，可指导供水信息系统的设计开发 第二节适用范围

适用于城市供水信息系统的建设与应用GB∕T 50349-2005建筑给水聚丙烯管道工程技术规范 免费下载，其他系统相关信息 加工处理参照执行。

适用于城市供水信息系统的建设与应用，其他系统相关信 口工处理参照执行。

第二章基础信息加工处理基本流程

为保证城市供水基础信息在同一系统内或不同系统间的交互 与加工处理，基础数据信息的编码应符合下列规定： （1）基础数据信息应按照现行行业标准《城镇供水管理信息系 统基础信息分类与编码规则》CJ/T541和《城镇供水管理 信息系统供水水质指标分类与编码》CJ/T474进行编码 （2）对于现行行业标准《城镇供水管理信息系统基础信息分 类与编码规则》CJ/T541中未涉及的基础数据信息，按照 CJ/T541的编码体系进行扩展编码，编码方法及原则参 照CJ/T541中第4章的相关规定。 （3）对于现行行业标准《城镇供水管理信息系统供水水质指 标分类与编码》CJ/T474中未涉及的水质基础数据信息， 按照CJ/T474的编码体系进行扩展编码，编码方法及原 则参照CJ/T474中第5章的相关规定

第二节数据清洗、转换及装载

一、数据清洗 利用预定义清洗规则或数理统计、数据挖掘等技术将城市供 水信息系统原始数据转化为满足质量要求的数据。 1.结构化数据 结构化数据清洗按照准确性、唯一性、有效性、完整性等原则 并行。水质数据、压力数据、流量数据、抄表数据、收费数据、管线 数据等结构化数据信息的编码是城市供水系统数据身份的唯一识 别。通过库表、缺失值和逻辑错误等清洗方式对不完整、错误、重

（2）缺失值清洗。在线自动监测等具有连续性、易缺失、数据 量大等特点的数据应进行缺失值填充等处理，以保障数据 的完整性。 根据字段缺失值比例和数据内容重要性确定四种类 型的清洗方法： 1）重要性高，缺失率低：通过数值运算、业务知识估计 等手段进行填充。 2）重要性高，缺失率高：通过其他信息系统或渠道取 数填充。 3）重要性低，缺失率低：不做处理或简单填充。 4）重要性低，缺失率高：删除该类数据，

缺失值填充方法主要包括以业务知识和经验估计填 充：以同一指标的计算结果（均值、中位数、众位数等）填 充；以不同指标的相关性计算结果填充。 （3）逻辑错误清洗。对结构化数据中不规范、不合理等逻辑错 误的数据信息主要采用下列规则进行清洗。 1)重复性数据。对重复提交、插入等原因造成的数据重复，应 对多余数据进行删除。 2）不合理数据。对超出数值合理范围、计量单位错误等原因 造成的不合理数据，应去除或对数据进行修正。 3）矛盾数据。对于明显不符合逻辑关系的数据，应按照相应 的逻辑或业务规则进行修正。 2.半结构化及非结构化数据 针对半结构化及非结构化数据以保证数据的合法性为主要清 洗目的，包括实验室检测报告、调度值班日志、客户服务工单、相关 政策法规制度文件等，对可能出现的数据重复、不完整、违反业务 规则等问题，将有问题的数据先剔除，根据实际情况调整相应的清 洗操作，有效清除无效数据，保证数据质量。数据清洗处理有多种 形式：格式检查、缺失记录检查、重复记录清除、数据源纠错（原数 据溯源）、记录交叉核对等。 3.多源混合数据 针对结构化数据、半结构或非结构化数据交叉存在，数据信息 具有很强的关联性，其中对于无法进行严格清晰分类的，可考虑通 过以原始格式存储数据的存储库或系统（数据湖）存放多源化数 据；使用大数据技术、技术等建立数据清洗，利用模 型实现数据清洗。 二、数据转换 1.结构化数据 数据源系统与目标系统中格式及粒度等不统一的数据信息： 应结合城市供水管理和分析应用的业务需求，建立相应的转换规

等JTG 6310-2022 收费公路联网收费技术标准，装载时应充分考虑模式集成、余、冲突值检测与消除等因素， 装载后数据应满足业务应用、备份容灾及数据共享等需求。 2.半结构化及非结构化数据 半结构化及非结构化数据可按照树形文件形式进行数据装 载，树形文件按照不同文件类型设计，对单个数据压缩装载，对多 个数据打包压缩，并对已装载数据建立索引

1.结构化数据 供水信息系统基础信息数据具有专业性强、管理要求高等特 点，应用关系型数据库软件进行存储时，宜根据数据属性和业务需 求对数据库表和数据分别进行分类设计和标识。存储时间应根据 数据重要性、数据量、存储容量及业务需求等因素确定，原则上不 低于6年。 （1）数据库表设计分类。设计数据库表时，应按照数据来源、 类别、数据特征及应用场景等进行分类，示例如下： 1）业务基础数据库表。包括城市供水管理基础信息、供水单 位（企业）基础信息、水厂基础信息、在建项目信息等。 2)设备基础数据库表。包括检测仪表、设备设施和安防监控 设施等。 3监测数据库表。包括通过人工录入、在线采集、跨系统抽取 和网络爬虫等方式获取的水位、流量、水量、水质等动态变化的数 据。 4）业务报表类数据库表。包括日报、周报、月报、季报、年报等 统计分析库表。 (2)数据分类标识。为便于数据的分析统计及数据异常的判 断，根据业务需求可对关键数据添加分类标识，标识符应具有唯

数据分析展示内容主要包括水质监测、生产经营及其他业务 （含专项）等基础信息数据。可采用大数据、GIS、、数字 李生、数字媒体、数据钻取等技术，对基础信息数据进行检索、查 询、统计、综合分析及可视化展示。 一、结构化数据分析 1.水质监测数据 水质监测数据主要包括实验室检测数据和在线自动监测数 据。水质监测数据分析主要包括检索查询、合格判定、汇总、趋势、 对比、均值、极值统计、相关性、预测、煊染等专项或综合分析。 （1）检索查询。对数据信息按照时间、地点、指标、类型、是否 超标等数据属性进行单一或组合统计分析。 （2）合格判定。对数据信息按照国家及行业等相关标准规范 进行符合性判定分析，并可以进行汇总分析。 （3）趋势分析。对数据信息按照选定的时间段进行季节性、周 期性等变化规律分析。 （4）对比分析。对两个或多个地点的同一指标值、合格率、超 标率、平均值等按照选定的时间段进行比较分析。

（2）数据列表/报表模式。可按照单位、类型、名称、时间、空间 等属性进行查询、排序展示等，并可根据业务需求设置超标报警条 件俄罗斯式别墅方案设计，通过突出显示等形式进行报警展示。 （3）数据曲线模式。可按照单位、类型、名称、时间、空间等属 性绘制专题分析曲线进行展示。 （4)数据卡片模式。可按照单位、类型、名称、时间、空间等属 性设置数据卡片进行展示，展示数据为实时数据时宜循环更新播 放。 2.半结构化及非结构化数据 半结构化数据宜转换为结构化数据进行展示，具体展示方式 参照“1结构化数据”。 非结构化数据可按内容属性、时间属性、空间属性、来源属性、 格式属性、使用属性建立文件树形索引进行分类展示。

人工录入、在线采集等基础信息数据质量应得到保障，建立数 据校准、审核机制，确保数据的完整性、准确性、一致性、规范性、安 全性。 一、结构化数据质量保障 1.人工录人数据 系统应设置数据审核流程，确保录入数据的真实可靠。 （1）初审。录人人员应首先对数据信息进行审核，并保留电子 版或纸质版原始记录信息，检查无误后将数据录入系统并对原始 记录信息进行存档。审核录入完毕后，数据进入下一级审核。 （2）终审。对初步提交系统的预审核数据进行审核，对存在疑 同数据进行标记并加批注写明原因，将存疑数据及相关佐证材料 发送给初审核人员协商认定，再次检查原始记录有关信息的准确 性，并由初审核人员负责更改数据并重新录入。最终审核人员对 重新录入数据进行再次审核，确保无误后将数据进行入库，系统自 动形成数据审核和处理过程的日志记录。 2.在线采集数据 系统应有水量、水压、水质等在线监测设备采集的数据进行校 准、审核的内容和流程，具备自动生成数据审核、处理过程日志记 录的功能。 （1）校准。在线监测设备应定期进行校准，以确保设备本身性 能的可靠性。 （2）系统初审。由系统自动完成初审，主要是对存疑数据及无 效数据进行判定，便于人工复核。当监测数据存在突变或连续不

变、数值为“0”值或负值、数值低于仪器检出限、数据相关性不符合 逻辑、监测设备的关键状态值不在合理范围等情况时，系统自动标 记为存疑数据。对设备维护测试及故障期间产生的数据等，系统 自动标记为无效数据。 （3）人工初审。系统应设置人员审核流程，对系统自动审核的 存疑数据和无效数据进行甄别和确认，要求已确认的存疑数据和 无效数据提交相关佐证材料及记录。 1）审核时限：至少含日审核和月审核。 2）审核内容：审核数据采集稳定性、数据规范性、质控符合性 逻辑合理性、数据可比性。查看系统过程日志，监测全过程是否运 行正常；查看质控过程及手段是否符合相关质控要求，质控数据是 否合格；查看项目数据之间逻辑关系是否合理；查看当前数据与历 史数据及最近一次已审核数据是否可比。 （4）人工终审。进行最终确认，必要时可组织专家进行讨论 判断数据是否有效，最终形成认定结果，并将数据进行入库。 1）审核时限：至少含日审核和月审核。 2）审核依据：终审时，应综合考虑：初审提交的存疑数据相关 佐证材料；存疑数据的监测全过程日志和影像资料；采样点现场及 周边状况、气象条件；同一位置近期的历史数据及变化趋势；相 区域监测数据；最近一次检测数据；质控数据结果等因素。 3.跨系统抽取数据。 跨系统抽取数据的质量保障方法参照“4.2数据清洗、转换及 装载”的清洗、转换规则和方法等。 二、半结构化及非结构化数据质量保障 保障半结构化及非结构化数据的准确性、可访问性等，可通过 建立数据文件分类规则、命名规则，实现存储数据快速检索；还可 通过与系统中结构化数据进行关联的方式，提高半结构化及非结 构化数据的人库质量。