标准规范下载简介
DBJT45T 025-2021 综合交通运输政务数据资源共享交换技术指南.pdf简介:
"DBJT45T 025-2021 综合交通运输政务数据资源共享交换技术指南.pdf" 是一份关于综合交通运输领域的政务数据资源共享交换的技术标准或指南。该文件可能由中国交通运输行业相关机构发布,其目的是为了规范和指导交通运输系统的政务数据在不同部门、机构间进行有效共享和交换,以提高数据利用效率,优化服务,提升行业管理效能。它可能包含了数据采集、存储、处理、安全策略、接口标准、数据交换流程等相关技术细节和规范要求。由于没有具体的文件内容,我无法为您提供更详细的介绍,但可以肯定的是,这是一份重要的技术文件,对推动交通运输政务信息化建设有重要意义。
DBJT45T 025-2021 综合交通运输政务数据资源共享交换技术指南.pdf部分内容预览:
DBJT45/T 0252021
DBJT45/T 0252021
3.4 综合交通运输intergratedtransport 由公路、水路、铁路和航空等运输方式组成的高效运行和协作互补的交通运输体系。 3.5 政务信息资源governmentinformationresource 由政务部门或者为政务部门采集、加工、使用、处理的信息资源。包括:政务部门依法采集的信息 资源;政务部门在履行职能过程中产生和生成的信息资源;政务部门投资建设和外购服务获取的信息资 源;政务部门依法授权管理的信息资源,
综合交通运输政务信息资源目录directoryofintergratedtransportgovernmentinformation resources 通过对综合交通运输政务信息资源的元数据描述,按照一定的分类方法进行排序和编码的一组信息 用以描述各个信息资源的特征,以便于对信息资源的检索、定位与获取, 3.7 信息共享informationshare 跨领域、跨部门、跨层级的政务信息资源复用过程。 3.8 政务信息交换 governmentinformationexchange 政务部门间通过政务信息资源交换体系技术支撑环境实现政务信息资源在线传送的过程 3.9 数据治理datagovernance 数据资源及其应用过程中相关管控活动、绩效和风险管理的集合。 3.10 数据管理datamanagement 数据资源获取、控制、价值提升等活动的集合。 3.11 数据生命周期 datalife cycle 断据采焦,佳授、存储、外理、共意和销毁等冬种存在形太漏变的过
综合交通运输政务信息资源目录directoryofintergratedtransportgovernmentinf resources 通过对综合交通运输政务信息资源的元数据描述,按照一定的分类方法进行排序和编码的 用以描述各个信息资源的特征DL/T 5161.7-2018标准下载,以便于对信息资源的检索、定位与获取, 3.7 信息共享informationshare 跨领域、跨部门、跨层级的政务信息资源复用过程。 3.8 政务信息交换 governmentinformationexchange 政务部门间通过政务信息资源交换体系技术支撑环境实现政务信息资源在线传送的过程, 3.9 数据治理datagovernance 数据资源及其应用过程中相关管控活动、绩效和风险管理的集合。 3.10 数据管理datamanagement 数据资源获取、控制、价值提升等活动的集合。 3.11 数据生命周期dataIifecycle 数据采集、传授、存储、处理、共享和销毁等各种存在形态演变的过程。
4.1以打造广西交通运输行业政务数据共享交换体系为目标,本文件覆盖数据框架、共享交换准备、 共享交换等相关内容。 4.2本文件涉及的技术架构宜符合GB/T30850.1、GB/T30850.4、GB/T30850.5、GB/T21062.2、GB/T 37378、交办科技(2017)123号、交办科技(2017)124号的规定。 4.3本文件涉及交通运输信息资源共享交换的要求,参照交科技发(2017)58号、桂数发(2020】11 号、厅发(2019)141号。
5交通运输全域政务数据框架
DBJT45/T0252021
按照交通运输政务信息资源涉及的行业领域及其运输方式进行划分的行业分类类目表见交科 2017)123号中5.1.1节。
按照交通运输行业管理涉及的业务对信息资源进行划分的业务分类类目表见交科技发(2017 中5.1.2节。
5. 1. 3主题分类
按照交通运输行业管理业务行为的主题进行划分的主题分类类目表见交科技发(2017)123号中 5.1.4节。
5.1.4管理对象分类
按照管理对象进行划分的管理对象分类类目表见交科技发(2017)123号中5.1.3节
5.1.5数据形态划分
5. 2. 1 全域
依据数据分类方法,从不同维度划 息资源主题域,构建综合交通运输政务信 息资源的分布框架,可以综合交通运输行 对象的数据实体为基础,抽象管理对象相互之间的逻辑 关系,进而完成对象、行为到具体细分行业和政务业务的映射。如图1所示。
DBJT45/T 0252021
5.2. 2 数据管理框架
图1综合交通运输政务信息资源全域架构
交通运输政务数据管理覆盖共享交换准备、共享交换、数据应用等环节,同时包括信息资源全生命 周期的数据治理和数据安全。其中,本文件不对数据应用、数据治理做规范化要求。如图2所示。
图2交通运输政务信息资源管理架构
DBJT45/T0252021
包括: 结构化数据源。应具备不同的数据库连接技术,包括ODBC、JDBC、JNDI、DAO、OLEDB、ADC 等; b 半结构化数据源。应支持Restful、WebService、Socket等协议接口的连接;对于csv、xml、 html等数据文件的连接同第c)点: C非结构化数据源。应支持FTP、SFTP、SCP等文件传输协议,以实现非结构化数据源的连接。
6.1.2离线数据采集
离线数据采集包括: a 结构化数据采集。应适配常见的关系数据库,应支持常见数据库之间的数据类型转换: 半结构化数据采集。应支持Rest、SOAP、Socket等多类接口数据的对接采集,可利用ESB等 中间件实现统一管理、采集、转发。对于csV、xml、html等数据文件的采集同c)的要求; C 非结构化数据采集。应支持FTP、SFTP、SCP等文件采集方式,应具备断点续传、文件校核等 功能,可增加带宽控制、重传等功能。
6.1.3实时数据采集
对于不同类型的实时数据,应采用不同的采集方式,具体如下: a)对于事务型实时数据(如政务办事)采集,应通过接口方式采集; b 对于实时流数据(如GPS定位轨迹数据流),应采用消息队列采集,满足写和读权限区分的 管理要求,同时满足“一份缓存,多方消费”的要求。消息队列宜采用集群和负载均衡方式 部署。视频流数据应采用专业、主流的缓存与实时分发技术,
6.2.1变化数据捕捉
对于不同类型的数据,可采用不同的变化数据捕捉方式,具体如下: 数据库数据。可采用以下方式捕提变化数据: 1) 数据库日志方式。可通过分析数据库日志,发现变化数据(增删改); 2) 数据库触发器方式。可在源数据库设置数据变化(增删改)触发器,当变化发生时,主 动提取变化数据: 3) 变化标识字段方式。在数据表中设置可识别数据增量的字段,通过该字段取值变化捕捉 变化数据,但通常仅用于增量数据捕提: 4) 全量对比方式。将数据从源数据库全量加载,再与上一采集周期的数据进行全量对比, 进而甄别筛选变化数据。 b) 接口数据。若接口具备主动推送变化数据功能,则使用其功能;若接口不具备主动推送变化 数据功能,则可采用接口轮询比对方式: c)文件数据。可通过扫描存储系统,以文件名、修改时间、创建时间等属性为标识,以发现变 化数据。
DBJT45/T 0252021
6. 2. 2 类型转换
不同类型的数据应支持不同的类型转换方式,具体如下: a)对于数据库数据,应支持不同数据库之间的数据类型转换; b)对于接口数据,宜支持转换为数据库类型数据,宜支持不同接口协议的转换兼容。
6.2.3数据合成转换
6.2.3.1对于数据库数据,可采用数值加减乘除、列去重、字段拆分、字段合并、数值排序、字符串 筛选过滤、数据表关联等技术手段完成数据合成和转换,以满足业务使用需求。 6.2.3.2对于接口和文件数据,应考虑合成转换的可行性。对于可转换为数据库数据的接口、文件 应在转换后按数据库数据的处理技术进行合成转换。
6.2.4文件数据压缩
针对所有类型数据,宜适当采用压缩技术,减少数据存储消耗。可采用RAR、ZIP、GZIP、TAR等多 类压缩方式。
6.3.1结构化数据存储
结构化数据存储的方式如下: a)对于使用频率高、活跌性高、访问时效要求高的偏热数据,应采用关系数据库存储管理,宜 合理采用索引、分库分表等技术提高访问查询效率; b 对于使用频率低、活跃性低、访问时效要求低的偏冷数据,可将结构化数据输出为固定格式 文件(如CSV、XML等)存储,同时宜进行合理压缩处理
6.3.2半结构化数据存储
方式如下: a)对于使用频率高、访问时效要求高的偏热数据,可转化为结构化数据,存储于关系数据库中: b)对于使用频率低、访问时效要求低的偏冷数据,宜采用离线数据的存储技术。
6.3.3非结构化数据存储
非结构化数据的存储,根据数据类型、尺寸、访问要求,可采用以下3种方式存储: a)操作系统文件存储、HDFS、FastDFS、TFS等; b)主流的NoSQL数据库; c)可转换为二进制流存于关系型数据库的字段数据。
6.3.4信息资源共享库
6.3.4.1在信息资源存储的基础上,应在逻辑上构建共享库,容纳结构化、半结构化、非结 信息资源,包括基础库、业务库、感知库和主题库。各库的层次关系如图3所示。
DBJT45/T0252021
DB35/ 323-2018标准下载图3综合交通运输信息资源共享库架构
6.4. 1数据源监控
对数据源的监控,主要为监控其可连接性,可通过周期性连接测试的方式实现监控。应记录连接测 试的数据源编号、开始时间、结束时间、连接结果、连接状态、连接返回结果等信息。
6.4.2数据采集监控
宣采用统一调度技术,管理数据采集任务,进行集中监控。监控指标应包括采集任务编号、采集类 型、任务起始时间、任务结束时间、任务调度周期、任务依赖关系、任务状态、任务运行结果、任务日 志、错误提示与记录等信息。
6.4. 3数据处理监控
宜采用统一调度技术JG∕T 496-2016 铝合金门窗型材粉末静电喷涂涂层技术条件,管理数据处理任务并监控。监控指标包括处理任务编号、处理类型、任务起 始时间、任务结束时间、任务调度周期、任务依赖关系、任务状态、任务运行结果、错误反馈与日志等 信息。
DBJT45/T 0252021
DBJT45/T 0252021