标准规范下载简介
DB23/T 3304-2022 大数据平台数据接入规范.pdf简介:
DB23/T 3304-2022 是中国大数据平台数据接入的标准规范,它详细规定了大数据平台在数据接入过程中的各项要求和操作流程。这个标准主要涵盖了以下几个方面:
1. 数据源管理:规范了数据源的识别、分类和管理,包括数据源的类型、格式、质量和安全要求。
2. 数据接入接口:规定了数据接入平台与不同数据源之间的接口设计,保证数据的无缝接入和兼容性。
3. 数据转换与清洗:强调了在数据接入过程中对原始数据进行预处理的标准化流程,包括数据格式转换、数据清洗和数据标准化。
4. 数据安全和隐私保护:强调了在数据接入过程中对数据安全和个人隐私的保护措施,如数据加密、访问控制等。
5. 数据质量控制:明确了数据接入后的数据质量指标和监控方法,确保接入数据的准确性、完整性和一致性。
6. 操作规范:给出了规范的数据接入操作步骤和流程,以确保数据接入的效率和效果。
总的来说,DB23/T 3304-2022 是为了推动中国大数据平台的标准化建设,提升数据接入的效率和质量,以及保障数据安全和隐私,是大数据行业的一项重要技术指导文件。
DB23/T 3304-2022 大数据平台数据接入规范.pdf部分内容预览:
关系数据库抽取通过大数据平台提供的Web界面进行操作,完成数据接入操作。关系数据库应用流 程见图A.1:
图A.1关系数据库应用流程图
附录B (资料性) 网关服务接入说明
通过人数循平合的内 通过服务编排进行接口的编排 生成新 调度发布。网关服务应用流程见图B.1
《养老设施建筑设计规范 GB50867-2013》图B.1网关服务应用流程图
应用流程描述如下: a 根据数据源提供的数据接口地址、请求方式、请求头配置、传输协议、请求参数信息在服务网 关进行数据接口的登记、熔断保护配置及测试验证; 针对登记的接口信息进行服务编排,定义接口的输入参数、输出参数、请求头等信息,并生成 新的接口地址; C 服务编排后的数据接口配置调度策略,包括调度时间、调度周期及频次等信息,然后进行发布,
附录C (资料性) 消息队列接入说明
数据。消息队列应用流程见图C.1:
图C.1消息队列应用流程
说明: 1一一大数据平台与管理信息系统应用方约定消息队列主题名称; 2一一大数据平台在大数据集群中创建相应的消息队列主题; 3一一管理信息系统开发程序调用大数据平台消息队列API,封装数据往消息队列主题中发送消 息。
消息队列API接口清单见表C.1
表C.1消息队列API接口清单
D.1文件接收FTP服务API接口
.1文件接收FTP服务AF
文件接收FTP服务API接口见表D.1
表D.1文件接收FTP服务API接
D.2文件接收FTP服务示例
业务系统在生成好文件后,通过调用大数据平台FTP文件接收服务。调用服务示例如下 示例:
E.1文件拉取FTP服务API接
.1文件拉取FTP服务AF
文件拉取FTP服务API接口清单见表E.1。
表E.1文件拉取FTP服务API接口清单
E.2文件拉取FTP服务示例
业务系统在生成好文件后,通过调用大数据平台FTP文件拉取服务。调用服务示例如下: 示例:
.1文件HTTP服务API接
JTGF80-2017标准下载文件HTTP服务API接口
文件HTTP服务API接口清单见表F.1。
表F.1文件HTTP服务API接口清单
2文件HTTP服务示例
业务系统在生成好文件后,通过调用大数据平台HTTP文件服务。调用服务示例如下 示例:
文件NFS服务API接口
文件NFS服务API接口清单见表G.1
表G.1文件NFS服务API接口清单
GB 51329-2018-T:城市环境规划标准(无水印,带书签)G.2文件NFS服务示例