标准规范下载简介

GY／T 339.1-2020 有线电视网络大数据技术规范 第1部分：通用要求.pdf简介：

"GY/T 339.1-2020 有线电视网络大数据技术规范 第1部分：通用要求.pdf" 是一份由中国广播电视行业标准制定机构发布的技术规范。这份规范主要针对有线电视网络的大数据技术，它规定了在有线电视网络中收集、处理、分析和应用大数据的通用要求。它涵盖了数据的采集设备、数据处理流程、数据安全、数据质量管理、以及如何利用大数据来提升网络服务效率、优化网络运营、提供个性化的用户体验等方面。该规范的目的是为了推动有线电视网络向更智能、更高效的方向发展，适应数字化时代的需要。

GY／T 339.1-2020 有线电视网络大数据技术规范 第1部分：通用要求.pdf部分内容预览：

GB/T35295一2017界定的以及下列术语和定义适用于本文件

大数据bigdata 具有体量巨大、来源多样、生成极快、多变等特征并且难以用传统数据体系结构有效处理的包含大 量数据集的数据。 [来源：GB/T35295—2017，定义2.1.1]

大数据参考体系结构bigdatareterencearchitecture 一种用作工具以便于对大数据内在的要求、设计结构和运行进行开放性探讨的高层概念！ [来源：GB/T35295—2017DB41∕T 690-2011 建设工程施工工地消防安全管理规范，定义2.1.3]

数据中心datacenter 由计算机场站（机房）、机房基础设施、信息系统硬件（物理和虚拟资源）、信息系统软件利 源（数据）等组成的实体。

大数据平台bigdataplatform 以大数据参考体系结构为功能基础的数据中心系统，在本文件中，指集成了大数据采集接入、存储、 处理、分析、共享，以及各类配套功能组件及基础设施的数据处理系统。 3.5 大数据系统bigdatasystem 以大数据参考体系结构为基础的数据处理系统，在本文件中，指由大数据平台、数据源、数据采集 终端、网关以及相关辅助功能组件构成的数据处理系统。 [来源：GB/T35295—2017，定义2.1.14] 3.6 数据采集终端datacollectionterminal 种部署在数据源实现数据规范收集汇总的软件组件或实体设备。 3.7 OAuth2The OAuth 2.0Authorization Framework 通过该框架，允许第三方应用程序通过IETFRFC6749规定的方法获取HTTP服务或行为的有限制的 访问权限。 注：OAuth2是由IETFRFC6749描述的“0Auth2.0授权框架”的简称。

GY/T339.1—2020本文件将大数据系统的结构用图1的形式进行建模，系统中包括数据采集接入、数据处理、数据应用等部分。本文件为大数据系统的通用要求部分，规定数据源、数据采集接入、数据处理、数据开放服务、数据服务安全及个人信息隐私保护的基本要求，以及数据采集终端与平台、平台与应用系统之间的交互和接口。数据采集终端均通过网关与平台进行数据交换。对于不同的应用场景，网关可表现为不同的形式，种为集成在数据采集终端内部的组件，一种为独立于数据采集终端和大数据平台的实体设备，也可能是集成在大数据平台内部的一个组件。为了便于定义大数据业务流程，本文件不区分网关的具体实现形式和位置，仅将其当成一个实现格式规范化转换和执行通信功能的功能实体。大数据系统各单元之间有依赖关系，例如数据采集终端执行数据采集流程并上传数据到网关，网关接收数据采集终端的数据并封装成规范格式后上传到大数据平台，大数据平台接受终端和网关的认证注册，向终端和网关下发操作指令，同时为各类大数据应用提供开放的数据服务。数据源大数据平台数据应用BSS数据精准营销OSS数据数据数据数据数据精细服务采集存储处理分析展示开放MSS数据网关精确管理接入计算/存储/网络资源池服务业务平台数据精益网运其他数据基础配套系统管理安全运维数据共享图1大数据系统6数据采集接入要求6.1概述数据采集接入指大数据平台将外部数据纳入大数据平台内部的过程。6. 2：基本要求要求如下：a)应具备定时采集接入数据的功能；b)应具备定量采集接入数据的功能；c)宜提供图形化的数据采集接入配置或管理界面；d)应具备采集接入结构化数据的功能；e)应具备采集接入半结构化数据的功能：f)应具备采集接入非结构化数据的功能；g)应具备采集接入实时在线数据的功能；h)应具备采集接入离线数据的功能；i)应具备主动采集接入和被动接收数据的功能；宜采取措施维持数据源与接入服务器时钟的同步。6.3采集接入内容要求如下：a）应具备采集接入GY/T339.3一2020规定的各类基础数据的功能；3

D）应具备采集接入GD/I074一2018规定的收视评价基础数据的功能。

要求如下： a）应支持采集接入按GY/T339.3一2020规定格式表达的数据； b）应支持采集接入按GD/J075一2018规定的格式表达的符合GD/J074一2018规定的数据。

要求如下： a）应支持采集接入按GY/T339.3一2020规定格式表达的数据； b）应支持采集接入按GD/J075—2018规定的格式表达的符合GD/J074一2018规定的数据。

a）采集接入实时数据时，应具备实时传输、接入全网实时数据的能力，实时数据应在不超过3 内从数据源到达大数据平台的数据存储系统； 采集接入BSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力； 采集接入OSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力； 采集接入MSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力； e）采集接入其他离线数据时，应具备1h内完成该类数据当日增量的传输、接入的能力

a）采集接入实时数据时，应具备实时传输、接入全网实时数据的能力，实时数据应在不超 内从数据源到达大数据平台的数据存储系统； 采集接入BSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力； 采集接入OSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力； d 采集接入MSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力； e）采集接入其他离线数据时，应具备1h内完成该类数据当日增量的传输、接入的能力

要求如下： a）数据源或数据采集终端与大数据平台间的交互应通过网关进行；

大数据平台接入数据后，应具备数据处理功能，要求如下： a 应具备数据预处理功能，可对存放在文件系统和数据库中的数据进行抽取、清洗、转换等操作 后加载到数据分析等处理模块； b) 应具备存储处理后的数据的功能，可为其他处理模块提供上传、下载、查看、删除、权限管理 等操作，并通过余备份等机制提供安全的数据存储； C 应具备计算资源配置、调度和回收管理功能，支持水平扩展计算框架、调度任务和管理任务优 先级； 应具备数据分析功能，支持非结构化数据、实时数据、结构化数据的分析，可提供SQL分析、 跨数据源关联分析、机器学习等数据分析功能，并提供对大数据平台外开放分析服务的API； 应具备接入、处理符合GY/T339.3一2020规定的数据的能力： 数据处理环节的功能、性能、数据访问、系统和数据管理、基础配套、安全可靠性和运行维护 等应满足GY/T339.2一2020的要求，

要求如下： a）应具备对外提供数据服务的功能，如提供数据交换、共享、发布等功能； b）宜具备对外开放数据存储、分析、展示功能：

GY/T 339.12020

c）应具备管理数据服务用户注册、授权、计费功能，可监看和审计用户的行为； d）应提供开放的数据服务接口，如提供用户注册API、服务应用API，宜提供二次开发接口，允 许用户自定义业务； 应能提供至少1年内的BSS、OSS、MSS数据； f）其他功能应满足GY/T339.2一2020的要求。

要求如下： a）宜具备开放数据终端接入的原始数据的功能： b）应具备开放GY/T339.3一2020定义的数据集的功能； c）应具备开放处理或分析数据结果的功能 d）宜具备开放数据存储、处理和分析能力的功能

开放的数据集，收视数据应按GD/J075一2018规定的格式表达，其他数据格式应符合GY/T 2020的规定。

大数据平台对外提供数据开放服务时，性能要求如下： a）应用系统向大数据平台发送的注册或认证消息，大数据平台的平均响应时间应小于1s： b）应用系统向大数据平台请求数据交换的响应时间、交换的数据包大小、共享的数据容量 据源访问响应时间、并发用户数等性能应满足GY/T339.2一2020的要求。

据平台对外提供数据开放服务时，性能要求如下： 应用系统向大数据平台发送的注册或认证消息，大数据平台的平均响应时间应小于1s； 应用系统向大数据平台请求数据交换的响应时间、交换的数据包大小、共享的数据容量、多数 据源访问响应时间、并发用户数等性能应满足GY/T339.2一2020的要求。

平台与应用系统之间的交互宜符合附录B的要求

在开展数据服务的过程中，应采取措施确保大数据系统的数据采集、传输、存储、处理、数据开放 的安全。

要求如下： a）应确保数据采集的合法性和正当性； b 应按照GY/T339.3—2020规定的范围采集数据，按照GY/T339.3一2020的要求规范数据格式， 明确采集频度： C) 应通过对组件、终端、设备等采集终端进行必要的技术控制，如在部署前对采集终端进行采集 能力认证、计量等，确保数据的完整性、一致性和真实性； d) 应明确数据收集和获取过程中个人信息和重要数据的知悉范围和安全管控措施，确保采集数据 的合法性、完整性和真实性； e) 应采取脱敏、加密等技术或管理措施确保采集过程中涉及的个人信息和重要数据不被泄露；

CJJ 63-1995 聚乙烯燃气管道工程技术规程）应对数据采集行为进行权限管理

要求如下： a）应对敏感数据进行加密传输； b）宜对重要数据进行加密传输

要求如下： a）应建立数据采集终端/网关接入平台的身份识别与鉴别策略、权限分配策略和相关操作规程 建立访问控制时效管理机制； b）应具备数据接入的安全审计功能。

要求如下： a） 应采取余存储或多副本存储措施，确保数据的可用性： b) 应采取校验等检验和容错技术措施T∕CCMA 0081-2019 土方机械 排气烟度压路机测量方法，确保多副本数据存储的一致性； c）宜具备数据归档离线存储功能； d）应确保存储技术架构具备加密敏感数据、重要数据的能力。

数据处理发生在大数据平台内部，要求如下： a）应确保处理过程中发生数据迁移、变换时的真实性、完整性和一致性： b）应确保数据处理过程操作行为可审计，数据质量可溯源，重要数据受保护

要求如下： 应建立应用系统接入平台的身份识别与鉴别策略、权限分配策略和相关操作规程，建立访问控 制时效管理机制； b）应建立应用系统访问平台数据、服务的控制策略； C应具备数据交换、共享、发布的安全审计功能