标准规范下载简介
GY/T 366-2023 超高清晰度电视节目制作系统分布式存储技术要求和测量方法.pdf简介:
《GY/T 366-2023 高清晰度电视节目制作系统分布式存储技术要求和测量方法》是一份由中国广播电视行业协会发布的行业标准,主要针对超高清晰度电视节目(如4K、8K等)的制作过程中,分布式存储技术的应用提出了一系列的技术要求和测量方法。
1. 技术要求: - 数据一致性:对分布式存储系统中的数据一致性有严格规定,确保多节点间的数据同步和一致性,以防止数据丢失或错误。 - 性能指标:包括存储带宽、I/O性能、数据传输速度、存储容量等,要求能够满足高清节目大文件的高速读写需求。 - 可靠性:要求系统具有高可用性和故障恢复能力,保证在任何情况下都能提供不间断的存储服务。 - 安全性:包括数据加密、访问控制、备份与恢复等功能,保护节目内容的安全性。
2. 测量方法: - 性能测试:通过标准的I/O测试工具,对系统的读写速度、带宽等性能进行测试。 - 故障恢复测试:模拟实际运行环境中的故障情况,测试系统在故障发生后能否快速恢复,数据完整性如何。 - 安全性评估:通过渗透测试、数据加密测试等方式,验证系统的安全防护能力。 - 可靠性评估:通过长时间的运行测试,监控系统的可用性和稳定性。
总的来说,这份标准旨在规范和提升超高清晰度电视节目制作过程中的分布式存储技术应用,确保节目制作的高质量和高效能。
GY/T 366-2023 超高清晰度电视节目制作系统分布式存储技术要求和测量方法.pdf部分内容预览:
GY/T366 202
表1超高清晰度电视节目制作业务中主要的视音频压缩编码格式与码率
5.2.1用户权限管理
分布式存储系统应支持权限管理功能,实现数据访问的可控性。权限管理应能基于用户和用户组, 实现目录级访问权限控制。当用户接入分布式存储系统时,分布式存储系统对其进行认证和鉴权,应分 别支持多种认证鉴权方式: a)CIFS访问:支持分布式存储系统本地用户鉴权、AD域鉴权、LDAP鉴权; b)NFS访问:支持客户端IP地址或IP地址段鉴权、客户端主机名鉴权、LDAP鉴权、NIS鉴权; c)S3访问:支持AK/SK鉴权。
DB53/T 1112-2022标准下载5.2.2存储资源配额管理
分布式存储系统应支持用户配额和目录配额管理。能为特定的用户/用户组和目录设置配额,限 /用户组和目录最多可用的资源(包括存储空间以及文件数量),确保用户/用户组和目录的存储 不影响。
5.2.3业务QoS功能(可选)
分布式存储系统应支持基于文件目录级的带宽控制,减少不同文件目录间的相互影响,保障关 的性能。
5.2.4NFS、CIFS和S3协议互通访问(可选)
FS、CIFS和S3协议互通
5.2.5偏移读取功能
分布式存储系统应支持偏移读取功能。在超高清晰度电视节目制作业务中通常采用视音频混合 移读取是指针对视音频混合文件,分布式存储系统所具备的单独读取音频或视频的能力,分布式
5.2.6快速拼接功能
分布式存储系统应能支持快速拼接的功能。快速拼接是指在超高清晰度视频合成中,能将多个 务产生的分片文件通过元数据编辑的方式快速整合成为一个文件。10个文件分片拼接时间应不大
在最小配置环境下,节点冗余应满足N+1(N为节点总数量,1为冗余节点数量);节点足够的情况下, 节点冗余应满足N+2(N为节点总数量,2为冗余节点数量)或更多,在发生余节点数量的节点硬件故障 的情况下,系统应不丢失数据并能正常运行,
单节点配置应具有硬件冗余性,单节点发生两块硬盘故障,或单个风扇/电源单个故障的情况下,应 不会造成数据损坏或该节点岩机、服务中断等
5.3.3存储网络瓦余
存储网络内部应采用双交换机架构,在发生单台网络交换机故障的情况下,应不丢失数据并能正常 运行。
5.4超高清晰度电视节目业务性能要求
对于收录场景,为满足稳定收录超高清晰度视音频信号的业务需求,存储n路写带宽应达到V 超高清晰度视音频的路数,是一个正整数。Vnw的计算方法见公式(1)
式中: nw 稳定写性能达到超高清晰度视音频的路数,nw为正整数; Dw 一路超高清晰度视音频码率,单位为兆字节每秒(MB/s)
nw 稳定写性能达到超高清晰度视音频的路数,nw为正整数; D 一路超高清晰度视音频码率,单位为兆字节每秒(MB/s)
5.4.2编辑或播放场景
对于编辑或播放场景,为满足稳定编辑或播放超高清晰度视音频文件的业务需求,存储n路读带 到Vnr,n为超高清晰度视音频的路数,是一个正整数。Vnr的计算方法见公式(2)
....·............................................
式中: nr 稳定读性能达到超高清晰度视音频的路数,n.为正整数; 公 路超高清晰度视音频码率,单位为兆字节每秒(MB/s)
5.4.3端到端1/0平均响应时间
在超高清晰度视音频播放场景下,端到端I/0响应时间是客户端每一次读或写存储的服务时间, 1/0平均响应时间指多次端到端I/0响应时间的算术平均值,单位为毫秒(ms)。 超高清晰度视音频制作过程中,端到端I/0平均响应时间应不大于t。t的计算方法见公式(3)
式中: S一一客户端访问每次请求存储的块大小,单位为兆字节(MB); V一 一一一路超高清晰度视音频码率,单位为兆字节每秒(MB/s)。 示例:4K超高清晰度视音频码率v为62.5MB/s,每秒50帧,平均每帧图像数据量d为1.25MB,客户端每次读或写请 求存储的块大小s为1.25MB的情况下,根据公式(3)算出t=20ms。
5.4.4节目合成场景
对于节目合成场景,一路合成应提供最大p路超高清晰度视音频读操作,同时应满足一路超高清晰度 视音频写操作,在m倍速下,一路合成需要分布式存储系统提供的混合读写最大带宽为B,见公式(4)。
m 超高清晰度视音频合成速度的倍数(倍速); D 超高清晰度视音频读码率,单位为兆字节每秒(MB/s); Vw 超高清晰度视音频写码率,单位为兆字节每秒(MB/s)。 支持n路合成需要分布式存储系统提供读写带宽应为Bnm=n×Bm
5.4.5节目入库场景
节目入库业务应能支持最大为10TB的单个视音频大文件写入。在每路入库不低于m倍速情况下 的写带宽应为Vmw=m×Vw。支持n路m倍速入库需要分布式存储系统提供写带宽为Vnmw=n×
5.4.6节目备播场景
5.4.7超高清晰度非编SEEK场景
超高清晰度非编SEEK画面的编辑体验应达到平均20帧每秒。为满足n路超高清晰度视频非编SF 要求,存储随机读带宽应为Rn,m=n×20×d(MB/s),式中d为平均每帧图像数据量,单位为兆 MB)
5.4.8存储收录稳定性
分布式存储系统应具备大规模横向扩展能力,带宽和容量应随存储节点的扩充而得到系统扩展, 单 文件系统存储容量应能扩展至PB级以上
5.5.3访问日志功能
5.5.4系统状态监控及硬件管理
分布式存储系统的系统状态监控及硬件管理要求如下: a) 1 应准确、清晰记录错误信息与告警信息,并能提供相关信息记录的性能和容量的实时信息; b) 1 应能监控每个存储节点的读写带宽、IOPS、节点的CPU利用率与内存利用率等; C) 应能查看存储节点的名称、管理IP、存储IP、激活状态、机柜及其位置等信息; d) 2 应支持查看磁盘的名称、状态、槽位号、序列号、类型等; e) 应支持查看网络接口名称、状态、MAC地址、IP地址,
5.5.5数据重构功能
当磁盘或存储节点故障时,分布式存储系统应能自动进行数据重构,并根据业务目标,在重构 对业务不造成影响,数据重构资源可配置。重构效率为E,见公式(5)。
故障磁盘或节点容量,单位为兆字节(MB) 重构完成时间,单位为秒(s)
在N台测试客户端上安装好测试工具,通过接入前端网络访问存储节点。 典型测试网络拓扑见图2
GY/T366 2023
6.2.1性能测试工具说明
图2典型测试网络拓扑
针对不同的测试项目可以采用不同的测试工具,测试工具应具有相应的测试功能,符合相应测试技 术要求。性能测试工具应具有模拟视音频稳定流读写与带宽测量功能,可配置超高清晰度视音频多种码 率,可配置单线程最大读写带宽限制,可配置顺序读写、随机读写,以及读写块大小;输出数据应显示 带宽、IOPS、响应时间等。 具体测量视音频稳定流带宽采样间隔建议为1s,测试时长建议5min以上,统计计算平均带宽为稳定 流带宽(不小于超高清晰度视音频码率v,v=62.5MB/s),见公式(6)。计算带宽标准差不大于0.25v, 见公式(7)。
6.2.2测试方法说明
说明如下: a) 1 所测分布式存储系统按照最小分布式环境配置,一般情况下,分布式存储系统最小配置环境为 三个存储节点: b) 本章所有测试内容均按照最小配置环境进行测试; C) 1M 6.5.1~6.5.7所有测试内容可通过在最小环境下增加节点,测试出增加节点后,容量和带宽增 加的关联关系,根据具体业务进行分布式存储系统节点数量的实际配置。
DBJT45T 027-2021 船闸工程BIM设计建模与交付应用指南.pdf6.3.1用户权限管理
测试步骤如下: a M不 在分布式存储系统管理界面创建用户user01,创建目录dir01,配置用户user01对dir01具有创 建、修改、删除、读取子目录和文件的权限; b) 1 测试客户端以用户user01使用CIFS协议挂载dir01目录,进行创建、修改、删除、读取子目录和 文件操作,检查用户是否具有相应权限; C) 1 在分布式存储系统管理界面修改用户user01对dir01的权限控制,重复步骤b),检查用户权限 修改是否生效; d) )如存储鉴权支持AD域、LDAP域,在域内配置用户访问存储的权限,确认配置的权限与实际访问 的权限是否一致。
6.3.2存储资源配额管理
a) 通过分布式存储系统管理界面对目录dir01设置目录容量的固定配额; b) 1 测试客户端通过用户userl向目录dir01写入文件,大小在配额之内,观察写入是否成功; C) 1 持续写入多个文件,使目录内文件总大小接近目录空间的固定配额; d) 1 测试客户端通过用户userl向目录dir01再写入文件,使文件总容量大小超过目录的固定配额, 观察写人是否成功,验证目录容量固定配额的有效性; e) 11 通过分布式存储系统管理界面对目录dir02设置目录文件数量的固定配额; f) 1 测试客户端通过用户user2向目录dir02持续写入文件,使目录内文件总数量接近该目录文件数 量的固定配额; 8 测试客户端通过用户user2向目录dir02再写入多个文件,使目录内的文件总数量超过该目录文 件数量的固定配额,观察写入是否成功,验证目录文件数量固定配额的有效性。
6.3.3业务QoS功能(可选)
测试步骤如下: a 通过分布式存储系统管理界面创建目录,并配置NFS共享; D) 在支持NFS协议的测试客户端使用测试工具,对上述创建的目录进行持续数据写入操作,模 文件顺序写:
GY/T366 2023
C) 客户端测试至性能达到一个稳定值; d) 通过分布式存储系统管理界面设置QoS,限制共享目录的带宽上限为稳定值的一半DB63∕T 2147-2023 生态环境脆弱区公路改扩建工程景观规划与设计指南,观察客户端 带宽变化情况; e) 通过分布式存储系统管理界面取消QoS设置,观察客户端带宽变化情况; f) 1 确认共享目录QoS功能是否有效。
6.3.4NFS、CIFS和S3协议互通访问(可选)