通用存储

希捷存储系统行业及应用场景

2021-12-27 10:32:40 gx 4

图片关键词





返回
目录

目录


图片关键词
希捷影视后期制作存储解决方案
应用场景

现代媒体工作流程对共享存储基础架构提出了重大挑战。

文件类型,编解码器,分辨率,比特率,压缩和未压缩媒体格式的激增,以及艺术家对即时访问和最小延迟的期望,使得传统的存储系统越来越难以满足工作的需求。

采用4K,8K和HDR(高动态范围)内容创作继续增加了单流带宽,从而对存储整体性能提出了更高的要求。同时,随着艺术家使用更广泛的硬件和软件平台来执行编辑、调色、渲染、特效、封装等任务,后期工作流程变得越来越复杂多样。

由此产生的工作负载,包括小块IO和大块数据流,随机访问和顺序文件的混合,使未经调整的现成存储解决方案难以胜任。在这些环境中,对高度可配置的模块化存储解决方案的需求变得越来越强,该解决方案采用经过优化的定制存储技术组合,可在整个后期处理过程中提供性能和可靠性。

图片关键词
图片关键词
解决方案
希捷科技Exos X 5U84高密度存储系统具有极高的系统性能,可以搭配理想的文件系统(例如Apple xSAN SAN/StorNext/Tiger等)满足后期制作存储需求。希捷Exos X系列产品是性能出色、高效而可靠的SAN存储。可以通过光纤通道和以太网支持macOS、 Microsoft Windows、Linux用户的数据访问请求。 Seagate Exos X 5U84 提供7GB/s的顺序读和5.5GB/s的顺序写能力,为大容量存储系统的带宽提供保障。Seagate Exos X 5U84是高性能存储系统,可满足苛刻的性能和容量需求,而且不会影响精简性和效率。Seagate Exos X 5U84专为满足广泛的解决方案需求而设计,所以它同样适用于支持高 IOPS 混合工作负载和数据库、高性能文件系统和带宽密集型流应用。此外,它凭借全冗余的 I/O 路径、高级保护特性以及广泛的诊断功能,可确保数据的最高可用性、完整性和安全性。将Seagate Exos X 5U84的这些高可用功能与ADAPT以及精简配置技术相结合,呈现出的将是一个易于部署和管理的存储解决方案。
方案拓扑图及方案优点
希捷Exos X 5U84存储配合Apple xSAN 或 StorNext 等软件构成共享SAN存储系统或者NAS存储系统,通过配置多台5U84存储横向扩展提供更高的容量和性能,以满足视频节目录制过程中的数据存储和后期制作的需求。
图片关键词
图片关键词
希捷视频监控系统存储解决方案
应用场景
随着信息技术的发展,视频监控也由传统监控向高清视频技术与现代通信技术相结合方向发展。这就对视频监控的存储提出了新的要求,相比传统的视频监控,现代的视频监控具有监控点多、摄像头数量多、监控时间长、采集数据时间长、采集的视频数据码流高等特点,所以对存储系统的容量、性能、稳定性等方面的要求就会提高。随着高清、超高清视频监控解决方案在政府、金融、交通、公共安全等应用领域的普及,监控系统对数据存储系统提出了更高的要求,具体如下:
  • 存储的容量增长非常快。监控系统存储的容量=监控点数目×码流速率×保存时间,而监控点数目、码流速率和保存时间的迅速增长,必然会带动存储容量迅速增长。 

  • 稳定性要求高,要求在数据写入的时候不能丢失数据,特别对于一些法规要求的场景。 

  • 可扩展性要强。存储系统需要充分考虑后期监控范围扩大、画面质量提升、监控摄像头的增加,以及视频线路的增加带来的容量扩充和性能的扩展。

  • 性能要求高。系统要求可以支持上千路的高清摄像头的数据存储,由于多路并发的高带宽要求,对存储系统性能提出了更高的要求。

  • 合理的价格。如果价格太贵的话,存储容量巨大,整体解决方案成本过高会影响客户的投入。价格过高就不能满足大规模项目的需要。

图片关键词
解决方案
希捷Exos X 5U84高密度存储系统具有极高的系统性能以及合理的架构。Exos X 5U84 提供7GB/s的顺序读和5.5GB/s的顺序写能力吞吐,为海量视频数据提供带宽保障。Exos X 5U84存储系统可以支持高端336片3.5寸大容量硬盘,如果配置18TB 硬盘,容量高达6PB,可满足极高容量需求。Seagate Exos X 5U84同样适用于支持高 IOPS 混合工作负载和数据库、高性能文件系统和带宽密集型流应用。此外,它凭借全冗余的 I/O 路径、高级保护特性以及广泛的诊断功能,可确保数据的最高可用性、完整性和安全性。将Seagate Exos X 5U84的这些高可用功能与ADAPT以及精简配置技术相结合,呈现出的将是一个易于部署和管理的存储解决方案。
图片关键词
方案拓扑图及方案优点
Exos X 5U84配合文件系统构建针对视频优化的全面的解决方案,支持文件访问方式,同时还可以在文件系统的支持下进行横向扩展获得更高容量和性能。经过优化的硬盘、机柜、控制器和软件可以更好的协同工作。Exos X 5U84的RAID保护技术更高效可靠,可以更好的保护您的数据,智能的高密度机箱设计,提供业界最高密度及更好的TCO。
图片关键词
图片关键词
希捷自动驾驶汽车边缘存储解决方案
应用场景

自动驾驶训练汽车每天都会通过车载传感器(激光雷达,摄像头,毫米波雷达等)采集4-10TB的数据,并储存在车载存储单元中。长期积累会达到几PB甚至几十PB的海量数据,这些数据对于自动驾驶算法训练与优化至关重要。


如果将海量的数据存储至公有云,在公有云中需要频繁地上载/下载某部分数据片段用于本地训练:

①带宽瓶颈凸显,速度会非常慢,导致效率降低;

②公有云上载/下载都需要计费,长此以往,会产生大量成本。


因此,许多自动驾驶科技公司寻求建立“PB级别私有云”,形成车队(端点采集)---私有云(边缘存储与训练)---公有云(核心数据冷备)的架构。提升本地开发的效率,降低数据存储与处理的成本。

图片关键词
图片关键词
解决方案及方案优点

希捷CORTX高性能对象存储系统,基于希捷Lyve Rack硬件平台和CORTX对象存储软件构成。

Lyve Rack凭借5U84或4U106的高密度的存储单元,提供PB级的可用空间作为边缘中心的存储系统,同时借助搭配的2节点服务器,以及CORTX对象存储软件,可以轻松实现对于海量对象数据的管理,客户可在上层搭建自己开发的软件算法,可针对采集回来的车载数据进行敏捷的处理。

图片关键词
图片关键词
图片关键词
希捷高性能计算并行存储解决方案
应用场景

高性能计算(High performance computing,缩写HPC) 指通常使用很多处理器(作为单个机器的一部分)或者某一集群中的多台计算机(作为单个计算资源操作)的计算系统和环境。

HPC应用的主要领域是科学与工程计算,诸如高能物理、核爆炸模拟、气象预报、石油勘探、地震预报、地球模拟、药品研制、CAD设计中的仿真与建模、流体力学的计算等。

随着云计算和大数据技术的不断成熟和广泛应用,HPC已经渗透到HPDA和HPC Cloud领域。


有许多类型的HPC系统,不同的高性能计算应用具有不同的应用特征,相应的对于计算、网络和存储等方面有着不同的要求,应用于石油勘探、地震资料处理、气象、动漫渲染以及生命科学等领域的高性能计算系统,面对海量数据需要解决后端数据集中存取的I/O瓶颈。


以石油物探应用为例,地震资料处理数据的特点及对存储的要求主要体现在:

  • 统一命名空间:不同的计算节点都要到这个统一命名空间中读取数据,存放、读取中间数据,存放结果数据;

  • 数据量大:初始数据几十TB,中间数据是初始数据的10~20倍,但成果数据的大小却仅有初始数据的0.5~1%左右;

图片关键词
  • 带宽要求高:计算节点和存储节点的数据交互次数不频繁,但是数据量大,即对网络带宽和存储节点的带宽要求高;

  • 可靠性要求高:中间数据和结果数据都是珍贵数据,是通过大量的时间和资源的投入得出来的,所以对存储的可靠性要求高;

  • 扩展性高:不同任务的计算集群,共用一个存储系统,避免数据迁移。

  • 易用易管理:单一命名空间;存储资源可以灵活的划分给不同的计算任务(计算节点);维护简单;配额管理;

  • 数据归档要求:中间数据和结果数据经过生命周期后,很少被访问,有归档需求。

解决方案
希捷Exos X 5U84高密度存储系统具有极高的系统性能以及合理的架构。Exos X 5U84 提供7GB/s的顺序读和5.5GB/s的顺序写能力吞吐,为大容量存储系统的带宽提供保障。Exos X 5U84存储系统可以支持高端336片3.5寸大容量硬盘,如果配置18TB硬盘,系统最大容量高达5.3PB,可满足苛刻的性能和容量需求。希捷自修复存储系统采用4U106规格机箱,配置106块18T硬盘,容量高达1.91PB,采用希捷ADAPT纠删技术,支持磁盘自修复和快速磁盘重建,提供14GB/s的顺序读和12GB/s的顺序写能力吞吐。
上述产品与第三方并行文件系统如GPFS或Lustre结合,可以完美地满足高性能计算对于存储系统的苛刻要求。此外,它凭借全冗余的 I/O 路径、高级保护特性以及广泛的诊断功能,可确保数据的最高可用性、完整性和安全性。
方案拓扑图及方案优点
  • 高性能:能够提供稳定聚合带宽以及高速文件查询,大幅度减少计算任务的数据IO时间,提高集群的工作效率。通过增加IO节点和存储,带宽可线性增涨,满足大规模数据并行读写要求。

  • 可扩展的海量存储空间:可在业务系统不间断的情况下,通过增加存储节点设备的方式扩展容量至PB级,使得高性能计算集群可以存放大量的计算素材和计算结果。

  • 全局数据共享:提供单一系统映象,所有IO节点共享同一文件系统视图,使得所有计算节点能即时获取所需的数据,无需进行数据迁移,大幅度提高了集群的使用效率,支持负载均衡,单点故障容错。

图片关键词
图片关键词
希捷对等传输网络存储系统解决方案
应用场景
基于对等传输网络的存储网络,是区块链概念下极具应用价值的分布式存储技术,其目的在于打通数据之间的局限性,成为一个自由的数据交易流通市场,打破数据之间的孤岛,将数据的价值最大化。

目前对等传输网络的存储节点本身采用集中存储或分布式存储方案来实现;

由于对数据安全性和读写时效性的要求,存储更加趋于采购著名厂商的成熟产品。

集中存储因部署简单、RAID方式灵活,但扩展能力有限多应用于小规模集群,

而分布式存储因其扩展能力强,优化的文件系统性能则多用于大规模集群。


客户对存储方案的选择来自以下几个方面:

  • 提高存储集群的密度,包括在单位空间内提升存储容量;

  • 确保数据故障时重构效率的同时,提升可用容量的比率,降低每TB成本;

  • 缩减每TB所需对应的计算、网络等配套硬件的成本;

  • 实现集群可弹性伸缩,以应对市场波动可能带来的各种需求;

  • 提高运维的自动化程度,实现故障自动转移,限制故障域尺寸。

图片关键词
解决方案
对于小规模存储用户(小于5PB可用容量),存储技术能力不够,且存储规模规划在PB级别则可以采用希捷Exos X 5U84磁盘阵列直连方案,通过硬件RAID技术提供80%以上的安全可用空间,安装上线简易快捷。
方案特点:
  • 快速部署:自动化部署、故障域隔离。

  • 便捷运维:健康管理、容量预警、状态监控、恢复QoS、自动巡检、快速数据重构。

  • 纵向扩容:业务无感知。

  • 性能优化:无网络延时。

图片关键词
图片关键词
对于中大规模用户,希捷则推出JBOD、Corvault的软硬件一体存储解决方案,实现以下优势:
  • 快速部署:自动化部署、故障域隔离、拓扑管理

  • 便捷运维:健康管理、容量预警、状态监控、恢复QoS、自动巡检

  • 整池扩容:业务无感知,无需数据重均衡,存储集群容量平滑扩展

  • 可用率高:通过服务器对接JBOD 或Corvault数量调整,提供高可用空间

  • 性能优化:针对IPFS 各阶段IO的访问特点,结合对象存储特性进行有针对性优化,大幅提升大规模存储集群在IPFS场景下性能

图片关键词
希捷石油勘探业务数据采集解决方案
应用场景

石油勘探是典型的HPC应用,在原理上通过反射地震波的形式完成对石油勘探,整个勘探过程大致分为反射波数据采集、地震资料处理和数据解释三个步骤。


石油地震数据处理系统是一个要求计算机系统运算性能、运行稳定性极高的计算环境。


其原因在于石油行业中的数据处理非常困难和庞大。


以找油和打井工作来说,一般采用三维地震勘探的办法是先在地面放炮,通过仪器测量地面震动反射波的情况,把采集所获得的地震波在地层中传播的运动学和动力学信息进行去伪存真处理,转化为地质信息,经过计算分析,反推出地下的生油、储油、盖层的地质构造特点,再确定在打井的具体位置。

挑战
  • 勘探业务野外作业,经常是在大漠戈壁,或者是巨浪滔天的海上,物理环境十分恶劣,对存储系统的抗震、散热、容错等方面提出近乎苛刻的要求;

  • 一般一次作业需要几个月的时间,每天的数据都有数十个TB,数以百计的数据采集传感器在短时间内并行持续地写入存储,对于存储的容量,带宽都有极高的要求;

  • 野外作业不可能带着专业的IT人员,一旦发生设备故障会带来极大的经济损失。

图片关键词
解决方案
希捷最新推出的自修复存储系统旨在简化数据管理并减少规模化边缘和数据中心环境的人为干预,完美地解决石油勘探业务数据采集所遇到的上述问题。
图片关键词
  • 自修复存储系统单机1.9PB SAS JBOD,

  • 仅占用四个机架单元,整个机架中提供19PB,可通过并行文件系统无缝地平行扩展;

  • 自修复存储系统提供高达36GB/秒的带宽,基于希捷的 Exos E 4U106机箱,

  • 有106个3.5英寸硬盘托槽,支持18TB硬盘;

  • 自修复存储系统有两个控制器,都基于第六代VelosCT品牌的希捷ASIC,

  • 为数据保护和ADR(硬盘自主恢复)提供ADAPT品牌的擦除编码。

  • 每个控制器都有 4 个 12Gbit/sec SAS 连接器,一个以太网接口用于管理访问管理。

图片关键词


解决方案