>> 您的位置:首页 > 行业热点 > 热点观察 > 正文
大数据环境下 云存储的价值及发展
2015/8/18 9:52:00      来源:《中国安防》    作者:武岳
   安防行业的存储产品发展到今天,已经由之前的模拟DVR逐渐转变为如今的网络NVR、IPSAN集群存储,导致这一转变的根本原因在于人们对于图像质量要求的提高。


  安防行业的存储产品发展到今天,已经由之前的模拟DVR逐渐转变为如今的网络NVR、IPSAN集群存储,导致这一转变的根本原因在于人们对于图像质量要求的提高。随着大数据时代的到来,之前的存储模式已经显得捉襟见肘,无法满足人们对视频存储的要求。在这种大环境下,另一种更高效、更能满足人们需求的存储模式正在悄然兴起,它就是目前大家经常听到的云存储。

  云存储与云计算概述

  很多人都听过云存储这个词,但不一定真正的了解。何为“云存储”?什么才是真正适合应用于安防行业的云存储呢?说到云存储,不得不提另一个名词——云计算。本质上云计算在技术上是将虚拟化与并行计算相结合,在商业模式上是服务推送的模式。云计算其实很早以前就已经被提出来,早期的网格计算、虚拟机等等都属于云计算的一种,只是当初还不是很成熟,也没和互联网产生关联。这些年随着互联网的飞速发展,云计算又重新被提了出来。在互联网模式下,云计算突破了技术的定义形成了一种新型的商业模式,将传统的设备提供商转变为服务提供商。美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务),这些资源能够被快速提供,只需投入很少的管理工作或与服务供应商进行很少的交互。而所谓的云存储其实是由云计算延伸发展而来的一种网络存储技术。通过集群技术将多台存储服务形成一个统一的存储池,提供统一的访问空间,并以按需形式提供给用户使用。它的产生是为云计算提供存储设备。

  那么,标准的云存储是什么样子的呢?谷歌是第一家推出云存储的公司,现在市场上已有的如百度云、阿里云、亚马逊云、华为云存储、EMC云存储、IBM云存储、大华云存储的架构本质上是一样的,都是通过存储虚拟化技术,采用分布式文件系统,将N台不同设备里的所有硬盘映射为统一的文件系统,并提供文件的方式由外部进行访问。

  云存储的价值

  使用云存储给我们带来的益处最重要的是什么?如果单从存储方面来说的话,一定会是数据的高可靠性。大家都知道,云存储的设备数量要远远多于传统存储阵列,这就带来了一个问题:即设备越多故障的概率越高。似乎这与数据的高可靠性背道而驰,因此云存储就需要高可靠的软件设计来弥补这一致命的缺陷。目前互联网厂商如谷歌、阿里、百度,通过数据多副本来解决可靠性,每份数据都同时复制多份,如果硬盘或者设备节点出现故障,可通过其他硬盘或者设备节点上的数据进行恢复,但这最大的问题是空间的有效利用率很低。目前IT厂商如华为、EMC等,通过纠删码技术,计算数据校验码,分片存储在不同设备的不同硬盘上,保证设备或者硬盘的故障不会导致数据丢失,既解决了数据可靠性问题,也解决了空间利用率问题,主流的做法可以支持最大4台设备节点同时损坏数据不丢失。

  对于安防行业的存储设备来说,硬盘损坏所造成的数据丢失以及不可用现象已经成为了存储稳定性的“第一杀手”。同时,随着安防项目规模的增大,项目中使用的硬盘数越来越大,硬盘越多故障率就会越高。云存储系统中最多的设备便是硬盘,那么硬盘出现故障后数据的恢复速度就成了至关重要因素,一般速度越快数据丢失的风险就越低,反之,则面临数据丢失的风险就越高。目前EMC、华为、IBM、惠普、大华等均采用RAID2.0技术进行数据恢复,恢复速度可到1TB/小时,而传统的RAID只能最高达到100GB/小时。

  云存储不但需要具备高可靠性,同时能否实现数据共享,兼容云计算服务器,真正为云计算服务器提供高效、可用、安全的数据也是衡量云存储的一个重要指标。除了视频录像以外,还可能有文档、图片等其他应用的存储需求。云存储的设计理念是通过统一的存储管理划分不同的虚拟存储空间给不同的应用,无需为个别应用单独建设存储系统。同时可以兼容第三方应用存储数据,如阿里云、百度云一样。而云存储的根本以及未来的价值体现在是否可以支持大数据分析。主流的大数据分析软件如hadoop, 通过并发任务,每个任务读取相应小段数据进行分析,然后汇总分析结果,这种框架有两点要求:一是分析软件能以文件的方式访问存储;二是存储系统具备高性能。安防行业的数据时刻都在写,写满了就会不停的循环覆盖,却只有很少一些录像会被读取,这也是安防数据低价值的原因之一。由于有大量写入和擦除场景,使用文件存储模式经常造成大量的文件碎片,经过一段时间的运行存储系统的性能大大下降,因此早期在安防行业中使用较少。解决文件碎片其实很简单,只要建立稳定的适宜大小的文件块作为数据存储容器。文件块的传输时间要远大于磁盘寻址时间,尽量大的降低磁盘寻址时间对存储性能的影响,利于集群的负载均衡。遇到小文件时,只要将小文件进行合并存储,同样可以解决文件碎片的问题。

  云存储的运维、投入、扩容都不成问题

  随着项目的不断扩大,云存储的高可靠性被大家认可的同时,项目运作上产生的一些其他问题也渐渐被人们所重视,比如云存储的维护问题:如此高大上的东西,维护人员是不是也要请一些非常专业的人士?产品价格问题:高稳定性给客户创造的价值不言而喻,那么价格是不是就贵得离谱?扩容问题:好不容易搭建好了一套云存储设备,需要扩容是不是很麻烦?

  1.关于维护的问题

  使用DVR、NVR、IPSAN等存储设备时,一旦出现磁盘损坏必须及时更换,否则会威胁到整个Raid组的数据安全。在一套大型的存储系统中,每天可能会有几块甚至十几块硬盘的损坏,如果每次都需要及时更换维修,维护人员的工作压力很大。而云存储系统很好地解决了这一问题,谷歌等云存储采用系统全局热备,数据自动恢复等技术,保证硬盘损坏后可达到一定量的时候再统一更换维修,这样既解决了维护人员工作压力大的问题,同时操作非常简单,只要定期进行统一更换损坏的硬盘即可,即使是一名不专业的人员也可进行操作。

  2.关于价格问题

  在传统的存储中,数据的保护主要通过磁盘间的冗余备份即Raid来保证,但如果出现了控制器的故障业务就会中断。为了应对这种情况,市场上推出了双控制器存储设备。现在存储市场上的双控存储器主要有active-standby和active-active两种模式。active-standby同一时刻只有单台控制器工作,当单控制器出现故障时,另一台控制器可接管;active-active即双活模式,两台控制器同时工作,与active-standby相比,双活模式可实现io智能分流,性能更高,但同时也增加了软硬件复杂度,造价也相当不菲。无论是哪种模式,双控制器设备的控制器使用率都是50%(双活模式下,若一个控制坏掉另一个控制器需要将业务全部接管),浪费了大量的投资。而云存储采用的是scale-out模式横向扩展存储能力,每台存储节点并不需要较强的性能。云存储的理念是通过相对通用廉价的硬件,实现系统级的可靠性和性能。上文已经提过,云存储可以通过纠删码技术,计算数据校验码,分片存储在不同设备的不同硬盘上,保证设备或者硬盘的故障不会导致数据丢失。由此可见,单一设备是否使用双控制器在云存储系统中已经显得不那么重要,既然数据安全性已经得到保证,为什么还要花大价钱呢!

  3.关于扩容问题

  安防项目很多都会遇到扩容的问题,而这也是传统存储设备中最让人头疼的部分。比如新增加了前端点位就必然要增加新的录像计划,配置Raid、卷,同时需要将前端设备指定存储到对应的Raid组内。即使仅仅扩容几十路前端点位,也需要将近一天甚至更多的时间来配置存储实现录像的正常写入。如果扩容几百路上千路,其难度不亚于重新构建一套存储环境,这样浪费大量时间的同时,极大地浪费了人力物力,但如果是云存储扩容就显得格外容易。云存储可以通过将文件、卷管理融为一体,无需建RAID、逻辑卷等繁琐操作,只要将设备上电,配置好IP地址,同时添加到已有的云存储系统中就可以实现存储空间的扩容,系统扩容1分钟完成,空间即扩即用。目前如谷歌、百度、EMC、华为、大华等云存储都已实现此技术。

  结束语

  未来的安防,必定是大数据的时代。智能化的普及、大数据分析的引入,已经使得安防存储所面临的挑战越来越大。云存储的介入也仅仅只是满足一段时间的应用,相信在不久的将来,安防行业的存储领域将会迎来更大的发展与挑战。

编辑:侯雨婷
注:本文版权归《中国安防》杂志社和《中国安防》杂志网所有,任何媒体或个人未经书面授权严禁部分或全文转载, 违者将严厉追究法律责任。更多详情请订阅《中国安防》杂志。