云存储让视频监控大数据变“小”
|
一、概述 近年来视频监控行业的发展愈发蓬勃，监控点位装机数量呈爆发式增长。2014年全球摄像头出货量达到5646万台，每天产生的视频监控数据量达160PB，同时随着监控IP化特征的持续加力等因素的影响，市场对视频监控存储产品的应用和发展提出了更高要求。其主要体现在对庞大存储系统的资源的合理利用、性能的持续增长、以及管理和服务获取的方式等多个方面。 二、视频监控存储现状 在当前视频监控存储产品中传统的DVR/NVR、SAN、NAS等存储方式虽仍然占有大量份额，但多适用于满足小型视频监控的需求。对于庞大存储系统的整合、资源利用率的提升、存储服务获取和管理的便利性等方面，云存储的产品化应用无疑是行业中的亮点。在云存储的概念提出初期，其特点和功能长期处于非常模糊的状态，业界对云存储的理解也常常是云山雾罩，究其原因实际是云存储还没有完成产品化。而从2013年起在安防行业就陆续有云存储系统的产品出现，并迅速在行业中取得突破，从厂区、楼宇到金融银行、再从交通系统到大型平安城市的视频监控系统都陆陆续续出现云存储部署的身影。随着视频监控行业云存储项目的遍地开花，尽管实现的技术路线不尽相同，但是对云存储的特质和能力却有了较为普遍的认识。 三、大数据的云存储服务特征 首先，从目前多种云存储的方案中可以明显体会到，云存储本身并非某一特定的技术路线，而是一种具有典型特质的存储服务方式，即可以明确地指出云存储是一种服务，而非某种单一的技术。云存储的服务就屏蔽了大量的技术细节、功能特点等繁琐的实现原理，做到无论其构成如何复杂、系统如何庞大，其服务方式始终是具有共性和可描述的。 那么云存储的服务可以描述为是统一、灵活、安全的存储服务。统一体现在对云存储内部的多种存储技术、多种存储设备形态的屏蔽。通过软件的统一整合向用户提供唯一的服务获取出口，具体可以体现为唯一访问IP、唯一的管理界面、唯一的操作方式等等。 灵活则体现在从云存储获取服务时的自由度上。早期曾有业界人士将使用云存储服务比作用水用电一样，这种思想和方式即体现在对存储容量获取的灵活性上。用户使用云存储服务，将自己的数据写入云存储，可做到需要多少容量就获取多少容量，不受限于底层存储设备的规格限制。这个就需要云存储系统在容量分配时能够做到足够的精准，同时对调整的要求也要足够灵活。 安全体现的是云存储提供可靠保障的能力，对不同的数据可以提供不同的安全级别保障，差异化服务。视频监控数据体量庞大，因此常有不同的存储周期要求，不同的存储周期对于数据的完整性要求也不尽相同。因此云存储系统提供存储安全保障的能力应该匹配实际项目的需求，在项目成本控制和安全级别要求上达到平衡和共识。 四、大数据的云存储服务难点与挑战 1、统一服务 上述云存储的服务能力虽然容易达成一致，但是在技术路线选取、具体能力级别的实现上却普遍出现较大差异。首先就统一的服务获取出口这一功能就需要云存储系统具有强大的横向扩展能力，需要在系统容量扩展上不存在上限，同时性能也要与容量保持同等线性增长才能满足在扩容的同时服务质量不至于下降。当前实现云存储的架构一般多为分布式存储架构，虽然云存储系统是物理位置相对集中的中心存储方案，但是在系统内部数据却是被切片后存储在不同的物理设备上的。在这种架构上元数据服务器起到对数据分布式的统一调度、灵活分配、动态调整的作用，其性能直接决定云存储系统的规模。常规的元数据服务器主备工作模式采取的是一主一备两台元数据服务器，其中只有一台服务器在工作，另一台仅同步配置信息和元数据信息，并不响应业务的分布式调度需求，因此性能并未有任何提升。在此种工作模式下，云存储系统也往往存在容量和性能瓶颈，我们常规看到的可管理存储设备最大数量从16台到30台不等，各厂商实现也不尽相同。这种规模级别直接制约了云存储系统的统一服务能力。 而最新兴起的元数据服务器集群组建方式则有效地解决了这一问题。元数据服务器通过彼此间相互同步元数据信息，共同对整个系统提供分布式存储策略调度和管理，有效地提升整个云存储系统管理性能。通过元数据集群本身的线性增长，可以促使存储设备数量的不断增加，真正实现容量的无阻碍横向扩展，在超大规模云存储系统的统一服务提供上做出了有效的支撑。 2、灵活服务 在存储容量灵活性要求下，需要云存储系统能够最大限度匹配视频监控的存储需求。1路2Mbps的标清摄像头，一天产生的数量约为21GB。若一天中只有工作时间录像或者事件触发录像则产生的数据量更低。在民用视频监控行业中对于按需付费的思路则要求云存储分配的存储空间粒度至少是GB级别。这对于云存储的空间分配策略、虚拟化容量整合能力提出了严峻的要求。传统按照逻辑卷或者磁盘大小为单位的构建方式将直接导致分配容量时粒度过大，不能满足这种灵活的容量分配需求。因此在云存储技术实现中对磁盘容量进行更低粒度的切片，生成更低粒度的数据块，以在容量的分配、调整上换取更大的灵活性成为一种可行的技术方向。以数据块作为云存储基础的数据单元之后，可以实现数据的灵活分配、调整、以及对分布式存储的支持和大数据并发吞吐性能的提升都带来的意想不到的好处。但是随之而来的问题则是对大量数据块如何进行有效的管理，在这里业界主要有两种不同的方向。 第一种方向的思路通过文件系统对数据块资源进行组织和利用，这种思路的优势是可以支持多种数据的存储，不限定数据类型。但同时也忽略了视频录像数据是流式数据的这一本质特点，在视频录像的存储效率和应用扩展上做出了牺牲和让步。要说清这个问题需要理解视频流式数据与非流式的文件数据的差异。简单来讲流式数据在视频监控领域是由摄像机产生，以开始录像为起点持续不断的产生，在不做时间限定的前提下是没有结束的，因此其数据量大小也会不断增加没有终点。而非流式的文件型数据则是有固定的文件大小、文件格式、文件名称等文件属性。如果以非流式的文件方式存储流式的视频数据则需要将视频流人为截断、按照文件名、按照数据量大小生成一个个单独的视频文件，这从本质上就破坏的流式数据的特征。再加上对视频流检索查找时，在文件系统中就只能通过文件名、目录结构、文件属性等进行检索查找，无法深入精确的定位到每一秒或者每一毫秒的视频数据，在视频数据的使用和大数据分析上人为增加了技术壁垒。 第二种方向的思路则跳开了文件系统对流式视频数据的制约，采用流式系统存储流式数据的方式，若不限定视频流的录像时间则满足视频流不断持续写入数据块，同时在视频流写入时加入精确的时间点定位以支持精准检索的需要。这样的视频写入方式直面视频录像数据本质，不但能够满足视频流高效、连续的存储需要，同时又能精准定位到视频数据的每一个时间点，在视频数据应用上极大的满足了其本质需求。 因此此种方式不但回放和下载时更精准，同时更为可贵的是不会产生文件碎片，从而大幅提高云存储系统的吞吐性能和资源利用率。 就目前行业内对于云存储的具体处理方式上，以上两种方式都已经实现。以海康威视为代表的安防行业的视频监控厂商则更为关注于视频流式数据的本质，因此应用第二种方式的较多。 |
