视频大数据平台技术

针对结构化或半结构化数据的数据量特别大的场景，大数据平台作为应用平台的支撑平台，提供海量数据的高效处理能力。通过大数据平台，应用能够对这些数据进行高效地存储、检索(秒级)、分析和统计，切实地提高效率，提升用户体验度。

视频大数据平台一般以分布式集群的方式进行建设，集群能够对数据处理进行负载均衡，同时，集群能够方便地进行扩展，能够通过增加集群节点来提升平台整体性能。数据存储需要考虑以下几个方面：一、哪些数据需要保存到视频大数据平台;二、如果对原有系统进行改造，原有系统中已存在的那些数据该如何处理;三、如何保证数据的可靠性。视频大数据平台采用分布式计算，同时结合内存加速、负载均衡、本地处理，提供高效的数据计算能力。

视频大数据处理系统，在应对视频大数据处理中的存储问题，采用了分布式存储方式，提高了读写速度，并扩大了存储容量;在应对视频大数据处理中的计算问题，采用分布式计算系统，提高了数据分析和挖掘能力。视频大数据处理系统总体架构如下图所示，包括资源层、平台层、应用层三个层次。

资源层：包括IT基础资源、数据资源、视频资源等。能够产生、存储、处理海量数据的资源如过车数据、人脸数据、案事件数据等。

平台层：即视频大数据平台，包括数据存储、数据处理、数据迁移、集群管理等功能，同时为上层应用提供接口。视频大数据平台地位类似于数据库，但是它比数据库的处理能力要强大很多，可以对海量数据进行处理。

应用层：基于视频大数据平台提供的高效数据处理服务，行业应用平台(公安、交通、司法、能源、教育等)能够为用户提供海量数据的高效存储、检索、分析和统计等功能。