基于Hadoop的某电视台智能监管平台摘要电视台随着高清和4K技术的发展,大量的视频数据需要存储、备份、管理以及提供节目制作者进行检索和下载,老的技术平台难已满足爆发式的需求,面对逐渐增加的数据量及越来越严重的网络安全问题,能够实现容灾容错目的,数据保存、管理等技术就必须搭建新的播出管理系统
传统数据备份及管理都是利用单一存储介质实现的,此种方法实现的较为简单,成本比较低,但是缺乏较高的安全性及扩展性
目前发展的分布式技术能够实现数据分布式存储和运算,Hadoop技术属于分布式技术代表,其具备分布式文件系统,能够充分使用节点资源,具备多副本特性和良好的扩展性、安全性及效率
所以,基于数据存储、备份及管理的安全性和效率需求,能够通过Hadoop技术实现数据管理,搭建基于分布式技术的智能监管平台
本文主要工作如下:一是调研hadoop和MapReduce的大数据处理机制和原理,结合虚拟机部署大量的终端
二是分析电视播出各业务的实际需求,以安全快速为目标,能够提供数据的安全检索等功能
三是分析数据处理过程中的异常情况并且和原来老的系统进行比较,观察性能和效率是否得到提高
本文所设计的智能监管平台在数据备份过程中具有较高的安全性、统一性及整体性,还能够恢复数据
在分配资源过程中具有优先级,并且实现数据恢复操作
和传统系统对比,基于Hadoop技术的智能监管平台具有较高的效率及安全性
关键词:Hadoop技术;计算机网络;网络安全管理;管理系统1AbstractTVstationswiththedevelopmentofhigh-definitionand4Ktechnology,alargenumberofvideodataneedstobestored,backedup,managedandprovidedbyprogrammakersforretrievalanddownloa