中位物联网大数据平台总体设计V1.0

北京中位科技物联网大数据平台总体设计 V0.2李拓2015.10目录1.引言 31.1.文档目的 31.2.文档范围 31.3.预期的读者及阅读建议 31.4.术语 32.项目概述 42.1.项目背景 43.1.设计目标 43.1.1.技术规划路线建议 43.1.2.大数据软硬平台/网络架构规划建议 53.1.3.大数据应用集成点规划建议 53.1.4.大数据团队建设规划建议 53.1.5.大数据系统实施指导建议方案 53.数据平台总体架构规划 53.1.数据平台愿景 53.2.数据处理流程 83.3.主要功能 83.4.设计原则 93.5.平台建设路线 94.数据平台软件架构设计 104.1.数据平台结构图 104.2.数据采集系统 114.3.数据存储系统 114.4.离线计算系统 124.5.海量数据库系统 124.6.管理系统 135.应用平台架构设计 145.1.应用平台架构图 146.平台安全 157.平台监控 158.部署架构 159.平台运维 1510.团队建设 1610.1.运维工程师 1610.2.应用开发工程师 1610.3.通信协议开发工程师 1610.4.基于 Hadoop 的开发工程师 1610.5.数据开发工程师 1610.6.数据挖掘工程师 171.引言1.1.文档目的本文档是关于 xx 公司物联网大平台的总体架构设计方案。本文包括以下内容：1.平台总体架构设计；2.五大子系统设计；3.应用平台设计4.平台部署架构设计；5.平台运维及团队建设；1.2.文档范围本文档仅限于北京 XX 科技公司内部人员和直接协助北京 XX 科技进行大平台建设的相关人员阅读。1.3.预期的读者及阅读建议本文档的预期读者：1. 北京 XX 科技的大平台项目相关人员；2. 直接协助北京 XX 科技进行大平台建设的相关外部人员；1.4.术语1.Hadoop:Apache 的分布式框架。2.HDFS:Hadoop 的分布式文件系统。3.NameNode:HadoopHDFS 元数据主节点服务器。负责保持 DataNode 文件存储元数据信息。4.JobTracker：Hadoop 的 Map/Reduce 调度器，负责与 TackTracker 通信分配计算任务并跟踪任务进度。5.DataNode：Hadoop 数据节点，负责存储数据。6.TaskTracker：Hadoop 调度程序，负责 Map,Reduce 任务的具体启动和执行。7.Kafka:消息队列。8.Netty:NOI 框架。2.项目概述2.1.项目背景1.随着业务的增加，数据采集存储备份能力严重不足2.数据处理分析能力无法满足业务的需要3.公司业务创新转型的需要3.1.设计目标xx 的大数据平台主要是为车辆、人员、物联网提供终端接入、数据分析，并为行业应用提供数据接口。平台建成后，初期可接入百万级的终端，可承载多种业务及应用。随着业务...