企业数据中心系统平台技术方案建议书第1章 总体建设方案1.1总体建设思路图、数据中心构建思路图根据对数据中心的理解,完整的数据中心应该具备 IT 基础设施（主机、存储、网络）、企业级ETL 平台、数据存储中心、数据共享服务、应用层、统一门户、数据管控平台.1.2功能框架图、功能框架系统功能框架分为企业级 ETL 平台、存储与计算中心、服务层、应用层、统一门户、统一平台管控。企业级 ETL 平台：负责企业数据中心数据采集、加工、汇总、分发的过程，完成企业级数据标准化、集中化，实现数据脉络化、关系化，实现统一的数据处理加工,包括：非实时数据处理和实时数据处理,提供数据抽取、数据转换、数据加载、数据汇总、数据分发、数据挖掘等能力。存储与计算中心:建立统一的数据中心数据模型,以及统一的数据存储与计算，具体提供关系数据库、分布式非关系数据库、分布式文件、分布式计算，实现统一的数据存储与计算.数据共享服务:通过数据服务标准化开放访问，帮助企业 IT 建设中，应用和数据分离,引入更多的应用开发商，促进应用的百花齐放和应用的专业性；基于标准化接口，实现对标签、客户视图、指标等数据查询API 封装,实现与周边系统实时互动,体现数据价值,减少数据冗余，保证数据安全，保证数据的一致性。应用层:应用层的应用使用服务层提供的各种数据服务。本期应用层包括:经分应用、流量运营、ESOP应用、VGOP 应用、指标库、流量运营战略地图、掌上分析、自助业务分析、区域洞察、渠道运营、自助分析、客户标签库、实时营销、LTE 互联网管控策略。统一门户:提供统一域名分配、负载均衡、鉴权管理、统一管控平台接入、应用注册、应用发布、应用访问数据信息等功能，同时提供数据中心被应用访问的频次,被应用访问的数据范围，提供数据资产的评估，为应用上下线和数据开放提供依据。统一平台管控：面对开发人员、运维人员实现数据、应用、资源的统一管控，包括：数据资产管控、开发管理、监控管理、调度管理、系统管理、安全管理.1.3技术架构图、技术架构系统技术架构分为数据采集、计算存储服务、数据共享服务、平台管控。采纳 Hadoop 云技术，可以满足计算能力线性扩展、多租户能力、数据汇总能力；批处理场景实行 Hadoop 的 Map/Reduce、Hive 或者 Spark 来完成;流式数据处理，采纳 Esper 计算引擎实现.数据采集：采纳 Flume 计算框架，实现文件和消息采集与解析；采纳流式爬虫、中文分词、图片识别技术，实现互...
