大数据平台架构及建设思路VIP专享VIP免费

做国内最佳、创国际一流的通信咨询设计企业大数据平台架构及建设思路02/10/2025中国移动通信集团设计院有限公司-2-三、中国移动大数据平台建设思路二、主流技术比较一、大数据介绍目录-3-什么是大数据“大数据”是指其大小超出了典型数据库软件的采集、存储、管理和分析等能力的数据集。目前，大数据的一般范围是从几个TB到数个PB。——麦肯锡无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的大量而复杂的数据集合。——维基百科数量大、获取速度快或形态多样的数据，难以用传统关系型数据分析方法进行有效分析，或者需要大规模的水平扩展才能高效处理。——美国国家标准技术研究院（NIST)体量大、快速和多样化的信息资产，需用高效率和创新型的信息技术加以处理，以提高发现洞察、做出决策和优化流程的能力。——Gartner公司-4-运营商对大数据的理解网络数据、用户数据、应用数据的汇聚构成了我们的“大数据”。这些结构化、非结构化的数据的处理和建模形成对用户、服务、资源、终端等对象的洞察。这些洞察与市场营销、网络运维等业务流程的衔接将会给公司带来新的价值。大数据具备Volume海量、Variety多样、Velocity快速、Value价值的特点。据Ericsson预测，到2018年，每个手机终端每个月将产生2G的数据。（EricssonMobilityReport，2013年）改善市场运营效率结构化数据处理非结构化数据处理网络数据•话单XDR•性能监测•故障监测•网络资源用户数据•HSS信息•BSS数据•OSS数据•终端应用数据•内容DPI•Web•Socialmedia•APPS洞察：用户/服务/资源/终端/......提升网络运维效率改善客户满意度创新商业模式数据采集建模分析运营改进传统商业智能大数据1大数据2批处理，事先定义的查询和模型非结构化的数据，包括互联网日志、web文本信息,非实时或准实时流处理，实时的内容智能感知，策略执行，连续更新价值实时性采集、建模和应用数据处理实时性与价值呈正比-5-中国移动数据分布B域B域数据以客户关系、用户行为、产品信息等为主，支撑客户经营和产品营销等O域O域数据以设备数据、告警信息和性能信息等为主，支撑网络监控、网络优化、用户投诉处理等M域M域数据以财务、人力资源、供应链和办公信息等为主，支撑企业管理、企业办公信息化等DPI数据域DPI数据域以上网日志、内容构成、用户轨迹、网络信令等为主，可支撑流量经营、网络运维和增值服务等业务平台九大业务基地：基地数据以用户信息、用户行为信息等为主，可支撑个性化推荐、优化产品和服务等。WAP/短彩信：存储网络日志，可支撑定位网络及终端问题。-6-运营商大数据运用对内：客户上网数据处理、网页爬取和网页分类、分析挖掘客户上网行为详单查询、上网日志查询流量分析、客户视图、精准营销网络运维优化对外：与航空公司合作，建立乘机客户识别模型，提供大数据挖掘、客户发展全流程大数据信息服务，提供针对性的营销方案与交通运输部、省高速公路合作，开展“基于移动大数据分析在交通行业中的应用”研究项目利用通信信令实时分析景区人流量，结合游客的行为数据挖掘，为旅游管理部门、景区提供数据的决策参考以客户授权为依据，发挥移动客户实名数据优势，为互联网金融提供客户信息验真服务与外部客户合作在手机冲浪平台实施移动广告精准投放目前主要的电信运营商都已积极探索开发其内部大数据资源。但从目前的应用发展看，电信运营商的大数据仍主要用于内部服务的，如支持内部的客户流失分析、营销分析和网络优化分析等，对外的应用模式尚未成型，部分电信运营商开始尝试通过给第三方提供数据产品和服务，进行数据的增值。-7-三、中国移动大数据平台建设思路二、主流技术比较一、大数据介绍目录-8-大数据具备数据量大、数据类型多、数据处理速度要求高和价值密度低的特点，传统分析系统架构（RDBMS+小型机+高端阵列模式）下，传统数据库无法支撑海量数据（如100TB以上，性能下降）、非结构化数据，现有IOE的架构无法线性扩展且成本高昂。大数据处理技术大数据对传统数据处理技术体系提出挑战大数据处理技术OldSQL：传统关系型数据库NewSQL：新型MPP数据库，关系型数据库NoSQ...