大数据实时分析案例

永洪科技大数据实时分析 永洪科技基于自有技术研发的一款数据存储、数据处理的软件 Yonghong Z-Data Mart 是一款专业的数据集市软件。Hadoop Map Reduce 适合通过批处理方式访问海量数据，但无法满足海量数据的实时处理的需求。实时商业智能建设的主要目标是支持实时决策，这就对海量数据处理的即时、快速、稳定提出了更高的要求。Yonghong Z-Suite Map Reduce 解决方案更好的实现了这些特点： 完全放弃了心跳机制，采用实时信息交换底层，进行实时的Map-Reduce任务分配与执行。这一信息交换底层能够保障几十甚至上百个节点之间的高效信息交换，使得实时的Map-Reduce任务分配与执行能够在毫秒级完成任务分解与派发工作。 Map Reduce 任务服务于海量数据处理，任务清晰。通过在 Map Node 中预先部署 Map 的数据处理和数据分析功能的代码文件集，在 Redu ce 节点中预先部署 Redu ce 的数据处理和数据分析功能的代码文件集，在运行 Job 之前，每个 Map 和 Redu ce 节点已经具备了相应的数据处理和分析能力。这种方式极大地减少了实时传输和部署的时长。 直接在各节点之间传输中间结果和最终结果(Stream Compu ting)。由于Map-Redu ce 采用了具有自主知识产权的高效率的实时信息交换底层，这一底层保障了大量传输 Map 的中间结果、Redu ce 的中间结果及最终结果的实效性。 本文档主要介绍两个案例，一个是互联网行业大数据案例，一个是电信行业的大数据案例。 互联网大数据案例 案例背景 某著名咨询公司用户行为分析系统面临问题：实时分析的数据量大，基于Hive 的分析系统不够实时，但预算有限。 问题解决步骤 1. 首先提出了测试方案： 90 天细节数据约 50 亿条导入 Yonghong•DM，再定制 Dashboard 分析。 2. 简单测试： 先通过 5 台 PC•Server，导入 1-2 天的数据，演示如何 ETL，如何做简单应用。 3. 按照提出的测试方案开始导入 90 天的数据，在导入数据中解决了如下问题： 解决步长问题，有效访问次数，•在几个分组内，停留时间大于30 分钟。 解决 HBase 数据和 SQL•Server 数据的关联问题。 解决分组太多，Span 过多的问题。 4. 数据源及数据特征分析： 90 天的数据，Web 数据7 亿，App 数据37 亿，总估计在 50 亿。 每个表有20 多个字段，一半字符串类型，一半数值类型，一行数据估计 2000Byte。 每天 5000 万行，原始数据每天 100G，•...