火龙果 整理 u ml.org.cn PB 级大数据存储技术与分析技术解析 2013 年12 月2 日 目录 一、 PB级大数据存储技术解析 ................................................................................................................. 2 二、 大数据分析系统应规避的问题 .......................................................................................................... 5 三、 剖析Hadoop和大数据的七误解 ........................................................................................................ 8 四、 6个优秀的开源文件系统助力大数据分析 ..................................................................................... 13 五、 大数据与关系型数据库是否水火不容？NO„„ ............................................................................ 17 六、 大数据探讨：如何整理1700亿条 Twitter发布信息？ .............................................................. 21 七、 畅谈阿里巴巴的大数据梦 ................................................................................................................ 26 八、 Twitter利用 Storm系统处理实时大数据 ..................................................................................... 35 火龙果 整理 u ml.org.cn 一、 PB级大数据存储技术解析 对于存储管理人员来说，大数据应该分为大数据存储和大数据分析，这两者的关系是——大数据存储是用于大数据分析的。然而，到目前为止这是两种截然不同的计算机技术领域。本文就重点解析一下 PB级大数据存储技术，希望对您有所帮助。 越来越多的存储产品都在融入大数据的概念和功能，并使之成为产品的一大卖点。但对于从事存储管理的专业人员来说，对“大数据”在具体应用场景中的特点和区别有所了解。 大数据存储致力于研发可以扩展至 PB甚至 EB级别的数据存储平台；大数据分析关注在最短时间内处理大量不同类型的数据集。 在快速变化的技术趋势中有两个特点需要存储管理人员重视起来。 火龙果 整理 u ml.org.cn 第一，大数据分析流程和传统的数据仓库的方式完全不同，其已经变成了业务部门级别和数据中心级别的关键应用。这也是存储管理员的切入点。随着基础平台(分布式计...
