分布式数据库HBaseVIP专享VIP免费

《大数据技术及应用》信息科学与技术学院1石家庄铁道大学信息科学与技术学院第四章分布式数据库HBase大数据技术及应用《大数据技术及应用》信息科学与技术学院2提纲4.1概述4.2HBase访问接口4.3HBase数据模型4.4HBase的实现原理4.5HBase运行机制4.6HBase应用方案4.7HBase编程实践《大数据技术及应用》信息科学与技术学院34.1概述•4.1.1从BigTable说起•4.1.2HBase简介•4.1.3HBase与传统关系数据库的对比分析《大数据技术及应用》信息科学与技术学院44.1.1从BigTable说起主流解决方案厂商的发展策略及现状《大数据技术及应用》信息科学与技术学院5主流解决方案——Google云计算•数据存储在“云”中•数据访问不受地理位置限制•数据能够很方便的共享《大数据技术及应用》信息科学与技术学院6Google云计算技术具体包括：•Google文件系统海量数据分布存储技术(GFS)、•分布式计算编程模型MapReduce、•分布式锁服务Chubby•分布式结构化数据存储系统Bigtable等。主流解决方案——Google云计算《大数据技术及应用》信息科学与技术学院7•Google需要一个支持海量存储的文件系统–购置昂贵的分布式文件系统与硬件？Google设计GFS的动机是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？7《大数据技术及应用》信息科学与技术学院8•为什么不使用当时现存的文件系统？–Google所面临的问题与众不同•不同的工作负载，不同的设计优先级（廉价、不可靠的硬件）–需要设计与Google应用和负载相符的文件系统Google设计GFS的动机8一个适用于大规模分布式数据处理相关应用的，可扩展的分布式文件系统。它基于普通的不算昂贵的硬件设备，实现了容错的设计，并且为大量客户端提供极高的聚合处理性能。GFS《大数据技术及应用》信息科学与技术学院9GFS的假设与目标•硬件出错是正常而非异常–系统应当由大量廉价、易损的硬件组成–必须保持文件系统整体的可靠性•主要负载是流数据读写–主要用于程序处理批量数据，而非与用户的交互或随机读写–数据写主要是“追加写”，“插入写”非常少•需要存储大尺寸的文件–存储的文件尺寸可能是GB或TB量级，而且应当能支持存储成千上万的大尺寸文件9《大数据技术及应用》信息科学与技术学院10•将文件划分为若干块（Chunk）存储–每个块固定大小（64M）•通过冗余来提高可靠性–每个数据块至少在3个数据块服务器上冗余–数据块损坏概率？•通过单个master来协调数据访问、元数据存储–结构简单，容易保持元数据一致性•无缓存GFS的设计思路10《大数据技术及应用》信息科学与技术学院11GFS将容错的任务交给文件系统完成，利用软件的方法解决系统可靠性问题，使存储的成本成倍下降。GFS将服务器故障视为正常现象，并采用多种方法，从多个角度，使用不同的容错措施，确保数据存储的安全、保证提供不间断的数据存储服务。GFS架构是怎样的？GFS架构是怎样的？《大数据技术及应用》信息科学与技术学院12GFS系统架构Client（客户端）：应用程序的访问接口Master（主服务器）：管理节点，在逻辑上只有一个，保存系统的元数据，负责整个文件系统的管理ChunkServer（数据块服务器）：负责具体的存储工作。数据以文件的形式存储在ChunkServer上Client（客户端）：应用程序的访问接口Master（主服务器）：管理节点，在逻辑上只有一个，保存系统的元数据，负责整个文件系统的管理ChunkServer（数据块服务器）：负责具体的存储工作。数据以文件的形式存储在ChunkServer上控制流状态流IO并行《大数据技术及应用》信息科学与技术学院13需要存储的数据种类繁多：Google目前向公众开放的服务很多，需要处理的数据类型也非常多。包括URL、网页内容、用户的个性化设置在内的数据都是Google需要经常处理的海量的服务请求：Google运行着目前世界上最繁忙的系统，它每时每刻处理的客户服务请求数量是普通的系统根本无法承受的商用数据库无法满足Google的需求：一方面现有商用数据库设计着眼点在于通用性，根本无法满足Google的苛刻服务要求；另一方面对于底层系统的完全掌控会给后期的系统维护、升级带...