数据中台之结构化大数据存储设计

精品文档---下载后可任意编辑一. 前言任何应用系统都离不开对数据的处理，数据也是驱动业务创新以及向智能化进展最核心的东西。这也是为何目前大多数企业都在构建数据中台的原因，数据处理的技术已经是核心竞争力。在一个完备的技术架构中，通常也会由应用系统以及数据系统构成。应用系统负责处理业务逻辑，而数据系统负责处理数据。传统的数据系统就是所谓的『大数据』技术，这是一个被制造出来的名词，代表着新的技术门槛。近几年得益于产业的进展、业务的创新、数据的爆发式增长以及开源技术的广泛应用，经历多年的磨炼以及在广阔开发者的共建下，大数据的核心组件和技术架构日趋成熟。特别是随着云的进展，让『大数据』技术的使用门槛进一步降低，越来越多的业务创新会由数据来驱动完成。『大数据』技术会逐步向轻量化和智能化方向进展，最终也会成为一个研发工程师的必备技能之一，而这个过程必须是由云计算技术来驱动以及在云平台之上才能完成。应用系统和数据系统也会逐渐融合，数据系统不再隐藏在应用系统之后，而是也会贯穿在整个业务交互逻辑。传统的应用系统，重点在于交互。而现代的应用系统，在与你交互的同时，会慢慢的熟悉你。数据系统的进展驱动了业务系统的进展，从业务化到规模化，再到智能化。业务化：完成最基本的业务交互逻辑。规模化：分布式和大数据技术的应用，满足业务规模增长的需求以及数据的积累。智能化：人工智能技术的应用，挖掘数据的价值，驱动业务的创新。向规模化和智能化的进展，仍然存在一定的技术门槛。成熟的开源技术的应用能让一个大数据系统的搭建变得简单，同时大数据架构也变得很普遍，例如广为人知的 Lambda 架构，一定程度上降低了技术的入门门槛。但是对数据系统的后续维护，例如对大数据组件的规模化应用、运维管控和成本优化，需要掌握大数据、分布式技术及复杂环境下定位问题的能力，仍然具备很高的技术门槛。数据系统的核心组件包含数据管道、分布式存储和分布式计算，数据系统架构的搭建会是使用这些组件的组合拼装。每个组件各司其职，组件与组件之间进行上下游的数据交换，而不同模块的选择和组合是架构师面临的最大的挑战。本篇文章主要面对数据系统的研发工程师和架构师，我们会首先对数据系统核心组件进行拆解，介绍每个组件下对应的开源组件以及云上产品。之后会深化剖析数据系统中结构化数据的存储技术，介绍阿里云Tablestore 选择哪种设计理念来更好的满足数据系统中对结构化数据...