《剑指大数据——Flink学习精要（Java版）》VIP专享VIP免费

第1章初识FlinkFlink是Apache基金会旗下的一个开源大数据处理框架。目前，Flink已经成为各大公司大数据实时处理的发力重点，特别是国内以阿里为代表的一众互联网大厂都在全力投入，为Flink社区贡献了大量源码。如今Flink已被很多人认为是大数据实时处理的方向和未来，许多公司也都在招聘和储备掌握Flink技术的人才。那Flink到底是什么，又有什么样的优点，能够让大家对它如此青睐呢？本章我们就来做一个详细的了解。首先讲述Flink的源起和设计理念，接着介绍Flink如今的应用领域；进而通过梳理数据处理架构的发展演变，解答为什么要用Flink的疑问。进而梳理Flink的特点，并同另一个流行的大数据处理框架Spark进行比较，从而更深刻地理解Flink的底层架构和优势所在。1.1Flink的源起和设计理念Flink起源于一个叫作Stratosphere的项目，它是由3所地处柏林的大学和欧洲其他一些大学在2010~2014年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科（VolkerMarkl）领衔开发。2014年4月，Stratosphere的代码被复制并捐赠给了Apache软件基金会，Flink就是在此基础上被重新设计出来的。在德语中，“flink”一词表示“快速、灵巧”。项目的logo是一只彩色的松鼠，当然了，这不仅是因为Apache大数据项目对动物的喜好（是否联想到了Hadoop、Hive？），更是因为松鼠这种小动物完美地体现了“快速、灵巧”的特点。关于logo的颜色，还一个有趣的缘由：柏林当地的松鼠非常漂亮，颜色是迷人的红棕色；而Apache软件基金会的logo，刚好也是一根以红棕色为主的渐变色羽毛。于是，Flink的松鼠Logo就设计成了红棕色，而且拥有一个漂亮的渐变色尾巴，尾巴的配色与Apache软件基金会的logo一致。这只松鼠色彩炫目，既呼应了Apache的风格，似乎也预示着Flink未来将要大放异彩。Flink的Logo如图1-1所示。图1-1Flink的Logo图2从命名上，我们也可以看出Flink项目对于自身特点的定位，那就是对于大数据处理，要做到快速和灵活。2014年8月，Flink第一个版本0.6正式发布（至于0.5之前的版本，那就是在Stratosphere名下的了）。与此同时Fink的几位核心开发者创办了DataArtisans公司，主要做Fink的商业应用，帮助企业部署大规模数据处理解决方案。2014年12月，Flink项目完成了孵化，一跃成为Apache软件基金会的顶级项目。2015年4月，Flink发布了里程碑式的重要版本0.9.0，很多国内外大公司也正是从这时开始关注、并参与到Flink社区建设的。2019年1月，长期对Flink投入研发的阿里巴巴，以9000万欧元的价格收购了DataArtisans公司；之后又将自己的内部版本Blink开源，继而与8月份发布的Flink1.9.0版本进行了合并。自此之后，Flink被越来越多的人所熟知，成为当前最火的新一代大数据处理框架。由此可见，Flink从真正起步到火爆，只不过几年时间。在这短短几年内，Flink从最初的第一个稳定版本0.9，到目前本书编写期间已经发布到了1.13.0，这期间不断有新功能新特性加入。从一开始，Flink就拥有一个非常活跃的社区，而且一直在快速成长。到目前为止，Flink的代码贡献者（Contributors）已经超过800人，并且Flink已经发展成为最复杂的开源流处理引擎之一，得到了广泛的应用。根据Apache软件基金会发布的2020年度报告，Flink项目的社区参与和贡献依旧非常活跃，在Apache旗下的众多项目中保持着多项领先：邮件列表（MailingList）活跃度，排名第一代码提交（Commits）数，排名第二GitHub访问量，排名第二Flink就像一列高速行进的列车，向我们呼啸而来，朝着未来更实时、更稳定的大数据处理奔去。这辆通向未来的车，我们上车可以迟，但一定不要错过。我们需要记住Flink的官网主页地址：https://flink.apache.org/在Flink官网主页的顶部可以看到，项目的核心目标，是“数据流上的有状态计算”（StatefulComputationsoverDataStreams）。具体定位是：ApacheFlink是一个框架和分布式处理引擎，如图1-2所示，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。3图1-2Flink框架处理流程这里有很多专业词汇，我们从中至少可以提炼出一些容易...