电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

《剑指大数据——Flink学习精要(Java版)》VIP免费

《剑指大数据——Flink学习精要(Java版)》_第1页
1/406
《剑指大数据——Flink学习精要(Java版)》_第2页
2/406
《剑指大数据——Flink学习精要(Java版)》_第3页
3/406
第1章初识FlinkFlink是Apache基金会旗下的一个开源大数据处理框架。目前,Flink已经成为各大公司大数据实时处理的发力重点,特别是国内以阿里为代表的一众互联网大厂都在全力投入,为Flink社区贡献了大量源码。如今Flink已被很多人认为是大数据实时处理的方向和未来,许多公司也都在招聘和储备掌握Flink技术的人才。那Flink到底是什么,又有什么样的优点,能够让大家对它如此青睐呢?本章我们就来做一个详细的了解。首先讲述Flink的源起和设计理念,接着介绍Flink如今的应用领域;进而通过梳理数据处理架构的发展演变,解答为什么要用Flink的疑问。进而梳理Flink的特点,并同另一个流行的大数据处理框架Spark进行比较,从而更深刻地理解Flink的底层架构和优势所在。1.1Flink的源起和设计理念Flink起源于一个叫作Stratosphere的项目,它是由3所地处柏林的大学和欧洲其他一些大学在2010~2014年共同进行的研究项目,由柏林理工大学的教授沃克尔·马尔科(VolkerMarkl)领衔开发。2014年4月,Stratosphere的代码被复制并捐赠给了Apache软件基金会,Flink就是在此基础上被重新设计出来的。在德语中,“flink”一词表示“快速、灵巧”。项目的logo是一只彩色的松鼠,当然了,这不仅是因为Apache大数据项目对动物的喜好(是否联想到了Hadoop、Hive?),更是因为松鼠这种小动物完美地体现了“快速、灵巧”的特点。关于logo的颜色,还一个有趣的缘由:柏林当地的松鼠非常漂亮,颜色是迷人的红棕色;而Apache软件基金会的logo,刚好也是一根以红棕色为主的渐变色羽毛。于是,Flink的松鼠Logo就设计成了红棕色,而且拥有一个漂亮的渐变色尾巴,尾巴的配色与Apache软件基金会的logo一致。这只松鼠色彩炫目,既呼应了Apache的风格,似乎也预示着Flink未来将要大放异彩。Flink的Logo如图1-1所示。图1-1Flink的Logo图2从命名上,我们也可以看出Flink项目对于自身特点的定位,那就是对于大数据处理,要做到快速和灵活。2014年8月,Flink第一个版本0.6正式发布(至于0.5之前的版本,那就是在Stratosphere名下的了)。与此同时Fink的几位核心开发者创办了DataArtisans公司,主要做Fink的商业应用,帮助企业部署大规模数据处理解决方案。2014年12月,Flink项目完成了孵化,一跃成为Apache软件基金会的顶级项目。2015年4月,Flink发布了里程碑式的重要版本0.9.0,很多国内外大公司也正是从这时开始关注、并参与到Flink社区建设的。2019年1月,长期对Flink投入研发的阿里巴巴,以9000万欧元的价格收购了DataArtisans公司;之后又将自己的内部版本Blink开源,继而与8月份发布的Flink1.9.0版本进行了合并。自此之后,Flink被越来越多的人所熟知,成为当前最火的新一代大数据处理框架。由此可见,Flink从真正起步到火爆,只不过几年时间。在这短短几年内,Flink从最初的第一个稳定版本0.9,到目前本书编写期间已经发布到了1.13.0,这期间不断有新功能新特性加入。从一开始,Flink就拥有一个非常活跃的社区,而且一直在快速成长。到目前为止,Flink的代码贡献者(Contributors)已经超过800人,并且Flink已经发展成为最复杂的开源流处理引擎之一,得到了广泛的应用。根据Apache软件基金会发布的2020年度报告,Flink项目的社区参与和贡献依旧非常活跃,在Apache旗下的众多项目中保持着多项领先:邮件列表(MailingList)活跃度,排名第一代码提交(Commits)数,排名第二GitHub访问量,排名第二Flink就像一列高速行进的列车,向我们呼啸而来,朝着未来更实时、更稳定的大数据处理奔去。这辆通向未来的车,我们上车可以迟,但一定不要错过。我们需要记住Flink的官网主页地址:https://flink.apache.org/在Flink官网主页的顶部可以看到,项目的核心目标,是“数据流上的有状态计算”(StatefulComputationsoverDataStreams)。具体定位是:ApacheFlink是一个框架和分布式处理引擎,如图1-2所示,用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行,以内存执行速度和任意规模来执行计算。3图1-2Flink框架处理流程这里有很多专业词汇,我们从中至少可以提炼出一些容易...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

《剑指大数据——Flink学习精要(Java版)》

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部