大数据时代的创新者们VIP免费

大数据时代的创新者们作者李明（nasi）发布于2011年11月2日领域运维&基础架构主题《架构师》月刊,图形数据库,Hadoop,NoSQL,电子杂志,大数据,数据可视化,云计算,架构,数据存储分享到大数据的时代已然来临。IDC数据显示，在2006年全世界的电子数据存储量为18万PB，而如今这个数字已经达到180万PB，短短5年间就已经增长了一个数量级。而根据预测，2015年这个数字则会达到如同天文数字般的800万PB。就在此时此刻，海量数据依然源源不断地产生，从不停息。面对这些“大数据”，有些人叹息抱怨，害怕数据量的剧增对于现有IT架构的冲击；有些人积极主动，探寻应对海量数据的应对与解决之道；还有一些人，则是顺势而为，抓住时代发展的商业机会，成为富有活力的创新者。本文就将聊聊这第三种人。大数据的发展催生了诸多商业机会和商业模式。而这些公司所面对的独特的时代背景，就注定了它们必会受到市场和资本的追捧。它们中的一些或是已经融资成功，进入高速发展期；或是被成功收购，帮助投资人和创始人成功从项目中退出。而很多上市公司，也开始在这一领域动作频繁，积极布局，这也从侧面反应了这一领域的广阔前景和巨大的利润空间。大数据的生态系统IBM的架构师StephenWatt曾在《DerivingnewbusinessinsightswithBigData》一文中简单讲解过大数据的生态系统。简而言之，大数据的生态系统，就是数据的生存周期。数据从产生，到处理，再到价值提取，最后被消费掉，这整个过程就构成了大数据的生态系统。如下图所示。在这个生态系统中，无论是数据的存储、数据的处理、数据的分享、数据的检索、数据的分析，还是数据的可视化，都存在着不同的商业需求。需求的出现必然会导致创新的产生。所以，在每个步骤都有不少初创公司在深耕自己所在的领域，试图通过新技术和新方法来实现新的商业模式。数据的存储Amazon是大数据和云计算的先行者，它推出的S3云服务也早已成为云端存储的业界标准。通过易于使用的API，用户可以很方便地将各种数据对象放在云端，然后再像使用水电一般按用量收费。S3根据用户所占用的存储空间、请求数和数据流量进行阶梯定价收费。同时，S3还为对数据可靠性的要求并不高的用户提供了更为便宜的去冗余存储模式。AmazonS3服务是典型的付费服务商业模式，增长十分迅速。去年Q4共有2620亿个对象储存在S3上，而今年Q3这个数字已经翻了一倍，达到5660亿。更难得的是，AmazonS3的云服务真正让许多创业公司享受到了云计算带来的便捷。使用S3作为存储支持的文件分享服务Dropbox进行的最近一轮的融资，估值高达80亿美元，每天上传的文件多达2亿个。大数据时代另一个热点便是NoSQL，不但诞生了很多NoSQL的数据库产品，还围绕着NoSQL产生了不少新技术新模式。也许提起10gen这家公司，读者们会觉得陌生，但是说起他们的产品MongoDB，则是鼎鼎大名。由于其易用性和高性能，MongoDB在很多开发者眼中已然成为NoSQL的首选。10gen公司提供基于MongoDB的服务，包括商业支持、培训和技术咨询等等，像Foursquare、Craigslist这样知名的公司，都是10gen的客户。10gen于今年9月完成D轮2000万美元的融资。其他的NoSQL产品在大数据时代也广受注目。为企业提供基于Cassandra的Hadoop构建方案的创业公司DataStax近日宣布完成1100万美元的B轮融资；NoSQL数据库技术提供商Couchbase，则集合了CouchDB和memcached的设计者和开发人员，今日完成了一笔1400万美元的C轮融资；图形数据库厂商NeoTechnology也凭借其开源项目Neo4j获得1060万美元的融资。这些公司主要将融资用于NoSQL旗舰产品的研发，并努力提升和拓展市场份额，然后基于它们的产品开展业务，它们在盈利的同时，也为社区提供了高质量的NoSQL数据库产品，从而实现共赢。分布式文件系统也是大数据存储的方式之一。最早由Powerset开发的HBase就是基于HDFS（HadoopDistributedFilesystem）的分布式数据库。虽然目前还没有专门的商业公司来做针对HBase的业务，但HBase在业界已经有众多使用者，许多知名公司比如Facebook、Twitter、淘宝等都是HBase的用户。数据的处理Hadoop是大数据时代数据处理的首选。脱胎于GoogleMapReduce的Hadoop凭借其开源和易...