数据魔方研究报告VIP专享VIP免费

数据魔方研究报告淘宝网2010年3月30日在上海正式对外宣布，将首度面向全球开放数据，商家、企业及消费者将在未来分享到其海量原始数据，数据开放将有原则、分层次地进行。并于2011年4月1日正式开放网站所有的交易数据，并将这一计划命名为“数据魔方”。大数据时代闫茂芳制作—内容—概念：数据魔方是淘宝官方出品的一款数据产品。主要提供行业数据分析，店铺数据分析。其中包含了品牌、店铺、产品的排行榜，购买人群的特征分析（年龄、性别、购买时段、地域等等）。排名优化：数据魔方提供了淘词功能，主要用来优化宝贝标题用，通过使用效果更好的关键词来提升搜索排名。实时运作：还可以给卖家提供实时的运营数据支持，店铺的实时成交情况，行业的实时成交情况，是运营活动的得力助手。数据开放方式：一，通过其“数据魔方”平台，商家可以直接获取行业宏观情况、自淘宝数据魔方己品牌的市场状况、消费者行为情况等，但是不能获得竞争对手的数据；二，通过第三方研究机构合作的方式，商家可以直接向研究机构获取服务。*简介*—功能亮点—淘词分析行业的热词榜，随意查找关键词，诊断宝贝标题，帮助您及时更新关键词，优化标题引流量。自有店铺分析店铺内的成交、转化率等一些整体店铺的数据分析，帮助您了解店铺整体运营情况。行业分析俯瞰行业市场大盘，分析行业内热销宝贝，热卖店铺买家信息等。帮助您做品类管理、定价、定向营销。市场细分从品牌、产品、属性的角度分析热销宝贝，热卖店铺买家信息等。帮助您做更细致深入的市场分析。—数据量—据介绍，淘宝占据中国网络购物75%的市场份额，由此每天产生的数据量达到了7个T，大约等同于7000G的数据容量。这些数据容量当中大部分是由消费者、商家产生的，另外还包括物流公司和内部数据的一些信息等等。*数据解析*技术架构—运作原理数据产品的技术架构分为五层（如图所示），分别是数据源、计算层、存储层、查询层和产品层。位于架构顶端的是数据来源层，这里有淘宝主站的用户、店铺、商品和交易等数据库，还有用户的浏览、搜索等行为日志等。这一系列的数据是数据产品最原始的生命力所在。在数据源层实时产生的数据，通过淘宝自主研发的数据传输组件DataX、DbSync和Timetunnel准实时地传输到一个有1500个节点的Hadoop集群上，这个集群我们称之为“云梯”，是计算层的主要组成部分。在“云梯”上，我们每天有大约40000个作业对1.5PB的原始数据按照产品需求进行不同的MapReduce计算。这一计算过程通常都能在凌晨两点之前完成。相对于前端产品看到的数据，这里的计算结果很可能是一个处于中间状态的结果，这往往是在数据冗余与前端计算之间做了适当平衡的结果。不得不提的是，一些对实效性要求很高的数据，例如针对搜索词的统计数据，我们希望能尽快推送到数据产品前端。这种需求再采用“云梯”来计算效率将是比较低的，为此我们做了流式数据的实时计算平台，称之为“银河”。“银河”也是一个分布式系统，它接收来自TimeTunnel的实时消息，在内存中做实时计算，并把计算结果在尽可能短的时间内刷新到NoSQL存储设备中，供前端产品调用。容易理解，“云梯”或者“银河”并不适合直接向产品提供实时的数据查询服务。这是因为，对于“云梯”来说，它的定位只是做离线计算的，无法支持较高的性能和并发需求；而对于“银河”而言，尽管所有的代码都掌握在我们手中，但要完整地将数据接收、实时计算、存储和查询等功能集成在一个分布式系统中，避免不了分层，最终仍然落到了目前的架构上。为此，我们针对前端产品设计了专门的存储层。在这一层，我们有基于MySQL的分布式关系型数据库集群MyFOX和基于HBase的NoSQL存储集群Prom，在后面的文字中，我将重点介绍这两个集群的实现原理。除此之外，其他第三方的模块也被我们纳入存储层的范畴。存储层异构模块的增多，对前端产品的使用带来了挑战。为此，我们设计了通用的数据中间层——glider——来屏蔽这个影响。glider以HTTP协议对外提供restful方式的接口。数据产品可以通过一个唯一的URL获取到它想要的数据。以上是淘宝海量数据产品在技术架构方面的一个...