从数据仓库到大数据,数据平台这25年是怎样进化的

我们先从两张图来看用户群体的区别。 用户群体之非互联网数据平台用户  企业的boss、运营的需求主要是依赖于报表、商业智能团队的数据分析师去各种分析与挖掘探索；  支撑这些人是 ETL开发工程师、数据模型建模、数据架构师、报表设计人员 ，同时这些角色又是数据平台数据建设与使用方。  数据平台的技术框架与工具实现主要有技术架构师、JAVA 开发等。  用户面对是结构化生产系统数据源。 用户群体之互联网数据平台用户  互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化；  互联网数据平台的使用与建设方是来自各方面的人，数据平台又是技术、数据产品推进建设的。  分析师参与数据平台直接建设比重增加。  原有的数据仓库开发与模型架构师的职能也从建设平台转为服务与咨询.  用户面对是数据源多样化，比如日志、生产数据库的数据、视频、音频等非结构化数据 。 从这用户群体角度来说这非互联网、互联网的数据平台用户差异性是非常明显，互联网数据平台中很多理论与名词都是从传统数据平台传递过来的，本文将会分别阐述非互联网、互联网数据平台区别。 非互联网时代 自从数据仓库发展起来到现在，基本上可以分为五个时代、四种架构  约在1991年前的全企业集成  1991年后的企业数据集成 EDW时代  1994年-1996年的数据集市  1996-1997年左右的两个架构吵架  1998年-2001年左右的合并年代 数据仓库第一代架构 （开发时间 2001-2002年） 海尔集团的一个BI项目，架构的 ETL 使用的是 微软的数据抽取加工工具 DTS，老人使用过微软的 DTS 知道有哪些弊端，后便给出了几个DTS的截图。  功能：进销存分析、闭环控制分析、工贸分析等  硬件环境： 业务系统数据库：DB2 for Windows,SQL SERVER2000,ORACLE8I 中央数据库服务器：4*EXON,2G,4*80GSCSI OLAP 服务器：2*PIV1GHZ,2G,2*40GSCSI  开发环境：VISUAL BASIC,ASP,SQL SERVER 2000 数据仓库第二代架构 这是上海通用汽车的一个数据平台，别看复杂，严格意义上来讲这是一套EDW的架构、在 EDS数据仓库中采用的是准三范式的建模方式去构建的、大约涉及到十几种数据源，建模中按照某一条主线把数据都集成起来。 这个数据仓库平台计划三年的时间构建完毕，第一阶...