1 第一章 数据-人类建立文明的基智能时代如果我们把资本和机械动能作为大航海时代以来全球现代化推动力的话,那么数据将成为下一次技术革命和社会变革的核心动力。1.1 现象、数据、信息和知识人类观察现象得到数据,从数据中得到信息,对信息和数据进行处理后,个得到知识。1.2 数据的作用:文明的基石人类观察现象得到数据,从数据中得到信息,对信息和数据进行处理后,得到知识。获取数据-分析数据-建立模型-预测未来1.3 相关性:使用数据的钥匙很多时候,我们无法直接获得信息(疫情传播情况),但可以通过将关联的信息(各地的搜索情况)量化,然后通过数学模型,间接地得到所要的信息。而各种数学模型的基础都离不开概率论和统计学。1.4 统计学:点石成金的魔棒是建立在概率论基础之上,收集、处理、和分析数据,找到数据内在的关联性和规律性和学科。两个重要维度:量和质。数据量充足,且具有代表性。(美国总统大选)1.5 数据模型:数据驱动方法的基础寻找模型和参数,机器学习。只要数据量足够,可用多个简单模型代替一个复杂模型,这种方法成为数据驱动方法。2 第二章大数据和机器智能在有大数据之前,计算机并不擅长解决需要人类智能的问题,今天可以变智能问题为数据问题。由此,全世界开始了新的一轮技术革命-智能革命。2.1 什么事机器智能第一台计算机 ENIAC,计算弹道轨迹,蒙巴顿将军命名电脑;阿兰图灵定义机器智能2.2 鸟飞派:人工智能 1.01956 年达特茅斯头脑风暴。传统:机器模仿人类即为机器智能。2.3 另辟蹊径:统计+数据70 年代后,采用数据驱动和超级计算的方法。90 年代后,互联网兴起,数据获取变得容易。2.4 数据创造奇迹:量变到质变数据向外扩展,开始交叉,数据关联性越来越强,出现了大数据。2.5 大数据的特征大量(Vast)、多样性(Variety)、及时性(Velocity)2.6 变智能问题为数据问题机器利用大数据,从中学习获得信息和知识。和摩尔定律、数学模型一起导致了机器智能的出现。3 第三章思维的革命在无法确定因果关系式,数据为我们提供了解决问题的新方法,数据中所包含的信息可帮助我们消除不确定性,而数据之间的相关性在某种程度上可以取代原来的因果关系,帮助我们得到答案,这边是大数据思维的核心。3.1 思维决定科学成就从欧几里得到托勒密再到牛顿,在思想方法上是一脉相承又不断发展的。牛顿把欧几里得方法论推广从数学推广到自然科学。把托勒密用机械运动描述天体扩展到描述世...