关于深度学习1、深度学习的起源人工智能（ArtificialIntelligence）就像长生不老和星际漫游一样，是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步，但是到目前为止，还没有一台电脑能产生“自我”的意识。计算机能够具有人的意识起源于图灵测试（TuringTesting）问题的产生，由“计算机科学之父”及“人工智能之父”英国数学家阿兰·图灵在1950年的一篇著名论文《机器会思考吗？》里提出图灵测试的设想：把一个人和一台计算机分别隔离在两间屋子，然后让屋外的一个提问者对两者进行问答测试。如果提问者无法判断哪边是人，哪边是机器，那就证明计算机已具备人的智能。但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。这不仅让多年翘首以待的人们心灰意冷，认为人工智能是忽悠，相关领域是“伪科学”。直到深度学习（DeepLearning）的出现，让人们看到了一丝曙光。至少，图灵测试已不再是那么遥不可及了。2013年4月，《麻省理工学院技术评论》杂志将深度学习列为2013年十大突破性技术之首。了解深度学习的起源，首先让我们先来了解一下人类的大脑是如何工作的。1981年的诺贝尔医学奖，分发给了DavidHubel、TorstenWiesel和RogerSperry。前两位的主要贡献是，发现了人的视觉系统的信息处理是分级。如图1所示，从视网膜（Retina）出发，经过低级的V1区提取边缘特征，到V2区的基本形状或目标的局部，再到高层V4的整个目标（如判定为一张人脸），以及到更高层的PFC（前额叶皮层）进行分类判断等。也就是说高层的特征是低层特征的组合，从低层到高层的特征表达越来越抽象和概念化。大脑的工作过程，是一个对接收信号不断迭代、不断抽象概念化的过程。例如，从原始信号摄入开始（瞳孔摄入像素），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定眼前物体的形状，比如是椭圆形的），然后进一步抽象（大脑进一步判定该物体是张人脸），最后识别人脸。这个过程其实和我们的常识是相吻合的，因为复杂的图形，往往就是由一些基本结构组合而成的。同时我们还可以看出：大脑是一个深度架构，认知过程也是深度的。而深度学习，恰恰就是通过组合低层特征形成更加抽象的高层特征（或属性类别）。例如，在计算机视觉领域，深度学习算法从原始图像去学习得到一个低层次表达，例如边缘检测器、小波滤波器等，然后在这些低层次表达的基础上，通过线性或者非线性组合，来获得一个高层次的表达。此外，不仅图像存在这个规律，声音也是类似的。2、深度学习的发展1943年，心理学家WarrenMcculloch和数理逻辑学家WalterPitts在合作的论文[7]中提出并给出了人工神经网络的概念及人工神神经元的数学模型，从而开创了人类神经网络研究的时代。1949年，心理学家DonaldHebb在论文[8]中提出了神经心理学理论，Hebb认为神经网络的学习过程最终是发生在神经元之间的突触部位，突触的联结强度随着突触前后神经元的活动而变化，变化的量与两个神经元的活性之和成正比。1956年，心理学家FrankRosenblatt受到这种思想的启发，认为这个简单想法足以创造一个可以学习识别物体的机器，并设计了算法和硬件。直到1957年，FrankRosenblatt在《NewYorkTimes》上发表文章《Electronic‘Brain’TeachesItself》，首次提出了可以模型人类感知能力的机器，并称之为感知机（Perceptron）。感知机是有单层计算单元的神经网络，由线性元件及阈值元件组成。感知器的做大作用就是对输入的样本分类，故它可以作为分类器感知器对输入信号的分类。感知机是整个神经网络的基础，神经元通过激励函数确定输出，神经元之间通过权值进行传递能量，权重的确定根据误差来进行调节，这个方法的前景是整个网络是收敛的。有关感知机的成果，FrankRosenblatt在1958年发表在文章。1962年，他又向大众深入解释感知机的理论知识及背景假设。单层感知机的局限性：单层感知机仅对线性问题具有分类能力，即仅用一条直线可分的图形，但是，如果让感知机解决非线性问题，单层感知机就无能为力了，如图8所示。例如，“异或”就是非线性运算，无法用一条直线分割开来，如图9所示。虽然，感知机最初被认为有...
