深度学习读书笔记pdf 深度学习读书笔记pdf【篇一： deep learning深度学习总结】deep learning深度学习总结一、 deep learning的基本思想假设我们有一个系统s，它有 n 层（s1, ⋯sn），它的输入是 i，输出是 o，形象地表示为：i =s1=s2= ⋯..=sn = o ，如果输出 o 等于输入i，即输入 i 经过这个系统变化之后没有任何的信息损失（呵呵，大牛说，这是不可能的。信息论中有个“信息逐层丢失 ”的说法（信息处理不等式），设处理a 信息得到 b，再对 b 处理得到 c，那么可以证明：a 和 c 的互信息不会超过a 和 b 的互信息。这表明信息处理不会增加信息，大部分处理会丢失信息。当然了，如果丢掉的是没用的信息那多好啊），保持了不变，这意味着输入i 经过每一层si 都没有任何的信息损失，即在任何一层si ，它都是原有信息（即输入i）的另外一种表示。现在回到我们的主题deep learning，我们需要自动地学习特征，假设我们有一堆输入i（如一堆图像或者文本），假设我们设计了一个系统s（有 n 层），我们通过调整系统中参数，使得它的输出仍然是输入i，那么我们就可以自动地获取得到输入i 的一系列层次特征，即 s1 ，⋯, sn 。对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了。另外，前面是假设输出严格地等于输入，这个限制太严格，我们可以略微地放松这个限制，例如我们只要使得输入与输出的差别尽可能地小即可，这个放松会导致另外一类不同的deep learning方法。上述就是deep learning的基本思想。二、 deep learning与 neural network深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。deep learning本身算是 machine learning的一个分支，简单可以理解为 neural network的发展。大约二三十年前，neural network曾经是 ml 领域特别火热的一个方向，但是后来确慢慢淡出了，原因包括以下几个方面：1）比较容易过拟合，参数比较难tune ，而且需要不少trick ；2）训练速度比较慢，在层次比较少...
