1 Deep Learning 深度学习总结 一、Deep Learning的基本思想 假设我们有一个系统 S，它有 n 层（S1,…Sn），它的输入是 I，输出是O，形象地表示为： I =>S1=>S2=>…..=>Sn => O，如果输出 O 等于输入 I，即输入 I 经过这个系统变化之后没有任何的信息损失（呵呵，大牛说，这是不可能的。信息论中有个“信息逐层丢失”的说法（信息处理不等式），设处理 a信息得到 b，再对 b 处理得到 c，那么可以证明：a 和 c 的互信息不会超过 a和 b 的互信息。这表明信息处理不会增加信息，大部分处理会丢失信息。当然了，如果丢掉的是没用的信息那多好啊），保持了不变，这意味着输入 I 经过每一层 Si 都没有任何的信息损失，即在任何一层 Si，它都是原有信息（即输入 I）的另外一种表示。现在回到我们的主题 Deep Learning，我们需要自动地学习特征，假设我们有一堆输入 I（如一堆图像或者文本），假设我们设计了一个系统 S（有 n 层），我们通过调整系统中参数，使得它的输出仍然是输入 I，那么我们就可以自动地获取得到输入 I 的一系列层次特征，即 S1，…, Sn。 对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了。 另外，前面是假设输出严格地等于输入，这个限制太严格，我们可以略微地放松 这个限制，例 如我们只 要使得输入与 输出的差 别 尽 可能地小 即可，这个放松 会导 致 另外一类 不同 的 Deep Learning 方法。上 述 就是 Deep Learning的基本思想。 二 、Deep learning与 Neural Netw ork 深度学习是机 器 学习研 究 中的一个新 的领 域 ，其动机 在于建 立 、模 拟 人脑 进行分析 学习的神 经网 络 ，它模 仿 人 脑 的机 制来解 释 数据 ，例 如图像，声 音和文本。深度学习是无 监 督 学习的一种。 深度学习的概 念 源 于人 工 神 经网 络 的研 究 。含 多隐 层的多层感 知 器 就是一种深度学习结构 。深度学习通过组 合 低 层特征形成 更 加抽 象的高 层表示属 性类 别 或特征，以发 现数据 的分布 式特征表示。 Deep learning 本身 算 是 machine learning 的一个分支 ，简 单 可以理解 为neural netw ork 的发 展 。大约 二 三 十 年 前，neural netw ork 曾 经是 ML 领 域 特...
