支持向量机(SVM)原理及应用概述

支 持 向 量 机 （ SV M） 原 理 及 应 用 一、SVM 的产生与发展 自 1995年 Vapnik (瓦 普 尼 克 )在 统 计 学 习 理 论 的 基 础 上 提 出 SVM作 为 模 式 识 别 的 新 方 法 之后 ， SVM一 直 倍 受 关 注 。 同 年 ， Vapnik和 Cortes提 出 软 间 隔 (soft margin)SVM， 通 过 引 进 松 弛变 量i 度 量 数 据ix 的 误 分 类 (分 类 出 现 错 误 时i 大 于 0)， 同 时 在 目 标 函 数 中 增 加 一 个 分 量 用 来惩 罚 非 零 松 弛 变 量 (即 代 价 函 数 )，SVM的 寻 优 过 程 即 是 大 的 分 隔 间 距 和 小 的 误 差 补 偿 之 间 的 平衡 过 程 ； 1996年 ， Vapnik等 人 又 提 出 支 持 向 量 回 归 (Support Vector Regression， SVR)的 方法 用 于 解 决 拟 合 问 题 。 SVR同 SVM的 出 发 点 都 是 寻 找 最 优 超 平 面 (注 ： 一 维 空 间 为 点 ； 二 维 空 间为 线 ； 三 维 空 间 为 面 ； 高 维 空 间 为 超 平 面 。 )， 但 SVR的 目 的 不 是 找 到 两 种数 据 的 分 割平 面 ，而是 找 到 能准确预测数 据 分 布的 平 面 ， 两 者最 终都 转换为 最 优 化问 题 的 求解 ； 1998年 ， Weston等 人 根据 SVM 原 理 提 出 了用 于 解 决 多类 分 类 的 SVM方 法 (Multi-Class Support Vector Machines， Multi-SVM)， 通 过 将多类 分 类 转化成二 类 分 类 ， 将SVM应 用 于 多分 类 问 题 的 判断：此外， 在 SVM算法 的 基 本框架下， 研究者针对不 同 的 方 面 提 出 了很多相关 的 改进 算法 。 例如，Suykens提 出 的 最 小 二 乘支 持 向 量 机 (Least Square Support Vector Machine， LS—SVM)算法 ，Joachims等 人 提 出 的 SVM-1ight，张学 工提 出 的 中 心支 持 向 量 机 (Central Support Vector Machine， CSVM)， Scholkoph和 Smola基 于 二 次规划提 出 的 v-SVM等 。 此后 ， 台湾大 学 林智仁(Lin Chih-Jen)教授等 对SVM的 典型应 用 进 行总结， 并设计 开发 出 较为 完善的 SVM工具包， 也就是LIBSV...