支 持 向 量 机 ( SV M) 原 理 及 应 用 一、SVM 的产生与发展 自 1995年 Vapnik (瓦 普 尼 克 )在 统 计 学 习 理 论 的 基 础 上 提 出 SVM作 为 模 式 识 别 的 新 方 法 之后 , SVM一 直 倍 受 关 注 。 同 年 , Vapnik和 Cortes提 出 软 间 隔 (soft margin)SVM, 通 过 引 进 松 弛变 量i 度 量 数 据ix 的 误 分 类 (分 类 出 现 错 误 时i 大 于 0), 同 时 在 目 标 函 数 中 增 加 一 个 分 量 用 来惩 罚 非 零 松 弛 变 量 (即 代 价 函 数 ),SVM的 寻 优 过 程 即 是 大 的 分 隔 间 距 和 小 的 误 差 补 偿 之 间 的 平衡 过 程 ; 1996年 , Vapnik等 人 又 提 出 支 持 向 量 回 归 (Support Vector Regression, SVR)的 方法 用 于 解 决 拟 合 问 题 。 SVR同 SVM的 出 发 点 都 是 寻 找 最 优 超 平 面 (注 : 一 维 空 间 为 点 ; 二 维 空 间为 线 ; 三 维 空 间 为 面 ; 高 维 空 间 为 超 平 面 。 ), 但 SVR的 目 的 不 是 找 到 两 种数 据 的 分 割平 面 ,而是 找 到 能准确预测数 据 分 布的 平 面 , 两 者最 终都 转换为 最 优 化问 题 的 求解 ; 1998年 , Weston等 人 根据 SVM 原 理 提 出 了用 于 解 决 多类 分 类 的 SVM方 法 (Multi-Class Support Vector Machines, Multi-SVM), 通 过 将多类 分 类 转化成二 类 分 类 , 将SVM应 用 于 多分 类 问 题 的 判断:此外, 在 SVM算法 的 基 本框架下, 研究者针对不 同 的 方 面 提 出 了很多相关 的 改进 算法 。 例如,Suykens提 出 的 最 小 二 乘支 持 向 量 机 (Least Square Support Vector Machine, LS—SVM)算法 ,Joachims等 人 提 出 的 SVM-1ight,张学 工提 出 的 中 心支 持 向 量 机 (Central Support Vector Machine, CSVM), Scholkoph和 Smola基 于 二 次规划提 出 的 v-SVM等 。 此后 , 台湾大 学 林智仁(Lin Chih-Jen)教授等 对SVM的 典型应 用 进 行总结, 并设计 开发 出 较为 完善的 SVM工具包, 也就是LIBSV...