深度学习基础知识整理 Without deviation from the norm，progress is not possible（不偏离常规，就无法取得进步-Frank Zappa） 第一课：数学分析与概率论 Taylor 展式及其应用、凸函数、jensen 不等式、常见分布与共轭分布 第二课：数理统计与参数估计 Cheby shev 不等式、大数定理、小数定理、中心极值定理、矩阵计算、最大似然估计 第三课:矩阵和线性代数 从马尔克夫模型看矩阵、特征向量、对称矩阵、线性方程 第四课:凸优化 凸函数、共轭函数、凸优化、Lagrange 对偶函数 第五课：回归 高斯分布、Logistic 回归、梯度下降、特征选择与过拟合欠拟合关系 应用方向：线性回归、Logistic 回归实现和分析 第六课：梯度下降与拟牛顿法 梯度下降算法、自适应学习率、拟牛顿、LBFGS 应用方向：自适应学习率代码实现和参数调试分析 第七课：最大熵模型 熵、相对熵、信息增益、最大熵模型、Softmax 回归 应用方向：独立成分分析 ICA 求解盲源分离 BBS 问题 第八课：决策树和随机森林（蒙特卡罗） ID3、C4.5、CART、Bagging 研究方向:使用随机森林进行数据分类（蒙特卡洛） 第九课：SVM 线性可分支持向量机、软间隔、核函数、SMO 研究方向：使用 SVM 进行数据分类 第十课：聚类 K-means/K-Medoids、密度聚类、谱聚类、 应用方向：K-means、谱聚类代码实现和参数调试分析 第十一课：推荐系统 相似度量方案、协同过滤（User-based/ltem-based）、PCA/SVD、随机游走 应用方向：协同过滤用于商品推荐、SVD 隐变量的推荐 第十二课：提升 梯度提升决策树 GBDT、Adaboost、前向分步算法 应用方向：Adaboost 与随机森林（蒙特卡洛）结合、用于数据分类 第十三课：EM 算法和 GMM EMM 算法、GMM、主题模型 pLSA 应用方向：分解部分观测数据的男女身高、图像分解 第十四课：普斯贝叶斯和贝叶斯网络初步 有向分离、（隐）马尔科夫模型 HMM 第十五课：主题模型用 EM 算法计算 pLSA、Dirichiet 分布、LDA、Gibbs 采样 应用方向：使用Gibbs 采样计算给语料的主题 第十六课：采样 MCMC（Markov chain Monte Carlo）、Metropolis-Hastings算法、Gibbs 采样 第十七课：变分 KL(pllq)与 KL（qllp）分析、平均场理论 第十八课：隐马尔科夫模型 HMM 概率计算问题、HMM 参数学习问题、状态预测问题 应用方向：使用HMM 进行中文分词 第十九课：条件随机场 CRF 无向图模型、MRF、...
