织云Metis时间序列异常检测全方位解析VIP免费

织云Metis时间序列异常检测全方位解析腾讯社交网络运营部——Metis智能运维团队•传统时序监控的问题与新思路•检测算法原理与应用•特征工程与打标工程•样本库建设与管理•Metis概述（智能运维应用实践）业务规模•轻微的异常就会影响到大量的外网用户在线2.8亿月活8.05亿SNG服务器20w+社交类指标240w+传统监控与新思路形态各异准确率低维护成本高•随着业务发展，传统监控呈现出的一些问题传统监控与新思路算法和机器学习的新思路是否可应用？•传统时序监控的问题与新思路•检测算法原理与应用•特征工程与打标工程•样本库建设与管理•Metis概述（智能运维应用实践）常见的机器学习算法回归基于实例正则化贝叶斯聚类基于核关联规则决策树深度学习从大量输入中总结出准确预测的规律（模型）数值型预测0/1型预测概率型预测等技术路线演进•基于正态分布的假设•基于弱平稳性的假设•基于趋势性，周期性时间序列的统计算法•正负样本不均衡•正负样本不全面•负样本稀少，难以获取分类问题（只用有监督算法）•使用统计判别和无监督算法过滤掉大量正样本•人工标注正负样本•有监督算法提升精准度解决方案（无监督+有监督）技术框架离线模块数据存储统计算法&无监督算法输出疑似异常样本库（人工标注）特征工程（离线计算）有监督算法（离线计算）数据提取统计算法&无监督算法输出疑似异常加载有监督模型特征工程（实时计算）有监督算法（输出异常）在线模块ABTest模块人工审核Atest（实验模型A）Btest（实验模型B）第一层：统计判别算法数据提取•以当前时刻为标准•七天前后三小时+昨天前后三小时+今天前三小时Grubbs•3sigma原理控制图•移动平均算法•指数移动平均算法√×3sigma算法与控制图算法的优缺点第一层：无监督算法√×无监督学习算法的优缺点数据提取•以当前时刻为标准•七天前后三小时+昨天前后三小时+今天前三小时孤立森林•可以从多维特征中寻找异常点SVM•使用超平面的思想来进行异常/正常的区分RNN•使用神经网络的误差来进行异常判断第一层：无监督算法IsolationForest•属于无监督算法•集成学习的思想•适用于连续数据的异常检测•通过多颗iTree形成森林来判断是否异常第一层：无监督算法OneClassSVM•属于无监督算法•使用了超平面的思想•适用于连续数据的异常检测•适用于对样本进行一定比例的筛选•寻找高维平面区分正常点与异常点第一层：无监督算法ReplicatorNeuralNetwork•属于无监督算法•需要构造必要的特征•使用了神经网络的思想•适用于连续数据的异常检测•寻找神经网络的误差来区分正常点与异常点第二层：有监督算法有监督算法•LinearRegression/LogisticRegression•DecisionTree/NaïveBayes•RandomForest/GBDT/xgboost√有监督算法能解决的问题√•传统时序监控的问题与新思路•检测算法原理与应用•特征工程与打标工程•样本库建设与管理•Metis概述（智能运维应用实践）特征工程特征是数据中抽取出来的对结果预测有用的信息。特征工程包含了特征提取、特征构建、特征选择等模块样本初始特征分布情况特征监控样本分析全流程特征分析参数分析误差分析特征有效性分析离散化离群点分布共线性缺省值去均值归一化特征有效性分析特征选择特征组合与转换模型调优更新模型因子化相关性缺省值因子化连续特征离散特征标准化特征工程统计特征•最大值，最小值，值域•最小值位置、最大值位置•均值，中位数•平方和，重复值•方差，偏度，峰度•同比，环比，周期性•自相关系数，变异系数拟合特征•移动平均算法•带权重的移动平均算法•指数移动平均算法•二次指数移动平均算法•三次指数移动平均算法•奇异值分解算法•自回归算法•深度学习算法分类特征•熵特征•值分布特征•小波分析特征特征工程统计特征•最大值，最小值，值域•最小值位置、最大值位置•均值，中位数•平方和，重复值•方差，偏度，峰度•同比，环比，周期性•自相关系数，变异系数特征工程拟合特征•移动平均算法•带权重的移动平均算法•指数移动平均算法•二次指数移动平均算法•三次指数移动平均算法•奇异值分解算法•自回归算法•深度学习算法特...