©2011MERIT.AllRightsReserved.MERIT&itslogo,aretrademarksofMERIT.智慧数据财富未来电力行业数据挖掘应用西安美林数据挖掘研究中心智慧数据财富未来2目录第一章数据挖掘基础知识第二章电力行业应用案例第三章数据挖掘咨询过程智慧数据财富未来3数据挖掘定义数据挖掘（DataMining，简称：DM）：是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。是知识发现（Knowledge-DiscoveryinDatabases，简称：KDD)中的一个重要步骤。广泛应用：需要是发明之母。近年来，数据挖掘技术在信息产业界得到了高度的重视和广泛的应用，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛用于各种应用，包括商务管理，生产控制，市场分析，工程设计和科学探索等。智慧数据财富未来4数据挖掘基本原理数学模型过热放电…运行状态地域因素…电气参数数据建模基于物理定律、化学公式等基本理论建立工程问题的数学模型——如：万有引力定律，卡门-钱定律等。机理模型从数据中发现变量之间的函数关系、规则、模式等。基本原理：把研究对象作为黑箱，仅研究输入-输出关系(反映系统论的观点)。数据挖掘模型参考定性原理、经验，基于数据建立数学模型机理不明确无法建立数学公式油气含量环境因素智慧数据财富未来5数据挖掘解决问题的思路数据挖掘在解决实际问题时经常会把数据拆分为两个数据集：训练数据集、测试数据集。通过数据挖掘算法对训练数据集进行建模，寻找X和Y之间的数学模型，然后通过测试数据集来验证该数学模型的准确率，如果误差能够达控制到一定精度，则认为该模型很好的反映了X和Y的关系，可以用来进行预测和分析。数据挖掘算法建模线性回归神经网络……训练数据集测试数据集Y=f(x1,x2,x3,xn)通过数据挖掘找到函数f(x)通过测试数据集验证f(x)智慧数据财富未来6数据挖掘算法关联时序分类回归聚类算法分类数据挖掘算法分类K最近邻决策树贝叶斯网络Logistic回归机器学习集成学习L1VR，L1/2VR最小二乘回归支撑向量机回归相关向量机回归LASSO回归梯度BoostingFP-GrowthApriorARMAARMA层次聚类视觉聚类网格聚类智慧数据财富未来•市场组合分析•套装产品分析•广告投放组合•…从数据库中发现属性之间隐含的关联关系、相关性、因果关系。●美国麦当劳公司用关联分析方法研究顾客喜好，将多数顾客喜欢的品种配成套餐，大大增进了销售额。●移动公司利用关联规则分析手机用户的习惯，进行有针对性的业务推荐●优惠券的设计，利用关联规则将关联性强的商品搭配在一起，从而对特定商品促销●顾客购买商品时那些经常同时购买？●用户习惯于同时使用移动公司哪些增值服务？●哪些故障经常会一起发生？●哪几种疾病常会相继发生？关联分析(associationanalysis)典型算法：Aprior算法7数据挖掘算法——关联分析智慧数据财富未来1.聚类分析(Clusteranalysis)“物以类聚，人以群分”，聚类分析法(Clusteranalysis)是研究如何将考察对象按照一定的规则分成若干类别的方法,它对具有共同趋势或结构的数据进行分组。特点：事先并不知所研究对象有多少个类别，根据对象的特征，由算法确定其数目。聚类属于无监督学习。作用：对所研究对象更准确的地分类。规则:类与类之间的差别应尽可能大,类内的差别应尽可能小。即“最小化类间的相似性,最大化类内的相似性”。有利可图和无利可图的客户具有哪些特征？盗电用户具有哪些共同属性？具有哪些属性的设备生命周期更长？哪些人群汽车保险中索赔率较高的？在卫星图片中发现哪些土地具有相同属性的？那些区域地震可能性较高？10/20/20248数据挖掘算法——聚类分析智慧数据财富未来•回归方法)(,),(),(,2,21,1NNyxyxyx黑箱…●数据建模机理模型：在透彻阐述事物变化机理基础上的建模，模型描述因变量与自变量间相互作用机理与变化规律(如变压器故障与油中气体成分的关系)。障碍：建模中，近似是必须的(不准确性);太复杂,无从下手(建不了模)。)(xfy数据(Data)模型(Model)),(xfy…1x2xNx1yNy2yix...
