基于AIOps的IT自动化运维应用与研究 VIP免费

基于AIOps的IT自动化运维应用与研究摘要：AIOps(ArtificialIntelligenceforITOperations)已逐渐被证明对于提升运维质量、降低运维成本和提高运维效能方面有着明显改进作用，被认为是IT自动化运维的“终极”解决方案。但是对于大多数企业来说，从传统的运维模式演进成AIOps仍然是一个巨大挑战。本文分析了IT自动化运维的典型应用场景，着重介绍了典型的AIOps需要具备的五种能力，即感知能力、检测能力、定位能力、业务能力和交互能力。本文提出的AIOps系统采用了模块间互操作服务的分层设计，使其能够很好地兼容传统的异构系统，不仅实现了与一些关键技术的融合，包括数据类别，数据库集群，服务网关和操作安全，而且已部署在一个复杂的大型IT环境中，有数百个设备节点。测量结果表明，在类似服务器“PING”故障等模糊诊断信息情况下，AIOps系统的故障自愈率可超过80%。关键词：AIOps；IT运维；自动化运维；AIOps系统1.IT自动化运维概述当今IT运维环境比以往任何时候都更加复杂，现代IT系统能在短时间内产生的海量数据和数亿级的告警信息，如何去管理这些数据以及发现其中的故障隐患，对于IT运维团队来说是一项巨大的考验和挑战。AIOps已被证明对于提升运维质量、降低运维成本和提高运维效能方面有着明显改进作用。IT运维部门可以削减约70%的人员数量，大大减少人工成本的开支。AIOps预计将是IT自动化运维领域的“终极”解决方案，随着近年来人工智能技术应用的日益普及，无论是互联网公司还是中小企业都在探索建立自有的基于人工智能的IT自动化运维管理系统或平台。1.IT自动化运维中的AIOps应用分析例如系统开发，已经从交付盒装产品转变为发布服务产品(包括在线服务和应用程序)。服务的构建和发布方式均不同于传统的盒装产品，是一种促进服务持续开发和发布的方法，已被广泛采用，但随着云计算技术的推广，服务的规模和复杂性急剧增加，系统开发和服务人员在使用系统开发所带来的高效构建运行服务同时，也面临着巨大的挑战。因此这就突显了IT运维服务的重要性。1.IT自动化运维中的AIOps应用研究在本节中将重点介绍一个典型的IT运维人工智能系统需要具备的五种能力，即感知、检测、定位、业务和交互。基于这些能力提出了AIOps系统设计，包括分层设计和互操作性。3.1分层架构设计第一层是感知层：感知的能力直接与IT系统底层或基础环境相互作用，因此可以被列为单独的一层，对于感知收集海量的数据，需要有存储和计算的能力，一般来说大数据解决方案是这一层的不错选择。第二层是检测/定位层：检测和定位能力依赖于各种算法、模型和经验，可以在许多业务场景中共享，因此将这两种能力合并到一个层次。第三层是业务/交互层：业务和场景基于算法和模型，支持大量IT应用，如故障自愈、硬盘故障预测、容量规划、问答系统等，由于业务和场景需要与人交互，为了使这种交互更加智能和方便，还需要定义这样一个层级。3.2互操作性3.2实施策略为了加快建设与部署，采取以下原则:一是优先选择，选择业务场景层中急需运维的应用程序，并优先构建这些应用程序所依赖的模块。二是避免重建，如果现有系统的功能满足需要，更倾向于修改它们的接口使之兼容而不是重新构建它们，因为这可能会浪费很多时间，而且收效甚微。在AIOps系统的实施过程中，重点考虑了数据类别、数据库集群、服务网关和操作安全等关键技术的融合问题。对于一个主流的IT系统运维，从感知层收集的数据包括以下几类:1.度量--数值数据随时间变化，例如CPU利用率、内存利用率和网络流量。2.日志--各种硬件设备、操作系统、中间件和应用程序生成的非结构化文本数据。3.逻辑关系--描述模块之间或模块内部函数之间的调用关系，有助于应用程序的故障定位。4.配置数据库--CMDB，如设备信息、业务配置等结构化数据。5.业务流数据--业务管理系统生成的数据。6.多媒体数据--通常是非结构化和非文本的，如图片、音频、视频等。在标准服务体系结构下，通常有一个服务网关作为所有服务的入口。服务网关可以实现负载平衡、故障转移、统一权限控制以及服务统计和评估。一开始的设计也采用了网关模式，但最终放弃了这一设计，原因是：一、服务网关...