大数据系统运维课件系统管理及日常巡检VIP免费

第二章系统管理及日志巡检2.1系统建设2.2系统管理对象2.3系统管理内容2.4系统管理工具习题2.5系统管理制度规范2.6日常巡检2.1系统建设第二章系统管理及日志巡检技术方案业务系统层01资源管理层03数据计算层02数据收集/存储层04大数据系统应该具有以下4个特点：①弹性容量大；②高性能；③集成化；④自动化。常规的大数据系统架构图2.1系统建设第二章系统管理及日志巡检技术方案静态数据的批量处理：Hadoop流式数据的实时处理：Storm交互式数据：Spark目前，大数据系统主要的应用场景和典型的大数据系统技术方案有以下三种：2.1系统建设第二章系统管理及日志巡检部署实施针对不同的源数据和业务需求，需要部署不同的技术框架。而Hadoop是其中最受欢迎、最成熟、应用最广的大数据系统架构，其他的大数据架构很多都是基于Hadoop进行扩展和优化，因此本节主要介绍Hadoop架构的部署实施。2.1系统建设第二章系统管理及日志巡检测试验收A功能测试B性能测试C可用性测试D容错性测试E稳定性测试第二章系统管理及日志巡检2.1系统建设2.2系统管理对象2.3系统管理内容2.4系统管理工具习题2.5系统管理制度规范2.6日常巡检2.2系统管理对象第二章系统管理及日志巡检系统管理对象2.2系统管理对象第二章系统管理及日志巡检分布式的架构搭建大数据分析系统的部署过程分一下几部分：底层操作系统分布式计算系统架构数据分析算法及工具结果可视化及输出API2.2系统管理对象第二章系统管理及日志巡检系统硬件服务器环境数据采集服务器、数据清洗转换服务器、分布式存储服务器、并行分析服务器、数据管理服务器和数据运营服务器。存储环境数据存数主要包含结构化数据存储，半结构化数据存储，非结构化数据存储。备份环境选择合适备份方式，适当备份存储空间，对大数据平台的数据进行备份，备份存储可以考虑使用第三方数据服务机构的异地备份服务。网络环境如果相关数据信息是经由互联网采集，则必须选择满足互联网基本采集要求的，并适合该大数据系统的Internet网络类型。2.2系统管理对象第二章系统管理及日志巡检系统数据原始系统数据预处理后数据存储数据备份数据2.2系统管理对象第二章系统管理及日志巡检IT供应商01数据提供商02架构和平台提供商03大数据咨询公司04分析运营商05可视化供应商第二章系统管理及日志巡检2.1系统建设2.2系统管理对象2.3系统管理内容2.4系统管理工具习题2.5系统管理制度规范2.6日常巡检2.3系统管理内容第二章系统管理及日志巡检事件管理在IT服务管理中事件管理是重要流程之一，事件解决的时效性决定系统管理服务的质量。事件管理是指及时处理中断的IT服务并快速恢复IT服务能力。事件的来源来自于IT报告、监控系统自动转发等。事件管理流程的目的是为了降低IT故障对企业业务的影响，达到提升业务稳定性的作用。具体操作是，按照事件的优先级，多渠道及时响应服务请求，快速有序地解决，从而减少IT服务中断造成的影响。2.3系统管理内容第二章系统管理及日志巡检问题管理问题管理通过标准化的方法管理已发生的IT的技术问题，其目的是为了帮助企业提高工作效率。问题管理流程的主要阶段为：问题的识别和提交、调查和诊断、实施解决以及回顾关闭。作为一个旨在提高效率的管理流程，问题管理流程的目的是要找到管账的根本原因，设计并实施解决方案，提高系统稳定性。2.3系统管理内容第二章系统管理及日志巡检配置管理配置管理是对IT资源进行管理的重要步骤之一，也是大数据运维重要依据。配置管理是IT管理的关键，也是事件管理、问题管理等流程审查原因所在，具体数据来自配置管理数据库。配置管理录入并管理IT基础设施的配置信息，是IT服务准确的信息来源。由配置流程经理组织制定或修订配置管理相关定义与策略，包括：配置管理的范围、结构规划、审核策略等，并接受部门负责人的审阅确认。2.3系统管理内容第二章系统管理及日志巡检变更管理变更管理的目的是有效的审批和控制IT设施变更，及时降低业务故障率，保证业务尽快、正常、有序地运行，从而减少故障对用户的影响，以提升服务质量。变更管理在于规范和控制变更流程：在保证管控的前提下发起评估、批准、实...