Web 日志分析系统设计与应用 摘要:作为网络安全的重要领域,Web 日志分析系统一方面能够改进 Web 网站结构,促进 Web 服务器性能提升;另一方面能够帮助识别用户的喜好及满意程度,寻找潜在用户群体,提升网站服务核心竞争力
笔者介绍了 Web 日志分析系统设计策略,探究了其实际应用进展前景,为 Web 日志分析系统效率的提升提供参考
关键词:Web 日志分析系统;系统设计;数据预处理 信息时代背景下,网站大小、数目及复杂度等呈现出持续增长趋势,传统运维管理中,日志管理存在不法律规范、易删除、不方便使用等问题,企业假如没有专业的日志管理或日志分析工具,很难满足网络安全法的合规要求
日志分析是 IT 运维领域非常重要的一项工作,甚至可以说,在平台化、模块化、服务化盛行的今日,这项工作的重要性已接近传统的设备监控
不过日志由于来源、使用者、管理者都比设备指标要复杂,导致日志分析的功能需求也较大[1]
1Web 日志分析系统设计 Web 日志分析系统数据挖掘主要包括数据预处理、模式挖掘及模式分析三个阶段
日志分析功能实现了自动收集汇总日志和智能化解析,可以减少运维管理中日志查询搜索的巨大工作量
全面系统化日志分析,满足日常运维需要,从安全角度分析海量日志数据,深层次挖掘攻击事件
日志搜索能够通过选择系统日志或Web 日志以及日志产生的时间,搜索日志内容
统计分析包含系统日志常规分析、Web 日志常规分析和威胁分析
异常行为规则设置,主要设置异常行为的判定规则,包含了安全狗累积的经验规则
日志采集菜单主要是查看日志采集状态,可以开启、暂停或关闭主机或 Web 采集
同时,还可以手动上传日志文件,该系统组成如图 1所示
1 数据预处理模块
在进行数据预处理前,首先要收集原始数据,将收集的原始 Web 数据导入数据库中,建立 WALS 数据表,其主要针对的是原始 Web 访