Linux死机问题分析定位

一、现象初步推断:1、 判定是否死机：首先需要确定是否真正的死机了,而往往有些现象被现场误认为是死机了。是否死机的确定方法有如下：A、对于直接死掉的，没有任何反应的情况下，看看键盘输入是否有效，putty 是否能够登陆,BMC 是否能够登录;B、通过 last reboot 确认是否死机？死机的时间？C、通过在 messages 中对应的时间点看是否有 imklog 启动的日志？并在这个时间点前是否收到关机信号或者异常打印？D、通过在 boot。msg 中对应时间点有启动的相关记录，并同时查看在 boot.omsg 中是否有关机的相关日志打印？搜索：Shutting down 关键字看是否存在关机2、 是否人为操作出现系统重启现象，往往被认为是系统死机后然后重启的，这就通过重启现象了来认为系统死机过,但是这种系统重启是否是由于死机造成的，需要进行确定。A、通过同现场人员进行沟通，确认是否为人为的重启？比如按电源、拔电源等人为动作？B、通过 history 中查询在系统重启时的时间点附近有 reboot 或 halt、shutdown、init？C、通过在 BMC 日志中确认是否有通过 BMC 的操作进行系统的重启操作？对于直接拔电源致使系统重启的操作，在messges和boot。omsg中是没有相关的信息记录的,表现为系统日志和业务运行日志在同一时间全部消逝。对于按电源、命令进行重启操作，在messages中能够看到系统收到关机或者重启的信息，同时在boot.omsg中会有关机时的关闭系统服务的关机过程信息。对于在BMC上直接进行关机或者重启操作，信息记录就比较复杂了。而对于此种情况，在messages中和boot。omsg中是看不到相关的信息记录，同直接拔电源一样的.二、处理步骤:1、日志尽快猎取：在现场反馈出现死机问题后,第一时间反馈相关日志，并尽量多尽量准确全面,等待的时间越长日志可能就已覆盖,或清除，或环境重搭，致使定位工作受到阻碍.A、死机问题发生的时间点假如发生死机问题时测试或维护人员在场，需反馈死机问题发生的精确时间.B、死机具体现象描述死机问题的发生通常伴随着系统和业务方面的异常现象,系统异常包括服务器重启、系统挂死(如BMC黑屏)、系统迟缓（如命令无法执行或响应时间过长)、网络中断（如Ping检测失败）、登陆失败（如无法远程登陆或卡死在登陆界面)、文件系统异常（如文件只读或系统命令失效）等等;操作失败、超时、执行无返回等.项目结果服务器重启[OK/NOK］系统挂死（BMC或KVM黑屏）[OK/NOK]系统延缓（如命令无法执行或响应时间过长）［OK/NO...