告警全流程-溯源数据完整性核查VIP专享

溯源数据完整性核查1. 数据流走向1.1 数据流图数据流图1） 全流程是基于告警模块产生的全流程日志，溯源服务通过 ftp 方式去猎取日志，做相应的分析呈现。在告警模块产生的全流程日志都放在$AFM_LOG目录下。2） 全流程日志分为三种，index、state、data 日志，index 和 state 所有模块都有，data 日志只有 RT 和 SC 有,index 是正常的数据文件，state 是引起告警丢失的日志，data 是告警原文日志。3） 溯源服务分为三个模块：alarmLocate、alarmTrace、solr-server，alarmLocate 是负责数据 index、state 数据入库，并且生成 5 分钟汇总数据（tfm_alg_rec_5m）和产生告警，solr-server 主要对告警原文进行全文索引做模糊匹配的。4） 上层模块，拓扑图呈现的数据是通过 java 服务生成，wcf 生成数据库的相关访问服务。1.2 汇总表关系数据入库此部分数据是直接从告警模块采集来的数据，由 alarmlocate 负责入库。数据源数据目标算法说明index 日志tfa_alg_rec 表不做计算处理从原文中猎取数据后入库，model_id 是从文件名读取出来，原文字段含义：“24 个标识符|FP0|FP1|FP2|FP3|CFP0|CFP1|CFP2|CFP3|告警状态|告警级别|告警标题|specialid|告警采集时间|接收的时间|发送出去时间”state 日志tfa_alg_lostsum 日志tfa_alg_outsumdata 日志全文索引在全文索引服务机器上生成索引 低粒度汇总alarmLocate 模块基于原始粒度的数据做 5 分钟汇总，源表是意义上实质 alarmLocate 不是基于源表的汇总，是基于入源表之前缓存在内存中的数据，这样效率更高。目标表目标字段源表算法说明其他说明tfm_alg_rec_5mAlarm_cnttfa_alg_rectfa_alg_losttfa_alg_rec 表 count(*)+tfa_alg_lost 表 count(*)group byAlarm_err_cnttfa_alg_lost 表 count(*)--异常丢失group byAlarm_skip_cnttfa_alg_lost 表 count(*)--正常业务处理丢失group byDelay_sumtfa_alg_rec 表send_time - rec_timegroup byDelay_maxtfa_alg_recmax（send_time - rec_time）group bytfm_alg_lost_cause_5mAlarm_err_codetfa_alg_losterr_contentgroup byAlarm_err_cntcount(*)group bytfm_alg_delay_topn_5mdelaytfa_alg_rectfa_alg_lostsend_time - rec_timegroup bytopnsource根据两个表分别做统计tfm_alg_outsum 广东需求tfm_alg_outsum_visit 广东需求tfm_alg_rec_scan_visit 广东需求 关于错误说的说明，有两类错...