哈尔滨工业大学工程硕士学位论-摘要互联网的高速发展带来了网络数据的膨胀。高速、海量的网络数据中包含着错综复杂的信息，其中可能有各种业务数据流，如 IP 业务流、用户点击流、用户查询流、网页服务器日志等；另外，其中也很有可能包含着各种安全事件，如恶意软件骚扰、网络攻击等。安全事件对网络的安全构成了极大的威胁。因此，网络数据流监测系统应运而生。本文首先描述系统背景，然后按照软件开发的一般流程，依次给出了系统的需求分析、概要设计、详细设计、实现等工作，并在论文中介绍了系统开发的相关技术。本系统基于 NetFlow 技术。系统从结构上主要由两个子系统组成，一个是数据采集子系统，该子系统负责从网络流接收代理中获取网络数据并进行协议解析，然后将解析后的流数据经过格式化统一代理转换为标准的 NetFlow 格式，在进程通信方面，本文采用了共享内存环的解决方法，通过对环的生产者和消费者进行合理协调，保证了系统的正确性和高可扩展性；另一个是实时流量监测子系统，该子系统从共享内存环上读取格式化后的 NetFlow 数据,经过实时统计、高频项监测、数据合并等内部模块进行相应的计算和处理，将计算结果写入存储代理中，在实时统计的 IP 数据包匹配方面，本文主要采用基于字典树的 IP 数据包匹配技术；在高频项监测方面，本文采用了哈希和计数的策略，在哈希表中，采用桶内链表的方法解决冲突，在计数方面采用了 AVL 树的结构，通过这样的结构，保证了包数和字节数统计的准确性和高效性；在数据存储方面，本文采用了分区表的解决方案，在一定程度上增加了系统的查询吞吐量。本文的最后通过功能测试和性能测试验证了数据采集子系统和实时流量监测子系统的正确性和高效性，为系统的应用奠定了基础。关键词：安全事件；NetFlow；共享内存环；高频项监测-哈尔滨工业大学工程硕士学位论AbstractThe rapid development of the Internet brought about the expansion of network data. The network data includes complex information, there may be a variety of operational data streams, such as IP traffic, the user click-stream, the user query stream and the web server logs, etc.; In addition, it may also contains a variety of security incidents, such as harassment, malicious software, network attacks. Security incide...
