一种用于大规模网络安全监控的大数据架构

网络流量为网络安全监控提供了丰富的信息来源。但是,随着需处理的数据量不断增加,可能引发大量的技术问题,从而使得整体网络流量分析的技术难度变大。通过引入一个用于本地企业网络安全监控的架构,提出了一种大数据量安全监控分析的技术解决方案。主要应用目标是网络入侵的检测、预防及取证分析。方案架构由两个系统组成,一个用于可扩展的分布式数据存储及管理,另一个用于数据利用。DNS数据、网络流量记录、HTTP流量和蜜罐数据等在本方案中被最先进的大数据解决方案关联与挖掘。还提出了一个数据关联方案,并针对Hadoop、Spark等大数据框架对其性能进行了评估。