网络安全态势感知中的三种网络流量分析技术

目前在市面上以网络流量作为数据来源的安全产品和解决方案各式各样,近年来都是打着态势感知大旗到处吆喝。有的厂商强调IDS/IPS/APT的特征检测技术,有点厂商强调全流量采集、存储和分析技术。其实,根据工具和流量规模的不同,网络流量分析的主要分析方法可分为以下三种:1)流量分析(利用元数据理解攻击活动);2)特征分析(查找已知的恶意模式);3)完整内容分析(借助全部数据包数据理解攻击活动)。

1、流量分析

流量分析主要是根据元数据(不是通信内容本身)识别对手活动和通信模式,每条记录多达几兆字节的全部活动内容,可能只产生100字节的元数据,如端点(包括ip地址和域名)、端口、收发字节数、连接时长及起止时间,我们将这样一组元数据成为“网络流”(network flows)。

利用元数据,分析人员可以进行如下威胁分析:

1)  与已知的恶意IP地址的连接,从而发现通信控制活动

2)  频繁的、有规律的、短暂的、接收\发送少量字节的连接,从而发现恶意软件的心跳、检测新的控制指令

3)  与从未见过的域名建立长时间连接并发送大量数据,从而发现数据泄密活动

4)  已知受害主机连接内网其他主机的445端口,从而发现数据采集活动

5)  通过查找最高流量主机(产生、接收流量最多或最频繁的主机)或最低流量主机,通常可以发现重要线索。

6)  其他更多的分析场景

由于只保留元数据,每条流数据的记录存储量低,所以存储成本更低,处理速度更快,为长期存储流数据是可行的。当然流数据不如完整内容数据那样能够全面解答网络安全问题,但其信息密度和长期存储的优势,以及收集和分析的便利性,是流量分析的宝贵能力。

2、特征分析

特征分析介于网络流量数据分析与完整内容监测数据分析之间,既不像前者那么简陋,也不像后者那么全面,特征分析注重监测特定的内容,一般应用于入侵检测系统——结合了网络捕包、规则引擎和记录日志的方法。规则用于网络流量检测,一旦某条规则被命中,就会产生日志。

特征分析核心技术是通过pcre(Perl Compatable Regular Expreesions)正则表达式——使用指定模式代替精确匹配内容的方法,在指定的数据包查找ASCII字符串内容,能够理解和使用特征是成功实施和使用特征检测的关键。

3、完整内容分析

完整内容分析与流量分析截然相反,它是捕获自网络发送的每一比特、每一字节。完整的内容分析能以某种方式看到网络流量的各个部分,如借助WireShark类的工具,可以在OSI模型的任意层级挖掘每个元素。哪些可能无法被其他工具检测出的特定项目,可以通过这种方式找到。借助完整内容,分析人员可以对完整内容重新执行流量分析和特征分析,例如在某次调查中提取了新的C2流量特征,可以对较早的网络流量完整内容重新扫描这条新特征。

完整内容分析的优势:1)是还原全部用户活动的唯一依据。2)是收集数据和生产更多情报的最简单的数据源,也是最全面的数据源,真实的数据包可以让分析人员将目光从恶意的端点转向恶意数据。3)最巨大优势在于只要流量被存储下来,就可以反复分析和换不同的方式分析。

  完整内容分析的缺点在于存储的需求,对企业来说意味着海量的数据存储。

文章转载自公众号 HUB网络安全分析室,作者 HUB

发表评论