大数据安全分析(分析篇)VIP专享VIP免费

这一篇应该是比较容易引起争议的，大家现在乐于说看见（visibility）的力量，如何看到却是一个尚在探索中的问题。数据是看到的基础条件，但是和真正的看见还有巨大的差距。我们需要看到什么？什么样的方法使我们真正看到？安全分析和事件响应网络空间的战斗和现实世界有很大的相似性，因此往往可以进行借鉴。美国空军有一套系统理论，有非常的价值，值得深入思考并借鉴，它就是OODA周期模型：观察（Observe）：实时了解我们网络中发生的事件。这里面包括传统的被动检测方式：各种已知检测工具的报警，或者来自第三方的通报（如：用户或者国家部门）。但我们知道这是远远不够的，还需要采用更积极的检测方式。即由事件响应团队基于已知行为模式、情报甚至于某种灵感，积极地去主动发现入侵事件。这种方式有一个很炫的名字叫做狩猎。定位（Orient）：在这里我们要根据相关的环境信息和其他情报，对以下问题进行分析：这是一个真实的攻击吗？是否成功？是否损害了其它资产？攻击者还进行了哪些活动？决策（Decision）：即确定应该做什么。这里面包括了缓解、清除、恢复，同时也可能包括选择请求第三方支持甚至于反击。而反击往往涉及到私自执法带来的风险，并且容易出错伤及无辜，一般情况下不是好的选择。行动（Action）：能够根据决策，快速展开相应活动。OODA模型相较传统的事件响应六步曲（参见下图），突出了定位和决策的过程，在现今攻击技术越来越高超、过程越来越复杂的形势下，无疑是必要的：针对发现的事件，我们采取怎样的行动，需要有足够的信息和充分的考量。在整个模型中，观察（对应下文狩猎部分）、定位与决策（对应下文事件响应）这三个阶段就是属于安全分析的范畴，也是我们下面要讨论的内容，附带地也将提出个人看法，关于大数据分析平台支撑安全分析活动所需关键要素。狩猎（hunting）近两年狩猎的概念在国际上比较流行，被认为是发现未知威胁比较有效的方式。如何做到在信息安全领域的狩猎，也是和威胁情报一样热门的话题。和数据收集阶段一样，狩猎中也需要“以威胁为中心”的意识。我们需要了解现今攻击者的行为模式，需要开发有关潜在攻击者的情报（无论是自身研究或者第三方提供），同时狩猎团队也需要评估内部项目和资源，以确定哪些是最宝贵的，并假设攻击者要攻陷这些资源为前提进行追捕。单纯地依赖这个原则，也许并不能让你真正拥有“visibility”的能力，我们还需要接受更多的挑战，包括传统基于攻击特征的思维方式必须改变，建立新的思维方式是成功的基础。1、从线索出发，而不是指标或签名：安全分析，注重相关性，然后再考虑确定性，这背后有其深层的原因。误报和漏报是一对不可完全调和的矛盾，虽然在个别方面存在例外（基于漏洞的签名往往准确率较高，同时也可以对抗很多逃逸措施，是检测从IDS时代走向IPS的关键技术前提）。在发现未知的旅途中，如果直接考虑确定性证据，会错失很多机会。因此在狩猎的场景之下，安全分析员需要的是线索，线索只能代表相关性，而不是确定性，安全分析的过程需要将一连串的线索穿起来，由点及面进而逼近真相。举个例子：超长会话连接很难确定是攻击但和CnC往往有关联，一些分析人员就会选择它作为起点的线索。如果从这点出发、更多的线索出现了，连接的域名是最近新注册的，并且访问量很少，还有就是流量在80端口却不是标准的HTTP协议等，随着不断的发现，确定性在增加，最终通过进一步的方式我们可以确认攻击行为。2、换个角度看问题：找寻攻击相关的行为模式，可以变换多个角度，无需一直从最直接的方面着手。例如在CnC检测上，我们可以采用威胁情报或者远控工具的流量特征这样直接的方法，但也可以考虑排查之前数据中没有出现过的新域名，或者某些域名对应IP快速变化的情况，甚至可以采用机器学习的方式来发现那些不一样的域名，这些都可能是有效的方法，可以在不同情况下分别或组合使用。3、白名单及行为基线：它们都是先定义什么是正常，由此来判断什么是不好的。业界某些厂商倡导的白环境或者软件白名单，都是这个思想的一种具体实践。在采用这个方法建立基线时，还是需要从威胁的角度出发，这样检测灵敏度...