雷锋网注：本文为狴犴安全团队投稿，授权雷锋网发布，本文原标题为《威胁情报的私有化生产和级联：威胁狩猎及情报共享》
一、背景
1. 威胁情报库建设的背景和需求
1) 新时代攻防趋势与需求的变化。
随着互联网特别是移动互联网的发展，网络环境愈发复杂，不同的攻击行为更具产业化、团伙化，入侵手法也愈发多样化与复杂化，传统以防御漏洞为主的安全策略在面对层出不穷的新型、持续性、高级威胁时难以及时有效的检测、拦截和分析。安全攻防需求逐渐从传统的、以漏洞为中心进化为主动型、以情报为中心的建设模式。
2) 金融行业本身业务的要求。
虚假注册、批量绑卡、恶意刷单刷券等各种恶意行为会影响企业相关产品的日常运营和营销推广，而传统金融行业自身缺乏与互联网相关的安全数据，需要高质量的情报数据支持相关的风险防控工作。因此，需要把安全跟业务相结合，引入跟风控等业务相关的威胁情报，帮助提升公司的风险防控能力。
2. 现有威胁情报库
威胁情报库的数据来源分为三方面，包括内部情报、专业机构和行业联盟。内部情报包括传统安全设备的拦截、后台SIEM等安全分析系统的分析以及业务风控系统的发现；专业机构会提供所处专业的多源情报，根据每家机构的专业特点进行互补，并在情报冲突时对数据进行研判；行业联盟的威胁情报共享目前正在研究探索中。内部情报、专业机构和行业联盟这三方面的数据聚合后，形成本地库，进行处理后，最终将数据结果反馈给最上层的应用层，推送给后台应用、防御设备或者人工调用。
威胁情报库的建立，一方面能够协助我们及时察觉黑客或恶意攻击者的各类战术、方法、行为模式，掌握针对支付场景的最新攻击动向，高效预防和处理各类网络风险安全事件；另一方面高质量的情报数据能够为风险防控提供有力支持，实现对外部网络异常访问行为的精确识别。它对于防守方安全风控团队及时掌安全态势并做出正确响应具有重要价值。
二、研究目标
在威胁情报的应用过程中，我们发现仍然有一些问题有待解决。
1. 情报合法有序共享
当情报库建立之后，情报共享的需求马上就被提出。与公司内部、行业机构等进行情报共享，一方面能够快速实现威胁感知能力的提升和风险共担，另一方面情报的合法有序共享，也有利于整个生态的健康持续运转，降低运行成本。
2. 私有情报生产
我们面临典型多职场、多组织协同防御的结构，拥有较多安防设备且对攻击敏感，会有海量的告警信息，如何从海量告警信息中获取真实的攻击行为是一个大的挑战。同时来自外部的威胁情报数据无法完全支撑对于真实攻击的检测、阻断和溯源分析，攻击者对于外围资产实施跳跃式攻击时，也可能导致联动防御困难。在这些场景中，我们对威胁情报数据和威胁情报生产均有强需求。
为了实现这两个目标，我们进行了情报共享技术和全流量威胁狩猎的研究。
三、情报共享技术研究
1. 情报上传下达的基本逻辑
在现有情报库部署情报管理平台，各分支机构部署分支情报管理平台，总控推送情报到各分支，各分支私有情报自动上报到总控，总控可控制是否将各分支上报私有情报进行二次分发。
整体方案主要由核心情报管理平台和下游情报管理平台两部分组成：
核心情报管理平台主要作用包括接收云端情报用于情报查询；向下游情报管理平台分发情报；接收下游情报管理平台汇报情报；自有情报录入，用于情报查询与分发。
下游情报管理平台主要功能包括自有情报录入，用于情报查询与汇报；向核心情报管理平台汇报本地录入情报；接收核心情报管理平台分发的情报。
对于拥有自有情报平台的机构，情报管理平台可以采用行业同行的标准进行情报的交换。
2. 情报完整流转流程
依据现有威胁情报库结构，首先从内部日志、行业情报和联盟数据中自动生成、筛选情报，并从云端拉取社区情报和定期情报更新，开启协同研判功能后，威胁情报库会自动通过加密信道从云端拉取附加信息并与本地简版私有情报合并，最终形成完整威胁情报形态。本地私有情报可直接查看、删除、导出和应用到第三方系统中。
协同研判过程中，威胁情报团队成员将共同补全攻击组织手法，最终形成自主的攻击者画像数据库；情报管理平台 支持单一情报的多个情报源数据横向对比查看，多角度综合评估情报全貌，然后通过 Restful API 将威胁能力共享，实现总控和各分支之间的推送、上报和可控的二次分发。
威胁情报库会根据机读情报、高级报告和月报、第三方机读情报、用户手工导入的私有情报以及全球多个开源情报的统一存储、检索和对比自动补充辅助信息，并使用统一的生命周期管理情报从产生、使用、静默与消亡的完整过程。
3. 技术的重点和难点
在实际的开发和部署测试过程中，也发现很多重要节点和技术难点，经过充分研讨与贴合实际需求进行评估后一一突破，其中包括有：
1) 如何构建和落地24*7全自动的多机构情报共享和消费机制
该目标由核心情报管理平台下发情报、下游情报管理平台写入、上报、消费情报等过程组成，其中重点在于搞清楚谁向下游情报管理平台写情报，下游情报管理平台的情报被谁消费以及怎么消费。
“谁向下游情报管理平台写情报”：除了核心情报管理平台外，下游机构其实并没有直接、准确的情报可被写入，实际可写入的是下游机构网络环境中部署的安全设备产生的告警，当众多下游机构上报告警后，核心情报管理平台可以根据智能策略实时动态生成行业威胁情报，例如：下游机构网络不连续的情况下，某个外部IP连续攻击多个下游机构，该攻击IP就相当可疑，根据策略生产为行业情报，并推送给其他暂未感知到风险的下游机构。
“下游情报管理平台的情报被谁消费、以及怎么消费”： 一些敏感业务例如支付口、登录口都可以使用推送的情报进行主动防御，即使来自攻击IP的用户提供正确的用户名密码，业务仍然强制要求上下行短信验证，对于某些类互联网行业的抽奖活动，还可以降低其所在网段的中奖几率，在不得罪用户、不打断业务的前提下保障业务安全性。
2) 如何解决分支机构情报冲突和误报
情报冲突问题是一些机构一开始未充分考虑的问题，但是在测试部署中，我们发现有些IP被不同分支机构分别标记为白名单和恶意地址，造成下游机构问问题，经过排查发现主要原因为：A机构将自身办公网出口地址标记为白名单，但其办公网内存在蠕虫病毒，通过办公网出口扫描其他机构，又其他机构或被标记为恶意；
情报误报问题主要由于多个下游机构采购相同厂家的安全产品，同类安全产品误报后通过下游情报管理平台上传到核心情报管理平台，造成误判问题，这类问题后续计划通过增加鉴别安全设备类型实现进一步规避。
3) 归一化安全设备日志格式问题
由于各下游机构采购安全设备的多样性，必然导致日志归一化问题，该问题目前没有十分完美的解决方案，在下游情报管理平台入口处使用技术手段进行统一格式处理目前是可行方案。
四、全流量威胁狩猎
1. 威胁狩猎的定义和流程
威胁狩猎是企业机构基于威胁情报的自我查验。威胁狩猎需要提前掌握攻击者某些基本模糊特征和线索，即威胁情报，然后基于情报，通过旁路流量检测、系统日志检测或主机行为检测来挖掘正在进行的攻击行为或已经失陷的内网主机，其效果随着线索或情报的准确性、及时性和多样性而变化。
威胁狩猎流程（流程图）
2. 威胁狩猎的技术重点和难点
威胁狩猎技术重点和难点主要来源于以下三个方面：
1) 如何获取准确、及时和多样的具备大量辅助上下文的威胁情报；
针对威胁情报准确性、及时性和多样性的需求，威胁情报库采取多源威胁情报的收录和管理，本地情报平台应至少能装载四种情报类型、具备两种情报能力，具体包括多源机读情报、高级人读报告、漏洞情报、自定义情报等，情报能力应包括情报代理能力、本地生产情报能力等，此外，情报共享和级联正是保证威胁狩猎成功进行的关键能力之一。
2) 如何对拓展出的更多线索进行自动化筛查，并将有效线索进一步转化为情报；
情报辅助上下文是不可忽略的重点，机读情报字段的丰富性决定该威胁情报是否可实际落地，现有情报精确刻画该攻击行为或团伙特征，包括但不限于发现时间、端口协议、严重级别、URL、相关样本、域名属主、家族标签、针对行业等30多个字段，相比之下，仅提供一份黑名单，没有任何辅助上下文信息开源情报几乎无法在金融生产环境中使用。自动化筛查和有效线索转化为情报，主要考验的是我们威胁情报库的私有威胁情报本地化生产能力。
3) 如何将威胁情报落地于旁路流量检测、系统日志检测或主机行为检测产品中。
这就要求我们开放对外部SIEM/SOC数据平台、防火墙或WAF设备、主机管理产品、路由和交换设备以及其他安防产品的联动。并分析特定场景的设备联动，对于命中的高危情报，调用下游设备实现阻断，推动情报从检测、响应场景到全面的安全防护。
3. 全流量威胁狩猎技术
通过对接入数据源、底层软硬件架构、大数据标准化处理、模型算法，以及顶层安全业务应用的系统规划，依托威胁情报大数据知识图谱技术、高级入侵检测与分析技术、黑客画像与追踪溯源技术、情报数据共享技术、响应策略自动化编排与处置技术等核心技术，构建覆盖全行业网络的威胁检测分析、威胁事件线索提取、攻击者画像与溯源分析、威胁阻断响应与协同联动等完整闭环解决方案，形成以威胁情报数据为驱动的检测、分析、响应、溯源、预测能力。
1) 接入数据源
对企业相关网络边界的出入站双向流量、内网各区域之间横向东西向流量进行全面采集，由流量采集器通过流量镜像方式，对网络内产生流量的所有全量数据进行实时采集，主要采集数据包括流量信息、流量中还原的payload或文件、终端日志数据等三类，其中，流量信息包含DNS、HTTP、TCP、SMTP、POP3、RSYNC、RDP、TFTP等8项协议；DNS日志包括Request与Response双向日志中的解析域名、查询类型、源地址与端口、目的地址与端口等信息。据此形成全流量威胁持续检测接入数据。
基于威胁情报做日志关联分析
2) 软硬件与数据解析基础组件
依托微服务、分布式集群、海量数据存储、消息队列等大数据软硬件基础组件，构建“松耦合、高内聚”的底层大数据架构，采用ElasticSearch、Hadoop、Spark、Kafka等开源分布式技术，解决海量数据接入、解析、分析、存储、输出等关键环节并发瓶颈问题，能够根据检测环境进行动态扩展。
对于接入原始流量的数据接入形式，系统需要将原始流量中的二进制数据解析成结构化的DNS报文。对常见的流量解析工具(包括Bro、Suricata等)调研测试后发现并不适用于DNS解析场景，原因在于 1.此类工具架构设计上针对全流量解析，为了兼容其他协议特性，很大一部分系统资源用于数据流Session维护、流量缓存等，这在DNS解析过程中属于不必要的系统开销。2.此外，DNS数据报文长度较小，相同流量下QPS较高，在Bro和Suricata上性能测试结果不够理想。因此本系统在技术路线上采用自研抓包模块，针对DNS的协议特性进行性能优化。
3) 威胁检测分析模型
该架构拥有威胁检测模型十类，包括基于威胁情报的大数据碰撞模型、DNS隐蔽信道检测模型、动态沙箱检测模型、DGA随机域名生成检测模型、内网横向渗透检测模型、深度学习算法自学习检测模型等。检测覆盖阶段包括嗅探、漏洞利用、武器投递、远控、横向移动、对外攻击、行动（勒索、挖矿、数据窃取），识别的攻击与威胁类型至少包括：端口扫描、应用扫描、子域名暴破、远程溢出、WEB攻击、SQL注入、配置漏洞、命令注入、CC破坏性攻击、XSS、SSRF、文件泄露、目录遍历、暴力破解、网页木马、木马执行、webshell、僵木蠕检测、高危漏洞利用、勒索软件、挖矿木马、高级APT组织、隐蔽信道通信等。
依托可视化关联分析技术，对威胁情报、网络原始日志、终端日志、告警日志进行关联分析，从攻击者视角完整还原攻击路径，从被控主机视角完整描绘被控主机网络行为，完整呈现威胁全貌。
五、研究的产出和意义
1. 安全建设保障延续性
在原有情报管理平台与威胁检测平台上，附加更多的能力，基于现有能力不断升级，保证原有能力的持续运营，与新技术的无缝衔接，保证持续有效的安全建设。
2. 增加全网威胁可见性
在原有威胁检测平台边界检测失陷主机的能力上，增强流量的覆盖度，覆盖内网流量，并应用流量文件还原技术、引擎与动态沙箱技术、机器学习技术等提升检测能力，对威胁攻击过程进行分析狩猎，提升对内网中威胁与全攻击过程的可见性。
3. 行业情报共享，增强响应能力
在原有情报管理平台整合情报与提供情报检测接口的能力上，增强行业情报共享能力、提供批量接入挖掘情报的接口，并建设与现有安全设备联动的能力，基于威胁情报进行自动化的响应。
4. 对于整个网络安全威胁情报共享体系建设发展的意义
在前期威胁情报中心能力之上，增强流量监控与威胁狩猎分析能力，精准定位攻击全过程；同时提升情报挖掘能力，并在行业情报共享机制进行探索研究，为将来的实践应用奠定理论和技术基础。
,
