山东农信网络学院 山东农信：网络全流量威胁检测及一体化防护系统

一、项目背景和目标

随着信息系统建设速度的不断加快，各类业务不断走向互联网化，互联网安全风险日益增加。2019年，山东省农村信用社联合社部署了互联网领域安全运营监控平台，可对互联网领域的网络攻击进行实时监控，但对来自互联网的高级持续性威胁等攻击的监控和分析不足。为此，2020年3月，山东美联社推出并部署了网络全流量威胁检测与综合防护系统，覆盖省联社互联网区域、外网、内网，并延伸至各市分支网络，实现了“内外网数据全流量采集”“安全威胁综合检测”“全省综合安全防护”的“三全”目标。该系统已在今年公安部组织的全国网络安全攻防演练中进行测试，有效发挥了检测和防护网络攻击的作用。通过实时检测各类网络攻击，及时处置安全风险隐患，实现全省网络边界“零突破”，有效保障各类信息系统安全稳定运行。

第二，技术创新

网络全流量威胁检测与综合防护系统采用大数据全流量采集技术，采用两级分布式部署模式，利用全省“1+17”的多节点分布式流量探头和18个流量分析引擎，实现省市级内外网数据毫秒级安全威胁检测，为网络攻击“二级”治理提供有效技术支撑。

三，技术实现的特点

1.网络全流数据收集

在全流量数据采集方面，应用了一系列关键机制来提高数据采集能力，将网络入口的上下游数据镜像输入到物理机进行相关数据处理和分析。优化了数据捕获方式和数据包处理性能，使其能够满足大流量安全场景下各类数据采集和存储的完整性，便于后续安全取证和二次分析。

2.流量分析和协议恢复

用于流量分析和数据恢复的协议分析模块支持对HTTP和SMTP/POP3等主流协议的高性能分析。

流量恢复过程中使用了多种技术，包括端口匹配、流量特征检测和行为特征分析。在网络协议发展的过程中，形成了一系列的标准协议规范，规定了不同协议所使用的端口，而许多广泛使用的应用程序虽然没有标准化，却形成了事实上的标准端口。端口匹配是根据这些标准或非标准之间的对应关系，根据TCP/UDP的端口来识别应用。该方法具有检测效率高的优点，但其弱点容易被伪造。因此，在端口检测的基础上，有必要增加一些特征检测的判断和分析，进一步分析这部分数据。

3.流量特性检测

与端口相比，不同应用使用的协议也有很多相似之处。这些共性被称为交通特征。流量特征的识别有两种:一种是标准协议的识别，它规定了唯一的消息、命令和状态传递机制。通过分析应用层的这些专有字段和状态，可以准确可靠地识别这些协议；另一种是未公开协议的识别，一般需要通过逆向工程分析协议机制，通过消息流的特征字段直接或解密后识别通信流量。

4.行为特征检测

对于一些不方便恢复的数据流量，系统采用行为特征的方法进行分析。这种方法并不试图分析链路上的数据，而是利用链路的统计特征，如连接数、单个IP的连接方式、上下游流量的比例、数据包传输的频率来区分应用类型。例如，在VoIP应用中，语音数据消息的长度相对稳定，发送频率相对恒定。P2P网络应用程序具有大量的单个IP连接、每个连接的端口号不同、文件共享数据包长且稳定等等，所有这些都可以用于应用程序特征检测。

互联网数据的识别是上述技术的综合应用。流量分析和文件恢复模块将使用这些技术，能够支持Web、文件、邮件等主流协议，能够支持具有中国本土特色的应用协议。通过分析和检测全流数据的安全威胁，可以实现安全威胁防护规则的快速部署，从而达到高效防护已知和未知网络安全威胁的目的。

四.项目过程管理

1.需求分析和概要设计

该阶段从2020年3月至2020年4月开始，期间完成了系统需求分析和概要设计，对系统各组成部分的功能、性能和安全要求进行了评审，完成了系统组成部分的招标。

2.详细的系统设计

该阶段为2020年5月，期间完成系统方案设计、部署方案设计与论证、系统组件对接与功能实现测试。

3.上线前的系统部署、调试和准备

这一阶段从2020年6月至2020年7月开始，期间完成了两地三个中心的系统部署和调试，以及各城市全流量探头和未知威胁探头的部署。上线前，数据中心和分布式探头进行了数次联合调整。

4.系统上线试运行

这一阶段从2020年8月开始到2020年9月中旬，期间全流系统已经上线，安全策略也根据上线运行情况进行了调整。

系统上线后，组织省级安全管理员参加了系统原理、使用和故障排除三项培训。

动词 操作

1.全流量检测

全流量系统的UTS主要实现流量数据的采集和分析，可以对流量数据进行逐层解码，将解析后的流量元数据上传到大数据平台，并将原始的流量pcap数据保存在本地硬盘中。同时，UTS集成了入侵检测和其他安全检测手段，提供统一的威胁检测能力。UTS采用旁路镜像模式接入各城市网络，进行流量采集分析、存储、文件恢复和威胁检测。此外，UTS与大数据分析平台联动，将检测结果和元数据收集到大数据分析平台进行综合分析、判断和展示。

2.未知威胁检测

未知威胁检测探针利用动态和静态沙盒技术提供恶意文件检测功能。基于检测引擎，TAC可以动态虚拟执行各种文件和应用，并将检测结果上报大数据平台进行进一步处理和分析。TAC可以发现利用0day漏洞的APT攻击，保护网络免受0day攻击带来的敏感信息泄露、基础设施破坏等各种风险。

3.统一安全威胁分析

统一安全威胁分析平台是以安全运营为中心、智能化、全场景的统一安全管理平台。ISOP是基于大数据框架，结合威胁情报系统，通过机器学习、威胁建模、场景关联分析、异常行为分析、自动化和可视化呈现等方式进行安全安排。，建立健全安全态势综合监测、安全威胁实时预警、资产和漏洞全生命周期管理、安全事件应急处置能力，为安全运营提供可靠的信息和数据支撑，实现安全问题的快速发现和分析，并通过运维手段实现安全闭环管理。

4.综合安全保护

利用统一安全威胁分析平台内外网部署的分布式检测分析能力，省联社不断提升的专业安全服务团队能力，以及系统提供的已知和未知安全事件的防护策略建议，可以快速部署现有的安全防护设备，实现全省安全防护策略的一体化部署。

不及物动词项目有效性

1.实现网络安全监控与防护的一体化

全网流量威胁检测与综合防护系统对山东美联社辖区内外全网原始数据流量进行采集检测，并对流量信息进行深度还原、存储、查询和分析。该系统的统一安全威胁分析平台通过集成传统的基于规则的检测技术、机器学习、威胁智能、虚拟沙盒等先进分析技术，对重要信息系统相关的网络安全威胁风险进行预警。该系统及时发现漏洞、病毒木马和网络攻击，及时发现网络安全事件线索，及时通报和预警重大网络安全威胁，协助专业安全分析师调查、防范和打击网络攻击等恶意行为，为安全运维管理者了解当前安全形势、部署合理的综合安全防护策略提供关键依据。

2.全面提高水安全管理水平

网络全流程威胁检测与综合防护系统的部署与运行，将原本独立部署的安全检测设备、安全分析设备、安全防护设备等单元有机结合，打通了安全运维管理的信息流。在综合分析的基础上，剥离海量低风险攻击数据，构建攻击者行为画像，检测潜在或高风险网络行为，并给出防护方案。系统高效的分析预警能力降低了安全运维人员的工作强度，提高了安全事件处理的准确性，提升了省联社网络安全综合管理水平。

3.遵守中国人民银行对态势感知的统一监管要求

中国人民银行对所有金融机构的安全事件报告提出了统一要求。网络全流威胁检测与综合防护系统可以为监管报告提供符合报告标准的基础数据、分析数据、威胁情报和态势。该系统的设计框架还为PBOC安全数据报告功能预留了接口，与中国人民银行金融态势感知系统对接，在攻防演练中实际报告和共享信息。

七.经验总结

通过构建网络全流量威胁检测和综合防护体系，实现了山东美联社网络安全工作中“全流量采集内外网数据”“全方位检测安全威胁”“全省一体化安全防护”的“三全”目标，全面提升了安全管理水平，成为安全管理的新起点。