一个C++程序还是分开两个进程 该领域有通过量化模型,减枝操作加速模型,同时也有利用可编程交换机的;另一方面也有利用复杂模型解决问题的;有了dpu,有了新的处理思路加速分析 专家并行:多模型-->应对同一任务
-
项目背景: 网络流量分析是网络管理、安全监控及优化的关键技术。随着网络流量的快速增长和网络安全威胁的不断升级,传统的流量分析系统面临着巨大的性能挑战。为应对这些挑战,本项目旨在设计并实现一个基于DPU(数据处理单元)、GPU(图形处理单元)和CPU(中央处理单元)协同工作的高性能流量分析系统。
-
研究目的:
- 开发一个能够实时处理大规模网络流量的高效流量分析系统。
- 利用DPU、GPU和CPU的协同计算能力,提高流量分析的准确性和效率。
- 探索异构计算在网络流量分析领域的应用和优化策略。
-
研究内容:
-
DPU流量识别与索引:
- 研究和开发高效的流量识别和分类算法。
- 设计和实现流量索引系统,以指导数据流到指定的内存区域。
-
GPU特征提取与高速分析:
- 在P40 GPU上实现高效的流量特征提取。
- 设计和开发将特征数据传输至V100 GPU,并利用其高算力实现快速流量分析的算法和机制。
-
CPU调度与协调:
- 设计和实现一个高效的调度系统,包括数据的入队和出队管理,以及动态调度策略。
- 研究和开发系统的错误处理和容错机制。
-
-
研究方法:
- 文献综述: 调研国内外关于网络流量分析、异构计算以及DPU、GPU和CPU协同工作的相关研究,以获取最新的研究进展和技术。
- 系统设计与实现: 采用模块化设计,分别开发和实现流量识别、特征提取、高速分析和调度协调等模块。
- 性能测试与优化: 对系统进行综合性能测试,包括准确率、实时性和稳定性等,并根据测试结果进行必要的优化。
-
预期成果:
- 一个能够实时处理和分析大规模网络流量的高性能流量分析系统原型。
- 一套完整的系统设计文档和用户手册。
- 相关的性能测试报告和优化建议。
-
进度安排:
- 第1-2月: 完成项目的前期准备工作,包括文献综述、需求分析和系统设计。
- 第3-5月: 开发和实现流量识别、特征提取和高速分析等核心模块。
- 第6-7月: 设计和实现调度协调系统,完成系统的集成测试。
- 第8-9月: 进行系统的性能测试和优化,完善系统文档。
- 第10月: 准备和撰写毕业论文,完成项目的总结和展示。
-
预算: 项目预算包括硬件设备、软件许可和测试网络环境的搭建等费用,具体预算将根据项目的实际需求和进展进行调整。
特征 基于统计的特征:1.基于包 2.基于流 基于原始数据包:1.基于流
瓶颈 哈希计算,维持流状态 推理
传统做法,压缩特征,量化模型
未来工作
有了DPU的做法————>成本高————>想办法降低成本