日志转换工具

将McAfee Cloud Proxy日志转换为IBM Qradar可摄入格式的脚本工具,适用于安全日志分析场景。

  • by pect0ral
  • Python
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 pect0ral/mcp_qradar

使用说明

MCP_Qradar

将McAfee Cloud Proxy日志导入IBM Qradar的转换脚本。这需要从McAfee CSR服务器中提取websaas CSV文件,将其转换为可摄入的格式

这是一个初步的推动,它被证实是有效的,但你需要知道你在寻找什么。下面的脚本中有注释。

概述

有两个脚本,一个python脚本和一个shell脚本。shell脚本用作cron/计划任务(例如,创建一个cron,每15分钟运行一次)。 它查找传入的新文件,将它们分派给转换作业,并将每个作业的文件输出到输出目录中,供Qradar检索。

python脚本是一个线程转换脚本,它从McAfee CSR服务器中提取WebSaas CSV文件,这些文件报告了来自McAfee Cloud Proxy的所有连接日志数据。 这种转换使它们成为一个有效的日志流,在Qradar端,可以由配置了McAfee Web Gateway DSM Type升级文件协议(如SFTP)的日志源摄取。

详情

建筑

这些脚本假设您有一个linux主机,其本地用户mcafee居住在 /home/mcafee. 这个linux主机和用户充当McAfee CSR和Qradar之间的中间人。该用户的主目录应包含4个子目录, in, out 和 tmp.

  • 传入文件进入 in
  • 传出文件进入 out
  • 正在转换的文件将进入 tmp
  • 我们的脚本进入一个名为 bin

Windows CSR服务器需要将CSV日志推送到这个Linux服务器中,目标是我们的 in 目录(例如。 /home/mcafee/in )上面列出的。 您可以使用 Posh-SSH 为此,请参阅:https://www.powershellgallery.com/packages/Posh-SSH/2.1

linux服务器上每15分钟应配置一个cron,以运行用户的shell脚本 bin 目录(例如。 /home/mcafee/bin/ )

所有正在转换的文件都将临时放入 tmp 转换过程中,目录中的文件将被移动到 out 目录。

在Qradar端,使用McAfee Web网关DSM和SFTP文件协议设置日志源,并将其指向您的 /home/mcafee/out 目录查找 *\.log

测试

我建议阅读评论过多的脚本,以了解它们的机制并对其进行测试。您可以直接运行python脚本(目前为python 2.7)

对hwatever进行编辑,使其适合您的环境。