Splunk 数据摄取

Splunk 中的数据摄取通过 添加数据 功能发生,该功能是搜索和报告应用程序的一部分。登录后,Splunk 界面主屏幕显示 添加数据 图标,如下所示。

Ingestion1

点击此按钮后,我们会看到一个屏幕,用于选择我们计划推送到 Splunk 进行分析的数据的来源和格式。

收集数据

我们可以从Splunk官网获取数据进行分析。保存此文件并将其解压缩到您的本地驱动器中。打开文件夹后,您可以找到三个具有不同格式的文件。它们是某些 Web 应用程序生成的日志数据。我们还可以收集 Splunk 提供的另一组数据,这些数据可从 Splunk 官方网页获得。

我们将使用这两组数据来了解 Splunk 各种功能的工作情况。

上传数据

接下来,我们从文件夹 mailsv 中选择文件 secure.log,如上一段所述,我们将其保存在本地系统中。选择文件后,我们使用右上角的绿色下一步按钮进入下一步。

Ingestion2

选择来源类型

Splunk 有一个内置功能来检测正在摄取的数据的类型。它还为用户提供了一个选项来选择与 Splunk 选择的数据类型不同的数据类型。单击源类型下拉菜单,我们可以看到 Splunk 可以摄取并启用以进行搜索的各种数据类型。

在下面给出的当前示例中,我们选择默认源类型。

Ingestion3

输入设置

在数据摄取的这一步中,我们配置从中摄取数据的主机名。以下是主机名可供选择的选项:

常数值

它是源数据所在的完整主机名。

路径上的正则表达式

当你想用正则表达式提取主机名时。然后在正则表达式字段中输入要提取的主机的正则表达式。

路径中的段

如果要从数据源路径中的段中提取主机名,请在段号字段中输入段号。例如,如果源路径是/var/log/并且您希望第三段(主机服务器名称)作为主机值,请输入"3"。

接下来,我们选择要在输入数据上创建的索引类型以进行搜索。我们选择默认的索引策略。汇总索引仅通过聚合创建数据汇总并在其上创建索引,而历史索引用于存储搜索历史。下图清楚地描绘了它:

Ingestion4

查看设置

点击下一步按钮后,我们会看到我们选择的设置摘要。我们查看它并选择 Next 完成数据的上传。

Ingestion5

完成加载后,会出现以下屏幕,其中显示成功的数据摄取以及我们可以对数据采取的进一步可能的操作。

Ingestion6

下一章:Splunk 源类型

  所有传入 Splunk 的数据首先由其内置的数据处理单元进行判断,并分类为某些数据类型和类别。例如,如果它是来自 apache 网络服务器的日志,Splunk 能够识别并从读取的数据中创建适当的字段。 S ...