Splunk 教程

Splunk 是一款顶级的日志分析软件，如果你经常用 grep、awk、sed、sort、uniq、tail、head 来分析日志，那么你需要 Splunk。能处理常规的日志格式，比如 apache、squid、系统日志、mail.log 这些。对所有日志先进行 index，然后可以交叉查询，支持复杂的查询语句。然后通过直观的方式表现出来。日志可以通过文件方式传倒 Splunk 服务器，也可以通过网络实时传输过去。或者是分布式的日志收集。总之支持多种日志收集方法。

Splunk 可以读取非结构化、半结构化或很少结构化的数据。读取数据后，它允许对这些数据进行搜索、标记、创建报告和仪表板。随着大数据的出现，Splunk 现在能够从各种来源摄取大数据，这些数据可能是机器数据，也可能不是机器数据，并对大数据进行分析。

Splunk 已经从一个简单的日志分析工具，成为非结构化机器数据和各种形式大数据的通用分析工具。

1. 产品类别

Splunk 提供以下三种不同的产品类别：

• Splunk Enterprise-由拥有大型 IT 基础设施和 IT 驱动业务的公司使用。它有助于收集和分析来自网站、应用、设备和传感器等的数据。
• Splunk Cloud-它是与企业版功能相同的云托管平台。它可以从 Splunk 本身或通过 AWS 云平台使用。
• Splunk Light-它允许从一个地方实时搜索、报告和提醒所有日志数据。与其他两个版本相比，它的功能和特性有限。

2. Splunk 功能

2.1 数据摄取

Splunk 可以摄取各种数据格式，如 JSON、XML 和非结构化机器数据，如网络和应用程序日志。可以将非结构化数据建模为用户需要的数据结构。

2.2 数据索引

摄取的数据由 Splunk 编制索引，以便在不同条件下更快地进行搜索和查询。

2.3 数据搜索

在 Splunk 中搜索涉及使用索引数据来创建指标、预测未来趋势和识别数据模式。

2.4 使用警报

当在所分析的数据中发现某些特定条件时，Splunk 警报可用于触发电子邮件或 RSS 提要。

2.5 仪表板

Splunk Dashboards 可以以图表、报告和透视等形式显示搜索结果。

2.6 数据模型

索引数据可以建模为一个或多个基于专业领域知识的数据集。这使得分析业务案例的最终用户可以更轻松地导航，而无需了解 Splunk 使用的搜索处理语言的技术细节。

3. Splunk 特性

3.1 多平台支持

Splunk是一个可以在所有主流操作系统上运行的独立软件包 - 只需选择您的平台，然后下载并安装即可。您需要处理和运行的是用户使用的 Web 界面，以及用于索引计算机数据的引擎。

Splunk支持的平台有Windows XP, Vista, 7, and 8 (32-bit/64-bit)/Windows Server 2003, 2003 R2, 2008, and 2008 R2 (32-bit/64-bit)、2.6+ kernel Linux distributions(32-bit/64-bit)、Solaris（8,9,10,11）、OSX（10.5，10.6，10.7）、FreeBSD 7,8（32-bit/64-bit）、AIX （5.3，6.1，7.1） 、HP-UX（11i v2，11i v3）。

3.2 从任意源索引任意数据

Splunk 可以从任何源实时索引任何类型的计算机数据。可以在 Splunk 中指向您的服务器或网络设备的系统日志、设置 WMI 轮询、监视实时日志文件，并能够监视您的文件系统或 Windows 注册表中的更改，或安排脚本获取系统指标。Splunk 可以索引您的所有机器数据，而无需购买、编写或维护任何特定的分析器或适配器。原始数据和丰富索引均存储在高效、已压缩的、基于文件系统的数据存储中，并提供可选数据签名和数据的完整性审核。

3.3 从远程系统转发数据

在无法通过网络提供所需数据，或安装了 Splunk 的服务器上看不见所需数据的情况下，可以部署 Splunk Forwarder。Splunk forwarder 为成千上万的端点提供安全、分布式实时全局数据收集。它们可以监视本地应用程序日志文件、捕获有关时间表的状态命令输出、获取来自虚拟或非虚拟来源的性能指标，或监控配置、权限和属性变化的文件系统。它们都是属于可以快速部署的轻量级服务器，而且不会产生任何额外费用。

3.4 关联复杂事件

借助 Splunk，您可以跨许多数据来源关联整个工作环境中的复杂事件。Splunk 支持五种关联类型。基于时间的关联，用于根据时间、接近性或距离来确定关系。基于交易的关联，用于跟踪构成单次交易的一系列相关事件，进而评估时间长度、状态或进行其它分析。子搜索，用于获取其中一个搜索的结果并在其它搜索中使用这些结果。查找，用于关联 Splunk 以外的外部数据来源。连接，用于支持类似 SQL 的内部和外部连接。关联 Splunk 中的事件有助于从机器数据中获得更丰富的分析和洞察力，为 IT 和业务提供更好的可见性和智能。

3.5 专为大型数据构建

使用 Splunk ，每天可收集和索引成千上万太字节的数据。其可扩展性体系结构基于 MapReduce，因此，随着日常数据量和数据来源不断增长，您只需添加更多商品服务器即可扩展效能。自动负载平衡可以优化工作负载和响应时间，并提供内置故障转移机制。开箱即用的报告和分析功能可避免部署第三方报告工具的需要。还可以配置 Splunk 使用 SAN 或其它存储设备，以满足长期存储需求。

3.6 在整个数据中心扩展

Splunk 分布式体系结构可让您在一个数据中心跨多个部署进行搜索，或在您的所有数据中心进行全局搜索。借助基于角色的访问，您可以控制指定用户的搜索将要跨越的范围。区域用户可以查看区域系统的数据，而企业范围内用户则可以查看所有数据中心的数据。Splunk 愿景是让每一位已授权员工都能够看到他们需要的计算机数据；并将数据用于调查、报告和仪表板或分析，以便不断提高 IT 运营并获得有价值的业务洞察力。花几分钟时间安全连接您的 Splunk 安装，能让您设计一个可管理的企业数据结构。

3.7 提供角色型的安全性

从各个方面来说，Splunk 均可谓是一种强大的安全模型。各项 Splunk 交易均会得到验证，其中包括通过 Web 用户界面和命令行接口执行的用户活动，以及通过 Splunk API 执行的系统活动。使用一整套按用户类型来限制功能的记录控制点，您可以自己为 Splunk 用户定义角色。这些精细的访问控制可以限制搜索、警报、报告、仪表板以及不同 Splunk 角色可以查看的视图。Splunk 还可以集成兼容 LDAP 的外部目录服务器和 Active Directory 服务器，以执行企业范围内的安全策略。此外，还提供单一登录集成，以启动对用户凭据的传递身份验证。由于进行故障排除、调查安全事件和证明合规所需的全部数据都保存在 Splunk 中，您可以严格限制访问生产服务器。