Kafka 实时示例

到目前为止,我们学习了如何从 Apache Kafka 读取和写入数据。在本节中,我们将学习将真正的数据源放到 Kafka 中。

在这里,我们将讨论一个实时应用程序,即 Twitter。 用户将了解如何创建 Twitter 生产者以及如何生成推文。

Twitter 是一种社交网络服务,允许用户进行交互和发布消息。这些消息称为推文。 推特用户通过推文发布和评论不同的帖子来进行互动。

为了处理推特,我们需要获得推特应用程序的凭据。可以通过创建 Twitter 开发者帐户来完成。为此,请按照以下步骤操作:

第 1 步: 创建一个 Twitter 帐户(如果不存在)。

第 2 步: strong> 在浏览器中打开'developer.twitter.com',如下图:

Kafka Real时间示例

单击应用选项。

步骤 3: 将打开一个新页面。点击"申请开发者账号"

Kafka Real Time Example

步骤 4: 将打开一个新页面,询问预期用途,例如"您将如何使用 Twitter 数据?"等等。快照如下所示:

Kafka Real Time Example

给出适当的答案后,点击下一步。

步骤5: 下一个是Review部分,这里的用户解释会被推特审核,如果 twitter 找到合适的答案,"看起来不错"选项将被启用。然后,转到下一部分。

步骤 6: 最后,将要求用户查看并接受开发者协议。单击复选框接受协议。单击"提交申请"提交申请ion'.

Step7: 成功完成后,将打开电子邮件确认页面。使用提供的电子邮件 ID 进行确认并继续。

步骤 8: 确认后,将打开一个新网页。点击"创建应用",如下图:

Kafka Real Time Example

Kafka Real Time Example

Step9: 提供应用程序详细信息,如下面的快照所示:

Kafka实时示例

步骤 10: 提供应用程序详细信息后,单击"创建"选项。将打开一个对话框"查看我们的开发者条款"。单击"创建"选项。快照如下所示:

Kafka Real Time Example

最后,应用程序将以如下方式创建:

Kafka Real Time Example

注意: 应用何时创建。它将生成密钥和令牌。不要透露它们,因为这些是秘密或敏感信息。如果这样做,用户可以出于安全目的重新生成它们。

Step11: 创建应用程序后,我们需要在"pom.xml"文件中添加 twitter 依赖项。为此,请在 Web 浏览器上打开"github twitter java"。一个快照如下所示:

Kafka Real Time Example

打开突出显示的链接或访问: 'https://github.com/twitter/hbc' 直接打开。

Step12: 在那里,用户会找到 Twitter 依赖代码。复制代码并将其粘贴到 maven 依赖项代码下方的"pom.xml"文件中。

Kafka Real Time Example

依赖代码中使用了术语"hbc"。它代表"Hosebird Client",它是一个 Java HTTP 客户端。它用于使用 Twitter 的标准流 API。 Hosebird Client 分为两个模块

  • hbc-core: 它使用消息队列。消费者进一步使用此消息队列来轮询原始字符串消息。
  • hbc-twitter4j: 这与 hbc-core 不同,因为它使用 twitter4j 侦听器。 Twitter4j 是一个非官方的 Java 库,通过它我们可以轻松地将我们的 Java 构建应用程序与各种 Twitter 服务集成。

在twitter依赖代码中,使用了hbc-core。用户也可以改用twitter4j。​​

这样,实时示例的第一阶段就完成了。

下一章:Kafka 监控

Apache Kafka 是一个分布式系统,其中的主题在各个节点之间进行分区和复制。它还支持容错和持久性。可能有故障排除的机会。因此,需要管理和监控不同的 Kafka 活动。各种 Kafka 监控工具用于监控和显示纠正措施 ...