Pig 运行模式

Apache Pig 以两种模式执行: 本地模式和 MapReduce 模式。

Apache Pig Run Modes

本地模式

  • 它在单个 JVM 中执行,用于开发实验和原型设计。
  • 在这里,使用本地主机安装和运行文件。
  • 本地模式适用于本地文件系统。存储在本地文件系统中的输入和输出数据。

本地模式grunt shell的命令:

$ pig-x local  

MapReduce 模式

  • MapReduce 模式也称为 Hadoop 模式。
  • 这是默认模式。
  • 在此 Pig 中,将 Pig Latin 渲染为 MapReduce 作业并在集群上执行它们。
  • 它可以针对半分布式或完全分布式的 Hadoop 安装执行。
  • 此处,输入和输出数据存在于 HDFS 上。

Map reduce 模式的命令:

$ pig  

或者,

$ pig-x mapreduce

Pig 程序的执行方式

以下是在本地和 MapReduce 模式下执行 Pig 程序的方式::

  • 交互模式-在这种模式下,Pig 在 Grunt shell 中执行。要调用 Grunt shell,请运行 pig 命令。一旦 Grunt 模式执行,我们就可以在命令行中以交互方式提供 Pig Latin 语句和命令。
  • 批处理模式-在此模式下,我们可以运行扩展名为 .pig 的脚本文件。这些文件包含 Pig Latin 命令。
  • 嵌入式模式-在这种模式下,我们可以定义自己的功能。这些函数可以称为 UDF(用户定义函数)。在这里,我们使用 Java 和 Python 等编程语言。

下一章:Pig Latin

Pig Latin 是一种数据流语言,Apache Pig 使用它来分析 Hadoop 中的数据。它是一种文本语言,将 Java MapReduce 习语中的编程抽象为符号。 Pig Latin 语句Pig L ...