AI 中文社
Copyright © 2022-2024 aizws.net · 网站版本: v1.2.6·内部版本: v1.23.1·
页面加载耗时 0.00 毫秒·物理内存 63.5MB ·虚拟内存 1301.1MB
欢迎来到 AI 中文社区（简称 AI 中文社），这里是学习交流 AI 人工智能技术的中文社区。 为了更好的体验，本站推荐使用 Chrome 浏览器。
Apache Pig DISTINCT 运算符
Apache Pig DISTINCT 运算符用于删除关系中的重复元组。最初，Pig 对给定的数据进行排序，然后消除重复项。
DISTINCT 运算符示例
在本例中，我们消除了重复的元组。
执行 DISTINCT 运算符的步骤
- 在本地计算机上创建一个文本文件并为其提供一些值。
$ nano pdistinct.txt
- 检查写入文本文件中的值。
$ cat pdistinct.txt
- 上传特定目录下 HDFS 上的文本文件。
$ hdfs dfs-put pdistinct.txt /pigexample
- 开启猪 MapReduce 运行模式。
$ pig
- 加载包含数据的文件。
grunt> A = LOAD '/pigexample/pdistinct.txt' USING PigStorage(',') as (a1:int,a2:int,a3:int);
- 现在，执行并验证数据。
grunt> DUMP A;
- 让我们执行 DISTINCT 运算符来消除重复的元组。
grunt> Result = DISTINCT A;
- 现在，执行并验证数据。
grunt> DUMP Result;
在这里，我们得到了想要的输出。
下一章：Apache Pig FILTER 运算符
Apache Pig FILTER 运算符用于删除关系中的重复元组。最初，Pig 对给定的数据进行排序，然后消除重复项。 FILTER 运算符示例在此示例中，我们消除了重复的元组。&nb ...