AI 中文社
Copyright © 2022-2024 aizws.net · 网站版本: v1.2.6·内部版本: v1.23.3·
页面加载耗时 0.00 毫秒·物理内存 73.4MB ·虚拟内存 1303.8MB
欢迎来到 AI 中文社区（简称 AI 中文社），这里是学习交流 AI 人工智能技术的中文社区。 为了更好的体验，本站推荐使用 Chrome 浏览器。
Apache Pig TOKENIZE 函数
Apache Pig TOKENIZE 函数用于拆分现有字符串并在结果中生成词袋。
令牌函数示例
在此示例中，我们将字符串拆分为令牌。
执行令牌函数的步骤
- 在本地机器上创建一个文本文件并插入元组列表。
$ nano evaltokenize.txt
- 检查插入到文本文件中的元组。
$ cat evaltokenize.txt
- 上传特定目录下 HDFS 上的文本文件。
$ hdfs dfs-put evaltokenize.txt /pigexample
- 开启猪 MapReduce 运行模式。
$ pig
- 加载包含数据的文件。
grunt> A = LOAD '/pigexample/evaltokenize.txt' USING PigStorage(',') AS (a1:chararray) ;
- 现在，执行并验证数据。
grunt> DUMP A;
- 让我们返回字符串的标记化形式。
grunt> Result = FOREACH A GENERATE TOKENIZE(a1); grunt> DUMP Result;
在这里，我们得到了想要的输出。
下一章：Apache Pig ABS 函数
Apache Pig ABS 函数用于返回表达式的绝对值。如果结果是否定的，则返回结果的否定。 语法ABS(expression) ABS 函数示例在这个例子中，我们返回绝对值。&nb ...