ES 分析

分析是将文本转换为标记或术语的过程，例如转换任何电子邮件的正文。这些被添加到倒排索引中以供进一步搜索。因此，无论何时在搜索操作期间处理查询，分析模块都会分析任何索引中的可用数据。此分析模块包括分析器、分词器、字符过滤器和标记过滤器。

例如：

句子: "一个快速的白色猫跳过了棕色的狗。"

标记: [快速，白色，猫，跳跃，棕色，狗]

分析由分析器执行.它可以是内置分析器或自定义分析器。自定义分析器是根据索引定义的。如果未定义分析器，则默认情况下内置分析器、过滤器、标记和标记器将注册到分析模块。分析是在：

• 分析器
• 分词器
• 令牌过滤器
• 字符过滤器

我们将详细讨论它们中的每一个。在此之前，先从一个简单的例子开始。

例子：

让我们举一个简单的例子，我们将使用标准分析器分析文本并将它们转换为标记。它是未指定任何内容时使用的默认分析器。它将分析句子并根据语法将它们分解为标记(单词)。

POST http://localhost:9200/
_analyze
{
   "analyzer": "standard",
   "text": "It is best elasticsearch tutorial."
}

回复

{
       "tokens": [
       {
  "token": "it",
  "start_offset": 0,
  "end_offset": 2,
  "type": "<ALPHANUM>",
  "position": 0,
        },
       {
  "token": "is",
  "start_offset": 3,
  "end_offset": 5,
  "type": "<ALPHANUM>",
  "position": 1,
        },
       {
  "token": "best",
  "start_offset": 6,
  "end_offset": 10,
  "type": "<ALPHANUM>",
  "position": 2,
        },
       {
  "token": "elasticsearch",
  "start_offset": 11,
  "end_offset": 24,
  "type": "<ALPHANUM>",
  "position": 3,
        },
       {
  "token": "tutorial",
  "start_offset": 25,
  "end_offset": 33,
  "type": "<ALPHANUM>",
  "position": 4,
        }
    ]
}

配置标准分析仪

标准分析仪可以根据我们的要求进行配置。我们还可以配置其他分析仪来满足我们的自定义要求。借助示例，可以更好地理解它。

• 首先，使用具有max_token_length的分析器创建索引以配置标准分析器。
• 提供 max_token_length 变量中的值。我们将其设置为 7、
• 我们还将标准分析器的名称修改为my_english_analyzer，用于分析文本。
• 看看下面给出的例子-

PUT http://localhost:9200/analysis_example
{
   "settings": {
      "analysis": {
         "analyzer": {
            "my_english_analyzer": {
               "type": "standard",
               "max_token_length": 7,
               "stopwords": "_english_"
            }
         }
      }
   }
}

响应：

{
  "acknowledged: true,
  "shards_acknowledged": false,
  "index": "analysis_example"
}

配置标准分析器后分析文本

使用修改后的分析器创建索引后，现在我们将应用文本分析器。在以下示例中，您必须在查询字符串中提供索引名称(analysis_example)，并在请求正文中提供分析器以及文本字符串。不要忘记提供_analyze API。

POST http://localhost:9200/analysis_example
_analyze
{
   "analyzer": "my_english_analyzer",
   "text": "It is best elasticsearch tutorial."
}

您注意到 elasticsearch 和 tutorial 在文本字符串中分别有 13 个和 8 个字符。从而，它们也会根据前面查询中指定的最大令牌长度进一步分解。

响应：

{
       "tokens": [
       {
  "token": "best",
  "start_offset": 6,
  "end_offset": 10,
  "type": "<ALPHANUM>",
  "position": 2,
        },
       {
  "token": "elastic",
  "start_offset": 11,
  "end_offset": 18,
  "type": "<ALPHANUM>",
  "position": 3,
        },
       {
  "token": "elastic",
  "start_offset": 19,
  "end_offset": 24,
  "type": "<ALPHANUM>",
  "position": 4,
        },
       {
  "token": "tutoria",
  "start_offset": 25,
  "end_offset": 31,
  "type": "<ALPHANUM>",
  "position": 5,
        }
       {
  "token": "l",
  "start_offset": 32,
  "end_offset": 33,
  "type": "<ALPHANUM>",
  "position": 6,
        }
    ]
}

不同类型的分析器

这些是几种分析器，每个都有不同的功能。它们有助于根据需要实现不同的目标。以下是内置分析器及其说明的列表：

关键字标记器示例

正如我们所讨论的，关键字分析器将整个流视为单个标记。看下面的关键字分析器示例。为此，我们不需要任何索引。我们只需要在分析器字段中指定分析器类型并在文本字段中指定文本字符串。不要忘记在 API 列中传递 _analyze API。

POST http://localhost:9200/
_analyze
{
   "analyzer": "Keyword",
   "text": "It is best elasticsearch tutorial."
}

回应

{
       "tokens": [
       {
  "token": "It is best elasticsearch tutorial.",
  "start_offset": 0,
  "end_offset": 34,
  "type": "word",
  "position": 0,
        }
    ]
}

屏幕截图

分词器

在elasticsearch中，tokenizers用于从文本中生成token。 Tokenizer 通过放置空格或其他标点符号来帮助将文本分解为标记。 Elasticsearch 提供了内置的分词器，可以在自定义分析器中使用。下面是分词器及其描述表：

现在，让我们举一个分词器的例子，看看它是如何在 elasticsearch 中工作的。在以下示例中，每当找到非字母字符时，标记器会将文本分解为标记。它还将所有标记转换为小写。请参阅下面的示例：

Lowercase Tokenizer Example

POST http://localhost:9200/
_analyze
{
   "tokenizer": "lowercase",
   "text": "It Was My BIRTHDAY 2 Days Ago"
}

回应

{
       "tokens": [
       {
  "token": "it",
  "start_offset": 0,
  "end_offset": 2,
  "type": "word",
  "position": 0,
        },
       {
  "token": "was",
  "start_offset": 3,
  "end_offset": 6,
  "type": "word",
  "position": 1,
        },
       {
  "token": "my",
  "start_offset": 7,
  "end_offset": 9,
  "type": "word",
  "position": 2,
        },
       {
  "token": "birthday",
  "start_offset": 10,
  "end_offset": 18,
  "type": "word",
  "position": 3,
        },
       {
  "token": "days",
  "start_offset": 21,
  "end_offset": 25,
  "type": "word",
  "position": 4,
        },
       {
  "token": "ago",
  "start_offset": 26,
  "end_offset": 29,
  "type": "word",
  "position": 5,
        }
    ]
}

注意: 注意-在上面的响应中，所有大写字母转换成小写字母和elasticsearch并没有打印数字(非字母)值，即2、但它保持它的空间就像一个用于非字母之前的空间，一个用于该非字母字符的结尾，一个用于其本身。

截图

Classic Tokenizer 示例

在此示例中，我们将在 API 部分传递 _analyze API 并在 "tokenizer" 变量。最后，我们需要提供一个文本字符串来将文本分解为标记。 中指定标记器名称>

POST http://localhost:9200/
_analyze
{
   "tokenizer": "classic",
   "text": "It Was My BIRTHDAY 2 Days Ago"
}

Response

在下面的响应中，可以看到文本流被划分为tokens，类型为字母数字，这意味着将显示字母和数字值。和小写分词器一样，这里的token没有转成小写，响应中也显示数值。

{
       "tokens": [
       {
  "token": "It",
  "start_offset": 0,
  "end_offset": 2,
  "type": "<ALPHANUM>",
  "position": 0,
        },
       {
  "token": "Was",
  "start_offset": 3,
  "end_offset": 6,
  "type": "<ALPHANUM>",
  "position": 1,
        },
       {
  "token": "My",
  "start_offset": 7,
  "end_offset": 9,
  "type": "<ALPHANUM>",
  "position": 2,
        },
       {
  "token": "BIRTHDAY",
  "start_offset": 10,
  "end_offset": 18,
  "type": "<ALPHANUM>",
  "position": 3,
        },
       {
  "token": "2",
  "start_offset": 19,
  "end_offset": 20,
  "type": "<ALPHANUM>",
  "position": 4,
        },
       {
  "token": "Days",
  "start_offset": 21,
  "end_offset": 25,
  "type": "<ALPHANUM>",
  "position": 4,
        },
       {
  "token": "Ago",
  "start_offset": 26,
  "end_offset": 29,
  "type": "<ALPHANUM>",
  "position": 5,
        }
    ]
}

截图

同样，我们可以得到只需在标记器字段中传递它们的名称并在文本字符串中传递文本即可为另一个标记器生成结果。

标记过滤器

• Elasticsearch 提供内置令牌过滤器，可接收来自令牌生成器的输入。
• 收到输入后，这些过滤器可以添加、修改和删除该输入中的文本。
• 我们已经在上一节中解释了大部分令牌过滤器。

字符过滤器

• 字符过滤器在分词器之前处理文本。
• 它会查找指定的模式或特殊字符或 html 标签，然后删除它们或将它们更改为适当的词，例如 & 以删除 html 标记标签。