asahi/rikako-note

Fork 0

Files

asahi 3517559617 阅读es文档

2024-10-04 21:07:06 +08:00

4.2 KiB

Raw Blame History

ElasticSearch

简介

ElasticSearch是一个分布式的搜索和分析引擎、可缩放的数据存储、矢量数据库（vector database）。

用例场景

如下是ElasticSearch的用例场景

日志：es可以用于收集、存储和分析日志
full-text search：通过倒排索引，es可以用于构建全文本搜索方案

安装

下列安装示例基于Ubuntu 22.04

add elasticsearch GPG keys

wget -q https://artifacts.elastic.co/GPG-KEY-elasticsearch -O- | sudo gpg --dearmor -o /usr/share/keyrings/elasticsearch-keyring.gpg

Add Elasticsearch 8.x APT Repository

echo "deb [signed-by=/usr/share/keyrings/elasticsearch-keyring.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-8.x.list

install elastic search

sudo apt update && sudo apt install elasticsearch

Indices, documents, and fields

在ES中，index是存储的基本单元，是存储数据的逻辑namespace，位于同一index下的存储数据共享相似的特征。

在ES服务部署之后，需要创建index，并在index中存储数据。

index是一系列document的集合，通过name或alias唯一标识，在查询或其他操作中，通过unique name来定位index。

Documents and fields

ElasticSearch以json文档的格式来序列化和存储数据。一个document是fields的集合，field则是对应的key-value pair。每个document都有一个唯一的id，文档id可以手动指定，也可以让ES自动生成。

一个ES文档的格式如下所示：

{
  "_index": "my-first-elasticsearch-index",
  "_id": "DyFpo5EBxE8fzbb95DOa",
  "_version": 1,
  "_seq_no": 0,
  "_primary_term": 1,
  "found": true,
  "_source": {
    "email": "john@smith.com",
    "first_name": "John",
    "last_name": "Smith",
    "info": {
      "bio": "Eco-warrior and defender of the weak",
      "age": 25,
      "interests": [
        "dolphins",
        "whales"
      ]
    },
    "join_date": "2024/05/01"
  }
}

metadata field

一个indexed document包含data和metadata。

metadata fields为系统fields，用于存储document的相关信息，在elastic search中，metadata field以下划线_开头，例如，如下field为metadata field：

_id：文档id，文档id在每个index中都是唯一的
_index：标识该文档存储在哪个index中

Mappings and data types

每个index都有mapping或schema，用于指定document中的fields如何被索引。

一个mapping定义了每个field的data type，以及该field如何被索引、该field如何被存储。

在将document添加到index时，对于mapping有如下两种选择：

Dynamic Mapping：让ES自动检测data type并创建mapping。在引入dynamic mapping后，可能会针对某些用例场景产生次优结果
Explicit Mapping：针对每个field手动指定data type

向ElasticSearch中添加数据

General content

General content是不包含时间戳的数据，对于general content，可以通过如下方式添加到ES中：

API：可以通过HTTP API向ES中添加数据

Timestamped data

Timestamped data代表包含timestamp field的数据，如果使用了Elastic Common Schema(ECS)，那么timestamp field的名称为@timestamp，这些数据可能是logs, metrics, traces。

查询和分析数据

可以通过如下方式来查询和分析数据

Rest Api

可以通过rest api来管理elastic search集群，并索引和查询数据。

query language

ES提供了多种查询语言来和数据进行交互

Query DSL: ES主要的查询语言
ES|QL: 8.11中新增的piped query language和计算引擎

Query DSL

query DSL是一种json格式的查询语言，支持复杂的查询、过滤、聚合操作，是ES最原始也是功能最强的查询语言

_search endpoint接收Query DSL格式的查询

query DSL支持如下查询：

全文本搜索：搜索已经被分析和索引过的文本，支持短语或临近查询、模糊匹配等
关键词查询：支持精确的关键词匹配
语义查询
向量查询
地理位置查询

4.2 KiB Raw Blame History Unescape Escape