rikako-note/elastic search/02_elastic_search_index.md

index modules

index module introduce

index module用于对索引进行创建，并且控制和索引相关的各个方面。

索引设置

索引级别的设置可以针对每个索引来进行设置，设置分类如下：

• static：static设置只能在如下时机应用于索引
  • 索引创建时
  • 索引处于closed状态
  • 使用update-index-settings api，并且带有reopen=true的查询参数，带有该参数时，会关闭受影响索引，更新后将受影响索引重新开启
• dynamic：dynamic索引可以在索引处于活跃状态时，通过udpate-index-settings api进行修改

closed index

当一个索引处于closed状态时，所有针对该索引的read/write操作都会被阻塞，所有可以用于opened状态索引的操作，其执行对于closed状态的索引来说都不允许。

对于closed状态的索引，既无法向其中新增文档，也无法在索引中检索文档。

处于closed状态的索引能够通过open index api来重新开启。

static index settings

index.number_of_shards

索引拥有的primary shards数量，默认为1，该配置项只能在索引创建时被设置。即使索引处于closed状态，该配置项也无法修改。

index.number_of_shards最大为1024

Analysis

index analysis module充当了可配置的analyzer注册中心，analyzer可用于将string类型字段转换为独立的terms，这将用于：

• 将文档string field的字段转化为terms，并且将terms添加到倒排索引中，令文档可以被搜索
• analyzer被用于高级查询，例如match查询，将用户输入的查询字符串分割为search terms用于查询

index shard allocation

index shard allocation提供了可针对单个索引的设置，用于控制node中shard的分配：

• shard allocating filtering：控制shard被分配给哪个node
• delayed allocation：节点离开导致未分配shard的延迟分配
• total shards per node：相同索引在同一node中，shards数量的上限
• data tier allocation：控制对data tier分配的索引

index blocks

index blocks限制了针对特定索引的操作类型。操作阻塞的类型可以分为：

• 读操作阻塞
• 写操作阻塞
• 元数据操作阻塞

针对索引操作的阻塞可以通过dynamic index setting来进行新增和移除。并且，阻塞也可以通过特定的api来进行添加和移除。

针对wrtie blocks设置的修改，一旦修改成功，那么所有的在途写操作都已经完成。

index block settings

index.blocks.read_only

如果该配置项设置为true，该索引和索引的元数据都是只读的，当设置为false时，允许写操作和元数据变更。

index.blocks.read_only_allow_delete

类似于index.blocks.write，但是可以对index进行删除。不要针对index.blocks.read_only_allow_delete进行手动设置或移除。disk-based shard allocator会根据磁盘剩余空间自动添加或移除该配置项。

从索引中删除文档释放资源（而不是删除索引本身）会暂时增加索引的大小，故而在node的磁盘空间不足时可能无法实现。当index.blocks.read_only_allow_delete被设置为true时，并不允许删除索引中的文档。但是，删除索引本身的操作只需要极少量的额外磁盘空间，并且几乎可以立即删除索引所占用的空间，故而删除索引本身的操作仍然被允许。

elastic search在磁盘占用高于flood stage watermark时，会自动为索引增加 read-only-allow-delete阻塞；当磁盘占用率跌倒high watermark之下时，则是会自动释放该阻塞

index.blocks.read

如果设置为true，会阻塞针对index的读操作

index.blocks.write

如果设置为true，会阻塞针对索引的写操作，和index.blocks.read_only不同，本设置项并不影响metadata。

例如，为索引设置write block后，仍然可以对metadata进行变更，但是设置了index.blocks.read_only后，无法对元数据进行变更

index.blocks.metadata

如果设置为true，会禁止对元数据的读取和变更

增加index block示例

# PUT /<index>/_block/<block>
PUT /my-index-000001/_block/write

path param

• <index>: 由,分隔的列表或通配符表达式，代表该请求的索引名称
  • 默认情况下，<index>部分需要指定索引的精确名称。如果想要使用_all, *等通配表达式，需要将action.destructive_requires_name属性设置为false。
• <block>: 向索引应用的阻塞类型
  • <block>部分可选的值为metadata, read, read_only, write

query param

• allow_no_indices：
  • 如果该参数设置为false，那么当索引项中任一wildcard expression, idnex alias或_all值没有匹配的索引或只能匹配到closed状态的索引，那么该请求会返回异常。
  • 例如foo*,bar*，foo*表达式匹配到索引，但是bar*没有相匹配的索引，那么会抛出异常。
  • 该参数认值为true
• expand_wildcards:
  • wildcard pattern能够匹配到的索引类型。如果请求能够匹配到data stream，那么该参数能够决定wildcard pattern能够匹配到hidden data stream
  • 该参数的值支持,分隔，有效的值如下：
    • all：匹配任何data stream或index，包括hidden的
    • open：匹配open, non-hidden状态的索引和non-hidden状态的data stream
    • closed：匹配closed, non-hidden状态的索引和non-hidden状态的data stream
    • hidden：匹配hidden状态的索引和hidden状态的data stream。hidden必须和open, closed中任一组合使用，也能和两者一起使用open, closed, hidden
    • none：不接受wildcard pattern
    • 该参数默认值为open
  • ignore_unavailable: 如果参数设置为false，若未匹配到索引或匹配到closed状态的索引，返回异常
    • 该参数默认值为false
  • master_timeout：等待master node的最大时间，默认为30s，如果超过该限制master node仍然不可访问，那么该请求会返回异常
  • timeout：在更新完metadata后，等待cluster中所有节点返回的时间限制，默认为30s。如果超时后仍未能接受到返回，那么针对cluster metadata的修改仍然会被应用，但是在返回中会指定并非接受到了所有的ack

示例

添加write block的示例如下所示：

PUT /my-index-000001/_block/write

返回结果如下：

{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "indices" : [ {
    "name" : "my-index-000001",
    "blocked" : true
  } ]
}