Fielddata 是 Elasticsearch 中的一個術語,指的是一些字段上值的聚合操作。ES 默認情況下,對于每個字段,都會存儲原始的值和倒排索引來支持搜索。然而,在某些場景下,我們也需要聚合數據,計算最小、最大、平均值等指標,這就用到了 fielddata。下面將從幾個方面對 fielddata 進行詳細解讀。
一、基礎概念
Fielddata 中有兩種類型的值:doc value 和 fielddata cache。其中,doc value 本質是一種優(yōu)化索引的方式,可以加速排序和聚合操作。doc value 值是預先計算好的存儲在內存中的值。相比之下,fielddata cache 存儲在磁盤上的原始值,需要在聚合操作時再進行計算。fielddata cache 默認情況下是禁用的,需要手動啟用。
二、聚合操作
聚合操作是 Elasticsearch 中 fielddata 的一個核心使用場景。最簡單的聚合操作是計算最大值、最小值、平均值和唯一值,可以通過以下語句進行實現:
GET /my_index/_search
{
"aggs": {
"max_amount": { "max": { "field": "amount" } },
"min_amount": { "min": { "field": "amount" } },
"avg_amount": { "avg": { "field": "amount" } },
"unique_tags": { "cardinality": { "field": "tags" } }
}
}
另外,我們還可以使用 fielddata 對文本進行聚合操作。例如,以下語句計算商品品牌的銷售總量:
GET /my_index/_search
{
"aggs": {
"brand_sales": {
"terms": {
"field": "brand.keyword"
},
"aggs": {
"total_sales": {
"sum": {
"field": "sales"
}
}
}
}
}
}
三、性能優(yōu)化
Fielddata 相對于一些常用的 Elasticsearch 操作(如搜索)是非常消耗資源的。因此需要一定的性能優(yōu)化。常見的優(yōu)化方式包括:
1、啟用 doc value
啟用 doc value 可以提升排序、聚合操作的性能,占用更少的內存。
PUT my_index/_mapping/my_type
{
"properties": {
"my_field": {
"type": "long",
"doc_values": true
}
}
}
2、避免全量操作
避免全量操作可以大大減少聚合操作的耗時。因此,需要明確設置聚合、搜索、查詢、過濾和排序等操作的范圍和目標,盡量不對全部數據執(zhí)行操作。
3、增加緩存大小
fielddata 的 cache 默認是 30% JVM 堆空間。如果數據量較大,緩存可能會非常滿,導致性能問題。可以通過增加緩存大小解決這個問題。
PUT /my_index/_settings
{
"index": {
"fielddata": {
"cache": {
"size": "40%"
}
}
}
}
4、合理使用 filter
filter 比 query 更快,因為它可以減少 fielddata 的工作。過濾多個聚合操作時,盡量使用 filter 而不是 query。
四、總結
本文介紹了 Elasticsearch 中的 fielddata,討論了其基礎概念、聚合操作和性能優(yōu)化。對于線上環(huán)境中的 fielddata 操作,需要根據具體的業(yè)務場景和數據量進行合理的性能優(yōu)化,才能獲得更好的使用效果。