Elasticsearch Track total hits

Elasticsearch에서 문서의 전체 갯수를 구하기 위해 7버전부터 track_total_hits 를 사용할 수 있습니다.

 

https://www.elastic.co/guide/en/elasticsearch/reference/7.17/search-your-data.html#track-total-hits

Search your data | Elasticsearch Guide [7.17] | Elastic

 

일반적으로 전체 히트 수는 모든 매칭되는 문서를 조회하지 않고 정확하게 계산할 수 없으며, 이는 많은 문서와 일치하는 쿼리에서 비용이 많이 발생합니다. track_total_hits 파라미터 전체 히트 수를 어떻게 추적할지 제어할 수 있습니다. 최소 10,000개의 히트가 있다는 식으로 히트 수의 하한만 알면 충분하기 때문에, 기본 값은 10,000으로 설정되어 있습니다. 즉, 요청은 최대 10,000개의 히트에 대해서는 전체 히트를 정확하게 계산합니다. 일정 threshold 이후에는 정확한 히트 수를 계산할 필요가 없다면 이 방법이 검색 속도를 높이는데 좋은 트레이드 오프입니다.

 

track_total_hits를 true로 설정하면, 검색 응답에서 쿼리와 일치하는 히트 수를 정확하게 반환합니다.

(예. total.relation은 track_total_hits가 true일 때 항상 "eq"로 설정됩니다.)

그렇지 않으면, 검색 결과에서 "total" 객체에 있는 "total.relation"이 "total.value"를 어떻게 해석할지 결정합니다. "gte"의 값은 쿼리와 일치하는 전체 히트 수 중 "total.value"의 하한임을 의미하며, "eq" 값은 "total.value"가 정확한 히트 수임을 나타냅니다.

 

 

 

10,000건이 넘는 인덱스를 조회하면 최대 10,000건까지 조회가 됩니다.

 

 

{
  "track_total_hits": true
}

 

track_total_hits를 true로 설정하면 문서의 전체 히트 수를 조회할 수 있고, relation은 "eq"로 설정됩니다.

 

{
  "track_total_hits": 1000
}

track_total_hits는 integer로 설정이 가능합니다.

 

 

만약 문서의 전체 갯수가 track_total_hits에서 설정한 값보다 작다면, total.relation이 "eq"로 설정됩니다.

 

 

{
  "track_total_hits": false
}

만약 전체 히트 수를 알 필요가 없다면, track_total_hits를 false로 설정함으로써 쿼리 속도를 개선할 수 있습니다.

 

NativeQueryBuilder()
    .withQuery(mapToLawyerSearchESQueryDsl(categories, region, terms))
    .withPageable(pageable)
    .withSort(sort(sortBy))
    .withTrackTotalHits(true)
    .build()

 

Spring에서 NativeQuery를 통해 ES를 조회한다면, 위와 같이 withTrackTotalHits() 함수를 통해 설정이 가능합니다.

integer 값이 필요하면 withTrackTotalHitsUpTo() 메서드가 존재하니 해당 메서드를 사용하면 됩니다.