본문 바로가기

Elastic Stack

elasticsearch 대용량 search(export csv)

1. kibana export csv 사용


2. python export


3. python + scroll api


4. max_result_window 변경
https://wedul.site/518

PUT your_index_name/_settings
  "max_result_window" : 50000 
}

기본 10000 -> 50000
5만까지 사용가능


5. page
size 옵션 사용


6. search_after
https://jaimemin.tistory.com/1543
7.logstash
Output
Csv



https://wedul.site/518

Elasticsearch에서 Paging시 max_result_window 초과시 조회가 안되는 이슈

엘라스틱 서치에서 데이터를 paging 하여 조회할때 from과 size를 사용한다. from은 시작 지점을 이야기하고 size는 그 시작 지점으로 부터 몇 개의 데이터를 보여주어야 하는 건지 설정할 때 사용 되

wedul.site



'Elastic Stack' 카테고리의 다른 글

Elasticsearch 쿼리  (0) 2021.05.13
ELK opendistro-alert Slack 연동  (0) 2021.05.07
elasticsearch 설치된 상태에서 opendistro alert 연동  (0) 2021.05.07
쿼리  (0) 2020.05.17
[elasticsearch] ilm (index lifecycle management)  (0) 2020.05.17