elasticsearch 대용량 search(export csv)

1. kibana export csv 사용


2. python export


3. python + scroll api


4. max_result_window 변경
https://wedul.site/518

PUT your_index_name/_settings

{ 

  "max_result_window" : 50000 

}

기본 10000 -> 50000
5만까지 사용가능


5. page
size 옵션 사용


6. search_after
https://jaimemin.tistory.com/1543
7.logstash
Output
Csv



https://wedul.site/518

Elasticsearch에서 Paging시 max_result_window 초과시 조회가 안되는 이슈