본문 바로가기

Elastic Stack

(23)
elastalert 설치하기 os : centos7 python : python3 elasticsearch : elasticsearch7.10.2 1. 가상 환경 설치 (로컬에 설치 시 모듈의 상대경로 문제나 패키지 에러가 발생할 수 있음) #python3 -m pip install virtualenv or pip instll virtualenv # virtualenv test # ll test bin lib lib64 # source test/bin/activate 2. elastalert 설치 (가상환경 활성화 후 진행) (test)[localhost ~]# pip install elastalert 기본 디렉토리 -> test/lib/python3.6/site-packages/elastalert/ 3. config 디렉터리 생성..
Elasticsearch 쿼리 https://victorydntmd.tistory.com/313 [Elasticsearch] 입문하기(3) - 다양한 검색 방법 ( Search API ) ES는 검색 엔진인 만큼 다양한 검색 API를 제공하며, 이를 잘 알아야 ES를 효과적으로 사용할 수 있을 것이라 생각합니다. 이번 글에서는 Search API에 대해 알아보겠습니다. 다음 글 Query DSL을 다루기 victorydntmd.tistory.com Query DSL( Domain Specific Language ) https://victorydntmd.tistory.com/314 [Elasticsearch] 입문하기(4) - 다양한 검색 방법 ( Query DSL ) 이번 글에서는 쿼리를 통해 검색을 하는 Query DSL( Doma..
ELK opendistro-alert Slack 연동 슬프게도 alert 채널이 Amazon Chime Slack Custom webhook Email 밖에 없다. (텔레그램이 없다니ㅠㅠ) 이 중 slack 을 사용해보겠다.
elasticsearch 설치된 상태에서 opendistro alert 연동 무료 라이선스로 사용하기 cf) 설치 되지 않은 상태에서 연동 yum install opendistroforelasticsearch 사용 elasticsearch 설치된 상태에서 opendistro alert 연동 1.Standalone Elasticsearch plugin installation elasticsearch플러그인 설치 opendistro.github.io/for-elasticsearch-docs/docs/install/plugins/ Standalone Elasticsearch Plugin Install Documentation for Open Distro for Elasticsearch, the community-driven, 100% open source distribution of ..
쿼리 Elasticsearch REST API 사용 :REpresentational State Transfer https://medium.com/@dydrlaks/rest-api-3e424716bab json 형식 1. 테이터 입력 조회 삭제 GET(select) 조회 #curl -XGET http://localhost:9200/[index명] #curl -XGET http://localhost:9200/[index명]?pretty ?pretty - 결과값 깔끔하게 출력 DELETE(delete) 인덱스 삭제 #curl -XDELETE http://localhost:9200/[index명] PUT(insert) 인덱스 생성 #curl -XPUT http://localhost://9200/[index명] doc..
[elasticsearch] ilm (index lifecycle management) 보호되어 있는 글입니다.
elasticsearch 대용량 search(export csv) 1. kibana export csv 사용 2. python export 3. python + scroll api 4. max_result_window 변경 https://wedul.site/518 PUT your_index_name/_settings { "max_result_window" : 50000 } 기본 10000 -> 50000 5만까지 사용가능 5. page size 옵션 사용 6. search_after https://jaimemin.tistory.com/1543 7.logstash Output Csv https://wedul.site/518 Elasticsearch에서 Paging시 max_result_window 초과시 조회가 안되는 이슈 엘라스틱 서치에서 데이터를 paging 하여 조..