Elastic Stack (23) 썸네일형 리스트형 [elasticsearch] red index 살리기 # curl -xget localhost:9200/_cat/indices?v POST _cluster/reroute { "commands": [ { "allocate_empty_pri": { "index": [INDEX_NAME], "shard": [NUMBER], "node": [NODE_NAME], "accept_data_loss": true } } ] } 1. Index를 삭제한다 장애 발생한 인덱스 잃지만 삭제하자마자 새로운 인덱스가 생성되며 데이터가 저장됨 (데이터 삭제됨!! ) 1. Red인덱스를 우선 두고 새로운 index를 생성하고 Alias설정 한 후, red index를 살리는데 몰두한다 (현재 상태를 복구한 후 과거 데이터를 살리는데 몰두해보자) 2. Unassugned shard 없.. ELK vs EFK logstash vs fluent https://smoh.tistory.com/365 LogStash vs Fluentd - 어떤 것을 선택해야 할까 이 글은 다음 글을 번역한 글입니다: Logstash vs Fluentd — Which one is better! Logstash vs Fluentd — Which one is better ! When it comes to collecting and shipping logs to Elastic stack, we usu.. smoh.tistory.com https://logz.io/blog/fluentd-vs-fluent-bit/ Fluent bit vs fluentd logstash 로 보내는 데이터의 shard 수 변경 (index template) 1. index templates 생성 필드 매핑시킬 필요 없이 number of shards 부분만 셋팅해도 됨 2. 인덱스 생성 3. Reroute, alias 데이터 제일 손실 없는 방법은? Alias -> reroute reroute -> alias elasticsearch 성능 확인 툴 https://github.com/elastic/support-diagnostics/releases Elasticsearch transform / rollup 데이터 롤업 또는 변환 Elasticsearch는 데이터 조작을 위해 다음과 같은 방법을 제공합니다. Transform - 데이터 변환 변환을 사용하면 기존 Elasticsearch 인덱스를 요약된 인덱스로 변환하여 새로운 통찰력과 분석을 위한 기회를 제공할 수 있습니다. Rollup - 과거데이터 롤업 Elastic Stack 데이터 롤업 기능은 과거 데이터를 요약하고 저장하는 수단을 제공하여 분석에 계속 사용할 수 있지만 원시 데이터의 저장 비용의 일부에 불과합니다. cf) rollover (롤오버) https://www.elastic.co/guide/en/elasticsearch/reference/master/indices-rollover-index.html Rollover API | Elastic.. [Elasticsearch] 싱글노드에서 멀티노드구성으로 Q) 노드는 몇개이상으로 분산시켜야하는가 A) 사용환경에 따라 다르나 장애 처리를 위하여 3개 이상으로 구축해야한다. 만약 노드가 2개라면 Master data(master) Master node가 죽고 data노드가 master노드로 승격될 경우 데이터 노드가 없어짐 Master data data Master가 죽을 시 master data 구조로 데이터를 받을 수 있움 Data 노드 죽을시 master data구조로 데이터 받을 수 있음 Q) primary shard 한개로 구동중이라면 A) 프라이머리 샤드 개수를 늘리려면 인덱스를 재생성하는 방법밖에 없다. 레플리카 샤드는 무한정으로 늘릴 수 있다. 인덱스 템플릿 수정 -> 매핑 -> Reindex 샤드가 1개일 경우 앞으로 데이터가 쌓일 인덱스라면.. [Elasticsearch]싱글노드에서 멀티노드로 전환하기 (온프레미스+docker) 보호되어 있는 글입니다. elastalert rules 파일 #name : 알람명 고유한 이름으로 사용 name: test-alert #type : 알람의 타입, 다양한 타입이 있는데 이것은 다음 게시글에 따로 정리하겠다.. #frequency - Y 시간에 X 개의 이벤트가있는 위치 일치할때 노티, timeframe, num_events 옵션을 사용한다. type: frequency #index : 해당 rule이 탐색할 elasticsearch의 인덱스 index: filebeat-* # use_strftime_index: true #num_events : 정해진 time_frame 시간동안 일정 횟수이상 document 매치시 알람 발생. num_events: 1 #timeframe : num_events 카운트를측정할 시간 단위 timeframe: hour.. 이전 1 2 3 다음
