Elastic Stack (21) 썸네일형 리스트형 elasticsearch 성능 향상 시키기 1. elk stack 버전업 7.16 -> 8.2.3 2. jdk 버전업 openjdk 1.8 -> openjdk 17 3. CMS GC-> G1GC 적용 $ cat /etc/elasticsearch/jvmoptions # CMSGC 설정 주석 ## GC configuration #-XX:+UseConcMarkSweepGC #-XX:CMSInitiatingOccupancyFraction=75 #-XX:+UseCMSInitiatingOccupancyOnly # G1GC 설정 ## set G1GC configuration -XX:+UseG1GC https://d2.naver.com/helloworld/37111 CMS GC? (Concurrent Mark-Sweep) Application의 Thread와 .. ELK 쿼리 종류(EQL, DSL, KQL) EQL Search (Event Query Language) https://www.elastic.co/guide/en/elasticsearch/reference/current/eql.html EQL search | Elasticsearch Guide [8.0] | Elastic This functionality is in technical preview and may be changed or removed in a future release. Elastic will apply best effort to fix any issues, but features in technical preview are not subject to the support SLA of official GA features. www... elasticsearch XDR https://www.elastic.co/kr/endpoint-security/ Elastic Security 및 Elastic Agent를 이용한 방지, 탐색 및 엔드포인트 대응 무료 개방형 Elastic Agent로 Malware와 랜섬웨어를 차단하고 호스트 데이터를 수집 및 분석하고 osquery를 중앙에서 관리 www.elastic.co [elasticsearch] Open shard limit 보호되어 있는 글입니다. [elasticsearch] 2개의 index를 병합하는 법 index1 : abc1234 필드정보 SRC_IP COUNTRY NAME TIMESTAMP index2 : cde5678 필드정보 SRC_IP SIGNATURE DETECTION_TIME 두 인덱스의 공통필드인 SRC_IP 값으로 하나의 인덱스를 생성하고 싶다. AS-IS TO-BE I 1. enrich 2. /_leftjoin (parent/child) 3. nested 4. transfrom api 5. entity centric indexing 6. scroll API 7. forcemerge API - roolover된 인덱스 ex) filebeat-000001, filebeat-000002 이런 인덱스를 병합하는 느낌이다.. [elasticsearch] aggregation aggregation = rdbms 의 group by ! 1. Metric Aggregation https://esbook.kimjmin.net/08-aggregations/8.1-metrics-aggregations [이슈] elastalert에서 metritbeat 데이터를 metric aggregation로 알람을 설정하니 field 들의 값이 missing value 로 노티됨 ㅜ -> https://github.com/Yelp/elastalert/issues/1260 alert 필드에 집계 대상 필드만 가능 집계 대상 외 필드 접근 불가 ㅜ 2. bucket aggregation https://esbook.kimjmin.net/08-aggregations/8.2-bucket-aggregatio.. 데이터 migration(snapshot) https://www.elastic.co/guide/en/cloud/current/ec-migrate-data.html Migrating your Elasticsearch data | Elasticsearch Service Documentation | Elastic Migrating your Elasticsearch dataedit You might have switched to Elasticsearch Service for any number of reasons and you’re likely wondering how to get your existing Elasticsearch data into your new infrastructure. Along with easily creating as many.. [elasticsearch] red index 살리기 # curl -xget localhost:9200/_cat/indices?v POST _cluster/reroute { "commands": [ { "allocate_empty_pri": { "index": [INDEX_NAME], "shard": [NUMBER], "node": [NODE_NAME], "accept_data_loss": true } } ] } 1. Index를 삭제한다 장애 발생한 인덱스 잃지만 삭제하자마자 새로운 인덱스가 생성되며 데이터가 저장됨 (데이터 삭제됨!! ) 1. Red인덱스를 우선 두고 새로운 index를 생성하고 Alias설정 한 후, red index를 살리는데 몰두한다 (현재 상태를 복구한 후 과거 데이터를 살리는데 몰두해보자) 2. Unassugned shard 없.. 이전 1 2 3 다음