DataBase29 [ Redis 주요 성능 지표 ] 자세히 알아보기 Redis VS elasticsearchelasticsearch - 데이터를 디스크에 저장하므로 디스크 성능이 중요 (SSD) - 장기 / 대용량 데이터 저장에 유리Redis - 데이터를 디스크가 아닌 RAM에 저장 = 분산 캐시 디비로 임시 저장용도로 많이 사용 - RAM 특성상 속도는 빠르나 데이터가 휘발성으로 주기가 빠른, 속도가 중요한 데이터 저장에 유리데이터 처리 속도 CPU > Memory > Disk분류 트리 구조Memory - Used Memory / Peak used memory / RSS (Resident Set Size) / Memory fragmentationCPU - system / userConnections - Active connections / Blocked co.. 2024. 5. 14. [metricbeat] Host overview ECS 대시보드 설명 https://www.elastic.co/guide/en/beats/metricbeat/7.17/load-kibana-dashboards.html Load Kibana dashboards | Metricbeat Reference [7.17] | ElasticLoad Kibana dashboardsedit For deeper observability into your infrastructure, you can use the Metrics app and the Logs app in Kibana. For more details, see Metrics monitoring and Log monitoring. Metricbeat comes packaged with example Kibana dashboards, v.. 2024. 4. 22. [ metricbeat ] disk IO 부분 필드 추가하여 출력되도록 하는 방법 (system module 설정) 참고 문서https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-metricset-system-diskio.html#_fields_226 System diskio metricset | Metricbeat Reference [8.13] | ElasticSystem diskio metricsetedit The System diskio metricset provides disk IO metrics collected from the operating system. One event is created for each disk mounted on the system. This metricset is available on: Linux macOS (.. 2024. 4. 19. [flume 오류] Exception: java.lang.OutOfMemoryError ✅ 문제 상황 flume ➡️ kafka ➡️ logstash ➡️ elasticsearch 로 가는 방식인데kafka "filebeat"라는 topic안에 로그파일이 있음에도 불구하고 로그스태시에서 엘라스틱으로 인덱스 업로드가 되지 않는 상황 발생확인해보니 flume에 위와 같은 오류가 발생jvm 위에서 돌아가는데 용량이 부족하여 에러가 난 것! ✅ 해결 flume/conf/flume-env.sh에서 위와 같이 용량을 1기가로 늘려주도록 함 또는 로그스태시 부분의 config/jvm.options 파일에서 용량 늘려주는 방법도 있음 2024. 4. 19. [Kafka] Additional Components Schemas 프로토콜(표준) 정해서 일관성 맞추고, 구조화 시키는 것 프로듀서와 컨슈머 간의 소통을 할 때 유용 보낼 때 어떻게 보낼 것인지에 대한 필드 설명과 같은 것들이 필요 ➡️ 레지스트리에 스키마 등록을 하면 사용할 때 스키마 레지스트리를 보고 사용하는 것 스키마의 변화1990년대에 email address 가 추가되었고, 현재는 fax number 가 사라짐 아래 4개의 필드로 스키마 작성type - stringtip size in MM - stringcolor - stringbrand - string Schema 관리 - Avro / Protobuf / Json 데이터 직렬화 방식 시스템 Avro 스키마 작성 아래와 같이 Avro 스키마를 Json형태로 쉽게 정의할 수 있음 파일의 확장자는 .. 2024. 4. 9. [Kafka] Core Overview Kafka 핵심 용어 프로듀서 Producer : 메세지를 생산, 발송컨슈머 Consumer : 메세지를 소비, 수신브로커 Broker : 프로듀서와 컨슈머 사이에서 메세지를 중개, "host:port" 로 브로커 식별토픽 Topic : consumer가 가져가는 event / message를 보관하고 있는 folder의 개념파티션 Partition : 토픽 하나를 여러 개로 나눈 것, 하나를 여러개로 나누면 분산처리 가능 (나눈 파티션 수만큼 컨슈머 연결 가능)세그먼트 Segment : 각 메세지들은 세그먼트라는 로그 파일의 형태로 브로커의 로컬 디스크에 저장오프셋 Offset : 파티션에 메세지가 저장되는 위치(파티션 마다의 고유한 숫자), 순차적으로 증가하는 숫자 형태로 되어있음, 오프셋을 통해 메.. 2024. 4. 2. [Data 수집 및 연동] filebeat, kafka, logstash 사용해서 elasticsearch 데이터 업로드 하는 방법 💡flow 이해 1. 우선 내가 수집하려는 데이터의 구조는 master / detail 로 나누어져 있음 - 인덱스 하나로 field라는 구분자를 사용하여 데이터 수집할 예정 2. filebeat.yml에서 data input, output 세팅해줌 3. kafka 토픽으로 위 파일을 수집하도록 함 4. logstash는 토픽과 연결하여 토픽 안에 있는 데이터를 수집하여 elastic에 뿌려줌 filebeat > kafka > logstash > elasticsearch 💡실습 1. filebeat.yml (permission X인 경우 sudo로 진행) filebeat inputs 부분에 fields로 master / detail 구분해주도록 함 다른 output부분 주석처리해주고 kafka 부분만 주.. 2024. 3. 19. [Elastic Search] Lab 5.3 aggregations 5번 문항에서 aggs 타입 중 하나인 moving_fn 이 나왔다!이동함수라는 뜻으로 매우 생소했음!!다음과 같은 매개변수를 사용한다고 함✅ buckets_path: 이동 함수를 계산할 대상 필드의 경로를 지정합니다. 이는 다른 집계 결과를 참조할 수도 있습니다. 예를 들어, 이동 평균을 계산하기 위해 이전 집계 결과인 합계(sum) 값을 참조할 수 있습니다.✅ window: 이동 함수를 계산할 때 사용할 이동 창의 크기를 지정합니다. 이는 이동 함수를 계산할 데이터 포인트의 범위를 결정합니다. 예를 들어, window 값이 5인 경우, 현재 데이터 포인트와 이전 4개의 데이터 포인트를 사용하여 이동 함수를 계산합니다.✅ script: 이동 함수 계산에 사용할 스크립트를 지정합니다. 예를 들어, 이동 .. 2024. 1. 30. [Elastic Search] Analyzer (tokenizer, char_filter, token filter) ✅ character filter - 0~n 개로 구성 - 텍스트 분석 중 가장 먼저 처리되는 과정 - 토크나이저에 의해 텀으로 분리되기 전에 적용되는 일종의 전처리 도구 ☑️ HTML strip : HTML 태그 제거하여 일반 텍스트로 변경 ☑️ mapping : 지정된 단어를 다른 단어로 치환 ☑️ pattern replace : 정규식 통해 좀 더 복잡한 패턴들을 치환 ✅ Tokenizer - 1개로 구성 - 검색 기능에 가장 큰 영향을 미치는 단계 ☑️ standard : 공백기준, 특수문자 제거 (문장 사이 특수문자는 X), 대문자 그대로 출력 ☑️ letter : 공백, 기호, 숫자 분리 ☑️ lowercase : 소문자 기준으로 분리, 소문자로 출력, 숫자/기호 제거 ☑️ whitespace.. 2024. 1. 10. 이전 1 2 3 4 다음
