✅ 문제 상황
flume ➡️ kafka ➡️ logstash ➡️ elasticsearch 로 가는 방식인데
kafka "filebeat"라는 topic안에 로그파일이 있음에도 불구하고 로그스태시에서 엘라스틱으로 인덱스 업로드가 되지 않는 상황 발생
확인해보니 flume에 위와 같은 오류가 발생
jvm 위에서 돌아가는데 용량이 부족하여 에러가 난 것!
✅ 해결
flume/conf/flume-env.sh에서 위와 같이 용량을 1기가로 늘려주도록 함
또는 로그스태시 부분의 config/jvm.options 파일에서 용량 늘려주는 방법도 있음
'DataBase' 카테고리의 다른 글
[metricbeat] Host overview ECS 대시보드 설명 (0) | 2024.04.22 |
---|---|
[ metricbeat ] disk IO 부분 필드 추가하여 출력되도록 하는 방법 (system module 설정) (0) | 2024.04.19 |
[Kafka] Additional Components (0) | 2024.04.09 |
[Kafka] Core Overview (0) | 2024.04.02 |
[Data 수집 및 연동] filebeat, kafka, logstash 사용해서 elasticsearch 데이터 업로드 하는 방법 (1) | 2024.03.19 |
댓글