08. 17 TIL : 데브원영의 카프카

컨슈머 랙 (Lag)

+ 오프셋 : 컨슈머에서 메시지를 어디까지 읽었는 지 저장하는 값

- 컨슈머와 프로듀서 간 데이터 오프셋에 차이가 발생하게 되면 이를 기록하는 것이 컨슈머 랙이다

버로우

- 카프카 컨슈머 랙을 모니터링하는 오픈소스 어플리케이션

컨슈머 단에서 모니터링하는 경우 : 컨슈머와 의존성이 높아져 관련된 문제가 발생한다

~ 컨슈머에 디펜던시가 걸린다, 컨슈머 정지 시 랙 기록 불가, 추가되는 컨슈머 당 모니터링을 개발해야함

장점

1) 멀티 카프카 클러스터 지원

2) Sliding Window를 통한 컨슈머의 상태를 표현할 수 있다 ~ warning, error, ok로 구분

3) HTTP API 제공

https://blog.voidmainvoid.net/243

Burrow - kafka consumer의 지연(lag)을 모니터링할 수 있는 효과적인 opensource tool

카프카 vs 래빗엠큐 vs 레디스 큐

클러스터 구축 시 :

메시지 브로커 vs 이벤트 브로커

메시지 브로커 : 미들웨어에서 사용, 메시지 처리 후 즉시 또는 바로 삭제처리

이벤트 브로커 : 이벤트 장부를 하나만 보관하고 인덱스를 통해 관리. 업무상 필요한 시간동안 데이터를 보관

 

이벤트 브로커는 데이터베이스 같이 큐에 저장함

장점

1) 딱 한번 일어난 이벤트를 저장해 단일 진실 공급원으로 사용가능

2) 장애가 일어난 시점부터 재처리 가능

3) 많은 양의 실시간 스트림 데이터를 효과적으로 처리 가능

4) 많은 이벤트 기반 MSA에서 다양한 역할 수행 가능

 

메시지 브로커의 예시 : 래빗엠큐, 레디스 큐

이벤트 브로커 : 카프카, 키네시스

 

이벤트 브로커로 클러스터를 구축하면 MSA에서 역할을 수행할 뿐 아니라 메시지 브로커로서도 활용이 가능하다