06. 12 TIL

데브원영의 아파치 카프카

1. 아파치 카프카란?

데이터베이스와 서비스의 발전에 따라 어플리케이션과 데이터베이스의 전송라인이 복잡해졌다.

 

소스 어플리케이션(카프카 프로듀서) -> 데이터 -> 아파치 카프카(데이터를 담는 토픽 ~ 큐) -> 데이터 -> 타겟 어플리케이션(카프카 컨슈머)

 

fault tolerent

 

2. 카프카 토픽

카프카의 데이터가 들어가는 공간, AMQP와는 다르게 동작한다.

-> 카프카에서는 데이터 공간(토픽)를 여러 개 생성할 수 있다.

~ 데이터베이스의 테이블이나 파일시스템의 폴더와 유사한 성질

- 토픽은 이름을 가질 수 있다 ~ click_log, send_sms, location_log 

- 하나의 토픽은 여러 개의 파티션으로 구성할 수 있다.

- 파티션은 0번부터 시작, 큐와 같이 선입선출

- 더이상 새로운 데이터가 없다면, 컨슈머(타겟 어플리케이션)은 새로운 데이터를 기다린다.

- 파티션에 저장된 데이터는 삭제되지 않는다.

- 새로운 컨슈머가 붙었을 때 파티션 0부터 가져가서 사용할 수 있다.(다만, 컨슈머 그룹이 달라야하고 auto.offset.reset = earliest여야 한다)

ex) 클릭로그를 분석하고 시각화하기 위해 엘라스틱서치에 저장하거나 하둡에 저장하기도 한다.

- 파티션이 두 개 이상일 때, 데이터를 저장할 경우 개발자가 키를 지정할 수 있다.

-> 키가 null이고, 기본 파티셔너일 경우 : 라운드 로빈으로 할당

-> 키가 있고, 기본 파티셔너를 사용할 경우 : 키의 해시 값을 구하고, 특정 파티션에 할당

 

*파티션은 늘릴 수 있지만 줄일 수는 없다! ~ 파티션을 늘리면 컨슈머의 개수를 늘려서 데이터 처리를 분산시킬 수 있다,

 

파티션에 저장된 데이터 삭제하기

- 최대시간과 크기를 지정할 수 있고, 이를 초과하는 경우 데이터가 삭제되도록 설정 가능하다.

~ log.retention.ms : 최대 record 보존 시간/ log.retention.byte : 최대 record 보존 크기(byte)