08.19 TIL : 데브원영의 카프카

1. AWS에 카프카 클러스터 설치, 실행

0) 아파치 카프카 설치 준비

- 주키퍼 : 카프카 관련 정보를 저장

- 카프카

 

1) ec2 발급, 3대의 인스턴스 실행

2) wget 명령어로 주키퍼 설치, 압축해제, 주키퍼 앙상블 설정

3) etc/hosts 수정

4) 주키퍼 연동을 위한 방화벽 설정 : aws 보안그룹 설정 ~ 2181, 2888, 3888, 9092 포트 개방

5) 주키퍼 실행

6) 카프카 설치 : wget - 압축해제 - 브로커 id 설정 - 리스너 & advertise 리스너 설정 - 주키퍼의 hostname 및 포트 입력

7) 카프카 실행 : 토픽 생성 및 프로듀서와 컨슈머 간 통신 확인

2. 카프카 프로듀서

- 데이터를 토픽에 생산하는 역할

- 특정 토픽에 데이터를 publish

- 카프카 브로커로 데이터 전송 시, 성공 여부를 확인할 수 있고, 실패할 경우 재시도를 할 수 있다

 

* 클라이언트와 브로커의 버전을 잘 확인하기 : 버전을 지원하지 않을 수도 있다

* 브로커의 경우 2개 이상의 ip와 port를 설정하도록 권장됨 ~ 하나의 브로커가 비정상일 경우에 대응 가능

* 스트링 시리얼라이저 : 키 또는 value를 직렬화하기 위해 사용 ~ 키 : 메시지를 보내면, 토픽의 파티션을 지정할 때 사용

 

- 카프카 클라이언트에서 프로듀서 클래스를 제공한다

- producer.send(record);

* 키를 지정하지 않고 데이터를 보낼 경우 : 라운드 로빈 방식으로 파티션에 데이터 전송

* 키를 지정한 경우 : 동일 value의 데이터, 특정 데이터는 특정 파티션으로 전송된다(파티션을 새로 추가하는 경우에는 매핑이 깨지게 되어 의도한 데이터 전송이 이루어지지 않으므로 키를 지정한 후에는 파티션을 새로 생성하는 것은 권장되지 않는다)