12. 03 TIL : 데브원영의 카프카

카프카 커넥트

 

공식 컴포넌트 중 하나

커넥트와 커넥터

1. 카프카 커넥트

커넥터를 동작하도록 실행해주는 프로세스

* 커넥트를 실행하기 위해 먼저 실행되어야 한다

 

1-1) 단일 실행 커넥트

 

1-2) 분산 실행 커넥트, 카프카 커넥트 클러스터

2개 이상의 커넥트가 하나의 클러스터로 묶인 형태 : 커넥트 장애 시 대응할 수 있다 ~ 실질적으로 상용에 사용할 수 있다

 

2. 카프카 커넥터

커넥터는 데이터를 실질적으로 처리하는 코드가 담긴 jar 패키지와 같다. 파이프라인에 필요한 메서드 등이 포함되어 있다

 

=> 토픽에서 DB로 데이터를 보내고 싶을 때 커넥터의 insert 메서드를 구현해 커넥터를 실행한다

 

2-1) 싱크 커넥터 : 특정 토픽의 데이터를 DB에 저장하는 역할, 컨슈머와 같은 역할

2-2) 소스 커넥터 : 데이터베이스로부터 데이터를 가져와 토픽에 넣는 역할, 프로듀서와 같은 역할