08.14 TIL : 데브원영의 카프카

1. 파티셔너

- 프로듀서가 데이터를 보낼때 무조건 파티셔너를 통해 보내야 한다

- 어떤 파티션(토픽 안에 있는)에 넣을지를 결정한다

- 레코드에 포함된 메시지 키 또는 메시지 값에 따라 파티션의 위치가 결정된다

- 기본 값 : UniformStickyPartioner

 

1) 메시지 키가 있을 때

특정 해시 값이 생성되고, 이를 바탕으로 어느 파티션으로 갈 지 정해진다

~ 동일한 메시지 키를 가질 경우 동일 파티션에 들어가는 것을 보장하므로, 데이터의 순서를 보장할 수 있다

-> 파티션 내부에서 큐처럼 동작한다

 

2) 키가 없을 때

- 라운드 로빈 방식으로 토픽의 파티션에 값이 입력된다

 

3) 커스텀 파티셔너

- Pationer 인터페이스를 이용해 메시지 키, 값 또는 이름에 따라 데이터 분배방식을 임의로 설정할 수 있다

ex) VIP 고객에 대한 처리속도를 특정해 향상하고 싶을 경우 : 전용 파티션을 설정하는 방식으로 향상 가능

+ AMQP 기반 메시징 시스템에서 우선순위 큐를 만드는 것과 유사하다