11. 29 TIL : 데브원영의 카프카 + SQL 풀이 중 WHERE IN

카프카 스트림즈

 

카프카에서 지원하는 자바 라이브러리

JVM 기반 언어(자바, 스칼라, 코틀린) 중 하나로 선택해 개발이 가능하다

 

* 카프카와 완벽히 호환된다

~ 스파크, 로그 스태시를 많이 사용하지만 이는 카프카의 업데이트 속도를 맞추지 못할 수 있다

 

* 스케줄링 도구가 필요하지 않다

스파크 스트리밍, 스파크 구조적 스트리밍을 사용해 이벤트 데이터 애플리케이션을 만드는 게 일반적이나,

yarn이나 mesos와 같은 클러스터 관리자, 리소스 매니저가 필요하다. 또한 클러스터를 운영하기위한

대규모 장비가 필요하다

 

=> 원하는 만큼 배포가 가능하다

 

* 스트림즈DSL과 프로세서 API를 제공한다

일반적으로 스트림즈를 구현할 때 스트림즈DSL를 사용한다

- 이벤트 기반 데이터 처리시 map, join, window 등과 같은 기능을 제공하고 있다

~ 만약에 없는 경우 개발하면 된다

~ KStream, KTable, GlobalKTable : 대규모 key value 저장소로 활용 가능

 

* 로컬 상태 저장소로 활용가능

1. 상태기반 처리 : 직접 구현이 어렵다 ~ 메모리에 이전 데이터를 가지고 있는 상태로 다음 데이터를 참조하며 처리해야하기 때문

=> 스트림즈 : 로컬에 rocksdb를 사용해 상태를 저장하고 변환정보는 변경로크 토픽에 저장한다

~ 장애발생 시에도 로그가 남으므로 대응이 가능하다

 

2. 비 상태기반 처리 ~ 필터링이나 데이터를 변환하는 처리로 데이터 추가시 바로 처리하기 때문에 데이터 유실 위험이 낮다

 

https://school.programmers.co.kr/questions/57903

프로그래머스

WHERE IN을 활용할 때 원하는 값을 얻으려면,

 

해당 컬럼의 값이 정확히 그 값만 가지고 있어야 한다

 

~ 그러므로 IN은 행에 다른 값이 있다면 원하는 결과를 얻을 수 없다