TIL, WIL (78) 썸네일형 리스트형 08.19 TIL : 데브원영의 카프카 1. AWS에 카프카 클러스터 설치, 실행 0) 아파치 카프카 설치 준비 - 주키퍼 : 카프카 관련 정보를 저장 - 카프카 1) ec2 발급, 3대의 인스턴스 실행 2) wget 명령어로 주키퍼 설치, 압축해제, 주키퍼 앙상블 설정 3) etc/hosts 수정 4) 주키퍼 연동을 위한 방화벽 설정 : aws 보안그룹 설정 ~ 2181, 2888, 3888, 9092 포트 개방 5) 주키퍼 실행 6) 카프카 설치 : wget - 압축해제 - 브로커 id 설정 - 리스너 & advertise 리스너 설정 - 주키퍼의 hostname 및 포트 입력 7) 카프카 실행 : 토픽 생성 및 프로듀서와 컨슈머 간 통신 확인 2. 카프카 프로듀서 - 데이터를 토픽에 생산하는 역할 - 특정 토픽에 데이터를 publish .. 08. 17 TIL : 데브원영의 카프카 컨슈머 랙 (Lag) + 오프셋 : 컨슈머에서 메시지를 어디까지 읽었는 지 저장하는 값 - 컨슈머와 프로듀서 간 데이터 오프셋에 차이가 발생하게 되면 이를 기록하는 것이 컨슈머 랙이다 버로우 - 카프카 컨슈머 랙을 모니터링하는 오픈소스 어플리케이션 컨슈머 단에서 모니터링하는 경우 : 컨슈머와 의존성이 높아져 관련된 문제가 발생한다 ~ 컨슈머에 디펜던시가 걸린다, 컨슈머 정지 시 랙 기록 불가, 추가되는 컨슈머 당 모니터링을 개발해야함 장점 1) 멀티 카프카 클러스터 지원 2) Sliding Window를 통한 컨슈머의 상태를 표현할 수 있다 ~ warning, error, ok로 구분 3) HTTP API 제공 https://blog.voidmainvoid.net/243 Burrow - kafka con.. 08. 13 TIL : 간단한 전자정부 표준 프레임워크 교육 후기 8월 7일부터 13일까지 신청해둔 전자정부 표준 프레임워크 교육을 다 들었다. 다만, 시간적인 여유가 부족해 이번 기회에 수료하진 못했다.. ㅋㅋ 더 빡세게 해야겠다는 생각을 가져본다! 양이 생각 이상으로 많고 개념이 완전 생소한 것은 없었지만 제출해야 하는 과제가 좀 있어 제때 다 못했던 바람에. 그래도 들으며 정리한 주요 꼭지 - 프레임워크에 대한 개요, 이 부분에 대해 시험에 몇 문제나 나왔는지! 사실 개발에 있어 중요도가 높다고 생각하지 않았는 데 시험에 많이 나와 좀 당황했다. 오히려 실습이나 코드에 대한 부분을 시험에서 더 많이 봤더라면 좋았겠으나, 시험이 그렇게 출제된 이유가 있을 것이라 생각한다 - 개발에 있어 유용하다고 생각했던 각종 공통 컴포넌트, 템플릿 프로젝트 등이 있고 이를 해볼 .. 08.14 TIL : 데브원영의 카프카 1. 파티셔너 - 프로듀서가 데이터를 보낼때 무조건 파티셔너를 통해 보내야 한다 - 어떤 파티션(토픽 안에 있는)에 넣을지를 결정한다 - 레코드에 포함된 메시지 키 또는 메시지 값에 따라 파티션의 위치가 결정된다 - 기본 값 : UniformStickyPartioner 1) 메시지 키가 있을 때 특정 해시 값이 생성되고, 이를 바탕으로 어느 파티션으로 갈 지 정해진다 ~ 동일한 메시지 키를 가질 경우 동일 파티션에 들어가는 것을 보장하므로, 데이터의 순서를 보장할 수 있다 -> 파티션 내부에서 큐처럼 동작한다 2) 키가 없을 때 - 라운드 로빈 방식으로 토픽의 파티션에 값이 입력된다 3) 커스텀 파티셔너 - Pationer 인터페이스를 이용해 메시지 키, 값 또는 이름에 따라 데이터 분배방식을 임의로 설.. 08. 04 TIL : RDB 인덱스의 내부 작동 원리 문제 : 업무 중 DB를 검색하다 어떤 테이블을 봤을 때 클러스터형 인덱싱이 되어 있지 않은 것을 알게 되었다. 그 테이블의 데이터를 보다 깔끔하게 조회하려면 ORDER BY를 통해 정렬한 후 조회해야 했다. 왜 그렇게 테이블을 설계한 것인지가 궁금해졌고, 마침 공부하던 SQL책에서 관련 내용이 나와 정리해보려고 한다 시도해본 것 : 특별히 있진 않다. 어려운 문제가 아니고 다만 왜 클러스터형 인덱싱을 하지 않아 정렬하지 않은 이유가 있을 것인데, 왜 그런 판단을 내리게 된 것인지 그 근거와 이유를 이해하는 것이 더 중요하다 생각했다 0. 균형 트리 - 인덱스는 균형 트리 자료구조로 만들어지고, 균형 트리는 검색 연산 시 무조건 루트 노드(MySQL : 페이지)부터 검색한다. 루트 노드에 각 노드에 대해.. 2023 인프콘 이벤트 : 내 시간표와 들어야 하는 이유 https://www.inflearn.com/infcon-2023/schedule/share?id=1017478&hash=cdaosldk%405b9ef2a3&name=Seong+Jae+Yu Seong Jae Yu 님의 인프콘 시간표는? - INFCON 2023 보고 싶은 세션들로 시간표를 만들어 친구와 공유해 보세요! - 인프런이 만드는 IT인의 축제, 인프콘으로 초대합니다. 인프콘과 함께 배우고 나누고 성장하세요. 다양한 발표 세션, 핸즈온, 네트 www.inflearn.com 인프콘의 대박 이벤트! 한번 꼭 가보고 싶은 인프콘.. 가능하면 최대한 자주 참석하고픈 인프콘. 욕심을 내보는 것은 개발자라면 당연한 일이 아닐까..? 2023 인프콘에 대해 좀 더 알아보고 내가 꼭 들어보고 싶은 세션에 대해 .. 07.22 TIL : 그 밖의 인터넷 프로토콜 정리 Other Internet Protocols Hypertext Transfer Protocols (HTTP) are used on top of Transmission Control Protocol (TCP) to transfer webpages and other content from websites. This reading explores other protocols commonly used on the Internet. Dynamic Host Configuration Protocol (DHCP) You've learned that computers need IP addresses to communicate with each other. When your computer connects to a net.. 06. 13 TIL - 업무 숙지사항 복습 - JVM 강의 복습 1 - 1 복습 * 예제 0) 클래스 파일 실행 경로 (1) 'jenv' 등을 통해 java 버전 설정 (2) 현재 경로에서 '.java' 파일 컴파일 - 경로-> ~/java/com/wanted/java00_classpath' - 명령문-> 'javac Example.java' (3) 컴파일된 '.class'파일 실행 : 'java com.wanted.java00_classpath.Example00' * 예제 1) Single-File Souce-Code Program ~ 단일 .java파일 = 컴파일없이 실행 JDK 11에서 추가된 기능 (1) jenv 등으로 java 버전 설정 (2) java Example01.java 명령어로 컴파일 없이 바로 실행할 .. 이전 1 ··· 3 4 5 6 7 8 9 10 다음