최근 포스트

Kafka 브로커, 클러스터, 주키퍼

4 분 소요

카프카 브로커는 카프카 클라이언트와 데이터를 주고 받기 위해 사용하는 주체이자, 데이터를 분산 저장하여 장애가 발생하더라도 안전하게 사용할 수 있도록 도와주는 어플리케이션이다. 하나의 서버에는 한 개의 카프카 브로커 프로세스가 실행된다. 카프카 브로커 서버 1대로도 기본 기능이 실...

Hive UDAF

1 분 소요

집계 함수는 정규 UDF보다 만들기 힘들다. 수 많은 태스크에 걸쳐 있는 청크에서 그 값을 모두 모아야 하기 때문이다. 따라서 부분 집계를 다시 최종 결과로 결함할 수 있는 기능을 반드시 구현해야 한다.