카프카, 데이터 플랫폼의 최강자의 정리한 자료입니다.
카프카는 기본적으로 메세징 서버로 동작합니다. 메시지라고 불리는 데이터 단위를 보내는 퍼블리셔에서 카프카 토픽이라는 각각의 메시지 저장소에 데이터를 저장하면, 가져가는 측 커뮤머가 이 원하는 토픽에 데이터를 가져가게되어 있습니다. 중앙에 메시징 시스템 서버를 두고 이렇게 메시지를 보내고 받는 형태의 통신을 펍/섭 모델이라고 합니다.
카프카의 특징중 하나는 디스크에 메시지를 저장하고 유지하는 것입니다. 일반적인 메시징 시스템들은 컨슈머가 메시지를 읽어가면 큐에서 바로 메시지를 삭제합니다. 하지만 카프카는 컨슈머가 메시지를 일거 가더라도 정해져 있는 보관 주기 동안 디스크에 메시지를 저장해둡니다. 트래픽이 일시적으로 폴주해 컨슈머의 처리가 늦어지더라도 카프카의 디스크에 안전하게 보간되어 있기 때문에, 컨슈머는 메시지 손실 ㅓㅂㅅ이 메시지를 가져갈 수 있습니다.
컨슈머가 버그가 있어어 오류가 발생했다면, 컨슈머를 잠시 중단하고 버그를 찾아 해결한 후 컨슈머를 다시 실핼 할 수 있습니다. 어라한 방법으로 작업하더라도 메시지가 디스크에 젖아되어 있기 때문에 메시지 손실 없이 작업이 가능합니다.
카프카는 확장 성이 매우 용이합니다. 하나의 카프카 클러스터는 3개의 브로커로 사적해 수십 대의 브로커 확장이 가능합니다. 또한 확장 작업은 카프카 서비스의 중단 없이 온라인 상태에서 작업이 가능합니다. 사용량이 증가로 클러스터를 확장하는 작업은 매우 간단할 뿐만 아니라, 큰 부담 없이 할 수 있습니다.
고성능을 유지하기 위해 카프카는 내부적으로 분산 처리, 배치 처리 등 다양한 기법을 사용하고 있습니다.