Consumer
-
Apache Kafka 요약기록해야 기억한다/OSS(Open Source Software) 2020. 11. 14. 22:58
kafka는 disk 기반 분산 메시징 시스템 기본 개념 · publish-subscribe 모델로 동작 · producer(발행), consumer(소비), broker(중개) 로 구성됨 · 메시지는 topic 이라는 기준으로 관리되고 topic을 발행하고 중개하여 소비하는 구조를 가짐 · topic은 세부적으로 partition 으로 분산 저장되고 해당 topic은 partition ID + offset 값으로 식별됨 · 분산환경으로 구성되어 broker 들이 클러스터로 구성되어 동작하도록 되어 있고 broker 가 단 한개이더라도 클러스터로 동작 · 범용시스템에서 제공하는 기능들은 기대하면 안되고 TCP 기반으로 오버헤드를 감소시켜 동작 · in memory 가 아닌 disk에 메시지를 저장하기에 ..