[CS] 카프카란?

세계 최대 비즈니스 네트워크 사이트인 LinkedIn 은 하나의 서비스에 과도하게 많은 시스템이 연결되어 있어 서비스를 유지하고 관리하는데 어려움을 겪고 있다. 또한 시스템 유지 보수 및 서비스 관리에도 많은 부담이 가해졌다. 이를 극복하기 위해 컨플루언트 공동 창업자인 '제이 크랩스(Jay Kreps)'는 카프카(Kafka)라는 메시징 분산 스트리밍 플랫폼을 고안하게 되었다.

 

카프카는

웹사이트, 어플리케이션, 센서 등에 취합한 데이터를 스트림 파이프라인을 통해 실시간으로 관리 하고 보내기 위한 분산 스트리밍 플랫폼이다.

데이터를 생성하는 어플리케이션과 데이터를 소비하는 어플리케이션 간의 중재자 역할을 함으로써 데이터의 전송 제어, 처리, 관리 역할을 한다.

카프카 시스템은 여러 요소(노드)와 함께 구성될 수 있어 카프카 클러스터 라고 하기도 하는데, 다른 메시징 시스템과 마찬가지로 어플리케이션과 서버 간의 비동기 데이터 교환을 용이하게 하고, 하루에 수 조개의 이벤트 처리가 가능하게 하는 역할을 한다.

즉, 카프카는 플랫폼에 서비스를 연결하여 다양한 서비스에서 나오는 데이터 흐름을 실시간으로 제어하는 서비스의 중추역할을 하는 플랫폼이다.

 

https://blog.naver.com/arkdata/222632637775 

아파치 카프카 (Apache Kafka)란?

 

 

긴 글을 좋아 하지 않아 되도록이면 많이 요약 하는 글만 업로드 하는데 이 내용은 위 블로그에 직접 가서 읽어 보는게 더 좋을거 같습니다.

저도 읽을 정도로 글이 길지도 않고 보기 좋습니다.