1 Connect
- 카프카 커넥트는 아파치 카프카와 다른 데이터 시스템 간에 데이터를 확장 가능하고 안정적으로 스트리밍하기 위한 도구입니다.
- 대용량 데이터 세트를 카프카로 가져오거나 내보내는 커넥터를 빠르게 정의할 수 있도록 해줍니다.
- 카프카 커넥트는 전체 데이터베이스를 수집하거나 모든 애플리케이션 서버에서 메트릭을 수집하여 카프카 토픽으로 가져올 수 있으며, 이를 통해 데이터를 낮은 지연 시간으로 스트림 처리에 사용할 수 있습니다.
- 또한 내보내기 커넥터를 사용하면 카프카 토픽의 데이터를 Elasticsearch와 같은 보조 인덱스나 Hadoop과 같은 배치 시스템으로 전달하여 오프라인 분석을 수행할 수 있습니다.
2 Concepts
- 커넥터(Connectors): 작업을 관리하여 데이터 스트리밍을 조정하는 높은 수준 의 추상화입니다.
- 작업(Tasks): 데이터를 카프카로 복사하거나 카프카에서 복사하는 방법을 구현한 것입니다.
- 작업자(Workers): 커넥터와 작업을 실행하는 프로세스입니다.
- 변환기(Converters): 데이터를 커넥트와 데이터를 보내거나 받는 시스템 간에 변환하는 데 사용되는 코드입니다.
- 변환(Transforms): 커넥터에서 생성되거나 커넥터로 전송되는 각 메시지를 변경하는 간단한 로직입니다.
- 데드 레터 큐(Dead Letter Queue): 커넥트에서 커넥터 오류를 처리하는 방법입니다.
2.1 Connectors
- 커넥터에는 두 가지 유형이 있습니다
- 소스 커넥터(Source Connector)
- 소스와 카프카 사이에 위치해서 프로듀서의 역할을 한다.
- 싱크 커넥터(Sink Connector)
- 카프카와 싱크 사이에 위치해서 컨슈머의 역할을 한다.