본문으로 건너뛰기

1 Kinesis Data Analytics​

  • Kinesis Data Analytics는 실시간 데이터 스트림에서 SQL과 Apache Flink를 사용하여 데이터를 분석하고 처리할 수 있는 완전 관리형 서비스입니다.
  • 이를 통해 실시간 분석, 대시보드, 메트릭스를 생성할 수 있습니다.

2 Kinesis Data Analytics (SQL 애플리케이션)​

2.1 개요​

  • Kinesis Data Streams 및 Firehose에서 실시간 데이터를 SQL을 사용하여 분석할 수 있습니다.
  • Amazon S3에서 참조 데이터를 추가하여 스트리밍 데이터를 풍부하게 만들 수 있습니다.

2.2 주요 기능​

  • 완전 관리형 서비스로 서버를 프로비저닝할 필요가 없습니다.
  • 자동 스케일링 기능을 제공하여 데이터 처리량에 따라 리소스를 자동으로 조절합니다.
  • 실제 소비량에 따라 비용을 지불합니다.
  • 데이터 조작: 실시간 스트리밍 데이터를 필터링, 집계, 변환 등의 조작 작업을 수행할 수 있습니다.
  • 내장 함수와 사용자 정의 함수: 복잡한 데이터 변환 작업을 쉽게 수행할 수 있으며, 사용자 정의 함수를 작성하여 특정 비즈니스 로직을 적용할 수 있습니다.

2.3 출력 옵션​

  • Kinesis Data Streams: 실시간 분석 쿼리 결과를 새로운 데이터 스트림으로 생성할 수 있습니다.
  • Kinesis Data Firehose: 분석 쿼리 결과를 다양한 목적지로 전송할 수 있습니다.

2.4 사용 사례​

  • 시계열 분석: 시간에 따른 데이터를 분석하여 트렌드를 파악할 수 있습니다.
  • 실시간 대시보드: 실시간 데이터를 시각화하여 즉각적인 인사이트를 얻을 수 있습니다.
  • 실시간 메트릭스: 실시간으로 메트릭스를 계산하여 모니터링 및 경고 시스템에 활용할 수 있습니다.
  • 로그 및 이벤트 데이터 분석: 실시간으로 로그 데이터를 수집하고 분석하여 이상 징후를 탐지하거나 시스템 성능을 모니터링할 수 있습니다.
  • IoT 데이터 처리: IoT 디바이스에서 수집된 데이터를 실시간으로 분석하여 운영 효율성을 개선할 수 있습니다.

3.1 개요​

  • Java, Scala 또는 SQL을 사용하여 스트리밍 데이터를 처리하고 분석할 수 있는 Apache Flink를 지원합니다.
  • Amazon MSK와 Kinesis Data Streams에서 스트리밍 데이터를 읽을 수 있습니다.

3.2 주요 기능​

  • 완전 관리형 클러스터: AWS에서 관리하는 클러스터에서 Apache Flink 애플리케이션을 실행할 수 있습니다.
  • 자동 스케일링: 컴퓨팅 자원을 자동으로 확장 및 축소할 수 있습니다.
  • 백업 및 복구: 체크포인트와 스냅샷을 통해 애플리케이션 상태를 백업하고 복구할 수 있습니다.

3.3 Flink의 장점​

  • Apache Flink의 모든 프로그래밍 기능을 사용할 수 있습니다.
  • Flink 애플리케이션은 Firehose에서 직접 데이터를 읽을 수 없으므로, SQL을 사용한 Kinesis Analytics가 필요합니다.

4 결론​

  • Kinesis Data Analytics는 실시간 데이터 분석을 위한 강력한 도구입니다.
  • SQL 애플리케이션을 사용하여 간편하게 실시간 데이터를 분석하고, Apache Flink를 통해 복잡한 데이터 처리를 수행할 수 있습니다.
  • 완전 관리형 서비스로 서버 관리의 번거로움 없이 실시간 분석 기능을 활용할 수 있습니다.

참고 자료