본문으로 건너뛰기

Inventory

1 S3 Inventory​

  • Amazon S3 Inventory는 AWS S3 버킷 내 객체들과 그들의 메타데이터를 효율적으로 관리할 수 있게 해주는 강력한 도구입니다.
  • 이 도구는 S3 List API 작업의 대안으로, 대규모 S3 버킷의 내용을 쉽게 파악하고 관리할 수 있게 해줍니다.
  • S3 Inventory를 통해 객체의 상태, 암호화 여부, 복제 상태 등 다양한 메타데이터를 쉽게 확인할 수 있습니다.

2 S3 Inventory의 주요 기능​

  • S3 Inventory는 다음과 같은 주요 기능을 제공합니다:
  • 객체 목록 생성:
    • S3 버킷 내의 모든 객체와 그에 해당하는 메타데이터 목록을 생성합니다.
    • 이는 S3 List API 작업의 효율적인 대안이 됩니다.
  • 정기적인 보고서 생성:
    • 일일 또는 주간 단위로 보고서를 생성할 수 있습니다.
    • 이를 통해 S3 버킷의 상태를 주기적으로 모니터링할 수 있습니다.
  • 다양한 출력 형식 지원:
    • CSV, ORC, Apache Parquet 등 다양한 형식으로 보고서를 생성할 수 있습니다.
    • 이를 통해 다양한 분석 도구와의 호환성을 확보할 수 있습니다.

3 S3 Inventory의 사용 사례​

  • S3 Inventory는 다음과 같은 다양한 사용 사례에 활용될 수 있습니다:
  • 객체 상태 감사 및 보고:
    • 객체의 복제 상태를 확인할 수 있습니다.
    • 객체의 암호화 상태를 점검할 수 있습니다.
  • 버킷 통계 확인:
    • S3 버킷 내 객체의 총 개수를 쉽게 파악할 수 있습니다.
    • 이전 버전의 객체가 차지하는 총 저장 공간을 확인할 수 있습니다.
  • 비즈니스 요구 사항 충족:
    • 규정 준수 요건을 만족시키기 위한 데이터를 수집할 수 있습니다.
    • 법적 요구 사항에 따른 보고서를 생성할 수 있습니다.

4 S3 Inventory 데이터 분석하기​

  • S3 Inventory로 생성된 데이터는 다양한 분석 도구와 연계하여 활용할 수 있습니다:
  • Amazon Athena:
    • SQL 쿼리를 사용하여 S3 Inventory 데이터를 직접 분석할 수 있습니다.
  • Amazon Redshift:
    • 대규모 데이터 웨어하우스에서 S3 Inventory 데이터를 분석할 수 있습니다.
  • Presto, Hive, Spark:
    • 오픈 소스 빅데이터 분석 도구를 사용하여 데이터를 처리할 수 있습니다.
  • S3 Select:
    • 생성된 보고서에서 필요한 데이터만을 추출하여 분석할 수 있습니다.

5 S3 Inventory 설정 방법​

  • S3 Inventory를 설정하는 방법은 다음과 같습니다:
  • AWS 관리 콘솔에 로그인합니다.
  • S3 서비스로 이동합니다.
  • Inventory를 설정할 버킷을 선택합니다.
  • '관리' 탭에서 'Inventory configurations'를 선택합니다.
  • 'Create inventory configuration'을 클릭합니다.
  • 필요한 설정을 입력합니다:
    • Inventory 이름
    • 대상 버킷 (Inventory 보고서가 저장될 위치)
    • 생성 빈도 (일일 또는 주간)
    • 출력 형식 (CSV, ORC, Parquet)
    • 포함할 객체 버전
    • 포함할 필드 (예: 크기, 최종 수정 날짜, 암호화 상태 등)
  • 설정을 저장합니다.

6 S3 Inventory 사용 시 주의사항​

  • S3 Inventory 사용 시 다음 사항들을 주의해야 합니다:
  • 데이터 지연:
    • Inventory 보고서는 최대 48시간의 지연이 있을 수 있습니다.
    • 실시간 데이터가 필요한 경우 S3 List API를 사용해야 합니다.
  • 비용:
    • S3 Inventory 사용에는 추가 비용이 발생할 수 있습니다.
    • 대상 버킷의 스토리지 비용과 데이터 처리 비용을 고려해야 합니다.
  • 보안
    • Inventory 보고서에는 민감한 정보가 포함될 수 있으므로, 보고서에 대한 접근을 제한해야 합니다.
    • 암호화를 사용하여 보고서를 보호하는 것이 좋습니다.

7 결론​

  • S3 Inventory는 대규모 S3 버킷을 효율적으로 관리하고 분석할 수 있게 해주는 강력한 도구입니다.
  • 정기적인 보고서 생성, 다양한 출력 형식 지원, 여러 분석 도구와의 연계 등 다양한 기능을 제공합니다.
  • 비즈니스, 규정 준수, 법적 요구 사항 등 다양한 목적으로 활용될 수 있습니다.
  • S3 Inventory를 적절히 활용하면 S3 버킷의 상태를 쉽게 파악하고, 데이터를 효과적으로 관리할 수 있습니다.
  • 다만, 데이터 지연, 비용, 보안 등의 주의사항을 고려하여 사용해야 합니다.