1 Amazon FSx for Lustre
- Lustre는 대규모 컴퓨팅을 위한 병렬 분산 파일 시스템의 일종으로, "Linux"와 "cluster"에서 유래한 이름입니다.
- Amazon FSx for Lustre는 인기 있는 고성능 Lustre 파일 시스템을 쉽게 그리고 비용 효율적으로 실행할 수 있게 해줍니다.
- 이 서비스는 기계 학습, 고성능 컴퓨팅(HPC), 비디오 처리 및 금융 모델링과 같은 속도가 중요한 워크로드에 적합합니다.
- Lustre는 세계에서 가장 빠른 컴퓨터를 위한 파일 시스템으로, 서브 밀리초 지연 시간, 수백 GBps의 처리량, 수백만 IOPS를 제공합니다.
- 오픈 소스 Lustre 파일 시스템은 빠른 스토리지를 요구하는 애플리케이션을 위해 설계되었습니다.
2 주요 특징
2.1 완전 관리형 서비스
- Amazon FSx는 Lustre 파일 시스템을 설정하고 관리하는 전통적인 복잡성을 제거합니다.
- 몇 분 안에 고성능 파일 시스템을 실행할 수 있으며, 다양한 배포 옵션을 제공하여 비용을 최적화할 수 있습니다.
2.2 POSIX 호환성
- FSx for Lustre는 POSIX 호환 파일 시스템 인터페이스를 제공하여 기존 Linux 기반 애플리케이션을 변경 없이 사용할 수 있습니다.
- 읽기-쓰기 후 일관성과 파일 잠금 기능을 지원합니다.
3 배 포 옵션
3.1 Scratch 파일 시스템
- 일시적인 스토리지 및 단기 데이터 처리에 적합하며, 데이터가 복제되지 않습니다.
- 임시 저장소
- 데이터가 복제되지 않음(파일 서버가 실패하면 데이터가 지속되지 않음)
- 높은 버스트 성능(6배 빠르며, TiB당 200MBps)
- 용도: 단기 처리, 비용 최적화
3.2 Persistent 파일 시스템
- 장기 스토리지 및 처리량 중심의 워크로드에 적합하며, 데이터가 복제되고 파일 서버가 장애가 발생하면 교체됩니다.
- 장기 저장소
- 데이터가 동일한 가용 영역(AZ) 내에서 복제됨
- 실패한 파일을 몇 분 내에 교체
- 용도: 장기 처리, 민감한 데이터
4 스토리지 옵션
- SSD 스토리지 옵션: 낮은 지연 시간과 IOPS 집중적인 워크로드에 적합합니다.
- HDD 스토리지 옵션: 처리량 집중적인 워크로드에 적합하며, 읽기 전용 SSD 캐시를 추가하여 자주 액세스되는 파일에 대해 서브 밀리초 지연 시간과 높은 IOPS를 제공합니다.
5 데이터 저장소 통합
5.1 Amazon S3와의 통합
- Amazon FSx for Lustre는 Amazon S3와 통합되어 S3 객체를 파일로 투명하게 표시합니다.
- 데이터 리포지토리 작업을 통해 FSx for Lustre 파일 시스템과 Amazon S3 간의 데이터 및 메타데이터 전송을 간소화할 수 있습니다.
5.2 온프레미스 데이터 저장소와의 통합
- AWS Direct Connect 또는 AWS VPN을 사용하여 온프레미스에서 AWS 클라우드로 데이터 처리 워크로드를 확장할 수 있습니다.
6 접근 방식
- FSx for Lustre 파일 시스템은 Amazon EC2, Amazon EKS, Amazon ECS에서 실행되는 컴퓨 팅 워크로드에서 액세스할 수 있습니다.
- Lustre 클라이언트를 사용하여 파일 시스템을 마운트하고 로컬 파일 시스템처럼 사용할 수 있습니다.
7 AWS 서비스 통합
- Amazon SageMaker: FSx for Lustre를 입력 데이터 소스로 사용하여 기계 학습 훈련 작업을 가속화할 수 있습니다.
- AWS Batch: EC2 런치 템플릿을 사용하여 배치 컴퓨팅 워크로드를 실행할 수 있습니다.
- AWS ParallelCluster: HPC 클러스터를 배포하고 관리하는 데 사용할 수 있습니다.
8 보안 및 준수
- FSx for Lustre 파일 시스템은 AWS KMS를 사용하여 데이터 암호화를 지원합니다.
- 데이터 전송 중 암호화도 지원하며, HIPAA 적격 및 ISO, PCI-DSS, SOC 인증을 받았습니다.
9 비용
- Amazon FSx for Lustre는 선불 하드웨어 또는 소프트웨어 비용이 없으며, 사용한 리소스에 대해서만 비용을 지불합니다.