이 페이지에서
1 DataSync
AWS DataSync는 대량의 데이터를 AWS로 이동하거나 AWS 간에 이동할 수 있는 서비스입니다.
이를 통해 온프레미스 또는 다른 클라우드에서 AWS로 데이터를 쉽고 빠르게 전송할 수 있습니다.
이 서비스는 대용량 데이터를 신속하고 안전하게 AWS로 이동하거나 AWS에서 온프레미스로 이동할 수 있도록 도와줍니다.
DataSync는 파일 권한(NFS POSIX, SMB 등)과 메타데이터를 유지하여 데이터의 일관성을 보장합니다.
2 주요 기능 및 이점
2.1 고속 데이터 전송
AWS DataSync는 데이터를 고속으로 전송할 수 있도록 최적화된 프로토콜을 사용합니다.
이는 기존의 데이터 전송 방법보다 최대 10배 빠르게 데이터를 전송할 수 있으며, 네트워크 대역폭을 효율적으로 활용합니다.
2.2 간편한 설정과 사용
AWS DataSync는 설정이 간편하여 몇 번의 클릭만으로 데이터 전송 작업을 시작할 수 있습니다.
사용자는 관리 콘솔을 통해 전송 작업을 쉽게 설정하고 모니터링할 수 있습니다.
또한, DataSync 에이전트를 설치하여 온프레미스 스토리지 시스템과 연결할 수 있습니다.
2.3 다양한 스토리지 시스템 지원
레퍼런스 AWS DataSync는 다양한 온프레미스, AWS, 그리고 타사 클라우드 스토리지 시스템을 지원합니다.
지원되는 온프레미스 스토리지 시스템:
네트워크 파일 시스템 (NFS)
서버 메시지 블록 (SMB)
Hadoop 분산 파일 시스템 (HDFS)
객체 스토리지
지원되는 AWS 스토리지 서비스:
Amazon S3
Amazon EFS
Amazon FSx for Windows File Server
Amazon FSx for Lustre
Amazon FSx for OpenZFS
Amazon FSx for NetApp ONTAP
지원되는 타사 클라우드 스토리지 서비스:
Google Cloud Storage
Microsoft Azure Blob Storage
Microsoft Azure Files
Wasabi Cloud Storage
DigitalOcean Spaces
Oracle Cloud Infrastructure Object Storage
Cloudflare R2 Storage
Backblaze B2 Cloud Storage
NAVER Cloud Object Storage
Alibaba Cloud Object Storage Service
IBM Cloud Object Storage
Seagate Lyve Cloud
2.4 안전한 데이터 전송
AWS DataSync는 전송 중인 데이터를 암호화하여 데이터 보안을 강화합니다.
TLS(Transport Layer Security) 프로토콜을 사용하여 데이터를 안전하게 전송하며, 전송 완료 후 데이터 무결성을 확인합니다.
2.5 자동화된 데이터 동기화
AWS DataSync는 주기적인 데이터 동기화 작업을 자동으로 수행할 수 있습니다.
이를 통해 온프레미스 데이터와 AWS 클라우드 데이터 간의 최신 상태를 유지할 수 있으며, 증분 데이터 전송을 통해 효율적으로 동기화합니다.
2.6 대역폭 제한
AWS DataSync는 대역폭 제한 기능을 제공하여 네트워크 대역폭 사용을 제어할 수 있습니다.
이 를 통해 데이터 전송이 다른 네트워크 작업에 미치는 영향을 최소화할 수 있습니다.
대역폭 제한을 설정하여 원하는 전송 속도로 작업을 제어할 수 있습니다.
2.7 비용 효율성
AWS DataSync는 사용한 만큼만 비용을 지불하는 유연한 가격 모델을 제공합니다.
데이터 전송량에 따라 과금되며, 초기 설정 비용이나 최소 사용 요금이 없어 비용 효율적으로 데이터를 관리할 수 있습니다.
3 AWS DataSync 동작 과정
DataSync 에이전트 설치 :
온프레미스 데이터 센터에서 AWS로 데이터를 이동할 때는 DataSync 에이전트를 설치해야 합니다.
에이전트는 가상 머신(VM) 형태로 제공되며, VMware ESXi, Microsoft Hyper-V 또는 Amazon EC2에서 실행할 수 있습니다.
에이전트는 데이터 소스와 AWS 간의 네트워크 연결을 설정합니다.
작업 생성 :
AWS Management Console, AWS CLI 또는 AWS SDK를 사용하여 DataSync 작업을 생성합니다.
작업 생성 시 소스와 대상 위치를 지정합니다. 소스는 온프레미스 데이터 센터나 다른 클라우드의 파일 시스템 또는 스토리지 서비스(NFS, SMB, HDFS 등)가 될 수 있고, 대상은 AWS 스토리지 서비스(Amazon S3, Amazon EFS, Amazon FSx 등)가 될 수 있습니다.
작업 설정 시 데이터 전송 속도, 파일 권한 및 메타데이터 보존 옵션 등을 구성할 수 있습니다.
데이터 전송 :
작업이 생성되면 DataSync 에이전트가 데이터를 수집하여 지정된 AWS 스토리지 서비스로 전송합니다.
DataSync는 네트워크 대역폭을 효율적으로 사용하여 데이터를 전송하며, 필요한 경우 대역폭 제한을 설정할 수 있습니다.
데이터 전송 중에는 파일 권한, 타임스탬프, 메타데이터 등이 보존됩니다.
데이터 동기화 :
DataSync는 정기적으로 데이터를 동기화할 수 있도록 작업을 예약할 수 있습니다. 시간별, 일별, 주별 등의 주기로 동기화 작업을 설정할 수 있습니다.
이 작업은 변경된 데이터만 전송하므로 네트워크 대역폭과 전송 시간을 절약할 수 있습니다.
작업 모니터링 및 관리 :
AWS Management Console에서 DataSync 작업의 상태를 모니터링할 수 있습니다.
전송된 데이터 양, 전송 속도, 오류 및 경고 등 작업의 세부 정보를 확인할 수 있습니다.
문제가 발생할 경우, 알림을 받아 신속하게 대응할 수 있습니다.
4 온프레미스 데이터를 AWS로 옮길 때 선택해야 하는 서비스 비교
온프레 미스 데이터를 AWS로 마이그레이션할 때는 다양한 서비스와 도구를 사용할 수 있습니다.
각 도구는 데이터의 양, 전송 속도, 보안 요구사항 등에 따라 적합한 선택이 될 수 있습니다.
4.1 AWS DataSync
용도 : 대용량 파일 시스템의 자동화된 데이터 전송장점 :
간편한 설치 및 관리
네트워크 최적화 및 오류 처리 기능 제공
NFS, SMB, HDFS 등 다양한 파일 시스템 지원
주기적인 동기화 작업 설정 가능
단점 :
초기 설정을 위한 에이전트 설치 필요
전송 속도가 네트워크 대역폭에 의해 제한될 수 있음
4.2 AWS Snow Family
용도 : 대규모 데이터 마이그레이션, 인터넷 연결이 제한적이거나 불안정한 환경장점 :
테라바이트에서 페타바이트 규모의 데이터 전송 가능
네트워크 대역폭을 사용하지 않고 물리적 장치를 통해 데이터 전송
보안 강화: 데이터 암호화 및 자동 삭제 기능
단점 :
물리적 장치의 배송 및 처리 시간이 필요
데이터 전송 후 데이터 검증에 추가 시간이 필요할 수 있음
4.3 AWS Direct Connect
용도 : AWS와 온프레미스 데이터센터 간의 안정적이고 빠른 전용 네트워크 연결장점 :
높은 대역폭과 낮은 지연 시간 제공
네트워크 비용 절감 가능 (인터넷 연결 대비)
AWS 리전과 데이터 센터 간의 안전한 데이터 전송
단점 :
설치 및 초기 설정에 시간과 비용이 많이 소요됨
연결 속도에 따라 비용이 달라짐
4.4 Amazon S3 Transfer Acceleration
용도 : 전 세계적으로 분산된 사용자와 S3 간의 빠른 데이터 전송장점 :
CloudFront의 글로벌 엣지 네트워크를 활용하여 데이터 전송 속도 향상
지리적으로 떨어진 위치에서의 데이터 업로드 및 다운로드 속도 개선
설정이 간단하며 기존 S3 버킷과 호환
단점 :
추가 비용 발생
일부 기능과의 호환성 제한 가능
4.5 선택
대용량 데이터 전송 : AWS Snow Family이 적합합니다.주기적 데이터 동기화 : AWS DataSync가 좋은 선택입니다.빠른 네트워크 전송 필요 : AWS Direct Connect 또는 Amazon S3 Transfer Acceleration이 유용합니다.인터넷 연결이 불안정하거나 대역폭이 제한된 환경 : AWS Snowball을 추천합니다.