Share
Sign In
Storage Extras
1. Snow Family
대규모 데이터 이전이 필요하다면 어떻게 해야 할까? AWS는 네트워크 트래픽에도 비용을 부과하기 때문에 막대한 비용을 지불해야 한다. 그래서 AWS는 하드디스크를 직접 사무실로 보내주고, 데이터를 직접 다운받은 후 데이터 센터로 가지고 오는 서비스를 지원한다. 인터넷 망을 타지 않고 물리적으로 옮기는 것이다.
또, 인터넷망이 없는 극한 환경(사막, 바다, 지하)에서 컴퓨터를 사용하기 위한 서비스도 제공한다. 이걸 edge computing이라고 하고 극한 환경을 edge location이라 한다.
Snowcone: 가장 작은 크기이어서 들고 다니기 좋지만 따로 베터리를 공급해야 한다.
Snowball & Snowball Edge: 페타바이트 단위의 용량을 제공한다. 저장용, 엣지 컴퓨팅용으로 나누어져 있고 용량이 다르다.
Snowmobile: 100 페타바이트(=1,000,000 TB) 하드디스크로 무장한 트럭이 온다.
Snowcone과 Snowball은 엣지 컴퓨팅을 위해 사용되기 때문에 일반 기업의 엔지니어가 다룬다. 원래는 그냥 CLI여서 굉장히 불편했는데 OpsHub를 개인 컴퓨터에 다운 받으면 GUI를 쓸 수 있다.
Snowball에서 S3 Glacier로 파일 옮기기
시험에 나올 수 있다. Snowball에서 바로 S3 Glacier로는 못 옮기고 수명주기 정책을 통해 옮겨야 한다.
2. FSx
EFS는 리눅스 공유 POSIX 시스템을 따르기 때문에 리눅스가 아닌 시스템에서는 접근할 수 없다고 했다.
그래도 윈도우 서버 같은 서드 파티에서도 AWS 스토리지를 접근하고 싶을 거다. 그래서 나온 게 FSx로 Lustre, Windows File Server, NetApp ONTAP를 지원한다.
for Windows - 윈도우 파일시스템을 따르는 완전관리형 공유 드라이드다. 온프레미스에서 접근 가능하고 멀티 AZ를 구성할 수 있다. 데이터는 매일 S3에 백업된다.
for Lustre - Lustre(Linux + cluster)는 대규모 컴퓨팅에 쓰는 병렬 분산 파일 시스템이다. S3랑 잘 호환되서 FSx를 통하면 바로 읽고 쓸 수 있다.
또 두가지 배포 옵션을 지원한다.
Scratch File System - 임시 파일, 복제가 없음, 매우 빠름
Persistent File System - 길게 저장, 같은 AZ에서 복제 가능, 수 분내 실패한 파일 제거
3. Storage Gateway
AWS는 반은 온프레미스, 반은 AWS인 하이브리드 클라우드를 적극 밀고 있다. S3에 대한 자체 기술을 공개할 수는 없으므로, 온프레미스 스토리지랑 같이 쓰려면 그 사이에 가교가 필요하다. 그게 Storage Gateway이다. Storage Gateway는 온프레미즈 서버에 가상화 소프트웨어로 붙거나 물리적인 장비(Hardware Appliance)로 붙는다.
File Gateway - NFS를 통해서 파일에 접근하고 S3에 저장한다. 엑티브 디렉토리로 인증을 얻는다. 테이프도 가능하다.
Voulmn Gateway - EBS snapshot을 만들어 백업한다
Cached Volumes - 자주 엑세스하는 데이터는 지연시간이 적다.
Stored Volumes - 모든 데이터가 지연시간이 적다. S3에 백업을 한다.
Tape Gateway - 아직도 테잎을 쓰는 회사를 위해 iSCSI를 통해 S3나 Glacier에 백업해 장기 저장한다.
Amazon FSx File Gateway
Storage Gateway와 똑같이 온프레미스에 붙어서 Amazon S3 FSx for Windows File Server에 저장할 수 있도록 한다. 캐싱을 지원하고 윈도우 환경과 호환이 되므로 그룹 파일 공유나 홈 디렉토리로 쓸 수 있다.
4. Transfer Family
S3와 EFS에 있는 파일을 FTP를 이용해 가져오고 싶다. 이때 Transfer Family를 중간에 두어서 어뎁터 역할을 하게 한다. Active Directory 등 원하는 인증 시스템을 쓸 수 있고 여러 AZ에서 동작한다. AWS Transfer for (FTP, SFTP, FTPS)가 있다.