kaonmir
시리즈
SAA
DOP
System Design Interview
Linux
ETC
Share
Sign In
Home
Kaonmir (손성훈)
Copy & Translate
시리즈
SAA
후기
시험 소개 & 꿀팁
Terminology
Region & Availability Zone
Budget
IAM
EC2 - Fundamentals
EC2 - SAA Level
EC2 Storage
ELB & ASG
RDS / Aurora / ElastiCache
S3
CloudFront & Global Accelerator
Route 53
Storage Extras
Decoupling
Container
Serverless
Database
Monitoring, Troubleshooting & Audit
IAM Advanced
Security & Encryption
VPC
Disaster Recovery & Migrations
Ohter Services
기술 백서 총 모음
기술 백서(White paper)
DOP
CodeCommit, CodeBuild, CodeDeploy
CodePipeline, CodeStar, Jenkins
CloudFormation - Fundamentals
CloudFormation - DOP Level
Elastic Beanstalk
Lambda & Step Function & API Gateway
ECS & ECR & OpsWorks
Kinesis
CloudWatch
CloudTrail & X-Ray & ElasticSearch & Tagging
SSM & Config & Service Catalog & Inspector
Other Services
Auto Scaling Group (ASG)
DynamoDB & S3
Multi AZ & Multi Region & Multi Account
AWS Organizations & On-Premise Strategy
Disaster Recovery (DR)
서비스별 기본 배포 전략 비교
CodeDeploy appspec hook
System Design Interview
사용자 수에 따른 규모 확장성
개략적인 규모 추정
시스템 설계 면접 공략법
처리율 제한 장치
안정 해시
키-값 저장소
분산 시스템을 위한 유일 ID 생성기
URL 단축기
웹 크롤러
알림 시스템
뉴스 피드 시스템
채팅 시스템
검색어 자동완성 시스템
유튜브
구글 드라이브
Linux
ETC
AI를 더 잘 쓰기 위한 IT 용어
Database
RDBMS
(=SQL / OLTP) : RDS, Aurora
NoSQL database
: DynamoDB(~JSON), ElastiCache (Key/Value pairs), Neptune (graphs)
Object Store
: S3 (for big objects) / Glacier (for backups/archives)
Data Warehouse
(=SQL Analytics / BI): Redshift (OLAP), Athena, Glue
Search
: ElasticSeaerch (JSON)
Graphs
: Neptune
1. RDS
관리형 관계형 데이터베이스(PostgreSQL / MySQL / Oracle / SQL) 서버
운영
: 읽기 복제/EC2 인스턴스/EBS를 확장 가능, 실패해도 다운돼 있는 시간 적음
보안
: AWS는 운영체제 보안을 책임. 우리는 KMS, 보안 그룹, IAM 정책, SSL, 유저에게 권한 부여에 관해 책임
신뢰
: 백업, 스냅샷, point-in-time 복구, 멀티 AZ
성능
: EC2 인스턴스 타입과 EBS 볼륨 타입에 따라 다름. 읽기 복제를 추가할 수 있음. 자동/수동 확장이 가능
가격
: 프로비전한 EC2와 EBS에 기반에 시간당으로 책정
2. Aurora
PostgreSQ과 MySQL에 호환되는 API
운영
: 저장소 자동 확장(10GB~128TB). 명령 가짓수가 적음.
보안
: RDS와 동
신뢰
: 멀티 AZ, 서버리스 사용 가능, Multi-Master(실패를 견딤) 사용 가능
성능
: 5배의 성능, 기본 6개(3개 AZ)에서 최대 15개의 읽기 복제 유지 (RDS는 5개)
가격
: 시간당 EC2와 저장소 이용. 오라클보다 쌀 수 있다.
3. ElasticCache
Redis / Memcached를 지원하는 key-value 방식의 NoSQL 인메모리 저장소.
운영
: RDS와 동
보안
: RDS와 비슷하지만 유저는 Redis Auth를 통해 관리함
신뢰
: RDS 보안 + 클러스터링
성능
: 매우 빠른 캐시, 읽기 복제(Sharding)을 지원
가격
: RDS와 동
4. DynamoDB
ElastiCache를 대체하는 완전 관리형 Key/Value NoSQL 데이터베이스. 기본 키와 정렬 키, 인덱스로만 쿼리 가능.
운영
: 자동이다.
보안
: IAM 정책, KMS, SSL로 완전 관리됨
신뢰
: 멀티 AZ, 백업
성능
: 빠름, DAX로 읽기 캐싱, 확장해도 성능 유지
비용
: 프로비전한 만큼, 저장된 용량 만큼
5. S3
Key(버킷)/Value(객체) 방식으로 큰 파일을 저장하는 서버리스 서비스
운영
: 완전 자동화
보안
: IAM, 버킷 정책, ACL, 암호화(서버/클라이언트), SSL
신뢰
: 내구성과 가용성 최고, 버전 관리, 멀티 AZ, CRR(Cross-Region Replication)
성능
: 확장 자유로움, Multi-part upload, Transfer Acceleration
비용
: 저장 용량, 네트워크, 요청한 만큼 지불
티어
: S3 Standard, IA, One Zone, Glacier, Deep Glacier
6. Athena
S3에서 SQL로 query하는 서버리스 서비스. 로그 분석 등으로 사용된다.
운영
: 완전 자동
보안
: IAM + S3 보안
신뢰
: Presto 엔진을 써 성능과 고가용성 보장
성능
: 데이터 크기에 따라 확장
비용
: 요청한 쿼리 수, 스캔한 용량만큼 지불
7. Redshift
개요
ProstgreSQL를 사용하며
OLTP가 아닌 OLAP
를 위해 사용한다.
행 지향 DB가 아닌
컬럼 지향 DB
(Coulmnar)다.
대량 쿼리 병렬 실행 (MPP)를 지원하고 BI 툴과 통합이 가능하다.
멀티 AZ를 지원하지 않고 스냅샷을 통해 다른 리전으로 복사한다.
스냅샷을 찍고(8시간마다, 5GB마다), 복사하는 작업을 자동화할 수 있다.
동작
S3 등 DB에서 데이터를 가져온다.
클러스트를 만들어, 최대 128개의 노드를, 노드당 128TB를 보관할 수 있다.
리더 노드
:
쿼리를 계획하고 결과를 모은다.
연산 노드
: 쿼리를 연산하고 결과를 리더한테 보낸다.
Redshift Specturm
: 병렬로 S3에서 데이터를 읽어서 제공하여 I/O에서 발생하는 지연을 없앤다.
백업/복구, 보안 VPC, IAM, KMS, 모니터링을 지원
Redshift Enhanced VPC Routing
: 인터넷으로 나가지 않고 VPC를 통해서 COPY/UNLOAD를 한다.
Redshift로 데이터 보내기
정리
사용
: 분석 / BI /
DW
운영
: RDS와 동
보안
: IAM, VPC, KMS, SSL (RDS와 동)
신뢰
: 자동 회복, 스냅샷으로 리전끼리 복사
성능
: 압축, 다른 data warehouse보다 10배 빠름
비용
: 프로비전한 노드만큼 지불
vs Athena
: 빠름, join 가능, 병렬로 처리한 후 결과를 모음
8. Glue
데이터를 추출, 변환, 로드(DW로 데이터를 보냄)하는 관리형 서비리스 서비스(ETL)
Glue Data Catalog - AWS의 모든 자료형을 가지고 있는 메타데이터
9. Neptune
관리형
그래프 데이터베이스
3개의 AZ에 최대 15개의 읽기 복제
KMS, HTTPS 암호화
운영
: RDS와 비슷
보안
: IAM, VPC, KMS, SSL (RDS와 동) + IAM 인증
신뢰
: 멀티 AZ, 클러스터
성능
: 좋음
비용
:
프로비전한 노드 당 지불
10. ElasticSearch / OpenSearch
OpenSearch로 이름 바꿨다.
인덱스가 완전히 일치해야 결과를 반환하는 DynamoDB 등과는 다르게
아무 필드나 검색할 수 있고, 부분 검색도 가능하다.
빅데이터 어플리케이션에서 주로 쓰며, 다른 AWS 서비스와 통합이 가능하다.
정리
사용
: 검색 / 인덱싱
운영
: RDS와 비슷
보안
:
Cognito
, IAM, KMS, SSL, VPC
신뢰
: 멀티 AZ, 클러스터
성능
: 좋음
비용
:
프로비전한 노드 당 지불
ELK Stack
ElasticSearch
(Search & Analysis)
Logstash
(Log Ingestion)
Kibana
(Visualization)
Made with SlashPage