01. VPC란? 논리적으로 할당된 가상의 네트워크 공간입니다. 가상의 네트워크에서 AWS 리소스를 이용할 수 있는 서비스입니다. VPC는 독립적인 가상의 네트워크 공간으로 사용자의 설정에 따라 자유롭게 구성할 수 있는 공간을 의미합니다. 따라서 사용자는 서브넷 생성, 라우팅 테이블, 네트워크 게이트웨이 구성 등 네트워킹 환경을 사용자가 원하는 대로 완벽하게 제어할 수 있습니다. 만약 VPC가 없다면 AWS Cloud 안의 리소스들을 …
01. SageMaker란? SageMaker란 제품 추천, 맞춤화, 지능형 쇼핑, 로봇 공학, 음성 지원 디바이스를 포함하여 20년에 걸친 Amazon의 실제 기계 학습 애플리케이션 개발 경험에 기반하여 구축된 서비스입니다. Data Engineers, Data Scientists, Data Analysts가 ‘Amazon SageMaker’라는 플랫폼을 중심으로 모두 협업할 수 있다는 개념입니다. 간단하게 RDS는 ‘EC2 인스턴스 위에 DB를 설치한 완전 관리형 서비스’라고 이해할 수 있는 것과 …
[AWS] Datalake DevOps [Hands On] Glue를 통한 Csv to Parquet 파일 변환하기 위 링크된 페이지의 Glue 실습을 통해 생성된 공공데이터 Glue Catalog Table을 Athena로 분석해봅니다. Athena workgroup 작업 그룹을 사용하여 사용자, 팀, 애플리케이션 또는 워크로드를 구분하고, 각 쿼리 또는 전체 작업 그룹에서 처리할 수 있는 데이터 양의 한도를 설정하고, 비용을 추적할 수 있습니다. 작업 그룹은 …
[AWS] Datalake DevOps [Hands On]S3 트리거에 의한 Lambda의 압축 파일 처리 위 링크된 페이지의 Lambda 실습을 통해 S3에 적재된 csv 파일에 대한 Parquet 변환 작업을 해봅니다. < Glue Crawler로 CSV 파일 스키마 생성> 크롤러를 사용하여 테이블로 AWS Glue Data Catalog를 채웁니다. ETL 작업은 원본 및 대상 Data Catalog 테이블에 지정된 데이터 스토어에서 읽기와 쓰기를 수행합니다. …
샘플코드는 공공데이터 다운로드 원본 파일에 대한 압축 해제 및 utf-8-bom 형식 csv 파일들을 euc-kr로 디코딩 후 분석 대상파일들만 S3에 업로드 해주는 예시입니다.
[AWS] Datalake DevOps 1. 준비 공공데이터 다운로드 금융빅데이터플랫폼- 가입한 보험의 보장항목별로 보험회사의 판매 비중을 확인할 수 있는 정보 2. S3 구성 AWS Management Console 로그인 S3 메뉴 이동 버킷만들기(ex. 버킷명 : s3-techday-da-202202) 새 버킷명 입력 > AWS 리전(아시아 태평양(서울) ap-northeast-2) 선택 > 버킷만들기 생성된 버킷 선택 > 폴더 만들기 > 새 폴더 생성 공공데이터 다운로드받은 …
00. Intro 00-01. Auto Scaling이란? 클라우드 컴퓨팅의 대표적인 장점으로, Flexible하게 컴퓨팅 자원을 효율적으로 사용할 수 있게 하는 기술입니다. ‘Flexible’의 단어의 핵심은 빠르고 쉽게 서비스를 확장(Out)하거나 축소(In)하는 것을 말합니다. Auto Sscaling의 동작은 CPU, Disk, Network 등의 시스템 Metric값과 Application을 모니터링하여 size를 자동으로 조절하도록 이루어집니다. Auto Scaling을 통해 얻을 수 있는 이득 2가지 예상치 못한 서비스 부하에 …
