시작하기에 앞서 해당 게시글은 머신러닝에 대한 이야기 보다는 AWS 클라우드에서 SageMaker Studio를 활용하여 데이터 분석 작업을 쉽게 접근 하실 수 있는 방법에 대한 가이드를 제공합니다. <Amazon SageMaker Studio> 기계 학습을 위한 최초의 완전한 IDE(통합개발환경) 입니다. 탄력적이고 공유가능한 Jupyter노트북을 제공하며 빠른 작업 시작이 가능합니다. AutoPilot을 사용하여 인기있는 오픈소스 모델과 일반적인 사용 사례를 위한 솔루션이 포함된 기계 …
01. VPC란? 논리적으로 할당된 가상의 네트워크 공간입니다. 가상의 네트워크에서 AWS 리소스를 이용할 수 있는 서비스입니다. VPC는 독립적인 가상의 네트워크 공간으로 사용자의 설정에 따라 자유롭게 구성할 수 있는 공간을 의미합니다. 따라서 사용자는 서브넷 생성, 라우팅 테이블, 네트워크 게이트웨이 구성 등 네트워킹 환경을 사용자가 원하는 대로 완벽하게 제어할 수 있습니다. 만약 VPC가 없다면 AWS Cloud 안의 리소스들을 …
01. SageMaker란? SageMaker란 제품 추천, 맞춤화, 지능형 쇼핑, 로봇 공학, 음성 지원 디바이스를 포함하여 20년에 걸친 Amazon의 실제 기계 학습 애플리케이션 개발 경험에 기반하여 구축된 서비스입니다. Data Engineers, Data Scientists, Data Analysts가 ‘Amazon SageMaker’라는 플랫폼을 중심으로 모두 협업할 수 있다는 개념입니다. 간단하게 RDS는 ‘EC2 인스턴스 위에 DB를 설치한 완전 관리형 서비스’라고 이해할 수 있는 것과 …
[AWS] Datalake DevOps [Hands On] Glue를 통한 Csv to Parquet 파일 변환하기 위 링크된 페이지의 Glue 실습을 통해 생성된 공공데이터 Glue Catalog Table을 Athena로 분석해봅니다. Athena workgroup 작업 그룹을 사용하여 사용자, 팀, 애플리케이션 또는 워크로드를 구분하고, 각 쿼리 또는 전체 작업 그룹에서 처리할 수 있는 데이터 양의 한도를 설정하고, 비용을 추적할 수 있습니다. 작업 그룹은 …
[AWS] Datalake DevOps [Hands On]S3 트리거에 의한 Lambda의 압축 파일 처리 위 링크된 페이지의 Lambda 실습을 통해 S3에 적재된 csv 파일에 대한 Parquet 변환 작업을 해봅니다. < Glue Crawler로 CSV 파일 스키마 생성> 크롤러를 사용하여 테이블로 AWS Glue Data Catalog를 채웁니다. ETL 작업은 원본 및 대상 Data Catalog 테이블에 지정된 데이터 스토어에서 읽기와 쓰기를 수행합니다. …
샘플코드는 공공데이터 다운로드 원본 파일에 대한 압축 해제 및 utf-8-bom 형식 csv 파일들을 euc-kr로 디코딩 후 분석 대상파일들만 S3에 업로드 해주는 예시입니다.
[AWS] Datalake DevOps 1. 준비 공공데이터 다운로드 금융빅데이터플랫폼- 가입한 보험의 보장항목별로 보험회사의 판매 비중을 확인할 수 있는 정보 2. S3 구성 AWS Management Console 로그인 S3 메뉴 이동 버킷만들기(ex. 버킷명 : s3-techday-da-202202) 새 버킷명 입력 > AWS 리전(아시아 태평양(서울) ap-northeast-2) 선택 > 버킷만들기 생성된 버킷 선택 > 폴더 만들기 > 새 폴더 생성 공공데이터 다운로드받은 …
