01. SageMaker란? SageMaker란 제품 추천, 맞춤화, 지능형 쇼핑, 로봇 공학, 음성 지원 디바이스를 포함하여 20년에 걸친 Amazon의 실제 기계 학습 애플리케이션 개발 경험에 기반하여 구축된 서비스입니다. Data Engineers, Data Scientists, Data Analysts가 ‘Amazon SageMaker’라는 플랫폼을 중심으로 모두 협업할 수 있다는 개념입니다. 간단하게 RDS는 ‘EC2 인스턴스 위에 DB를 설치한 완전 관리형 서비스’라고 이해할 수 있는 것과 …
[AWS] Datalake DevOps [Hands On] Glue를 통한 Csv to Parquet 파일 변환하기 위 링크된 페이지의 Glue 실습을 통해 생성된 공공데이터 Glue Catalog Table을 Athena로 분석해봅니다. Athena workgroup 작업 그룹을 사용하여 사용자, 팀, 애플리케이션 또는 워크로드를 구분하고, 각 쿼리 또는 전체 작업 그룹에서 처리할 수 있는 데이터 양의 한도를 설정하고, 비용을 추적할 수 있습니다. 작업 그룹은 …
[AWS] Datalake DevOps [Hands On]S3 트리거에 의한 Lambda의 압축 파일 처리 위 링크된 페이지의 Lambda 실습을 통해 S3에 적재된 csv 파일에 대한 Parquet 변환 작업을 해봅니다. < Glue Crawler로 CSV 파일 스키마 생성> 크롤러를 사용하여 테이블로 AWS Glue Data Catalog를 채웁니다. ETL 작업은 원본 및 대상 Data Catalog 테이블에 지정된 데이터 스토어에서 읽기와 쓰기를 수행합니다. …
[AWS] Datalake DevOps 1. 준비 공공데이터 다운로드 금융빅데이터플랫폼- 가입한 보험의 보장항목별로 보험회사의 판매 비중을 확인할 수 있는 정보 2. S3 구성 AWS Management Console 로그인 S3 메뉴 이동 버킷만들기(ex. 버킷명 : s3-techday-da-202202) 새 버킷명 입력 > AWS 리전(아시아 태평양(서울) ap-northeast-2) 선택 > 버킷만들기 생성된 버킷 선택 > 폴더 만들기 > 새 폴더 생성 공공데이터 다운로드받은 …
1. Datalake란? 모든 정형 및 비정형 데이터를 규모에 상관없이 저장할 수 있는 하나의 중앙 집중식 저장소 데이터를 구조화 할 필요 없이 있는 그대로 저장이 가능 대시보드 및 시각화에서 빅 데이터 처리, 실시간 분석 및 머신 러닝에 이르기까지 다양한 유형의 분석을 실행하여 더 나은 결정을 내릴 수 있습니다. 클라우드는 더 나은 보안, 더 빠른 배포 시간, …
00. Intro 00-01. CI/CD란? CI(Continous Integration) 지속적인 통합을 의미한다. 코드 변경사항이 자동으로 빌드 및 테스트 되어 하나의 레포지토리로 통합되어 관리될 수 있는 것을 의미한다. CD(Continuous Delivery) 지속적인 서비스 제공을 의미한다. 개발자들이 적용한 변경 사항이 테스트를 거쳐 레파지토리에 업로드 되는 것이 자동으로 이루어진다. CD(Continuous Deployment) 지속적 배포를 의미한다. 고객이 사용가능한 프로덕션 환경까지 자동으로 릴리즈 한다. Continuous …
