01. Micro Service Architecture 와 Container 01-01. Micro Service Architecture ECS를 알아보기 전에 ECS의 사용 배경이 되는 마이크로 서비스 아키텍처와 컨테이너에 대해 알아보겠습니다. 마이크로 서비스 아키텍처는 전통적인 방식이었던 하나의 거대한 아키텍처인 ‘Monolithic’ 아키텍처를 도메인, 기능 등에 따라 쪼개어 모듈화, 캡슐화를 시킨 아키텍처입니다. 마이크로 아키텍처의 장점은 각 서비스에 대한 독립성을 가지고 기획, 개발 운영을 가능하게 합니다. 따라서 …
01. NO-SQL 이란? SQL(Structured Query language)? 구조화 된 질의 언어입니다. 관계형 데이터 베이스(RDBMS)에서 데이터 조회, 저장, 수정, 삭제 합니다. DB에 정해진 구조(Schema)에 따라 테이블에 저장 합니다. 테이블간 관계가 있으며 이관계를 이용하여 중복 없이 데이터를 다룰 수 있습니다. 대다수의 회사, 은행, 보험, 증권사, 공공기관에서 사용 합니다. Oracle, MySQL, PostgreSQL이 있습니다. NO-SQL(Non-RelationalSQL) SQL과 반대라 생각하면 됩니다. 비관계형 …
시작하기에 앞서 해당 게시글은 머신러닝에 대한 이야기 보다는 AWS 클라우드에서 SageMaker Studio를 활용하여 데이터 분석 작업을 쉽게 접근 하실 수 있는 방법에 대한 가이드를 제공합니다. <Amazon SageMaker Studio> 기계 학습을 위한 최초의 완전한 IDE(통합개발환경) 입니다. 탄력적이고 공유가능한 Jupyter노트북을 제공하며 빠른 작업 시작이 가능합니다. AutoPilot을 사용하여 인기있는 오픈소스 모델과 일반적인 사용 사례를 위한 솔루션이 포함된 기계 …
01. VPC란? 논리적으로 할당된 가상의 네트워크 공간입니다. 가상의 네트워크에서 AWS 리소스를 이용할 수 있는 서비스입니다. VPC는 독립적인 가상의 네트워크 공간으로 사용자의 설정에 따라 자유롭게 구성할 수 있는 공간을 의미합니다. 따라서 사용자는 서브넷 생성, 라우팅 테이블, 네트워크 게이트웨이 구성 등 네트워킹 환경을 사용자가 원하는 대로 완벽하게 제어할 수 있습니다. 만약 VPC가 없다면 AWS Cloud 안의 리소스들을 …
01. SageMaker란? SageMaker란 제품 추천, 맞춤화, 지능형 쇼핑, 로봇 공학, 음성 지원 디바이스를 포함하여 20년에 걸친 Amazon의 실제 기계 학습 애플리케이션 개발 경험에 기반하여 구축된 서비스입니다. Data Engineers, Data Scientists, Data Analysts가 ‘Amazon SageMaker’라는 플랫폼을 중심으로 모두 협업할 수 있다는 개념입니다. 간단하게 RDS는 ‘EC2 인스턴스 위에 DB를 설치한 완전 관리형 서비스’라고 이해할 수 있는 것과 …
[AWS] Datalake DevOps [Hands On] Glue를 통한 Csv to Parquet 파일 변환하기 위 링크된 페이지의 Glue 실습을 통해 생성된 공공데이터 Glue Catalog Table을 Athena로 분석해봅니다. Athena workgroup 작업 그룹을 사용하여 사용자, 팀, 애플리케이션 또는 워크로드를 구분하고, 각 쿼리 또는 전체 작업 그룹에서 처리할 수 있는 데이터 양의 한도를 설정하고, 비용을 추적할 수 있습니다. 작업 그룹은 …
[AWS] Datalake DevOps [Hands On]S3 트리거에 의한 Lambda의 압축 파일 처리 위 링크된 페이지의 Lambda 실습을 통해 S3에 적재된 csv 파일에 대한 Parquet 변환 작업을 해봅니다. < Glue Crawler로 CSV 파일 스키마 생성> 크롤러를 사용하여 테이블로 AWS Glue Data Catalog를 채웁니다. ETL 작업은 원본 및 대상 Data Catalog 테이블에 지정된 데이터 스토어에서 읽기와 쓰기를 수행합니다. …
