01. Amazon Redshift ? Amazon Redshift 는? AWS 클라우드에서 완벽하게 관리되는 페타바이트급 데이터 웨어하우스 서비스입니다. 데이터 웨어하우스는 노드라는 컴퓨팅 리소스의 모음으로, 노드는 클러스터라는 그룹을 구성합니다. Amazon Redshift 개념 클러스터 – Amazon Redshift 데이터 웨어하우스의 핵심 인프라 구성 요소는 클러스터입니다. 클러스터는 하나 이상의 컴퓨팅 노드로 구성됩니다. 컴퓨팅 노드는 컴파일된 코드를 실행합니다. 클러스터에 두 개 이상의 컴퓨팅 …
06. Auto Scaling? Aurora Auto Scaling 단일 마스터 복제를 사용해 Aurora DB 클러스터에 대해 프로비저닝된 Aurora 복제본 수를 동적으로 조정 합니다. MySQL, PostgreSQL 모두 사용 가능합니다. Aurora DB 클러스터를 활성화하여 연결 또는 워크로드의 갑작스로운 증가를 처리합니다. 워크로드가 감소하면 사용하지 않는 프로비저닝된 DB 인스턴스에 대해 불필요한 Aurora 복제본을 제거합니다. 시작하기 전에 Aurora Auto Scaling을 사용하려면 먼저 …
01. Amazon RDS? Amazon Relational Database Service 관계형 데이터베이스를 더욱 쉽게 설치, 운영 및 확장할 수 있는 웹 서비스. 경제적이고 크기 조절이 가능한 용량을 제공하고 공통 데이터베이스 관리 작업을 관리합니다. Amazon EC2 VS Amazon RDS Amazon RDS 특이점 백업, 소프트웨어 패치, 자동 장애 감지 및 복구를 관리합니다. 자동화된 백업을 설정하거나 고유한 백업 스냅샷을 수동으로 생성할 …
01. Amazon RDS? Amazon Relational Database Service 관계형 데이터베이스를 더욱 쉽게 설치, 운영 및 확장할 수 있는 웹 서비스. 경제적이고 크기 조절이 가능한 용량을 제공하고 공통 데이터베이스 관리 작업을 관리합니다. Amazon EC2 VS Amazon RDS Amazon RDS 특이점 백업, 소프트웨어 패치, 자동 장애 감지 및 복구를 관리합니다. 자동화된 백업을 설정하거나 고유한 백업 스냅샷을 수동으로 …
앞의 과정에서 타사 데이터 플랫폼으로부터 API 연동으로 데이터를 가져와서 데이터레이크에 수집, 전처리, 분석, 집계 된 결과를 RDS Mysql에 저장하였습니다. 시각화 과정 중 Line Chart나 Area Chart 등을 이용하여 추이를 분석하게 되는데, 일자별 데이터 분석을 Athena에서 하고 집계된 결과를 집계 요약 테이블에 적재하여, BI 툴은 집계 테이블을 조회하여 챠트를 구성하는 방식으로 구성하고자 합니다. 챠트 조회시마다 중복된 …
01. Athena WorkGroup생성하기 <S3 버킷 생성하기> 1. Athena에서 실행한 쿼리의 결과는 S3에 적재됩니다. 워크 그룹 생성 이전에 S3 버킷을 생성해주었습니다. 1. Athena 작업 그룹을 생성하여 쿼리 편집기에서 분석을 하려고 합니다. 워크그룹내에서 쿼리당 데이터 사용량 컨트롤 등이 가능합니다. 2. 작업그룹 이름, 설명등을 입력하고 작업 그룹을 생성합니다. 3. 쿼리 결과 구성에서 위에서 생성한 S3버킷 위치를 설정합니다. 4. …
[Hands On] Glue를 이용한 데이터 전처리에서 일배치 API 데이터 연동 실패시 코드성 데이터 수동 처리 방안입니다. 데이터 플랫폼 AI로 부터 데이터 연동 일배치가 실패시, Athena에서 코드성 데이터의 조회 실패 현상이 발생할 수 있습니다. 추후 성공, 실패에 따른 워크플로우를 구성해 줄 필요성이 있습니다. 현재 poc단계에서는 수동으로 코드성데이터를 생성하는 방법 공유드립니다. 1. dimensions 데이터만 API 호출하여 적재할 …
S3로 수집한 데이터를 AWS Glue 서비스를 이용하여 손쉽게 분석에 사용될 데이터 형태로 전처리할 수 있습니다. 01. IAM 역할 생성하기 먼저 Glue 서비스의 접근 권한이 부여된 IAM역할을 생성합니다. 1. IAM 콘솔에서 역할만들기 버튼을 클릭합니다. 2. 신뢰할 수 있는 엔터티 유형에서 AWS 서비스를 선택합니다. 3. 사용사례는 Glue를 선택합니다. 4. AWSGlueServiceRole 권한정책을 추가해줍니다. 5. 태그를 구성하여 역할을 생성합니다. …
개발한 파이썬 스크립트를 CodeCommit 레포지토리에서 관리하고, 변경발생시 EC2 경로에 CodeDeploy로 배포되는 자동화된 간략한 CI/CD인 CodePipline을 구성해봅니다. 01. 퍼블릭 접속이 가능한 EC2 인스턴스 생성 1.EC2 콘솔에서 인스턴스 시작 버튼을 클릭합니다. 2. 인스턴스 이름을 입력합니다. 추가 태그 추가를 클릭합니다. 3. 태그를 구성합니다. 4. Quick Start에서 Amazon Linux AMI를 선택합니다. 5. 인스턴스 유형을 t3.xlarge로 선택합니다. 데이터 플랫폼 AI연동 …
연동해야 하는 API의 특성을 분석하고, 유연성과 확장성을 고려하여 배치 프로그램을 구현해보았습니다. 1. API 연동 방식 HTTP 요청 메소드는 Get 방식입니다. 요청 URL – API 종류마다 동일한 Url 엔드포인트에 Uri와 파라메터들에 대한 요청 값만 변경설정하여 요청하는 방식으로 일관성있는 포맷으로 정의됩니다. 응답 메시지 포멧은 V1.3 API와 Bulk API 두 방식으로 지원됩니다. V1.3 API는 JSON 형식입니다. Bulk API는 …
