[ 교보라이프플래닛생명 ]
클라우드 기반 온라인 보험사 DW 시스템 구축 사례
[Hands On] AWS Control Tower 구성하기
1. Control Tower 구성 실습 0. 사전 준비 사항 실습을 위한 사전 준비 단계로서 Control Tower 관리 계정을 사전에 생성하고, AWS Control Tower의 Provisioning을 수행합니다. 사전 준비사항 완료시 서비스의 구성도는 다음과 같습니다. * 본 게시글의 실습은 다음의 링크를 참고하여 진행할 수 있습니다. [ AWS Control Tower Workshop 바로가기 ] 1. 관리 계정 생성 AWS Control …
[AWS] Control Tower 란?
0. Multi-Account Strategy 클라우드 환경을 관리할 때 각 프로젝트 또는 사업 단위로 IT 자원에 맞춰 계정을 생성하여 관리하다 보면 여러 계정을 사용하게 되고, 이는 멀티 계정 관리에 대한 통합적 관리의 필요성을 야기하였습니다. 비즈니스 민첩성 유지는 관리/제어의 유연성과 상반 관계, 대개 고객사들의 입장에서는 클라우드가 빠르게 변화하는 기술로 받아들이고 있지만, 통제의 관점에선 빠르게 변할수록 통제가 어렵기에 비즈니스 …
[AWS] Redshift란?
01. Amazon Redshift ? Amazon Redshift 는? AWS 클라우드에서 완벽하게 관리되는 페타바이트급 데이터 웨어하우스 서비스입니다. 데이터 웨어하우스는 노드라는 컴퓨팅 리소스의 모음으로, 노드는 클러스터라는 그룹을 구성합니다. Amazon Redshift 개념 클러스터 – Amazon Redshift 데이터 웨어하우스의 핵심 인프라 구성 요소는 클러스터입니다. 클러스터는 하나 이상의 컴퓨팅 노드로 구성됩니다. 컴퓨팅 노드는 컴파일된 코드를 실행합니다. 클러스터에 두 개 이상의 컴퓨팅 …
[Hands On] Aurora Auto Scaling
06. Auto Scaling? Aurora Auto Scaling 단일 마스터 복제를 사용해 Aurora DB 클러스터에 대해 프로비저닝된 Aurora 복제본 수를 동적으로 조정 합니다. MySQL, PostgreSQL 모두 사용 가능합니다. Aurora DB 클러스터를 활성화하여 연결 또는 워크로드의 갑작스로운 증가를 처리합니다. 워크로드가 감소하면 사용하지 않는 프로비저닝된 DB 인스턴스에 대해 불필요한 Aurora 복제본을 제거합니다. 시작하기 전에 Aurora Auto Scaling을 사용하려면 먼저 …
[Hands On] Amazon Aurora
01. Amazon RDS? Amazon Relational Database Service 관계형 데이터베이스를 더욱 쉽게 설치, 운영 및 확장할 수 있는 웹 서비스. 경제적이고 크기 조절이 가능한 용량을 제공하고 공통 데이터베이스 관리 작업을 관리합니다. Amazon EC2 VS Amazon RDS Amazon RDS 특이점 백업, 소프트웨어 패치, 자동 장애 감지 및 복구를 관리합니다. 자동화된 백업을 설정하거나 고유한 백업 스냅샷을 수동으로 생성할 …
[AWS] Amazon Aurora & Auto Scaling
01. Amazon RDS? Amazon Relational Database Service 관계형 데이터베이스를 더욱 쉽게 설치, 운영 및 확장할 수 있는 웹 서비스. 경제적이고 크기 조절이 가능한 용량을 제공하고 공통 데이터베이스 관리 작업을 관리합니다. Amazon EC2 VS Amazon RDS Amazon RDS 특이점 백업, 소프트웨어 패치, 자동 장애 감지 및 복구를 관리합니다. 자동화된 백업을 설정하거나 고유한 백업 스냅샷을 수동으로 …
[Hands On] RDS데이터로 BI시각화구성하기
앞의 과정에서 타사 데이터 플랫폼으로부터 API 연동으로 데이터를 가져와서 데이터레이크에 수집, 전처리, 분석, 집계 된 결과를 RDS Mysql에 저장하였습니다. 시각화 과정 중 Line Chart나 Area Chart 등을 이용하여 추이를 분석하게 되는데, 일자별 데이터 분석을 Athena에서 하고 집계된 결과를 집계 요약 테이블에 적재하여, BI 툴은 집계 테이블을 조회하여 챠트를 구성하는 방식으로 구성하고자 합니다. 챠트 조회시마다 중복된 …
[Hands On] Athena로 데이터 분석 및 집계데이터 RDS Mysql 적재하기
01. Athena WorkGroup생성하기 <S3 버킷 생성하기> 1. Athena에서 실행한 쿼리의 결과는 S3에 적재됩니다. 워크 그룹 생성 이전에 S3 버킷을 생성해주었습니다. 1. Athena 작업 그룹을 생성하여 쿼리 편집기에서 분석을 하려고 합니다. 워크그룹내에서 쿼리당 데이터 사용량 컨트롤 등이 가능합니다. 2. 작업그룹 이름, 설명등을 입력하고 작업 그룹을 생성합니다. 3. 쿼리 결과 구성에서 위에서 생성한 S3버킷 위치를 설정합니다. 4. …
수동처리 Tip
[Hands On] Glue를 이용한 데이터 전처리에서 일배치 API 데이터 연동 실패시 코드성 데이터 수동 처리 방안입니다. 데이터 플랫폼 AI로 부터 데이터 연동 일배치가 실패시, Athena에서 코드성 데이터의 조회 실패 현상이 발생할 수 있습니다. 추후 성공, 실패에 따른 워크플로우를 구성해 줄 필요성이 있습니다. 현재 poc단계에서는 수동으로 코드성데이터를 생성하는 방법 공유드립니다. 1. dimensions 데이터만 API 호출하여 적재할 …