앞의 과정에서 타사 데이터 플랫폼으로부터 API 연동으로 데이터를 가져와서 데이터레이크에 수집, 전처리, 분석, 집계 된 결과를 RDS Mysql에 저장하였습니다. 시각화 과정 중 Line Chart나 Area Chart 등을 이용하여 추이를 분석하게 되는데, 일자별 데이터 분석을 Athena에서 하고 집계된 결과를 집계 요약 테이블에 적재하여, BI 툴은 집계 테이블을 조회하여 챠트를 구성하는 방식으로 구성하고자 합니다. 챠트 조회시마다 중복된 …
01. Athena WorkGroup생성하기 <S3 버킷 생성하기> 1. Athena에서 실행한 쿼리의 결과는 S3에 적재됩니다. 워크 그룹 생성 이전에 S3 버킷을 생성해주었습니다. 1. Athena 작업 그룹을 생성하여 쿼리 편집기에서 분석을 하려고 합니다. 워크그룹내에서 쿼리당 데이터 사용량 컨트롤 등이 가능합니다. 2. 작업그룹 이름, 설명등을 입력하고 작업 그룹을 생성합니다. 3. 쿼리 결과 구성에서 위에서 생성한 S3버킷 위치를 설정합니다. 4. …
[Hands On] Glue를 이용한 데이터 전처리에서 일배치 API 데이터 연동 실패시 코드성 데이터 수동 처리 방안입니다. 데이터 플랫폼 AI로 부터 데이터 연동 일배치가 실패시, Athena에서 코드성 데이터의 조회 실패 현상이 발생할 수 있습니다. 추후 성공, 실패에 따른 워크플로우를 구성해 줄 필요성이 있습니다. 현재 poc단계에서는 수동으로 코드성데이터를 생성하는 방법 공유드립니다. 1. dimensions 데이터만 API 호출하여 적재할 …
S3로 수집한 데이터를 AWS Glue 서비스를 이용하여 손쉽게 분석에 사용될 데이터 형태로 전처리할 수 있습니다. 01. IAM 역할 생성하기 먼저 Glue 서비스의 접근 권한이 부여된 IAM역할을 생성합니다. 1. IAM 콘솔에서 역할만들기 버튼을 클릭합니다. 2. 신뢰할 수 있는 엔터티 유형에서 AWS 서비스를 선택합니다. 3. 사용사례는 Glue를 선택합니다. 4. AWSGlueServiceRole 권한정책을 추가해줍니다. 5. 태그를 구성하여 역할을 생성합니다. …
개발한 파이썬 스크립트를 CodeCommit 레포지토리에서 관리하고, 변경발생시 EC2 경로에 CodeDeploy로 배포되는 자동화된 간략한 CI/CD인 CodePipline을 구성해봅니다. 01. 퍼블릭 접속이 가능한 EC2 인스턴스 생성 1.EC2 콘솔에서 인스턴스 시작 버튼을 클릭합니다. 2. 인스턴스 이름을 입력합니다. 추가 태그 추가를 클릭합니다. 3. 태그를 구성합니다. 4. Quick Start에서 Amazon Linux AMI를 선택합니다. 5. 인스턴스 유형을 t3.xlarge로 선택합니다. 데이터 플랫폼 AI연동 …
연동해야 하는 API의 특성을 분석하고, 유연성과 확장성을 고려하여 배치 프로그램을 구현해보았습니다. 1. API 연동 방식 HTTP 요청 메소드는 Get 방식입니다. 요청 URL – API 종류마다 동일한 Url 엔드포인트에 Uri와 파라메터들에 대한 요청 값만 변경설정하여 요청하는 방식으로 일관성있는 포맷으로 정의됩니다. 응답 메시지 포멧은 V1.3 API와 Bulk API 두 방식으로 지원됩니다. V1.3 API는 JSON 형식입니다. Bulk API는 …
EC2 인스턴스, RDS 서비스를 public으로 접근하여 테스트하기 위한 VPC를 구성해 봅니다. 01. VPC 생성 VPC(Virtual Private Cloud)란 사용자의 AWS 계정 전용 가상 네트워크입니다. Amazon EC2 인스턴스 같은 AWS 리소스를 VPC에서 실행할 수 있습니다. 1. VPC 콘솔로 진입하여 VPC 생성 버튼을 클릭합니다. 2. 생성할 리소스에서 “VPC만”을 선택합니다. VPC, 서브넷 등을 선택하여 한번에 구성하셔도 됩니다. 저는 필요한 …
데이터 분석을 통한 비지니스 인사이트를 발견하고자 하는 시장환경을 반영하듯 통합 데이터를 제공하는 유,무료 데이터 플랫폼 사이트가 증가하고 있는 추세입니다. 상업적으로 판매되는 AI 기반 데이터 플랫폼에서 제공하는 데이터를 API방식으로 연동하여 AWS 내의 데이터 웨어하우스를 통한 분석환경을 제공하고, BI 툴로 시각화하여 제공하는 데이터파이프라인 구축에 대한 POC를 진행하였고 그 과정을 정리하였습니다. 1. 데이터 연동방식 아키텍처를 구성하기 이전에 데이터 …
AWS Serverless Application Model(AWS SAM)이란 빌드하는 데 사용할 수 있는 오픈소스 프레임워크입니다. SAM을 사용하여 얻는 이점에는 여러가지가 있지만 여기서는 로컬 디버깅 및 테스트에 중점을 두고자 합니다. AWS SAM CLI를 사용하면 로컬에서 Lambda함수를 호출하고 디버깅 및 테스트를 할 수 있습니다. 따라서 실제 콘솔에서 Lambda 함수를 생성하여 테스트할 필요 없이 Lambda 실행 환경과 동일하게 로컬에서 테스트 하여 …
오늘은 GitOps에 대해서 이야기 해보고자 합니다. 결론부터 말씀 드리자면, Git으로 수행되는 DevOps를 의미한다고 보시면 좋을 것 같습니다. (엄밀히 이야기하지면 DevOps는 협업을 위한 문화에 가깝고, GitOps는 CD 영역의 방법론에 가깝습니다.) GitOps는 2017년 KubeCon에서 시작되어 Cloud Native 환경에서 DevOps를 어떻게 받아들이고 구현하면 좋을 지, CI/CD 파이프라인을 어떻게 사용하는 것이 좋을 지에 대해 고민하기 시작했습니다. 본 문에서는 …
