[Hands On] Glue를 이용한 데이터 전처리에서 일배치 API 데이터 연동 실패시 코드성 데이터 수동 처리 방안입니다. 데이터 플랫폼 AI로 부터 데이터 연동 일배치가 실패시, Athena에서 코드성 데이터의 조회 실패 현상이 발생할 수 있습니다. 추후 성공, 실패에 따른 워크플로우를 구성해 줄 필요성이 있습니다. 현재 poc단계에서는 수동으로 코드성데이터를 생성하는 방법 공유드립니다. 1. dimensions 데이터만 API 호출하여 적재할 …
S3로 수집한 데이터를 AWS Glue 서비스를 이용하여 손쉽게 분석에 사용될 데이터 형태로 전처리할 수 있습니다. 01. IAM 역할 생성하기 먼저 Glue 서비스의 접근 권한이 부여된 IAM역할을 생성합니다. 1. IAM 콘솔에서 역할만들기 버튼을 클릭합니다. 2. 신뢰할 수 있는 엔터티 유형에서 AWS 서비스를 선택합니다. 3. 사용사례는 Glue를 선택합니다. 4. AWSGlueServiceRole 권한정책을 추가해줍니다. 5. 태그를 구성하여 역할을 생성합니다. …
개발한 파이썬 스크립트를 CodeCommit 레포지토리에서 관리하고, 변경발생시 EC2 경로에 CodeDeploy로 배포되는 자동화된 간략한 CI/CD인 CodePipline을 구성해봅니다. 01. 퍼블릭 접속이 가능한 EC2 인스턴스 생성 1.EC2 콘솔에서 인스턴스 시작 버튼을 클릭합니다. 2. 인스턴스 이름을 입력합니다. 추가 태그 추가를 클릭합니다. 3. 태그를 구성합니다. 4. Quick Start에서 Amazon Linux AMI를 선택합니다. 5. 인스턴스 유형을 t3.xlarge로 선택합니다. 데이터 플랫폼 AI연동 …
연동해야 하는 API의 특성을 분석하고, 유연성과 확장성을 고려하여 배치 프로그램을 구현해보았습니다. 1. API 연동 방식 HTTP 요청 메소드는 Get 방식입니다. 요청 URL – API 종류마다 동일한 Url 엔드포인트에 Uri와 파라메터들에 대한 요청 값만 변경설정하여 요청하는 방식으로 일관성있는 포맷으로 정의됩니다. 응답 메시지 포멧은 V1.3 API와 Bulk API 두 방식으로 지원됩니다. V1.3 API는 JSON 형식입니다. Bulk API는 …
EC2 인스턴스, RDS 서비스를 public으로 접근하여 테스트하기 위한 VPC를 구성해 봅니다. 01. VPC 생성 VPC(Virtual Private Cloud)란 사용자의 AWS 계정 전용 가상 네트워크입니다. Amazon EC2 인스턴스 같은 AWS 리소스를 VPC에서 실행할 수 있습니다. 1. VPC 콘솔로 진입하여 VPC 생성 버튼을 클릭합니다. 2. 생성할 리소스에서 “VPC만”을 선택합니다. VPC, 서브넷 등을 선택하여 한번에 구성하셔도 됩니다. 저는 필요한 …
데이터 분석을 통한 비지니스 인사이트를 발견하고자 하는 시장환경을 반영하듯 통합 데이터를 제공하는 유,무료 데이터 플랫폼 사이트가 증가하고 있는 추세입니다. 상업적으로 판매되는 AI 기반 데이터 플랫폼에서 제공하는 데이터를 API방식으로 연동하여 AWS 내의 데이터 웨어하우스를 통한 분석환경을 제공하고, BI 툴로 시각화하여 제공하는 데이터파이프라인 구축에 대한 POC를 진행하였고 그 과정을 정리하였습니다. 1. 데이터 연동방식 아키텍처를 구성하기 이전에 데이터 …
AWS Serverless Application Model(AWS SAM)이란 빌드하는 데 사용할 수 있는 오픈소스 프레임워크입니다. SAM을 사용하여 얻는 이점에는 여러가지가 있지만 여기서는 로컬 디버깅 및 테스트에 중점을 두고자 합니다. AWS SAM CLI를 사용하면 로컬에서 Lambda함수를 호출하고 디버깅 및 테스트를 할 수 있습니다. 따라서 실제 콘솔에서 Lambda 함수를 생성하여 테스트할 필요 없이 Lambda 실행 환경과 동일하게 로컬에서 테스트 하여 …
오늘은 GitOps에 대해서 이야기 해보고자 합니다. 결론부터 말씀 드리자면, Git으로 수행되는 DevOps를 의미한다고 보시면 좋을 것 같습니다. (엄밀히 이야기하지면 DevOps는 협업을 위한 문화에 가깝고, GitOps는 CD 영역의 방법론에 가깝습니다.) GitOps는 2017년 KubeCon에서 시작되어 Cloud Native 환경에서 DevOps를 어떻게 받아들이고 구현하면 좋을 지, CI/CD 파이프라인을 어떻게 사용하는 것이 좋을 지에 대해 고민하기 시작했습니다. 본 문에서는 …
LAMP란 Linux, Apache, MySQL/MariaDB , PHP의 이름을 합친 약자로 웹사이트나 서버 운영에 자주 쓰이는 소프트웨어들의 조합을 말합니다. 이번 실습에서는 Linux OS 인스턴스에 Apache, MySQL, PHP를 설치하여 AMI를 만들어보겠습니다. 01. EC2 생성 이름 및 태그 인스턴스 이름을 지정하고 추가적으로 필요한 태그가 있다면 설정합니다. 애플리케이션 및 OS 이미지 인스턴스는 Amazon Linux를 사용할 것입니다. Amazon linux는 라이센스 비용이 …
ECR을 이용한 mysql/node.js on Docker (1)에 이어서 ECR에 도커 이미지를 Push하고 ECR에서 이미지를 받아 컨테이너를 실행하는 실습을 진행해보겠습니다. 01. ECR 01-01. 사용자 자격증명 우리는 본 실습에 AWS CLI를 사용할 예정이므로 자격 증명 정보가 필요합니다. 아래의 정책을 가진 사용자가 있다면 해당 사용자 자격 증명 정보를 사용합니다. 만약 없다면 아래의 정책을 추가해줍니다. AmazonEC2ContainerRegistryFullAccess AmazonECS_FullAccess AmazonEC2FullAccess 자격 증명 …
[Hands On] ECR을 이용한 mysql/node.js on Docker 2 Session 더 보기 »
