전체

Zabbix로 Elastic Load Balancer(이하 ELB)에 대한 모니터링 데이터를 가져오는 방법에 대한 실습입니다. 실습에 앞서 Zabbix Server, Load Balancer가 필요합니다. Zabbix Server 설치는 이전 게시글에서 확인 가능합니다. 다음은 CloudWatch에서 ELB에 대한 모니터링이 가능한 Metric 중 일부입니다. HTTPCode_Target_4XX_Count HTTPCode_Target_5XX_Count ProcessedBytes RequestCount UnHealthyHostCount 위에서 언급하지 않은 Metric 정보는 아래의 주소에서 확인 가능합니다. https://docs.aws.amazon.com/ko_kr/elasticloadbalancing/latest/application/load-balancer-cloudwatch-metrics.html CloudWatch에서 얻을 수 있는 통계 …

[Hands On] ZABBIX를 이용한 AWS ELB 모니터링 더 보기 »

1-1. Zabbix란? Zabbix는 고성능 및 보안에 최적화된 엔터프라이즈급 모니터링 솔루션입니다. 1-2. Zabbix 기능 데이터 수집 가용성 및 성능 확인이 가능합니다. SNMP(트래핑 및 폴링 모두), IPMI, JMX, VMware 모니터링을 지원합니다. 사용자 정의 간격으로 원하는 데이터 수집이 가능합니다. 서버/프록시 및 에이전트에 의해 수행됩니다. 유연한 임계값 정의 백엔드 데이터베이스의 값을 참조하는 트리거라고 하는 매우 유연한 문제 임계값을 정의할 …

[Hands On] EC2 Instance에 Zabbix 설치하기 더 보기 »

01. Amazon Redshift ? Amazon Redshift 는? AWS 클라우드에서 완벽하게 관리되는 페타바이트급 데이터 웨어하우스 서비스입니다. 데이터 웨어하우스는 노드라는 컴퓨팅 리소스의 모음으로, 노드는 클러스터라는 그룹을 구성합니다.  Amazon Redshift 개념 클러스터 – Amazon Redshift 데이터 웨어하우스의 핵심 인프라 구성 요소는 클러스터입니다. 클러스터는 하나 이상의 컴퓨팅 노드로 구성됩니다. 컴퓨팅 노드는 컴파일된 코드를 실행합니다. 클러스터에 두 개 이상의 컴퓨팅 …

[AWS] Redshift란? 더 보기 »

06. Auto Scaling? Aurora Auto Scaling 단일 마스터 복제를 사용해 Aurora DB 클러스터에 대해 프로비저닝된 Aurora 복제본 수를 동적으로 조정 합니다. MySQL, PostgreSQL 모두 사용 가능합니다. Aurora DB 클러스터를 활성화하여 연결 또는 워크로드의 갑작스로운 증가를 처리합니다. 워크로드가 감소하면 사용하지 않는 프로비저닝된 DB 인스턴스에 대해 불필요한 Aurora 복제본을 제거합니다.  시작하기 전에 Aurora Auto Scaling을 사용하려면 먼저 …

[Hands On] Aurora Auto Scaling 더 보기 »

01. Amazon RDS? Amazon Relational Database Service 관계형 데이터베이스를 더욱 쉽게 설치, 운영 및 확장할 수 있는 웹 서비스. 경제적이고 크기 조절이 가능한 용량을 제공하고 공통 데이터베이스 관리 작업을 관리합니다. Amazon EC2 VS Amazon RDS Amazon  RDS 특이점 백업, 소프트웨어 패치, 자동 장애 감지 및 복구를 관리합니다. 자동화된 백업을 설정하거나 고유한 백업 스냅샷을 수동으로 생성할 …

[Hands On] Amazon Aurora 더 보기 »

01. Amazon RDS? Amazon Relational Database Service 관계형 데이터베이스를 더욱 쉽게 설치, 운영 및 확장할 수 있는 웹 서비스. 경제적이고 크기 조절이 가능한 용량을 제공하고 공통 데이터베이스 관리 작업을 관리합니다. Amazon EC2 VS Amazon RDS   Amazon  RDS 특이점 백업, 소프트웨어 패치, 자동 장애 감지 및 복구를 관리합니다. 자동화된 백업을 설정하거나 고유한 백업 스냅샷을 수동으로 …

[AWS] Amazon Aurora & Auto Scaling 더 보기 »

앞의 과정에서 타사 데이터 플랫폼으로부터 API 연동으로 데이터를 가져와서 데이터레이크에 수집, 전처리, 분석, 집계 된 결과를 RDS Mysql에 저장하였습니다. 시각화 과정 중 Line Chart나 Area Chart 등을 이용하여 추이를 분석하게 되는데, 일자별 데이터 분석을 Athena에서 하고 집계된 결과를 집계 요약 테이블에 적재하여, BI 툴은 집계 테이블을 조회하여 챠트를 구성하는 방식으로 구성하고자 합니다. 챠트 조회시마다 중복된 …

[Hands On] RDS데이터로 BI시각화구성하기 더 보기 »

01. Athena WorkGroup생성하기 <S3 버킷 생성하기> 1. Athena에서 실행한 쿼리의 결과는 S3에 적재됩니다. 워크 그룹 생성 이전에 S3 버킷을 생성해주었습니다. 1. Athena 작업 그룹을 생성하여 쿼리 편집기에서 분석을 하려고 합니다. 워크그룹내에서 쿼리당 데이터 사용량 컨트롤 등이 가능합니다. 2. 작업그룹 이름, 설명등을 입력하고 작업 그룹을 생성합니다. 3. 쿼리 결과 구성에서 위에서 생성한 S3버킷 위치를 설정합니다. 4. …

[Hands On] Athena로 데이터 분석 및 집계데이터 RDS Mysql 적재하기 더 보기 »

[Hands On] Glue를 이용한 데이터 전처리에서 일배치 API 데이터 연동 실패시 코드성 데이터 수동 처리 방안입니다. 데이터 플랫폼 AI로 부터 데이터 연동 일배치가 실패시, Athena에서 코드성 데이터의 조회 실패 현상이 발생할 수 있습니다. 추후 성공, 실패에 따른 워크플로우를 구성해 줄 필요성이 있습니다. 현재 poc단계에서는 수동으로 코드성데이터를 생성하는 방법 공유드립니다. 1. dimensions 데이터만 API 호출하여 적재할 …

수동처리 Tip 더 보기 »

S3로 수집한 데이터를 AWS Glue 서비스를 이용하여 손쉽게 분석에 사용될 데이터 형태로 전처리할 수 있습니다.   01. IAM 역할 생성하기 먼저 Glue 서비스의 접근 권한이 부여된 IAM역할을 생성합니다. 1. IAM 콘솔에서 역할만들기 버튼을 클릭합니다. 2. 신뢰할 수 있는 엔터티 유형에서 AWS 서비스를 선택합니다. 3. 사용사례는 Glue를 선택합니다. 4. AWSGlueServiceRole 권한정책을 추가해줍니다. 5. 태그를 구성하여 역할을 생성합니다. …

[Hands On] Glue를 이용한 데이터 전처리 더 보기 »