1. 개요 사물인터넷(IoT) 기술이 발전함에 따라 수많은 디바이스에서 발생하는 데이터를 효율적으로 수집하고 관리하는 능력이 현대 클라우드 아키텍처의 핵심 요소가 되었습니다. 하지만 수백만 대의 디바이스를 안전하게 연결하고, 끊김 없는 메시지 통신을 유지하며, 데이터를 적재적소에 배분하는 인프라를 직접 구축하는 것은 매우 복잡한 일입니다. 이번 포스팅에서는 AWS IoT Core를 활용하여 가상의 디바이스를 클라우드에 연결하고, MQTT 프로토콜을 통해 메시지를 …
최근 대형 언어 모델(LLM)을 실제 서비스에 도입하려는 기업들의 가장 큰 고민은 ‘환각(Hallucination)’ 현상입니다. 이를 해결하기 위해 외부 데이터를 참조하는 RAG(검색 증강 생성) 기술이 표준처럼 자리 잡았습니다. 하지만 단순한 문서 검색만으로는 복잡한 추론이나 정확한 관계 파악에 한계가 있습니다. 이러한 RAG의 한계를 돌파하고, AI에게 인간 수준의 논리적이고 구조화된 지식을 제공하기 위해 다시금 주목받고 있는 개념이 바로 **’온톨로지(Ontology)’**입니다. …
1. 개요 본 글에서는 Amazon EKS 환경에서 발생한 애플리케이션 로그를 기반으로, Athena와 Amazon Bedrock을 활용하여 장애 분석 리포트를 자동 생성하는 과정을 설명합니다. CloudWatch Logs에 수집된 로그를 S3로 적재한 후, Athena를 통해 분석 가능한 형태로 가공하고,이를 다시 Bedrock의 Claude 모델에 전달하여 장애 원인 및 패턴을 자동으로 도출합니다. 이를 통해 운영자는 대량의 로그를 직접 분석하지 않고도 주요 …
EKS Application 로그를 Amazon Bedrock으로 자동 요약하는 시스템 구축하기 더 보기 »
RAG 신뢰성 위기와 LLMOps의 필연성 RAG(Retrieval-Augmented Generation)는 기업용 AI 시스템에서 사실상 표준 구조로 자리 잡은 듯 보입니다. 외부 지식을 활용해 최신 정보를 반영할 수 있다는 점은 분명한 강점입니다. 그러나 동시에 새로운 과제도 함께 드러나고 있습니다. 검색 시스템의 불완전성과 LLM의 확률적 생성 방식이 결합되면서 결과의 품질을 일관되게 통제하기가 쉽지 않을 수 있기 때문입니다. 특히 금융이나 의료처럼 …
지금까지 우리가 경험한 인공지능은 대부분 화면 속에 갇혀 있었습니다. GPT는 텍스트 답변을 생성하고 이미지 생성 AI는 그림을 만들어내지만 그 결과물이 실제 현실에서 무언가를 직접 만지거나 움직이지는 못했죠. 그런데 이제 흐름이 달라지고 있습니다. AI가 물리적 몸체를 갖추고 공장 바닥을 걷고 도로를 달리기 시작했습니다. 이것이 바로 피지컬 AI(Physical AI)가 열어가는 새로운 세계 입니다. 2025년 1월 열린 CES …
— “단순 챗봇”을 넘어 “업무 실행자”가 되는 순간, 아키텍처의 성격이 바뀐다 요즘 많은 조직이 “사내 지식 챗봇(RAG)”을 넘어, 실제 업무를 수행하는 **AI 에이전트(Agent)**를 고민합니다.예를 들면 이런 것들입니다. “지난주 비용 급증 원인 분석하고, 최적화 PR까지 올려줘” “장애 티켓 열고, 원인 추정해서 관련 런북 실행해줘” “계정 권한 요청 들어온 거 검토하고 승인/반려 초안 작성해줘” “고객 문의 메일을 …
[Deep Dive] 고도화된 AI 에이전트 아키텍처: Zero Trust와 Human-in-the-Loop의 결합 더 보기 »
생성형 AI 기반의 채팅 상담 어시스턴트 구축
생성형 AI 기반의 채팅 상담 어시스턴트 구축
서론 : 프롬프트는 왜 갑자기 버거워졌을까 프롬프트 엔지니어링은 생성형 AI 초창기에는 매우 강력한 도구였습니다. 모델을 직접 수정할 수 없는 상황에서 프롬프트는 우리가 개입할수 있는 거의 유일한 수단이었고, 짧은 시간안에 성과를 만들 수 있는 가장 현실적인 방법이었습니다. 하지만 LLM이 단순한 실험용 도구를 넘어 서비스, 업무 자동화, 내부 시스템에 깊이 들어오기 시작하면서 상황이 달라졌습니다. 프롬프트는 더 이상 …
Prompt Engineering 이후의 시대 : 프롬프트 중심 설계는 왜 한계에 도달했고, 무엇이 그것을 대체하는가 더 보기 »
Agentic AI와 Tool 기능에 대한 관심이 높아지면서, 많은 조직이 LLM에 다양한 도구를 연결하기 시작했습니다. 데이터 조회, 문서 검색, 계산, 요약 등 여러 기능을 AI와 결합하면 업무 효율이 크게 향상될 것이라는 기대도 함께 커졌습니다. 그러나 실제로는 Tool을 연결했음에도 불구하고, 기대한 만큼의 생산성 향상을 체감하지 못하는 경우도 적지 않습니다. 이러한 문제의 원인은 기술 부족이 아니라, Agentic AI와 …
