RAG 신뢰성 위기와 LLMOps의 필연성 RAG(Retrieval-Augmented Generation)는 기업용 AI 시스템에서 사실상 표준 구조로 자리 잡은 듯 보입니다. 외부 지식을 활용해 최신 정보를 반영할 수 있다는 점은 분명한 강점입니다. 그러나 동시에 새로운 과제도 함께 드러나고 있습니다. 검색 시스템의 불완전성과 LLM의 확률적 생성 방식이 결합되면서 결과의 품질을 일관되게 통제하기가 쉽지 않을 수 있기 때문입니다. 특히 금융이나 의료처럼 …
현재 모니터링의 어려움 운영자는 종종 알람은 발생했지만 무엇이 문제인지 바로 알아차리기 힘든 상황에 처합니다. 특히 시스템이 복잡해지고 서비스와 컴포넌트가 긴밀하게 연결되어 있는 경우, 단일 지표에 대한 알람 만으로 문제를 정확히 파악하기가 점점 어려워지고 있습니다. CloudWatch, Datadog, Prometheus 등 다양한 모니터링 툴이 있지만, 대다수는 개별 메트릭이나 로그를 중심으로 동작합니다. 예를 들어 CPU 알람이 떴을 때, 운영자는 …
안녕하세요. 교보 DTS 배은정 사원입니다. 현대 비즈니스 환경에서 보안은 매우 중요한 필수 사항입니다. 클라우드는 높은 확장성과 효율성을 제공하지만, 클라우드에 존재하는 데이터와 애플리케이션이 해킹, 데이터 유출 등 다양한 보안 위협에 노출될 수 있는 특성을 가지고 있습니다. 클라우드 보안을 개선하고 자동화된 위협 방어 솔루션을 도입하려는 추세가 강해지고 있으며, 특히 WAF, Shield 이 두 서비스는 특히 대규모 애플리케이션을 …
Amazon Elastic File System(EFS)은 AWS에서 제공하는 서버리스 방식의 탄력적인 파일 스토리지 서비스입니다. 이번 글에서는 Amazon EFS의 특징과 연결 방법에 대해 알아보는 시간을 가져보겠습니다. 1. Amazon EFS 란? 완전 탄력적인 서버리스 파일 스토리지를 제공하여 용량과 성능을 프로비저닝하거나 관리할 필요 없이 파일을 공유할 수 있습니다. 애플리케이션을 중단하지 않고 온디맨드 방식으로 페타바이트 규모까지 확장이 가능합니다. Amazon EFS는 Amazon …
안녕하세요. 교보정보통신 클라우드 기술팀에서 Solutions Architect를 업무를 하고 있는 배은정입니다. 오늘은 Amazon CloudWatch를 이용한 모니터링 중앙화에 관해 이야기해 보겠습니다. Amazon CloudWatch로 모니터링 중앙화를 구성하는 방법에는 두 가지가 있습니다. 먼저 두 가지 방법에 대해 간략한 설명을 해드린 후 한 가지 방법으로 Hands-On을 해보겠습니다. 1. Amazon CloudWatch에서 모니터링 중앙화를 하는 두 가지 방법 1-1. CloudWatch cross-account observability …
