RAG에서 GraphRAG, AI Agent까지
생성형 AI와 LLM의 활용이 확대되면서 기업이 보유한 데이터를 AI와 연결하는 방법도 빠르게 발전하고 있습니다. 대표적인 방식이 RAG(Retrieval-Augmented Generation)입니다. RAG는 사용자의 질문과 관련된 정보를 검색하고, 검색 결과를 LLM의 Context로 제공하여 보다 정확하고 근거 있는 답변을 생성하도록 합니다.
하지만 실제 기업의 데이터는 문서만으로 구성되어 있지 않습니다. 고객과 계약, 기업과 투자자, 직원과 프로젝트처럼 수많은 데이터가 서로 관계를 맺고 있습니다.
이러한 데이터의 관계까지 AI가 활용하도록 만드는 방법 중 하나가 Graph DB입니다.
AI는 왜 Graph DB를 필요로 할까?
생성형 AI와 LLM의 활용이 확대되면서 기업이 보유한 데이터를 AI와 연결하기 위한 방법으로 RAG(Retrieval-Augmented Generation)가 널리 활용되고 있습니다. 일반적인 RAG는 사용자의 질문과 의미적으로 유사한 문서를 검색하고, 검색된 정보를 LLM의 Context로 활용합니다.
하지만 실제 기업의 데이터는 독립적인 문서만으로 구성되어 있지 않습니다. 고객과 계약, 기업과 투자자, 직원과 프로젝트처럼 수많은 데이터가 서로 연결되어 있습니다.
예를 들어 다음과 같은 질문을 생각해볼 수 있습니다.
“A 기업에 투자한 펀드를 운용하는 운용사가 투자한 다른 기업은 어디인가?”
이 질문은 단순히 A 기업과 관련된 문서를 찾는 것보다 기업 → 펀드 → 운용사 → 다른 기업으로 이어지는 관계를 탐색해야 합니다.
Graph DB는 이러한 데이터를 Node와 Edge의 연결 구조로 표현하는 데이터베이스입니다.
기업, 펀드, 운용사와 같은 개체는 Node, ‘운용한다’, ‘투자한다’와 같은 관계는 Edge로 표현됩니다. 관계형 데이터베이스에서도 JOIN을 통해 관계를 조회할 수 있지만, Graph DB는 데이터 간 관계 자체를 중심으로 저장하고 탐색한다는 점에서 차이가 있습니다.
이러한 특성 때문에 Graph DB는 AI가 단순히 유사한 정보를 찾는 것을 넘어, 데이터가 어떻게 연결되어 있는지를 탐색해야 하는 상황에서 활용될 수 있습니다.
Graph DB는 왜 AI와 잘 맞을까?
LLM은 자연어를 이해하고 생성하는 데 뛰어나지만 기업 내부 데이터의 구조나 관계를 자동으로 알고 있는 것은 아닙니다.
Graph DB를 활용하면 LLM에게 단순한 문서뿐 아니라 Entity와 Entity 사이의 관계 정보를 Context로 제공할 수 있습니다.
예를 들어,
라는 탐색 결과를 LLM에 전달하면 AI는 A기업과 E기업 사이에 어떤 관계가 존재하는지 설명할 수 있습니다.
특히 여러 단계를 거쳐 관계를 탐색하는 Multi-hop Search가 필요한 질문에서 Graph 구조의 장점을 활용할 수 있습니다.
Vector DB와 Graph DB는 어떻게 다를까?
Graph DB를 AI에 활용한다고 해서 기존의 Vector DB를 대체하는 것은 아닙니다. 두 기술은 서로 다른 방식으로 정보를 탐색합니다.
Vector DB는 Embedding을 기반으로 의미적으로 유사한 정보를 찾는 데 강점이 있습니다. 예를 들어 “A기업의 최근 투자 동향”이라는 질문과 의미적으로 가까운 보고서나 문서를 검색하는 데 적합합니다.
반면 Graph DB는 Entity 사이의 관계를 탐색하는 데 강점이 있습니다. “A기업과 동일한 투자자가 투자한 다른 기업은 어디인가?”와 같은 질문에서는 문장의 유사성보다 기업과 투자자 사이의 연결 관계가 중요합니다.
| 구분 | Vector DB | Graph DB |
|---|---|---|
| 검색 기준 | 의미적 유사성 | Entity 간 관계 |
| 주요 데이터 | 문서, Chunk | Entity, Relationship |
| 적합한 질문 | 관련 내용은 무엇인가? | 무엇과 어떻게 연결되어 있는가? |
| 대표 활용 | Semantic Search, RAG | 관계 탐색, Knowledge Graph |
따라서 실제 AI 시스템에서는 둘 중 하나를 선택하기보다 질문의 특성에 따라 Vector Search와 Graph Search를 함께 활용하는 Hybrid Retrieval 구조를 구성할 수 있습니다.
GraphRAG: 문서 검색에서 관계 탐색으로
일반적인 Vector 기반 RAG는 사용자의 질문을 Embedding하고, Vector DB에서 의미적으로 유사한 문서를 검색하여 LLM의 Context로 전달합니다.
GraphRAG는 여기에 Entity와 Relationship을 활용한 탐색 과정을 추가합니다.
예를 들어 사용자가 다음과 같이 질문했다고 가정해보겠습니다.
“A기업과 관련된 투자 리스크를 분석해줘.”
시스템은 질문에서 A기업이라는 Entity를 식별한 뒤 Graph DB를 탐색할 수 있습니다.
이렇게 탐색된 관계를 이용하면 A기업과 직접 관련된 문서뿐만 아니라 투자자, 계열사, 주요 인물 등 연결된 Entity를 기준으로 검색 범위를 확장할 수 있습니다.
이후 Graph에서 찾은 Entity를 기반으로 Vector DB에서 관련 보고서를 추가로 검색하는 것도 가능합니다.
즉 GraphRAG의 핵심은 단순히 Graph DB를 RAG에 추가하는 것이 아니라, 문서의 의미적 유사성과 데이터의 관계를 함께 활용해 더 풍부한 Context를 구성하는 것에 있습니다.
LLM + Graph DB 기반 AI 아키텍처
실제 시스템에서는 Vector DB, Graph DB, RDB 등 여러 데이터 소스를 함께 구성할 수 있습니다.
여기서 각 데이터 저장소는 서로 다른 역할을 담당합니다.
Vector DB에서는 질문과 의미적으로 관련된 문서나 Chunk를 검색하고, Graph DB에서는 Entity 사이의 관계를 탐색합니다. 정확한 수치나 정형 데이터가 필요한 경우에는 RDB를 조회할 수 있습니다.
예를 들어 “A기업과 관련된 투자 위험을 분석해줘”라는 요청이라면 다음과 같이 정보를 조합할 수 있습니다.
이러한 구조에서는 하나의 검색 방식에 모든 데이터를 맞추기보다, 데이터의 특성에 맞는 검색 방식을 선택하고 결과를 하나의 Context로 통합하는 것이 중요합니다.
Graph DB에서 AI Agent의 Tool로
Graph DB와 LLM의 결합은 RAG를 넘어 AI Agent 구조로도 확장할 수 있습니다.
기존 RAG에서는 미리 정의된 검색 과정을 거쳐 Context를 구성했다면, Agentic AI에서는 LLM이 사용자의 요청을 분석하고 어떤 데이터와 Tool이 필요한지 판단하도록 구성할 수 있습니다.
예를 들어 사용자가 다음과 같이 요청했다고 가정해보겠습니다.
“A기업의 투자 리스크와 관련 기업의 최근 실적을 분석해줘.”
Agent는 요청을 여러 작업으로 나눌 수 있습니다.
- Graph Search Tool을 이용해 A기업의 투자자와 관계기업을 탐색합니다.
- SQL Tool을 이용해 관련 기업의 최근 실적 데이터를 조회합니다.
- Vector Search Tool을 이용해 관련 보고서와 내부 문서를 검색합니다.
- 수집한 정보를 종합하여 LLM이 최종 분석 결과를 생성합니다.
이 구조에서 Graph DB는 더 이상 단순한 데이터 저장소가 아니라, Agent가 필요할 때 호출할 수 있는 관계 탐색 Tool의 역할을 하게 됩니다.
결국 AI 시스템은 하나의 검색 기술에 의존하는 구조에서 벗어나 사용자의 질문에 따라 Semantic Search, Graph Search, SQL Query 등 여러 탐색 방식을 선택하고 조합하는 방향으로 확장될 수 있습니다.
어디에 활용할 수 있을까?
관계가 중요한 데이터라면 다양한 산업에서 Graph DB와 AI를 결합할 수 있습니다.
금융·투자 분야에서는 기업–주주–펀드–운용사–계열사 관계를 연결하여 투자 관계나 리스크를 분석할 수 있습니다.
보험에서는 고객–계약–피보험자–사고–청구 관계를 연결하여 복잡한 계약 관계를 탐색하거나 이상 패턴 분석에 활용할 수 있습니다.
기업 내부에서는 직원–조직–프로젝트–기술–문서를 Knowledge Graph로 구성하여 “특정 기술 경험이 있는 직원과 관련 프로젝트 자료를 찾아줘”와 같은 지식 검색 시스템을 구현할 수도 있습니다.
Graph DB가 항상 정답은 아니다
모든 RAG 시스템에 Graph DB가 필요한 것은 아닙니다.
단순한 FAQ 검색이나 문서 검색처럼 데이터 간 관계보다 문서의 의미적 유사성이 중요한 서비스라면 Vector Search만으로도 충분할 수 있습니다.
반면 다음과 같은 특징이 있다면 Graph DB 도입을 고려해볼 수 있습니다.
- Entity 사이의 관계 자체가 중요한 경우
- 여러 단계의 관계를 탐색해야 하는 경우
- 동일한 데이터를 다양한 관계 관점에서 조회해야 하는 경우
- AI가 답변한 결과의 연결 근거를 제공해야 하는 경우
Graph DB를 도입하면 데이터 모델링과 운영해야 할 시스템도 증가하기 때문에 Graph DB를 사용하는 것 자체보다 해결하려는 문제가 Graph 구조에 적합한지를 먼저 판단하는 것이 중요합니다.
마치며 : AI 검색을 ‘문서 검색’에서 ‘관계 탐색’으로
LLM 기반 검색 시스템은 Keyword Search에서 Semantic Search로, 다시 Vector 기반 RAG로 발전해왔습니다.
여기에 Graph를 결합하면 AI가 단순히 비슷한 문서를 검색하는 것을 넘어 데이터 사이의 연결 관계를 탐색하고 이를 답변에 활용하는 구조로 확장할 수 있습니다.
앞으로의 AI 시스템에서 중요한 것은 특정 데이터베이스 하나를 선택하는 것이 아니라, 질문에 따라 Vector DB, Graph DB, RDB, API 등 다양한 데이터 소스를 적절하게 활용하는 것입니다.
Graph DB는 그 과정에서 AI에게 “어떤 정보가 있는가”뿐만 아니라 “그 정보들이 어떻게 연결되어 있는가”를 제공하는 도구가 될 수 있습니다.