1. AI가 만든 비대칭
지난 글에서 우리는 생성형 AI와 거대언어모델(LLM)이 모의해킹의 생산성을 어떻게 폭발적으로 증가시키고 있는지 살펴보았습니다. 공격 스크립트 자동 생성부터 타겟 시스템의 세부 취약점 분석까지, AI는 이제 공격자의 가장 강력한 무기가 되었습니다.
문제는 여기서 발생합니다. 공격자는 AI라는 고성능 엔진을 달고 실시간으로 무기를 변형하며 밀고 들어오는데, 이를 막아야 하는 방어선은 여전히 과거의 패러다임에 머물러 있다는 점입니다. 인프라 아키텍처가 복잡해지고 공격의 비대칭성이 심화된 지금, 우리는 기존 방어 체계의 한계를 인정하고 방어선의 정의를 근본부터 다시 고민해야 합니다.
실제 공격 단계를 비교해 보면 AI 기반 방식이 기존의 수동/툴 기반 방식을 얼마나 압도하는지 알 수 있습니다.
- 정찰 (Recon): 단순 포트 스캔을 넘어 시스템 반응을 학습한 맞춤형 타겟팅 수행
- 취약점 분석: CVE 매칭을 넘어 소스코드와 설정 오류 속 숨은 제로데이(0-Day) 추론
- 페이로드 생성: 공개 코드 재사용이 아닌, 탐지 우회를 위한 실시간 난독화 변형
- 방어 우회: 차단 로그를 학습하여 우회 시나리오를 자동으로 재조정
2. 시그니처 기반 탐지의 구조적 한계
전통적인 네트워크 및 애플리케이션 보안 장비(WAF, IPS, 차세대 방화벽 등)의 핵심 근간은 ‘룰(Rule) 매칭’, 즉 시그니처 기반 탐지입니다. 이는 이미 알려진 악성 공격의 형태나 문자열 패턴(지문)을 미리 정의해 두고, 이와 일치하는 트래픽이 인입되면 즉각 차단하는 방식입니다. 정형화된 알려진 공격을 빠르게 쳐내는 데는 이보다 효율적인 방법이 없습니다.
하지만 생성형 AI가 보편화된 지금, 이 방식은 치명적인 약점을 드러냅니다. 공격자가 LLM을 활용해 페이로드의 특수문자를 다중 인코딩하거나, 코드의 구조를 미세하게 바꾸는 난독화(Obfuscation)를 적용하면 고정된 시그니처 매칭은 무력화됩니다.
결국 보안 실무에서는 시그니쳐 갱신속도보다 공격 변형 속도가 더 빠른 불균형을 마주하게 됩니다.
새로운 위협이 등장하면 보안 조직이 이를 수집·분석하고, 정규표현식 기반의 시그니처 룰을 생성하여 운영 중인 수많은 방화벽 인스턴스에 배포하기까지 최소 수 시간에서 수일이 소요됩니다. 하지만 AI는 단 몇 초 만에 기존 룰셋을 우회하는 수천 가지 변형 페이로드를 동적으로 생성해 낼 수 있습니다. 공격자가 탐지 장비의 거부 반응(Drop/Reset Log)을 피드백 삼아 페이로드를 실시간으로 튜닝하는 시대에, 사후 처리에 의존하는 블랙리스트 방식의 방어는 한계에 봉착할 수밖에 없습니다.
3. 행위 기반 이상 탐지로의 전환
알려진 패턴만을 쫓는 방식을 넘어 AI 시대의 변형 공격을 방어하기 위해, 우리는 ‘행위 기반 이상 탐지(Behavior-based Anomaly Detection)’로 패러다임을 완전히 전환해야 합니다.
이 방식은 쉽게 말해 “무엇이 악성(Blacklist)인가”를 정의하는 대신, “무엇이 정상(Whitelist)인가”를 데이터로 정의하고 학습하는 관점의 접근입니다.
| 비교 항목 | 시그니처 기반 탐지 (과거 패러다임) | 행위 기반 이상 탐지 (새로운 패러다임) |
| 핵심 질문 | “이 트래픽이 내가 아는 악성 패턴인가?” | “이 행위가 이 시스템의 정상 범주인가?” |
| 작동 원리 | 정형화된 Rule 및 지문 패턴 매칭 | 정상 트래픽 베이스라인 데이터 모델링 후 Outlier 추적 |
| 주요 장점 | 명확한 위협에 대해 오탐률(False Positive)이 극도로 낮음 | 제로데이 및 변형 공격 탐지 가능 |
| 최대 과제 | 신종 우회 공격에 무력함, 지속적인 룰 관리 공수 발생 | 초기 학습 기간 필요, 고도화된 튜닝 기술 요함 |
정상 트래픽 베이스라인과 임계치(Threshold) 설정
행위 기반 탐지 시스템은 인프라와 애플리케이션이 작동하는 평시 상태를 학습합니다. 특정 API 엔드포인트의 시간당 호출 빈도, 인입되는 페이로드의 평균 크기, 평소 호출되지 않던 비즈니스 로직 경로, 계정별 세션 유지 시간 등을 다각도로 데이터화합니다. 실무적으로는 특정 벤더사에 의존하지 않더라도 Isolation Forest나 Autoencoder와 같은 비지도 학습(Unsupervised Learning) 알고리즘 모델을 활용해 ‘정상 베이스라인’을 구축하는 것이 일반적입니다.
여기서 실무자들이 반드시 겪게 되는 난관은 오탐(False Positive)과 미탐(False Negative)의 트레이드오프(Trade-off)입니다. 보안 임계치를 너무 타이트하게 설정하면 정상적인 대규모 이벤트나 비즈니스 확장 시 오탐으로 인한 서비스 장애가 발생하고, 너무 느슨하게 잡으면 교묘한 공격을 놓치게 됩니다. 따라서 고정된 수치 대신, 주간/월간 트래픽 변화량에 따라 자동으로 상하한선이 움직이는 ‘동적 임계치(Dynamic Threshold)’ 모델링과 지속적인 데이터 피드백 루프가 필수적입니다.
4. 실무에서 체감한 행위 기반 탐지 사례
실제 운영 환경에서 다수의 웹 애플리케이션 방화벽(WAF)과 인프라 로그를 연동하여 AI 기반 이상 탐지 체계를 상호 보완적으로 병행 운영하며 얻은 현장의 인사이트입니다.
대규모 마이크로서비스 아키텍처(MSA)나 분산 인프라 환경에서 기존 시그니처 기반 WAF는 알려진 SQL 인젝션이나 Cross-Site Scripting(XSS) 같은 표준적 공격을 전면에서 차단하는 데 여전히 훌륭한 역할을 수행합니다. 그러나 정상적인 HTTP 메서드와 파라미터를 사용하면서 서비스 내부의 비즈니스 로직 허점을 파고드는 우회 공격은 WAF의 룰셋을 그대로 통과하는 경우도 발견됩니다.
이를 해결하기 위해 로그 기반 패턴 분석 자동화 파이프라인을 구축하면서 다음과 같은 실무적 성과를 체감할 수 있었습니다.
- 대규모 데이터 속 가시성 확보: 수 기가바이트(GB) 단위로 쏟아지는 인프라 액세스 로그 속에서, 인간 분석가가 수작업으로는 절대 잡아낼 수 없던 ‘특정 구간에 집중된 미세한 API 호출 지연’, ‘비정상적인 데이터 대량 다운로드 시도’ 등의 징후를 AI 모델이 자동으로 격리해 주었습니다.
- 다층 방어(Defense in Depth) 구현: 프론트엔드에서는 WAF가 단순 무차별 대입(Brute Force)이나 스캐너 트래픽을 일차적으로 흡수해 주고, 백엔드에서는 이상 탐지 엔진이 정상 트래픽으로 위장해 유입된 지능형 지속 위협(APT)의 ‘행적’을 추적하는 유기적인 2선 방어 체계를 완성했습니다.
5. 검증: 모의해킹으로 본 방어 체계의 실효성
새롭게 구축한 행위 기반 방어 체계의 실효성을 혹독하게 검증하기 위해, 내부 보안 팀과 화이트해커 그룹이 협력하여 공격 정보가 완벽히 차단된 상태에서 블라인드 모의해킹(Blind Penetration Testing)을 진행했습니다. 공격 팀에게는 “AI 우회 툴을 동원해 기존 WAF와 방화벽 정책을 무력화하라”는 미션이 부여되었습니다.
실제 공격이 시작되자 흥미로운 현상이 관찰되었습니다. 화이트해커 팀이 AI를 통해 실시간으로 변형하고 난독화한 익스플로잇 페이로드들은 기존 시그니처 방화벽의 감시망을 아무런 제재 없이 통과했습니다. 문장 구조 자체가 기존 룰셋에 등록되지 않은 형태였기 때문입니다.
하지만 그 뒤에 포진한 행위 기반 이상 탐지 엔진은 속이지 못했습니다.
공격 팀이 정상적인 패킷 형태로 WAF를 통과한 후, 내부 시스템에서 수행한 특정 공격 유형들이 고스란히 덜미를 잡혔기 때문입니다. 특히 다음과 같은 공격 유형에 강력한 실효성을 보였습니다.
- 권한 남용 및 수평 이동(Lateral Movement): 탈취한 정상 계정으로 평소 해당 계정의 역할(Role) 범위에서는 호출하지 않던 내부 시스템 간의 데이터 통신을 시도하는 행위 탐지
- 비정상 대량 스크래핑: 인가된 인증 토큰을 사용하되, 인간의 한계를 넘어선 속도로 프로필 데이터를 미세하게 지속 요청하는 행위 패턴 식별
- 지능형 데이터 반출(Data Exfiltration): WAF가 탐지하지 못하도록 패킷 크기를 잘게 쪼개어 외부 알 수 없는 IP로 주기적으로 데이터를 밀수출하는 은밀한 행적 추적
페이로드의 외형(Text)은 완벽히 속였을지언정, 시스템 내부에서 유발된 비정상적인 행적의 맥락(Context)까지는 숨기지 못했다는 점에서 이 방어 체계의 실전 실효성을 명확히 입증할 수 있었습니다.
6. 방어선의 재정의, 행위중심의 동적 보안.
결국 AI 시대의 보안은 ‘누가 더 빠르게 학습하고 적응하는가’의 속도 싸움입니다. 공격자가 AI를 활용해 페이로드의 형태를 실시간으로 바꾸는 진화를 거듭하는 상황에서, 알려진 패턴의 유무(Text)만 검사하는 과거의 방어선은 필연적으로 무너질 수밖에 없습니다.
이제 우리는 단편적인 트래픽 차단을 넘어, 시스템 내부에서 발생하는 모든 행위의 흐름과 숨은 맥락(Context)을 이해하는 지능형 방어선으로 전환해야 합니다. 1선 방어선인 시그니처 기반 장비가 표준적인 위협을 효율적으로 걸러내고, 그 뒤에서 행위 기반 이상 탐지 모델이 우회된 지능형 지속 위협을 추적하는 다층 방어 체계야말로 지금 우리에게 필요한 실질적인 대안입니다.
공격 기법이 AI를 활용해 정밀해지고 동적으로 진화하는 지금, 우리의 방어선 역시 고정된 규칙 기반의 패러다임을 탈피하여 시스템 전체의 행위와 흐름을 실시간으로 식별하는 지능형 방어 체계로 전환되어야 할 시점입니다.