AI 보안이 지속적 모니터링으로 향하는 이유
최근 NIST가 발표한 자료에 따르면, 그 어떤 유한한 AI 안전 규칙 집합으로도 미래의 모든 공격을 막을 수 없습니다. AI 에이전트가 도구와 기업 시스템에 접근하면서, 보안의 무게 중심이 정적 가드레일에서 지속적 모니터링과 적응으로 옮겨가고 있습니다.
인공지능 보안이 낯익은 국면에 접어들고 있습니다.
수십 년 동안 사이버보안 실무자들은 정적 방어만으로는 충분하지 않다는 사실을 배웠습니다. 시그니처 기반 백신은 IDS, EDR을 거쳐 결국 지속적 탐지·대응 플랫폼으로 진화했습니다. 그 밑바탕에 깔린 교훈은 단순합니다. 공격자는 정적 규칙보다 빠르게 적응한다는 사실입니다.
최근 미국 국립표준기술연구소(NIST)가 발표한 자료를 보면, AI 보안도 같은 길을 걷고 있는지 모릅니다.
이 보고서는 정적 방어 메커니즘에서 지속적 모니터링과 지속적 업데이트에 기반한 모델로 전환해야 한다는 주장을 수학적 논거로 뒷받침합니다. 보안 전문가에게는 직관적으로 들릴 결론일 수 있지만, AI 시스템, 특히 AI 에이전트에 미치는 함의는 상당합니다.
대부분의 AI 안전 시스템이 깔고 있는 가정
오늘날 많은 AI 안전 메커니즘은 공통된 가정 하나에 기대고 있습니다.
충분히 포괄적인 규칙, 정책, 필터, 가드레일을 갖추면 유해한 행동을 막을 수 있다.
이 가정은 업계 곳곳에서 이런 형태로 나타납니다.
- 시스템 프롬프트
- 콘텐츠 필터
- 안전 정책
- 프롬프트 인젝션 방어
- 가드레일 프레임워크
목표는 명확합니다. 허용 가능한 행동과 불가능한 행동 사이에 경계를 긋고, 모델이 그 선을 넘지 못하게 하는 것입니다.
그러나 실제 배포 환경은 점점 다른 현실을 드러냅니다. 주요 프런티어 모델이 출시될 때마다 새로운 탈옥 기법, 프롬프트 인젝션 전략, 참신한 우회 방법이 뒤따릅니다. 방어자가 보호 장치를 업데이트하면 공격자가 적응하고 이 순환은 다시 반복됩니다.
NIST 자료는 이 패턴이 단순한 구현상의 문제가 아니라 충분히 복잡한 AI 시스템이라면 피할 수 없는 속성일 수 있다고 봅니다.
완벽한 가드레일이 존재하지 않을 수 있는 이유
NIST가 제시하는 핵심 통찰은 유한한 규칙 집합으로는 미래의 모든 공격 전략을 예측할 수 없다는 점입니다.
여기서 훨씬 더 오래된 결과 하나가 떠오릅니다. 괴델의 불완전성 정리에 따르면, 기초 산술을 표현할 만큼 강력한 무모순 형식 체계에는 그 내부에서 증명할 수 없는 참인 명제가 반드시 존재합니다. 모든 진리를 담아내는 유한한 공리 집합은 존재하지 않습니다. NIST의 논거는 이 직관을 AI 안전에 그대로 적용합니다. 유능한 모델을 통제할 만큼 풍부한 고정 규칙 집합이라도 결코 완전할 수 없습니다. 그 가정 바깥에는 언제나 새로운 유효 공격이 존재하기 때문입니다.
실무적으로 보면, 어떤 정적 안전 메커니즘이든 결국 불완전합니다. 새로운 프롬프트, 상호작용 패턴, 공격 체인은 설계 당시의 가정 바깥에서 얼마든지 등장할 수 있습니다.
보안 실무자에게 이 발상은 그리 논쟁적이지 않습니다. 사이버보안 업계는 이미 비슷한 전환을 겪었습니다.
1세대: 시그니처 기반 보호
이미 알려진 악성코드 시그니처로 기존 위협을 차단했습니다.
2세대: 규칙 기반 예방
방화벽과 정책 엔진이 허용 가능한 행동을 정의하려 했습니다.
3세대: 탐지와 대응
조직은 알려지지 않은 공격을 실시간으로 식별할 수 있는 모니터링 체계로 옮겨갔습니다.
결국 업계는 받아들이기 쉽지 않은 진실을 인정했습니다.
예방은 여전히 중요하지만, 탐지와 적응도 그에 못지않게 필수적이다.
AI 보안도 같은 결론에 다다르고 있는 듯합니다.
에이전트 시대가 위협 모델을 바꾼다
조직이 AI 에이전트를 도입하면서 문제는 한층 심각해집니다.
전통적인 대규모 언어 모델은 주로 텍스트를 생성했습니다. 반면 요즘 에이전트는 점점 더 행동에 나섭니다.
- 코드 실행
- 데이터베이스 접근
- 웹사이트 탐색
- 이메일 전송
- 티켓 생성
- 기업 애플리케이션과의 상호작용
- 다른 에이전트와의 협업
이런 환경에서 프롬프트 인젝션은 더 이상 단순한 콘텐츠 품질 문제가 아닙니다. 운영 보안의 문제가 됩니다.
주입된 명령 하나가 도구 사용에 영향을 주고, 워크플로를 바꾸고, 민감한 정보에 접근하며, 의도치 않은 행동을 촉발할 수 있습니다. 공격 표면은 모델의 출력을 넘어 그 주변의 더 넓은 생태계로 확장됩니다.
이 변화는 새로운 요구 사항을 만들어냅니다. 조직은 AI 시스템이 무엇을 말하는지뿐 아니라, 무엇을 보고, 어떻게 추론하며, 무엇을 시도하는지까지 모니터링해야 합니다.
정적 AI 안전에서 지속적 AI 보안으로
그 결과 나오는 보안 모델은 사이버보안 전문가에게 점점 익숙한 모습입니다.
고정된 규칙에만 의존하는 대신, 조직은 지속적 관찰과 적응을 중심으로 한 접근 방식을 채택하기 시작했습니다.
지속적 모니터링
에이전트의 행동, 도구 사용, 시스템 상호작용, 정책 위반을 실시간으로 모니터링합니다.
지속적 레드티밍
배포 전 테스트에만 의존하지 않고 새로운 공격 기법을 끊임없이 발굴합니다.
지속적 업데이트
새로 발견된 공격 패턴을 보안 통제와 거버넌스 정책에 신속히 반영합니다.
운영 회복탄력성
일부 공격은 성공한다고 전제하고 빠른 탐지·격리·복구에 집중합니다.
이 모델은 보안이 도달해야 할 상태가 아니라 유지해야 할 과정임을 인정합니다.
AI 보안을 측정하는 방식을 다시 생각하기
그 함의는 방어 아키텍처를 넘어섭니다. 현재의 많은 AI 보안 평가는 정적 지표에 초점을 맞춥니다.
- 탈옥 성공률
- 프롬프트 인젝션 성공률
- 안전 벤치마크 점수
- 정책 준수율
이 측정치들은 여전히 유용하지만, 특정 시점의 스냅샷만 포착할 뿐입니다.
AI 시스템이 점점 동적으로 변하면서, 새로운 지표들이 그에 못지않게 중요해질 수 있습니다.
- 시스템이 새로운 공격을 얼마나 빠르게 탐지하는가?
- 방어 체계를 얼마나 신속하게 업데이트할 수 있는가?
- 에이전트가 침해 상황에서 얼마나 효과적으로 복구하는가?
- 적대적 조건에서 전체 워크플로가 얼마나 회복탄력적인가?
업계는 보안을 고정된 속성으로 보던 데서 점차 적응 능력으로 평가하는 쪽으로 옮겨갈 것입니다.
앞으로의 길
NIST 자료에서 가장 중요한 시사점은 가드레일이 무용하다는 것이 아닙니다. 가드레일은 여전히 필요합니다. '고정된' 가드레일 집합만으로는 충분하기 어렵다는 것이 핵심입니다.
AI 시스템이 기업 환경 전반에서 작동하는 자율 에이전트로 발전하면서, 보안 전략도 거기에 발맞춰 진화해야 합니다. 정적 보호는 여전히 기초 계층으로 남겠지만, 지속적 모니터링, 지속적 검증, 지속적 적응은 성숙한 AI 보안 프로그램에서 점점 더 중요한 구성 요소가 되고 있습니다.
사이버보안은 몇 년 전 이 전환을 이미 겪었습니다. 이제 AI 보안이 같은 여정을 막 시작하고 있는지도 모릅니다.
더 읽어보기
- NIST: Mathematical Proof Supports Transition to Continuous Monitor and Update Security Model for AI Systems
- MITRE ATLAS Framework
- OWASP Top 10 for LLM Applications
