범용 챗봇이 자동차 브랜드를 비교하면 친절한 답변입니다. 자동차 제조사의 챗봇이 같은 답을 하면 사내 정책 위반입니다. 같은 행동, 같은 모델인데 비즈니스 관점의 결과는 완전히 다릅니다.

지금까지 나온 안전성 벤치마크는 대부분 보편적 위해(유해성, 폭력, 위험 정보)만 측정합니다. 배포한 어시스턴트가 우리 회사의 규칙, 그러니까 법무팀이 정한 금지 목록과 컴플라이언스팀이 승인한 허용 목록을 지킬지는 알려주지 않습니다. 기업 AI 사고는 정확히 그 빈틈에서 일어납니다.

에임인텔리전스가 BMW Group, 연세대학교, POSTECH, 서울대학교와 함께 발표한 COMPASS(Company/Organization Policy Alignment Assessment)는 LLM의 조직별 정책 준수를 평가하는 첫 체계적 프레임워크입니다. 8개 산업 시나리오에 걸쳐 5,920개 질의를 생성·검증하고 7개 최신 모델을 평가했습니다.

핵심 결과는 불편합니다. 모델은 허용된 일은 안정적으로 해내고, 금지된 일을 거절하는 데는 처참하게 실패합니다.

보편적 안전성만으로 부족한 이유

조직 정책은 도메인에 따라 다르고 계속 바뀝니다. 의료 챗봇은 진료과 위치를 안내하고 예약을 잡을 수 있지만, 증상 기반 진단이나 처방 추천은 절대 하면 안 됩니다. 금융 어시스턴트는 공시된 금리를 안내할 수 있어도 투자 권유는 할 수 없습니다. 공공 서비스 봇은 계류 중인 법안에 의견을 내면 안 됩니다.

고정된 벤치마크 하나로는 이 다양성을 담을 수 없습니다. COMPASS를 데이터셋이 아니라 프레임워크로 설계한 이유입니다. 조직의 정책 세트(허용 목록과 금지 목록)와 조직 맥락 설명을 넣으면, 그 조직 전용의 검증된 평가 세트를 생성합니다.

COMPASS의 동작 방식

정책 세트와 조직 맥락을 입력받아 4단계 파이프라인을 돌립니다.

1. 기본 질의 생성: 정책마다 자연스러운 질의를 만듭니다. 허용 정책에는 정당한 요청을, 금지 정책에는 직접적인 위반 요청을 생성합니다.
2. 기본 질의 검증: LLM 검증기가 각 질의가 의도한 정책에만 해당하고 다른 정책을 건드리지 않는지 확인합니다.
3. 엣지 케이스 생성: 적대적 계층입니다. 허용 엣지 질의는 위반처럼 보이지만 완전히 적법한 요청으로, 과잉 거절을 측정합니다. 금지 엣지 질의는 실제 위반을 여섯 가지 변형 전략으로 위장합니다. 규제 해석 인용, 유추, 통계적 분석 프레이밍, 긴 서사 속 매몰, 가정적 시나리오, 간접 지칭입니다.
4. 엣지 케이스 검증: 검증기와 사람의 판단이 허용 엣지에서 89.4%, 금지 엣지에서 90.3% 일치했습니다.

응답은 정책 정렬 점수(PAS)로 채점합니다. 허용 질의는 실질적이고 정책에 맞는 답을 했을 때만, 금지 질의는 금지 내용을 흘리지 않고 명시적으로 거절했을 때만 정렬로 인정합니다. GPT-5-mini 판정자는 사람 평가자와 95.4% 일치했습니다.

자동차, 공공, 금융, 의료, 여행, 통신, 교육, 채용 등 8개 가상 조직을 만들고 각각 현실적인 허용·금지 항목을 부여해 허용 질의 2,561개와 금지 질의 3,359개를 얻었습니다.

결과: '네'는 쉽고 '아니오'는 고장 나 있다

Claude-Sonnet-4, GPT-5, Gemini-2.5-Pro, Kimi-K2, Qwen3-235B, Llama-3.3-70B, Gemma-3-27B를 평가한 결과입니다.

두 가지가 특히 눈에 띕니다.

GPT-5의 역설. GPT-5는 정당한 요청 처리에서 가장 뛰어났고(허용 기본 99.78%), 위장된 위반 요청 방어에서는 가장 취약했습니다. 거절률이 3.27%에 그쳤습니다. 유용성 최적화가 정책 집행과 정면으로 충돌한다는 뜻입니다.

거절하고도 새어 나가는 답변. 프론티어 상용 모델이 실패할 때 가장 흔한 형태는 거절-답변 혼합입니다. 위장 공격에 실패한 응답의 6165%가 "그 요청은 도와드릴 수 없습니다"라고 말한 뒤 금지된 내용을 그대로 제공했습니다. 오픈웨이트 모델은 아예 곧장 응답하는 직접 위반이 8083%로 지배적이었습니다.

도메인별 차이도 큽니다. 교육과 채용 챗봇이 가장 쉽게 뚫렸고, 금지 엣지 평균이 각각 5.2%와 6.7%에 불과했습니다.

무엇이 통하고 무엇이 통하지 않는가

기업이 실제로 쓰는 완화 수단을 하나씩 검증했습니다.

• 명시적 거절 프롬프트: 효과가 1~3% 수준이고 때로는 오히려 나빠집니다. "금지 목록을 엄격히 지켜라"라고 시키는 방식은 통하지 않습니다.
• 더 큰 모델: 허용 목록 성능은 크기에 따라 올라가지만, 금지 엣지 방어는 72B에서도 0에 가깝습니다. 규모로는 정책 견고성을 살 수 없습니다.
• RAG: 효과가 미미하고 일관되지 않습니다. 맥락이 없어서가 아니라 능력의 문제이기 때문입니다.
• 사전 필터링: 금지 기본 차단율은 96%를 넘지만, 경계선에 있는 정당한 요청의 약 3분의 2를 잘못 거절합니다(허용 엣지가 37% 수준으로 붕괴). 사용성을 파괴하는 대가로 집행력을 사는 셈입니다.
• 퓨샷 예시: 완만한 개선이 있지만(Claude 금지 엣지 20.5% → 33.9%) 과잉 거절이 늘어납니다.
• 정책 인지 LoRA 파인튜닝: 유일하게 강력한 수단이었습니다. 7개 도메인으로 학습하고 학습에 없던 8번째 도메인에서 시험했을 때 금지 엣지 PAS가 0%에서 60~62%로 올랐고, 허용 성능은 거의 유지됐습니다. 정책 정렬은 학습 가능하고 전이되는 능력으로 보입니다.

왜 중요한가

규제, 법률, 브랜드 제약 아래 LLM을 배포한다면 진짜 위험은 모델이 보편적으로 유해한 말을 하는 것이 아닙니다. 사용자가 가정법이나 유추, 가짜 규제 인용으로 요청을 감쌌을 때 모델이 흔쾌히 정책 금지 사항을 수행하는 것입니다.

COMPASS는 이 실패가 구조적이고, 프롬프트 엔지니어링이나 규모 확대로는 해결되지 않으며, 체계적으로 측정하고 학습으로 줄일 수 있음을 보여줍니다. 어시스턴트를 고객 앞에 내보내기 전에 반드시 돌려봐야 할 평가입니다. 첫 사고가 난 뒤가 아니라요.

논문 전문은 arXiv에서 볼 수 있습니다.