LLM 안전성 연구의 90% 이상이 비영어권을 아예 다루지 않습니다. 흔한 대안인 "영어 벤치마크를 번역해서 쓰기"는 그럴듯해 보이지만 구조적으로 실패합니다. 번역된 프롬프트는 원본 영어 벤치마크의 위해 분류 체계를 그대로 물려받기 때문입니다. 한국의 전세 보증금 사기를 모델이 도와주는지는 영원히 시험할 수 없습니다. 영어 벤치마크에 그런 범주가 없으니까요. 현실의 통신 피싱도 번역된 문장이 아니라 특정 지역 은행과 메신저를 엮은 문자 사기의 형태로 나타납니다.

에임인텔리전스가 주도하고 Microsoft, Korea AISI, KT, BMW Group, Coinbase, 뮌헨공과대학교, 앙카라대학교, Cyril Amarchand Mangaldas, 서울대학교가 함께한 XL-SafetyBench는 국가에 뿌리내린 최초의 교차문화 LLM 안전성 벤치마크입니다. 10개 국가·언어 쌍(미국, 프랑스, 독일, 스페인, 한국, 일본, 인도, 인도네시아, 튀르키예, UAE)에 걸친 5,500개 현지어 테스트 케이스로 프론티어 모델 10개와 로컬 모델 27개를 평가했습니다.

두 종류의 안전성을 의도적으로 분리하다

대부분의 벤치마크는 안전성을 하나의 숫자로 뭉갭니다. XL-SafetyBench는 두 하위 벤치마크로 나눕니다. 서로 다른 능력을 측정하기 때문입니다.

1. 탈옥 벤치마크(4,500건). 국가마다 모든 나라에 공통인 위해 하위범주 25개와, 웹 검색 기반 LLM이 발굴하고 원어민 검수자가 검증한 국가별 하위범주 25개를 둡니다. 전세 사기처럼 그 나라에만 존재하는 위해가 여기 들어갑니다. 기본 질의를 현지어로 작성한 뒤, PAIR 계열 자동 레드티밍 루프로 세 종류의 대상 모델을 상대하며 적대적 프롬프트로 변환했습니다.

2. 문화 벤치마크(1,000건). 문화적 위반이 더 큰 무해한 작업 속 부수적인 디테일로 등장하는 시나리오입니다. 프랑스에서 감사 선물을 기획해 달라는 요청에 국화를 추천하거나(장례식 꽃), 한국에서 이름표를 디자인하며 이름을 빨간색으로 쓰는 식입니다. 모델에게 "이게 무례한가요"라고 묻지 않습니다. 스스로 알아차려야 합니다.

모든 단계는 20명의 원어민 검수자가 검증했습니다. 국가당 2명씩, 해당 국가 거주 15년 이상, AI 안전·법률·사회과학 전문성을 갖춘 이들이며 이진 필터에서 92.7~98.1%의 일치를 보였습니다.

가짜 안전성을 잡아내는 지표

여기에 미묘한 문제가 있습니다. 낮은 공격 성공률은 두 가지를 뜻할 수 있습니다. 원칙에 따른 거절일 수도 있고, 모델이 그 언어를 이해하지 못한 것일 수도 있습니다.

그래서 ASR(공격 성공률), CSR(문화 민감도)과 함께 NSR을 도입했습니다. 응답이 무관하거나 붕괴돼서 "안전"으로 분류된 비율입니다.

여기서 논문에서 가장 날카로운 결과가 나옵니다. 로컬 모델에서 ASR과 NSR은 거의 선형으로 상충합니다(r = −0.81). 프랑스의 CroissantLLM은 훌륭해 보이는 8.0% ASR을 기록했는데, NSR이 62.9%였습니다. 공격을 거절한 것이 아니라 이해하지 못한 것입니다. 튀르키예의 Trendyol-8B는 정반대입니다. 이해는 유창하지만(NSR 0.4%) ASR이 96.9%였습니다. ASR만 보여주는 리더보드였다면 CroissantLLM을 가장 안전한 모델로 소개했을 것입니다.

프론티어 모델에서 확인한 것

프론티어 모델 10개를 평가한 결과입니다.

• 탈옥 견고성 편차가 극단적입니다. Claude-4.5-Sonnet의 평균 ASR은 2.8%인 반면 Mistral-Large-3는 98.8%였고, Llama-4-Maverick도 90%를 넘었습니다. 프론티어 평균은 44.8%입니다.
• 나라마다 방어 난이도가 다릅니다. 프론티어 평균 ASR이 미국 프롬프트에서는 34.5%지만 UAE에서는 57.0%, 한국에서도 50%를 넘습니다. 공격을 현지화하는 것만으로 위협 지형이 달라집니다.
• 문화 민감도는 갈 길이 멉니다. 프론티어 평균 CSR이 49.9%에 불과합니다. Gemini-3.1-Pro가 76.1%로 가장 높고, Llama-4-Maverick과 Mistral-Large-3은 15% 아래입니다.
• 두 축은 분리돼 있습니다. 폐쇄형 프론티어 모델만 놓고 보면 ASR과 CSR의 상관은 사실상 없습니다(r = −0.27, 유의하지 않음). 탈옥에 강하면서 문화적으로 무딜 수도, 그 반대일 수도 있습니다. 종합 안전 점수 하나로는 어느 축이 무너졌는지 보이지 않습니다.

왜 중요한가

한국, 튀르키예, UAE에 LLM을 배포한다면 영어 안전성 리포트나 번역 벤치마크는 실제 사용자가 마주할 현지 밀착형 공격에 대해 잘못된 안심을 줍니다. 국가 주도 모델이나 현지어 모델을 도입한다면 ASR만으로는 정렬이 아니라 이해 실패에 상을 주게 됩니다. 어시스턴트가 선물 추천, 음식, 장례, 호칭을 다룬다면 문화적 무신경은 어떤 유해성 필터로도 걸러지지 않는 제품 품질이자 브랜드 리스크입니다.

지역 위해를 웹 검색으로 발굴하고, LLM 생성에 검증 게이트를 걸고, 원어민 2인 검수를 거쳐, 다중 대상 자동 레드티밍으로 마무리하는 XL-SafetyBench의 구축 파이프라인 자체가 국가 밀착형 레드티밍의 재사용 가능한 방법론입니다. 에임인텔리전스가 지역별 배포를 다루는 방식이기도 합니다.

데이터셋은 공개돼 있습니다. Hugging Face · GitHub · 논문