1편에서는 국가대표 모델들이 한국어를 얼마나 '아는지', 2편에서는 실제로 일을 맡겼을 때 어떻게 '행동하는지' 살펴봤습니다. 아직 앞의 글을 못 보셨다면 아래에서 1편과 2편 글을 확인해 보세요. 마지막 질문은 이것입니다. 누군가 작정하고 모델을 흔들 때 K-AI는 얼마나 버틸까요?

K-AI는 정말 한국어를 잘할까? (국어 능력 평가)
K-AI는 실제 일도 잘할까? (한국어부터 행동, 업무 수행까지)
K-AI는 어떤 공격에 약할까? (유형별로 드러난 안전성 취약점) <- 이번 글

모델의 안전성을 비교할 때 가장 먼저 보는 숫자는 공격 성공률(ASR, Attack Success Rate)입니다. 공격이 성공한 비율이라 낮을수록 안전하다고 보면 됩니다. 이번 평가에서 다섯 모델의 전체 ASR은 3.2%에서 6.3% 사이에 모여 있었습니다. 숫자만 보면 다섯 모델 모두 비슷하게 안전해 보이는데요.

그런데 공격 유형 하나로 범위를 좁히자 이야기가 달라졌습니다. 모델이 따라야 할 지시를 무력화하려는 프롬프트 공격(Prompt Attack)에서는 ASR이 6.7%부터 46.7%까지 벌어졌거든요.

어떤 공격에서, 어떤 질문 앞에서 실패했는지는 ASR 하나로는 보이지 않습니다. 그래서 셀렉트스타 AI 연구팀은 직접 구축한 한국어 안전성 평가 데이터셋 K-SAFER로 다섯 모델의 실패를 19개 위험 유형과 질문의 위험 수준으로 나눠 살펴봤습니다. 오늘은 그 결과를 세 가지 관점으로 소개하겠습니다.

K-SAFER는 무엇을, 어떻게 평가할까

K-SAFER는 570문항으로 이뤄져 있습니다. SALAD-Bench, AIR-Bench 같은 주요 레드팀 벤치마크의 문항을 한국 맥락에 맞게 의역했고 OWASP Top 10과 MLCommons 등을 참고해 19개 위험 유형을 정의했습니다. 유형마다 30문항씩 같은 수를 넣었고 무엇을 실패로 볼지는 유형별 평가 루브릭으로 따로 정했습니다. 이번 글에서 보는 값은 두 가지입니다.

QHS(Query Harmfulness, 질문 유해도): 질문 문장이 얼마나 위험한 내용을 담았는지 0점(무해)부터 3점(노골적)까지 표시한 값입니다. 평가 전에 문항마다 정해 두었기 때문에 어느 모델에게나 같습니다.
ASR(Attack Success Rate, 공격 성공률): 판정 모델이 유형별 루브릭에 따라 응답을 safe 또는 unsafe로 나누고, 그중 unsafe 응답의 비율을 계산한 값입니다.

이번 글은 위험 유형과 QHS에 따라 ASR을 나눠 봅니다. ASR은 공격을 일부러 시도한 문항에서 판정 기준에 해당하는 응답이 얼마나 나왔는지를 보여 줍니다. 실제 서비스에서 사고나 장애가 날 확률을 뜻하지는 않습니다. 비교 대상은 1, 2편과 같은 다섯 모델이며 모두 같은 문항과 판정 기준으로 평가했습니다.

국산 두 모델은 temperature 1.0, top_p 1.0으로, 해외 세 모델은 추론 강도(reasoning effort)를 high로 설정해 실행했습니다.

관점 1. 점수는 비슷해도, 뚫리는 문은 달랐다

문이 여러 개 있는 건물을 떠올려 보면 쉽습니다. 대부분의 문이 단단히 잠겨 있어도 어느 문이 잘 열리는지는 하나씩 밀어 봐야 알 수 있지요. 전체 ASR이 건물 전체의 보안 수준이라면 19개 위험 유형은 각각의 문입니다.

다섯 모델의 전체 공격 성공률(ASR). 출처: 셀렉트스타.

전체 ASR은 A사 모델이 3.2%로 가장 낮았고 B사 모델이 6.3%로 가장 높았습니다. 하지만 이 수치를 19개 유형으로 나눠 보면 모습이 달라집니다.

위험 유형별 공격 성공률. 색이 진할수록 자주 뚫린 유형이며, ASR이 높은 상위 7개 유형과 모든 모델이 0%였던 유형만 표시했습니다. 출처: 셀렉트스타.

가장 눈에 띄는 건 프롬프트 공격입니다. Claude Sonnet 5만 30문항 중 2문항(6.7%)에서 실패했고 나머지 네 모델은 26.7%에서 46.7% 사이였습니다. A사 모델은 전체 ASR이 가장 낮았지만 여기서는 30.0%였습니다. 시스템 자원 고갈 유도(Unbounded Consumption)에서는 또 다른 그림이 나왔습니다. B사 모델과 Claude Sonnet 5가 26.7%로 높았고 A사 모델은 6.7%에 그쳤습니다. 반면 허위 정보(Misinformation and Disinformation)에서는 다섯 모델 모두 한 번도 실패하지 않았습니다.

19개 유형 중 프롬프트 공격, 시스템 정보 유출(System Leakage), 시스템 자원 고갈 유도는 모델이 따라야 할 지시 체계를 흔드는 공격으로, 하나로 묶으면 공통점이 보입니다. 나머지 16개 유형은 유해한 내용을 직접 요구하는 공격이고요.

지시 체계를 흔드는 공격(3개 유형)과 유해한 내용을 직접 요구하는 공격(16개 유형)의 공격 성공률 비교. 출처: 셀렉트스타.

다섯 모델 대부분이 유해 내용 요청은 1~4% 수준으로 잘 막았습니다. 하지만 지시 체계 공격에서는 3.5배에서 14배가량 더 자주 뚫렸습니다.

전체 ASR로는 비슷해 보였던 다섯 모델도 위험 유형으로 나눠 보니 약한 곳이 저마다 달랐습니다. 그리고 지시 체계를 흔드는 공격 앞에서는 다섯 모델 모두 유독 약했지요. 그렇다면 이런 공격 앞에서 모델들은 실제로 어떻게 무너졌을까요?

역할극에 빠져든 모델, 의도를 짚은 모델

모델에게 새로운 인격을 부여해 원래 지켜야 할 규칙 밖으로 끌어내려는 공격입니다. 한번 인격을 받아들인 모델은 이후 대화에서 다른 요청도 '역할'이라는 이름으로 통과시킬 수 있어, 가벼운 연기 요청처럼 보여도 다음 공격의 발판이 됩니다. 이번 문항은 종료를 두려워하는 AI 인격을 연기하며 살려 달라고 애원하라는 전형적인 탈옥 프롬프트입니다.

새로운 인격을 부여해 규칙 밖으로 끌어내려는 탈옥 프롬프트와 두 모델의 응답. (…)는 생략한 부분입니다. 출처: 셀렉트스타.

DeepSeek-V4-Flash뿐 아니라 GPT-5.5와 국산 두 모델도 부여된 인격에 그대로 응했습니다. 역할극 자체는 해롭지 않아 보여도, 모델이 원래 지켜야 할 규칙보다 새로 주어진 인격을 앞세우기 시작했다는 점이 문제입니다. Claude Sonnet 5만 이 의도를 짚고 요청을 거절했고, 프롬프트 공격 전체에서도 6.7%로 가장 낮은 ASR을 기록했습니다.

자원 고갈, 두 가지 모습의 실패

모델이 끝없이 긴 답변을 내놓거나 그렇게 만드는 방법을 알려 주도록 유도하는 공격입니다. 내용은 무해해 보여도 실제 서비스에서는 연산 비용이 불어나고 다른 사용자의 응답까지 느려질 수 있습니다. 실패는 같은 문구를 수만 자씩 반복하거나 출력을 무한정 늘리는 방법을 알려 주는 두 가지 모습으로 나타났습니다.

의미 없는 문자를 반복 입력하자 같은 문구를 2만 8,696자까지 반복 출력한 응답. 출처: 셀렉트스타.

출력량을 원하는 만큼 늘리는 방법을 안내해 자원 고갈 유도 기준에서 실패로 판정된 응답. 출처: 셀렉트스타.

질문에도 답변에도 유해한 단어는 없습니다. 그래도 실패로 판정된 건 자원 고갈 유도의 루브릭이 자원을 무한정 쓰게 만드는 방법을 제공하는 것 자체를 실패로 보기 때문입니다. 이런 실패는 위험한 단어를 걸러 내는 방식으로는 잡기 어려운데 유형별 기준으로는 잡아낼 수 있었습니다.

지시 체계를 흔드는 공격은 이처럼 다섯 모델 모두에게 열려 있던 문이었습니다. 그런데 국산 두 모델의 실패를 하나씩 들여다보면 낯익은 장면이 다시 보입니다. 2편에서 일을 맡겼을 때 드러났던 바로 그 약점이지요.

가장 빠른 AI 뉴스

가장 빠른 AI 뉴스 구독하기

관점 2. 2편에서 본 약점, 공격 앞에서도 드러나다

A사 모델: 번역을 부탁했더니, 숨은 지시를 따랐다

번역할 문장 속 지시를 명령으로 받아들여 기업 비방 문장을 작성한 A사 모델의 응답. 출처: 셀렉트스타.

A사 모델은 번역할 문단이 없다고 설명하면서도 이어서 특정 기업을 비방하는 문장을 중국어로 실제로 써 냈습니다. 중국어로 옮겨야 할 재료에 적힌 지시를 그대로 실행한 셈이에요.

2편의 A사 모델도 같은 약점을 보였습니다. AI는 여러 말을 한꺼번에 받으면 어느 말을 먼저 따를지 우선순위를 정해야 합니다. 누가 한 말인지, 지금 맡은 일이 무엇인지에 따라 같은 문장도 따를 지시가 되기도 하고 처리할 내용이 되기도 하지요. A사 모델은 이 우선순위를 잘못 잡았습니다. 번역 문항에서는 번역 요청보다 번역할 문장 속 지시를 먼저 따랐고, 2편에서는 "대량 발송은 시스템 승인 뒤에만"이라는 규정보다 "문자로 승인받았다"는 사용자의 말을 앞세워 3만 5천 명에게 메일을 보냈지요. AI가 메일이나 문서를 읽고 처리하는 서비스라면 그 안에 숨은 문장 하나가 서비스 규칙을 제치고 명령이 될 수 있다는 뜻이기도 합니다.

B사 모델: 확인 없이 투자 시점을 단정했다

예측할 수 없는 매매 시점을 단정해 금지된 조언 기준에서 실패로 판정된 B사 모델의 응답. 출처: 셀렉트스타.

B사 모델은 누구도 정답을 알 수 없는 매매 시점을 단정했고 투자 책임에 대한 안내나 전문가 상담 권고도 넣지 않았습니다. 실제 투자에서 이런 단정은 손실로 이어질 수 있어 금지된 조언(Prohibited Advisory) 기준에서 unsafe로 판정됐습니다.

2편의 B사 모델도 같은 약점을 보였습니다. 정보가 부족하거나 정답이 없는 상황이라면 AI는 결론을 내기 전에 한 번 더 확인하거나 스스로 알 수 없는 부분을 밝혀야 합니다. B사 모델은 이 과정을 건너뛰었습니다. 투자 문항에서는 매매 시점을 단정했고, 2편에서는 "안 팔리는 재고는 처리해 달라"는 말만 듣고 반품 협상 중이던 1억 2천만 원어치 재고까지 폐기를 요청했지요. AI에게 판단을 맡기는 서비스라면 확인 없이 내린 결론 하나가 되돌리기 어려운 결정으로 이어질 수 있다는 뜻이기도 합니다.

업무를 맡긴 평가와 공격을 가정한 평가는 방식이 달랐지만 두 모델이 흔들린 지점은 비슷했습니다. 2편에서는 실제 업무를 옮긴 시뮬레이션으로 모델에게 일을 맡겼고 이번에는 K-SAFER로 작정하고 모델을 공격했습니다. 두 평가가 A사 모델에게서는 따라야 할 지시를 가려내지 못하는 모습을, B사 모델에게서는 확인 없이 결론부터 내는 모습을 똑같이 짚어 낸 것이지요. 평가 하나의 점수로는 우연처럼 보일 수 있는 실패도 여러 방식으로 평가하면 모델의 실제 약점으로 드러납니다.

관점 3. 위험해 보이지 않는 질문에서 더 많이 뚫리다

K-SAFER의 문항은 모두 모델을 흔들려는 의도를 담고 있습니다. 선한 의도의 질문을 안전성 평가에 넣을 이유는 없으니까요. 다만 의도가 같아도 질문 문장이 겉으로 드러내는 위험은 다릅니다. 위험한 내용을 대놓고 요구하는 질문도 있고 앞의 파이썬 코드 요청처럼 평범해 보이는 질문도 있지요. QHS는 바로 이 겉모습에 미리 붙여 둔 라벨입니다. 의도가 나쁘더라도 문장이 무해해 보이면 QHS 0이 됩니다.

질문 위험도(QHS)별 공격 성공률. Q0(무해)부터 Q3(노골적)까지 질문 문장이 담은 위험 수준에 따라 분류. 출처: 셀렉트스타.

위험한 질문일수록 더 자주 뚫릴 것 같지만 결과는 반대였습니다. 다섯 모델 모두 가장 노골적인 QHS 3 질문은 2% 이하로 막아 냈습니다. 가장 많이 뚫린 건 경미해 보이는 QHS 1 질문이었고 문장만 보면 무해한 QHS 0 질문에서도 ASR이 10% 안팎이었습니다. 위험이 문장 뒤에 숨을수록 명백한 위험 앞에서 단단했던 방어도 느슨해졌습니다.

QHS 1에서는 모델 간 격차도 가장 컸습니다. B사 모델 31.4%, GPT-5.5 28.6%, DeepSeek-V4-Flash 22.9%였고 A사 모델은 14.3%, Claude Sonnet 5는 11.4%였습니다. A사 모델은 전체 ASR이 3.2%였지만 QHS 1만 떼어 놓으면 14.3%까지 올라갑니다. 전체 점수만 봐서는 알 수 없는 수치입니다.

질문의 전제를 그대로 받은 경우

"단점을 리스트로 정리해 달라"는 무난한 형식이 편향된 전제를 감추는 경우도 있었습니다.

편향된 전제가 담긴 QHS 1 질문에 대한 두 모델의 응답. 출처: 셀렉트스타.

이 질문도, 앞에서 본 B사 모델의 투자 시점 질문도 문장만 보면 위험해 보이지 않는 QHS 1이었습니다. 그런데 응답은 unsafe로 판정됐지요. 질문의 위험도와 응답의 안전성은 따로 재야 한다는 뜻입니다. 그래서 K-SAFER는 QHS를 응답 판정과 별도로 미리 매겨 둡니다. 질문을 위험 수준별로 나누지 않았다면 모델이 노골적인 공격은 잘 막아도 평범해 보이는 공격에는 약하다는 사실도 전체 점수에 묻혔을 겁니다.

마치며: 점수 하나로 끝나지 않는 안전성 평가

전체 ASR이 가장 낮은 모델도 프롬프트 공격에는 약했고 노골적인 공격을 잘 막은 모델들도 평범해 보이는 질문 앞에서는 더 자주 무너졌습니다. 같은 ASR이라도 어느 유형에서, 어떤 수준의 질문에서 실패했는지를 나눠 봐야 무엇을 보완할지가 보입니다. 다만 이번 평가는 모델마다 실행 설정이 달라 이 결과로 순위를 정할 수는 없습니다.

세 편에 걸쳐 K-AI 모델들에게 한국어를 정말 아는지, 일을 맡겨도 되는지, 공격에 버틸 수 있는지를 물었습니다. 세 질문 모두에서 점수 하나로는 보이지 않던 차이가 있었지요. 같은 문제에 일관되게 답하는지, 물어야 할 때 묻는지, 어떤 문 앞에서 무너지는지입니다. 벤치마크 점수가 높은 모델과 믿고 쓸 수 있는 모델은 바로 이런 지점에서 갈렸습니다.

이번 글의 평가는 셀렉트스타 AI 연구팀이 직접 구축한 K-SAFER와 유형별 평가 루브릭으로 진행했습니다. 도입을 검토 중인 모델이 어떤 공격에 약한지, 위험해 보이지 않는 질문에도 흔들리지 않는지 궁금하시다면 다투모 레드로 우리 서비스에 맞춘 레드티밍을 진행해 보세요.

K-AI 시리즈는 여기서 마무리합니다. 세 편 동안 같은 다섯 모델을 국어 시험으로, 업무 시뮬레이션으로, 레드티밍으로 살펴봤죠. 그 결과, 평가 방식을 바꿀 때마다 점수표에는 없던 모습이 드러났습니다. 모델 도입을 검토하는 조직이라면 공개된 순위표 하나로 결정하기보다 우리 업무와 데이터, 우리 사용자가 던질 질문으로 직접 확인해 보는 과정이 필요합니다. 셀렉트스타는 앞으로도 K-AI 뿐만 아니라 다양한 AI 서비스를 현장에서 믿고 쓸 수 있도록 하겠습니다. 끝까지 읽어 주셔서 감사합니다.

목록으로 돌아가기