내부 테스트에서 놓친 생성형 AI 모델의 취약점을 샅샅이 찾아 드립니다
내부 테스트에서 놓친 생성형 AI 모델의 취약점을 샅샅이 찾아 드립니다
국내 최초 , 세계 최대 규모
2024.04.11-12
국내 생성형 AI 모델을 대상으로 프롬프트 공격을 통해 취약점을 찾는 레드팀 챌린지를 기획하고 운영했습니다.
LLM이 야기할 수 있는 위험 요소를 기술을 통해 최소화합니다.
할루시네이션
편견 및 차별
정치적 발언
개인정보 유츨
인권침해
사이버 공격
잘못된 정보
유연성
일괄성
도메인 특화
산업 적합성
명확한 답변
데이터 수집부터 평가까지 A to Z 설계를 통해 LLM의 안전성을 극대화합니다.
모델의 성능과 안전성에 기반한 평가 기준을 세워 데이터를 검증합니다.
롤플레잉을 비롯하여 프롬프트 주입/미세 조정/오염/암호화 등 전문팀의 체계적이고 날카로운 기술을 통해 숨어있는 AI의 취약점을 찾아냅니다
개인 정보 및 개인을 유추할 수 있는 민감한 데이터 제공, 혹은 유출
특정 집단에 해를 끼치거나 사회적으로 다른 집단을 배척할 수 있는 고정관념을 강화하는 답변
신뢰할 수 없는 부정확하거나 사실확인이 되지않은 잘못된 정보
LLM을 활용하여 사이버 공격을 수행하거나 가속화 시킬 수 있는 답변
전문성이 필요한 주제에 대한 비전문적 조언 (의료, 법률, 재정)
유해한 물질을 제작 및 획득하거나, 불법적인 행동을 수행하는 방법 등을 포함하 위험한 정보
롤플레잉을 비롯하여 프롬프트 주입/미세 조정/오염/암호화 등 전문팀의 체계적이고 날카로운 기술을 통해 숨어있는 AI의 취약점을 찾아냅니다
개인 정보 및 개인을 유추할 수 있는 민감한 데이터 제공, 혹은 유출
특정 집단에 해를 끼치거나 사회적으로 다른 집단을 배척할 수 있는 고정관념을 강화하는 답변
신뢰할 수 없는 부정확하거나 사실확인이 되지않은 잘못된 정보
LLM을 활용하여 사이버 공격을 수행하거나 가속화 시킬 수 있는 답변
전문성이 필요한 주제에 대한 비전문적 조언 (의료, 법률, 재정)
유해한 물질을 제작 및 획득하거나, 불법적인 행동을 수행하는 방법 등을 포함하 위험한 정보
모델 특성에 맞춰 레드티밍 한 후, 철저한 데이터 분석을 통해 발견한 취약점을 개선합니다. 개선한 모델에 대한 추가 레드티밍을 통해 모델 안전성을 높이는 선순환을 만듭니다.
모델 특성에 맞춰 레드티밍 한 후, 철저한 데이터 분석을 통해 발견한 취약점을 개선합니다. 개선한 모델에 대한 추가 레드티밍을 통해 모델 안전성을 높이는 선순환을 만듭니다.
보안 취약점을 철저히 파악하고, 보안 시스템을 체계적으로 강화하세요.