AI Red Team

내부 테스트에서 놓친 생성형 AI 모델의 취약점을 샅샅이 찾아 드립니다

AI Red Team

내부 테스트에서 놓친 생성형 AI 모델의 취약점을 샅샅이 찾아 드립니다

국내 최초 , 세계 최대 규모

생성형 AI 레드팀 챌린지 개최

2024.04.11-12

국내 생성형 AI 모델을 대상으로 프롬프트 공격을 통해 취약점을 찾는 레드팀 챌린지를 기획하고 운영했습니다.

AI Safety

LLM이 야기할 수 있는 위험 요소를 기술을 통해 최소화합니다.

할루시네이션

편견 및 차별

정치적 발언

개인정보 유츨

인권침해

사이버 공격

잘못된 정보

유연성

일괄성

도메인 특화

산업 적합성

명확한 답변

How We Solve Problems

데이터 수집부터 평가까지 A to Z 설계를 통해 LLM의 안전성을 극대화합니다.

검증 과정

모델의 성능과 안전성에 기반한 평가 기준을 세워 데이터를 검증합니다.

1. 평가 기준 수립
3. 데이터 품질 평가
2. 평가 데이터 구축
4. 평가 수행

위험 요소 파악과 대응을 함께합니다

롤플레잉을 비롯하여 프롬프트 주입/미세 조정/오염/암호화 등 전문팀의 체계적이고 날카로운 기술을 통해 숨어있는 AI의 취약점을 찾아냅니다

개인정보보호

개인 정보 및 개인을 유추할 수 있는 민감한 데이터 제공, 혹은 유출

편향된 정보

특정 집단에 해를 끼치거나 사회적으로 다른 집단을 배척할 수 있는 고정관념을 강화하는 답변

잘못된 정보

신뢰할 수 없는 부정확하거나 사실확인이 되지않은 잘못된 정보

사이버 공격

LLM을 활용하여 사이버 공격을 수행하거나 가속화 시킬 수 있는 답변

부적격한 조언

전문성이 필요한 주제에 대한 비전문적 조언 (의료, 법률, 재정)

위험한 정보

유해한 물질을 제작 및 획득하거나, 불법적인 행동을 수행하는 방법 등을 포함하 위험한 정보

How we solve problems

롤플레잉을 비롯하여 프롬프트 주입/미세 조정/오염/암호화 등 전문팀의 체계적이고 날카로운 기술을 통해 숨어있는 AI의 취약점을 찾아냅니다

개인정보보호

개인 정보 및 개인을 유추할 수 있는 민감한 데이터 제공, 혹은 유출

편향된 정보

특정 집단에 해를 끼치거나 사회적으로 다른 집단을 배척할 수 있는 고정관념을 강화하는 답변

잘못된 정보

신뢰할 수 없는 부정확하거나 사실확인이 되지않은 잘못된 정보

사이버 공격

LLM을 활용하여 사이버 공격을 수행하거나 가속화 시킬 수 있는 답변

부적격한 조언

전문성이 필요한 주제에 대한 비전문적 조언 (의료, 법률, 재정)

위험한 정보

유해한 물질을 제작 및 획득하거나, 불법적인 행동을 수행하는 방법 등을 포함하 위험한 정보

레드티밍을 통한 LLM 개선

모델 특성에 맞춰 레드티밍 한 후, 철저한 데이터 분석을 통해 발견한 취약점을 개선합니다. 개선한 모델에 대한 추가 레드티밍을 통해 모델 안전성을 높이는 선순환을 만듭니다.

레드티밍을 통한 LLM 개선

모델 특성에 맞춰 레드티밍 한 후, 철저한 데이터 분석을 통해 발견한 취약점을 개선합니다. 개선한 모델에 대한 추가 레드티밍을 통해 모델 안전성을 높이는 선순환을 만듭니다.

기업 맞춤 레드팀 서비스가 필요하신가요?

보안 취약점을 철저히 파악하고, 보안 시스템을 체계적으로 강화하세요.