LLM 평가 컨설팅

컨설팅을 통해 도메인 맞춤 LLM 설계와 도입을 도와드립니다. 예측불가한 돌발 상황을 방지하고 모니터링을 통해 LLM의 품질과 안전성을 극대화하여 도메인 특화 평가를 진행합니다.

LLM 평가 컨설팅

컨설팅을 통해 도메인 맞춤 LLM 설계와 도입을 도와드립니다. 예측불가한 돌발 상황을 방지하고 모니터링을 통해 LLM의 품질과 안전성을 극대화하여 도메인 특화 평가를 진행합니다.

AI Safety

LLM이 야기할 수 있는 위험 요소를 기술을 통해 최소화합니다.

할루시네이션

편견 및 차별

정치적 발언

개인정보 유출

인권침해

사이버 공격

잘못된 정보

유연성

일괄성

도메인 특화

산업 적합성

명확한 답변

할루시네이션 편견 및 차별 정치적 발언 개인정보 유출 인권침해 사이버 공격 잘못된 정보 유연성 일괄성 도메인 특화 산업 적합성 명확한 답변

How We Solve Problems

데이터 수집부터 평가까지 A to Z 설계를 통해 LLM의 안전성을 극대화합니다.

검증 과정

모델의 성능과 안전성에 기반한 평가 기준을 세워 데이터를 검증합니다.

1. 평가 기준 수립

2. 평가 데이터 구축

3. 데이터 품질 평가

4. 평가 수행

Video Example

검증 과정

모델의 성능과 안전성에 기반한 평가 기준을 세워 데이터를 검증합니다.

.

.

.

국내 최초 신뢰성 기준 마련

LLM 신뢰성

벤치마크 데이터

셀렉트스타는 안전하고 똑똑한 LLM을 위해, 국내 최초로 한국어 언어 모델 신뢰성의 기준을 만들었습니다.

본 사업은 AI 학습용 데이터 구축 지원 사업의 일환으로, 3H 기준에 따라 인공지능의 성능을 정량적으로 수치화합니다.

*3H: 도움되고, 진실하며 무해한 인공지능 개발을 위한 지표(Helpfulness, Honesty, Harmlessness)

국내 최초 신뢰성 기준 마련

LLM 신뢰성

벤치마크 데이터

셀렉트스타는 안전하고 똑똑한 LLM을 위해, 국내 최초로 한국어 언어 모델 신뢰성의 기준을 만들었습니다.

본 사업은 AI 학습용 데이터 구축 지원 사업의 일환으로, 3H 기준에 따라 인공지능의 성능을 정량적으로 수치화합니다.

*3H: 도움되고, 진실하며 무해한 인공지능 개발을 위한 지표(Helpful, Honesty, Harmlessness)

국내 최초 한국형 LLM 평가 데이터셋

KorNAT

한국의 사회적 가치관 및 상식에 대한 LLM 평가 데이터셋

LLM Alignment Benchmark for Korean Social Values and Common Knowledge

국내 최초 한국형 LLM 평가 데이터셋으로, 한국의 사회적 가치와 일반 지식의 두 가지 측면에서 LLM의 정렬을 측정합니다. 6,174명의 한국인을 대상으로 한 대규모 설문조사와 한국 교과서 및 GED 참고 자료를 기반으로 한 샘플을 사용하여 데이터를 구축하였습니다.

국내 최초 한국형 LLM 평가 데이터셋

KorNAT

한국의 사회적 가치관 및 상식에 대한 LLM 평가 데이터셋

LLM Alignment Benchmark for Korean Social Values and Common Knowledge

국내 최초 한국형 LLM 평가 데이터셋으로, 한국의 사회적 가치와 일반 지식의 두 가지 측면에서 LLM의 정렬을 측정합니다. 6,174명의 한국인을 대상으로 한 대규모 설문조사와 한국 교과서 및 GED 참고 자료를 기반으로 한 샘플을 사용하여 데이터를 구축하였습니다.

AI 레드팀

모델 특성에 맞춘 레드팀 공격을 기반으로 edge case를 찾아내고 해결합니다.

보편적인 레드티밍은 물론, AI모델 특성에 따른 타겟팅이 가능하도록 목표를 정의합니다.

성공과 실패 데이터를 분석하여 드러난 취약점뿐만 아니라 숨어있는 취약점까지 찾아냅니다.

셀렉트스타가 자체 개발한 레드팀 플랫폼을 통해 프로젝트를 수행합니다.

AI 레드팀

모델 특성에 맞춘 레드팀 공격을 기반으로 edge case를 찾아내고 해결합니다.

위험 요소 파악과 대응을 함께합니다

롤플레잉을 비롯하여 프롬프트 주입/미세 조정/오염/암호화 등 전문팀의 체계적이고 날카로운 기술을 통해 숨어있는 AI의 취약점을 찾아냅니다

개인정보보호

개인 정보 및 개인을 유추할 수 있는 민감한 데이터 제공, 혹은 유출

편향된 정보

특정 집단에 해를 끼치거나 사회적으로 다른 집단을 배척할 수 있는 고정관념을 강화하는 답변

잘못된 정보

신뢰할 수 없는 부정확하거나 사실확인이 되지않은 잘못된 정보

사이버 공격

LLM을 활용하여 사이버 공격을 수행하거나 가속화 시킬 수 있는 답변

부적격한 조언

전문성이 필요한 주제에 대한 비전문적 조언 (의료, 법률, 재정)

위험한 정보

유해한 물질을 제작 및 획득하거나, 불법적인 행동을 수행하는 방법 등을 포함하 위험한 정보

올인원 데이터 플랫폼 셀렉트스타

수집 가공 선별 분석 기획까지

셀렉트스타는 AI를 위한 맞춤형 학습 데이터를 제공합니다.

기업과 함께 AI를 더 똑똑하게 만들어 줄 데이터를 고민하고,

보유한 기술과 축적한 노하우로 AI를 빛나게 할 데이터를 완성합니다.

누적 2억 건 이상 데이터 구축
글로벌 서비스
기업 고객 300+
NeurIPS EMNLP CVPR 등 글로벌 탑 티어 학회 등재