벤치마크
맞춤형 LLM 평가 벤치마크 체계 및 데이터셋 구축
고객
분야
유형
고객
분야
유형
실무 시나리오 기반 약 20,000건 규모의 데이터 구축 및 성능 검증 체계 수립
실무 시나리오 기반 20,000건+ 규모의 데이터 구축 및 성능 검증 체계 수립
AI평가데이터
LLM 평가
LLM 평가
RAG평가
업무시나리오
태스크설계
평가프레임워크
업무 시나리오 기반 평가 체계 설계
고객사 실제 업무 환경과 활용 시나리오를 반영해 범용 벤치마크를 넘어선 맞춤형 LLM 평가 체계 구축
태스크 기반 평가 데이터셋 구축
지식, 추론, 생성, 요약, RAG 등 다양한 업무 태스크를 포괄하는 고객사 맞춤형 평가 데이터셋 20,000건+ 구축
다층 평가 프레임워크 구현
정량 지표와 LLM Judge 기반 평가 방식을 결합해 모델 성능을 비교 검증할 수 있는 평가 프레임워크 마련
업무 시나리오 기반 평가 체계 설계
고객사 실제 업무 환경과 활용 시나리오를 반영해 범용 벤치마크를 넘어선 맞춤형 LLM 평가 체계 구축
태스크 기반 평가 데이터셋 구축
지식, 추론, 생성, 요약, RAG 등 다양한 업무 태스크를 포괄하는 고객사 맞춤형 평가 데이터셋 20,000 건+ 구축
다층 평가 프레임워크 구현
정량 지표와 LLM Judge 기반 평가 방식을 결합해 모델 성능을 비교·검증할 수 있는 평가 프레임워크 마련
범용 벤치마크만으로는 고객사 내부 업무 환경에서의 실제 활용 성능을 정밀하게 검증하기 어려운 한계
범용 벤치마크만으로는 고객사 내부 업무 환경에서의 실제 활용 성능을 정밀하게 검증하기 어려운 한계
실제 업무 시나리오를 반영한 평가 태스크와 기준 부족으로 인한 모델 업무 적합성의 객관적 측정 한계
실제 업무 시나리오를 반영한 평가 태스크와 기준 부족으로 인한 모델 업무 적합성의 객관적 측정 한계
지식, 추론, 생성, 요약, RAG 등 LLM의 다양한 능력을 통합적으로 평가할 수 있는 체계의 필요
지식, 추론, 생성, 요약, RAG 등 LLM의 다양한 능력을 통합적으로 평가할 수 있는 체계의 필요
{
//…(이전 메타데이터 생략)
…
"evaluation_metrics": [
{
"name": "Accuracy",
"description": "정답 일치도"
}
],
"evaluation_rubric_id": "SEL-RUBRIC-V1",
"security_level": "공개"
},
"items": [
{
"item_id": "9001",
"difficulty": "중",
"turns": [
{
"turn_id": "turn_1",
"prompt": "주어진 질문에 대한 코드와 답을 제시하시오.\n\n단계적으로 생각하되, 최종 답의 마지막 줄은 아래 형식으로 출력하시오. \n- 출력 형식(마지막 줄 고정): 정답은 [x1] 입니다. \n- 출력 예시: 정답은 [\"10.5\"] 입니다.",
"context": "다음은 2022년 지역별 매출 데이터이다 (단위: 백만 달러).\n\n| 지역 | 매출 |\n| --- | --- |\n| 북미 | 520 |\n| 유럽 | 340 |\n| 아시아 | 260 |\n| 남미 | 80 |\n| 기타 | 40 |\n\n총 매출은 1,240 백만 달러이다.",
"question": "전체 매출 대비 유럽과 아시아 매출의 합이 차지하는 비율은 얼마인가?",
"answer": [
"0.4838709677"
],
"program": "유럽 = 340 아시아 = 260 총매출 = 1240 합계 = 유럽 + 아시아 비율 = 합계 / 총매출 answer = 비율"
}
]
}
]
} 내부 업무 환경에 적합한 LLM의 성능과 활용 가능성 검증
출시 전 단계에서 모델 품질 수준을 점검하고 개선 과제 도출
후보 모델 간 성능 비교와 고객 맞춤형 평가 체계 수립에 활용
내부 업무 환경에 적합한 LLM의 성능과 활용 가능성 검증
출시 전 단계에서 모델 품질 수준을 점검하고 개선 과제 도출
후보 모델 간 성능 비교와 고객 맞춤형 평가 체계 수립에 활용
외 다양한 사례에 적용 가능합니다.
