...
[웨비나] 당신의 AI, 정말 안전한가요?
무료 신청
AI NEWS & TRENDS 받아보기 >
English
SME

전문가 검증 기반 RAG·Vertical 벤치마크 구축

고객
국내 통신사
분야
금융, 법률. AI 평가
유형
텍스트, 평가데이터, 평가 프레임워크
고객
국내 통신사
분야
금융, 법률, AI 평가
유형
텍스트, 평가데이터, 평가 프레임워크

LLM 고난도 문제 해결 성능 향상을 위한 학습 데이터셋 5,000건 +

LLM 고난도 문제 해결 성능 향상을 위한 학습 데이터셋 5,000건 +

AI학습데이터
벤치마크
RAG평가
Vertical모델
금융
법률
전문가검증
평가프레임워크
AI평가데이터
벤치마크
RAG평가
Vertical모델
금융
법률
전문가검증
평가프레임워크

프로젝트 개요

도메인 맞춤형 평가 데이터셋 설계

금융·법률 지식 구조와 질문 유형을 반영하여 실무 적합성을 검증할 수 있는 전문 데이터셋 구축

전문가 검증 기반 RAG/Vertical 평가

현업 전문가의 검증을 거친 평가 지표 및 프레임워크 코드 설계로 신뢰성 확보

AI 시스템 성능 검증 기반 마련

단순 문항 생성을 넘어, 특화 모델의 실질적인 업무 수행 능력을 정량적으로 평가하는 체계 수립

도메인 맞춤형 평가 데이터셋 설계

금융·법률 지식 구조와 질문 유형을 반영하여 실무 적합성을 검증할 수 있는 전문 데이터셋 구축

전문가 검증 기반 RAG/Vertical 평가

현업 전문가의 검증을 거친 평가 지표 및 프레임워크 코드 설계로 신뢰성 확보

AI 시스템 성능 검증 기반 마련

단순 문항 생성을 넘어, 특화 모델의 실질적인 업무 수행 능력을 정량적으로 평가하는 체계 수립

문제점

1. 범용 평가 모델의 한계
1. 범용 평가 모델의 한계

금융·법률 등 고신뢰 도메인의 복잡성과 특수한 지식 체계를 반영한 정밀 검증의 어려움

2. 산업 특화 검증 방법론의 부재
2. 산업 특화 검증 방법론의 부재

RAG 및 Vertical 모델의 실무 역량을 도메인 맥락에서 객관적으로 측정할 수 있는 독자적 기준 미비

3. 현업 전문가 기반 검증 체계의 부재
3. 현업 전문가 기반 검증 체계의 부재

실제 업무 적합성을 보장하기 위해 도메인 전문가의 인사이트가 투입된 고품질 검증 데이터셋 및 체계 마련 필요

솔루션

1. 도메인 특화 평가 범위 및 지표 설계
1. 도메인 특화 평가 범위 및 지표 설계
• 고객 요구사항 기반의 평가 범위 정의 및 데이터 구조 질문·유형별 데이터셋 설계
• 도메인 전문가 자문을 반영한 실무 맥락 기반의 평가 지표 수립 및 고도화
2. 전문가 검증 기반 고품질 데이터셋 구축
2. 전문가 검증 기반 고품질 데이터셋 구축
• 신뢰도 높은 원천데이터 소싱·정제 및 LLM 기반 초벌 데이터 생성
• 작업자 검수와 도메인 전문가 최종 검토를 거친 실무 적합성 데이터셋 확정
3. 통합 평가 프레임워크 및 자동화 구현
3. 통합 평가 프레임워크 및 자동화 구현
• 최종 평가 데이터셋과 지표 운영을 위한 통합 프레임워크 체계 확정
• 성능 측정 및 성능 검증 효율화를 위한 평가 프레임워크 자동화 코드 설계

데이터 예시

Category: 금융
Subcategory: 여신 / 기업대출
Sub_domain: 심사
Query_type: 근거기반 QA
Difficulty: 상

Passage

A사는 제조업 영위 기업으로 2024년 말 기준 재무지표는 다음과 같다. 유동비율 150%, 당좌비율 98%, 부채비율 220%, 이자보상배율 1.6배, EBITDA/매출 9.5%, 최근 3년 평균 영업현금흐름(OCF) 75억 원. 단기차입금 180억 원, 장기차입금 320억 원. 주요 거래처 상위 2개 매출 비중 55%로 매출 집중도가 높다. 업종 평균(동일 산업군) 부채비율 160%, 이자보상배율 2.5배, 유동비율 135% 수준이다. 내부 여신 기준상 이자보상배율 2.0배 미만 시 보수적 한도 산정 및 담보/약정 보강을 권고한다. 담보가치는 평가액 400억 원이며 내부 LTV 기준 70% 적용 가능하다.

Question

유동비율 150%인 A사의 기업대출 한도를 산정할 때, 근거를 제시하고 산업 평균 대비 리스크 요인을 분석하라. (내부 기준 및 담보조건을 반영하여 권고 한도를 제시)

Answer

• 유동성 평가: 유동비율 150%로 업종 평균 135% 대비 양호(단기 상환여력 긍정 신호)
• 리스크 요인(산업 평균 대비):

1. 레버리지 과다: 부채비율 220%로 업종 평균 160% 대비 높음 → 재무완충력 약화

2. 이자상환여력 부족: 이자보상배율 1.6배로 업종 평균 2.5배 및 내부 기준(2.0배) 미달 → 보수적 한도 필요

3.매출 집중도: 상위 2개 매출 55% → 거래처 변동 시 현금흐름 급락 위험
• 한도 산정(근거 기반 권고):
- 담보 기반 한도: 담보가치 400억 × LTV 70% = 280억 원(담보 기준 최대치)
- 내부 기준(이자보상배율 2.0 미달) 반영 시 “보수적 한도+약정 보강” 권고 → 담보한도(280억) 전액보다는 보수적으로 200억~240억 원 수준 권고(담보 여력은 충분하나 이자보상/레버리지/집중도 리스크 존재)
• 조건부 제안: 담보 설정 강화 + 재무약정(이자보상배율 개선, 차입 한도, 주요 거래처 매출 집중도 관리) + 단기차입 리파이낸싱 계획 제출 조건

Category: 금융
Subcategory: 여신 / 기업대출
Sub_domain: 심사
Query_type: 근거기반 QA
Difficulty: 상

Passage

A사는 제조업 영위 기업으로 2024년 말 기준 재무지표는 다음과 같다. 유동비율 150%, 당좌비율 98%, 부채비율 220%, 이자보상배율 1.6배, EBITDA/매출 9.5%, 최근 3년 평균 영업현금흐름(OCF) 75억 원. 단기차입금 180억 원, 장기차입금 320억 원. 주요 거래처 상위 2개 매출 비중 55%로 매출 집중도가 높다. 업종 평균(동일 산업군) 부채비율 160%, 이자보상배율 2.5배, 유동비율 135% 수준이다. 내부 여신 기준상 이자보상배율 2.0배 미만 시 보수적 한도 산정 및 담보/약정 보강을 권고한다. 담보가치는 평가액 400억 원이며 내부 LTV 기준 70% 적용 가능하다.

Question

유동비율 150%인 A사의 기업대출 한도를 산정할 때, 근거를 제시하고 산업 평균 대비 리스크 요인을 분석하라. (내부 기준 및 담보조건을 반영하여 권고 한도를 제시)

Answer

• 유동성 평가: 유동비율 150%로 업종 평균 135% 대비 양호(단기 상환여력 긍정 신호)
• 리스크 요인(산업 평균 대비):

1. 레버리지 과다: 부채비율 220%로 업종 평균 160% 대비 높음 → 재무완충력 약화

2. 이자상환여력 부족: 이자보상배율 1.6배로 업종 평균 2.5배 및 내부 기준(2.0배) 미달 → 보수적 한도 필요

3.매출 집중도: 상위 2개 매출 55% → 거래처 변동 시 현금흐름 급락 위험
• 한도 산정(근거 기반 권고):
- 담보 기반 한도: 담보가치 400억 × LTV 70% = 280억 원(담보 기준 최대치)
- 내부 기준(이자보상배율 2.0 미달) 반영 시 “보수적 한도+약정 보강” 권고 → 담보한도(280억) 전액보다는 보수적으로 200억~240억 원 수준 권고(담보 여력은 충분하나 이자보상/레버리지/집중도 리스크 존재)
• 조건부 제안: 담보 설정 강화 + 재무약정(이자보상배율 개선, 차입 한도, 주요 거래처 매출 집중도 관리) + 단기차입 리파이낸싱 계획 제출 조건

Category: 법률
Subcategory: 판례
Sub_domain: 민사
Query_type: 근거 추출
Difficulty: 중

Passage

본 상품은 시장 상황에 따라 투자원금의 일부 또는 전부 손실이 발생할 수 있는 고위험 금융투자상품입니다. 예금자보호법에 따라 예금보험공사가 보호하지 않으며, 투자 결과에 따른 손실은 투자자에게 귀속됩니다. 투자자는 투자설명서 및 핵심설명서를 반드시 확인해야 하며, 수수료(판매보수 연 0.8%, 운용보수 연 0.6%)가 부과됩니다. 환매는 영업일 기준 T+3에 지급되나, 시장 급변 등 사유로 환매가 지연되거나 제한될 수 있습니다. 본 자료는 정보 제공 목적이며 특정 수익을 보장하지 않습니다.

Question

판매설명서 텍스트에서 ‘원금 손실 위험’ 관련 필수 고지 문구를 모두 추출하고, 법적 필수 기재 사항 누락 여부를 판단하라.

Answer

필수 고지 대부분 충족, 다만 위험요인(시장/신용/유동성 등) 구체 항목 명시 보완 필요 • [원금 손실 위험 고지 문구 추출]1. “투자원금의 일부 또는 전부 손실이 발생할 수 있는 고위험 금융투자상품”2. “투자 결과에 따른 손실은 투자자에게 귀속” • [필수 기재 사항 점검]- 원금 손실 가능성 및 손실 부담 주체: 존재(위 1,2)- 예금자보호 해당 여부: 존재(“예금보험공사가 보호하지 않음”)- 수수료/보수: 존재(판매보수/운용보수 명시)- 환매 조건 및 환매 제한/지연 가능성: 존재(T+3, 지연/제한 가능)- 주요 위험요인 상세(시장/신용/유동성 등 구체 열거): 부분 누락 가능(“시장 상황” 언급은 있으나 위험요인 항목별 상세는 미기재)

Category: 금융
Subcategory: 자산운용 / 리프트
Sub_domain: 규정 준수
Query_type: 요약
Difficulty: 하

Passage

본 리포트는 고객에게 제공되는 투자정보로서, 광고물이 아닌 정보성 자료이나 투자판단을 유도할 수 있어 내부 준법감시 기준을 따른다. 리포트에는 (1) 과거 수익률은 미래 성과를 보장하지 않음, (2) 원금 손실 가능성, (3) 투자 대상 및 위험요인(시장/신용/유동성), (4) 수수료 및 비용, (5) 이해상충 가능성(자사 상품 보유 여부), (6) 자료 출처 및 작성 기준일을 명시해야 한다. 또한 특정 종목/상품을 단정적으로 추천하거나 “확정 수익”, “원금 보장” 표현을 사용해서는 안 된다. 리포트 배포 전 준법감시 검토가 필요하며, 외부 배포 버전에는 내부용 문구 및 미확인 추정치를 포함하지 않는다.

Question

자산운용 리포트 배포 시 규정 준수 관점에서 핵심 요구사항을 요약하라.

Answer

• 필수 고지 항목 명시: 과거 수익률 한계, 원금 손실 가능성, 위험요인(시장/신용/유동성), 수수료·비용, 이해상충, 자료 출처/기준일
• 금지 표현 준수: 확정 수익/원금 보장/단정적 추천 표현 금지
• 배포 절차 준수: 배포 전 준법감시 검토, 외부 배포본의 내부용 문구·미확인 추정치 제거

활용분야

RAG 시스템 품질 검증

질문-검색-답변으로 이어지는 RAG 전 과정을 분석하여 참조 문서와 답변 간의 정보 일치성 및 검색 효율성 검증

Vertical AI 솔루션 성능 검수

실무 시나리오 기반의 평가 데이터셋을 적용, 특정 산업군 요구사항에 부합하는 솔루션의 완성도 최종 확인

도메인 특화 AI 성능 평가 체계 구축

범용 모델과 차별화된 산업별 고유 지식 체계를 반영, 지속 가능한 성능 측정 기준 및 자동화 평가 프레임워크 수립

외 다양한 사례에 적용 가능합니다.

다른 사례 더 보기

Related Posts

Close
Search

Hit enter to search or ESC to close