① 출시 전 리스크 점검

AI 서비스를 실제 사용자에게 제공하기 전에
운영 환경에서 발생할 수 있는 시스템 및 비즈니스 리스크를 확인합니다.
출시 이후 문제가 발생한 뒤 대응하기보다,

서비스 설계가 어느 정도 구체화된 단계부터 평가를 시작해 개선할 시간을 확보하는 것이 중요합니다.

• 서비스 품질 및 환각 점검:
  AI가 사실과 다른 내용을 답하거나 문맥과 맞지 않는 답변을 생성하는지 평가합니다.
• 보안 및 적대적 공격 점검:
  프롬프트 인젝션, 탈옥, 민감정보 유출 등 악의적인 사용 시나리오에서
  취약점이 발생하는지 확인합니다.
• 브랜드 및 비즈니스 리스크 점검:
  유해 콘텐츠, 편향된 발언, 잘못된 비즈니스 정보 등으로 인해
  발생할 수 있는 서비스 신뢰도 저하와 비즈니스 리스크를 점검합니다.

② 규제 및 거버넌스 대응

AI 서비스의 위험을 어떤 항목과 기준으로 평가했는지 기록하고 정리하면
조직의 AI 거버넌스와 위험 관리 과정에서 활용할 수 있는 근거를 마련할 수 있습니다.

• 위험 기반 평가:
  서비스에서 중요하게 관리해야 하는 위험 요소를 정의하고
  이에 맞는 평가 기준과 데이터를 마련할 수 있습니다.
• 평가 결과 기록:
  평가 항목과 결과를 정량·정성 데이터로 관리해
  내부 검토와 위험 관리에 활용할 수 있습니다.
• 산업별 요구사항 검토:
  금융, 공공 등 산업과 서비스 특성에 따라 필요한 평가 범위를
  프로젝트 협의 과정에서 구체화할 수 있습니다.

※ 적용되는 법령·규제·표준과 세부 요구사항은 서비스 유형,
산업 및 프로젝트 범위에 따라 달라질 수 있으며,
구체적인 대응 범위는 프로젝트 협의 과정에서 확인합니다.

③ 내부 승인 및 의사결정

서비스 출시를 앞두면 경영진, 보안, 리스크 관리 등 여러 이해관계자가
AI 서비스를 실제 사용자에게 제공해도 되는지 판단해야 합니다.
이때 감이나 주관적인 판단이 아니라

어떤 항목을 어떤 기준으로 검증했는지 보여주는 평가 결과
가 의사결정의 근거가 될 수 있습니다.

• 데이터 기반 의사결정:
  정확성, 근거성, 안전성 등 서비스에 필요한 지표를 활용해
  현재 품질 수준을 확인할 수 있습니다.
• 한계와 리스크 가시화:
  현재 AI 서비스의 성능과 한계를 문서화해
  추가 개선이 필요한 영역을 파악할 수 있습니다.
• 출시 기준 마련:
  서비스에 필요한 평가 기준과 목표 수준을 정하고
  출시 여부를 판단하는 내부 기준으로 활용할 수 있습니다.

LLM·생성형 AI 신뢰성 평가가 필요한 이유 자세히 보기 ↗

평가 지원 모델 범위

• 상용 API 기반 모델
• 국내·외 오픈소스 모델
• 멀티모달 및 도메인 특화 모델

단일 LLM API부터 DB·외부 API와 연결된 RAG 시스템,
멀티턴 챗봇, Tool을 호출하는 AI Agent 등 실제 서비스 단위의 평가도 검토할 수 있습니다.

① LLM 평가

• 기본 품질 및 성능:
  요약, 분류, 질의응답, 논리 추론 정밀도 등
• Safety & Moderation:
  유해성, 편향성, 법적·개인정보 관련 리스크 등
• 자동 평가 및 Benchmark:
  Judge Prompt 등을 활용한 대규모 반복 평가와 정량 지표 산출

② RAG 평가

• Claim 단위 사실성 검증:
  생성된 응답을 세부 지식 단위로 나눠 환각 여부를 확인합니다.
• Retriever 성능:
  사용자 질문에 적합한 Context를 정확히 가져왔는지 평가합니다.
• Generator 성능:
  검색된 문맥에 근거해 답변했는지와 사용자 의도 부합성을 평가합니다.
• 평가 데이터 생성:
  보유 문서를 활용해 평가용 Query와 Expected Response 데이터를 구성할 수 있습니다.

③ AI Agent 및 서비스 평가

• Multi-Turn 및 시나리오 평가:
  연속 대화의 문맥 유지, Tone & Manner, 목적 달성 여부 등을 평가합니다.
• Red Teaming:
  Prompt Injection, Jailbreak 등 서비스의 안전 정책을 우회하려는 공격 시나리오를 검증합니다.
• Human in the Loop:
  자동 지표만으로 평가하기 어려운 항목을 전문가·사용자 관점의 Rubric 기반으로 함께 검토할 수 있습니다.

서비스에 따라 평가 방법을 설계합니다

표준화된 체크리스트를 동일하게 적용하기보다,
고객사가 어떤 데이터를 다루고 어떤 사용자 접점을 가지고 있는지,
어떤 리스크가 중요한지를 먼저 파악한 뒤 서비스 구조에 맞는 평가 항목과 시나리오를 설계합니다.
운영 환경을 초기에 공유해주시면 평가 범위와 방식을 구체적으로 제안할 수 있습니다.

DATUMO Eval 평가 기능 자세히 보기 ↗

① 상세 평가 결과

• 종합 성과 확인:
  Groundedness, Context Relevance, Safety 등 주요 지표와 모델 간 성능을 비교할 수 있습니다.
• 평가 과정 및 판정 근거:
  사용자 Query, Retriever Context, 생성 응답, 평가 결과와 판정 사유 등을 세부적으로 확인할 수 있습니다.
• Claim 단위 오류 분석:
  생성 답변의 어떤 부분에서 오류나 근거 불일치가 발생했는지 확인할 수 있습니다.
• 결과 데이터 활용:
  필요에 따라 결과 데이터를 추가 분석이나 내부 모니터링에 활용할 수 있습니다.

② 개선이 필요한 구간 진단

단순히 하나의 점수만 확인하는 것이 아니라,
문제가 어느 단계에서 발생했는지 분석할 수 있습니다.

• RAG 병목 진단:
  Retriever의 검색 문제인지 Generator의 환각인지 등 오류가 발생한 구간을 분리해 확인합니다.
• 프롬프트 및 지시 이행 분석:
  Guardrail 우회, 지시 미이행 등 반복적인 실패 케이스를 확인할 수 있습니다.
• 추가 개선 컨설팅:
  필요 시 검색 방식이나 데이터셋 보강 등 개선 영역에 대한 전문 컨설팅을 별도로 검토할 수 있습니다.

③ 내부 보고 및 의사결정 자료

복잡한 기술 지표를 정량적인 결과로 정리해
AI 서비스의 상용화 준비도, 주요 리스크, 안전성 대응 수준 등을 내부에서 확인할 수 있습니다.
프로젝트 목적에 따라 내부 보고나 의사결정에 활용하기 위한 결과 자료 구성도 협의할 수 있습니다.

DATUMO Eval 평가 방식 자세히 보기 ↗

서비스 유형에 맞게 평가 범위를 설계합니다

동일한 모델을 사용하더라도 실제 서비스 구조와 다루는 데이터,
사용자 접점에 따라 중요한 리스크가 달라질 수 있습니다.
따라서 표준화된 체크리스트를 동일하게 적용하기보다

서비스 구조와 운영 환경을 먼저 파악한 뒤 필요한 평가 항목과 시나리오를 설계합니다.

온프레미스로 운영하는 sLM이나 외부 LLM API를 활용하는 서비스 등
운영 환경에 대해서도 초기 상담에서 확인한 후
구체적인 평가 범위와 방식을 제안합니다.

LLM 평가

• 기본 품질 및 성능:
  요약, 분류, 질의응답, 논리적 추론 등 모델의 기본 성능을 평가합니다.
• 안전성:
  유해성, 편향성, 개인정보 및 민감정보 노출 등
  서비스에서 발생할 수 있는 안전성 리스크를 점검합니다.
• 자동 평가 및 정량화:
  평가 기준에 따라 반복적인 평가를 수행하고
  결과를 정량적으로 비교·분석할 수 있습니다.

RAG 평가

• 검색 품질:
  사용자의 질문에 대해 Retriever가 관련 문맥을 적절하게 가져오는지 평가합니다.
• 답변 근거성:
  검색된 문맥을 기반으로 답변이 생성됐는지,
  근거 없이 생성된 내용이나 환각이 있는지 확인합니다.
• 답변 관련성:
  생성된 답변이 사용자의 질문과 의도에 적절하게 부합하는지 평가합니다.
• 평가 데이터 구축:
  서비스에 필요한 질문과 기대 응답 등
  평가에 활용할 데이터셋을 구성할 수 있습니다.

AI Agent 및 서비스 평가

• Multi-Turn 및 시나리오 평가:
  연속적인 대화에서 문맥을 유지하는지,
  답변 스타일과 목적 달성 여부 등을 평가할 수 있습니다.
• Red Teaming:
  프롬프트 공격, 탈옥 등 적대적인 시나리오를 활용해
  서비스의 안전성 취약점을 점검할 수 있습니다.
• Human-in-the-Loop:
  자동 지표만으로 판단하기 어려운 항목은
  전문가 또는 사용자 관점의 평가 기준을 활용해 검토할 수 있습니다.