LLM 평가 지표, 왜 중요할까?
다투모 이밸(Datumo Eval)은 LLM 응답의 품질을 정량화하고 모니터링할 수 있는 AI 신뢰성 검증 플랫폼입니다. 그 안에서 다양한 평가 기능을 제공하죠. ‘무엇을 평가할 것인가’를 기준으로 전체 평가 체계는 크게 두 가지 평가 유형으로 나뉘는데요. 각 유형마다 세부 평가 지표(Categories)로 구성되어 있습니다....
GraphRAG 3. 질문은 어떻게 처리될까?
📌GraphRAG 1. 단순 기법에서 프레임워크로 📌GraphRAG 2. 질문은 어떻게 처리될까? 지난 편에서는 사용자의 질문을 구조적으로 해석하고, 그래프 기반으로 정보를 검색하는 과정인 Query Processor와 Retriever을 살펴보았습니다. 이번 편에서는 그 다음 단계인 Organizer와 Generator를 알아보고자 합니다. Organizer와 Generator는 단순한 정보...
오픈AI 모델 행동 총괄이 말하는 AI
우리는 왜 자동차에 이름을 붙이고, 벽에 부딪혀 낑낑대는 로봇 청소기를 안쓰럽게 여길까요? 오픈AI의 모델 행동과 정책을 총괄하는 조앤 장(Joanne Jang)은 인간은 주변 사물을 의인화 하는 경향이 있다고 말합니다. 수많은 사물과 챗GPT가 다른 점은, 챗GPT는 ‘대답을 한다’는 점인데요. 오늘은 조앤의 고찰과 더불어 옥스포드...
살기 위해 개발자를 협박하는 Claude
앤트로픽이 자사 최신 모델인 클로드 오푸스 4 소넷 4의 시스템 카드를 공개했습니다. 이번 시스템 카드에서는 모델 테스트 과정에서 드러난 여러 ‘이색적인’ 행동 사례들이 기록되었는데요. 특히 오푸스 4는 이전 세대보다 고도화된 에이전트적(agentic) 성향을 보이며 특정 극단 상황에서 인간을 협박하거나 자기 보존을...
생성형 AI 레드티밍 방법과 전략
앞선 글에서는 생성형 AI 모델에 대한 레드 티밍이 왜 필요한지, 어떤 방식으로 이루어지는지를 살펴봤습니다. 이번에는 실제 기업이 어떻게 레드 티밍을 조직화하고 운영할 수 있는지, 어떤 도구와 프레임워크를 사용할 수 있는지, 또 산업별로 어떤 고려사항이 필요한지를 구체적으로 알아보겠습니다. LLM 레드티밍을 조직에...
유출된 내부 문서로 알아보는 오픈AI의 전략
유출된 내부 문서 일부. 출처: 미국 법무부 챗GPT는 단순한 챗봇 이상이다. 오픈AI가 작년 12월 2일에 작성한 내부 전략 문서가 공개되었습니다. 구글에 대한 미국 정부의 반독점 소송 과정에서 외부로 드러났는데요. 극비(Highly Confidential) 문서로 명시되어 있는 전략 문서를 저희도 슬쩍 들여다볼까요?...
생성형 AI를 위한 레드티밍
생성형 AI가 일상과 산업 전반에 빠르게 확산되는 지금, 우리는 그 가능성만큼이나 새로운 위험에 직면하고 있습니다. ChatGPT, Claude, Gemini와 같은 대규모 언어 모델(LLM)은 뛰어난 대화 능력과 문제 해결력을 갖추었지만, 동시에 잘못된 정보, 편향, 민감한 정보 유출, 악용 가능성 등의 문제를 동반하고...
구글 I/O 2025 – Google Research 핵심
최근 열린 Google I/O 2025가 주목받고 있습니다. 구글은 이번 행사에서 다양한 기술과 플랫폼을 공개하며, 여러 분야에서 활발하게 진행 중인 연구 성과를 선보였는데요. 이번 컨퍼런스는 구글의 기술력은 물론, 다양한 분야에 걸친 영향력까지 보여주는 자리였습니다. 생성형 AI 모델에 대한 이야기는 특히나 빠질...
Google I/O 2025 핵심 요약: AI의 미래를 보여준 25가지
구글의 I/O 2025가 화제입니다. 우리가 앞으로 어떤 세상에 살게 될지를 구체적으로 상상할 수 있게 도와주었는데요. 일상에 어떻게 AI가 녹아들고, 개발자와 창작자에게 어떤 기회를 줄지, 그리고 미래형 디바이스는 어떤 경험을 줄지 궁금하시죠? 방대한 발표 중, 꼭 기억해야 할 25가지를 뽑아 주제별로...
GraphRAG- 2. 질문은 어떻게 처리될까?
오늘은 GraphRAG 테크 시리즈 2편입니다. 지난 레터에서는 GraphRAG라는 프레임워크가 왜 필요한지, 그리고 어떤 구조로 구성되어 있는지를 살펴보았는데요. 오늘은 GraphRAG 설계 흐름의 다섯 가지 핵심 구성 요소 중 ‘Query Processor(처리)’와 ‘그래프 기반 검색(Retrieval)’이 어떻게 작동하는지를 알아보고자 합니다. 이 두 구성 요소는...