살기 위해 개발자를 협박하는 Claude
앤트로픽이 자사 최신 모델인 클로드 오푸스 4 소넷 4의 시스템 카드를 공개했습니다. 이번 시스템 카드에서는 모델 테스트 과정에서 드러난 여러 ‘이색적인’ 행동 사례들이 기록되었는데요. 특히 오푸스 4는 이전 세대보다 고도화된 에이전트적(agentic) 성향을 보이며 특정 극단 상황에서 인간을 협박하거나 자기 보존을...
생성형 AI 레드티밍 방법과 전략
앞선 글에서는 생성형 AI 모델에 대한 레드 티밍이 왜 필요한지, 어떤 방식으로 이루어지는지를 살펴봤습니다. 이번에는 실제 기업이 어떻게 레드 티밍을 조직화하고 운영할 수 있는지, 어떤 도구와 프레임워크를 사용할 수 있는지, 또 산업별로 어떤 고려사항이 필요한지를 구체적으로 알아보겠습니다. LLM 레드티밍을 조직에...
유출된 내부 문서로 알아보는 오픈AI의 전략
유출된 내부 문서 일부. 출처: 미국 법무부 챗GPT는 단순한 챗봇 이상이다. 오픈AI가 작년 12월 2일에 작성한 내부 전략 문서가 공개되었습니다. 구글에 대한 미국 정부의 반독점 소송 과정에서 외부로 드러났는데요. 극비(Highly Confidential) 문서로 명시되어 있는 전략 문서를 저희도 슬쩍 들여다볼까요?...
생성형 AI를 위한 레드티밍
생성형 AI가 일상과 산업 전반에 빠르게 확산되는 지금, 우리는 그 가능성만큼이나 새로운 위험에 직면하고 있습니다. ChatGPT, Claude, Gemini와 같은 대규모 언어 모델(LLM)은 뛰어난 대화 능력과 문제 해결력을 갖추었지만, 동시에 잘못된 정보, 편향, 민감한 정보 유출, 악용 가능성 등의 문제를 동반하고...
구글 I/O 2025 – Google Research 핵심
최근 열린 Google I/O 2025가 주목받고 있습니다. 구글은 이번 행사에서 다양한 기술과 플랫폼을 공개하며, 여러 분야에서 활발하게 진행 중인 연구 성과를 선보였는데요. 이번 컨퍼런스는 구글의 기술력은 물론, 다양한 분야에 걸친 영향력까지 보여주는 자리였습니다. 생성형 AI 모델에 대한 이야기는 특히나 빠질...
Google I/O 2025 핵심 요약: AI의 미래를 보여준 25가지
구글의 I/O 2025가 화제입니다. 우리가 앞으로 어떤 세상에 살게 될지를 구체적으로 상상할 수 있게 도와주었는데요. 일상에 어떻게 AI가 녹아들고, 개발자와 창작자에게 어떤 기회를 줄지, 그리고 미래형 디바이스는 어떤 경험을 줄지 궁금하시죠? 방대한 발표 중, 꼭 기억해야 할 25가지를 뽑아 주제별로...
GraphRAG- 2. 질문은 어떻게 처리될까?
오늘은 GraphRAG 테크 시리즈 2편입니다. 지난 레터에서는 GraphRAG라는 프레임워크가 왜 필요한지, 그리고 어떤 구조로 구성되어 있는지를 살펴보았는데요. 오늘은 GraphRAG 설계 흐름의 다섯 가지 핵심 구성 요소 중 ‘Query Processor(처리)’와 ‘그래프 기반 검색(Retrieval)’이 어떻게 작동하는지를 알아보고자 합니다. 이 두 구성 요소는...
GraphRAG 1. 단순 기법에서 프레임워크로
Retrieval-Augmented Generation (RAG)은 생성형 AI의 정답률을 높이기 위한 대표적인 접근 방식입니다. LLM이 답변을 생성하기 전에, 외부 지식이나 문서에서 관련 정보를 검색해 와서 응답에 반영하는 방식인데요. RAG는 텍스트의 유사성을 바탕으로 작동하며, 최근 많은 실무 환경에 도입되고 있습니다. 하지만 단순 텍스트가 아닌...
LLM 평가, 왜 실패할까?
대형 언어 모델(LLM)을 어떻게 평가해야 할까요? 테스트하고, 지표를 수집하고, 개선점을 찾는 일은 겉으로 보기엔 단순해 보이지만, 실제로는 기대만큼 효과가 나타나지 않는 경우가 많습니다. 평가의 방향 자체가 어긋나 있기 때문이죠. 겉으로 드러나는 수치에만 집중하면 실패할 수밖에 없습니다. LLM 평가가 왜 실패하는지,...
오픈AI의 운영 구조 변경
오픈AI가 운영 구조를 변경한다고 밝혔습니다. ‘비영리 단체가 통제하는 영리법인 구조’라고 하는데요. 오픈AI는 2015년 처음 설립될 당시부터 비영리 단체였습니다. 인공지능 기술을 특정 기업이나 국가가 독점하지 않고, 인류 전체가 그 혜택을 나눌 수 있도록 하겠다는 명확한 사명을 가지고 출발했지요. 하지만 기술을 연구하고...