안전한 AI를 만들기 위해 앞장서는 앤트로픽이 AI 사용 정책을 업데이트했습니다. 현지 시간 기준으로 2025년 9월 16일부터 효력을 갖는다고 하는데요. 이번 개정의 특징과 더붙어, 앤트로픽의 전반적인 정책을 가볍게 살펴보겠습니다.
앤트로픽 사용 정책의 특징
앤트로픽의 사용 정책은 단순히 금지 조항 모음집이 아닙니다. AI 사용 윤리를 어떻게 정의하고 선을 그을 것인지에 대한 사회의 고민을 담고 있는데요. 특히 앤트로픽은 무기 개발이나 아동 성착취물 제작이나 허위 정보 유포는 물론, 대규모 감시나 생체 인식 남용까지 엄격히 차단하는 등, 경쟁사보다 더 보수적인 태도를 보입니다. 이번 개정의 특징을 몇 가지 살펴볼까요?
1. 사이버 보안 및 에이전트(AI 도구) 관련 규정 강화
클로드 코드(Claude Code)와 같은 에이전트형 AI 도구들의 등장으로, 악성 코드, 네트워크 공격, 취약점 악용 등 사이버 보안 위험이 증가했습니다. 이에 앤트로픽은 <컴퓨터 및 네트워크 시스템 손상 금지>라는 별도 항목을 개정에 추가했습니다. 단, 시스템 소유자의 명시적 동의가 있는 승인된 취약점 테스트는 허용합니다.
2. 무기 관련 금지 조항 구체화 및 확대
기존의 무기 일반 금지에서 한 단계 나아가, 고위력 폭발물 및 생물/화학/방사능 무기에 대한 언급을 명시해, 더욱 구체적인 제재 의지를 발표합니다.
3. 정치 콘텐츠 제한 범위 세분화
이전에는 정치 캠페인 관련 콘텐츠를 포괄적으로 금지했지만, 이번 업데이트에서는 '선거 절차 교란이나 유권자 타깃팅처럼 민주주의를 왜곡하거나 선동하는 콘텐츠'에 대해서만 제한하는 방향으로 완화되었습니다. 정책 연구, 시민 교육, 분석 등 정당한 목적의 정치 콘텐츠는 이제 허용됩니다.
4. 고위험 사용 사례 기준 명시
법률이나 금융, 또는 고용과 같이 '고위험 영역'의 경우, 소비자 대상 서비스에 한해 인간의 판단 개입과 AI 사용 고지 의무가 요구된다고 앤트로픽은 명확히 밝힙니다. 단, B2B 내부 용도로는 해당 요건이 적용되지 않도록 조정되었습니다.
5. 정서적 안전을 위한 대화 종료 기능 도입
지속적으로 유해한 사용자 요구를 받을 경우 대화를 자체적으로 종료하는 기능이 Claude Opus 4와 4.1 모델에 도입됐습니다. AI가 '이 대화는 안전하지 않다'고 판단하면 대화를 중단할 수 있는 권한을 부여한 것이지요. 사용자의 권리를 존중하면서도 AI가 정서적, 그리고 윤리적 선을 넘어서는 요구에 무한히 응답하지 않도록 설계한 장치입니다. 단, 무조건적인 '차단' 개념은 아니며, 모델 자체의 정서적 안정성을 위한 마지막 수단입니다.
클로드가 채팅창을 종료한 모습. 출처: 앤트로픽.
앤트로픽의 안전 체계
앤트로픽은 AI 모델과 그 사용 과정을 안전하게 유지하기 위해 어떻게 하고 있을까요?
- 기술적 장치: 프롬프트 필터링, 위험 탐지 모델, API 보안 툴이 기본 제공됩니다.
- 절차적 장치: 사용자에게 경고를 주고, 이의 제기를 받아들이며, 반복 위반자는 차단하는 등 절차적 안전을 보장합니다.
- 특별 지침: 아동 보호, 정부기관 적용 예외, 연구 목적으로의 제한적 허용 등 맥락에 맞는 조치가 마련되어 있습니다.
앤트로픽은 사용자, 개발자, 기관, 그리고 사회 전체를 고려한 다층적 거버넌스 모델을 구축하고 있음을 보여줍니다. 기술적인 문제를 넘어, 사회적 제도에 대해 고민한 흔적이 엿보이지요.
AI 에이전트 사용 정책
‘AI 에이전트의 해’ 답게, 수많은 AI 에이전트들이 쏟아지고 있습니다. 이에 앤트로픽은 에이전트 사용 정책 또한 규정합니다. <AI가 자율적으로 행동할 수 있을 때 어떤 일이 발생할까?>라는 시나리오에 대응하는 선제적인 가이드라인이라고 볼 수 있지요.
금지 사례: 무단 감시, 피싱, 사칭, 대규모 여론 조작, DDoS, 플랫폼 안전 장치 우회 등
의미: AI가 ‘사회적 행위자’로서 힘을 발휘할 수 있는 지점을 규제하고 차단하려는 시도
에이전트가 ‘사람을 대신해 행동할 수 있는 권한’을 갖는 순간, AI 에이전트는 단순한 소프트웨어가 아니라 ‘사회적 행위자’로 기능하게 된다는 철학 아래, 앤트로픽은 규제의 선을 미리 긋습니다.
예외 조항
앤트로픽은 정부 기관 등과의 계약을 통해 사용 정책을 일부 조정할 수 있는 예외 조항 또한 두고 있습니다. 다만, 예외 조항을 오용하는 가능성을 최소화하기 위해 매우 제한적이고 신중한 경우에만 허용됩니다. 조건을 한 번 볼까요?
조건: 예외를 허용하기 위해 해당 기관의 공공적 사명과 법적 권한, AI Safety Level‑2(ASL‑2) 부합 여부, 사후 감시체계, 민주적 감독 수준 등을 종합적으로 평가합니다.
예시: 해외 정보 분석과 같은 특정 공공 목적의 사용이 법적으로 허용된다면 예외를 고려할 수 있는데요. 그럼에도 위조 정보 생성, 무기 설계, 검열, 감시, 악성 사이버 행위 등 핵심 금지 조항은 여전히 유효합니다.
AI 안전은 지속적으로 관심을 가져야 할 문제입니다. AI를 개발하는 기업에게만 주어진 숙제가 아닙니다. 인류와 사회가 공동으로 책임져야 하는 과제지요. 이번 앤트로픽의 사용 정책은 선제적인 규제도 포함하는 만큼, 다소 보수적으로 접근하는 것이 당연합니다. 다양한 기업의 AI 사용 정책을 살펴본다면 AI 안전성에 접근하는 업계 선두주자들의 움직임과 가치관을 파악할 수 있는데요. 이 문제만큼은 경쟁하는 대신, 같은 인류로서 힘을 합치기를 바라봅니다.
