지난 9월 17일, 서울 포스코타워 역삼에서 셀렉트스타와 한국능률협회컨설팅(KMAC), 법무법인(유) 린이 함께한 ‘AI 기본법 이후의 실전 대응: 책임·거버넌스·검증’ 세미나가 열렸습니다.
*세미나 소개 > AI 기본법 시행, 실전 대응 세미나에서 만나요!
AI 기본법이 시행되면서 이제 기업의 고민도 조금씩 달라지고 있는데요. 단순히 “어떤 규제를 지켜야 할까?”를 넘어 조직 안에 어떤 관리체계를 만들어야 하는지, 그리고 실제 운영 중인 AI가 안전하고 신뢰할 수 있는지를 어떻게 확인할 것인지가 중요한 과제로 떠오르고 있습니다.
이번 세미나는 바로 이 질문에 답하기 위해 마련됐습니다. 법무법인 린은 법률과 규제, KMAC은 AI 거버넌스와 운영체계, 셀렉트스타는 AI 신뢰성 평가·검증의 관점에서 각자의 전문성을 공유했습니다.
세미나의 시작은 강상욱 과학기술정보통신부 기획조정실장의 축사와 KMAC 오철세 상무의 환영사로 열렸습니다. 이어 AI 기본법 시행 이후 현장에서 마주하게 될 변화를 각 분야의 전문가들과 차례로 살펴봤는데요. 그날 어떤 이야기들이 오갔는지 함께 살펴볼까요?
AI 기본법이 바꾸는 공공조달과 보안 환경
첫 번째 세션에서는 법무법인(유) 린 방석호 AI산업센터장이 ‘AI 공공조달시장의 변화와 체크포인트’를 주제로 발표했습니다.
AI 기본법 시행 이후에는 공공부문에서 AI 제품과 서비스를 도입하는 방식에도 변화가 생깁니다. 특히 AI 제품·서비스 확인제도가 마련되면서 AI 기업들이 공공시장에 진입할 수 있는 새로운 경로가 생겼는데요.
여기서 기억해야 할 점이 하나 있습니다.
AI 제품·서비스 확인서를 받았다고 해서 해당 AI의 정확성이나 보안성, 신뢰성까지 모두 검증됐다는 의미는 아니라는 것입니다.
즉, ‘AI 제품으로 인정받는 것’과 ‘실제 서비스에서 안전하고 신뢰할 수 있다는 것을 검증하는 것’은 별개의 문제인 셈이죠. AI가 실제 현장에서 활용되기 위해서는 도입 단계뿐만 아니라 이후의 성능과 안전성, 변경관리까지 함께 고려해야 한다는 점이 강조됐습니다.
법무법인(유) 린 방석호 AI산업센터장 (왼쪽), 유창하 외국변호사 (오른쪽)
이어 유창하 외국변호사는 ‘AI 규제 구조에 기반한 보안 거버넌스 수립 방안’을 주제로 발표했습니다.
AI 서비스에는 AI 기본법만 적용되는 것이 아닙니다. 개인정보를 다룬다면 개인정보보호법이, 정보통신망을 통해 서비스를 제공한다면 관련 보안 규제도 함께 고려해야 하는데요.
때문에 기업도 각각의 규제에 따로 대응하기보다 AI 관리·감독, 정보보호, 개인정보보호를 하나의 위험관리체계 안에서 연결하는 것이 중요하다는 설명이 이어졌습니다.
AI 거버넌스, ‘전략’보다 ‘실행’
KMAC 손권상 AI·빅데이터본부장
세 번째 세션에서는 KMAC 손권상 AI·빅데이터본부장이 ‘책임 있는 AI 운영을 위한 거버넌스 및 서비스 운영 모델’을 소개했습니다.
지금까지 많은 기업과 공공기관이 “AI를 어떻게 도입할 것인가”에 집중해왔다면, 앞으로는 도입한 AI를 누가, 어떤 기준으로 관리할 것인가가 더욱 중요해집니다.
예를 들어 AI 서비스의 위험 수준에 따라 기획부터 개발, 검증, 승인, 운영, 변경에 이르는 각 단계에서 필요한 절차가 달라질 수 있습니다. 문제가 발생했을 때 서비스를 중단할 권한은 누구에게 있는지, 모델이나 데이터가 변경되면 언제 다시 검증해야 하는지도 미리 정해둘 필요가 있고요.
손 본부장은 AI 거버넌스를 단순히 위원회나 규정을 만드는 것으로 끝내지 않고, 조직의 역할과 책임, 실제 업무 절차, 승인·기록 체계까지 연결해야 한다고 강조했습니다.
쉽게 말하면 AI 거버넌스는 ‘원칙을 정하는 것’에서 끝나는 것이 아니라, 그 원칙이 실제 업무에서 작동하도록 만드는 과정이라고 볼 수 있습니다.
그렇다면 AI가 기준을 지키는지는 어떻게 확인할까?
이 질문에 답하기 위해 셀렉트스타 이현택 글로벌 BD팀장이 ‘거버넌스, 그 이상의 신뢰성을 입증하는 기술적 실행 전략’을 주제로 발표를 이어갔습니다.
기업이 AI 정책과 관리 기준을 잘 마련했다고 해도 한 가지 질문은 여전히 남습니다.
“그래서 실제 AI도 그 기준대로 작동하고 있을까요?”
바로 이 지점에서 기술적인 평가와 검증이 필요합니다.
이현택 글로벌 BD팀장
이현택 팀장은 법과 제도가 요구하는 안전성·신뢰성의 원칙을 실제 AI 서비스에서 측정하고 확인할 수 있는 기준과 근거자료로 바꾸는 과정이 중요하다고 설명했습니다.
셀렉트스타는 AI 규제 대응을 위한 기술적 검증 영역을 크게 다섯 가지로 나눠 소개했습니다.
- AI 사용 여부와 생성 결과를 제대로 안내하고 있는지 확인하는 투명성 점검
- 레드티밍 등을 통해 예상치 못한 위험이나 취약점을 확인하는 안전성 검증
- AI의 활용 목적과 영향도에 따른 위험 분류 지원
- 평가·검증 결과와 위험관리 과정을 남기는 이행·증빙
- AI가 이용자의 권리나 취약계층에 미치는 영향을 확인하는 영향평가 지원
특히 금융·보험의 알고리즘 편향, 의료 AI의 잘못된 정보 생성과 개인정보 노출, 에이전트형 AI의 비정상적인 시스템 실행 등 적용 분야에 따라 AI가 마주하는 위험도 달라질 수 있는데요.
따라서 모든 AI를 똑같은 기준으로 평가하기보다 실제 서비스의 목적과 환경에 맞는 평가 기준을 설계하는 것이 중요합니다.
AI 검증은 출시 직전에 한 번 하면 끝일까요?
이날 셀렉트스타 발표에서 특히 강조된 메시지는 ‘지속적인 검증’이었습니다.
AI는 한번 개발하고 나면 같은 상태로 계속 운영되는 일반적인 소프트웨어와는 조금 다릅니다. 모델이 업데이트될 수도 있고, 연결되는 데이터가 바뀌거나 새로운 기능과 외부 도구가 추가되면서 이전에는 없던 위험이 나타날 수도 있기 때문인데요.
그래서 AI 검증 역시 서비스 출시 직전에 한 번 진행하는 시험으로 끝나서는 안 됩니다.
셀렉트스타는 AI 서비스의 전 과정을 다음과 같이 바라봤습니다.
셀렉트스타가 말하는 '지속적인 검증'
[기획·설계 → 데이터 구축·개발 → 모델 검증·평가 → 승인·운영 검증]
기획 단계에서는 어떤 위험이 있을지 정의하고 평가 기준을 세우고, 개발 과정에서는 해당 서비스에 맞는 평가 데이터를 구축합니다. 이후 모델의 성능과 안전성을 검증하고, 실제 운영 중에도 모델이나 데이터, 서비스가 변경될 때마다 다시 평가하는 과정이 필요합니다.
이렇게 축적한 평가 결과는 단순한 AI 성능점수가 아니라 서비스를 출시해도 되는지, 계속 운영해도 되는지, 무엇을 개선해야 하는지를 판단하는 근거자료가 될 수 있습니다.
결국 거버넌스가 “우리 조직이 허용할 수 있는 위험의 기준”을 정한다면, 기술적 검증은 “실제 AI가 그 기준을 충족하고 있는지 보여주는 과정”이라고 할 수 있겠죠.
실제 AI 서비스라면 어디까지 준비해야 할까?
발표가 모두 끝난 뒤에는 법무법인 린, KMAC, 셀렉트스타 발표자들이 함께하는 패널토론이 이어졌습니다.
이번 토론에서는 단순한 질의응답 대신 공공기관의 대국민 생성형 AI와 금융회사의 에이전트형 AI라는 구체적인 가상 사례를 두고 이야기를 나눴는데요.
셀렉트스타, 법무법인 린, KMAC의 패널토크
예를 들어 민원 안내를 하던 AI가 개인의 지원사업 자격까지 판단하게 된다면 어떨까요?
금융 상담 AI가 고객의 질문에 답하는 것을 넘어 고객정보를 조회하고 상품을 추천하거나 실제 시스템까지 실행하게 된다면요?
AI가 더 많은 판단과 실행 권한을 가질수록 정확성, 개인정보, 편향, 비인가 실행 등 확인해야 할 위험도 함께 늘어납니다.
특히 모델이나 데이터가 변경됐을 때 기존 평가 결과를 그대로 믿는 것이 아니라 다시 검증하고, 그 결과를 서비스의 출시·운영 여부를 결정하는 근거로 활용해야 한다는 점이 주요하게 논의됐습니다.
법률은 무엇을 지켜야 하는지, 거버넌스는 누가 어떤 기준으로 관리할지, 기술적 검증은 실제 AI가 그 기준을 충족하는지 확인합니다.
이번 패널토론은 이 세 가지가 따로 떨어져 있는 것이 아니라 실제 AI 서비스를 운영할 때 하나의 흐름으로 연결돼야 한다는 점을 확인할 수 있는 시간이었습니다.
AI 기본법 대응, 결국 ‘실행’이 중요합니다
이번 세미나에서 반복해서 등장한 키워드는 ‘실행’이었습니다.
AI 기본법을 이해하는 것만으로는 충분하지 않습니다. 조직 안에 책임과 관리 기준을 만들고, 이를 실제 업무 절차에 반영한 뒤, AI가 그 기준에 맞게 움직이고 있는지를 객관적으로 평가해야 합니다.
특히 AI는 모델과 데이터, 서비스 환경이 계속 변화하기 때문에 신뢰성을 한 번 입증하는 것보다 지속적으로 확인할 수 있는 체계를 갖추는 것이 중요합니다.
셀렉트스타도 앞으로 기업이 AI를 실제 서비스에 보다 안전하게 적용할 수 있도록, AI 신뢰성 평가와 레드티밍을 비롯한 기술적 검증 방법을 꾸준히 연구하고 현장에 적용해 나갈 예정입니다.
강상욱 과학기술정보통신부 기획조정실장(가운데)과 법무법인 린, KMAC, 셀렉트스타 발표자 단체사진
이번 세미나에 참석해주시고 다양한 질문과 의견을 나눠주신 모든 분들께 다시 한번 감사드립니다!
AI 실무자들과 더 많은 이야기를 나누고 싶다면?
셀렉트스타는 AI·AX 실무자들을 위한 커뮤니티 ‘AI Ignite’를 운영하고 있습니다.
AI Ignite에서는 각 산업에서 AI를 직접 도입하고 운영하는 실무자들의 경험부터 최신 AI 트렌드, AI 신뢰성·안전성에 대한 이야기까지 다양한 주제를 온·오프라인으로 만나볼 수 있는데요.
빠르게 변하는 AI 업계에서 현장의 고민과 경험을 함께 나누고 싶다면, 앞으로 열릴 AI Ignite 행사에도 많은 관심 부탁드립니다!
