지난 몇 년간 AI 시장의 주인공은 단연 LLM이었습니다. LLM은 코드를 작성하고, 글을 생성하며, 방대한 데이터를 분석하는 등 작업 범위와 정확도를 점점 넓히고 높여왔습니다. AI 에이전트로 확장된 LLM은 스스로 행위하는 존재로 거듭나고 있지만, 여전히 화면 속에 갇혀 있었습니다. 물리적인 행동을 하지는 못했지요.
그러나 엔비디아의 CEO 젠슨 황이 GTC 2026에서도 말했듯, 이제 본격적인 '피지컬 AI' 시대가 왔습니다. 단순히 소프트웨어가 데이터를 분석하는 수준을 넘어, 하드웨어가 물리적 세계를 직접 제어하고 조작하는 단계로 가고 있지요. 물류, 제조, 의료 등 실물 경제를 지탱하는 산업군에서 경쟁력을 좌우할 피지컬 AI를 알아볼까요?
피지컬 AI란?
피지컬 AI는 복잡하고 변화무쌍한 현실 세계와 역동적으로 상호작용하는 데 필요한 지능을 말합니다. 이는 고도의 추론 능력인 '월드 모델(World Model)'과 액추에이터(구동기), 촉각 센서, 시각 기반 신경망 등의 정밀한 하드웨어가 결합한 형태인데요.
기존의 산업용 로봇은 통제되고 예측 가능한 환경에서만 작동합니다. 정해진 경로에 예상치 못한 장애물이 나타나면 작업을 멈추거나 오류를 일으키지요. 하지만 피지컬 AI는 실시간으로 상황을 판단하고 적응합니다. 일종의 '상식'을 갖춘 셈이지요. 경로가 막혀 있으면 시각 센서로 장애물을 인식하고, 그 무게와 질감을 분석해 이를 안전하게 옮기거나 우회하는 계획을 스스로 세웁니다.
Sanctuary AI의 로봇. 출처: 엔비디아.
피지컬 AI를 가능하게 만든 건 무엇일까?
실험실에 머물던 피지컬 AI가 올해 들어 본격적인 상업화 단계로 진입할 수 있었던 데에는 세 가지 핵심 기술의 결합이 있었습니다.
VLA(Vision-Language-Action) 모델: 이제 모델은 텍스트뿐만 아니라 시각 정보와 물리 법칙을 동시에 처리합니다. “제품 무게에 맞춰 선반을 정리해줘”라는 복잡한 구두 명령을 내리면, AI는 사물을 식별하는 동시에 그에 적합한 물리적 행동을 실행합니다.
촉각 피드백 및 스마트 스킨: 로봇이 ‘감각’을 갖게 되었습니다. 소프트 로보틱스와 센서가 내장된 소재의 발전으로, 로봇은 유리 제품이나 농산물처럼 파손되기 쉬운 물체를 다칠 우려 없이 정밀하게 다룰 수 있게 되었습니다.
심투리얼(Sim-to-Real) 숙련도: 과거에는 하드웨어를 학습시키는 데 막대한 시간과 비용이 들었습니다. 하지만 이제는 실제와 거의 흡사한 물리 시뮬레이터 속 ‘매트릭스’ 환경에서 AI를 선행 학습시킨 뒤, 곧바로 실물 로봇에 이식해 첫날부터 85% 이상의 작업 성공률을 확보할 수 있게 되었습니다.
실제로 엔비디아 연구진이 발표한 IndustReal과 같은 프로젝트를 보면, 시뮬레이션을 통해 로봇에게 복잡한 부품 조립을 학습 시킨 뒤, 현실 세계의 로봇에 그대로 이식(Transfer)합니다. 로봇은 높은 확률로 현실 세계에서 복잡한 조립에 성공하는데요. 피지컬 AI가 ‘시행착오’를 줄일 수 있는 비결입니다.
시뮬레이션에서 학습한 로봇이 현실에서 같은 작업을 수행하는 모습. 출처: 엔비디아.
기업 현장의 실질적인 변화
피지컬 AI는 이제 PoC 단계를 넘어, 서비스형 로봇(RaaS, Robot-as-a-Service) 모델을 통해 산업 전반으로 확산되고 있습니다.
지능형 물류:
다양한 모양의 박스와 같은 비정형 물체 분류 및 적재 작업은 그동안 인간이 해왔는데요. 이제는 지능과 신체가 결합된 피지컬 AI가 수행할 수 있습니다. 시각 지능으로 물체를 파악하고, 물리적 제어 지능으로 적절한 힘을 조절하며 직접 물건을 옮기지요.정밀 제조:
협동 로봇(Cobots)이 안전 펜스 없이 작업자 바로 곁에서 협업합니다. 촉각 센서를 통해 작업자의 움직임을 예측하고, 실시간 피드백에 따라 힘의 강도를 자동으로 조절합니다.
지멘스 현장에서 쓰이고 있는 유니버설 로봇사의 코봇. 출처: Universal Robots.
- 리테일 및 서비스:
복잡한 도심 환경이나 매장 내에서 로봇이 안전하게 이동하며 재고를 관리하고, 배송의 최종 단계까지 트랙킹할 수 있습니다.
피지컬 AI는 기존 소프트웨어 기반 AI의 영역을 현실 세계로 확장하며, 다양한 산업의 난제들을 물리적으로 해결하고 있습니다.
피지컬 AI가 실수를 줄이고 정밀하게 움직이기 위해서는 단순히 텍스트나 이미지를 학습하는 것을 넘어, 사물의 질감, 무게, 마찰력, 그리고 변화가 큰 현장 상황이 담긴 방대한 양의 물리적 데이터가 필요한데요. 결국 얼마나 정교하게 가공된 데이터를 확보하느냐가 피지컬 AI 도입의 성패를 가릅니다.
셀렉트스타는 현장의 복잡한 물리 현상을 정확하게 디지털화하고, 로봇이 즉각 학습할 수 있는 최적의 형태로 데이터를 수집 및 가공합니다. 분석을 넘어 실행으로 나아가는 피지컬 AI의 시대에 최상의 데이터로 경쟁력을 확보하세요.
