오픈AI, 구글 등 AI 분야의 선도 기업들이 로봇용 AI 개발을 적극 추진하고 있다. 특히 오픈AI는 과거에 해체했던 로봇사업팀을 다시 재건할 정도로 적극적이다. 생성형 AI는 사람의 명령을 잘 알아듣고 다양한 작업을 융통성 있게 해낼 수 있는 똑똑한 로봇이 등장하는 계기가 될 가능성이 커지고 있다.로봇, AI 현실과 연결이상적인 로봇은 상황을 스스로 인식(센싱)해서 사용자가 내린 명령을 수행하는 데 필요한 판단을 스스로 하고(생각) 스스로 작동하는(액션) 인공적인 피조물이다. 그래서 로봇은 센서, AI, 작동체(Effector)라는 3가지 패러다임으로 구성된다고 보기도 한다. SDV(SW defined Vehicle)에서 차량 하드웨어의 잠재력을 이끌어 내는 역할을 SW가 맡듯이 로봇에서는 AI가 다른 핵심 요소인 센서와 작동체의 잠재력을 최대한 구현해서 로봇의 성능을 대폭 향상시키는 기반으로 작용한다. 센서가 수집한 데이터를 해석하고 활용하는 역할과 작동체가 적합한 행동을 취할 수 있게 판단하는 역할이 모두 AI의 몫이기 때문이다.
AI의 입장에서도 로봇은 중요한 존재이다. AI를 현실 세계와 연결해주는 우수한 매개체가 되기 때문이다. AI의 판단 결과가 가상 세계에서는 디지털 채팅, 프로그램 코딩 등으로 바로 구현되지만 현실의 물리적 세계에서는 로봇, 자동차, 항공기 등의 기계, 장비와 같은 물리적 매개체를 통해야 물리적 행동이란 형태로 구현된다. 특히 로봇은 여러 매개체 중에서 가장 주목받고 있다. 여느 기계, 수단들보다 더 다양한 공간에서 더욱 다채로운 작업을 수행할 수 있어서다. 예를 들어 자동차는 도로, 지상 등 한정된 공간에서 주행, 운반이라는 한정된 작업만 수행한다. 반면 로봇은 도로 외에도 공장, 창고, 농장, 가정 등 다양한 공간에서 주행, 운반뿐만 아니라 절단, 용접, 검사, 물건 분류, 조립, 포장 등 다양한 작업들을 수행하는 데 사용될 수 있다. 오픈AI·구글 등은 적극적으로 로봇용 AI 개발 중그래서 로봇은 AI를 적용할 수 있는 유망한 애플리케이션으로 간주된다. 로봇 중에서는 휴머노이드가 가장 우수한 애플리케이션으로 지목된다. 특정 작업만 수행할 수 있는 기존 로봇들과 달리 다양한 작업을 모두 해내는 범용성을 지녔기 때문이다. 이런 점에 입각해서 오픈AI는 휴머노이드에 탑재할 로봇용 AI 개발에 가장 적극적이다.
로봇용 AI 개발 기업들의 목적은 잠재적 수익원인 AI 애플리케이션의 범위를 가상 세계의 SW 애플리케이션에서 현실의 물리적 애플리케이션으로 확장하고자 하는 것이다. 생성형 AI의 발전에 힘입어 로봇용 AI 개발 기업들의 시도는 더욱 고무적이다.
현재 로봇의 사고, 판단 기능은 사람이 작성한 컴퓨터 프로그램이나 사람이 정한 공식에 따라 문제를 해결하는 전문가 시스템형 AI 모델에 의존한다. 제품 검수 작업과 같이 일부 업무 분야에서는 시각 데이터를 이용한 강화 학습형(Reinforcement Learning) AI가 적용되기도 한다.
그런데 프로그램이나 전문가형 AI, 머신러닝 AI들은 사람이 아직 해결 공식을 만들지 못한 극한 상황이나 예상치 못한 한계 상황, 즉 에지 케이스(Edge case)나 코너 케이스(Corner case)에 대해서는 적합한 상황 인식과 판단을 제공하지 못한다는 결정적인 한계를 안고 있다. 즉 프로그램, 전문가형 AI, 머신러닝 AI가 적용된 로봇은 에지 케이스나 코너 케이스에서 무용지물이 되어 버린다. 문제는 AI 개발 과정에서 간과된 에지 케이스나 코너 케이스가 현실 세계에서는 생각보다 자주 발생한다는 점이다. 그래서 기존 로봇은 특정 분야, 정형화된 작업 수행에 특화된 수단으로만 한정적으로 사용되고 있어서 로봇의 잠재력을 충분히 활용하지 못하게 만든다.
최근 각광받고 있는 LLM 등 대규모 학습모델과 같은 유형의 생성형 AI 모델들은 강점인 추론 기능을 활용해서 기존 AI 모델이 해결하지 못하는 각종 에지 케이스와 코너 케이스를 해결할 수 있을 것이란 평가를 받고 있다. 그 덕분에 생성형 AI를 기반으로 하는 우수한 로봇용 AI가 개발될 수 있을 것이란 기대감이 커지고 있다. 실제 세계에서 로봇이 작동하는 과정을 정확하게 시뮬레이션으로 반복 재연할 수 있어서 로봇용 AI의 파운데이션 모델을 구축할 수도 있을 것이란 예상도 확산되고 있다.기업 간 협력의 주목적은 학습용 데이터 확보오픈AI, 구글을 비롯한 AI 선도 기업들과 코배리언트(Covariant)와 같은 로봇용 AI 전문 기업들은 문자, 음성, 이미지, 액추에이터의 움직임과 같은 다양한 유형의 데이터를 종합 활용할 수 있는 멀티모달 AI 개발을 추진하고 있다. AI 기업들은 개발의 초점을 대략 ▲사용자의 명령을 정확하게 이해하거나 ▲작업 대상과 작업 상황을 파악하는 환경 인식 ▲로봇의 제어 등에 둔 것으로 보인다.
로봇용 AI 개발이 진행되면서 미처 예상치 못한 문제들도 속출하고 있다. 최근 부상한 가장 큰 이슈는 로봇용 AI의 학습용 데이터 수집 문제이다. 실험실과 같은 환경에서 만들어진 데이터는 로봇용 AI가 현실의 물리 법칙을 학습하고 실제 작업 과정에서 요구되는 수준의 속도, 정확도, 정밀도 및 신뢰성을 달성하기에는 미흡한 것으로 평가되고 있다. 실제 환경에서 부합하는 수준의 데이터가 생성되는 공간은 실제 작업 현장뿐이라는 점도 재차 확인되고 있다. 실제 세계의 복잡성, 예를 들어 다양한 모양, 색상에 대한 이미지 데이터, 다양한 각도에서 촬영한 이미지 데이터, 모터와 기어의 작동 데이터, 힘 센서나 압력 센서 등 다양한 종류의 센서 데이터, 다양한 형태의 정량적 지표 및 결과 등이 반영된 멀티모달 데이터 세트는 오직 현실 세계에서만 형성된다.
또한 로봇용 AI가 현실 세계를 학습하려면 실험실에서 마주치기 어려운 상황, 즉 작업 대상과 작업 여건이 끊임없이 변하는 현장에서는 종종 발생하는 코너 케이스와 에지 케이스를 많이 접해야 한다고 인식되고 있다. 예를 들어 컨베이어벨트의 한쪽 구석에서 후속 공정으로 넘어가지 않고 무한히 굴러가는 제품이나 작업 과정에서 손상된 부품이 발생하는 것과 같은 상황들은 로봇용 AI가 현실의 물리적 세계를 정확하게 이해하는 데 절대적으로 중요한 데이터가 생성되는 현장이다.
결국 현실 세계의 데이터는 로봇을 작동시키는 현장에서 생성되므로 로봇용 AI 기업 입장에서는 현장에서 작동시킬 로봇의 확보와 활용 현장으로의 접근도 중요한 이슈가 된다. 그렇다고 AI 개발 기업이 로봇 개발, 제작까지 수행하는 것은 재무적으로나 기술적으로나 부담스러운 일이다. 최근 AI 개발 기업들은 로봇 기업과 공동 개발하거나 다른 AI, 로봇 기업들과 데이터를 공유하는 방식으로 로봇용 데이터 확보를 추진하고 있다. 오픈AI는 휴머노이드 개발 기업인 피규어AI와 로봇을 공동 개발하는 과정에서 데이터 생성 및 확보와 로봇용 AI 모델 검증 테스트를 병행하고 있다.
피규어AI는 BMW의 북미 자동차 공장에 휴머노이드를 투입해서 현장 학습을 진행할 예정이므로 오픈AI의 현장 데이터 확보 속도는 더욱 가속화될 전망이다. 문자, 이미지 및 감각 데이터 등을 활용하는 멀티모달 로봇용 AI RFM-1을 개발하고 있는 코배리언트는 잠재적 고객사들과 협력하는 방식을 채택하고 있다. 유럽 온라인 유통업체 오토(OTTO)그룹, 물류기업 래디얼(Radial) 등이 사용 중인 로봇에 자사의 AI 모델 RFM-1을 탑재해서 AI 개발과 데이터 확보를 병행하고 있다.
로봇 제어용 멀티모달 AI인 RT 시리즈를 개발하는 구글은 자체 제작한 로봇에 RT-1, 2를 탑재해서 생성한 데이터와 독일 막스플랑크연구소, 한국의 KAIST, 일본 도쿄대, 미국 스탠퍼드대, 카네기멜론대 등 전 세계 50여 개 기업, 대학 연구소들로부터 제공받은 로봇 작동 데이터를 한데 모아서 오픈 엑스 임바디먼트(Open X-Embodiment)라는 이름의 학습용 데이터 세트를 구축하는 식으로 데이터 확보 이슈를 해결하고 있다. 구글은 로봇용 AI의 성능 향상을 위해서는 데이터의 다양성을 높이는 것이 중요하다고 주장한다. 구글은 동종의 로봇에서 생성되는 동질적인 데이터의 규모를 늘리는 것보다 다양한 로봇들이 생성한 이질적인 데이터를 많이 모아서 데이터의 다양성을 키우는 데 주력하고 있다.
AI의 입장에서도 로봇은 중요한 존재이다. AI를 현실 세계와 연결해주는 우수한 매개체가 되기 때문이다. AI의 판단 결과가 가상 세계에서는 디지털 채팅, 프로그램 코딩 등으로 바로 구현되지만 현실의 물리적 세계에서는 로봇, 자동차, 항공기 등의 기계, 장비와 같은 물리적 매개체를 통해야 물리적 행동이란 형태로 구현된다. 특히 로봇은 여러 매개체 중에서 가장 주목받고 있다. 여느 기계, 수단들보다 더 다양한 공간에서 더욱 다채로운 작업을 수행할 수 있어서다. 예를 들어 자동차는 도로, 지상 등 한정된 공간에서 주행, 운반이라는 한정된 작업만 수행한다. 반면 로봇은 도로 외에도 공장, 창고, 농장, 가정 등 다양한 공간에서 주행, 운반뿐만 아니라 절단, 용접, 검사, 물건 분류, 조립, 포장 등 다양한 작업들을 수행하는 데 사용될 수 있다. 오픈AI·구글 등은 적극적으로 로봇용 AI 개발 중그래서 로봇은 AI를 적용할 수 있는 유망한 애플리케이션으로 간주된다. 로봇 중에서는 휴머노이드가 가장 우수한 애플리케이션으로 지목된다. 특정 작업만 수행할 수 있는 기존 로봇들과 달리 다양한 작업을 모두 해내는 범용성을 지녔기 때문이다. 이런 점에 입각해서 오픈AI는 휴머노이드에 탑재할 로봇용 AI 개발에 가장 적극적이다.
로봇용 AI 개발 기업들의 목적은 잠재적 수익원인 AI 애플리케이션의 범위를 가상 세계의 SW 애플리케이션에서 현실의 물리적 애플리케이션으로 확장하고자 하는 것이다. 생성형 AI의 발전에 힘입어 로봇용 AI 개발 기업들의 시도는 더욱 고무적이다.
현재 로봇의 사고, 판단 기능은 사람이 작성한 컴퓨터 프로그램이나 사람이 정한 공식에 따라 문제를 해결하는 전문가 시스템형 AI 모델에 의존한다. 제품 검수 작업과 같이 일부 업무 분야에서는 시각 데이터를 이용한 강화 학습형(Reinforcement Learning) AI가 적용되기도 한다.
그런데 프로그램이나 전문가형 AI, 머신러닝 AI들은 사람이 아직 해결 공식을 만들지 못한 극한 상황이나 예상치 못한 한계 상황, 즉 에지 케이스(Edge case)나 코너 케이스(Corner case)에 대해서는 적합한 상황 인식과 판단을 제공하지 못한다는 결정적인 한계를 안고 있다. 즉 프로그램, 전문가형 AI, 머신러닝 AI가 적용된 로봇은 에지 케이스나 코너 케이스에서 무용지물이 되어 버린다. 문제는 AI 개발 과정에서 간과된 에지 케이스나 코너 케이스가 현실 세계에서는 생각보다 자주 발생한다는 점이다. 그래서 기존 로봇은 특정 분야, 정형화된 작업 수행에 특화된 수단으로만 한정적으로 사용되고 있어서 로봇의 잠재력을 충분히 활용하지 못하게 만든다.
최근 각광받고 있는 LLM 등 대규모 학습모델과 같은 유형의 생성형 AI 모델들은 강점인 추론 기능을 활용해서 기존 AI 모델이 해결하지 못하는 각종 에지 케이스와 코너 케이스를 해결할 수 있을 것이란 평가를 받고 있다. 그 덕분에 생성형 AI를 기반으로 하는 우수한 로봇용 AI가 개발될 수 있을 것이란 기대감이 커지고 있다. 실제 세계에서 로봇이 작동하는 과정을 정확하게 시뮬레이션으로 반복 재연할 수 있어서 로봇용 AI의 파운데이션 모델을 구축할 수도 있을 것이란 예상도 확산되고 있다.기업 간 협력의 주목적은 학습용 데이터 확보오픈AI, 구글을 비롯한 AI 선도 기업들과 코배리언트(Covariant)와 같은 로봇용 AI 전문 기업들은 문자, 음성, 이미지, 액추에이터의 움직임과 같은 다양한 유형의 데이터를 종합 활용할 수 있는 멀티모달 AI 개발을 추진하고 있다. AI 기업들은 개발의 초점을 대략 ▲사용자의 명령을 정확하게 이해하거나 ▲작업 대상과 작업 상황을 파악하는 환경 인식 ▲로봇의 제어 등에 둔 것으로 보인다.
로봇용 AI 개발이 진행되면서 미처 예상치 못한 문제들도 속출하고 있다. 최근 부상한 가장 큰 이슈는 로봇용 AI의 학습용 데이터 수집 문제이다. 실험실과 같은 환경에서 만들어진 데이터는 로봇용 AI가 현실의 물리 법칙을 학습하고 실제 작업 과정에서 요구되는 수준의 속도, 정확도, 정밀도 및 신뢰성을 달성하기에는 미흡한 것으로 평가되고 있다. 실제 환경에서 부합하는 수준의 데이터가 생성되는 공간은 실제 작업 현장뿐이라는 점도 재차 확인되고 있다. 실제 세계의 복잡성, 예를 들어 다양한 모양, 색상에 대한 이미지 데이터, 다양한 각도에서 촬영한 이미지 데이터, 모터와 기어의 작동 데이터, 힘 센서나 압력 센서 등 다양한 종류의 센서 데이터, 다양한 형태의 정량적 지표 및 결과 등이 반영된 멀티모달 데이터 세트는 오직 현실 세계에서만 형성된다.
또한 로봇용 AI가 현실 세계를 학습하려면 실험실에서 마주치기 어려운 상황, 즉 작업 대상과 작업 여건이 끊임없이 변하는 현장에서는 종종 발생하는 코너 케이스와 에지 케이스를 많이 접해야 한다고 인식되고 있다. 예를 들어 컨베이어벨트의 한쪽 구석에서 후속 공정으로 넘어가지 않고 무한히 굴러가는 제품이나 작업 과정에서 손상된 부품이 발생하는 것과 같은 상황들은 로봇용 AI가 현실의 물리적 세계를 정확하게 이해하는 데 절대적으로 중요한 데이터가 생성되는 현장이다.
결국 현실 세계의 데이터는 로봇을 작동시키는 현장에서 생성되므로 로봇용 AI 기업 입장에서는 현장에서 작동시킬 로봇의 확보와 활용 현장으로의 접근도 중요한 이슈가 된다. 그렇다고 AI 개발 기업이 로봇 개발, 제작까지 수행하는 것은 재무적으로나 기술적으로나 부담스러운 일이다. 최근 AI 개발 기업들은 로봇 기업과 공동 개발하거나 다른 AI, 로봇 기업들과 데이터를 공유하는 방식으로 로봇용 데이터 확보를 추진하고 있다. 오픈AI는 휴머노이드 개발 기업인 피규어AI와 로봇을 공동 개발하는 과정에서 데이터 생성 및 확보와 로봇용 AI 모델 검증 테스트를 병행하고 있다.
피규어AI는 BMW의 북미 자동차 공장에 휴머노이드를 투입해서 현장 학습을 진행할 예정이므로 오픈AI의 현장 데이터 확보 속도는 더욱 가속화될 전망이다. 문자, 이미지 및 감각 데이터 등을 활용하는 멀티모달 로봇용 AI RFM-1을 개발하고 있는 코배리언트는 잠재적 고객사들과 협력하는 방식을 채택하고 있다. 유럽 온라인 유통업체 오토(OTTO)그룹, 물류기업 래디얼(Radial) 등이 사용 중인 로봇에 자사의 AI 모델 RFM-1을 탑재해서 AI 개발과 데이터 확보를 병행하고 있다.
로봇 제어용 멀티모달 AI인 RT 시리즈를 개발하는 구글은 자체 제작한 로봇에 RT-1, 2를 탑재해서 생성한 데이터와 독일 막스플랑크연구소, 한국의 KAIST, 일본 도쿄대, 미국 스탠퍼드대, 카네기멜론대 등 전 세계 50여 개 기업, 대학 연구소들로부터 제공받은 로봇 작동 데이터를 한데 모아서 오픈 엑스 임바디먼트(Open X-Embodiment)라는 이름의 학습용 데이터 세트를 구축하는 식으로 데이터 확보 이슈를 해결하고 있다. 구글은 로봇용 AI의 성능 향상을 위해서는 데이터의 다양성을 높이는 것이 중요하다고 주장한다. 구글은 동종의 로봇에서 생성되는 동질적인 데이터의 규모를 늘리는 것보다 다양한 로봇들이 생성한 이질적인 데이터를 많이 모아서 데이터의 다양성을 키우는 데 주력하고 있다.
진석용 LG경영연구원 연구위원
