"아바타 로봇·플라잉핸드 드론…인간 한계 넘는 '피지컬 AI' 온다"

자동화시스템공동연구소는 서울대에서 ‘피지컬 인공지능(AI)’ 연구의 대표주자로 꼽힌다. 단순히 물리적인 작업을 수행하는 로봇·드론 개발을 넘어 AI를 접목해 ‘자율 조작’과 ‘원격 협업’을 고도화하는 데 역량을 집중하고 있다.

생성형 AI로 제조 현장 문제 해결

국내 아바타 로봇 최고 권위자인 박재흥 융합과학기술대학원 교수 팀이 개발한 휴머노이드 도깨비는 조작자가 원격으로 명령을 내리면 현장에서 사람 대신 미션을 수행한다. 박 교수는 “로봇 핸드에 초고밀도 촉각 어레이센서를 부착해 물체를 섬세하게 잡도록 힘 조절을 하는 연구를 하고 있다”고 말했다. 어레이센서는 손가락이나 손바닥에 붙여 어디를 얼마나 세게 눌렀는지 2차원(2D)으로 감지하는 전자 피부다. 가상·증강현실(AR·VR) 인터페이스와 3차원(3D) 시뮬레이션 시스템도 더했다. 박 교수는 “유해 환경에서 인간을 대신하는 로봇 시대가 열린다”며 “로봇이 손끝 감각까지 느껴야 진정한 피지컬 AI”라고 설명했다.

김현진 자동화시스템공동연구소장(항공우주공학과 교수)은 30㎝ 길이의 로봇팔 엔드이펙터가 장착된 드론을 통해 공중에서 장애물을 제거하는 등 물리 작업이 가능한 ‘비행형 매니퓰레이터’를 선보였다. 막대형, 다지 손형 등의 엔드이펙터는 드론이 무언가를 ‘잡고’ ‘밀고’ ‘조작’하는 데 사용한다. 감지 센서와 결합된 팔은 대상의 크기나 질량을 인식하고 접촉하면서 힘을 조절한다.

핵심은 비행 안정성과 조작 정밀성 간 균형 제어다. 비행 중 로봇팔이 물체를 밀거나 잡는 순간 무게중심이 급변해 자세가 흔들릴 수 있다. 이를 해결하기 위해 연구팀은 힘 감지 기반 제어 알고리즘을 적용했다.

드론이 장애물에 힘을 가할 때 반작용을 계산해 비행 자세를 보정한다. 김 소장은 “재난 현장, 고층 외벽 점검에 응용이 가능하다”며 “공중에서 사람처럼 조작하는 ‘플라잉 핸드’가 상용화될 것”이라고 전망했다.

윤성로 전기정보공학부 교수는 생성형 AI를 활용해 제조업 현장의 문제를 푸는 실용 기술을 개발했다. 복잡한 제품을 만드는 공장에서는 불량품을 잘 잡아내야 하는데, AI가 이를 배우려면 불량 데이터가 많이 필요하다. 그러나 실제 불량 데이터는 매우 드물다. 윤 교수는 “AI로 진짜처럼 보이는 가짜 불량 사진을 대량 생성해 AI가 학습하도록 했다”며 “AI가 직접 데이터를 만들어 연습량을 늘릴 수 있게 한 것”이라고 설명했다. 이 기술은 세계 최고 수준의 컴퓨터 비전 학회인 ‘CVPR 2025’에서 상위 2%에 주어지는 하이라이트 논문으로 선정됐다.

공정 자동화와 AI의 결합

과학기술계에선 이 연구소의 피지컬 AI를 중심으로 한 기술 사업화 모델을 주목하고 있다. 지난해 8월 국제학술지 네이처가 발간한 ‘네이처 인덱스’ 특집호를 통해 대한민국의 과학기술 분야 연구개발(R&D) 성과가 인력과 예산 투입 대비 놀라울 정도로 낮다는 분석 결과를 내놓으면서다.

한국의 R&D 지출은 국내총생산(GDP)의 약 5%에 달하고, 이는 경제협력개발기구(OECD) 평균인 2.8%를 훨씬 웃도는 수준이다. 하지만 네이처는 한국의 R&D 성과가 정체돼 있다며 산학 협력 부족과 기술사업화 저조를 문제점으로 지적했다. 과학기술정보통신부도 세계 최고 R&D 투자와 대비되는 저조한 창업 생태계를 뜻하는 ‘코리아 R&D 패러독스’를 뿌리뽑겠다는 의지를 내비치며 이 연구소 모델을 주목한 것으로 전해졌다.

중국이 ‘다크팩토리 굴기’를 위한 핵심 인프라로 초정밀 센서를 점찍은 점도 한국의 창업 생태계가 피지컬 AI로 재편돼야 하는 배경이다. 화웨이는 생산라인에서 AI 기반 로봇제어 기술을 활용해 스마트폰 생산 공정의 불량률을 20% 이상 줄였다. 광학부품 정렬 등 정밀도를 요하는 공정에선 사람의 손보다 빠르고 오차가 적은 AI 기반 협동로봇이 투입된다. 중국 로봇기업 신송로봇은 스마트 제조 로봇에 3D 비전 기반 AI 센서를 장착해 부품 위치, 크기, 결함 유무를 판별하는 기술을 개발했다. 기존의 단순 반복 로봇과는 달리 이 회사가 개발한 로봇은 공정마다 스스로 상황을 판단해 움직인다. 중국공정원은 “정밀 센서, AI 알고리즘, 제어기술의 삼위일체가 피지컬 AI의 실체”라며 “중국은 이 세 가지를 동시에 국산화할 수 있는 유일한 나라”라고 했다.

오성회 전기정보공학부 교수는 “피지컬 AI는 단순한 알고리즘 개발을 넘어 실제 물리 시스템을 통합해 사회적 문제를 해결할 수 있는 기술”이라며 “자동화시스템공동연구소가 서울대 내 피지컬 AI의 대표주자가 될 것”이라고 말했다.

강경주 기자 qurasoha@hankyung.com