서울대, AI 패러다임 바꾼다…'생각하는 컴퓨터' 설계 사활 [강경주의 테크X]

"컴퓨터는 이제 정보 처리 도구에만 머물지 않습니다. 스스로 사고하고 인간과 소통하는 '기계 이상의 존재'가 되고 있습니다."

서진욱 서울대 컴퓨터연구소장(컴퓨터공학부 교수)은 13일 인공지능(AI) 시대가 도래하면서 컴퓨터의 개념이 바꼈다며 힘줘 말했다. 생성형 AI, 자율주행, 휴머노이드 로봇 등 최근 나타난 'AI 모먼트'는 컴퓨터가 인간의 '에이전트'로서 창의적인 역할을 수행하는 수준까지 됐다는 게 서 소장의 분석이다. 연구소의 핵심인 이재욱, 주한별, 원정담 서울대 컴퓨터공학과 교수도 컴퓨터가 인류 난제에 도전하고 이를 다양한 영역으로 확장시킬 것이라고 입을 모았다.

'어텐션 연산' 빠르게 처리하는 전용 하드웨어 가속기 개발

서 소장은 "생성형 AI 시대에서 기존 컴퓨터로는 초대규모 데이터를 처리하는 것이 점점 어려워지고 있다"며 "AI 연산을 가속화하고 저전력·고효율·고확장 컴퓨팅 환경을 구축하기 위해 새로운 컴퓨터 아키텍처 개발에 주력하고 있다"고 밝혔다.

범용 컴퓨팅의 한계를 넘어 딥러닝 연산을 더욱 빠르게 처리하는 기술과 고대역폭 메모리 계층 설계, 하드웨어와 소프트웨어(SW)가 최적의 성능을 낼 수 있도록 함께 설계되는 '협조 최적화(co-design)'가 대표적이다. 일반 컴퓨터가 자동차라면 서울대가 연구 중인 AI 연산 특화 컴퓨터는 레이싱카처럼 특정 작업을 훨씬 빠르고 효율적으로 수행하도록 설계하는 셈이다. 현재 AI 연산은 마치 대형 트럭이 작은 짐을 나르면서 불필요한 연료를 소모하는 것처럼 고전력와 높은 비용이 문제다.

주요 연구로는 '어텐션(attention) 연산'을 빠르게 처리하는 전용 하드웨어 가속기 개발이 꼽힌다. 수조 개의 파라미터(매개변수)를 갖는 어텐션 연산은 딥러닝과 자연어 처리(NLP), 이미지 처리와 같은 AI 분야에서 핵심 역할을 한다. 쉽게 말해 어텐션 연산은 AI 모델이 데이터 중에서 어디에 집중할지, 무엇이 중요한지 찾아내고 이를 강조한다. 책을 읽을 때 중요한 부분에 빨간펜으로 표시해가며 반복해 읽고 이해하는 것에 비유할 수 있다.

이 교수는 "어텐션 연산에 최적화된 칩으로 가속기를 만들었고, 측정 결과 연산량과 전력 소비를 기존 컴퓨팅의 절반 수준으로 줄이면서도 정확도를 유지했다"고 했다. 어텐션 연산은 AI 연구와 개발에서 핵심적인 기술로 자리잡는 추세다. 구글의 BERT, 마이크로소프트의 Turing NLG, 페이스북의 RoBERTa, 삼성전자의 스마트폰 음성 인식 기술이 어텐션 연산의 대표 사례다.

"70대 카메라로 인간 행동 복제…서울대 '휴먼 AI' 연구 전면에"

연구소가 주목 중인 또 다른 차세대 연구는 '휴먼 AI'다. 서 소장은 "이 연구에는 컴퓨터 비전, 머신러닝, 3차원(3D) 모델링 등이 유기적으로 융합된다"며 "인간의 외형, 동작, 의류, 의사소통, 물체와의 상호작용을 AI가 정밀하게 이해하고 사실적으로 재현할 수 있을 것"이라고 설명했다. 주 교수는 연구소 내 연구시설인 '패러덱스(pardex)'에서 인간의 움직임을 여러 대의 카메라로 촬영해 인간 동작을 모사하는 AI 모델을 개발하고 이를 로봇으로 재현하는 기술을 연구하고 있다.

이 과정에서 강조되는 것이 '인간-물체 상호작용(HOI) 모델링'이다. 주 교수는 "HOI 모델링과 70대 이상의 카메라를 활용한 멀티센서 기반 3D 데이터 수집 시스템을 통해 고품질 학습 데이터를 확보함으로써, AI의 표현력과 적응력을 끌어올렸다"고 했다. HOI 모델링이 고도화되면 스마트 가전과 홈오토메이션 분야에서 획기적인 변화가 일어날 것으로 예상된다. HOI 모델링이 적용된 AI는 사람의 동작을 보다 정교하게 이해해 스마트홈 기기가 사용자 행동을 예측하고 자동으로 작동할 수 있다. 사용자가 컵을 집으면 AI가 이를 감지해 정수기에서 물을 채우거나 요리를 시작하면 적절한 온도로 오븐을 설정한다.

로보틱스 및 스마트 제조 분야, 자율주행과 스마트 모빌리티 등 산업 현장에도 다양하게 적용할 수 있다. 주 교수는 "HOI 모델링을 탑재한 협업 로봇은 작업자가 어떤 도구를 사용하려 하는지 인식하고 필요한 도구를 전달하거나 작업의 다음 단계를 예측해 준비한다"고 예를 들었다.

주 교수는 휴먼 AI 분야에서 주목할 만한 분야는 인간의 행동을 모방하는 '로봇학습'이라고 강조했다. 그는 "로봇학습은 동작 모사를 넘어 사람의 복잡한 신체 움직임과 물체를 다루는 방식까지 정밀하게 학습한다"며 "AI 기반 로봇이 실제 환경에서 사람의 역할을 대체하거나 보조할 수 있는 능력을 갖추도록 하는 데 집중하고 있다"고 했다. 로봇이 인간이 처한 상황과 대화의 맥락까지 이해할 수 있다는 뜻이다. 향후 노동, 의료, 재난 대응, 노인 돌봄 등의 분야에서 큰 사회적 파급력을 가질 것으로 기대된다.

근골격 디지털 트윈 모델링 및 시뮬레이션 기술을 통해, 정밀 의료와 헬스케어 분야에 특화된 차세대 인간 디지털 트윈도 연구소의 차세대 연구다. 원 교수는 "기존 디지털 트윈이 외형이나 움직임의 유사성을 중심으로 산업에서 활용됐다면 서울대의 연구는 수백 개의 전신 근육을 반영한 생리학적·역학적 정밀 모델링을 통해 한 사람의 건강 상태를 더 깊이 모니터링한다"고 밝혔다. 사용자의 신체 정보, 동작 기록, 진료 이력 등을 수집·분석해 개인에 맞는 근골격 디지털 트윈을 생성함으로써, 인간의 내부 구조까지 반영된 고해상도 모델을 구현하는 것이 핵심이다.

"컴퓨터공학부 수강 학생 10배 늘었지만 교수 숫자 제자리"

한국이 글로벌 컴퓨터 경쟁력을 갖기 위해선 파격적인 교원 확충과 인프라 구축이 시급하다고 입을 모았다. 서 소장은 "컴퓨터는 반도체, 로봇, 모빌리티, 헬스, 환경, 우주, 국방 등 모든 산업과 학문을 연결하는 핵심 인프라"라며 "한국은 이를 뒷받침할 환경 제공이 충분하지 못하다"고 지적했다.

서울대 컴퓨터공학부는 정원이 64명이지만 복수·부전공, 연합·협동전공 등 매 학기 600명 이상의 학생들이 수업을 듣고 있다. 첨단융합학과 및 컴퓨팅·데이터과학 연합전공 학생들까지 더해질 경우 교원 부족 사태로 인한 교육의 질 저하는 가속화될 수밖에 없다는 우려가 커지는 이유다. 서 소장은 "교육 대상이 10배 늘었지만 교원과 인프라는 여전히 학부 정원 기준에 묶였다"며 "전임교수 20명, 학부 80명, 행정직원 5명, 대형 강의실 3개 수준의 증원이 절실하다"고 호소했다.

강경주 기자 qurasoha@hankyung.com