초당 100만개 거래 처리…'샤딩 끝판왕' 꿈꾸는 니어프로토콜 [엔지니어: 블록체인을 설계한 사람들]

"올해 안에 초당 100만 트랜잭션(TPS)을 실제로 처리해 보이는 것이 우리의 목표입니다. 이종 블록체인 간 상호운용성을 높여 더 많은 노드와 체인이 니어 생태계에 자연스럽게 연결될 수 있도록 지원하고, 사용자가 더 쉽게 참여할 수 있는 인공지능(AI)·블록체인 환경을 만들어 나갈 것입니다."

니어프로토콜(NEAR)의 인프라 개발을 총괄하는 핵심 연구개발(R&D) 조직 '니어 원(NEAR One)'의 창립자인 보웬 왕(Bowen Wang, 사진)은 24일 블루밍비트와의 인터뷰에서 이같이 강조했다.

왕 창립자는 니어프로토콜의 샤딩(Sharding) 구조인 '나이트셰이드'의 설계과 구현을 이끌었고, 최근에는 '스테이트리스 밸리데이션', AI 에이전트 기반의 블록체인 운영체제(BOS) 등 핵심 기술 개발도 주도하고 있다. 블루밍비트는 왕 창립자를 화상 인터뷰를 통해 만나 니어프로토콜의 샤딩 기술 구조와 확장 전략, 그리고 사용자 중심의 블록체인 비전에 대해 깊이 있게 들어봤다.

'샤딩'으로 블록체인 처리 속도 극대화

보웬 왕은 니어프로토콜이 '샤딩'을 통해 얼마나 빠르고 유연하게 확장될 수 있을지 확실하게 보여주겠다고 강조했다.

샤딩이란 데이터베이스와 블록체인에서 처리 속도를 극대화하기 위해 사용하는 분산 처리 기술이다. 하나의 장부를 모든 참여자가 공유하는 블록체인 구조에서는, 동시에 여러 사용자가 거래를 기록하려 할 경우 병목 현상이 발생한다. 이를 해결하기 위해 장부를 쪼개고, 트랜잭션을 병렬로 처리할 수 있는 파이프라인을 다수 설치하는 방식이 샤딩이다.

샤딩은 원래는 오라클, 마이에스큐엘(MySQL), 노에스큐엘(NoSQL) 등 기존 데이터베이스 시스템에서 등장한 기술로, 성능 향상을 위한 '극약처방'으로 여겨지기도 했다. 샤딩은 개발 복잡도가 높지만, 병목을 해결하고 확장성을 확보하는 데 매우 효과적이다.

보웬 왕은 "올해 안에 초당 100만건(TPS)의 거래를 처리해, 우리가 설계한 구조가 실제로 얼마나 강력한지 입증할 것"이라며 "여러 블록체인과 자연스럽게 연결되는 장치인 '체인 시그니처' 기능도 더 발전시킬 것이다. 더 많은 참여자와 외부 체인들이 니어에 합류하도록 만들 계획"이라고 말했다.

100만TPS(초당 거래 건수) 목표치는 니어의 현재 실사용 성능을 고려할 때 상당한 도약이라 할 수 있다. 실제로 니어프로토콜의 평균 TPS는 약 83수준이다. 최근 기록한 최대치는 4135 TPS, 이론적으로는 1만2000TPS까지 도달할 수 있다. 참고로 솔라나는 실시간 기준 약 1150 TPS를 처리하며, 이론상 최대 처리량은 6만5000TPS에 달한다. 반면 이더리움의 메인 네트워크(메인넷)는 초당 15~30건 수준의 트랜잭션을 처리한다.

니어는 인공지능(AI) 에이전트를 위한 기반도 빠르게 준비 중이다. 그는 "AI가 안전하고 개인적인 환경에서 작동할 수 있도록 만들고 있고, 앞으로는 AI가 스스로 판단하고, 더 나아가 학습까지 할 수 있는 시스템도 개발 중"이라고 말했다. 그는 "결국엔 중앙에서 통제하지 않는, 사용자 스스로가 운영하는 AI 기반 인터넷을 만드는 것이 우리의 목표"라고 덧붙였다. 'AI 에이전트'란 인간의 개입 없이 다양한 작업을 스스로 수행하는 인공지능 시스템을 말한다.

'영지식 증명'으로 거래 데이터 신속 검증

아무리 빠르게 데이터를 기록하고 처리하더라도, 그 내용이 정확하지 않다면 블록체인 시스템의 신뢰는 유지되기 어렵다. 거래 기록이 실제로 올바른지를 검증하는 과정은 필수적이지만, 이는 때론 많은 시간과 자원을 요구하기도 한다. 니어는 이 과정을 획기적으로 개선하기 위해, '영지식증명(ZK Proof)'이라는 최첨단 암호화 기술을 도입할 계획이다.

왕 창립자는 "니어에서도 현재는 대부분의 블록체인처럼 머클 증명 방식을 통해 일부 상태 데이터가 맞는지를 압축적으로 확인하고 있지만, 앞으로는 이 과정 조차도 하나의 작은 증명으로 대체할 수 있게 된다"라고 말했다. 그는 "이 증명은 수백 킬로바이트(KB) 정도로 작지만, 블록체인 전체 내부값이 올바르게 계산됐다는 사실을 한 번에 확인해준다. 이렇게 되면 데이터를 검증하는 데 드는 비용과 네트워크 전송량도 크게 줄어들 것"이라고 설명했다.

특히 해당 기술이 적용되면, 블록체인의 모든 데이터를 갖고 있지 않아도 블록이 올바르게 작동했는지를 누구나 검증할 수 있게 된다. 니어는 기본적으로 각 블록에서 필요한 데이터 표본만 뽑아내 전체 상태를 증명하는 '스테이트 위트니스(state witness)' 구조를 활용하고 있다. 이 구조도 데이터를 압축적으로 요약하지만, 스테이트가 복잡할 경우 증명 파일 용량이 수 메가바이트(MB)에 달할 수 있다.

왕 창립자는 "이때 영지식증명을 접목하면, 복잡한 상태 연산도 수백 킬로바이트 내외의 단일 증명으로 압축할 수 있어 전체적인 검증 비용을 획기적으로 줄일 수 있다"라고 강조했다.

다시 말해, 누구나 가벼운 장치나 모바일 환경에서도 네트워크 전체가 제대로 작동하고 있는지를 확인할 수 있는 구조가 마련되는 셈이다. 니어는 이처럼 모든 데이터를 동기화하는 풀노드를 설치하지 않더라도 핵심 데이터를 검증할 수 있는 ‘경량화된 검증자 시스템’으로 나아가고 있다.

니어지갑으로 비트코인도 전송…'체인 시그니처'가 바꾸는 블록체인 사용법

블록체인은 각각 독립적인 네트워크로 운영되기 때문에, 서로 다른 체인 간 연결이나 자산 이동은 여전히 어려운 과제로 꼽힌다. 최근 프로젝트들은 서로 섬처럼 떨어진 블록체인을 연결하는 상호운용성 기술에도 주목하고 있다. 니어프로토콜은 이 문제를 해결하기 위한 기술로 '체인 시그니처(Chain Signature)' 구조를 도입했다.

그는 "니어의 체인 시그니처를 사용하면, 니어 지갑 하나로 이더리움, 솔라나, 코스모스 같은 외부 블록체인에도 직접 거래 명령을 보낼 수 있다"라고 말했다. 즉, 니어 블록체인에 있는 계정 하나가 외부 체인마다 연결된 주소를 함께 가지고 있어, 해당 체인에서 실제로 작동하는 거래를 만들고 보낼 수 있다는 뜻이다.

니어 지갑에서 작성된 거래는 '릴레이어'라는 중간 전달자가 해당 외부 체인으로 전송한다. 릴레이어는 이를 해당 체인에서 실제로 실행되도록 하는 역할을 한다. 예컨대 니어에서 비트코인 전송 명령을 만들면, 그것이 비트코인 네트워크에서 전파돼 곧바로 작동하게 된다. 니어 블록체인이 마치 외부 블록체인의 지갑처럼 작동하는 셈이다.

참고로 블록체인 간 연결 기술은 니어가 처음은 아니다. 코스모스 생태계에서도 'IBC(Inter-Blockchain Communication)'라는 프로토콜을 통해 체인 간 메시지를 주고받을 수 있도록 설계돼 있다. 다만 IBC는 각 체인에 동일한 접속 클라이언트가 설치되어 있어야 하며, 데이터 전달에 초점을 맞춘 구조다. 반면, 니어의 체인 시그니처는 계정 단위에서 바로 외부 체인에 트랜잭션을 구성하고 실행할 수 있어, 사용자 입장에서는 훨씬 단순하고 직관적인 사용자 경험(UX)을 제공한다.

정통 샤딩의 선택…UX와 회복력 모두 잡은 아키텍처

보웬 왕 창립자는 정통 샤딩 도입을 통해 니어프로토콜의 사용자 경험(UX)와 회복력, 두마리 토끼를 모두 잡겠다고도 강조했다.

블록체인 대표주자 중 하나인 이더리움의 경우, 초기 샤딩을 도입해 확장성을 확보하려 했지만, 현재는 계산을 외부 네트워크에서 처리하고 결과만 기록하는 '롤업' 구조로 방향을 틀었다. 롤업은 상대적으로 개발이 단순하고, 이더리움 메인체인에 어댑터처럼 연결하면 되기 때문에 도입 장벽이 낮다는 장점이 있다. 하지만 사용자 경험 측면에서는 여전히 여러 제약이 존재한다는 의견도 제시된다.

왕 창립자는 "요즘 사용되는 롤업 구조에서는 사용자가 자산을 여러 롤업 간에 옮기고 30분씩 기다려야 하는 일이 생긴다. 이런 UX는 분산 생태계라기보다 오히려 단절된 느낌을 준다"라고 지적했다. 이어 "반면 니어프로토콜에서는 사용자가 보유한 계정 하나로 다양한 요청을 끊김 없이 처리할 수있다"며 "특히 신규 사용자에게 진입 장벽이 낮다"라고 강조했다. 정통 샤딩 구조를 선택하면서 개발 난도는 높아졌지만, 오히려 더 매끄러운 UX를 구현해낸 것이다.

한편 왕 창립자는 샤딩을 기반으로 설계된 블록체인이 네트워크 혼잡 상황에서 더 안정적으로 대응할 수 있다고 설명했다. 그는 "솔라나는 하드웨어에 밀착해 최적화된 모놀리식(단일 구조) 아키텍처 덕분에 매우 높은 성능을 낼 수 있지만, 지난 1년 동안 부하가 극심해면서 그 구조가 흔들리는 모습을 봤다. 우리도 유사한 혼잡 상황이 있었지만, 샤드를 분할함으로써 문제를 완화할 수 있었다"라고 말했다. 이어 "샤딩 기반의 수평 확장 방식은 구조가 더 복잡하긴 해도, 궁극적으로는 더 안정적이고 유리하다는 확신을 갖게 됐다"라고 덧붙였다.

니어는 지난 3월 해당 메커니즘을 완성해 메인넷에서 6개 샤드를 8개로 확장하며 실제 성능을 테스트해 이에 대한 데이터를 확보했다.

왕 창립자는 "샤드가 일정 수까지는 실제로 처리 속도도 그만큼 빠르게 증가하는 걸 테스트를 통해 확인했다"라고 설명했다. 다만 그는 "샤드가 10개라고 해서, 꼭 1개일 때보다 10배 빠르다고 보기는 어렵다"면서 "샤드 수가 많아질수록 이를 서로 조율하는 데 드는 자원과 시간도 함께 늘어난다"라고 말했다. 특히 "샤드가 100개 가까이 많아지면, 샤드들끼리 정보를 맞추는 과정에서 병목 현상이 생길 수 있다"며 "이건 앞으로 우리가 해결해나가야 할 중요한 기술 과제 중 하나"라고 했다.

니어 프로토콜 샤드 확장 전략의 핵심은 '나이트셰이드'

나이트셰이드는 니어 블록체인의 독자적인 샤딩 구조로, 트래픽 상황에 따라 체인을 자동으로 나누거나 다시 하나로 합칠 수 있도록 설계된 확장성 기술이다. 브랜든 샌더슨의 SF소설 스카이워드(Skyward) 주인공 '스펜사 나이트셰이드'에서 따온 용어로, 자신의 한계를 극복하고 길을 개척한다는 의미를 갖고 있다.

니어의 핵심 기술 모델인 '나이트셰이드'가 무엇인지 깊게 이해하기 위해선 먼저 니어프로토콜의 샤딩 구조를 먼저 이해할 필요가 있다. 니어프로토콜은 '트랜잭션 샤딩'과 '스테이트 샤딩' 두 가지 처리 방식을 모두 지원하고 있다. 이와 함께 블록마다 검증자가 무작위로 샤드에 배치되고 데이터를 검증하는 구조를 갖추고 있다.

트랜잭션 샤딩은 쌓여 있는 거래 목록을 여러 경로로 나눠서 동시에 처리하는 방식을 말한다. 반면 스테이트 샤딩은 각 거래 안에 담긴 '상태(State, 사용자 계정, 토큰 잔고, 스마트 계약 변수 등 네트워크 전체의 정보)' 데이터를 여러 조각으로 나눠 처리하는 방식이다. 하나는 '트랜잭션의 수'를 분산시키는 것이고, 다른 하나는 '거래 안의 복잡한 데이터 연산'까지도 나눠 처리하는 것이다.

니어프로토콜은 '나이트셰이드' 기술을 기반으로 트랜잭션 샤딩, 스테이트 샤딩을 모두 활용해 단순히 블록체인을 잘게 쪼개 전반적 속도를 높이면서도, 상황에 따라 네트워크를 자동으로 나누거나 다시 합치는 '유연한 구조'를 구현하고 있다.

실제로 니어프로토콜에선 네트워크에 상황에 따라 샤드의 수를 최적화하기 위한 개발이 이어지고 있다. 왕 창립자는 "지금은 샤드 구조가 고정되어 있지만, 궁극적으로는 네트워크 부하에 따라 샤드를 자동으로 나누고 병합하는 시스템을 지향하고 있다. 예를 들어 한 시점에 거래가 몰려 과부하가 생기면 샤드를 둘로 나누고, 반대로 두 샤드가 모두 한가하면 하나로 다시 합쳐지도록 설계하고 있다"라고 말했다. 이는 마치 도로에 차량이 몰리면 차선을 늘리고, 한산해지면 다시 줄이는 것과 비슷한 원리다.

지금까지는 수동으로 샤드를 조절해 네트워크 처리량을 맞춰왔다면, 앞으로는 블록체인 자체가 트래픽 부하나 리소스 사용률 같은 지표를 스스로 판단해, 언제 샤드를 나누고 병합할지 결정하게 된다는 설명이다.

니어 프로토콜은 지난해 8월 이같은 목표로 '나이트셰이드 2.0'을 출시하며 확장성과 보안성을 동시에 강화하는 대대적인 구조 개편을 단행했다. 이전까지는 새로운 샤드를 만들기 위해 몇 시간에 걸쳐 별도의 스테이트 데이터를 구축해야 했다. 반면 새 구조에서는 단 하나의 블록 안에서 샤드를 분할하고 검증까지 마치는 방식으로 전환했다. 샤드 확장을 실시간에 가깝게 수행하면서도 리소스를 절약할 수 있는 구조적 개선을 이뤄낸 셈이다.

왕 창립자는 "우리는 블록체인의 확장성과 사용자 경험을 동시에 끌어올리고 있다. 그 위에서 AI 에이전트가 스스로 작동할 수 있는 쾌적한 블록체인 운영체제를 구현하는 것이 궁극적 목표다"라고 강조했다. 이는 실시간 애플리케이션과 온체인 자동화를 지원하며, 사용자가 직관적으로 활용할 수 있는 블록체인 환경을 구현하겠다는 니어의 장기적인 비전과 맞닿아 있다는 설명이다.

<블록체인·가상자산 투자 정보 플랫폼(앱) '블루밍비트'에서 더 많은 소식을 받아보실 수 있습니다>

강민승 블루밍비트 기자 minriver@bloomingbit.io