Spark - Three.js용 고급 3D Gaussian Splatting 렌더러

Hacker News 의견

• 엄청 인상적인 데모라는 느낌을 받음, 내 구형 아이폰에서도 잘 작동함
  내가 전문적인 3D 프로그래밍 지식이 부족한 취미 게임 개발자 입장에서 피드백을 주자면, GitHub나 웹사이트 어딘가에 “Gaussian Splatting”이 뭔지 한 줄 설명을 덧붙이면 좋을 것 같음
  Wikipedia에서 가져온 설명 한 줄에 더 흥미와 가능성을 느끼게 되었음
  Gaussian Splatting은 부피 데이터를 서피스나 라인 프리미티브로 변환하지 않고 직접 렌더링하는 부피 렌더링 기법임
  고성능의 구름, 불, 연기 등을 만들 수 있다는 점이 정말 멋짐

  • 피드백 고마움
    FAQ를 반드시 추가해야겠다는 생각임

• 음식 스캔 데모(“Interactivity” 예시)가 놀라움
  특히 Mel's Steak Sandwich에서 빵 구멍 안을 들여다보는 게 인상적임
  내 노트북에 내장 그래픽만 있어도 보이는 디테일에 비해 성능이 훌륭하게 잘 나옴
  이런 기술은 지금 주로 어디에 사용되는지 궁금함

  • 소형 물체를 핸드헬드 기기나 드론으로 스캔하는 커뮤니티가 존재함
    이번 데모에 Tipatat이 음식 스캔을 제공해줬음
    나는 kotohibi의 꽃 스캔도 좋아함
    https://superspl.at/user?id=kotohibi

  • 이 정도 디테일인데도 데이터 전송 용량이 그리 크지 않음
    약 80MB 정도여서 정말 신기함

• 정말 멋짐
  BabylonJS도 Gaussian Splat을 잘 지원함
  https://doc.babylonjs.com/features/featuresDeepDive/…

  • BabylonJS와 Aframe 모두 라이선스, GitHub star와 포크 수가 비슷함
    Aframe이 더 최근 프로젝트이고, 게임과 VR 쪽에 더 집중함
    Babylon, Aframe, Three.js, PlayCanvas를 전부 써본 사용자의 관점에서는 어떻게 비교되는지 궁금함
    PlayCanvas는 상업적이지만 가장 성숙하고 기능이 풍부하고 성능도 뛰어남
    Babylon은 기능 중심의 3D 엔진이고, Three.js는 기본만 제공함
    애니메이션, 텍스처 지원이 좋긴 하지만 결국 직접 툴킷을 만들어야 함
    이 엔진들에서 좋은 경험 또는 그렇지 않은 경험이 궁금함
    OP의 데모가 정말 견고함
    Aframe의 장점과 피치는 무엇인지 궁금함
    Gaussian Splatting의 미래는 어떻게 펼쳐질지, 단순 시각화/디지털 트윈 산업만이 아니라 크리에이티브나 게임 분야에서도 편집, 애니메이션이 곧 가능할지 궁금함
    Aframe GitHub
    PlayCanvas

• 멋진 작업임
  하지만 내 노트북의 Nvidia RTX A3000 GPU와 Firefox 조합에서 성능이 매우 좋지 않음
  이 정도 셰이더 코어라면 손이 데일 정도로 뜨거워질 수 있음

  • 구체적으로 어떤 데모/예시에서 그랬는지 궁금함

• 폰으로 들고 뛰어다니며 grass, bushes, dirt 같은 Gaussian Splats를 캡처할 수 있나 궁금함
  1미터 정사각형 땅 패치, 덤불이 포함된 1미터 정육면체 공간을 선택해서
  그라스 블록을 반복 배치하고 덤불이나 흙 등을 중간중간 섞어서 "마인크래프트 느낌" 월드 만드는 것이 가능한지 궁금함
  수천 개의 블록을 렌더링하려면 꽤 하드웨어가 빵빵해야 할 것 같음

  • 이런 프로토타입은 확실히 만들 수 있음
    실제로 본다면 정말 멋질 것 같음

• 정말 멋짐
  혹시 현 시점의 성능 병목에 대한 인사이트가 있는지 궁금함
  특히 다이나믹 씬에서의 병목이 궁금함
  파티클 시뮬레이션 예시는 버벅이지만 카메라를 돌리면 갑자기 성능이 확 좋아짐
  이건 정적 배경 부분이 생각보다 무거웠다는 의미 같은데, 이와 별개로 Sierpinski 피라미드는 프로시저럴 방식으로 정말 인상적임

  • 장면 내 스플랫 개수와 분포가 성능에 영향 미침
    아마도 질문자가 카메라를 덜 복잡한 방향으로 돌렸기 때문일 수도 있음
    성능을 일정하게 맞추는 건 아직 할 일이 남아있음
    앞으로는 LOD 시스템을 적용할 생각임

• 조금 더 눈에 띄는 repo 링크 안내
  https://github.com/sparkjsdev/spark

• Gaussian Splatting이 데모 그 이상을 할 수 있을지에 대해 여전히 회의적임
  파일 용량이 너무 큼
  예를 들어 스테이크 샌드위치가 12MB임
  작년 SIGGRAPH에서 Gaussian Splat 기반 Matterport 포트 클론을 봤는데, 2베드 아파트를 보기 위해 1.5GB 스트리밍이 필요했음
  멋진 데모임

  • SOGS 압축 기법이 효과적임
    풀 구면 조화(Spherical Harmonics) 포함 1M Gaussian을 약 14MB로 저장 가능함
    PlayCanvas 블로그에 관련 좋은 글이 있음
    https://blog.playcanvas.com/playcanvas-adopts-sogs-for-20x-3dgs-compre…

  • 참고로 12MB짜리 스테이크 샌드위치가 가장 큰 파일임
    나머지는 10MB 이하이고, 몇 개는 1-3MB로 아주 설득력 있음
    (예: Iberico Sandwich 1MB, Clams and Caviar 1.8MB 등)
    SOGS와 같은 고급 압축 방식이 곧 나올 예정임
    이 예시는 30MB임
    https://vincentwoo.com/3d/sutro_tower/

  • 파일이 큰 주된 이유는 Spherical Harmonics 계수를 저장하기 위해서임
    해결 가능한 문제임

• 이름이 좀 과하게 쓰이고 있다는 인상임
  이미 Apache Spark, SPARK(Ada), sparklines, SPARQL 등이 있음

  • SPARC도 잊으면 안 됨
    https://en.wikipedia.org/wiki/SPARC