Ternlight, 브라우저(WASM)에서 실행되는 7MB 임베딩 모델

1 week ago 16
  • Ternlight는 서버 호출 없이 브라우저 안에서 텍스트 임베딩과 유사도 검색을 수행해, 작은 클라이언트 측 의미 검색을 빠르게 구성할 수 있게 함
  • 기본 패키지는 엔진과 가중치를 합쳐 7MB, mini 변형은 5MB이며 GPU 없이 CPU에서 동작함
  • @ternlight/base를 설치한 뒤 embed, similar를 가져오면 3줄 수준으로 의미 기반 검색 흐름을 만들 수 있음
  • 예시 호출은 레시피 목록에서 상위 3개 결과를 정렬하며, 약 5ms와 네트워크 호출 없음이 강조됨
  • React 문서 검색 데모는 사용자가 질문을 입력하면 브라우저에서 검색을 수행하고, 5MB 티어인 @ternlight/mini가 이를 구동함

브라우저 안에서 끝나는 임베딩

  • Ternlight는 “7MB 임베딩 모델”을 내세우며, 텍스트를 밀리초 단위로 임베딩하고 서버를 호출하지 않음
  • 실행 특성

    • API 호출 없음
    • 엔진 + 가중치: 7MB
    • mini 변형: 5MB
    • 빠른 임베딩: 약 5ms
    • CPU 전용, GPU 없음

설치와 사용 예시

  • npm 패키지 하나로 제공되며, 별도 모델 다운로드 단계나 서버 없이 사용할 수 있음
  • 설치 명령은 다음과 같음
npm install @ternlight/base
  • @ternlight/base에서 embed, similar를 가져와 의미 기반 검색을 실행함
import { embed, similar } from '@ternlight/base'; similar('easy weeknight dinner ideas', recipes, { topK: 3 }); // → ranked matches · ~5 ms · zero network
  • React 문서 검색 데모는 사용자가 질문을 입력하면 브라우저에서 검색을 수행하며, @ternlight/mini 5MB 티어로 구동됨
Read Entire Article