Show GN: LLMLingua-2의 TypeScript 구현체

마이크로소프트에서 개발한 "LLM 기반 범용 프롬프트 압축기" LLMLingua를, 더 다양한 환경에서 사용할 수 있도록, 파이썬에서 타입스크립트로 포팅하는 오픈소스 프로젝트.

LLMLingua란?

• GeekNews: "Microsoft LLMLingua - 추론 가속 및 비용 절감을 위해 프롬프트 압축하기"
• LLMLingua-2 홈페이지
• 현재 Python(파이썬) 언어로 공식 구현되어 배포되고 있음.

LLMLingua-2의 TypeScript 구현체

• 프롬프트 압축 데모 (GitHub Pages)
  • JavaScript + React + Vite
  • 데모 체험 요구사항: WebGPU가 지원되는 브라우저 필요 (Windows/macOS Google Chrome 등)
• 소스코드: GitHub 및 HuggingFace에서 확인 가능
• 패키지 (npm): npm install @atjsh/llmlingua-2

하이라이트

• Python으로 작성되어 있던 LLMLingua-2 파이프라인을 순수 TypeScript로 포팅
• 구현에 사용한 라이브러리: js-tiktoken, transformer.js 및 TensorFlow.js
• Node.js 지원은 추가 개발 진행 중 (지금 바로 테스트는 가능)
• MIT 라이선스 기반 오픈 소스

아직 초창기 단계

• use_context_level_filter, return_word_label 등 몇몇 기능은 미구현 상태
• 핵심 기능인 프롬프트 압축 기능조차, 원래의 LLMLingua-2에 비해 잘못 구현된 부분이 존재할 수 있음... ㅜ