HN 문의: Tiny Language Models로 멋진 프로젝트 진행 중인 사람 있나요?

Hacker News 의견

• ollama를 사용하여 SMS 스팸 메시지에 응답하게 설정함. 각 번호에 밀레니얼 체육관 친구나 19세기 영국 신사 같은 페르소나를 부여함

• Llama 모델을 사용하여 웹사이트의 쿠키 알림을 식별하고 EasyList Cookie에 필터 규칙을 추가함. 대부분의 쿠키 알림은 HTML/CSS가 유사하여 innerText를 가져와 작은 LLM으로 오탐을 걸러낼 수 있음. 3B 모델은 충분한 프롬프트 엔지니어링을 통해 괜찮은 성능을 보이며, 7B는 추가 비용 없이 오탐률이 거의 없음. 코드와 프롬프트는 GitHub에서 확인 가능함

• n100 CPU가 장착된 미니 PC를 사용하여 다양한 장르와 스타일의 이야기를 생성함. CPU 팬이 과열되지 않으며, 생산적이지는 않지만 재미있음

• 작은 fish 스크립트를 사용하여 현재 git diff를 기반으로 세 개의 커밋 메시지를 생성함. 여러 모델을 테스트 중이며, 아이디어가 필요할 때 유용함. 스크립트와 예시는 GitHub에서 확인 가능함

• 대화 중 "승자"를 선언하려고 시도하는 작은 장치를 보유함

• Jamie Brew의 "Comedy Writing With Small Generative Models" 강연을 추천함. 기타를 들고 연주할 때까지 기다리면 좋음

• Microsoft가 FLAME 모델(60M 파라미터)을 발표함. Excel 공식 수리/완성에서 훨씬 큰 모델(100B 파라미터 이상)을 능가함

• Micro Wake Word는 ESPs에서 음성으로 깨우는 라이브러리 및 장치 모델 세트임. Home Assistants의 완전 로컬 Alexa 대체품에 최근 배포됨

• Gemma 2B를 미세 조정하여 정부 운영 모성 건강 상담 전화에서 새로운 임산부의 긴급 메시지를 식별함

• 약 1m 파라미터 모델을 만들어 Magic the Gathering 카드를 무작위로 생성함. Karpathy의 nanogpt를 기반으로 몇 가지 기능을 추가함. Apple 실리콘 Mac이 있다면 GitHub에서 직접 모델을 생성할 수 있음