Needle 3 - 작은 기기에서 자연어 명령을 처리하는 8~29MB AI 모델

“침실 조명을 어둡게 하고 문을 잠가” 같은 요청을 앱이 실행할 함수와 인자로 변환하는 초소형 모델로, 스마트홈과 모바일 기기 안에서 오프라인 자동화에 활용 범용 대화보다 도구 호출과 정보 추출에 집중하며, 청구서와 알림에서 필요한 항목을 JSON으로 뽑거나 텍스트 임베딩으로 기기 내 검색과 매칭을 처리함 하나의 모델에서 2~20개 층 중 필요한 크기를 선택하고 제품별 도구에 맞춰 미세 조정할 수 있어, 기기 성능과 작업 난도에 맞게 배포 가능 자체 측정에서 Raspberry Pi 5로 초당 400~4,000토큰을 생성하며, DroidCall 도구 호출 평가에서는 미세 조정한 4개 층 모델부터 DeepSeek V4 Flash를 앞섬 실제 성능은 도구 설명과 작업 범위를 얼마나 명확히 정하느냐에 영향을 받으며, 호출 신뢰도에 따라 실행을 보류하거나 사용자에게 확인하도록 구성할 수 있음 작은 기기에서 자연어를 실행 명령으로 바꾸는 모델 Needle 3는 스마트폰, 웨어러블, 로봇과 스마트홈 기기에서 사용자의 요청을 도구 호출과 구조화된 데이터로 바꾸는 모델 Simple Attention Network를 기반으로 하며, 선택한 모델 크기에 따라 8~29MB 바이너리로 배포 입력은 텍스트와 앱이 제공하는 도구 정의 또는 추출 스키마이며, 결과는 함수 이름과 인자, 추출한 항목을 담은 JSON으로 반환함 범용 챗봇처럼 폭넓은 지식을 활용해 답하기보다, 제한된 작업을 작은 메모리와 적은 연산으로 처리하는 데 집중함 자체 평가에서는 모바일 도구 호출에서 크기가 10배인 모델을 앞서고, 정보 추출에서는 2~3배 큰 모델과 비슷한 성능을 기록함 실제 기기 제어나 검색 기능은 앱이 제공하며, Needle은 요청에 맞는 기능을 선택하고 필요한 인자를 채우는 역할을 맡음 도구 호출, 정보 추출, 임베딩 도구 호출: 앱에 등록된 함수 중 요청에 맞는 것을 고르고, 사용자 문장에서 인자를 추출함 두 가지 작업을 요청하면 순서대로 호출을 생성함 요청에 대응하는 도구가 없으면 빈 목록을 반환하도록 설계됨 구조화된 추출: 청구서, 예약, 알림, 양식의 비정형 텍스트를 지정한 필드로 변환함 청구서에서 공급업체, 금액, 납기일을 뽑는 식으로 활용 출력 문법을 제한해 파싱 가능한 결과를 만들지만, 형식이 올바르다는 것이 내용의 정확성까지 보장하지는 않음 텍스트 임베딩: 문장을 벡터로 변환해 기기 안에서 검색과 매칭에 활용 메모와 메시지를 의미로 ...